RAINBOW-LAB

적대적 샘플(Adversarial Examples)이란 공격자에 의해 의도적으로 딥러닝 시스템을 속이기 위해 교묘하게 제작된 결과물(output) 입니다. Machine intelligence 는 날이 갈수록 진화하고 있으며, 보다 정교하고 다양한 물체를 인간처럼 인식하는 것은 물론 인간과 상호작용하는 많은 어플리케이션들이 개발되었습니다. 하지만, 딥러닝(Deep Learning) 분야에서는 여전히 풀지못하는 난제 중 하나가 일반화(Generalization) 문제입니다. Generalization이란, 딥러닝에 의해 구축된 시스템이 다양한 도메인(domain)에 잘 적응될 수 있는 능력을 일컫는데요, 예를 들어, 다음과 같은 두 개의 강아지 이미지가 있을 때 인간은 두 개의 이미지가 Style 정보는 ..

적대적 공격(Adversarial Attack)은 딥러닝 모델의 내부적 취약점을 이용하여 만든 특정 노이즈(Noise or Perturbation)값을 이용해 의도적으로 오분류를 이끌어내는 입력값을 만들어내는것을 의미합니다. 적대적 공격으로 특별히 machine learning system을 속이기 위해 제작된 입력 값을 적대적 예제(Adversarial Example)라고 하며, 대표적인 공격 방법으로 FGSM(Fast Gradient Sign Method), PGD(Projected Gradient Descent) 방법이 있습니다. 두 개의 공격은 주어진 모델의 Weight값을 이용해 Gradient값을 계산하여 입력값을 조작할 수 있다는 점에서 생성된 적대적 예제는 해당 모델의 'Worst-case..

Robust Physical-World Attacks on Deep Learning Visual Classification, CVPR 2018(이하 RP2) 논문은 2018년 CVPR에 게재된 adversarial attack의 가능성을 소개하는 논문입니다. 그동안 많은 Adversarial attack 기법들이 단지 소프트웨어적인 관점에서 Optimization Problem을 해결하려고 시도했다면, 이 논문은 그러한 맥락에서 조금은 벗어난 내용입니다. 정확히는 실제 물리적인 공간 안에서 adversarial attack의 적용가능성과 위험성에 대해 소개하고 있습니다. ◎ INTRODUCTION 전통적인 방식의 공격 기법들은 정해진 데이터셋에서 정적인 방법의 실험을 진행하였습니다. 여기서 정적인 방법이..

◎ Adversarial Examples? Machine Learning 에 대한 Adversarial Attack의 중요도와 위험성이 높아져가고 있는 상황에 그에 따른 Defense Machanism들도 등장하고 있습니다. 그 중에서 개인적으로 관심이 있었던 GAN을 이용한 Adversarial Attack 을 막을 수 있다라고 제시한 Defense-GAN 을 알아보도록 하겠습니다. 이 논문은 DNNs(Deep Neural Networks) 가 가지고 있는 적대적 조작의 취약점을 GAN을 이용해 극복하는 내용입니다. 특히, DNN이 많이 사용되는 classification model 의 robustness 를 강조했는데요, 성능도 준수하며 실용적이게 사용될 수 있는 Defense-GAN에 대해 알아보도..

Practical Black-Box Attacks against Machine Learning Machine learning (ML) models, e.g., deep neural networks (DNNs), are vulnerable to adversarial examples: malicious inputs modified to yield erroneous model outputs, while appearing unmodified to human observers. Potential attacks include having malicious c arxiv.org ◎ INTRODUCE Machine Learning 기반 Classifier 들에 대해 Adversarial Example에 의한 공격이 취..

Deep Learning 을 활용한 Neural Network 기술들이 등장하면서 Machine Learning의 다양한 공학적 접근이 개발되고 있습니다. ImageNet과 같은 거대한 데이터셋에 대해서도 효율적으로 연산할 수 있는 알고리즘이라던지 연산을 가속화 시킬 수 있는 하드웨어적인 발전이 뒷받침되어 Real World에서 발생할 수 있는 많은 문제들을 놀라운 성능으로 해결하고 있습니다. 하지만 최근 DNN(Deep Neural Network) 의 훈련에서의 불안정성 및 비신뢰적인 과정으로 인해 Adversarial Attack 에 대해 매우 취약하다는 사실들이 학계에서는 많이 알려지고 있습니다. Adversarial Examples 는 DNN이 잘못된 결과를 산출하도록 공격자가 의도적으로 조작 시..