Convolution Neural Network

• 합성곱 신경망 (Convolution Neural Network, CNN)
  • 대뇌의 시각 피질 (cortex) 연구에서 시작
  • 이미지 검색, 자율주행, 영상 분류, 음성인식, 자연어 처리 등 다양한 분야에서 널리 사용

The Architecture of the Visual Cortex

• 뉴런들이 시야의 일부 범위 안에 있는 시각 자극에만 반응 (local receptive field)
• 뉴런의 수용장들은 겹칠 수 있고 이를 합치면 전체 시야를 감싸게 됨
• 동일한 수용장을 가지는 뉴런이여도 다른 각도의 선분에 반응하는 현상 발견
• 특정 뉴런은 큰 수용장을 지니고 저수준 패턴이 조합된 상대적으로 복잡한 패턴에 반응

Vanila Montage DCGAN

Results of vanila montage DCGAN according to activation function

• 생성기를 통해 생성된 이미지의 수준 저조
• 모드 붕괴 발생

DCGAN

• ANN generator의 문제점
  • 부드러운 이미지가 아닌 고대비 픽셀로 이뤄진 불명확한 이미지
  • 완전 연결 신경망은 메모리를 많이 사용하고 큰 이미지에 적합하지 않음
• 합성곱 GAN (Deep Convolutional Generative Adversarial Network, DCGAN)을 통해 극복

Localized Image Feature

• 이미지 데이터의 특성: 머신러닝을 위한 유의미한 특성 (feature)은 이미지에서 지역화된 (localized) 특성
  • Ex) 눈과 코를 나타내는 픽셀은 서로 가까이 존재
• ANN generator
  • 이러한 도메인 지식 (domain knowledge) 이용 불가
  • 이미지의 모든 픽셀 항상 고려 (이미지 특성의 지역성 고려 X) $\rightarrow$ 비효율적 훈련

Ensemble Learning and Random Forests

• Ensemble learning: 일련의 예측기 (ensemble)로부터 예측 수집
  • 가장 좋은 모델 하나보다 더 좋은 예측 취득 가능
  • Ensemble method: 앙상블 학습 알고리즘
• Random forest: 결정 트리의 앙상블
  • 훈련 세트로부터 무작위로 각기 다른 서브셋을 만들고 일련의 결정 트리 분류기 훈련
  • 모든 개별 트리의 예측 중 가장 많은 선택을 받은 클래스를 예측으로 선정

MNIST Dataset

Data Description

MNIST dataset

• Dataset 구성: 0 ~ 9의 손글씨 이미지 ($28\times28=784$)와 label
• MnistDataset 클래스
  • Raw data $\rightarrow$ Tensor
  • Label, Pixel values, One-hot encoding tensor 반환
• 목표: 생성기의 생성 이미지가 판별기를 속일 수 있도록 훈련