Vanila Montage DCGAN

Results of vanila montage DCGAN according to activation function

• 생성기를 통해 생성된 이미지의 수준 저조
• 모드 붕괴 발생

DCGAN

• ANN generator의 문제점
  • 부드러운 이미지가 아닌 고대비 픽셀로 이뤄진 불명확한 이미지
  • 완전 연결 신경망은 메모리를 많이 사용하고 큰 이미지에 적합하지 않음
• 합성곱 GAN (Deep Convolutional Generative Adversarial Network, DCGAN)을 통해 극복

Localized Image Feature

• 이미지 데이터의 특성: 머신러닝을 위한 유의미한 특성 (feature)은 이미지에서 지역화된 (localized) 특성
  • Ex) 눈과 코를 나타내는 픽셀은 서로 가까이 존재
• ANN generator
  • 이러한 도메인 지식 (domain knowledge) 이용 불가
  • 이미지의 모든 픽셀 항상 고려 (이미지 특성의 지역성 고려 X) $\rightarrow$ 비효율적 훈련

Ensemble Learning and Random Forests

• Ensemble learning: 일련의 예측기 (ensemble)로부터 예측 수집
  • 가장 좋은 모델 하나보다 더 좋은 예측 취득 가능
  • Ensemble method: 앙상블 학습 알고리즘
• Random forest: 결정 트리의 앙상블
  • 훈련 세트로부터 무작위로 각기 다른 서브셋을 만들고 일련의 결정 트리 분류기 훈련
  • 모든 개별 트리의 예측 중 가장 많은 선택을 받은 클래스를 예측으로 선정

MNIST Dataset

Data Description

MNIST dataset

• Dataset 구성: 0 ~ 9의 손글씨 이미지 ($28\times28=784$)와 label
• MnistDataset 클래스
  • Raw data $\rightarrow$ Tensor
  • Label, Pixel values, One-hot encoding tensor 반환
• 목표: 생성기의 생성 이미지가 판별기를 속일 수 있도록 훈련

Support Vector Machine (SVM)

• Linear, nonlinear classification
• Regression
• Outlier detection

Linear SVM Classification

• SVM Classifier: 각 클래스 사이에 가장 폭이 넓은 경계 정의 (large margin classification)
• Support vector: 분류기의 경계에 위치한 훈련 데이터
  • 분류기의 경계 밖에 훈련 샘플을 더 추가해도 경계가 변화하지 않음