Ensemble Learning and Random Forests

• Ensemble learning: 일련의 예측기 (ensemble)로부터 예측 수집
  • 가장 좋은 모델 하나보다 더 좋은 예측 취득 가능
  • Ensemble method: 앙상블 학습 알고리즘
• Random forest: 결정 트리의 앙상블
  • 훈련 세트로부터 무작위로 각기 다른 서브셋을 만들고 일련의 결정 트리 분류기 훈련
  • 모든 개별 트리의 예측 중 가장 많은 선택을 받은 클래스를 예측으로 선정

MNIST Dataset

Data Description

MNIST dataset

• Dataset 구성: 0 ~ 9의 손글씨 이미지 ($28\times28=784$)와 label
• MnistDataset 클래스
  • Raw data $\rightarrow$ Tensor
  • Label, Pixel values, One-hot encoding tensor 반환
• 목표: 생성기의 생성 이미지가 판별기를 속일 수 있도록 훈련

Support Vector Machine (SVM)

• Linear, nonlinear classification
• Regression
• Outlier detection

Linear SVM Classification

• SVM Classifier: 각 클래스 사이에 가장 폭이 넓은 경계 정의 (large margin classification)
• Support vector: 분류기의 경계에 위치한 훈련 데이터
  • 분류기의 경계 밖에 훈련 샘플을 더 추가해도 경계가 변화하지 않음

Data Structure

• Definition: Computer science에서 효율적인 접근 및 수정을 위해 자료의 조직, 관리, 저장
  • 데이터 값의 모임, 데이터 간 관계, 데이터에 적용할 수 있는 함수 및 명령
  • 적합한 자료구조 선택을 통해 상대적으로 효율적인 알고리즘 개발 가능
• 구현에 따른 자료구조
  • List
  • Tuple
  • Linked list
  • Circular linked list
  • Doubly linked list
  • Hash table
• 형태에 따른 자료구조
  • Linear
    • Stack
    • Queue
    • Deque
  • Non-Linear
    • Graph
    • Tree

GAN (Generative Adversarial Network)

Image Generation

• Traditional neural network: 정보를 감소, 정제, 축약
  • Ex) $28\times28\rightarrow784\ (input)\rightarrow10\rightarrow1\ (output)$
• Backquery: 기존의 신경망을 반대로 뒤집어 레이블을 통해 이미지 생성 (원핫 인코딩 벡터를 훈련된 네트워크에 넣어 레이블에 맞는 이상적 이미지 생성)
  • Ex) $1\ (input)\rightarrow10\rightarrow784\ (output)\rightarrow28\times28$
  • 같은 원핫 인코딩 벡터인 경우 같은 결과 출력
  • 각 레이블을 나타내는 모든 훈련 데이터의 평균적 이미지 도출 $\rightarrow$ 한계점 (훈련 샘플로 사용 불가)