Natural Language Processing

• 자연어 처리 (Natural Language Processing, NLP): 컴퓨터와 사람의 언어 사이의 상호작용에 대해 연구하는 컴퓨터 과학과 어학의 한 분야
  • 문자 단위 RNN (character RNN): 문장에서 다음 글자를 예측하도록 훈련

1
2
3
4
5
6
7
8
9

from tensorflow.compat.v2 import keras

shakespeare_url = "https://homl.info/shakespeare"
filepath = keras.utils.get_file("shakespeare.txt", shakespeare_url)
with open(filepath) as f:
    shakespeare_text = f.read()

tokenizer = keras.preprocessing.text.Tokenizer(char_level = True)
tokenizer.fit_on_texts(shakespeare_text)

• 셰익스피어 작품을 다운로드 이후 Tokenizer를 통해 모든 글자를 정수로 인코딩

CycleGAN

• pix2pix
  • Self-supervised
  • Loss: Minimize the difference between output $G(x)$ and ground truth $y$
    • $\underset{(x,y)}{\Sigma}||y-G(x)||_1$
  • Ex) 흑백 $\rightarrow$ 컬러
• GAN
  • Loss: Another deep network point out the difference
    • $\arg\underset{G}{\min}\underset{D}{\max}\mathbb{E}_{x,y}[\log{D(G(x))}+\log(1-D(y))]$
  • $D$ tries to identify the fakes
  • $G$ tries to synthesize fake images that fool $D$

Convolution Neural Network

• 합성곱 신경망 (Convolution Neural Network, CNN)
  • 대뇌의 시각 피질 (cortex) 연구에서 시작
  • 이미지 검색, 자율주행, 영상 분류, 음성인식, 자연어 처리 등 다양한 분야에서 널리 사용

The Architecture of the Visual Cortex

• 뉴런들이 시야의 일부 범위 안에 있는 시각 자극에만 반응 (local receptive field)
• 뉴런의 수용장들은 겹칠 수 있고 이를 합치면 전체 시야를 감싸게 됨
• 동일한 수용장을 가지는 뉴런이여도 다른 각도의 선분에 반응하는 현상 발견
• 특정 뉴런은 큰 수용장을 지니고 저수준 패턴이 조합된 상대적으로 복잡한 패턴에 반응

Vanila Montage DCGAN

Results of vanila montage DCGAN according to activation function

• 생성기를 통해 생성된 이미지의 수준 저조
• 모드 붕괴 발생

DCGAN

• ANN generator의 문제점
  • 부드러운 이미지가 아닌 고대비 픽셀로 이뤄진 불명확한 이미지
  • 완전 연결 신경망은 메모리를 많이 사용하고 큰 이미지에 적합하지 않음
• 합성곱 GAN (Deep Convolutional Generative Adversarial Network, DCGAN)을 통해 극복

Localized Image Feature

• 이미지 데이터의 특성: 머신러닝을 위한 유의미한 특성 (feature)은 이미지에서 지역화된 (localized) 특성
  • Ex) 눈과 코를 나타내는 픽셀은 서로 가까이 존재
• ANN generator
  • 이러한 도메인 지식 (domain knowledge) 이용 불가
  • 이미지의 모든 픽셀 항상 고려 (이미지 특성의 지역성 고려 X) $\rightarrow$ 비효율적 훈련