Deep Learning

ujava.org Workshop

2015-03-08

www.idosi.com

대표 강신동

(주)지능도시

ujava.org

spaceapi.org

산업혁명 증기기관

1698년 영국 T.세이버리 증기 응축 펌프 특허 획득

1712년 T.뉴커먼 탄광 지하수 배수를 위해 실린더 내로 증기 피스톤 상승 냉각에 의한 대기압 증기기관

1769년 J.와트 왕복 증기기관, 회전운동

Work , Heat

열역학 제2법칙 : 엔트로피 Entropy

1862년 독일 물리학자 Clausius S = Q/T

1865년 Clausius가 재정의 dS = dQ / T

리처드 패랠만 : 푸앙카레 추측

세계 7대 수학 난제필즈상, 100만 달러 상금우주의 원리 탐구열역학

엔탈피 Enthalpy

H = E + PV

DH = DE + D(PV)

DH = DE + PDV + VDP

일정 부피, 외부 일이 없으면

DH = Q + VDP

Gibbs Free Energy

미국 물리학자 Gibbs가 제안

G = H – TS

G : Gibbs Free Energy H : Enthalpy T : Kelvin Temperature S : Entropy

표준상태(25도C, 1기압, 일정한 온도와 압력, SATP(Standard Ambient Temperature and Pressure))에서 화학반응의 방향을 알 수 있다.

전체계의 엔트로피를 살필 필요가 없이 대상계만 살펴서도 반응의 자발성을 알 수 있다.

볼쯔만 Boltzmann

오스트리아

분자 레벨의 통계 역학적 의미 부여 분자 레벨의 Entropy 정의

가장 중요한 과학적 업적은 기체의 분자 속도에 관한 맥스웰-볼츠만 분포를 포함한 기체분자운동론볼쯔만 분배 법칙

슈테판-볼츠만 공식을 유도해냈다. 흑체의 단위표면적에서 방출되는 모든 파장의 빛에너지의 총합이 흑체의 절대온도에 4제곱에 비례한다는 법칙

S = k log W

볼츠만 상수 k는 기체 상수 R와 아보가드로 상수 N_a의 비이다.

k = R/N_a 1.380 6504(24)×10^(−23) J/ K

Markov Chain

Bayesian Probability

Monty Hall Problem

A B C

Bayesian Probability for Monty Hall Problem

A지목 (이전상태)B 열었음 (변화행동) C에 차가 있을 확률

P(C|B) = P(B|C) P(C) / P(B)

P(C) = 1/3 (문을 열기 전) [1/2 (문을 연 후라면?)]P(B) = 1/2 (문을 여는 행동의 확률) P(B|C) = 1 (A를 지목한 후)

P(C|B) = 2/3 (행동후)

Monty Hall Solution

Multilayer Perceptron

퍼셉트론 Perceptron

Neuroph (Java Neural Network Framework)

http://neuroph.sourceforge.net

Neural Nets of Neuroph

Deep Learning of GitHub light library

Backpropagation Learning Rule

Backpropagation Learning Rule

Backpropagation Learning Rule

Logistic Regression

Multilayer Perceptron Code

Java code and example demo

Overfitting

시뮬레이티드 어닐링 Simulated Annealing

Annealing : 담금질

Boltzmann Machine

1985년 Geoffrey Hinton and Terry Sejnowski 대규모 병렬처리 이용홉필드 동작 규칙을 확률적인 동작 규칙으로 확장

홉필드는 에너지를 감소시키는 방향으로 변화시킴.

볼쯔만 머신은 에너지가 증가하는 상태의 전이에 대해서도 작은 확률로나마 허용하는 동작 규칙.

문제 해결을 위한 일반적인 방법 제시 하드웨어적 구현이 쉽다. 지역의 상태를 체크하는 방식은 병렬처리에 유리.

VLSI 배치문제, 순회판매원 문제, 최적화 문제의 근사해 구하기.

Boltzmann Machine's Energy and Entropy

Restricted Boltzmann Machine

visible

hiddenwww.idosi.com(주)지능도시

Boltzmann Machine

Restricted Boltzmann Machine

RBM Learning : Contrastive Divergence (대조적 분산)

Random 으로 작은 값 (0~0.1)을 weight로 준다. Input neuron 값 넣고 sigmoid로 hidden 을 계산한다. 이제, Si*Sj 를 기억해 둔다. SiSj_0

hidden에서 weight로 input을 계산한다. (reconstruction) Si * Sj 를 기억한다. SiSj_1

이러한 과정을 반복한다. 무한대로? 약50번? SiSj_0, SiSj_50

CD = Average(SiSj_0) – Average(SiSj_50)

W = W + alpha * CD

Error = (INPUT - Reconstruction)^2

Restricted Boltzmann Machine

많은 경우에 효과적임 (몇몇 경우에는 유효하지 않을 수도 있음)

Deep Belief Network

AutoEncoder

Stacked AutoEncoder

Deep Belief Network

Deep Belief Network : Fine Tune

Deep Belief Network

Convolutional Neural Network

소용돌이, 대단히 복잡한

Convolutional Neural Network

소용돌이, 대단히 복잡한

Fully or Locally connected

소용돌이, 대단히 복잡한

DL4J : Deep Learning for Java

RBM 실제 사례 : MNIST Digit Recognition

Hinton : 70,000개 28 x 28 pixel 크기의 라벨링된 0~9 필기체 숫자

3개의 RBM 분류

문서 분류 : 키워드 2,000개로 벡터 만들어서 분류

상수

원주율 3.14…

자연상수 2.71…

오일러 상수 , 자연상수, 네이피어 상수

네이피어 : log 계산법을 도입한 스코틀랜드 수학자 존 네이피어

E = 2.718… Pi = 3.14…

2.7 x

2.7 x 2.7 2.7 x 2.7 x 2.7

Graph

1 + e

Graph

-x

1

무한 소수점 크기

1 > 0.9999…

시간의 개념?

분수와 무한 소수점

1 > 0.9999…

1/3 = 0.3333…

3 x (1/3) = 3 x 0.3333… 1 = 0.9999…

미분

원인 변화에 대한 종속 변화의 변화비율 구하기. 양이 아니라 단위없는 비율, 돼지 kg

e^(nx) → ne^(nx)

e^(-x) → -e^(-x)

분수 함수의 미분

y = f(x)

1 y' = f(x)

-f(x)'2

Sigmoid function 미분

neuron

Multi input

Multi layer neural network

Backpropagation Learning Rule

Chain Rule

Power Rule

Multi input

Back-propagation Mathematical Analysis

Back-propagation Mathematical Analysis

Multi input

Multi input

감사합니다.

(주)지능도시

강신동

www.idosi.comceo@idosi.com