Haar Cascade Classifier
• Haar feature extraction• 2001, Viola & Jones
http://www.codeproject.com/Articles/441226/Haar-feature-Object-Detection-in-Csharp
Haar Cascade Classifier
• Haar feature extraction• 2001, Viola & Jones
http://www.codeproject.com/Articles/441226/Haar-feature-Object-Detection-in-Csharp
Haar Cascade Classifier
• Cascade Learning
http://www.codeproject.com/Articles/441226/Haar-feature-Object-Detection-in-Csharp
Strong ClassifierWeak Classifier
Haar Cascade Classifier
• AdaBoost (machine-learning meta-algorithm)
http://en.wikipedia.org/wiki/AdaBoost
Weak learner
Input
+ object in there- otherwise
Hypothesis for each sample in training set
Assigned coefficient
Features of each sample
Deep Learning (Deep Belief Net, Hinton 06)
•개념소개• Supervised Learning
• Restricted Boltzman Machine
• Stacking
Deep Learning (Deep Belief Net, Hinton 06)
• Supervised Learning• 데이터와 라벨을 같이 주는 것을 의미함
•알고리즘• Support Vector Machine(SVM)
• Hidden Markov Model(HMM)
• Artificial Neural Network(ANN)
• Bayes Classification
• PCA, MDA
Deep Learning (Deep Belief Net, Hinton 06)
• Unsupervised Learning• 일반적으로 클러스터링에 많이 사용, 라벨이 없음
•알고리즘• Deep Belief Network
• Restricted Boltzmann Machine (RBM)
Deep Learning (Deep Belief Net, Hinton 06)
• Restricted Boltzman Machines (RBMs, 1985)
An energy-based 2-layer generative model
모든 노드는 순환적이며, 한 노드는 다른 노드로부터 영향을 받음
트레이닝 세트 x에 대하여 model distribution p(x)를 트레이닝
RBMs가 “Restricted”인 이유는 같은 레이어에 대하여 connection이 없기 때문
Deep Learning (Deep Belief Net, Hinton 06)
• Boltzman Distribution
F: 확률, E: 에너지, k: 볼츠만 상수, T: 온도
물질의 에너지가 클수록 해당 입자가 존재할 확률은 줄어들게 된다. 즉, 세상은 안정된 상태로 있길 원한다는 가정이 들어가 있다.
T는 온도를 의미하고, T가 높을수록 에너지가 높은 물질도 잘 존재할 수 있게 된다.
Deep Learning (Deep Belief Net, Hinton 06)
• Energy in the Boltzman Distribution
S_i: i번째 node의 값 (0,1)Theta: i번째 node의 bias
이때 우리는 visible node 밖에 알 수 없다. Hidden node를 어떻게 구해야 할 것인가?
Deep Learning (Deep Belief Net, Hinton 06)
• Energy in the Restricted Boltzman Distribution
: 에너지가 낮을수록 확률은 높아진다
우리는 이때 node간 weight를 변형시켜, 확률을 최대로, 에너지를 최소화한다.
v: visible, h: hidden, w: weight, 두 node가 동시에 active 될 때 그 사이의 weight를 키워주는 것이 필요함
이때 우리는 hidden layer의 값을 정할 수 없으므로, 모든 경우의 수를 처리해야함 (레이어가 4개 2^4 처리)
Deep Learning (Deep Belief Net, Hinton 06)
• Stacking (RBMs)
Deep Learning (Deep Belief Net, Hinton 06)
•예제와 함께 이해해 보겠습니다
Deep Learning (Deep Belief Net, Hinton 06)
•예제와 함께 이해해 보겠습니다2
Deep Learning (Deep Belief Net, Hinton 06)
•실험