View
15.850
Download
1
Category
Preview:
Citation preview
Machine Learning & OpenStack
MHR Inc,
1
Machine Learning?
2
Image Captioning, What a surprise!!!
3
http://cs.stanford.edu/people/karpathy/deepimagesent/
Deep Learning을이용한 Image Captioning 샘플
Image Captioning Process
4
Recognize Object
Detect Words
Generate sentences
Rank sentences
Identify Object
결코쉽지않은작업
Big Event!!!, VS Alpha GO
5
누가이길까?
Deep Blue VS in Chess
6
딥 블루는 세계 체스 챔피언 그랜드마스터 가리 카스파로프를 시간제한이 있는 정식 대국에서 이긴 최초의 컴퓨터이다. 딥블루는 1996년 2월 10일 카스파로프와의 첫 번째 체스 대국에서이겼다. 그러나 나머지 다섯 번의 대국에서 카스파로프가 3번 이기고2번 비겼기 때문에 최종적으로는 4-2의 점수로 카스파로프가 승리했다.
마지막 대국이 끝난 것은 1996년 2월 17일이다.
이후에 딥 블루에 엄청난 성능향상 작업이 있었고 1997년 5월에 다시맞붙었다. 성능이 향상된 새로운 컴퓨터의 비공식적인 별명은 '디퍼블루'(Deeper Blue)였다. 6번의 대국은 5월 11일에 최종적으로 끝났고3.5-2.5의 점수로 딥 블루가 승리했다. 이로써 딥 블루는 시간 제한이있는 정식 체스 토너먼트에서 세계 챔피언을 꺾은 최초의 컴퓨터가되었다.
Source - WIKI
Human VS Machine In Finance Industry
• Goove WM, Zald DH등이 작성한 Clinical
versus Mechanical Prediction: a meta-
analysis 논문에 의하면 136건의 사례를
조사해보니 수학적 모델이 사람보다
비슷하거나 더 좋은 결과를 가져올 확률이
94%라고 한다.
7
(source - http://www.ncbi.nlm.nih.gov/pubmed/10752360)
Algorithm Trading
8
• 알고리즘 트레이딩은 수학적 계산과 IT 시스템을
이용해 트레이딩을 하는 것으로 시스템 트레이딩
, Algo Trading 혹은 Blackbox 트레이딩이라고 한
다.
• 알고리즘 트레이딩은 투자은행, 연기금, 헤지펀드
, 증권회사등 많은 곳에서 사용되고 있으며, 최근
몇년사이에는 수학적지식과 IT지식을 가진 개인
들도 많이 참여하고 있다.
James Harris Simons
9
• Renaissance Technology 설립자
• MIT, UC 버클리 수학박사
• 전 하버드대 수학교수
• 수학자 및 헤지펀드 매니져
• 1976년 베블런상 수상
• 2006년 역대 최고 연봉
– 17억달러(2조원)
https://en.wikipedia.org/wiki/James_Harris_Simons
실제로 그를 만나본 사람들은
'사이먼스는 돈이 중요한 사람이라기보다는 단순히 수학에 미친 사람’
Algorithm Trading
10
미국은 2012년 알고리즘 트레이딩 거래량이 85%에 달할만큼 알고리즘 트레이딩은 가파르게 증가
Behind the Magic
11
Essense of Machine Learning
12
y = f(x)
• Training: given a training set of labeled examples {(x1,y1), …, (xN,yN)}, estimate the prediction function f by minimizing the prediction error on the training set
• Testing: apply f to a never before seen test example x and output the predicted value y = f(x)
output prediction
function
Image
feature
Finding Parameter is What ML does
13
Machine Learning
14
Supervised Learning
15
• Prediction• Classification (discrete labels),
Regression (real values)
Unsupervised Learning
16
• Clustering• Probability distribution estimation• Finding association (in features)• Dimension reduction
What Machine Learning can do
17
Clustering Regression Classification
Supervised LearningUnsupervised Learning
Regression
18
predictor variable x，y = w0 + w1x
Training Data Set
Regression Example -
19
아래처럼주택가격예측을하고싶다면…
Traditional Approach
20
수많은반복과노력이필요…
Y = ax + b
Hypothesis
Find ‘a’ and ‘b’ By hands
Regression - Machine Learning Approach
21
기계에의한수많은반복
Y = ax + b
Hypothesis
Find ‘a’ and ‘b’ By Iteration
Classification
22
1) Model Training 2) Classification
Classification - Logistic Regression
23
최적의 w를찾아 Decision Boundary 결정
OpenStack & Machine Learning
24
A Serious Pain in Machine Learning
25
Training Time
54.65 Hours
• Intel i7, 4.5Ghz, 4 Core
• Boosted Tree
• Numerical Data
• Data : 29,177
• 189 Features Only
26
Nightmare
27
Hyperparameter Optimization
28
Hyperparameter > Model Parameter
Fore Better Result
Who Knows
29
Do everything
If no Domain Knowledge
This is The Machine Learning!!!
30
정원꾸미는 것과 유사함
• Seeds = Algorithms
• Nutrients = Data
• Gardener = You
• Plants = Programs
Magic?
Machine Learning in Practice
31
Understanding domain, prior
knowledge, and goals
Data integration, selection, cleaning,
pre-processing, etc.
Learningmodels
Interpreting results
Consolidating and deploying
discovered knowledge
Infinite loop
algorithm
The Only Solution, So far
32
Parallelization + Automation
So More Computing Power
33
OpenStack!!!
34
APPS USERS ADMINS
Connects to apps via APIsSelf-service Portals for users
OpenStack
Virtual Data Center
To Provide Unlimited Computing Resources
Virtual Data Center Virtual Data Center Virtual Data Center
Machine Learning
35
No Doubt!!!
Faster then you think
OpenStack for Machine Learning?
36
GPU Spark High Speed Network
37
.
Recommended