인공지능과 딥러닝- 개념 및 실습 -

SNU&G ConTech Academy서울대학교차세대융합기술연구원

2014. 6. 27 (월)

서울대학교 바이오지능연구실김병희

bhkim@bi.snu.ac.kr

Intro

ⓒ 2016 SNU Biointelligence Laboratory, http://bi.snu.ac.kr/ 2

Slide by Jiqiong Qiu at DevFest 2016http://www.slideshare.net/SfeirGroup/first-step-deep-learning-by-jiqiong-qiu-devfest-2016

인공지능머신러닝

(기계학습)딥러닝

인공지능(Artificial Intelligence, AI)

AI 연구의 목표는 ‘똑똑한‘ 컴퓨터/기계를 만드는 것 컴퓨터의 동작이 지적이고(intelligent), 상황에 따라 적절히변하며(adaptive), 안정적(robust)이길 원함

사람이 일일이 프로그램을 작성하는 것은 불가능 해법? 컴퓨터에게 우리가 원하는 동작의 예를 보여주고, 스스로 프로그램을 작성하도록 하자!

이것이 AI 구현 전략 중 ‘학습(learning)‘ 기법

ⓒ 2016 SNU Biointelligence Laboratory, http://bi.snu.ac.kr/ 3

cat car

머신러닝 (Machine Learning, ML)

ⓒ 2016 SNU Biointelligence Laboratory, http://bi.snu.ac.kr/ 4

Q. If the season is dry and the pavement is slippery, did it rain?A. Unlikely, it is more likely that the sprinkler was ON

기계가 자동으로

대규모 데이터에서

중요한 패턴과 규칙을 학습하고

의사결정, 예측 등을 수행하는 기술

음성 인식

영상 인식

추론, 질의응답

사진 태그 생성사진 설명 성생

얼굴 기반 감정 인식

머신 러닝의 세 가지 기본 학습 모드

Supervised Learning (감독학습, 지도학습, 교사학습) 레이블(미리 정해놓은 정답) 달린 예제로 학습하기 예제가 매우 많은 경우 효과적인 학습이 가능하다 예) 분류(classification): 레이블이 이산적인(discrete) 경우. 예) 회귀(regression): 레이블이 연속적 값을 가지는 경우

Unsupervised Learning (무감독학습, 비지도학습, 비교사학습) 데이터에 내재된 패턴, 특성, 구조를 학습을 통해 발견. 레이블은 고려하지 않음 학습 데이터는 개체에 대한 입력 속성만으로 구성됨 D={(x)} 예: 차원 축소(dimension reduction), 군집화(clustering)

Reinforcement Learning (강화학습) 시스템의 동작이 적절성(right/wrong)에 대한 피드백이 있는 학습

소프트웨어 에이전트가, 환경(environment) 내에서 보상(rewards)이 최대화되는일련의 행동(action)을 수행하도록 학습하는 기법

환경의 상태, 에이전트의 행동, 상태 전이 규칙 및 보상, 관측 범위를 고려한 학습 Action selection, planning, policy learning

ⓒ 2016 SNU Biointelligence Laboratory, http://bi.snu.ac.kr/ 5

사진 기반 자동 판별기를 학습하려면?

무엇을 판별할 것인가?

어떤 측정값을 기준으로 판별할 것인가?

측정 자료 수집 및 분석

자동 판별 기계 ‘학습’ – 테스트 – 출시

ⓒ 2016 SNU Biointelligence Laboratory, http://bi.snu.ac.kr/6

SalmonSea Bass

Rockfish성별 판별

생선 종류 판별

감정 판별

사진출처: http://jamja.tistory.com/1705

해법: 머신러닝 - 감독학습 - 분류 기법

무엇을 판별할 것인가 Class label

어떤 측정값을 기준으로 판별할 것인가? 특성값(features, attributes), 변수(variables)

측정 자료 수집 및 정리 Dataset data matrix

자동 판별 기계 학습 – 테스트 – 출시 Training dataset Test dataset Classification model Evaluation & Model selection

ⓒ 2016 SNU Biointelligence Laboratory, http://bi.snu.ac.kr/ 7

y

𝑥𝑥1, 𝑥𝑥2, 𝑥𝑥3, …

(𝑋𝑋,𝑦𝑦)

𝑿𝑿 𝒚𝒚

Training set

Test set

features

instances

label

𝑋𝑋 = (𝑥𝑥1, 𝑥𝑥2, … , 𝑥𝑥𝑛𝑛)

𝒇𝒇: 𝑿𝑿 → 𝒚𝒚

분류 기법의 역할

ⓒ 2016 SNU Biointelligence Laboratory, http://bi.snu.ac.kr/ 8

x1

x2

x1

x2

Binary classification: Multi-class classification:

A. Ng, Machine Learning, Lecture at Coursera, 2013

연결주의(connectionism)

인공지능, 인지과학 등에서 사용하는 신경 정보 처리(neural information processing)에 대한 대표적 모델 중 하나 단순한 요소로 구성된 망(network)에서 지적 능력의 발현과 설명을시도

인공신경망(artificial neural networks) 신경세포(뉴런)의 망으로 구성된 뇌를 모사하여 계산 모델을 구성

ⓒ 2016 SNU Biointelligence Laboratory, http://bi.snu.ac.kr/ 9

입력 출력

정보의 흐름(feedforward)

딥 러닝(Deep Learning)

ⓒ 2016 SNU Biointelligence Laboratory, http://bi.snu.ac.kr/ 10(출처: Y. Bengio, Deep Learning Summer School 2015)

흰 부분: 사람이 개입, 회색 부분: 컴퓨터가 자동으로 수행

GoogLeNet

DeepFace

Convolutional NNStacked RBM

Neural Machine Translator

딥 러닝 기술은 사진 속 물체 인식/판별, 음성 인식, 자연언어 처리와 이해, 자동 번역 등 인공지능의 난제에서 획기적인 성능 향상을 보이고 있다.

• (좁은 의미)인공신경망의 다층 구조가 심화된 알고리즘• 여러 단계의 정보 표현과 추상화를 학습하는최신 머신러닝 알고리즘의 총칭

Deep Q Network

실습 구성 (Day 1)

실습 1: Weka 익히기 데이터 처리 및 분석 데이터 포맷(arff)

실습 2: 기계학습 기초실습 지도학습 – 분류 문제 다뤄보기 Classifier: Decision Tree, Random

Forest, Support Vector Machine Problem: iris classification, Pima

Indians diabetes Tool: Weka

실습 3: 인공신경망 실습 Basic multilayer perceptron Problem: various binary classification

problems Tool: Weka,

http://playground.tensorflow.org

ⓒ 2016 SNU Biointelligence Laboratory, http://bi.snu.ac.kr/ 11

(출처: Y. Bengio, Deep Learning Summer School 2015)

흰 부분: 사람이 개입, 회색 부분: 컴퓨터가 자동으로 수행

실습 구성 (Day 2)

실습 1: Weka Machine Learning 익히기 Problem: spam filtering (text), digit recogn

ition (image) Tool: Weka experimenter Algorithms

• Classification: SVM, MLP, Boosting, Random Forest

• Preprocessing: PCA, attribute selection

실습 2: Deep Learning 맛보기 온라인 데모 체험하기

• CNN 기반 Image 다루기: DeepDream• RNN 기반 Sequence 다루기: Word2Vec

in 한글, 영어 딥러닝 환경 설정

• Docker: Windows에서 linux 가상 머신환경 구축 및 image 다운로드

• Google TensorFlow 맛보기 필기체 인식 체험하기

• CNN으로 MNIST 다루기 (Tensorflowtutorial example)

• RNN 언어모델로 영어 필기체 생성하기(write-rnn)

ⓒ 2016 SNU Biointelligence Laboratory, http://bi.snu.ac.kr/ 12

(출처: Y. Bengio, Deep Learning Summer School 2015)

흰 부분: 사람이 개입, 회색 부분: 컴퓨터가 자동으로 수행

Neural Network 실습

(c)2008-2016, SNU Biointelligence Lab. 13

http://playground.tensorflow.org/