머신러닝, 챗봇, 인공지능(AI)– Microsoft의핫키워드

심층해석

한석진 부장, 함광석 부장

마이크로소프트

Microsoft dedication to AI

• AI and Research group 조직설립

• Microsoft Research

• Information Platform Group

• Cortana Engineering

• “모두를위한 AI” 천명

• “Partnership on AI”(비영리단체)

설립멤버

• 클라우드기반머신러닝,

인지서비스, 봇에대한적극적투자

• 시장에서가장다변화된 AI

포트폴리오제공

Agent Applications Services Infrastructure

Cortana Office 365

Dynamics 365

Cortana Intelligence

• Bot Framework

• Cognitive Services

• Cognitive Toolkit

• Azure Machine

Learning

Azure N Series

FPGA

Platform

Approach

Microsoft AI Portfolio

Digital Transformation

Microsoft 솔루션 속 Machine Learning

• Clutter in Office 365스팸 분류, Infer.Net 확률모델

• Power BI자연언어로데이터 시각화

• Cortana음성 인식/합성, 의미 추출

• Kinect적외선이미지로동작인식

• Windows Phone 키보드오타수정이력을이용해향후 누를키를강조

• Windows 태블릿 터치 인식

• OneNote 필기 인식

• Windows 부팅시간 단축자주쓰는앱 미리읽기

• Band저가 센서로측정정확도향상

• XBox 게임AI, 랭킹시스템

• Bing / SharePoint검색기능

• OneDrive사진자동태그

• Skype Translator실시간양방향 통역

• Project Adam이미지인식 : 개 품종인식, 식물 독성여부판단 + alpha

Cosmos/Scope

Microsoft를움직이게만드는빅데이터서비스

분석데이터량 : 3 EB+

클러스터 크기 : 1만개+ 노드

머신 개수 : 10만개

매일 분석/입출력량: 150 PB+

내부 분석가 : 수천 명

매일 분석 작업 개수 : 수십만 개

SMSG

Live

STB Commerce RiskLCA

Cortana Intelligence Suite

From Data to Decisions and Actions

Decision

Transform data into intelligent action

인텔리전스

대시보드및 시각화

정보 관리 빅데이터스토어 머신러닝및고급분석

CortanaEvent Hub

IoT Hub

HDInsight

(Hadoop and

Spark)

Stream

Analytics

Data Intelligence Action

People

Automated Systems

Apps

Web

Mobile

Bots

Bot

FrameworkSQL Data

WarehouseData Catalog

Data Lake

Analytics

Data Factory Machine

LearningData Lake

Store

Cognitive

Services

Power BI

Data

Source

s

Apps

Sensors

and

devices

Data

FUTURE PROOF ARCHITECTURE

Azure

API

Management

Backend Services

Data sources

Apps

Sensors and devices

Event Hub

IoT HubMachine Learning

HDInsight(Apache Spark)

Storage

Power BIStream Analytics

SQL Data Warehouse

Azure Data Factory & Azure Data Catalog

Data Lake StoreData Lake Analytics

SQL Server Integration Services

R Services

StreamInsights Analytics Platform System

Reporting Services, Analysis Services,

Mobile Report

Microsoft R Server Microsoft Office

Cognitive Services

Bot Framework

Cortana

PolyBase

Po

lyB

as

e

• 봇은 사용자 접점(UX)이며, 대화를 위한 플랫폼(CaaP)• 컨텐츠 역시 중요: 정보전달에서부터 Actionable Insights까지

Microsoft R • 통계분석, 데이터 전처리, 예측모델링 등

빅데이터 • Hadoop, Spark, Data Lake Analytics 등

머신러닝 • 예측분석, 딥러닝 등

인지서비스 • 이미지인식, 자연어처리 등

봇 프레임워크 • 개발 프레임워크, 서비스 채널

봇과 연계된 기술 요소들

챗봇구현아키텍처예시

확장시나리오

빅데이터처리/분석Spark on HDInsightData Lake Analytics

실시간데이터제공Stream Analytics

개인화된정보제공Machine Learning

SQL Server R Services

온프레미스데이터연계SQL Server

Data Management Gateway

시각화연계Power BI Embedded

Demo – Cortana Intelligence Gallery

Vehicle Telemetry Solution

https://gallery.cortanaintelligence.com/Solution/Vehicle-Telemetry-Analytics-9

https://docs.microsoft.com/en-us/azure/machine-learning/cortana-analytics-playbook-vehicle-telemetry

예측분석 솔루션을 손쉽게 생성/배포

• 단순하고, 확장가능하며, 독특한플랫폼. 완전히 관리되는클라우드서비스로서쉽게 예측분석솔루션을개발/배포/공유할수 있음.

• 수 분만에 배포. Azure Machine Learning은 비즈니스문제를위한 도구임. 예측모델을웹서비스로배포하여어떤 디바이스에서도예측모델을호출, 활용할수 있음.

• 배포된예측모델은 Gallery나 Azure Marketplace에서과금을통한 수익모델로활용할수있음.

머신러닝 및 고급분석

HDInsight

(Hadoop and

Spark)

Stream

Analytics

Data Lake

Analytics

Machine

Learning

고급분석 사이클

Act: Score,

Visualize

Deploy Apps,

Services &

Visualizations

Measure

Preparation Modeling

Feature &

Algorithm

Selection

Model Testing

& Validation

Models

Visualizations

Ingest

Profile

Explore

Visualize

Transform

Cleanse

Denormalize

Prepare Model

OperationalizeModels

Visualizations

Azure Machine Learning

Machine Learning

Cloud BI

(Power BI)

On-premise 대시보드(SQL Server 2016

Reporting Services)

1. 데이터입력 2. 실험수행(분석모델만들기)

3. 웹서비스로배포

다양한 지원 Data set • Plain text (.txt)• Comma-separated values (CSV) • Tab-separated values (TSV) • OData values• SVMLight data (.svmlight)• Attribute Relation File Format (.arff) • Zip file (.zip)• R object or workspace file (.RData)

클라우드 BLOB/테이블 저장소(Azure Blob /Table Storage)

Hive 쿼리(HDInsight)

클라우드 PaaS형 DB

(Azure SQL DB)

1) 데이터 셋 업로드2) 클라우드 데이터 원본에 직접 연결

클라우드 BLOB/테이블 저장소(Azure Blob /Table Storage)

Hive 쿼리(HDInsight)

클라우드 PaaS형 DB

(Azure SQL DB)

실험 결과 데이터 셋 저장

웹 서비스로 배포

4. Azure ML 활용

잘 만들어진 분석 모델의 API화(타 비즈니스 앱에서 사용하기 위해)

On-premise Excel BI

서비스 API 키를 사용하여어플리케이션에서 API를호출하여 JSON 형태의결과 값 직접 사용

C#, Python 등 다양한언어로 API 호출 가능

2) 시각화

1) 비즈니스 어플리케이션에서 활용

Azure BLOB Storage에API 호출 결과(배치) 데이터 집합 저장

실험 결과 데이터 셋 또는 API 호출 결과 데이터셋을 시각화

[웹 서비스 관리 화면][2) 클라우드 직접 연결 방식 : 쿼리 입력 가능] [실험 수행 화면]

1) 모델 API 활용한 비즈니스 앱 개발2) 결과 데이터를 활용한 시각화

실험에 사용할데이터 전송

Demo – Azure Machine Learning

Simple example : Linear Regression

Predictive Maintenance examplehttps://gallery.cortanaintelligence.com/Experiment/Predictive-Maintenance-Step-2A-of-3-train-and-evaluate-regression-models-2

Evaluate Model - Metrics Reportedhttps://msdn.microsoft.com/library/azure/927d65ac-3b50-4694-9903-20f6c1672089https://docs.microsoft.com/en-us/azure/machine-learning/machine-learning-evaluate-model-performancehttps://blogs.msdn.microsoft.com/andreasderuiter/2015/02/09/using-roc-plots-and-the-auc-measure-in-azure-ml/

JupyterNotebook to explore dataset

Excel Add-in for Azure MLhttps://blogs.technet.microsoft.com/machinelearning/2015/09/01/excel-add-in-for-azure-ml/

Operationalizing R with AML

Microsoft R의 다양한 배포 옵션

Managed Service로서의 Apache 빅데이터 솔루션

• 필요한 시점에 petabytes 수준으로 확장

• 비정형/반정형데이터 처리

• Java, .NET 등 다양한 언어로 개발

• 하드웨어 구매/유지불필요

• Windows 또는 Linux로구현

• 수 분만에 Apache Hadoop cluster 구성

• Excel에서 Hadoop 데이터시각화

• 온프레미스의 Hadoop 클러스터와 손쉽게 연계

Core Engine

Batch

Map

Reduce

Script

Pig

SQL

Hive

NoSQL

HBase

Streaming

Storm

In-

Memory

Spark

머신러닝 및 고급분석

HDInsight

(Hadoop and

Spark)

Stream

Analytics

Data Lake

Analytics

Machine

Learning

게임로그분석사례

- HDInsight , Azure SQL DB, Power BI

게임로그분석환경 – (1) Daily 배치분석

Daily 로그

원본 로그

저장소

① Daily Export

통합로그

③ Data Source(Hive 유사) 테이블에업데이트 (자동으로 Parquet 파일 변환)

④ 분석 결과 저장

② Daily 배치 기동

Azure Automation

⑤ Daily 배치 종료

대시보드 및 리포트

데이터

요청

External

Metastore

조회용 DB

게임로그분석환경 – (2) Ad-Hoc분석

로그1차 분석

결과 저장

현업 사용자

DBA /

개발자 SQL Client

엑셀 Power Pivot 분석

등의 추가 분석 수행대시보드 및 리포트

1

2

1차 Ad-Hoc 분석

(옵션)

분석 수행

Demo – Azure HDInsight / Power BI

Azure HDInsight, Azure SQL DB, Power BI를

활용한게임로그분석사례데모

Video – Deploying Azure HDInsight

Azure HDInsight – 5분만에배포하기

인간을 이해하는 애플리케이션 개발

• 얼굴, 이미지, 감정 인식, 비디오 인텔리전스

• 언어 처리, 음성 인식, 커스텀 음성 인지

• 자연어 처리, 감성/토픽분석, 스펠링 오류등

• 복잡 태스크 처리, 지식 탐색, 인텔리전트추천 등

• Bing 엔진 기능 (웹, 자동완성, 이미지/비디오/뉴스검색 등)

인텔리전스

Cortana

Bot

Framework

Cognitive

Services

Demo – Cognitive Services Live, Intelligent kiosk

봇 – 여러분이 대화하는 어느 곳에서나

인텔리전스

Cortana

Bot

Framework

Cognitive

Services

• Bot 연결 서비스: 직접 개발한 Bot을 등록하고, 채널을 구성하고, Bot Directory에 배포 지원. Bot을 문자, Office 365 메일, Skype, Slack, Twitter 등에 연결 지원.

• Bot 개발 SDK: Github에공개된 오픈소스 SDK 지원. Node.js / C# 기반 Bot 개발에 필요한 모든 도구 제공

• Bot Directory: Bot 연결서비스를통해 Bot을 등록할수있는 공개 디렉토리.

Enterprise Meeting Assistant

ATTEN

DESS

STA

RT T

IME

DU

RA

TIO

N

LOC

ATIO

N

Pls schedule a meeting for my team on the

next Tuesday morning with Yong at 13F

User Input

MY TEAM

IS A

LIST OF

PEOPLE

NEXT TUESDAY

MORNING

IS A

DATE

TIME

Yong

IS A

PEOPLE

NAME

13F

IS A

LOCATION

NAME

BOOK A MEETING

IS AN

INTENION

• Resolve Attendees

Create Active Directory query for “my team”

FIND “PEOPLE REPORT

TO ME” IN

ACTIVE DIRECTORY• Slots for Book Meeting

“Book a meeting” is an intention to book meeting

Yohn C. Jingtian J. Wenhao H. Lei F.

Filter related people by name contains “Yong”

• Link to Entities

Yong Rui Yong Liu

Filter people by relationship to me

Yong Rui

Using AI + HI to Complete Tasks

Conversational Entity Extraction

Response suggestion

비즈니스를위한 AI 고려영역

고객이 보다 개인적이고자연스러운 방식으로 비즈니스와상호작용하도록 지원

비즈니스 프로세스 내에 인공지능을더하여 Insights(통찰력)을Action(실행)으로 연결시킴

기업 내외의 데이터에 숨겨진통찰력을 활용하여 고객을이해하고 비즈니스를 발전시킴

Demo – Skype Bots, EDI@Microsoft.com, LUIS, QnA Maker

모두를 위한 AIAI 기술을 모든 개인과 조직이 보다 쉽게 사용할 수 있도록

Thank you