AWS를 활용한 디지털 자산 관리/미디어 분석 시스템 구축 :: 김기완 ::AWS Summit Seoul 2016

© 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

김기완 | 솔루션즈 아키텍트

2016.5.17

AWS를 활용한 디지털 자산 관리,

미디어 분석 시스템 구축

(착탈식) 하드 디스크 드라이브, SAN, 테입 드라이브, 검색, 인덱싱, …...

파일 단위 관리 자산 관리

컨텐트 관리의 어려움

디지털 자산(사진, 비디오, 오디오, 문서)에 대한 입수, 메타데이터 관리, 카탈로그관리, 스토리지 관리, 검색 및 배포에 대한 통합관리 서비스

CMS DAM MAM

문서웹 컨텐트

사진창작물모델

비디오오디오

Wordpress

Drupal

Censhare

Escenic

Adobe CQ

OpenText CHP

T3 Media/Wazee

Vidispine

Dalet 예제

생성

배포

편집

변경

리뷰

승인

자산 관리 : 정의

• 효율적인 파일/스트림입수 (Injection)

• 유연한 메타데이터추출

• 자동화된렌디션생성

• 다양한 목록검색

• 스토리지라이프사이클 관리

• 미디어 자산의 안전한배포 (secured)

반드시 갖추어야 할 요소들

Edge Locations

Availability Zone

Region

Dallas (2)

St.Louis

Miami

JacksonvilleLos Angeles (2)

Seattle

Ashburn (3)

Newark

New York (3)

Dublin

London (2)

Amsterdam (2)

Stockholm

Frankfurt (2)Paris (2)

Singapore(2)

Hong Kong (2)

Tokyo (2)

Sao Paulo

South Bend

San JosePalo AltoHayward

OsakaMilan

Sydney

MadridSeoul

Mumbai

Chennai

AWS 글로벌 인프라스트럭쳐

Amazon S3

사용한만큼만 지불

스토리지및 프론트엔드

11 9의 안정성

API를 통한인터넷스케일스토리지

Amazon EBS

블럭 스토리지

EC2

EBS

한 볼류 최대 16TB

최대 2만 IOPS

SSD 기반 스토리지

암호화

Amazon EFS

공유 파일 시스템

EC2

EFS


사용량에따라 up/down

유연한성능

Amazon Glacier

월 $0.01/GB

11 9의 안정성

여러 데이터센터에

복수의복제본 저장

아카이빙또는백업을위한스토리지

미디어와 관련된 주요 스토리지 서비스

Long Term Archive

각티어모두 API를통해접근가능

비용절감을위해사용되지않는컨텐트를

아카이브로이동

Amazon S3

S3 Infrequent Access

Amazon Glacier

Life

Cyc

le P

olic

ies

Near-line Storage

Frequently Accessed

자동화된 컨텐트 라이프사이클

Online

Storage

Catalog

Management

Proxy &

Transcode

Processing

Search | Collaboration

Services

Process Management | Workflow Services

Nearline

Storage

Offline

Storage

Import / Export

Services

Tools

Adapter

Ingest

Services

Security | Rights Management Services

CDN

File Transfer

WAFS

아키텍쳐

Online

Storage

Catalog

Management

Proxy &

Transcode

Processing


Services


Nearline

Storage

Offline

Storage

Import / Export

Services

Tools

Adapter

Ingest

Services


CDN

File Transfer

WAFS

Standard S3-IA Glacier

S3 Glacier

아키텍쳐

Online

Storage

Catalog

Management

Proxy &

Transcode

Processing


Services


Nearline

Storage

Offline

Storage

Import / Export

Services

Tools

Adapter

Ingest

Services


CDN

File Transfer

WAFS


S3 Glacier

Cognito Identity & Access

Management

아키텍쳐

Online

Storage

Catalog

Management

Proxy &

Transcode

Processing


Services


Nearline

Storage

Offline

Storage

Import / Export

Services

Tools

Adapter

Ingest

Services


CDN

File Transfer

WAFS


S3 Glacier

Cognito

DynamoDB

Identity & Access

Management

아키텍쳐

Online

Storage

Catalog

Management

Proxy &

Transcode

Processing


Services


Nearline

Storage

Offline

Storage

Import / Export

Services

Tools

Adapter

Ingest

Services


CDN

File Transfer

WAFS


S3 Glacier

Cognito

DynamoDB

Elastic Transcoder &

Elemental

Identity & Access

Management

아키텍쳐

Online

Storage

Catalog

Management

Proxy &

Transcode

Processing


Services


Nearline

Storage

Offline

Storage

Import / Export

Services

Tools

Adapter

Ingest

Services


CDN

File Transfer

WAFS


S3 Glacier

Cognito

DynamoDB


Elemental

API

GatewayLambda

Identity & Access

Management

아키텍쳐

Online

Storage

Catalog

Management

Proxy &

Transcode

Processing


Services


Nearline

Storage

Offline

Storage

Import / Export

Services

Tools

Adapter

Ingest

Services


CDN

File Transfer

WAFS


S3 Glacier

Cognito

DynamoDB


Elemental

API

GatewayLambda

Elasticsearch

Identity & Access

Management

아키텍쳐

Online

Storage

Catalog

Management

Proxy &

Transcode

Processing


Services


Nearline

Storage

Offline

Storage

Import / Export

Services

Tools

Adapter

Ingest

Services


CDN

File Transfer

WAFS


S3 Glacier

Cognito Identity & Access

Management

DynamoDB


Elemental

API

GatewayLambda

Elasticsearch

AWS Import/

Export Snowball

아키텍쳐

AWS Import/ Export

S3 multi-part API

For Source, Renditions, Metadata Sidecar Files

Ingest

AWS Elastic

Beanstalk

DAM

Web Service

CloudFront

Distribution

Amazon

DynamoDB

Amazon

CloudSearch

DAM Catalog

Rendition Workers

EC2 ASG

Amazon SNS

Topic

Amazon SQS

Queue

Rendition Jobs

Amazon SQS Queue

Metadata Processing

Jobs

S3

Notification

Elastic Transcoder

Proxy /

Thumbnail/Renditions

Generation

Processing

Metadata Workers

EC2 ASG

클라우드 DAM/MAM

AWS Import/ Export

S3 multi-part API

S3 as backend storage for Content Files

acesable to other processing tasks

Amazon Elastic

Transcoder

S3

Notification

Trigger a Lambda

Function to Start a

transcoding job

Ingest

S3

Notification

Lambda function

to generate a

signed URL to

share the file

Update CMS

or Metadata

클라우드 DAM/MAM (서버리스)

RDSNoSQL

API

Auto Scaling Group

UI

Content

Processing

Auto Scaling Group

S3

ElastiCache SWF

Glacier

SES

Transfer

Cluster

Auto Scaling Group

CloudFront

SQS

고객사례 : Sony MCS

데모

데모 : 서버 없는 비디오 스트리밍 아키텍쳐

AWS

Lambda

Amazon S3

비디오파일 입수

PUT 이벤트Lambda 트리거

Amazon Elastic

Transcoder

트랜스코딩Job 시작

Amazon S3

여러 bit-rate

HLS 스트리밍

Amazon

CloudFront

시청자

데이터 분석?

Amazon S3


스토리지및 프론트엔드

데이터분석 서비스의

저장소역할

API를 통한인터넷스케일스토리지

Amazon Kinesis

스트림 데이터 처리

OTT 디바이스로부터

정보 수집

하나의소스로부터

병렬 처리 가능

암호화

Amazon EMR

관리형 하둡 서비스

하둡 클러스터

추천 엔진

사용자그룹핑/분석

Amazon Redshift

MPP 방식의효율적인

데이터웨어하우스

서비스

데이터웨어하우스서비스

AWS 데이터 분석 서비스

• 일정 간격으로 플레이어로부터HeartBeat 수신

• 네이티브 혹은 웹 기반 플레이어Amazon

Kinesis

Lambda

클라이언트 플레이어or 모바일 앱

데이터 수집 (플레이어로부터)

{

assetId: "d6f9fe" // Program ID

userId: "33114220875dc" // Token / User ID

timeStamp: "T00:00:05" // Progress

deviceId: "93d2d4fef95cb" // Fingerprint deviceType:

"Amazon Fire" // From API

}

(Pseudo JSON)

Amazon

Kinesis

Lambda

클라이언트 플레이어혹은 모바일 앱

데이터 수집 (플레이어로부터)

• Amazon Kinesis로Heartbeat 수신

• DynamoDB에 데이터 입력

• DRM license 서버는DynamoDB 데이터 조회

• 가입자 확인 및 처리

Amazon

Kinesis

Lambda

EC2

DynamoDB

라이센스 검증

가입자 관리

DRM 시스템

DRM 프로세스


Amazon

Kinesis

Lambda

• 사용자 Drop-off 처리

• 인기 컨텐트 하이라이트

• 컨텐트 개발에 대한 피드백

DynamoDB Amazon Redshift

데이터 수집 / 분석


Amazon

Kinesis

Lambda


Amazon MLAd server

• 광고 제공 솔루션과 연동

• 사용 패턴으로부터 추천 생성

가입자 관리데이터 웨어하우스

관리

데이터 수집 / 분석클라이언트 플레이어

혹은 모바일 앱

Amazon

Kinesis

Lambda

• 여러 디바이스 지원

• Play / pause / resume

• 클라이언트로부터의 중지(non-DRM 솔루션)


Lambda

API Gateway

가입자 관리데이터 웨어하우스

관리

데이터 수집 / 분석클라이언트 플레이어

혹은 모바일 앱

users

Media platforms

Mobile

Search

Play

Buy

Rate

Recommend

Social Media activity

Extract

FeaturesClassify

Extract

FeaturesClassify

Extract

FeaturesClassify

Model

Training

Positive Negative

“I adored this

movie”

“adore” =

POSITIVE

Buy (or Lease) It? or Do It Yourself?

상용 제품 / AWS Marketplace

ISV의 상용 제품혹은 VM상의 라이선스

소프트웨어 구매최소한의 변경

DIYPaaS / SaaS

BYOL

직접 제작

구축

구매

조합

구매? 혹은 구축?

Professional ServicesProfessional service firms that help

customers design, architect, migrate,

or build new applications on AWS.

Authorized

Government

Partner

Channel

Reseller

Partner

Managed

Service

Provider

AWS SaaS

Partners

Product CompaniesCommercial software and cloud service

companies that build solutions that run

on, are complementary to AWS.

AWS

Marketplace

Seller

AWS Test

Drive

구매 통합 & 구축

AWS 파트너 네트워크

INGEST STORE MANAGE SECUREPROCESS

CREATEMONETIZE

INTEGRATEDELIVER

SaaS BYOLPaaS

AWS Media and Entertainment 파트너 에코시스템

여러분의 피드백을 기다립니다!

https://www.awssummit.co.kr

모바일 페이지에 접속하셔서, 지금 세션 평가에참여하시면, 행사 후 기념품을 드립니다.

#AWSSummit 해시태그로 소셜 미디어에 여러분의행사 소감을 올려주세요.

발표 자료 및 녹화 동영상은 AWS Korea 공식 소셜채널로 곧 공유될 예정입니다.

Technology

AWS를 활용한 디지털 자산 관리/미디어 분석 시스템 구축 :: 김기완 ::AWS Summit Seoul 2016