© 2015, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

윤석찬 | 아마존웹 서비스 테크 에반젤리스트

클라우드 데이터 마이그레이션: AWS로 데이터를 이전하기 위한 6가지 전략

@channyun

온라인 세미나 중 질문하기

자신이 질문한 내역이 표시되며, 전체 공개로 답변된내용은 검은색, 질문자 본인에게만 공개로 답변된 내용은붉은색으로 돌아옵니다.

AWS in 2016

연간매출액

1,000,000+ $10B+ 58%연간성장률

(Q2 2015 vs Q2 2016)월간활성고객수

Gartner Magic Quadrant for Cloud Infrastructure as a Service, Worldwide

Gartner “Magic Quadrant for Cloud Infrastructure as a Service, Worldwide,” Lydia Leong, Douglas Toombs, Bob Gill, May 18, 2015. This Magic Quadrant graphic was published by Gartner, Inc. as part of a larger research note and should be evaluated in the context of the entire report. The Gartner report is available at http://aws.amazon.com/resources/analyst-reports/. Gartner does not endorse any vendor, product or service depicted in its research publications, and does not advise technology users to select only those vendors with the highest ratings or other designation. Gartner research publications consist of the opinions of Gartner's research organization and should not be construed as statements of fact. Gartner disclaims all warranties, expressed or implied, with respect to this research, including any warranties of merchantability or fitness for a particular purpose.

AWS 서비스의 차별점

2006년 부터 클라우드 서비스 운영 경험

다양한 클라우드 업무를 지원하는 70여개 이상

고객의 피드백을 기반한 빠른 혁신 속도

13 리전, 35 가용영역 , 59 엣지 로케이션

52번의 자발적인 가격 인하

수만개 파트너사 및 수천개 마켓플레이스 제품

축적된 경험

폭넓은 전문 서비스

혁신의 속도

글로벌 인프라

가격 철학

파트너 생태계

클라우드 전환을 위한 다양한 선택

개발및테스트

신규앱 디지털웹사이트

분석서비스

모바일데이터센터마이그레이션

비지니스애플리케이션

클라우드올인

1 2 3 4

글로벌 엔터프라이즈 기업 클라우드 전환 사례

StatCast 신규 서비스

헬스케어 분야 혁신

WSJ.com 사이트 1,700여개웹 사이트 이전

전자 상거래 서비스

4PB 규모 데이터 분석 비지니스 애플리케이션SAP HANA

데이터센터마이그레이션

국내 주요 기업의 클라우도 도입 가속

스마트 TV/모바일 데이터분석 및 프린팅 솔루션

글로벌 쇼핑몰사이트 이전

방송국 웹 페이지이전

자산 운용 펀드고객 사이트

모바일 항공 티켓서비스

팬사이트 및 모바일신규 서비스

모바일 게임 서비스 모바일 O2O서비스

넷플릭스, AWS 클라우드 올인!

글로벌 최대 온라인 동영상 서비스플랫폼으로 AWS 클라우드

기반으로 제공 중데이터 분석용 수천대의 인스턴스 및

스토리지를 수분내 제공 가능

클라우드 전환의 4가지 핵심 항목

데이터 이동 DB 이동 애플리케이션 이동교육 및 훈련

AWS 인프라 서비스 패턴

Multi-AZ Cross Region Hybrid ITSingle AZ

AZ AZ AZ Region Region

Edge

글로벌콘텐츠 배포

클라우드고가용성 확보

글로벌서비스 운용

클라우드확장성 확보

온프레미스와 연동

13개 리전(Region) 및 35개 가용영역(AZ)59개 엣지 로케이션(Edge Location)

(2016년 8월 현재)

AWS로 데이터 이전이 필요한 경우

웹 애플리케이션웹 사이트

데이터백업

문서저장소

재해 복구 개발 및 테스트

빅데이터분석

고성능컴퓨팅

비지니스애플리케이션 엔터프라이즈

IT 모바일서비스

Amazon S3내구성 높은 객체파일 스토리지

Amazon EBSAmazon EC2 내블록 스토리지

Amazon Glacier장기 보관을 위한

데이터 백업 스토리지

경제적 이점 사용 편의성 위험 감소 민첩성 및 확장성

사용한 만큼만 지불

초기 투자 없음(무약정)

과다 용량 계획 없음

셀프 서비스 관리

간편한 통합을 위한 SDK

높은 내구성 및 보안 수준

물리적 미디어 처리 상위험 방지

서비스 출시 시간 단축

저장 인프라가 아니라비즈니스에 집중

Amazon EFSAmazon EC2 내

네트워크 파일 시스템

AWS 데이터 저장소 종류 및 이점

클라우드 데이터 이동의 종류

지속적 연결을통한 이동

실시간 작은데이터 이동

중간 크기의데이터 이동

큰 규모의일회성 이동

데이터베이스이전

애플리케이션이전

AWS Direct Connect

지속적 연결을 통한 이동

AWS Direct Connect 소개

• AWS와 온-프레미스 환경 전용선 연결 서비스• AWS에 대한 프라이빗(VPC) 또는 퍼블릭 가상

인터페이스 생성• 데이터 전송 요금 절감 및 일관된 네트워크 성능 보장• 각 AWS 리전에 최소 1개의 위치• 탄력적 데이터 전송 대역 선택 가능

AWS Direct Connect – 연결 지점AWS 리전 AWS Direct Connect 위치아시아 태평양(싱가포르) Equinix SG2, GPX, Mumbai아시아 태평양(서울) KINX, 서울아시아 태평양(시드니) Equinix SY3, Global Switch아시아 태평양(도쿄) Equinix OS1, Equinix TY2아시아 태평양(뭄바이) GPX, Mumbai중국(베이징) Sinnet JiuXianqiao IDC, CIDS Jiachuang IDCEU(프랑크푸르트) Equinix FR5, Interxion FrankfurtEU(아일랜드) TelecityGroup, London Docklands’, Eircom Clonshaugh

Equinix LD4 - LD6, 런던남아메리카(상파울루) Terremark NAP do Brasil, Tivit미국 동부(버지니아) CoreSite NY1 & NY2, Equinix DC1 - DC6 & DC10미국 서부(캘리포니아 북부)

CoreSite One Wilshire & 900 North Alameda, CA, Equinix SV1 & SV5

미국 서부(오리건) Equinix SE2 & SE3, Switch SUPERNAP, 라스베이거스AWS GovCloud(미국) Equinix SV1 & SV5

AWS Direct Connect - 물리적 연결 제공

• DX에서 교차 연결• 단일 모드 광섬유:

1000Base-LX 또는 10GBASE-LR

• Direct Connect 파트너를통해 제공 가능

• 1G/10Gbps 연결 서비스• 1G 이하의 경우, 파트너

서비스로 제공 가능DreamlineKINX Sejong Telecom

AWS Direct Connect 연결 지점

기업

AWS DirectConnect 라우터

고객라우터

코로케이션

DX 위치

고객네트워크`

AWS 백본네트워크

교차연결

고객 라우터 고객 네트워크

경계

AWS Direct Connect 파트너 전용 포트

기업

AWS DirectConnect 라우터

코로케이션

DX 위치

파트너 네트워크

AWS 백본네트워크

교차연결

고객라우터

파트너네트워크

액세스회로

경계

파트너장비

AWS Storage Gateway란?

AWS 내 안전하고내구성 높은

스토리지 활용

기존 스토리지 소프트웨어 장비를 클라우드 기반 스토리지와 연결하는 서비스

기존애플리케이션과

함께 작동

자주 사용하는데이터의 지연 시간

짧음

확장 가능하고 비용효율적인 온프레미스

스토리지

AWS Storage Gateway의 운용 방식

Amazon EBS 스냅샷

Amazon S3

Amazon Glacier

AWSStorage Gateway

어플라이언스

애플리케이션서버

AWSStorage Gateway

백엔드

AWSDirect

Connect

인터넷

고객 구내

AWS Storage Gateway 구성

iSCSI 블록 스토리지

게이트웨이 저장 볼륨

iSCSI 가상 테이프 스토리지

AWS로 특정 시점 백업을 지원하며 모든데이터의 지연 시간 짧음

백업 및 보관을 위한 온프레미스 물리적 테이프인프라 교체

게이트웨이 캐싱 볼륨

게이트웨이 가상 테이프 라이브러리(VTL)

모든 데이터가 AWS에 저장되며 자주 사용하는데이터의 지연 시간 짧음

Amazon Kinesis Firehose

실시간 작은 데이터 이동

실시간 분석을 위한 AWS 빌딩 블록

Amazon Kinesis Streams

스트리밍 데이터를처리하거나 분석하는 커스텀

애플리케이션을 개발

Amazon Kinesis Firehose

방대한 볼륨의 스트리밍데이터를 Amazon S3나Redshift 로 쉽게 로드

Amazon Kinesis Analytics

표준 SQL 쿼리를 이용하여데이터 스트림을 쉽게 분석

AWS 에서 스트림에 대한 수집, 전송/저장 및 분석을 가능하게 하는 서비스

Amazon Kinesis Firehose

• 관리성 작업 없음: 별도 애플리케이션 개발 또는 인프라 관리 없이스트리밍 데이터를 캡처하여 S3, Redshift에 빠르게 전달

• 데이터에 직접 수행: 간단한 구성을 사용하여 단 60초 이내에 데이터대상으로 전달할 스트리밍 데이터를 일괄 처리, 압축 및 암호화

• 완벽한 탄력성: 작업자 개입 없이 데이터 처리량에 맞게 원활하게 확장

스트리밍 데이터를 캡처하여Firehose로 제출

Firehose가 스트리밍 데이터를 S3 및Redshift로 지속적으로 로드

선호하는 BI 도구를 사용하여스트리밍 데이터 분석

사용 사례 분석을 위한 수집 가속화

광고 기술/ 마케팅 분석 광고데이터집계

소비자 온라인/게임 온라인고객참여데이터집계

금융 서비스 시장/금융거래주문데이터수집

IoT/센서 데이터 헬스장치,차량센서,원격측정값수집

Amazon Kinesis Firehose 적용 사례

Amazon S3 데이터 전송

중간 크기의 데이터 이동

Amazon S3 병렬 데이터 전송

Multipart

Multiple Machines Multiple Threads

Multiple Parts

Amazon S3 Multi-Part 병렬 업로드

• AWS CLI 및 업로드도구 활용

• 멀티파트, 멀티쓰레드, 멀티 머신활용

• 국내 리전의 경우,빠르게 업로드 가능

• 해외 리전의 경우인터넷 병목 발생(!)Amazon S3

Bucket

Storage Servers

Files File

systems

Amazon S3 Transfer Acceleration

• 콘텐츠 배포를 위한 엣지 로케이션 활용• 간편한 설정 및 별도 엔드 포인트 제공• 특정 리전의 경우, 전송 속도 수배 증가 가능• 미국 동부, 남미, 유럽 등 네트워크 속도가 느린

리전에 데이터 이전 시 도움이 됨• 추가 비용 없음

Video Collaboration특정경우, 500%업로드성능향상

Cinematic Virtual Reality대량파일전송시간

12시간에서 4-6시간으로감소

Video Analysis50%이상의시간

절감

AWS Import/Export 서비스

큰 규모의 일회성 이동

AWS Import/Export Disk

• Amazon S3, Glacier 및 EBS로 양방향대량 데이터 이동 가속화

• 고객이 소유한 스토리지 장치로양방향으로 직접 데이터 전송

• Amazon 고속 내부 네트워크를 사용하여전송 완료

• 최대 6TB 또는 16TB 어레이까지 eSATA및 USB 2, 3으로 연결된 드라이브 지원

AWS Import/Export Snowball

전자 잉크 배송라벨

견고한케이스

"8.5G 충격"

모든 데이터가완전히 암호화됨

빗물 및 먼지 방지

조작 방지케이스 및 전자 부품

80/50TB10GE 네트워크

Snowball 빠른 전송 속도• Snowballs 5개 사용 시 5x10G 연결을 통해 250TB를 1일 이내에 전송,

배송 포함 1주 이내• 인터넷을 통한 이동 보다 훨씬 빠르고, Import/Export Disk 보다 훨씬

안전하고 편리한 이동 가능• 2016년 말까지 모든 리전에 지원 예정 (서울 리전 포함)

대용량데이터

빠른이동

고객 데이터업로드

Snowball을 사용하는 경우

클라우드마이그레이션

재해복구

데이터 센터서비스 해제

콘텐츠배포

30 Times670+ MillionAround the WorldObjects Moved

Snowball 주요 고객 사례

AWS Database Migration Service

데이터베이스 이전

• 간편성- 콘솔에서 손쉽게 마이그레이션 시작

• 가동 중단 없음 - 이전 중 기존 애플리케이션 서비스 유지

• 다양한 엔진 지원 - 동일 또는 이기종 DB간 복제

• AWS Schema Conversion Tool 지원ü Table 뿐만 아니라, Views, Stored Procedures, Triggers,

Functions 등 변환

AWS Database Migration Service 개요

기존 데이터센터

애플리케이션 사용자

AWS

인터넷

VPN

DB 이전시 다운타임 최소화

• 복제 인스턴스 시작

• 원본 및 대상 데이터베이스에 접속

• 테이블, 스키마, 데이터베이스 선택

• AWS Database Migration Service 가 테이블 생성, 데이터 로드 및변경 사항 적용

• 적절한 시점에 대상데이터베이스로 어플리케이션 전환

AWSDatabase Migration

Service

AWS DMS 이전 모니터링

Amazon Aurora: 엔터프라이즈급 오픈소스 DB 엔진

ü MySQL 호환 및 5배 성능 향상ü 자동 스토리지 확장ü 자동 장애 감지 및 복구ü Amazon S3에 지속 증분 백업ü 1/10 비용으로 상용 DB 급 성능ü 가장 빠르게 성장 중

Data Plane

Logging + Storage

SQL

Transactions

Caching

Amazon S3

Before: 15 ms

After: 5.5 ms

Aurora Migration

Grani Cases

Aurora vs. RDS MySQL r3.4xlarge, Multi-AZ

“Now we have an Oracle Exadata Database Machine that we are about to throw in the river.”

Mark Holt, CTO, Trainline.com

Amazon Aurora Performance

Application Discovery Service

애플리케이션 이전

Application Discovery Service?

AWS 전문가 및AWS 파트너와

상담

수집한 앱데이터에대한 암호화

클라우드 이전계획 프로세스

간소화

공개 API와 데이터형식으로 서드 파티도구와 연계 용이

기존 데이터 센터에서 실행 중인 애플리케이션과 종속성 및 성능을자동으로 파악하여, 애플리케이션 이전 계획 및 대상 계획 수립

Application Discovery Service 파트너사

AWS 스토리지 솔루션 파트너사

맺으면서: 클라우드 전환 과정

데이터 이동 DB 이동 애플리케이션 이동교육 및 훈련

맺으면서: 6가지 이전 타입별 전략

Direct Connect

Storage Gateway

KinesisStreams

KinesisFirehose

S3 Transfer

Acceleration

Import/ExportDisk

Snowball

DatabaseMigrationService

ApplicationDiscoveryService

세부 서비스 자세히 알아보기 (FAQ)

• https://aws.amazon.com/ko/directconnect/faqs/• https://aws.amazon.com/ko/storagegateway/faqs/• https://aws.amazon.com/ko/kinesis/streams/faqs/• https://aws.amazon.com/ko/kinesis/firehose/faqs/• http://docs.aws.amazon.com/ko_kr/AmazonS3/latest/de

v/transfer-acceleration.html• https://aws.amazon.com/ko/importexport/faqs/• https://aws.amazon.com/ko/dms/faqs/• https://aws.amazon.com/ko/application-discovery/

질문을 남겨주세요

강연에 대한 설문조사

발표자료 / 녹화영상http://bit.ly/awskr-webinar