찾아가는 AWS 세미나(구로,가산,판교) - 메가존과 함께하는 클라우드 컴퓨팅

2016.11.09

메가존과 함께하는클라우드 컴퓨팅

2016.11.09

HPC on AWS

메가존 Cloud Dept. History

§ 2012 AWS 국내 최초 파트너

§ 2014 AWS 국내 최초 Advanced Consulting Partner

§ 2014 AWS re:Invent에서 전 세계 9개 사 중 하나로

‘고객 헌신적인 파트너’ 선정

§ 2015 세계유일 AWS Certified Technical Support Program 제공

§ 2015 국내 최초 AWS Premier Consulting Partner (전 세계 46개)

§ 2015 국내 최초/유일 Enterprise Support Program

제공 → TAM (Technical Account Manager) 지원 가능

§ 2016 국내 최초 Marketing & Commerce Competency 선정

§ 2016 Partner of the year (올해의 파트너) 선정

§ 2016 Managed Service Partner 선정

국내 최초 AWS Premier Consulting 파트너

01. HPC란 무엇인가?

02. AWS 기반 HPC

03. HPC를 위한 AWS 구성

04. Windows HPC의 AWS 구성

05. Windows HPC 데모

INDEX

HPC = 고성능 컴퓨팅 = 슈퍼컴퓨터





HPC 정의

• 고성능 컴퓨팅은 고급 연산 문제를 풀기 위하여 수퍼컴퓨터 및컴퓨터 클러스터를 사용하는 것

• 과학 연구와 연관된 고성능 컴퓨터의 이용을 일반적인 고성능컴퓨팅의 정의로 봄

• HPC(고성능 컴퓨팅) 기능을 통해 과학자와 엔지니어는 높은대역폭, 향상된 네트워킹, 고용량 컴퓨팅 파워가 필요한 애플리케이션을 사용할 때의 복잡한 과학, 공학, 비즈니스 관련 문제를해결 할 수 있음

• 빅데이터 시대의 도래로 빅데이터 분석을 위한 고성능 컴퓨터의활용은 기초 과학 분야의 연구개발(R&D) 활동이나 금융, 물류, 나아가 의학, 교육 등 다양한 산업 부분으로 확대되고 있음

HPC 시장 동향

• ’14년 210억 달러 => ’19년에 310억 달러(연평균 8.3%증가)로 HPC시장 규모 확대(2015 IDC, 美 IT 리서치 기업)

• ’15년 3,420억원 => ’20년에 4,783억원으로 국내 HPC 시장 규모 확대(연평균 5.58% 증가)

• Top500 Supercomputer의 85%가x86 시스템으로 세계 서버 출하량의99.1% 및 시장 수익의 82%를 차지(2016 Garthner, 美 IT 리서치 기업)


02. AWS 기반 HPC




INDEX

유연한 가격 책정으로저렴한 비용 절감

효율적인 클러스터인프라 관리

무제한 확장성

보다 빠른 결과 도출

온 디맨드 병렬 클러스터

공동 작업률 향상

Why AWS for HPC?

유연한 클라우드 기반의 리소스

실제 수요

수요에 따른 리소스 할당

낭비 고객 불만족

실제 수요

예상된 수요

유연하지 않은 On-premise환경

유연함의 이점필요할때 필요한 만큼 생성하여 사용

사용한 만큼 지불 모델

원하는 서비스만 사용 가능한

다양한 가격정책

On-Premises

자본 비용 모델

높은 조기 자본과 지속적인

고비용의 유지비용

클라우드에서의 HPC의 비용 절감 효과사용한 만큼만 과금

AWS HPC 장점AWS의 HPC의 구성은 고객사의 특성에 따른 적합하고 최적화된 구성을 제공

네트워크 클러스터 구성 노드간 20Gbps NIC 구성 지원

국내 리전 국내에 위치한 시설(Seoul Region)을 이용한 낮은 Latency와 규제 준수

하이브리드 구성 AWS 와 IDC간의 하이브리드 구성 시, 10Gbps 전용선 연결을 통한 높은 Bandwidth 보장

다양한 컴퓨팅 환경 60여 개의 다양한 컴퓨팅 인스턴스 타입을 통한 최적 구성

템플릿 환경 제공 편리한 Windows HPC 환경 구성을 위한 최적화된 템플릿 활용(Infrastructure as a Code)

레퍼런스 대규모 컴퓨팅 리소스 공급 능력 및레퍼런스 보유


02. AWS 기반 HPC




INDEX

해야할 작업들은 많지만….많은 데이터와 한정된 시간…

많아지는 작업으로 부족한 컴퓨팅 자원

HPC Cluster를 구성하여 해결!!

온 디맨드 AWS 기반 HPC

Time: +00h

<10 cores

Elastic Capacity(탄력적 용량)

Time: +24h>1500 cores


Time: +72h

<10 cores


Time: +120h

>600 cores


Amazon Virtual Private

Cloud(VPC)

AmazonSimple Storage

Service(S3)

AmazonElastic Block

Store(EBS)

Amazon Elastic Compute

Cloud(EC2)

AmazonCloudWatch

AWSCloudFormation

Auto Scaling

AWS HPC 적용 서비스AWS의 HPC환경을 구성하는 서비스들은 다음과 같습니다.

2006 2007 2008 2009 2010 2011 2012-2013 2014

m1.smallm1.large m1.small

m2.2xlarge m2.4xlarge

c1.xlargem1.xlargem1.largem1.small

cc2.8xlarge cc1.4xlarge cg1.4xlarge

t1.micro m2.xlarge

m2.2xlarge m2.4xlarge c1.medium c1.xlarge m1.xlarge m1.largem1.small

cr1.8xlarge hs1.8xlargem3.xlarge

m3.2xlargehi1.4xlarge m1.medium cc2.8xlarge cg1.4xlarge

t1.micro m2.xlarge m2.2xlarge m2.4xlarge c1.medium c1.xlarge m1.xlarge m1.largem1.small

cc1.4xlarge cg1.4xlarge

t1.microm2.xlarge

m2.2xlarge m2.4xlarge c1.medium c1.xlarge m1.xlarge m1.large m1.small

t2.micro t2.small

t2.mediumt1.micro

hs1.8xlargem3.xlargem3.2xlargehi1.4xlarge m1.medium

cr1.8xlargecg1.4xlargem2.xlargem2.2xlarge m2.4xlarge c1.medium c1.xlarge m1.xlarge m1.large m1.small

c1.medium c1.medium

c1.xlargem1.xlarge m1.xlarge

m1.large m1.small

현세대

이전세대

g2.2xlarge hs1.xlarge hs1.2xlarge hs1.4xlarge

c3.largec3.xlarge

c3.2xlarge c3.4xlarge c3.8xlarge

cc2.8xlarge m3.mediumm3.large i2.large

i2.xlarge i2.4xlarge i2.8xlarge r3.large

r3.xlarge r3.2xlarge r3.4xlarge r3.8xlarge

m4.large m4.xlarge m4.2xlarge d2.xlarge d2.2xlarge d2.4xlarge d2.8xlarget2.micro t2.small

t2.mediumt2.larget1.micro

hs1.8xlargem3.xlarge m3.2xlarge

cr1.8xlarge cg1.4xlarge m2.xlarge

m2.2xlarge m2.4xlarge c1.medium c1.xlarge m1.xlarge m1.largem1.small

X1 32xlargem4.4xlarge m4.10xlarge

c4.xlargec4.2xlarge c4.4xlarge c4.8xlarge g2.8xlarge g2.2xlarge hs1.xlarge hs1.2xlarge hs1.4xlarge

c3.large c3.xlarge

c3.2xlargehi1.4xlarge c3.4xlargem1.medium c3.8xlargecc2.8xlarge m3.medium

m3.large i2.large

i2.xlargei2.4xlarge i2.8xlarge r3.large

r3.xlarge r3.2xlarge r3.4xlarge r3.8xlarge

2015~2016

고객의 업무 상황에 맞는 사양과 성능에 적합한 다양한 유형의인스턴스를 제공

Amazon Elastic Compute Cloud

• 각 패밀리에 세대가 있고 명칭이존재

• 현세대는 최신 CPU를 탑재하고있고 성능면에서 유리

패밀리 이전세대 현세대범용

General Purpose M1 M3/M4

버스트 가능 성능 T1 T2

컴퓨팅 최적화Compute Optimized

C1CC1, CC2 C3, C4

메모리 최적화Memory Optimized

M2CR1

X1R3

스토리지I/O최적화Storage Optimized HI1 I2

스토리지 밀도 최적화Storage Optimized HS1 D2

GPU인스턴스GPU CG1

P2G2

Amazon Elastic Compute Cloud

특정 시간대에 많은 Core가 필요한 HPC 환경에 적합한 Spot 인스턴스에 대해 입찰을 통해 On-Demand보다 통상 90%저렴 하게 사용하여 비용절감이 가능함

Spot 인스턴스 적용으로 비용 절감

On-Demand

장기 계약 없이시간당과금으로사용한 만큼만과금되는구조

Spicky한 이벤트성워크로드, 일반적인온디맨드모델

Reserved

1년 혹은 3년의 장기계약으로 One-time Fee가 포함되며이를통해 Discount를받는가격모델

Spot

AWS가 보유한 Capacity중사용하지 않고 있는 부분에 대해 입찰을통해고객에게 최대90%저렴하게 사용가능

HPC와 같은 워크로드에적합

3년 RI 적용 시인스턴스에따라On-Demand 대비76% 절감

Spot 인스턴스 적용으로 비용 절감 사례



Auto Scalinggroup

CloudWatchWindows HPC JobManager

Auto Scaling & CloudWatchJob에 따라 클러스터 노드가 자동으로 변경

• EC2 인스턴스를 위한 네트워크 연결 블록 스토리지 볼륨

• OS나 애플리케이션, 데이터 저장소 등 여러가지 용도로 활용

• Snapshot 기능으로 S3로 백업이나 디스크 암호화 기능을 제공

• 99.999%의 가용성을 보장

• Snapshot으로 임의의 AZ로 복원 가능

EC2

EBS

Amazon Elastic Block StoreAWS의 HPC의 효과적인 분석을 지원하는 다양한 저장볼륨 타입을 지원

MagneticGeneral Purpose

(SSD)Provisioned IOPS

(SSD)

Volume types

Amazon Simple Storage ServiceHPC 클러스터에서 생성된 데이터를 동적/정적으로 S3(Simple Storage Service)에 저장

가용성 내구성: 99.999999999% 으로 설계됨가용성: 99.99% 으로 설계됨

용 량 사실상 무제한적인 용량 제공

보 안 전송 중 암호화: HTTPS/TLS저장 시 암호화: SSE, SSE-C, SSE-KMS

손쉬운 사용 스토리지 클래스: Standard, RRS, Glacier생명주기 정책: archive, expiration

S3

요구되는 워크플로우에 따라 Windows HPC 클러스터를 손쉽게 구축하고 배포할 수 있음

AWS CloudFormation

• 코드로 정의하는 인프라

• 버전 관리/복제/업데이트와 통합

• JSON/YAML 포맷을 지원

• 템플릿(Templates)

• 스택(Stacks)

• 거의 모든 AWS 리소스를 지원

AWSCloudFormation

• 인스턴스 간 통신 최적화– 넓은 대역 (최대20Gbps Full Bisection)– 낮은 레이턴시– 높은PPS (packets per seconds)

• 용도– HPC、Hadoop、MPP、DWH등、노드간통신이

대량으로 발생하는 클러스터에 적합– 확장 네트워킹과 같이 사용하는 것을 추천

• 제한– 단일 AZ에서만 사용 가능– 사용 가능한 인스턴스 타입에 제한 있음.

Full bisection bandwidth

http://docs.aws.amazon.com/ko_kr/AWSEC2/latest/UserGuide/placement-groups.html 48

Placement Groups클러스터 구성 노드 간 20Gbps NIC 구성 지원

Hybrid or “burst” All-in AWS

Core infrastructure:Users directory Bastion host

On-premises AWS

AWS Directory Service AmazonEC2

Cluster infrastructure:Head nodeComputenode Storage

AWSAWS

On-premises/AWS

Amazon EC2Amazon EC2AmazonS3

User workstations On-premises Amazon WorkSpaces

HPC를 위한 AWS 구성고객 상황에 따라 적절한 아키텍처를 선택하여 구축


02. AWS 기반 HPC




INDEX

AWS는 Windows Server를 사용하기 위한 다양한 기능 및 경험을 지원함

AWS의 HPC를 위한 Windows Server

Easy Licensing

OS $/Hr BYOL

Optimized AWS Software for Wind

ows

EC2Config, drivers

Experience

October 2008 Every use case Every industry

OS Choice

2003R22008, 2008R22012, 2012R2

Microsoft Portfolio

SQL Server SharePoint Excha

nge, Lync

Customize Systems

60+ EC2 instances32, 64 bits CPU, GPU

기존 IDC 구성과 AWS 클라우드 구성을 필요에 따라 혼용 할 수 있는 아키텍처

Windows HPC의 AWS 구성 > Hybrid

On-Premise

ClusterCoreWorkstations

Users

Head

HPC HPC

HPC HPC

Cluster

Head

Compute

Auto Scaling

AWS

리전AWS VPC

Core

Bastion

DomainController

S3 bucketCloudFormation

alarmCloudWatch

AWS 클라우드에 HPC를 구성하여 주어진 시간내에 작업을 처리완료 할 수 있는 적합한 다중클러스터 아키텍처

Windows HPC의 AWS 구성 > All-In AWS

Cluster

Head#1

Domain Controller

Head#2

Remote DesktopGateway

NAT

ComputeCompute

Core

Head#3

Domain Controller

NAT

Compute

Availability Zone #1 Availability Zone #2

Public subnet #1 10.0.0.0/24

Private subnet #1 10.0.10.0/24 Private subnet #2 10.0.11.0/24

Public subnet #2 10.0.1.0/24

S3

endpoints

bucket

CloudFormation

alarmCloudWatch

Auto ScalingAuto Scaling Auto Scaling

리전


02. AWS 기반 HPC




INDEX

AWS Windows HPC 구성

AWS에 Windows HPC 클러스터 설치

Domain Controller

HPC Head Node

Domain Member SG

HPC Compute Node

HPC Cluster SG

Domain Controller SG

Virtual Private Cloud

Domain Controller Security Group1 1

Domain Forest에 Join하기 위해 필요한 서비스포트 허용대상 : Domain Member Security Group

3

HPC Cluster Security Group3

HPC Cluster간 작업 처리를 위한 포트 허용대상 : HPC Cluster Security Group

2

Domain Member Security Group

Domain Controller의 제어를 받기 위한 포트 허용대상 : Domain Controller Security Group

2

Security Groups 설정

Domain Controller 설정-1

Windows 2008 이상의 EC2 Instance 생성1

2 서버 역할 추가 - Active Directory Domain Service, DNS Server


1

Active Directory Domain Controller로승급

1

Domain Controller 설정-2

2

새 forest를 추가하여 HPC Cluster에 사용할 도메인 설정

2


Head Node로 사용할 Windows 2008 이상의 EC2 인스턴스를생성하여 DC의 Domain Forest에 Join

1

HPC Cluster Head Node 설정-1AWS에 Windows HPC 클러스터 설치

Head 인스턴스에 도메인 관리자 로그인하여,http://download.microsoft.com 에서 HPC Pack을 다운로드

2


받은 설치 파일을 실행하여, 새로운 기능 추가 및 Head Node 생성☞ HPC Pack은 SQL Server를 필요로 하며, Local 또는 외부 SQL Server를 지정하지 않으면,

Local에 MS SQL Server Compact Edition이 자동으로 설치됩니다.

3


HPC Cluster Manager에서 위의 4가지 항목을 설정하여,Head Node 사용 준비를 마침

4

Network 설정

사용자 계정 자격 증명

신규 Node 네이밍 규칙

Default Node 템플릿 지정


Compute Node로 사용할 Windows 2008 이상의 EC2 인스턴스를생성 후 DC의 Domain Forest에 Join

1

HPC Cluster Compute Node 설정-1AWS에 Windows HPC 클러스터 설치

Compute Node 추가 항목을 선택하여 HPC Pack 설치 후Head Node의 HPC Cluster에 Join

2


Compute Node 추가 항목을 선택하여 HPC Pack 설치 후Head Node의 HPC Cluster에 Join

HPC Cluster Compute Node 설정-3

3


AMI를 사용해 복제한 Compute Node 복사본들도 자동으로 도메인에 가입되도록 설정4

2. EC2 ServiceConfig SettingsShutdown with Sysprep 으로 적용

<component name="Microsoft-Windows-UnattendedJoin" processorArchitecture="amd64" publicKeyToken="31bf3856ad364e35"language="neutral" versionScope="nonSxS" xmlns:wcm="http://schemas.microsoft.com/WMIConfig/2002/State" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance">

<Identification><UnsecureJoin>false</UnsecureJoin><Credentials>

<Domain>DOMAIN</Domain><Password>PASSWORD</Password><Username>USERNAME</Username>

</Credentials><JoinDomain>hpc.local</JoinDomain>

</Identification></component>

1. C:\Program Files\Amazon\Ec2ConfigService\sysprep2008.xml <settings pass=“specialize”>에 다음 추가


준비된 원본 Instance의AMI 생성

1

1 AMI를 활용한 Auto Scaling Group 구성

2

2 Job 대기열 카운트를 CloudWatchCustom Metric으로 수집

3

3

대기열 카운트를 기준으로Auto Scaling 정책 수립

4

4

HPC Cluster Compute Node Auto Scaling 설정AWS에 Windows HPC 클러스터 설치

A 증권사 분석을 하기 위한 HPC를 구성하여 Job 실행 후 인스턴스가 할당되는 실례(MS HPC 2012.R2 HPC Pack Update 3 사용)

396 Cores


Windows HPC AWS CloudFormation Template미리 작성된 템플릿으로 클러스터의 자동화 구축 가능

Amazon VPC

DC

RDGW

Core

Head

ComputeComputeCompute Compute

Cluster

ComputeComputeCompute Compute

2016.11.09

THANK YOU

Technology

찾아가는 AWS 세미나(구로,가산,판교) - 메가존과 함께하는 클라우드 컴퓨팅