[OpenStack Days Korea 2016] Track3 - 오픈스택 환경에서 공유 파일 시스템 구현하기: 마닐라(Manila) 프로젝트

오픈스택 환경에서공유 파일 시스템 구현하기마닐라(Manila) 프로젝트

서상원차장Systems Engineering Team

NetApp Korea

© 2016 NetApp, Inc. All rights reserved. 1

© 2016 NetApp, Inc. All rights reserved2

• 론콘웨이(Ron conway)

• 실리콘 벨리 엔젤투자자

• Faebook, Twitter, Google, PayPal,

TweetDeck, AirBnB 등의 투자

NetApp의 OpenStack Contribution


2015.4

Liberty Summit Sponsor

ManilaGraduation

2014.10

Kilo Release Summit Sponsor

Manila Incubation

2013.10

Icehouse Summit Sponsor

Swift onE-Series

2014.4

Juno Summit Sponsor

E/EF-Seriesdrivers in Icehouse

2013.4

Havana Summit Sponsor

Direct Drivers in Grizzly

2012.10

Grizzly Summit Sponsor

Clustered Data ONTAP driver

in Folsom

2012.4

Folsom Summit Sponsor

7-Mode driver in Essex

2011.3

NetAppJoins

Diablo Summit Sponsor

2011.10

EssexSummit Sponsor

Integration Previewed

2016.4

“N” Summit Sponsor

See you in Austin!

2015.10

MitakaSummit Sponsor

Manila 1.0

1st 메이저 스토리지 벤더

Upstream Contributions

Community project leadership

Production Deployments

OpenStack 파운데이션

Charter Gold member

Elected board representation

NetApp OpenStack portfolio


Image

Compute

Shared Files

Block Storage

Object StorageShared Files

StorageGRID®E/EF-SeriesData ONTAP® OnCommand®AltaVault™

Glance

Swift

Cinder

Nova

Manila

Compute Block Storage

Object StorageImage

Cinder

Manila

Nova

Glance

Manila

Cinder

OpenStack Block Storage Drivers in Production


Ceph

LVM

NetApp

Gluster

NFS

IBM Storwize

SolidFire

EMC

VMware VMDK

* OpenStack Foundation User Survey Results (October 2015 )

상용 스토리지벤더 제품 중에서NetApp 제품을가장 많이 사용

Manila 개요 및 주요 기능 소개


What Manila ?


OpenStack Shared File Service Program

OpenStack 환경에서 공유 파일

시스템 서비스 제공

Multi tenancy 환경에서 VM들 위한

Secure Share 서비스 제공

NFS, CIFS, HDFS 프로토콜 지원

다양한 네트워크 토폴로지 지원

Horizon GUI 지원

OpenStack Compute

Manila

VMVM VM VM

Clustered Data ONTAP®

Finance R&D Sales

VM VM VM VM

Why Manila ?


클라우드 환경에서 파일 공유의요구들 증가

49%

38%

35%

34%

32%

31%

30%

27%

27%

25%

25%

Data backup and archive

Test and development

Disaster recovery

Pimary storage for files

Web servers

High-performance computing

Business intellifence

Temporary projects

Internal production apps

Application bursting

Workload spikes

당신의 회사가 클라우드 인프라를 사용하는 주된 용도는 무엇입니까?

Source: ESG, 2015

Why Manila ?


클라우드 서비스 업체들 파일 공유 서비스 앞다투어 출시

Manila History

© 2016 NetApp, Inc. All rights reserved 10

Liberty 버전부터 운영 시스템에 적용 가능한 상태

Juno의 인큐베이션 프로젝트로 시작

Liberty 버전부터 운영 서비스 적용 가능

총 Driver 수 : 14

지원 기능(Buleprints) 수 : 51

NetApp이 프로젝트 리딩

Manila Architecture Overview Cinder, Swift와동일하게 AMQP를 통해 프로세스 수행

11 © 2016 NetApp, Inc. All rights reserved

REST

Manila

Processes

Horizon

manila-apimanila-scheduler

manila-shareBack-End

manila-share

Back-End

manila-share

Back-End

Control Path

Manila-api: Request, User Credential

Manila-scheduler: Makes provisioning

Manila-share: Communicates with storage

Control Path Only

Manila 구현옵션Multi Backend 및다양한 Network Plugin 지원


Dedicated Single Share Server or New Multi Share Servers

Share Creation with Share Servers

Share Creation without Share Servers

Network Plugins

Standalone Network Plugins

Nova Network Plugins

Neutron Network Plugins

Distribution 패키지

RDO, Ubuntu, SUSE

nova-compute

manila

create

Control Path

Data Path

Manila

mount –t nfs

nova-compute

NFS

Manila Key componentManila는 크게 4가지 component로 구성


Share (CIFS or NFS)

사용자 요구 사이즈, 접근 프로토콜, Share 타입

멀티 인스턴스에서 동시 접근 가능

Share access rules (ACL)

어떤 유저가 Share에 접근 가능 Client를 정의

IP 또는 User 단위 권한 부여(Driver 별로 상이)

Share network

Share를 위한 Neutron network & subnet 정의

Security service

Active Directory, LDAP, Kerberos 지원

Multiple security service 지원

Manila API Overview 주로많이 사용되는 API와 해당 Operation


Share API

• Create

• Delete

• Edit

• Extend

• List

• Manage

• Show

• Shrink

• Unmanage

Share Access

API

• Allow

• Deny

• List

Snapshot API

• Create

• Delete

• List

• Rename

• Reset State

• Show

Share Type API

• Create

• Delete

• List

Share Type

Extra Specs API

• List extra specs

• Set extra specs

• Unset extra specs

Extra specs 지원Extra Specs을 통해 Storage Service Catalog (SSC) 적용


Extra spec 내용

netapp_raid_type raid4, raid_dp

netapp_disk_type FCAL, SAS, SATA, SCSI or SSD

netapp:dedup True / False

netapp:compression True / False

netapp:thin_provisioned True / False

netapp:snapshot_policy 스토리지에서 정의된 특정 snapshot policy를 적용

netapp:language 특정 character set을 요구하는 application에 적용

netapp:max_files FlexVol내의 최대 파일 갯수를 변경

Manila Share Types

* NetApp Driver Extra spec 예시

주요기능들 - 용량확장 & 축소


Extend는 GUI/CLI 모두지원, shrink는 CLI에서만 지원

주요기능들 - Share Migrations


Host 또는 Backend간 데이터 이동가능

특정 host pool에서다른 host pool로

share를마이그레이션가능

서로다른 backend간의마이그레이션도가능

무중단데이터이동지원

사용예 : 특정 backend의유지보수시,

멀티티어스토리지로재배치시

주요기능들 - Consistency Groups (CGs)


멀티 Share내의 데이터 정합성을 보장

어플리케이션의데이터보호를위해서로다른 share들을 Grouping

재해복구를 위한 snapshot에 중점

사용예 : 다른 share에위치한데이터베이스데이터와로그파일

Share snapshot 수행 시 share 내의 data는 정합성을 유지해야 함

지원기능:

create CG with mutliple shares

create snapshot of CG

주요기능들 - Share Replication


AZ간 데이터복제를 통해 AZ간 DR 구성지원

고가용성 솔루션

무중단 운영 지원

Availability Zones 지원

AZ간 Failover 및 Failback 지원

Manila Use Cases


Manila Use Cases#1Standalone Share File Services


기존파일공유시스템을대체

Multi tenancy 환경에서 SLA 보장

Self-service API 지원

Devops에서활용가능

Manila Use Cases#2Enterprise Applications


기존가상화환경에서 OpenStack으로전환

이기종인프라스트럭처지원

어플리케이션포팅:

Move Workloads to OpenStack

Manila Use Cases#3Sahara Integration


Multi Data Processing Framework 지원

Job Template을위한 Binanry를 NFS

Share에저장가능

Data sources 및 Data processing

용도로활용가능

EDP(Elastic Data Processing) Share

생성시 Automount 지원

Sahara Data Processing Model without Manila Kilo 버전까지는 Data Processing시 Local HDFS나 Swift를활용


Host

Virtual Cluster

VM1 VM2

Computing Task

HDFS

Computing Task

HDFS

Host

Virtual Cluster

VM1 VM2

Computing Task

HDFS

Host

Virtual Cluster

VM1

Computing Task

Swift*

Host

Hadoop Cluster 환경에서Compute과 data가 동일

인스턴트내에 공존

동일 VM내의 Internal HDFS 다른 VM내의 Internal HDFS Swift

Compute과 data가 분리되어다른 인스턴트에 존재

Swift내의 데이터를 직접스트리밍하여 데이터 유지

Sahara Data Processing Model with Manila Liberty 버전부터는 Data Processing시 Manila 활용가능


Manila내에 HDFS Driver를통해External HDFS 지원

Manila를활용한 External HDFS Manila Backend+Local Storage NFS (Mitaka 버전부터 지원예정)

Manila NFS Share를 remote mount 및 Hadoop 인스턴트내의

Local 스토리지사용

NetApp Hadoop Connector를통해 NFS을 Hadoop내에서사용

Host

Virtual Cluster

VM1

Computing Task

Host

Manila Service

HDFS Driver

HDFS

Host

Virtual Cluster

VM1

Computing Task

Host

Manila Service

NFS Driver

(Extensible)

NetApp FS

Local Volume

Host

Virtual Cluster

VM1

Computing Task

NFS

Host

NetApp*

Hadoop NFS

Connector

Manila Service

NFS Driver

Why NetApp for Manila


NetApp Contribution for Manila Manila 프로젝트 초기부터 커뮤니티를 리딩 중


* Source: http://stackalytics.com/?module=manila&metric=loc&release=liberty

Code Contributions Reviews

http://stackalytics.com/?module=manila&metric=loc&release=liberty

Manila Support Matrix현존하는 스토리지 벤더 중가장안정적이고 성숙된 Driver를 제공


Clustered DataONTAP for OpenStack OpenStack 환경에서 효율적이고 유연한 다양한 기능들 제공


Clustered DataONTAP

Service AutomationQuality of Service

Unified Architecture

Storage EfficiencySeamless Scaling

Secure Multi-Tenancy

ContinuousOperations

Data Mobility Data Protection

NetApp OpenStack 주요고객사례OpenStack환경 국내/외 Number One 스토리지 벤더


Upcoming in MitakaMitaka 버전에는 보다 다양한 기능들 제공 예정


자동마운트

롤링업데이트

Manila QoS

용량조회

Share Replication

Hadoop NFS Connector


Thank you.

Technology

[OpenStack Days Korea 2016] Track3 - 오픈스택 환경에서 공유 파일 시스템 구현하기: 마닐라(Manila) 프로젝트