[OSC] About Storage Cloud

About Storage Cloud

주식회사 오픈 소스 컨설팅

2 - Internal Use Only -

스토리지 클라우드 동향 Ⅰ

레드햇 스토리지 Ⅱ

요약 III


스토리지 클라우드 동향 Ⅰ

전통적 엔터프라이즈 스토리지

멀티 노드 확장 아키텍처 전환

소프트웨어 정의 서비스


1. 전통적 엔터프라이즈 스토리지

선택 고려 요소 부정적 측면

1) CAPEX: 기업이 고정자산을 구매하거나, 유효수명이 당회계 년도를 초과하는 기존의 고정자산에 대한 투자에 돈이 사용될 때 발생

비용(Cost) 1

종속성(Vendor Lock-in) 2

확장성(Not Multi-Tenant) 3

성능 측면

응답 시간

처리량

IOPS(IO per Second)

저장 효율성

중복 제거

서비스 가용성

비즈니스 연송성

데이터 마이그레이션

서비스 측면

The InfoPro Storage Study 1H12 – 451 Research


2. 기존 방식의 스토리지 확장

업무 요구사항을 달성하기 위한 스토리지 용량 및 서비스 품질 수준(QoS) 정의

Data Controller NIC NIC NIC

CPU CPU

CPU CPU

32G Mem


CPU CPU

CPU CPU

32G Mem




CPU CPU

CPU CPU

32G Mem


CPU CPU

CPU CPU

32G Mem


업무 기능이 지속적으로 추가되어, 더 많은 스토리지가 필요


CPU CPU

CPU CPU

32G Mem


CPU CPU

CPU CPU

32G Mem




업무 기능이 지속적으로 추가되어, 더 많은 스토리지가 필요

신규 서비스를 위한 새로운 업무 영역이 추가되어 다른 스토리지가 필요


CPU CPU

CPU CPU

32G Mem


CPU CPU

CPU CPU

32G Mem


CPU CPU

CPU CPU

32G Mem


CPU CPU

CPU CPU

32G Mem

Data Controller

CPU CPU

CPU CPU

256G Mem

Data Controller

CPU CPU

CPU CPU

256G Mem

NIC NIC NIC NIC NIC NIC NIC NIC NIC NIC

CPU

CPU

CPU

CPU


3. IT 환경의 변화

Web IT Enterprise IT Cloud IT

1990 2010 2000

전용 Network

Appliance HW

License SW

확장성

Open API

고집적화

Open Source SW

Platform화

IOPS 예측 가능 IOPS 예측 불가

교환망/전송망 중심

IP망(Shared Network)

내부전용(Silo)

Service용(외부판매) 구축형, Manual

Commodity HW

종량제, 자동화

Expert only Everyone

사용

환경

H

W/S

W

Netw

ork

표준화/통합화

CDN

소용량 Data 대용량 데이터

System Network 중요 App에서 Network 이슈 없음

SDN

Data Traffic

210X ↑

모바일, 서비스 다양화 등으로 인한 데이터 트래픽이 기존에 비해 210X 증가


4. 데이터 격리

증가되는 업무 데이터의 동적 확장 문제 - 데이터 격리(Silo) 형태

데이터 관리가 어려워지고, 활용도(수집, 분석 등) 및 효율성 저하


5. 멀티 테넌트 확장 아키텍처

NIC

CPU

MEM

NIC

CPU

MEM

NIC

CPU

MEM

NIC

CPU

MEM

NIC

CPU

MEM

NIC

CPU

MEM

NIC

CPU

MEM

NIC

CPU

MEM

NIC

CPU

MEM

NIC

CPU

MEM

NIC

CPU

MEM

NIC

CPU

MEM

NIC

CPU

MEM

NIC

CPU

MEM

NIC

CPU

MEM

NIC

CPU

MEM

NIC

CPU

MEM

NIC

CPU

MEM

High Bandwidth Backplane

요구 사항

클라우드 전환

손쉬운 스토리지 확장 형태의 구조

스토리지 노드 실패에 대비한 데이터 보장

이기종 스토리지 노드 지원

멀티 테넌트 환경으로의 전환

요구 사항

솔 루 션

저비용 하드웨어 스토리지

다양한 종류의 스토리지 리소스 관리

스토리지 풀에 대한 클라우드 오케스트레이션

스택

엔터프라이즈 기반 블록/파일/객체 지원


6. SDDC(Software Defined Data Center)

IDC Definition A software-defined data center is „...a loosely coupled set of software components that seek to virtualize and federate datacenter-wide hardware resources such as storage, compute, and network resources.... The goal for a software-defined datacenter is to....make the datacenter available in the form of an integrated service....“

출처: IDC‘s Worldwide Software-Based (Software-Defined) Storage Taxonomy, May. 2013“


7. SDS(Software Defined Storage)

• 서비스 통합 레이어(Orchestration Layer) • 서비스 품질(Service Quality) • 데이터 이동성 및 연계(Data Mobility and Federation) • 메타 데이터 및 속성 관리(Metadata and Attribute Management) • 데이터 인터페이스(Data Interface)

스토리지 서비스

• 파일 기반 레이아웃(File-based Layout) • 객체 기반 레이아웃(Object-based Layout) • 블록 기반 레이아웃(Block-based Layout)

데이터 레이아웃

• Scale-up • Scale-out • GEO-dispersed scale-out

스케일링

• 내부 서버 기반 리소스(Internal Server-based Resource) • 외부 디스크 스토리지 시스템(External Disk Storage System) • 객체 플랫폼(Object Platform) • 클라우드 기반 리소스(Cloud-based Resource)

저장소

• 물리적 어플라이언스 기반(Physical Appliance) • 가상 어플라이언트 기반(Virtual • 데이터 이동성 및 연계(Data Mobility and Federation) • 메타 데이터 및 속성 관리(Metadata and Attribute Management) • 데이터 인터페이스(Data Interface)

구현 방법

출처: IDC‘s Worldwide Software-Based (Software-Defined) Storage Taxonomy, May. 2013“


8. S/W 방식 스토리지 클라우드

File-based layout

Object-based layout

Block-based layout

NAS SAN

Openstack Storage


9. Amazon S3

Amazon S3는 지정된 한 해 동안 99.999999999%의 객체 내구성을 제공하도록 설계된

객체 기반 스토리지. ACL, IAM을 통한 사용자/업체별 버킷 관리

NFS, CIFS, HTTP/REST

Gateway

API

US-East(Virginia)

Zone-B Zone-C

Zone-A

OID (Object ID) Meta data: Created, ownership, size, data type, application Attributes: QoS, SLO, Polices, Retention, Security

SLO(Service Level Objective): SLA를 측정하는 척도로 가용성, 처리량, 응답시간, 품질 등이 있다.


10. SWIFT 확장 구조

Auth Process

Zone: servers, network, geography를 기준으로 분리

Proxy nodes

zone

Account

Container

Object

Internet REST API Interface

zone

Account

Container

Object

최초 사용자 Request를 받아 사용자를 인증 및 인가를 수행 적합한 사용자일 경우 Proxy Nodes로 Request를 보완함.

오브젝트의 정보를 보유하며 사용자의 Request를 처리하는 단계

Proxy Nodes가 활용하는 오브젝트의 위치를 보유하고 있는 논리적 엔티티의 물리적인 위치정보를 표현하는 메타 데이터집합

Storage nodes

오브젝트를 보유하고 물리적인 단위로 구성시 Zone단위로 개별적인 디바이스를

컨트롤하는 구조


F 레드햇 스토리지 로드맵 II

레드햇 스토리지

레드햇 오픈 스택


1. 레드햇 스토리지

스케일 아웃 확장성

• Petabytes 단위 클러스터

• 데이터 분산을 위한 Geo-replication

비용 효과

• 저가의 x86 서버 활용

• 가상머신 환경에서 스토리지 용량 확보

유연성

• 물리서버, 가상화, 클라우드, 하이브리드

클라우드 환경에서 유연한 데이터 공유

• 파일과 오브젝트 접속 프로토콜

다양한 구성 환경 지원

• 물리서버, 가상화, 클라우드 환경에서

구성 가능

오픈 & 표준 기반

• NFS, CIFS, HTTP

레드햇 스토리지 기능


2. 레드햇 오픈 스택

클라우드 워크로드를 위한 클라우드 인프라기술

• 모듈화된 아키텍쳐 : Compute/Network/Storage/Authentication/Dashboard node

• 대형 스케일 아웃 기반의 오픈소스 클라우드 플랫폼

• 오브젝트 스토리지 : 객체 분산 저장, 데이터 중복

• Restful 기반의 API : 자체 API, 아마존 EC2 호환 API

• 비용절감, No vendor Lock-in, Private/Public Cloud 구현

레드햇 오픈스택 기능


3. 레드햇 오픈스택

Source : https://www.openstack.org/user-stories

110여개 이상 글로벌 사례

레드햇 오픈 스택 사례


요약 III

정부 동향

스토리지 클라우드 구축 방향


2. 스토리지 클라우드 구축 방향

업계 동향

선진 사례 분석

핵심성공요소

선진 사례 분석 및

향후 TO-BE 도출

SW 기반의

스토리지 제어

동적 확장형

아키텍처 구조

스토리지 클라우드

구축 거버넌스

특성 및 고려요소

소프트웨어 기반의 스토리지 클라우드

멀티 테넌트 기반의 확장형

빅데이터 영역 확장 형태의 스토리지

지원

강력한 데이터 신뢰성 - 데이터 복제

사용자별 접근 권한 제어

아마존 웹 서비스, 오픈 스택 등의

파일/객체/블록 기반 스토리지

미국정부 – AWS상의 주요 스토리지 및

백업 요구에 대해 스토리지 클라우드

사용

적용전략

전략

1

전략

2

적용 솔루션 기능 검증 및 성능 검증 수행

전략

3

기업 내부의 클라우드 관리 시스템 연계 및 통합

전략

4

클러스터 내 객체의 분산 저장을 통한 신뢰성 향상

스토리지 통합 관리 및 모니터링 서비스 추가

미국 정부 AWS 사용: http://aws.amazon.com/ko/govcloud-us/

http://aws.amazon.com/ko/govcloud-us/










OPEN

SHARE

CONTRIBUTE

ADOPT

REUSE


Q 별첨. SWIFT 스토리지 구조 O


별첨. SWIFT 스토리지 구조

Service Interface

Restful API

OpenStack Object Storage

Request Processing

Authorization, Caching, Ring Building & Balancing, Data Replication

Data Storage

Local File System (XFS Recommended)

• 객체지향 스토리지를 지향하는 서비스 요청-응답모델을 지원 • 아마존과의 인터페이스시 요청파라미터 및 요청Header의 변경을 통해

서비스 호환가능하도록 지원가능 • SWIFT는 Amazon Compatible한 인터페이스를 부분적 제공가능하고 유

연한 서비스 연동을 보장

• SWIFT의 핵심모듈로 모든 스토리지를 조정하는 컨트롤타워 • 프로세스 형식으로 스토리지 노드에 대한 밸런싱 및 데이터복제 • 권한 관리등을 지원함 • 해쉬링을 방법으로 하여 하위 스토리지노드에 대한 조정담당 • Performance에 대한 Scale-Out을 지원

• 사용자의 요청(In,Out)에 대한 실질적 Object응답을 담당 • 상위의 Processing layer의 프로세스에 의해 응답을 하며 스토리지의 복

제 및 auditing의 대상이 됨 • 객체에 대한 스토리지의 분산 복제물을 3개의 replica를 통해 제공함 • 미러링을 비롯한 RAID구성이 따로 필요 없는 구조로 reliability를 보장



Clustering (Commodity Server)

Terabytes or Petabytes

virtual machine images

photo storage email storage

and so on backup archiving

API Set (Internal, External)

SWIFT Process

Operation

Management

Authentication

Metadata

Interfaces

REST API

: S3의 기본기능으로 제공

: 스토리지 시스템 운영/관리

: 기본인증에 서비스사용자단 과의 통합관리에 대한 고려필요

: 자체 스토리지 메타기능제공

: 필요에 따라 서비스의 요청에 응답하기 위한 기능으로 제공

: 서비스 인터페이스로 서비스 개발자에게 제공됨

OSS

BSS



Auth

Proxy Server Ring

Updaters

Auditors

Replicators

Accounts

Containers

Objects 스토리지의 아키텍쳐를 견고하게 가져가는 Role을 담당 계정/컨테이너 /object의 정보변경에 따른 실패관리 정보유지를 통해 Consistent 상태관리 Push 방식의 복제프로세스 연계 Integrity체크 및 최신정보 유지 및 관리 결과적으로, 신뢰성 있는 아키텍쳐를 구성하는 중심 프로세스

데이터의 논리적 위치와 물리적 저장 위치간의 매핑 제공 Proxy server가 참조하는 레퍼런스 특정한 Object의 Fail시 handoff device를 결정

사용자의 인증 및 Request를 접수하여 결과값을 반환하는 프로세싱을 담당 Object request 실패에 따른 Fail-over조치

Technology

[OSC] About Storage Cloud