Elastic Cloud Storage (ECS)...ECS 소개 EMC ECS(Elastic Cloud Storage)는 상용 하드웨어에서 대규모로 비정형 데이터를 저장, 조작 및 분석하는 기능을 지원하는

Elastic Cloud Storage (ECS)2.2.1 버전

계획 가이드302-002-790

02

Copyright © 2013-2016 EMC Corporation. All rights reserved. Published in the USA.

발행: 2016년 5월

본 문서의 정보는 발행일 현재 정확한 것으로 간주되며 모든 정보는 예고 없이 변경될 수 있습니다.

본 문서의 정보는 있는 그대로 제공됩니다. EMC Corporation은 본 문서의 정보와 관련하여 어떠한 진술이나 보증도 하지 않으며, 특히 상품성이나 특정 목적을 위한 적합성에 대하여 어떠한 묵시적인 보증도 부인합니다. 본 문서에 설명된 EMC 소프트웨어를 사용,복사 및 배포하려면 해당 소프트웨어 라이센스가 필요합니다.

EMC², EMC 및 EMC 로고는 미국 및 기타 국가에서 EMC Corporation의 등록 상표 또는 상표입니다. 본 문서에 사용된 기타 모든 상표

는 해당 소유주의 자산입니다.

사용 중인 제품군에 대한 최신 규제 관련 문서를 보려면 EMC 온라인 지원 웹 사이트(https://support.emc.com)를 확인하십시오.

한국이엠씨컴퓨터시스템즈(주)서울특별시 강남구 테헤란로 152 강남파이낸스센터 18층대표 전화: (02)2125-7000 구입/상담 문의: 080-775-7000 팩스: (02)2125-7280웹 사이트: http://korea.emc.com

2 Elastic Cloud Storage (ECS) 2.2.1 계획 가이드

5

7

ECS 소개 9

ECS란 무엇인가? 11

개요.............................................................................................................. 12ECS 플랫폼.................................................................................................... 12

포털 서비스...................................................................................... 12스토리지 서비스 .............................................................................. 13프로비저닝 서비스............................................................................13Fabric 서비스....................................................................................13인프라스트럭처 서비스.....................................................................14

ECS 어플라이언스..........................................................................................14네트워크 인터페이스........................................................................ 15

스토리지 리소스 용량 할당.............................................................................15VDC(Virtual Data Center).................................................................. 15스토리지 풀...................................................................................... 15복제 그룹......................................................................................... 15네임스페이스................................................................................... 16Buckets............................................................................................16사용자 및 역할..................................................................................16

모니터링, 진단 및 ViPR SRM...........................................................................16

새로운 기능 19

ECS 2.2.1의 새로운 기능................................................................................ 20NFS 파일 액세스............................................................................... 20네트워크 분리...................................................................................20OpenStack Keystone 통합................................................................ 20SNMP...............................................................................................20Centera 마이그레이션.......................................................................21ECS HDFS의 HAWQ 1.3.1 및 Apache Spark 지원................................21노드 계정 권한(sudo 사용)................................................................ 21ECS의 Neutrino 병행 지원................................................................. 21감사 및 알림 메시지 참조 부록...........................................................22

데이터 보호 23

데이터 보호 개요........................................................................................... 24스토리지 서비스............................................................................................ 24오브젝트 생성................................................................................................24오브젝트 읽기................................................................................................28삭제 코딩.......................................................................................................28디스크 및 노드 장애 시 복구........................................................................... 29

그림

표

1장

2장

3장

목차

Elastic Cloud Storage (ECS) 2.2.1 계획 가이드 3

새 노드를 추가한 후 데이터 재조정................................................................. 30사이트 페일오버 및 복구................................................................................ 30

ECS 설치 계획 33

ECS 설치 계획................................................................................................34설치 장소 준비...............................................................................................34ECS 설치 준비 체크리스트..............................................................................34단일 사이트에서 ECS Appliance 연결 .............................................................34멀티 사이트 요구 사항....................................................................................36네트워크 분리................................................................................................36

VIP를 사용한 네트워크 분리 계획.......................................................38VLAN을 사용한 네트워크 분리 계획................................................... 38

로드 밸런싱 고려 사항....................................................................................39용량 고려 사항...............................................................................................39

스토리지 풀 용량.............................................................................. 39가비지 수집...................................................................................... 40

4장

목차


ECS 플랫폼 서비스......................................................................................................... 12단일 사이트: 오브젝트 생성............................................................................................ 252개 사이트: 오브젝트 생성..............................................................................................26오브젝트 생성: 연합 VDC(3개 이상 사이트) .....................................................................27선형 또는 데이지 체인 토폴로지......................................................................................35선형 또는 데이지 체인 스플릿 브레인.............................................................................. 35Ring 토폴로지................................................................................................................ 35Star 토폴로지.................................................................................................................36

12345678

그림


그림


U-Series 구성 요소......................................................................................................... 14C-Series 구성 요소......................................................................................................... 14여러 사이트를 구축할 때의 스토리지 오버헤드................................................................ 28단일 사이트의 노드 장애 허용......................................................................................... 29일반 아카이브와 콜드 아카이브의 요구 사항 비교............................................................ 29

12345

표


표


ECS 소개

EMC ECS(Elastic Cloud Storage)는 상용 하드웨어에서 대규모로 비정형 데이터를 저장, 조작및 분석하는 기능을 지원하는 완전한 소프트웨어 정의 클라우드 스토리지 플랫폼입니다.ECS는 턴키 스토리지 어플라이언스로 구축하거나 검증된 상용 서버 및 디스크 집합에 설치하는 소프트웨어 제품으로 구축할 수 있습니다. ECS는 기존 스토리지의 엔터프라이즈급RAS(Reliability, Availability, Serviceability)와 함께 상용 인프라스트럭처의 비용 이점을 모두 제공합니다.

ECS 온라인 설명서는 다음 가이드로 구성되어 있습니다.

l 계획 가이드

l 관리자 가이드

l 데이터 액세스 가이드

l 하드웨어 및 케이블 연결 가이드

계획 가이드

계획 가이드 - ECS에 대한 일반적인 정보와 이번 릴리즈에 추가된 새로운 기능에 대해설명하고, 사용자가 ECS 구축을 계획하고 ECS를 관리할 때 알아야 할 핵심 ECS 개념을이해하는 데 도움이 되는 정보를 제공합니다.

관리자 가이드

관리자 가이드 - ECS 초기 구성, 테넌트 및 사용자의 지속적인 관리, 일상적인 ECS 모니터링에 대한 정보를 제공합니다.

데이터 액세스 가이드

데이터 액세스 가이드 - ECS 오브젝트 스토리지에 대한 최종 사용자 액세스를 위해 ECS에서 지원되는 프로토콜에 대해 설명합니다. S3, EMC Atmos, OpenStack Swift,Centera(CAS) Object API 외에도 ECS Management API가 추가되어 최종 사용자 액세스전에 ECS 구성을 수행할 수 있습니다.

ECS는 HDFS(Hadoop Filesystem)로 사용할 수도 있으며, ECS HDFS와 Hadoop 클러스터의 통합은 데이터 액세스 가이드에 설명되어 있습니다.

하드웨어 및 케이블 연결 가이드

하드웨어 및 케이블 연결 가이드 - 지원되는 하드웨어 구성과 업그레이드 경로, 랙 케이블 연결 요구 사항에 대해 설명합니다.

이러한 온라인 가이드에 대한 PDF 버전은 EMC 지원 사이트(support.emc.com)에서 다운로드할 수 있으며, 이들 문서와 기타 PDF(예: 보안 구성 가이드 및 릴리즈 노트)를 볼 수 있는 링크는 ECS 2.2.1 Documentation Index에서 확인할 수 있습니다.

ECS 소개 9

https://support.emc.com/search/?text=ecs%202.2

https://community.emc.com/docs/DOC-51261

ECS 소개


1장

ECS란 무엇인가?

l 개요...................................................................................................................... 12l ECS 플랫폼............................................................................................................ 12l ECS 어플라이언스..................................................................................................14l 스토리지 리소스 용량 할당..................................................................................... 15l 모니터링, 진단 및 ViPR SRM...................................................................................16

ECS란 무엇인가? 11

개요ECS는 상용 하드웨어에서 대규모로 비정형 데이터를 저장, 조작 및 분석하는 기능을 지원하는 완벽한 소프트웨어 정의 클라우드 스토리지 플랫폼입니다. ECS는 모바일, 클라우드, 빅데이터 및 소셜 네트워킹 애플리케이션을 지원하도록 특별히 설계되었습니다. 턴키 스토리지어플라이언스 또는 정규화된 상용 서버 및 디스크 집합에 설치할 수 있는 소프트웨어 제품으로 구축할 수 있습니다.

지리적으로 분산된 아키텍처인 ECS 스케일 아웃은 다음과 같은 이점을 제공하는 클라우드플랫폼입니다.

l 퍼블릭 클라우드보다 낮은 비용

l 스토리지 효율성과 데이터 액세스의 뛰어난 조합

l 강력한 정합성 보장 기능을 통해 위치에 구애받지 않는 읽기/쓰기 액세스를 제공하여 애플리케이션 개발 간소화

l 완벽한 이중화로 가용성과 성능 향상

l 범용 액세스 기능을 통해 스토리지 사일로 및 비효율적인 ETL/데이터 이동 프로세스 제거

l ViPR SRM 지원. ViPR SRM은 ECS용 보고 솔루션을 제공하는 멀티벤더 스토리지 리소스보고 소프트웨어입니다.

ECS 플랫폼ECS 플랫폼에는 다음 소프트웨어 계층과 서비스가 포함됩니다.

그림 1 ECS 플랫폼 서비스

포털 서비스

포털 서비스에는 스토리지 리소스의 프로비저닝, 관리 및 모니터링을 위한 인터페이스가 포함됩니다. 인터페이스는 다음과 같습니다.

l GUI: ECS Portal이라는 기본 제공 브라우저 기반 그래픽 사용자 인터페이스

l REST: 자체 ECS Portal 개발에 사용할 수 있는 RESTful API



l CLI: 브라우저 기반 인터페이스와 같은 작업을 수행하기 위해 사용하는 명령줄 인터페이스

스토리지 서비스

스토리지 서비스는 데이터 손상, 하드웨어 장애 및 데이터 센터 재해 시 데이터 가용성 및 보호를 보장하는 USE(Unstructured Storage Engine)에서 제공됩니다. 이 서비스를 통해 지리적으로 분산되어 있는 데이터 센터 전반의 글로벌 네임스페이스 관리와 원거리 복제를 지원합니다. USE는 다음 스토리지 서비스를 지원합니다.

l 오브젝트 서비스: 비정형 데이터의 저장, 액세스 및 조작 기능을 제공합니다. 오브젝트서비스는 기존의 Amazon S3, OpenStack Swift API, EMC CAS 및 EMC Atmos API와 호환가능합니다.

l HDFS: 포털 스토리지 인프라스트럭처를 (같은 자리에서) Hadoop 분석 애플리케이션을실행할 수 있는 빅데이터 저장소로 사용할 수 있게 합니다.

l NFS: NFS 내보내기로 버킷에 액세스할 수 있도록 합니다. 오브젝트 프로토콜을 사용하여ECS 오브젝트 저장소에 기록된 오브젝트는 NFS를 사용하여 파일로 액세스할 수 있습니다. 마찬가지로 NFS를 사용하여 기록된 파일은 지원되는 오브젝트 프로토콜을 사용하여오브젝트로 액세스할 수 있습니다.

프로비저닝 서비스

프로비저닝 서비스는 스토리지 리소스 및 사용자 액세스의 프로비저닝을 관리합니다. 특히다음을 처리합니다.

l 사용자 관리: 어떤 사용자가 시스템을 관리하고, 스토리지 리소스를 프로비저닝하고,REST 요청을 통해 오브젝트에 액세스할 권한이 있는지 계속 추적합니다. ECS는 로컬 및도메인 사용자를 모두 지원합니다.

l 모든 프로비저닝 요청에 대한 권한 부여 및 인증: 인증 도메인을 쿼리하여 사용자가 관리,프로비저닝 및 액세스 작업을 수행할 권한이 있는지 확인합니다.

l 리소스 관리: 권한이 부여된 사용자가 스토리지 풀, Virtual Data Center 및 복제 그룹을생성할 수 있게 합니다.

l 멀티 테넌시: 테넌트와 테넌트의 관련 버킷 및 오브젝트를 나타내는 네임스페이스를 관리합니다.

Fabric 서비스

Fabric 서비스는 다음을 담당하는 분산형 클러스터 관리자입니다.

l 클러스터 상태: 노드 관련 하드웨어 오류를 집계하여 클러스터의 전반적인 상태에 대해보고합니다.

l 노드 상태: 노드의 물리적 상태를 모니터링하고, 오류를 감지 및 보고합니다.

l 디스크 상태: 디스크 및 파일 시스템의 상태를 모니터링합니다. 잠금이 없고 빠른 기본 읽기/쓰기 작업을 스토리지 엔진에 제공하고 개별 디스크 드라이브 및 그 상태에 대한 정보를 노출하므로, 스토리지 엔진이 내장된 데이터 보호 알고리즘에 따라 데이터를 디스크드라이브에 분산시킬 수 있습니다.

l 소프트웨어 관리: 서비스를 설치 및 실행하는 툴과 클러스터의 노드에 Fabric 소프트웨어를 설치 및 업그레이드하기 위한 명령줄 툴을 제공합니다.


스토리지 서비스 13

인프라스트럭처 서비스

이 계층은 Commodity 노드에서 작동하는 Linux OS를 제공하고 네트워크 인터페이스와 다른하드웨어 관련 툴을 구축합니다.

ECS 어플라이언스다음 ECS 어플라이언스 모델을 사용할 수 있습니다.

l U-Series: 스토리지 용량을 극대화하기 위해 제작된 별개의 DAE(Disk Array Enclosure)가있는 비정형 스토리지 서버. Gen1 및 업그레이드된 Gen2 하드웨어 구성에서 사용 가능

l C-Series: 더 큰 컴퓨팅 용량으로 제작된 통합 디스크가 있는 고밀도 컴퓨팅 서버.

아래 표에는 시리즈별 어플라이언스 구성 요소에 대한 설명이 나와 있습니다.

표 1 U-Series 구성 요소

구성 요소 설명

40U 랙 다음을 포함하는 EMC Titan D 랙:

l 전원 드롭 4개: 한 쪽에 두 개씩

l 단상 PDU(3상 wye 및 delta 사용 가능)

l 전면 및 후면 도어

l EMC 제조 설비에서 랙 장착

전용 스위치 1GbE 스위치 1개

공용 스위치 10GbE 스위치 2개

노드 4노드 및 8노드 구성의 Intel 기반 비정형 서버

DAE(Disk Array Enclosure) 8.89cm(3.5") 드라이브로 구성된 60개 디스크 DAE 서랍. Gen1 하드웨어는 6TB 디스크를 사용하고 Gen2 하드웨어는 8TB 디스크를

사용합니다.

표 2 C-Series 구성 요소


40U 랙 다음을 포함하는 EMC Titan D Compute 랙:

l 수평 전원 드롭 4개

l 단상 PDU(3상 wye 및 delta 사용 가능)

l 전면 및 후면 도어

l EMC 제조 설비에서 랙 장착

전용 스위치 1GbE 스위치 1개 또는 2개. 서버 섀시가 6개(24개 노드)보다 많은

구성에는 두 번째 스위치가 필요합니다.

공용 스위치 10GbE 스위치 2개 또는 4개. 서버 섀시가 6개(24개 노드)보다 많은 구성에는 세 번째 및 네 번째 스위치가 필요합니다.

노드 8노드~48노드 구성의 Intel 기반 비정형 서버.



표 2 C-Series 구성 요소 (계속)


디스크 각 서버와 통합된 8.89cm(3.5") 드라이브 12개(노드당 3개). Gen1하드웨어는 6TB 디스크를 사용하고 Gen2 하드웨어는 8TB 디스크

를 사용합니다.

네트워크 인터페이스

노드에는 다음과 같은 네트워크 인터페이스가 있습니다.l 공용: 모든 네트워크 트래픽을 처리하는 10GbE 인터페이스입니다. 인터페이스는 랙에

있는 연결된 구성의 10GbE 스위치에 연결됩니다. 10GbE 스위치는 1개~4개의 10GbE 업링크를 통해 고객 네트워크에 업링크됩니다.

l 전용: 내부 관리 작업에 사용되는 1GbE 인터페이스입니다. 모든 인터페이스가 전용 인터페이스이며 ECS 트래픽 용도로 예약되어 있습니다. 각 노드마다 다음과 같은 체계의 전용 IP 주소 2개가 자동으로 할당됩니다.n 192.168.219.port_number: 이 네트워크는 설치 및 유지 보수 작업에 사용되며 랙 로

컬 트래픽만 지원합니다.n 169.254.Rack_ID.port_number: 이 네트워크는 클러스터의 노드에 대한 분산형 구성

서비스를 처리합니다. 데이터 센터 로컬 트래픽만 지원합니다.

스토리지 리소스 용량 할당ECS를 구축한 후에는 ECS Portal 서비스 인터페이스 중 하나를 사용하여 S3, Swift, CAS 또는Atmos 애플리케이션에서 사용할 수 있도록 스토리지 리소스의 용량을 할당할 수 있습니다.

VDC(Virtual Data Center)VDC는 최상위 ECS 리소스입니다. 이는 유기적 단위로서 관리하려는 ECS 인프라스트럭처 모음을 나타내는 논리 구조입니다. 하나의 VDC를 생성하여 하나 이상의 물리적 랙에 대한 리소스를 관리할 수 있지만, 단일 VDC의 ECS 리소스는 동일한 NAN(Nile Area Network)에 속해야합니다. 이와 같은 VDC를 사이트 또는 존이라고도 합니다.

여러 데이터 센터에 ECS 소프트웨어를 구축하여 원거리 연합을 생성할 수 있습니다. 원거리연합에서 ECS는 느슨하게 연결된 자율형 가상 데이터 센터의 연합처럼 작동하며, 사용자는여기에 각 VDC를 별도로 프로비저닝합니다.

스토리지 풀스토리지 풀을 사용하여 VDC에서 사용 가능한 스토리지 리소스(노드)를 논리적으로 분할할수 있습니다. 스토리지 풀은 애플리케이션이나 멀티 테넌시 요구 사항을 기반으로 데이터를물리적으로 분리할 수 있는 수단을 제공합니다. 스토리지 풀에는 4개 이상의 노드가 있어야합니다. 데이터 보호 수준은 스토리지 풀을 복제 그룹에 할당하여 정의합니다.

8개 이상의 노드로 구성된 스토리지 풀을 자주 액세스하지 않는 파일을 위한 콜드 스토리지로 구성할 수 있습니다. 콜드 아카이브는 스토리지 오버헤드를 줄이는 삭제 코딩 체계를 사용합니다.

복제 그룹

복제 그룹은 스토리지 풀 컨텐츠가 보호되는 위치를 정의하는 논리 구조이며, WAN 트래픽없이 데이터를 읽을 수 있는 위치입니다. 복제 그룹은 로컬 또는 글로벌일 수 있습니다. 로컬


네트워크 인터페이스 15

복제 그룹은 같은 VDC 내부의 오브젝트를 디스크 또는 노드 장애로부터 보호합니다. 글로벌복제 그룹은 여러 VDC에 걸쳐 있으며 오브젝트를 디스크, 노드 및 사이트 장애로부터 보호합니다.

복제 그룹을 정의하는 데 사용하는 전략은 데이터 복구 성능, 스토리지 비용 및 데이터의 물리적 분리와 논리적 분리에 대한 요구 사항을 비롯하여 여러 요소에 따라 결정됩니다.

네임스페이스

네임스페이스를 통해 ECS에서 다중 테넌트 작업을 처리할 수 있습니다. 네임스페이스에는복제 그룹이 할당됩니다. 각 테넌트는 단일 네임스페이스와 해당 네임스페이스에서 오브젝트를 저장하고 액세스할 수 있는 사용자 집합으로 정의됩니다. 네임스페이스는 기업 내 부서를 나타내거나 다른 기업에 해당할 수 있습니다. 네임스페이스에 속한 사용자는 다른 네임스페이스의 오브젝트에 액세스할 수 없습니다. SEC 규정 준수 기능은 네임스페이스 레벨에서활성화됩니다.

Buckets버킷은 오브젝트 데이터의 컨테이너입니다. 버킷은 네임스페이스에서 생성되므로 적절한 권한을 가진 네임스페이스 사용자만 사용할 수 있습니다. 적절한 권한을 가진 네임스페이스 사용자는 각 오브젝트 프로토콜마다 해당 API를 사용하여 버킷을 생성하고 버킷 내에 오브젝트를 생성할 수 있습니다. HDFS 및 NFS 파일 프로토콜을 지원하도록 버킷을 구성할 수 있습니다. 파일 액세스용으로 구성된 버킷은 해당 오브젝트 프로토콜은 물론, 파일 프로토콜을 사용하여 읽고 쓸 수 있습니다.

네임스페이스 내에서 서브테넌트를 생성하는 수단으로서 버킷을 사용할 수 있습니다.

사용자 및 역할

ECS에서는 다음과 같은 유형의 사용자 및 역할을 지원합니다.

l System Admin: 이 역할의 사용자는 VDC, 스토리지 풀, 복제 그룹, 인증 공급자, 버킷 및사용자를 구성합니다. System Admin은 네임스페이스를 구성하고 네임스페이스 관리를수행할 수 있거나 Namespace Admin으로 네임스페이스에 속하는 사용자를 할당할 수있습니다. ECS의 루트 사용자 계정은 System Admin 역할에 할당되며 이를 사용하여 초기 구성을 수행할 수 있습니다.

l System Monitor: 이 역할의 사용자는 모든 구성 데이터를 볼 수 있지만 변경할 수는 없습니다. 로컬 시스템 모니터는 자신의 암호를 변경할 수 있습니다.ECS의 루트 사용자 계정은 System Admin 역할에 할당되며 이를 사용하여 초기 구성을 수행할 수 있습니다.

l Namespace Admin: 이 역할의 사용자는 할당량 및 보존 기간과 같은 네임스페이스 설정을 구성하고, 도메인 사용자를 네임스페이스에 매핑하고 로컬 사용자를 네임스페이스에대한 오브젝트 사용자로 할당할 수 있습니다. Namespace Admin 작업은 ECS REST API또는 ECS Portal을 사용하는 프로그래밍 방식의 클라이언트에서도 수행할 수 있습니다.

l 오브젝트 사용자: 오브젝트 사용자는 ECS 오브젝트 스토리지의 최종 사용자입니다. 이사용자는 ECS에서 지원되는 액세스 프로토콜(S3, Swift, CAS 또는 Atmos 애플리케이션)을 사용하여 오브젝트 클라이언트를 통해 스토리지에 액세스합니다. 오브젝트 사용자에게는 오브젝트 사용자가 할당된 네임스페이스 내부의 버킷 및 오브젝트를 읽고 쓸 수 있는 권한이 주어질 수 있습니다.

모니터링, 진단 및 ViPR SRMECS에서는 ECS Portal을 통해 모니터링, 진단 및 이벤트 감사 기능을 제공합니다. 모니터링페이지를 통해 스토리지, 리소스, 서비스 및 이벤트에 대한 개요를 파악할 수 있습니다. 모니터링 페이지를 드릴다운하여 진단 데이터를 파악할 수 있습니다. Dashboard가 포털에 로그



인한 후 첫 번째로 표시되는 페이지입니다. 이 페이지에서는 모니터링 데이터를 간단히 요약하여 보여 줍니다.

ECS는 EMC ViPR SRM도 지원합니다. ViPR SRM은 기존 스토리지 리소스와 소프트웨어 정의스토리지 리소스에 대해 멀티벤더 용량, 성능 및 구성 보고서를 제공하는 소프트웨어 솔루션으로, 글로벌 보고서는 모든 스토리지 플랫폼에 걸쳐 용량, 차지백, 스토리지 사용량, 운영 및성능 정보를 병합하여 전체 스토리지 인프라스트럭처의 포괄적인 뷰를 제공합니다. 상세 보고서는 자산 유형에 대한 추가적인 세부 정보를 제공합니다. 이외에 ViPR SRM에는 운영 알림, 규정 준수 보고, 토폴로지 맵 등의 기능이 있습니다. 쉽게 파악할 수 있는 이러한 정보를통해 스토리지 팀은 스토리지 환경을 실질적으로 최적화하여 ROI를 개선할 수 있습니다.

ViPR SRM은 SolutionPack을 사용하여 호스트, 하이퍼바이저, 스위치, 스토리지 시스템, 오브젝트 스토리지 및 가상 스토리지를 지원합니다. SolutionPack은 설치 가능한 애플리케이션으로, 이 애플리케이션을 설치하면 특정 구성 요소 유형에 대한 자산별 데이터 취합 및 세부 보고 기능이 추가됩니다. SolutionPack을 설치한 후에는 User Interface 보고서 트리의Report Library 노드에서 관련 보고서를 사용할 수 있습니다. 조직에서는 설치된 인프라스트럭처에 존재하는 자산의 상태를 파악할 수 있는 기능을 제공하는 라이센스만 구매하면 됩니다.

SolutionPack for EMC ECS 2.2에서는 두 가지 라이센스 시나리오를 지원합니다.

l ECS용 SRM 보고 - ECS 전용 보고 도구로만 사용할 수 있도록 제한된 버전의SolutionPack for ECS에 대한 라이센스를 부여합니다. 글로벌 보고는 지원하지 않습니다.

l 정식 버전 ViPR SRM - 정식 라이센스 버전의 ViPR SRM 설치에서 사용할 수 있도록SolutionPack for ECS에 대한 라이센스를 부여합니다.

ViPR SRM에 대한 자세한 내용은 ViPR SRM Documentation Index를 참조하십시오.


모니터링, 진단 및 ViPR SRM 17

https://community.emc.com/docs/DOC-49148



2장

새로운 기능

l ECS 2.2.1의 새로운 기능........................................................................................ 20

새로운 기능 19

ECS 2.2.1의 새로운 기능ECS 2.2.1의 새로운 기능과 추가 사항을 설명합니다.

NFS 파일 액세스

ECS에서는 이제 NFSv3 파일 액세스를 지원합니다. ECS 네임스페이스에서 생성된 버킷은NFS 내보내기로 제공할 수 있으며 NFS를 사용하여 파일을 읽고 쓸 수 있습니다. NFS를 사용하여 기록된 파일은 S3, OpenStack Swift 및 EMC Atmos 오브젝트 프로토콜을 사용하여 액세스할 수도 있습니다. 마찬가지로, S3 및 OpenStack Swift 오브젝트 프로토콜을 사용하여기록된 오브젝트를 NFS를 통해 사용하도록 설정할 수 있습니다. Atmos의 경우, 네임스페이스 인터페이스를 사용하여 생성된 오브젝트는 NFS를 사용하여 나열할 수 있지만 오브젝트ID를 사용하여 생성된 오브젝트는 이 방법으로 나열할 수 없습니다.

ECS NFS는 권고형(Advisory) 파일 잠금을 제공하고 다음을 지원합니다.

l 여러 존 잠금

l 공유 및 배타적 잠금

ECS NFS는 Kerberos 보안을 지원합니다.

NFS(및 HDFS)는 규정 준수가 활성화된 버킷에 쓸 수 없습니다. 하지만 오브젝트 프로토콜을사용하여 쓴 데이터는 NFS(및 HDFS)에서 읽을 수 있습니다.

네트워크 분리

ECS에서는 이제 오브젝트 데이터, 관리 데이터 및 (다른 지역으로의) 복제 데이터를 개별적으로 식별할 수 있도록 공용 10GbE 인터페이스의 네트워크 트래픽을 분리하는 기능을 제공합니다.

트래픽 유형별로 VIP(Virtual IP)를 사용하거나 VLAN 태그 지정을 사용하여 각 트래픽 유형을별도의 VLAN(Virtual LAN)으로 구성하는 방식으로 네트워크 트래픽을 분리할 수 있습니다.

OpenStack Keystone 통합

ECS는 이제 OpenStack Swift 사용자가 제공하는 인증 토큰을 검증하는 방식으로 KeystoneV3 ID 공급자를 지원합니다. Keystone V3의 경우, Keystone V3 서비스를 사용하여 ECS 외부에서 사용자가 생성됩니다. ECS가 인증을 수행하지는 않지만, Keystone V3 서비스를 사용하여 인증 토큰을 검증합니다.

Keystone V3에 대한 ECS 지원에서 현재 Keystone 정책을 지원하지 않으므로 사용자가 컨테이너 작업을 수행하려면 "admin" 역할/그룹에 속해 있어야 합니다.

SNMP

ECS 2.2.1은 다음 SNMP MIB에서의 기본 쿼리를 지원합니다.

l MIB-2

l DISMAN-EVENT-MIB

l HOST-RESOURCES-MIB

l UCD-SNMP-MIB

SNMP 관리 스테이션 또는 동등한 소프트웨어를 사용하여 ECS 노드에 다음과 같은 기본 정보를 쿼리할 수 있습니다.

새로운 기능


l CPU 사용률

l 메모리 사용량

l 실행 중인 프로세스 수

Centera 마이그레이션

ECS 2.2.1은 모든 데이터 변환 작업을 관리하는 데이터 변환 엔진을 제공합니다. ECS는 데이터 변환 작업 동안 기존 데이터 스토리지 솔루션과 동시에 작동하여 데이터 액세스 서비스 중단을 방지합니다. 모든 데이터 트래픽은 ECS로 전달되고 기존 스토리지는 ECS에서만 액세스됩니다. 이 변환 엔진은 ECS Management REST API가 제공하며 /object/transformation API가 이러한 작업을 지원합니다.

ECS HDFS의 HAWQ 1.3.1 및 Apache Spark 지원

ECS 2.2 HF1에는 PivotalHD 3.0.1 기반의 Pivotal HAWQ 1.3.1(HDB 1.3.1.0/1.3.1.1)에 대한지원 기능이 추가되었습니다. ECS 2.2.1에서는 Kerberos 환경에서 ECS HDFS 작업에 대해HAWQ 지원을 사용할 수 있는 것으로 검증되었습니다.

ECS 2.2.1 HDFS는 Hortonworks Certification Test Suite를 사용하여 Apache Spark 1.4.1을지원하는 것으로 인증을 받았습니다.

노드 계정 권한(sudo 사용)보안을 강화하기 위해 ECS는 노드의 루트 계정에 대한 액세스를 완전히 비활성화합니다.

ECS 2.2.1 이전 버전(ECS 2.2와 ECS 2.1 및 해당 핫픽스)에서는 대부분의 명령이 관리자 계정으로 로그인한 후 다음을 사용하여 루트 셸을 가져오는 방식으로 실행되었습니다.

# sudo su -

ECS 2.2.1 버전부터는 사용자가 관리자 암호를 사용하여 관리자로 로그인한 후 권한 있는 사용자 액세스가 필요한 명령 앞에 sudo를 사용합니다. 예를 들면 다음과 같습니다.

# sudo getrackinfo

ECS의 Neutrino 병행 지원

EMC ECS 소프트웨어는 Neutrino Cloud Compute Service와 통합되며 다음 OpenStack 리소스를 위한 오브젝트 스토리지를 제공하는 데 사용될 수 있습니다.

l 클라우드 네이티브 애플리케이션을 실행하는 OpenStack 인스턴스. OpenStack 사용자는 OpenStack 대시보드 UI를 사용하여 특정 프로젝트의 컨테이너(ECS 버킷)를 대상으로오브젝트를 업로드, 복사, 편집, 삭제 및 다운로드할 수 있습니다.

l OpenStack Cinder 볼륨 백업. OpenStack Cinder 블록 스토리지 서비스는 백업 볼륨 저장소로 ECS를 사용합니다. ECS는 사용자의 프로젝트 ID에 상응하는 ECS 네임스페이스(프로젝트) 아래의 ECS 버킷에 볼륨 백업을 저장합니다.

새로운 기능

Centera 마이그레이션 21

ECS 2.2.1에서는 데이터 변환 구성 요소가 Centera에서 ECS로의 데이터 마이그레이션만 지원합니다.

ECS를 오브젝트 저장소로 사용하도록 Neutrino를 구성하려면 EMC Global Services에서Neutrino와 ECS를 함께 구성해야 합니다. 이 작업은 초기 Neutrino 설치 중에 또는 Neutrino설치 후에 수행될 수 있습니다.

감사 및 알림 메시지 참조 부록

ECS 관리자 가이드에는 이제 지원되는 감사 및 알림 이벤트와 메시지 목록이 수록된 부록이포함되었습니다.

새로운 기능


3장

데이터 보호

l 데이터 보호 개요................................................................................................... 24l 스토리지 서비스.................................................................................................... 24l 오브젝트 생성........................................................................................................24l 오브젝트 읽기........................................................................................................28l 삭제 코딩...............................................................................................................28l 디스크 및 노드 장애 시 복구................................................................................... 29l 새 노드를 추가한 후 데이터 재조정......................................................................... 30l 사이트 페일오버 및 복구........................................................................................ 30

데이터 보호 23

데이터 보호 개요ECS가 복제 및 삭제 코딩을 통해 노드, 디스크 및 사이트 장애로부터 비정형 데이터를 보호하는 방법을 알아보십시오.

ECS는 오브젝트 복제본을 3개 생성한 후 해당 메타데이터와 함께 로컬 사이트의 여러 노드및 디스크에 분산시키는 방법으로 오브젝트의 내구성, 신뢰성 및 가용성을 보장합니다. 3개의 복제본이 성공적으로 작성되면 ECS가 오브젝트 복제본을 삭제 코딩하여 스토리지 오버헤드를 줄입니다. ECS는 추가적인 백업 소프트웨어나 디바이스를 사용할 필요 없이 자동으로장애와 복구 작업을 처리합니다.

스토리지 서비스스토리지 서비스 계층은 데이터 손상, 하드웨어 장애 및 데이터 센터 재해 시 데이터 가용성및 보호 문제를 처리합니다.

USE(Unstructured Storage Engine)는 스토리지 서비스 계층의 일부입니다. 이는 각 노드에서 작동하는 분산형 공유 서비스로서, 트랜잭션을 관리하고 노드에 지속적으로 데이터를 전달합니다. USE는 원거리 복제를 통해 지리적으로 분산되어 있는 데이터 센터 전반의 글로벌네임스페이스 관리를 지원합니다.

USE는 청크라고 하는 인접 디스크 공간의 논리 컨테이너에 모든 오브젝트 관련 데이터(예:사용자 데이터, 메타데이터, 오브젝트 위치 데이터)를 씁니다. 청크는 열린 상태로 쓰기를 받거나, 닫힌 상태로 쓰기를 받지 않습니다. 청크가 닫힌 후, 스토리지 엔진이 청크를 삭제 코딩합니다. 스토리지 엔진은 추가하는 방식으로만 청크에 쓰므로 기존 데이터가 덮어쓰이거나수정되지 않습니다. 이 전략은 입출력 작업에 잠금 및 캐시 검증이 필요하지 않으므로 성능을향상시킵니다. 모든 노드는 동일한 오브젝트에 대한 쓰기 요청을 동시에 처리하면서 각기 다른 청크에 데이터를 쓸 수 있습니다.

스토리지 엔진은 오브젝트 이름, 청크 ID, 오프셋을 기록하는 인덱스를 통해 오브젝트 위치를추적합니다. 청크 위치는 청크 ID와 디스크 위치 세트를 기록하는 인덱스를 통해 별도로 추적됩니다. 삭제 코딩 이전에는 3개의 디스크 위치 포인터가, 삭제 코딩 이후에는 여러 개의 위치 포인터가 청크 위치 인덱스에 포함됩니다. 스토리지 엔진은 청크의 모든 스토리지 작업(예: 삭제 코딩 및 오브젝트 복구)을 수행합니다.

오브젝트 생성오브젝트 생성: 단일 VDC다음 그림은 단일 VDC가 있을 때 스토리지 엔진이 오브젝트 데이터를 쓰는 방법을 나타낸 것입니다. 이 예에서는 사이트에 단일 어플라이언스가 구축되어 있지만 더 많은 어플라이언스가 구축될 때 같은 원칙이 적용됩니다. 단일 복제 그룹 내에서 단일 스토리지 풀에 8개의 노드가 있습니다.

데이터 보호


그림 2 단일 사이트: 오브젝트 생성

1. 애플리케이션이 버킷에 오브젝트를 생성합니다.

2. 스토리지 엔진은 한 청크에 오브젝트를 씁니다. 이 청크에 해당하는 디스크 위치는 3개의다른 디스크/노드 상에 있으므로, 쓰기가 3개의 다른 디스크/노드로 병렬로 이루어집니다. 스토리지 엔진은 버킷의 복제 그룹에 속한 어떤 노드에든 오브젝트를 쓸 수 있습니다.오브젝트가 생성되는 VDC가 오브젝트의 소유자입니다.

3. 스토리지 엔진은 청크 위치 인덱스에서 청크의 디스크 위치와 오브젝트 위치 인덱스에서청크 ID 및 오프셋을 기록합니다.

4. 스토리지 엔진은 한 청크와 해당 디스크 위치에 대한 오브젝트 위치 인덱스를 3개의 다른디스크/노드에 쓰므로, 쓰기가 3개의 다른 디스크/노드로 병렬로 이루어집니다. 인덱스위치는 오브젝트 청크 위치와는 상관없이 선택됩니다.

5. 모든 디스크 위치가 작성된 후, 스토리지 엔진은 애플리케이션에 대한 쓰기를 확인합니다.

오브젝트 청크가 가득 차면 스토리지 엔진이 청크를 삭제 코딩합니다. 오브젝트 위치 인덱스청크를 삭제 코딩하지는 않습니다.

오브젝트 생성: 연합 VDC(2개 사이트)두 VDC의 연합 구축에서, 스토리지 엔진은 로컬 VDC뿐 아니라 원격 VDC에도 오브젝트 청크를 씁니다.

데이터 보호

오브젝트 생성 25

그림 3 2개 사이트: 오브젝트 생성


2. 스토리지 엔진은 오브젝트가 수집되는 사이트에 있는 한 청크에 오브젝트를 씁니다. 이청크에 해당하는 디스크 위치는 3개의 다른 디스크/노드 상에 있으므로, 쓰기가 3개의다른 디스크/노드로 병렬로 이루어집니다. 스토리지 엔진은 버킷의 복제 그룹에 속한 어떤 노드에든 오브젝트를 쓸 수 있습니다. 스토리지 엔진은 청크 위치 인덱스에서 청크의디스크 위치와 오브젝트 위치 인덱스에서 청크 ID 및 오프셋을 기록합니다. 오브젝트가원래 수집되는 사이트가 오브젝트의 소유자입니다.


4. 스토리지 엔진이 연합 사이트에 있는 3개의 노드에 청크를 복제합니다. 스토리지 엔진은연합 사이트에 있는 3개의 다른 노드에서도 오브젝트 위치 인덱스(이 다이어그램에는 표시되지 않음)에 청크 위치를 기록합니다.

청크가 가득 차면 스토리지 엔진이 오브젝트 청크를 삭제 코딩합니다. 오브젝트 위치 인덱스청크를 삭제 코딩하지는 않습니다.

한 복제 그룹에 두 개의 VDC가 있을 때는 두 VDC에 모두 읽을 수 있는 오브젝트 복제본이 있습니다.

데이터 보호


3개 사이트: 오브젝트 생성

그림 4 오브젝트 생성: 연합 VDC(3개 이상 사이트)


2. 스토리지 엔진은 오브젝트가 수집되는 사이트에 있는 한 청크에 오브젝트를 씁니다. 이청크에 해당하는 디스크 위치는 3개의 다른 디스크/노드 상에 있으므로, 쓰기가 3개의다른 디스크/노드로 병렬로 이루어집니다. 스토리지 엔진은 버킷의 복제 그룹에 속한 어떤 노드에든 오브젝트를 쓸 수 있습니다. 스토리지 엔진은 청크 위치 인덱스에서 청크의디스크 위치와 오브젝트 위치 인덱스(이 다이어그램에는 표시되지 않음)에서 청크 ID 및오프셋을 기록합니다. 수신된 쓰기가 오브젝트의 소유자인 VDC에는 읽을 수 있는 오브젝트 복제본이 포함됩니다.


4. 스토리지 엔진은 복제 그룹 내에 있는 다른 VDC의 노드로 청크를 복제합니다. 스토리지효율을 높이기 위해, 스토리지 엔진은 노드에 저장된 다른 오브젝트의 다른 청크와도 청크를 XOR 처리합니다.

청크가 가득 차면 스토리지 엔진이 XOR 처리된 청크를 삭제 코딩합니다. 가능하면 복제 단계를 거치지 않고 삭제 코딩된 형식으로 직접 XOR 청크를 씁니다. 오브젝트 위치 인덱스 청크를삭제 코딩하지는 않습니다.

Replicate to All Sites 옵션

Replicate to All Sites는 복제 그룹을 생성할 때 관리자가 사용할 수 있는 옵션입니다.

이 기능이 설정된 복제 그룹은 복제 그룹 내에 있는 모든 사이트(VDC)에 모든 데이터를 복제합니다. 복제 그룹의 모든 VDC에 모든 데이터를 두면 스토리지 효율성은 떨어지지만 데이터지속성이 보장되고 모든 사이트에서 로컬 성능이 향상됩니다.

이 옵션은 생성 시에만 활성화할 수 있으며 나중에 비활성화할 수 없습니다.

오브젝트 업데이트

애플리케이션이 오브젝트를 완전히 업데이트하면, 스토리지 엔진은 앞서 설명한 원칙에 따라 새 오브젝트를 씁니다. 그런 다음 새 위치를 가리키도록 오브젝트 위치 인덱스를 업데이트합니다. 인덱스가 더 이상 이전 위치를 참조하지 않기 때문에 원래 오브젝트는 데이터 재배치(Garbage Collection)의 대상이 됩니다.

데이터 보호

오브젝트 생성 27

오브젝트 읽기오브젝트 읽기: 단일 VDC단일 사이트 구축에서, 클라이언트가 읽기 요청을 제출하면 스토리지 엔진은 오브젝트 위치인덱스를 사용하여 오브젝트를 저장하고 있는 청크를 찾아 청크 또는 삭제 코딩된 조각을 가져온 후, 오브젝트를 재구성해 클라이언트에 반환합니다.

오브젝트 읽기: 연합 VDC(사이트 2개)두 사이트의 연합에서, 스토리지 엔진은 애플리케이션이 연결되어 있는 VDC 상의 노드에서오브젝트 청크 또는 삭제 코딩된 조각을 읽습니다. 두 사이트의 연합에서, 오브젝트 청크는양쪽 사이트에 모두 존재합니다.

오브젝트 읽기: 연합 VDC(사이트 3개 이상)요청하는 애플리케이션이 오브젝트를 소유한 VDC에 연결되면, 스토리지 엔진은 VDC 상의노드에서 오브젝트 청크 또는 삭제 코딩된 조각을 읽습니다. 요청하는 애플리케이션이 오브젝트를 소유한 VDC에 연결되어 있지 않으면, 스토리지 엔진은 VDC에서 오브젝트 청크 또는삭제 코딩된 조각을 검색하여 애플리케이션이 연결된 VDC에 복제한 후 오브젝트를 애플리케이션에 반환합니다. 해당 오브젝트에 대해 또 다른 요청이 있을 경우 스토리지 엔진은 오브젝트 복제본을 캐시에 보관합니다. 또 다른 요청이 이루어지면, 스토리지 엔진은 캐시에 있는오브젝트의 타임스탬프와 오브젝트 소유 VDC에 있는 오브젝트의 타임스탬프를 비교합니다.두 타임스탬프가 동일하면 오브젝트를 애플리케이션에 반환하고, 다르면 오브젝트를 다시검색하여 캐시합니다.

삭제 코딩ECS는 EC(Erasure Coding)를 사용하여 데이터 보호 환경에 영향을 미치지 않으면서 더 높은스토리지 효율을 제공합니다.

스토리지 엔진은 오브젝트가 12개의 데이터 조각과 4개의 코딩 조각으로 나뉘는 ReedSolomon 12 + 4 삭제 코딩 체계를 사용합니다. 총 16개의 조각은 로컬 사이트 내의 여러 노드로 분산됩니다. 스토리지 엔진은 12개의 조각 중 몇 개로든 오브젝트를 재구성할 수 있습니다.

표 3 여러 사이트를 구축할 때의 스토리지 오버헤드

사이트 수 스토리지 오버헤드

1 1.33

2 2.67

3 2.00

4 1.77

5 1.67

6 1.60

7 1.55

8 1.52

ECS의 경우 단일 사이트에서 최소 4개의 노드가 오브젝트 서비스를 실행해야 합니다. ECS는노드 수를 기준으로 장애를 견딥니다.

데이터 보호


표 4 단일 사이트의 노드 장애 허용

총 노드 쓰기의 노드 장애 허용

4 1

8~24 2

오브젝트에 삭제 코딩이 설정되면 원래 청크 데이터가 클러스터 전체에 분산된 16개의 조각으로 구성된 단일 복제본으로 표시됩니다. 오브젝트에 삭제 코딩이 설정된 경우 ECS가 디코딩이나 재구성 없이 오브젝트를 직접 읽을 수 있습니다. ECS는 하드웨어 장애가 발생할 경우오브젝트 재구성에 코드 조각만 사용합니다.

이 삭제 체계는 최대 4개의 드라이브 장애까지 복구가 가능합니다.

콜드 아카이브에 대한 삭제 코딩

콜드 스토리지 아카이브는 자주 변경되지 않는 오브젝트를 저장하므로 더욱 강력한 기본 EC체계가 필요하지 않습니다. 여기에 사용되는 EC 체계는 10개 데이터 조각과 2개 코딩 조각(10 + 2)입니다. 효율성은 1.2x입니다.

새로운 스토리지 풀을 생성할 때 콜드 아카이브(콜드 스토리지)를 지정할 수 있습니다. 스토리지 풀을 생성한 후에는 EC 체계를 변경할 수 없습니다. 이 체계는 2개의 개별 노드에서 단일 노드나 6개 드라이브 중 1개 또는 12개 드라이브 중 2개가 손실되는 경우를 지원할 수 있습니다.

EC 요구 사항

표 5 일반 아카이브와 콜드 아카이브의 요구 사항 비교

활용 사례 활성화되는 방식 필요한 최소노드 수

필요한 최소디스크 수

권장되는 디스크 수

EC 효율성 EC 체계

일반 아카이브 기본값 4 16* 32 1.33x 12 + 4

콜드 아카이브 관리자가 구성 6 12* 24 1.2x 10 + 2

*C-Series 어플라이언스에 대한 구축 가능한 최소 구성은 12개 디스크가 있는 2개의 어플라

이언스이므로 24개 디스크가 유효한 최소 구성입니다.

디스크 및 노드 장애 시 복구ECS는 클러스터에 저장된 노드와 해당 디스크, 그리고 오브젝트의 상태를 지속적으로 모니터링합니다. ECS는 데이터 보호 책임을 클러스터 전체에 분산시키므로 노드나 디스크에 장애가 발생할 때 위험 상태의 오브젝트를 자동으로 재보호할 수 있습니다.

디스크 상태

ECS가 디스크 상태를 Good, Suspect 또는 Bad로 보고합니다.

l Good - 디스크의 파티션을 읽고 쓸 수 있습니다.

l Suspect - 디스크가 아직 Bad로 고려할 만한 임계값에 도달하지 않았습니다.

l Bad - 저하하는 하드웨어 성능의 특정 임계값에 도달했습니다. 임계값에 도달하면 데이터를 읽거나 쓸 수 없습니다.

ESC는 Good 상태의 디스크에만 데이터를 쓰고, Suspect 또는 Bad 상태의 디스크에는 데이터를 쓰지 않습니다. ESC는 Good 상태의 디스크와 Suspect 상태의 디스크에서 데이터를 읽

데이터 보호

디스크 및 노드 장애 시 복구 29

습니다. 오브젝트 청크 중 2개가 Suspect 디스크에 위치한 경우, ECS는 다른 노드에 청크를씁니다.

노드 상태

ECS가 노드 상태를 Good, Suspect, Degraded 또는 Bad로 보고합니다.

l Good: 노드가 사용 가능하고 입출력 요청에 늦지 않게 응답합니다. 내부 상태 모니터링시 노드가 양호한 상태로 나타납니다.

l Suspect: 노드가 사용 가능하지만 팬 장애(팬이 여러 개인 경우), 단일 전원 공급 장치 장애(이중화된 전원 공급 장치가 있는 경우) 같은 내부 상태 정보를 보고합니다. 또는 다른노드에서 해당 노드에 액세스할 수 없지만 BMC Probe에 인식되고 상태는 알 수 없습니다.

l Degraded: 노드가 사용 가능하지만 Bad 또는 Suspect 디스크를 보고합니다.

l Bad: 노드에 액세스할 수 있지만 내부 상태 모니터링에서 불량 상태를 보고합니다. 예를들어 노드의 팬이 오프라인이거나, CPU 온도가 너무 높거나, 메모리 오류가 너무 많은 등의 상태를 보고할 수 있습니다. 노드가 오프라인일 때도 Bad 상태가 보고될 수 있으며, 이경우 BMC Probe가 허용할 수 없는 상태임을 나타냅니다.

ECS는 Good 상태의 노드에만 데이터를 쓰고, Suspect, Degraded 또는 Bad 상태의 디스크에는 데이터를 쓰지 않습니다. ECS는 Good 및 Suspect 상태의 노드에서 데이터를 읽습니다. 오브젝트 청크 중 2개가 Suspect 노드에 위치한 경우, ECS는 다른 노드에 해당 오브젝트의 새청크 2개를 씁니다. 노드가 Suspect 또는 Bad 상태로 보고되면 노드가 관리하는 모든 디스크도 Suspect 또는 Bad 상태로 간주됩니다.

데이터 복구

사이트의 노드 또는 드라이브에 장애가 발생하면 스토리지 엔진은 다음을 수행합니다.

1. 장애로 영향을 받는 청크 또는 EC 조각을 식별합니다.

2. 영향을 받는 청크 또는 EC 조각의 복제본을 현재 복제본을 가지고 있지 않은 Good 노드및 디스크에 씁니다.

새 노드를 추가한 후 데이터 재조정새로운 랙이나 스토리지 노드의 추가로 인해 사이트의 노드의 수가 늘어나는 경우, 삭제 코딩된 새로운 청크가 새로운 스토리지에 할당되고 기존 데이터 청크는 새로운 노드 전체에 걸쳐재분배(재조정)됩니다. 청크에 대한 삭제 코딩이 수행되려면 노드가 4개 이상 있어야 합니다.필요한 노드 개수인 4개를 초과하여 새 노드를 추가하는 경우 EC 재조정 작업이 수행됩니다.

EC 조각의 재분배 작업은 백그라운드 작업으로 수행되므로 재분배 프로세스를 실행하는 동안 청크 데이터에 계속해서 액세스할 수 있습니다. 그뿐만 아니라 네트워크 대역폭 사용량을최소화하기 위해 새로운 조각 데이터는 낮은 우선 순위로 분배됩니다.

조각은 원래 인코딩될 때 사용된 것과 동일한 EC 체계에 따라 재분배됩니다. 따라서 청크가콜드 스토리지 EC 체계를 사용하여 쓰여진 경우 재분배를 위해 새로운 조각을 생성할 때 콜드스토리지 체계가 사용됩니다.

사이트 페일오버 및 복구ECS는 사이트를 오프라인 상태로 전환하거나 원거리 연합된 구축 환경에서 사이트를 다른사이트와는 분리되게 만드는 재해 또는 기타 문제로 인한 사이트 장애에 대해 보호 기능을 제공합니다.

데이터 보호


일시적 사이트 장애

연합된 VDC 사이에서 네트워크 연결이 중단되거나 VDC가 일시적으로 다운될 때 일시적 사이트 장애가 발생합니다. VDC가 다운되면 Replication Group 페이지에 연결할 수 없는 VDC에 대해 Temporarily unavailable 상태가 표시됩니다.

Access During Outage 속성이 On으로 설정되도록 버킷이 구성되어 있으면, 사이트에 연결되어 있는 동안 애플리케이션이 오브젝트를 읽을 수 있습니다. 버킷의 소유자가 아닌 사이트에 애플리케이션이 연결되어 있을 때는 버킷에 데이터를 쓰거나 그 내용을 보려면 애플리케이션이 버킷에 명시적으로 액세스해야 합니다. 애플리케이션이 소유자가 아닌 VDC에 연결되어 있는 동안 오브젝트나 버킷을 수정하는 경우, 스토리지 엔진은 변경이 시작되는 사이트에 소유권을 넘깁니다.

원거리 연합된 사이트에서는 Access During Outage 설정과는 상관없이 일시적 장애를 해결해야 다음과 같은 작업을 완료할 수 있습니다.

l Bucket: 버킷 생성 또는 이름 바꾸기, 버킷 속성 수정, 네임스페이스 소유자 사이트에 연결할 수 없을 때 네임스페이스에 대한 버킷 나열

l Namespace: create

l Login as: create

사이트가 다시 연결된 후, 스토리지 엔진은 백그라운드에서 재동기화 작업을 시작합니다. 포털의 Monitor > Recovery Status를 사용하여 재동기화 작업의 진행률을 모니터링합니다.

영구적 사이트 페일오버

사이트에서 재해가 발생하고 VDC를 다시 온라인 상태로 전환할 수 없는 경우에는 VDC를 삭제해야 합니다.

데이터 보호

사이트 페일오버 및 복구 31

데이터 보호


4장

ECS 설치 계획

l ECS 설치 계획........................................................................................................34l 설치 장소 준비.......................................................................................................34l ECS 설치 준비 체크리스트......................................................................................34l 단일 사이트에서 ECS Appliance 연결 .....................................................................34l 멀티 사이트 요구 사항............................................................................................36l 네트워크 분리........................................................................................................36l 로드 밸런싱 고려 사항............................................................................................39l 용량 고려 사항.......................................................................................................39

ECS 설치 계획 33

ECS 설치 계획전용 관리 네트워크 토폴로지뿐 아니라 물리적 환경, 데이터 센터 및 멀티 사이트 요구 사항에 대해 알아보십시오.

설치 장소 준비ECS Appliance에서 사용되는 40U-D 캐비닛 관련 환경 요구 사항은 사이트 준비 가이드를 참조하십시오.

ECS 설치 준비 체크리스트성공적인 설치에 필요한 인프라스트럭처 구성 요소는 이 목록을 검토하십시오.

ECS Appliance 구축 환경은 다음 요소로 구성됩니다.

l 하나 이상의 랙

n 데이터 트래픽과 원격 관리를 모두 고려하여 랙을 고객 네트워크에 업링크해야 합니다.

랙과 모든 노드는 전원이 켜져 있어야 합니다.

노드에는 DHCP에 의해 할당되거나 정적으로 구성된 유효한 IP 주소가 있어야 합니다.

l 인프라스트럭처 요구 사항: 데이터 센터 환경에는 모든 노드에서 액세스할 수 있는 다음서버가 포함되어 있어야 합니다.

n DHCP 서버(DHCP를 통해 IP 주소를 할당할 경우)

n DNS 서버(또는 Forwarder)

n NTP 서버

n SMTP 서버

SSH가 모든 노드에서 활성화되어 있어야 합니다.

다음 포트가 열려 있고 설치 관리자가 이를 사용합니다.

l Docker 레지스트리: 5000

l 수명주기 에이전트: 9240

l 오브젝트:9020-9025,9040,9091,9094-9098,8088,9898,1095,1096,1098,9100,9101,9111,3218

l ZooKeeper: 9277,9278,9279

열려 있어야 하는 포트 목록은 최신 ECS 보안 가이드를 참조하십시오.

단일 사이트에서 ECS Appliance 연결ECS Appliance 관리 네트워크는 Nile Area Network를 통해 함께 연결됩니다. NAN은 포트 51또는 52를 또 다른 ECS Appliance의 다른 터틀 스위치에 연결하여 생성됩니다. 어떤 세그먼트에서든 이런 연결을 통해 NAN의 다른 노드와 통신할 수 있습니다.

ECS Appliance를 함께 연결하는 가장 간단한 토폴로지에는 추가 스위치 하드웨어가 필요하지 않습니다. 모든 터틀 스위치를 선형 또는 데이지 체인 방식으로 함께 연결할 수 있습니다.

ECS 설치 계획


https://support.emc.com/docu34561_40U-D-Cabinet-Site-Preparation-Guide.pdf?language=en_US

그림 5 선형 또는 데이지 체인 토폴로지

이 토폴로지에서는 연결이 끊길 경우 스플릿 브레인(split-brain)이 발생할 수 있습니다.

그림 6 선형 또는 데이지 체인 스플릿 브레인

더욱 신뢰할 수 있는 네트워크를 위해, 데이지 체인 토폴로지의 끝을 함께 연결하여 링 네트워크를 만들 수 있습니다. Ring 토폴로지의 경우, 스플릿 브레인이 발생하려면 토폴로지에 두개의 케이블 링크 중단 지점이 필요하므로 더 안정적입니다. Ring 토폴로지의 주요 단점은 외부 고객 또는 Aggregation 스위치가 링에 추가되지 않으면 고객 네트워크에 RMM 포트를 연결할 수 없다는 점입니다.

그림 7 Ring 토폴로지

대규모 설치에는 데이지 체인 또는 Ring 토폴로지를 권장하지 않습니다. ECS Appliance가 4개 이상 있을 때는 Aggregation 스위치를 사용하는 것이 좋습니다. Star 토폴로지에Aggregation 스위치를 추가하면 스플릿 브레인 문제가 줄어 더 나은 페일오버 기능을 제공할수 있습니다.

ECS 설치 계획

단일 사이트에서 ECS Appliance 연결 35

그림 8 Star 토폴로지

멀티 사이트 요구 사항멀티 사이트 ECS 설치 계획 시, 다음 요구 사항이 충족되는지 확인하십시오.

l 최소 두 개의 VDC가 필요합니다.

l 멀티 사이트 구성의 각 VDC에는 다른 VDC에 대한 IP 접속 구성이 필요합니다.

n 네트워크 지연: 사이트 간에 지연 시간은 1000ms 이하여야 합니다.

n 사용 가능한 스토리지: 재해 복구 계획에서 사이트를 즉시 복구하는 대신 한 사이트에영구적 장애가 발생한 상태로 일정 기간 실행하려는 경우 모든 사이트 전체에서 데이터 재조정을 수용할 만큼 각 사이트의 사용 가능한 스토리지 공간이 충분해야 합니다.모든 사이트 전체에서 사용 가능하도록 남은 공간의 합계는 다음과 같아야 합니다.

free space across n sites =1.33*x/(n-1)/(n-2)

여기서 x는 모든 n개 사이트 전체의 사용자 데이터 총량입니다.

페일오버 직후 사이트를 새로 추가하는 경우에는 이 수준의 사용 가능한 공간이 필요하지 않습니다. 또한 (N-1)개 사이트로 운영을 무기한 지속해서는 안 됩니다.

네트워크 분리데이터, 관리 및 (다른 지역으로의) 복제 트래픽을 개별적으로 식별할 수 있도록 공용 10GbE인터페이스를 분리할 수 있습니다. 네트워크 분리를 사용할 경우 ECS Management REST API호출(ECS Portal 포함) 및 데이터 액세스 프로토콜을 모두 사용하여 ECS에 액세스하려는 클라이언트가 생성한 트래픽을 분리할 수 있습니다. 마찬가지로 사이트 간 복제 데이터를 데이터 및 제어 계층 트래픽과 별도로 식별할 수 있습니다.

특정한 요구 사항이 없을 경우 네트워크 분리를 구성할 필요가 없습니다. 대부분의 ECS 설치

에서는 네트워크 분리를 사용하지 않습니다.

네트워크 분리는 VIP(Virtual IP) 또는 VLAN(Virtual LAN)을 사용하여 실현할 수 있습니다. VIP로 분리된 네트워크 및 VLAN으로 분리된 네트워크를 혼용하는 것은 현재 지원되지 않습니다. 물리적 네트워크 분리 지원은 EMC RPQ(Request for Product Qualification) 프로세스를따릅니다.

네트워크 구성 옵션으로는 세 가지가 있습니다.

단일 네트워크(분리 안 함)

관리, 데이터 및 복제 트래픽이 모두 동일한 네트워크에 있습니다. 공용 인터페이스의 IP주소는 정적이거나 동적으로 할당될 수 있습니다.

ECS 설치 계획


부분 네트워크 분리

하나의 트래픽 유형이 분리됩니다. 예를 들면 다음과 같습니다.

l 복제 트래픽이 분리됩니다. 관리 및 데이터 트래픽은 공용 인터페이스에 그대로 유지됩니다.

l 데이터 트래픽이 분리됩니다. 관리 및 복제 트래픽은 공용 인터페이스에 그대로 유지됩니다.

l 관리 트래픽이 분리됩니다. 복제 및 데이터 트래픽은 공용 인터페이스에 그대로 유지됩니다.

이 구성에서는 정적 IP 주소가 먼저 공용 네트워크에 할당되어야 합니다. 그런 다음 VIP또는 VLAN을 사용하여 하나의 트래픽 유형이 분리되고 나머지 트래픽 유형은 정적 공용인터페이스를 사용합니다. 둘 이상의 트래픽 유형을 분리하고 분리되지 않은 트래픽을공용 인터페이스에 유지할 수 있습니다.

전체 분리

네 가지 개별 네트워크가 사용됩니다.

l 공용(정적) - 이 IP 주소 범위는 처음에 공용 인터페이스를 정적 IP 주소로 구성하는데 사용됩니다. 관리, 데이터 및 복제 네트워크가 분리되고 나면 정적 IP가 구성된 상태로 유지되지만 ECS의 정상 작업에는 사용되지 않습니다. 하지만 노드에 대해 SSH를 수행하는 경우 유지 보수 용도로 사용될 수 있습니다.

l 관리

l 데이터

l 복제

이러한 시나리오는 아래 표에 설명되어 있습니다.

분리 안 함 부분 분리 전체 분리

옵션 1 옵션 2 옵션 3

관리, 데이터 및 복제 관리 및 데이터 관리 및 복제 데이터 및 복제 정적

복제 데이터 관리 관리

데이터

복제

VIP(Virtual IP)를 사용한 네트워크 분리는 트래픽 유형이 각각 다른 IP 주소에 할당될 수 있도록 추가 VIP를 10GbE 인터페이스에 할당하여 실현할 수 있습니다.

VLAN을 사용한 네트워크 분리를 구성할 경우 각 트래픽 유형(데이터, 관리 또는 복제)이 고유VLAN ID 및 고유 IP 주소에 할당되도록 각 노드에 네트워크 인터페이스를 구성하는 것이 좋습니다. 이 경우 네트워크 패킷이 지정된 VLAN에 속하는 것으로 태그가 지정됩니다. ECS에서적절한 VLAN ID로 트래픽에 태그를 지정할 것이므로, 특정 VLAN ID로 태그가 지정된 클라이언트 트래픽이 스위치 외부로 전달되도록 하려면 10GbE 스위치를 구성해야 합니다.

VIP를 사용하든, VLAN을 사용하든 기본 게이트웨이가 항상 공용 인터페이스에 설정되어 있어야 합니다. 기본 게이트웨이에서 라우팅할 수 없는 네트워크에 분리된 인터페이스를 구성할 경우에는 인터페이스의 주소 확인을 지원하도록 정적 경로를 추가해야 합니다.

ECS에 액세스하는 클라이언트는 데이터 또는 관리 네트워크 IP 주소를 사용합니다. 데이터네트워크의 경우, 트래픽이 데이터 네트워크에 할당된 주소에 걸쳐 고르게 분산되어야 합니다.

ECS 설치 계획

네트워크 분리 37

1. 이 릴리즈에서는 HAL 및 Fabric/Object를 설치하고 나면 시스템에 대해 구성된 IP 주소및 네트워크를 변경할 수 없습니다.

2. 멀티 랙 및 Geo 구성의 경우 다음과 같도록 노드 및 사이트 전체에 동일한 유형의 네트워크 분리 구성을 구축해야 합니다.

l 한 사이트에 분리된 네트워크가 없는 경우 다른 사이트에도 분리된 네트워크가 없어야 합니다. 사이트에 동일한 네트워크 분리 구성이 있어야 합니다.

l 단일 사이트의 랙에 걸쳐 노드 및 랙에 동일한 네트워크 분리 구성이 있어야 합니다.

ECS 설치 절차의 일부로 VIP 및 VLAN 구성이 수행되므로 ECS 설치를 시작하기 전에 네트워크 분리를 어떻게 구성할지 결정해야 합니다. 네트워크 분리 계획에 대한 요구 사항 관련 지침은 아래에 나와 있습니다.

VIP를 사용한 네트워크 분리 계획

VIP를 사용한 네트워크 분리를 계획하는 경우 다음을 수행해야 합니다.

l 노드당 하나씩 공용 IP 주소를 정합니다. 네트워크 분리를 사용할 경우 공용 IP 주소를 정적으로 할당해야 합니다.

l 분리하려는 네트워크를 결정합니다. 데이터, 관리 또는 복제 네트워크 중 하나 또는 모두를 분리할 수 있습니다.

l 각 노드의 각 LNI(Logical Network Interface)에 대한 VIP를 결정합니다.

l 데이터 트래픽을 데이터 네트워크 IP 전체에 걸쳐 고르게 분산하도록 로드 밸런싱 장치구성을 결정합니다.

l 네트워크의 트래픽을 라우팅하는 데 필요한 정적 경로를 결정합니다.

VIP를 사용한 전체 네트워크 분리를 위해 구성된 4노드 랙에 대한 공용 IP 및 VIP(Virtual IP)할당의 예가 아래에 나와 있습니다.

주소 노드 1 노드 2 노드 3 노드 4 넷마스크 게이트웨이

공용 주소(정적) 10.241.51.85 10.241.51.86 10.241.51.87 10.241.51.88 255.255.252.0 10.241.48.1

데이터 네트워크 10.241.50.144 10.241.50.147 10.241.50.150 10.241.50.153 255.255.252.0 10.241.48.1

관리 네트워크 10.241.50.145 10.241.50.148 10.241.50.151 10.241.50.154 255.255.252.0 10.241.48.1

복제 네트워크 10.241.50.146 10.241.50.149 10.241.50.152 10.241.50.156 255.255.252.0 10.241.48.1

이 예에서는 게이트웨이 주소가 모든 인터페이스에서 동일하므로 공용 주소에 대한 기본 게이트웨이만 정의하면 됩니다.

VLAN을 사용한 네트워크 분리 계획

VLAN을 사용한 네트워크 분리를 계획하는 경우 다음을 수행해야 합니다.

l 노드당 하나씩 공용 IP 주소를 정합니다. 네트워크 분리를 사용할 경우 공용 IP 주소를 정적으로 할당해야 합니다.

l 분리하려는 네트워크를 결정합니다. 데이터, 관리 또는 복제 네트워크 중 하나 또는 모두를 분리할 수 있습니다.

l 가상 네트워크에 사용할 VLAN ID를 결정합니다.

ECS 설치 계획


l 각 노드의 각 가상 네트워크 인터페이스에 대한 IP 주소를 결정합니다.

l VLAN ID를 지원하도록 ECS 10GbE(집토끼 및 산토끼) 스위치 구성을 결정합니다. 이 구성은 이 설치에 포함되는 단계가 아니므로 EMC Professional Services가 설치를 실시하기 전에 수행해야 합니다.

l 데이터 트래픽을 데이터 네트워크 IP 전체에 걸쳐 고르게 분산하도록 로드 밸런싱 장치구성을 결정합니다.

l 네트워크의 트래픽을 라우팅하는 데 필요한 정적 경로를 결정합니다.

VLAN을 사용한 전체 네트워크 분리를 위해 구성된 4노드 랙에 대한 공용 IP, 분리된 네트워크IP 및 VLAN ID 할당의 예가 아래에 나와 있습니다. 이 경우 VLAN은 각각 별도의 서브넷(10.10.10, 10.10.20 및 10.10.30)에 있습니다.

VLAN ID 노드 1 노드 2 노드 3 노드 4 넷마스크 게이트웨이

공용 주소(정적)

10.241.51.35 10.241.51.36 10.241.51.37 10.241.51.38 255.255.252.0 10.241.48.1

데이터 네트워

크

1000 10.10.10.35 10.10.10.36 10.10.10.37 10.10.10.38 255.255.255.0 10.10.10.1

관리 네트워크 2000 10.10.20.35 10.10.20.36 10.10.20.37 10.10.20.38 255.255.255.0 10.10.20.1

복제 네트워크 3000 10.10.30.35 10.10.30.36 10.10.30.37 10.10.30.38 255.255.255.0 10.10.30.1

로드 밸런싱 고려 사항ECS 앞에 로드 밸런싱 장치를 사용하는 것이 좋습니다.

로드 밸런싱 장치는 ECS 클러스터 노드에 걸쳐 로드를 분산할 뿐만 아니라 트래픽을 정상 작동하는 노드로 라우팅하여 ECS 클러스터에 대해 HA(High Availability)를 제공합니다. 네트워크 분리가 구축되어 데이터 및 관리 트래픽이 분리된 경우 지원되는 데이터 액세스 프로토콜을 사용한 사용자 요청이 데이터 네트워크의 IP 주소에 걸쳐 고르게 분산되도록 로드 밸런싱장치를 구성해야 합니다. ECS Management REST API 요청은 관리 네트워크의 특정 노드 IP에 대해 직접 수행하거나 HA를 위해 관리 네트워크에 걸쳐 로드 밸런싱할 수 있습니다.

로드 밸런싱 장치의 구성은 로드 밸런싱 장치 유형에 따라 크게 다르므로 검증된 구성 및Best Practice에 대한 자세한 내용은 EMC 기술 지원 부서에 문의하시기 바랍니다.

용량 고려 사항

ECS에서 사용할 수 있고 사용 가능한 것으로 보고되는 스토리지 용량은 다음 요소의 영향을받을 수 있습니다.

l 스토리지 풀 용량(39페이지)

l 가비지 수집(40페이지)

스토리지 풀 용량

스토리지 풀에는 최소 4개의 노드가 있어야 하고 쓰기가 허용되려면 사용 가능한 용량이10%가 넘는 노드가 3개 이상 있어야 합니다. 이 예약된 공간은 ECS가 시스템 메타데이터를유지하는 동안 공간이 부족해지지 않도록 하는 데 필요합니다. 이 조건이 충족되지 않을 경우쓰기가 실패합니다.

ECS 설치 계획

로드 밸런싱 고려 사항 39

하나의 스토리지 풀에서 쓰기를 허용할 수 있는지 여부가 다른 풀에서 쓰기를 허용할 수 있는지 여부에 영향을 미치지 않습니다. 실패한 쓰기를 감지하여 다른 VDC로 리디렉션하는 로드밸런싱 장치가 있는 경우를 예로 들 수 있습니다.

가비지 수집

ECS의 가비지 수집은 입력/출력 작업보다 낮은 우선 순위로 실행되도록 설계되었으며, 오브젝트가 ECS에서 삭제될 경우 오브젝트에 할당된 공간을 재확보하는 데 약간의 시간(5일 이상)이 걸립니다. 하지만, 오브젝트가 삭제된 것으로 표시되고 사용량 측정 보고서 및 차지백보고서를 통해 시스템 활용도를 보여 주는 사용자 뷰에 삭제가 반영됩니다. Best Practice로삭제 후 4시간 동안의 사용량 측정 데이터를 사용하는 것이 좋습니다.

데이터 수집 중에 모든 데이터가 스트라이핑되어 청크 간에 분산됨에 따라 오브젝트가128MB 청크 집합에 매핑되므로, 단일 오브젝트 및 해당 메타데이터가 여러 데이터 청크와메타데이터 청크에 걸쳐 있을 수 있습니다. 마찬가지로 하나의 청크가 여러 오브젝트의 데이터를 유지할 수 있습니다.

삭제가 처리되려면 오브젝트 인덱스는 물론, 청크 인덱스도 업데이트되어야 합니다. 오브젝트 인덱스는 삭제된 오브젝트 및 해당 데이터 청크와 메타데이터 청크 간 연결을 제거하도록업데이트됩니다. 청크가 재확보 대상으로 표시되기 전에 청크에 대한 모든 오브젝트 참조가제거되었는지 확인하기 위해 청크 계층에서 검사가 수행됩니다. 이를 가비지 수집 검증이라고 합니다. 가비지 수집 프로세스를 통해 검증을 통과한 청크가 재확보됩니다.

현재는 전체 청크 재확보만 지원됩니다. 청크의 공간이 재확보되려면 (다양한 오브젝트의)청크에 포함된 모든 데이터가 삭제되어야 합니다.

사용자가 실수로 삭제한 경우 데이터가 손실되지 않도록 하기 위해 삭제 및 공간 재확보 프로세스의 단계가 연달아 수행되지 않습니다. 오브젝트 계층에서의 인덱스 업데이트 작업은 삭제되고 48시간 후 시작되는 반면, 가비지 수집 검증에서는 가비지 수집 대상으로 표시되기전 마지막 78시간 동안 청크가 액세스되지 않았는지 확인합니다. 원격 사이트의 경우 운영사이트에 비해 삭제를 처리하는 데 추가로 48시간이 더 지연됩니다.

ECS 설치 계획


Documents

Elastic Cloud Storage (ECS)...ECS 소개 EMC ECS(Elastic Cloud Storage)는 상용 하드웨어에서 대규모로 비정형 데이터를 저장, 조작 및 분석하는 기능을 지원하는