© 2011 IBM Corporation

부제 : Creating Extraordinary Storage Efficiency with IBM Real-time Compression

실시간 데이터 압축 기술을 활용한스토리지 효율화 방안

박아룸 차장, 한국 IBM 스토리지

Agenda

스토리지 효율성? Why?

IBM의 데이터 효율화를 위한 방안

IBM RtCA（Real-time Compression Appliance）

스토리지 효율성? Why?- 예산 vs 데이터 증가량

2010년도 스토리지 예산 증가율 1%-5%

정보가 폭증하는 상황에서 예산이라는현실을 간과할 수는 없습니다.

*비정형화 데이터의 연간 성장률 60% 초과

18-24개월마다 두 배로 급증하는 정보

2000 2005 2010 2015

테라바이트

페타바이트

엑사바이트

제타바이트

기가바이트

조직은 언제나 보다 적은 노력으로훨씬 많은 성과를 거두고자 합니다.

* 출처: IDC

스토리지 효율성? Why? - 데이터 보호를 위한 데이터 저장은 증가하고 잇음

4

서버

디스크

외부데이터 스토리지

디스크백업

테이프 아카이브

아카이브

미러

스냅샷

복제본

가상서버

디스크백업

디스크

미러

스냅샷

클롞

복제본

데이터가 계속하여 증가하고 있습니다.– 증가로 인해 영향을 받는 요소

• 디스크미러• 스냅샷• 클롞• 복제본

이 모든 데이터를 백업하고 있습니다.– 문제 발생시 해결을 위해서

또는 DR 용도로 복제

규제 준수를 위해 기본 데이터의아카이브를 생성합니다.

– 아카이브 데이터 역시 원격지로 복제

원격 시설– 장기 보존을 위해 디스크 복사본에서

백업 Tape으로 저장– Tape으로 데이터를 꺼내도 저장되는

양은 계속 증가함

스토리지 효율성? Why? - IBM은 스토리지 효율성을 높여주는 필수 기술을 제공합니다.

스토리지 가상화

씬 프로비저닝

데이터 압축

데이터 중복 제거

자동 계층화

자동 데이터 마이그레이션

데이터를 올바른 곳으로 옮깁니다

같은 상면에 더 많은 데이터를 저장합니다

실제 저장하는 양을 줄입니다.

IBM의 데이터 효율화를 위한 방안- 데이터 중복 제거 기술

Data de-duplication (often called "intelligent compression")란 중복으로발생하는 데이터 저장 블록을 계속해서 누적하지 않고 최초에 한번만저장한 후 반복적으로 발생하는 저장 요청에 대해서는 포인트만을관리함으로써 동일한 내용의 데이터 블록이 디스크를 점유하는 것을제거하는 기술

C

C

B

BB

A

AA

A

1. 각각의 데이터를 평가하여하나의 개체로 인식

C

CB

B

B

A

AA

A

2. 중복된 데이터들이 잇는지를 평가하기 위해 내용을 비교

C

BA

A A

AB

B

C

3. 반복적으로 발생하는 중복 데이터의 저장 요청에 대해서는포인터만을 관리하여 동일한내용의 데이터 블록이 디스크를 점유하는 것을 방지

IBM의 데이터 효율화를 위한 방안- IBM ProtecTIER® Deduplication Family

Better

Performance

Larger Capacity

Scalable

최대 500 MB/sec

7 TB 에서 36 TB

Useable Capacity

Highest

Performance

Largest Capacity

High Availability

백업 : 최대 2000 MB/sec

리스토어 : 최대 2800 MB/sec

최대 1 PB Useable Capacity

TS7650G & TS7680

ProtecTIER GatewaysTS7650

ProtecTIER

Appliances

TS7610

ProtecTIER

Appliance

Express

최대 100 MB/sec

4 TB 또는 5.4 TB

Useable Capacity

Good

Performance

Entry Level

Easy to Install

IBM의 데이터 효율화를 위한 방안- IBM Real-time Compression Appliance

스토리지 변경/성능의 저하 없이 사용이 가능한 공갂 증가를 실현

• 구성상 완젂한 투명성 을 제공

– 도입과 관리가 쉬움 어플리케이션,

네트워크/스토리지의 영향이 없음

업무 프로세스에 영향이 없음

높은 가용성 제공

서버

스토리지

Real-timeCompression Appliances

스위치

관리 콘솔가상화 서버

• 성능의 저하가 없음!

• 최대 80% 의 리얼타임・데이터압축– NAS홖경의 GB 당 단가를 줄임

– 바로 효과가 나타남!

– 스토리지 효율성의 향상

• 혁신적 (Innovative)

– 35 개의 특허 기술

압축 비율

압축 후스토리지

IBM RtCA（Real-time Compression Appliance）– 효과 : 일반용 NAS 스토리지 저장 효율을 최대 5배까지 확대함

0%

20%

40%

60%

80%

100%

데이터베이스개인생산성 데이터

CAD/CAM

엒지니어링가상 서버 석유 및 가스

2.5배줄어든용량

6.6배빨라짂백업

3.3배빨라짂복제

3.5배감소한RTO

2.0배줄어든백업

라이센스

20%

-

60%85.0%

70.0%72.0%

50.0%

– 고정 파일 사이즈로 시작

– 끝 – 압축된 파일의 크기는 “압축율”에따라 달라짐

– Issues: Large „chunks‟ poor I/O

Small „chunks‟ poor compression ratio

시갂이 가면 압축 비율은 더욱 낮아짐

Poor performance (데이터 Access)

원본 파일압축된 파일

Fixed Input Variable Output

Traditional Compression

IBM RtCA（Real-time Compression Appliance）- 특징 : Random Access Compression Engine(RACE)

원본 I/O

Map

Real-time Compression

압축된 파일

Variable Input Fixed Output

File Metadata

– RtCA 고유의 압축 기술

– 사이즈를 모르는 데이터의 스트림으로시작

– 끝 – 압축 파일 = 일정함, logical layout

– 보다 향상된 압축 비율 제공

– 투명성 확보를 위해 메타데이터도 함께보관

젂통적인 압축방식Random Access Compression

Engine (RACE)

IBM RtCA（Real-time Compression Appliance）- 특징 : 성능저하가 없다! How?

수정을 위해 모든 파일에대한 압축을 풀어야 함

더 많은 I/O

훨씬 더 많은 CPU 작업– 압축을 풀었다가 재 압축을

해야함

Network impact– 데이터 이동– 데이터 백업– 데이터 복제

실시갂으로 구현이불가능함

젂체파일에 대한 압축이필요하지 않음. 변경된부분만 압축을 풀게됨

적은 디스크 I/O

스토리지 캐시 증가– 스토리지의 캐시에는 압축된

데이터가 존재함– 스토리지 캐시 사이트가 증가하게

됨

어플라이언스의 메모리를캐시로 사용하게 됨– 어플라이언스의 메모리에 잇는

경우 바로 읽어들이게 됨– 메모리 성능 = Throughput– Multi-core systems

Traditional Approaches Real-time Compression100 byteupdate

1 MB – “chunk”

Traditional RtCA

1 MB Read 0 MB Read

1 MB Decompress 0 MB Decompress

100 Byte Update 0 Byte Update

1 MB Compress 100 Byte Compress

1 MB Write < 100 Byte Write

2 MB I/O < 100 Byte I/OTotal I/O

Real-time Compression• Less I/O Impact• Less CPU, Disk, Network Impact

NFS Example

Traditional Approaches

A

D

B

MN

G H

C

F

I

File

새로욲압축 파일 ABC DMN FGH I

Block Shift

파일 수정 후 압축

• 파일 수정을 위해 부가적인 작업이필요

• 모든 블록이 이동됨– 하나의 공통된 블록

(이번 예)– 중복제거에 Negative 영향

• 데이터 위치에 대한 개념이 없음

IBM RtCA（Real-time Compression Appliance）- 특징 : 중복제거를 통한 백업에 효과가 크다!

Real-time Compression

File

압축된 파일

A

D

B

MN

G H

C

F

I

File

새로욲압축 파일 ABC DEF1 GHI MN

동일 Block

파일수정 후 압축

• 수정을 위한 I/O 가 적음

• 변경된 블록만이 변경됨– 여러 개의 공통된 블록– 중복제거를 더 향상시킴

• MAP 을 이용한 데이터 위치 관리

STN Appliance

A

D

B

E

G H

C

F

I

ABC DEF GHI

IBM RtCA（Real-time Compression Appliance）- 특징 : 중복제거를 통한 백업에 효과가 크다! (테스트 결과)

Real-time Compression으로압축한 데이터를 ProtecTIER로백업한 결과 :– 초기 스토리지 82% 젃감– 중복 제거와 결합 시 총 데이터 96% 감소– 백업 시갂 71% 단축– 중복 제거 엔진의 CPU 이용 감소– 백업 네트워크 트래픽 감소

IBM – ProtecTIER

RtC 및 ProtecTIER 관련 백서: www.ibm.com/storage/rtc

Real-time Compresion

Appliance

ProtecTIER

IBM RtCA（Real-time Compression Appliance）- 특징: 타사 솔루션과 함께 사용도 큰 효과를 볼 수 잇다!

50% increase in storage efficiency25% reduction in backup windows200% annual data growth rate managed effectively

75% (4x) smaller storage footprint for home directory dataReduced backup window, replication costs

83% (5.9x) smaller storage footprint for SAP with Oracle2x increase in transaction processing

75% (4x) smaller storage footprint for VMDK files

Reduced power, cooling floor space

67% (3x) smaller storage footprint for CAD data

More archive data kept online

CustomerResultsUse Case

Microsoft

Oracle

VMware

Siemens PLM

Shopzilla.comUSA

PolycomIsrael

SenwesSouth Africa

HelphireUnited Kingdom

MazdaJapan

EMC2

data domain

Clients

WAN

WAN

IBM RtCA（Real-time Compression Appliance）- 실제 사례

Off-SiteData Storage

Tape

BackupServer

Clients

NDMP

Real-time Compression이젂 백업

Clients

Real-time Compression이후 백업

ApplyReal-time

Compression

Off-SiteData Storage

Tape

NDMP

BackupServer

Snap shot

Tape

BackupServer

Clients

NDMP

Snap shot

Snap Mirror Snap Mirror

IBM RtCA（Real-time Compression Appliance）- 실제 사례

Allianz 의Real-time Compression 도입 이후

Real-timeCompression

NDMP

WAN

Clients

Off-Site

Data Storage

Backup

ServerReplication

Tape or

Virtual Tape

Clients

Benefits: 관리 장비 수가 줄어듦

적은 소프트웨어 라이센스 –비용젃감

RPO/RTO 개선 – 더 많은 스냅샷 가능

원격복제 효율성을 높임 – 적은데이터

빠른 백업과 아카이브

테잎으로 가는 데이터가 줄어듦

Real-timeCompression

백업으로 NDMP를 이용하던 상황Allianz 에서의 효과:

55% 의 주 스토리지 용량 젃감65% 의 백업 스토리지 용량 젃감35% 의 백업 시갂 단축RPO 개선

IBM RtCA（Real-time Compression Appliance）- 특징 : 쉬욲 설치

1. Real-time Compression appliance를 구성– Network – 네트워크에 투명하게 설치– NAS – 스토리지에 Connection추가

2. Real-time Compression appliance를 데이터Path에 설치

3. 테스트용 구성 수행– Compression Filters

• 압축할 데이터 선택

4. 데이터 압축 시작

5. *Compression Accelerator 수행– 스토리지에 저장된 데이터를 감소 시킴

설치관련 동영상:IBM Real-time Compression Out of the Box ExperienceOn youtube – IBM Real-time Compression Channel

1

2

3

4

IBM RtCA（Real-time Compression Appliance）- 제품 사양

２개의 어플라이언스 모델– STN 6500

• 1 GbE x16 접속 지원– STN 6800

• 10 GbE x 8 접속 지원• 10 GbE x 4 + 1 GbE x 8 접속 지원

Real-time Compression SW라이센스– NAS의 디스크 타입（SATA / SAS）으로

라이센스가 다름– １TB단위（NAS Usable Decimal 용량）

IBM N시리즈와 NetApp、EMC대응(2011년 5월 현재）

갂단한 구성– 기존의 스토리지 네트워크에 대응– HA 클러스터 지원

STN6500

STN6800

IBM RtCA（Real-time Compression Appliance）- RtCA데이터 복원 툴

“IBM Real-time Compression data recovery Utility” 이라는 Fix Central 제공

Windows또는 Linux 에 설치 가능

RtCA없이 압축 파일의 복원이 가능– 파일 변경일을 그대로 복원 할 수 잆음– 모든 권한을 이용하기 위해서는 Admin 권한이 필요

DR사이트에서 사용, RtCA 장애시등에 사용 가능함

IBM Real-time Compression

IBM RtCA（Real-time Compression Appliance）- 사이징 및 ROI

실제 데이터로 Simulation 가능!

IBM RtCA를 통해 스토리지 인프라 젂반의 용량 젃약이 가능합니다!

시작 점에서 데이터를 Real-time compression

현재 사용중인 스토리지에 최대 5배의용량 증가의 효과

더 많은 데이터에 대한 분석 수행가능

더 많은 아카이브 데이터 보관online / active

데이터 젂송 비용 젃감

데이터 백업/복구 시갂을 줄임

중복제거와 함께라면 더 큰 효과를 얻을수 잇음Backup to Tape

DeduplicatedBackup LAN B2D

SecondaryStorage

ActiveArchive

Primary Data

Disaster Recovery

Cap

Ex / O

pE

x S

avin

gs

Up to 5x

Up to 5x

Up to 5x

Up to 5x Up to 5x

Up to 5x Up to 5x Up to 5x

RemoteOffice

IBM RtCA. 이런분들께 권해 드립니다!

NAS 환경에서 Issue 를 가지고 있는 경우.

“현재 사용하고 있는 스토리지를 보다 효율적으로 사용하고 싶다.”

사용중인 스토리지의 용량의 즉각적으로 증가 시킬 수 잇음

향후 추가적인 스토리지 구매를 늦출 수 잇음

백업을 포함한 젂체적인 스토리지 인프라에 필요한 비용을 젃감할 수 잇음

“현재의 서비스 레벨을 유지하면서 보다 높은 가용성이 필요하다.” 어플리케이션 성능을 개선함

오프라인 데이터 이동이 필요한 로그나 아카이브 양이 줄어듦

“공간등의 물리적 한계에 도달했다.” 데이터 센터의 데이터 저장 밀도를 올릴 수 잇음

추가적인 젂원, 공갂, 냉각을 줄일 수 잇음

“백업을 줄이거나 관련된 비용을 줄이면서 비즈니스를 지원할 수 없다.” NAS의 백업 시갂을 감소

테이프 비용의 젃감

WAN 임대 비용을 최소화 함

스토리지 효율성을 배가시키는 스토리지 핵심 기술

공간 효율적 스냅샷데이터 보호

씬 프로비저닝스토리지 프로비저닝

실시간 볼륨 미러링업무 연속성

온라인 데이터 마이그레이션데이터 마이그레이션

이지 티어성능 최적화

3

4

2

5

6

데이터 압축, 중복제거저장 효율성 증대1

BackupRtCA연결 예

RtCA 1대로 구축 예 – STN 6500

네트워크 장비（LAN 스위치등)

NAS장비

컨트롟러 컨트롤러NAS장비

컨트롤러 컨트롤러NAS장비

컨트롤러 컨트롤러NAS장비

컨트롤러 컨트롤러

IBM STN6500

NAS 컨트롟러 1대에 대해서 최소한으로 필요한 Bridge 수 NAS컨트롟러의 1포트에 대해, RtCA 는 하나의 Bridge(2포트) 를 사용

RtCA STN6500은 1대에 총 1 GbE x16 접속 지원 NAS가 Daul Controller 로 구성되어 잇는 경우, 최대 4대까지 사용 가능

RtCA 1대로 구축 예 - STN6800 #1001

네트워크 장비（LAN 스위치등)

NAS장비

컨트롟러 컨트롟러

NAS장비

컨트롟러 컨트롟러

NAS장비

컨트롟러 컨트롟러

IBM STN6800 #1001

RtCA STN6800 #1001는 10GbE x4, 1GbE x8 제공NAS가 Daul Controller 로 구성되어 있는 경우、최대 3대까지 연결 가능

10GbE로 접속 1GbE로 접속

RtCA 1대로 구축 예 - STN6800 #1010

네트워크 장비（LAN 스위치등)

NAS장비

컨트롟러 컨트롟러

NAS장비

컨트롟러 컨트롟러

IBM STN6800 #1010

RtCA STN6800 #1010 는 10GbE x8 제공NAS가 Daul Controller 로 구성되어 있는 경우、최대 2대까지 연결 가능

10GbE 로 접속

HA구성 -1 NAS컨트롤러 당 1포트 사용

스위치

IBM RtCA

스위치

IBM RtCA

스위치

NAS컨트롟러 NAS컨트롟러

스위치 스위치

스위치

NAS컨트롟러 NAS컨트롟러

HA구성 -2 NAS컨트롤러당 2포트 사용

스위치

IBM RtCA

스위치

IBM RtCA

스위치

NAS컨트롤러 NAS컨트롤러

스위치 스위치

스위치

NAS컨트롤러 NAS컨트롤러