[OpenStack Days Korea 2016] Track3 - 방송제작용 UHD 스트로지 구성 및 테스트

클라우드와방송제작용스토리지

2016 / 02

KBS 방송시설국 임태현

NAS 구성및테스트결과공유

1. 현방송사스토리지일반구성

2. 클라우드에서기존방식으로구성어려운이유

3. 클라우드인프라를위한공유스토리지구성

4. 문제점과보완하기위한노력

5. 공유파일시스템 PoC 대상 3가지솔루션

6. 제품화개발및테스트과정

7. 향후계획• 이중화 구성 테스트

• 오픈스택 Ironic과 결합 테스트

• KBS 고속전송 & Swift-on-File & TR과 결합개발

• 차기 버전 개발 테스트

Agenda

2

1.1. 방송사 스토리지 일반 구성

스토리지

데이터를보관하는장소

저장장치 + 파일시스템

방송사 제작 워크플로우

거대한스토리지(RAID, LUN, 공유파일시스템...)를중심으로

프로그램별로복수의작업자들이협업하며순차적으로이루어짐

편성에따라다수의파일이반복적이고주기적으로생성, 수정, 삭제

3


4

LTO-6 데이터테입

SL8500, T-Finity…


ARCHIVE CMS NAS G/WSNFS MDC TM

SAN Director (Brocade) Giga Ethernet

Fibre Channel

MAIN

FCFC

원본SAS 900GB/10K

SAS 디스크스토리지

High-End ~ Mid-range

FCFC

백업본NL-SAS 3TB/7.2K

고용량 SATA디스크스토리지

Mid-range…

BACKUP

FCFC

TAPE LIBRARY

NLETR

5

2.1. 클라우드에서는 왜 힘든지...

▶SAN Director 벤더 Brocade만 남음

• 예전에는 QLogic도 있었는데...

▶FC HBA Card 고정 할당

• N-Port ID Virtualization이 있지만...

• 차라리 10GE NIC 장착하고 SR-IOV를 쓰자!

▶SAN 공유파일시스템 Client License issue

• 편집실 주로 사용하는 Mac OS X는 XSAN 탑재

• 하지만, 오픈스택 Guest OS로 MAC OS X 미지원

• 리눅스, 윈도우는 VM도 실물 환경과 똑같이 카운팅

6

2.2. 클라우드에서는 어떻게...

▶스케일-아웃 방식의 NAS가 적합하다고 판단

• 별도 공유파일시스템 소프트웨어가 아닌 범용 프로토콜 사용

• KBS 뉴스룸, 라디오에서 EMC 스케일-아웃 NAS Isilon

▶이 때, NAS의 SAN 공유볼륨 구성 대비 문제점

• Block I/O vs File I/O

• Latency, Sustained I/O

7

3.1. 문제점 극복 노력 – DLC

▶FC SAN Client(SNFS)를 탑재하고 SNFS Lan Client

• 급히 편집 공간 마련을 위해iMac 임대 후 Ethernet 1GE

• NPS 내부 소프트웨어 그대로, 제작진 차이 모르고 작업

▶SAN과 같은 볼륨을 경제적으로 사용한다는 측면에서 큰 장점

▶TV기술국에서 이번 설특집에 활용함

8

1. OpenStack에 새로운 VM Instance 생성

3.2.1. iSCSI TEST w/ Offload & MTU9000

▶목적 • Ethernet 레벨의 TOE 관련 설정으로 GlusterFS를 구성하는Cinder Volume 성능 향상이 가능한지 확인

▶방법 • OpenStack Compute Node - Storage 10G NIC 설정을 변경하며성능 개선 효과가 있는 값을 확인

테스트 진행 순서

2. 생성된 Instance에 Cinder Volume 할당

3. 해당 Compute Node의 10G NIC Parameter 확인 및 변경

4. 설정 변경하며 Cinder Volume에 150GB 단위 쓰기 성능 측정

9

3.2.2 iSCSI TEST w/ Offload & MTU9000

MTU 9000, TSO GSO GRO LRO off : 285.721 s, 550 MB/sMTU 9000, TSO LRO off, GSO GRO on : 298.793 s, 526 MB/sMTU 9000, TSO LRO on, GSO GRO off : 295.395 s, 532 MB/sMTU 9000, TSO GSO GRO LRO on : 297.76 s, 528 MB/sMTU 1500, TSO GSO GRO LRO on : 267.694 s, 588 MB/sMTU 1500, TSO LRO off, GSO GRO on : 299.381 s, 525 MB/sMTU 1500, TSO LRO on, GSO GRO off : 276.379 s, 589 MB/s

테스트 결과

10

4.1. 공유 파일시스템 비교

▶Quantum SNFS

• 국내외 방송제작시스템 환경에서 기준

• Linux, Mac, Windows 환경을 아우르는 Block I/O

• 별도 가상환경 라이선스 정책 없고 VM당 부과

▶Quantum LAN Client : 기존 SNFS 볼륨과 호환성 유지 가능

▶ Intel Lustre : HPC, Throughput/OSS 스케일아웃, MDS, MDT

▶Redhat GlusterFS : 단순한 구성 및 안정성, Scale-out 방식 확장

11

4.2. NAS 설계 시 고려한 부분

▶고속 저장장치를 조합 (All Flash 등)으로 Latency 극복

• Multi-stream 아직은 윈도우만 이지만

• Samba VFS for GlusterFS로 논리/물리 레이어를 단축

▶고속 네트워크를 조합 (IB RDMA)으로 병목 없는 I/O

▶SMB3: Linux Samba 4.x, Mac Yosemite, Windows 8/2012

▶물리 장비당 적정 RAID Controller 구성

▶제품화를 위한 에코시스템

12

5.1.1. 1차 테스트 - Intel Lustre

MDS

SanDisk Infini-Flash IF100 SSD 64TB

SX6012 56G Infiniband Swtich

SMB3G/W#2

EX4550 32F 10G Switch

6G SAS x 4

56G FDR

10G x 4

Linux Native

OSS Node#1 OSS Node#2

SMB3G/W#1

Client ClientClient Client

13

5.1.2. LustreFS IO측정 결과 – WIN OS

OS테스트장비

테스트결과(평균속도,

MB/S)

테스트 결과2 (시간별 IO패턴, X : MB/S, Y : Sec)

R:W=7:3IO 측정

Win7(SMB2)

573.45

Win8(SMB3)

577.63

0

200

400

600

800

1000

1200

1 815

22

29

36

43

50

57

64

71

78

85

92

99

106

113

120

127

134

141

148

155

162

169

176

183

190

197

204

211

218

225

232

239

246

253

260

267

274

281

288

295

0

200

400

600

800

1000

1200

1 815

22

29

36

43

50

57

64

71

78

85

92

99

106

113

120

127

134

141

148

155

162

169

176

183

190

197

204

211

218

225

232

239

246

253

260

267

274

281

288

295

14

5.1.3. LustreFS IO측정 결과 - MAC OS X

0

200

400

600

800

1000

1200

1 815

22

29

36

43

50

57

64

71

78

85

92

99

106

113

120

127

134

141

148

155

162

169

176

183

190

197

204

211

218

225

232

239

246

253

260

267

274

281

288

295

0

200

400

600

800

1000

1200

1 815

22

29

36

43

50

57

64

71

78

85

92

99

106

113

120

127

134

141

148

155

162

169

176

183

190

197

204

211

218

225

232

239

246

253

260

267

274

281

288

295

OS테스트장비


MB/S)


R:W=7:3IO 측정

MacBook 599.97

MacPro 891.49

0

200

400

600

800

1000

1200

1 815

22

29

36

43

50

57

64

71

78

85

92

99

106

113

120

127

134

141

148

155

162

169

176

183

190

197

204

211

218

225

232

239

246

253

260

267

274

281

288

295

15

5.1.4. LustreFS 테스트 결과 – Latency (IOPing), NLE 편집

테스트항목 테스트결과 비 고

Latency -

HD 멀티캠편집 양호테스트영상 : XDCAM-HD 50Mbps (1920x1080 59.94i)테스트방법 : 16 stream 멀티캠 편집시 Frame Drop 미발생

UHD(3840X2160p 30p) 편집 보통테스트영상 : (3840x2160 30p)테스트방법 : 2 stream 편집시 Frame Drop 미발생


Latency4KB : 300us8MB : 20ms

IO ping 테스트 수치

HD 멀티캠편집 양호테스트영상 : XDCAM-HD 50Mbps (1920x1080 59.94i)테스트방법 : 16 stream 멀티캠 편집시 Frame Drop 미발생

UHD(3840X2160p 60p) 편집 양호테스트영상 : ProresHQ 1.5Gbps (3840x2160 60p)테스트방법 : 1 stream 멀티캠 편집시 Frame Drop 미발생

▶ Win(EDIUS)

▶ MAC(FCPX)

16

5.1.5. 1차 테스트 - 효성 Gluesys Anycloud-K

EX4550 32F 10G Switch

6G SAS x 2

10GE

Client Client

R720GlusterFS Node#1


Client Client



SX6012 56G Infiniband Swtich

SanDisk Infini-Flash IF100 SSD 64TB

17

5.1.6. Anycloud-K IO측정 결과 – WIN OS

OS테스트장비


MB/S)


R:W=7:3IO 측정

Win7 #1(SMB2)

921.24

Win7 #2(SMB2)

882.29

0

200

400

600

800

1000

1200

1 815

22

29

36

43

50

57

64

71

78

85

92

99

106

113

120

127

134

141

148

155

162

169

176

183

190

197

204

211

218

225

232

239

246

253

260

267

274

281

288

295

0

200

400

600

800

1000

1200

1 815

22

29

36

43

50

57

64

71

78

85

92

99

106

113

120

127

134

141

148

155

162

169

176

183

190

197

204

211

218

225

232

239

246

253

260

267

274

281

288

295

18

5.1.7. Anycloud-K IO측정 결과 - MAC OS X

OS테스트장비


MB/S)


R:W=7:3IO 측정

MacBook 752.05

MacPro 772.17

0

200

400

600

800

1000

1200

1 815

22

29

36

43

50

57

64

71

78

85

92

99

106

113

120

127

134

141

148

155

162

169

176

183

190

197

204

211

218

225

232

239

246

253

260

267

274

281

288

295

0

200

400

600

800

1000

1200

1 815

22

29

36

43

50

57

64

71

78

85

92

99

106

113

120

127

134

141

148

155

162

169

176

183

190

197

204

211

218

225

232

239

246

253

260

267

274

281

288

295

19

5.1.8. Anycloud-K 테스트 결과 – Latency (IOPing), NLE 편집


Latency -

HD 멀티캠편집 양호테스트영상 : XDCAM-HD 50Mbps (1920x1080 59.94i)테스트방법 : 16 stream 멀티캠 편집시 FrameDrop 미발생

UHD(3840X2160p 30p) 편집 양호테스트영상 : GVHQ 1Gbps (3840x2160 30p)테스트방법 : 3 stream 멀티캠 편집시 Frame Drop 미발생


Latency4KB : 300us8MB : 10ms

IO ping 테스트 수치

HD 멀티캠편집 양호테스트영상 : XDCAM-HD 50Mbps (1920x1080 59.94i)테스트방법 : 16 stream 멀티캠 편집시 FrameDrop 미발생

UHD(3840X2160p 60p) 편집 양호테스트영상 : ProresHQ 1.5Gbps (3840x2160 60p)테스트방법 : 2 stream 멀티캠 편집시 Frame Drop 미발생

▶ Win(EDIUS)

▶ MAC(FCPX)

20

솔루션 평균속도(R:W=7:3) 편집테스트 I/O안정성검토의견

Red HatStorageServer

X X Bad테스트 참가업체

엔지니어설정 미숙으로 실패

Intel LusterFile System

660.64 MB/s4K영상 1개

맥 프로에서NLE 재생Normal

구성난이도 높음

효성 GluesysAnycloud-K

831.94 MB/s4K영상 2개

맥 프로에서NLE 재생Good

KBS 기획/설계한 네트워크 및 All-Flash기 반 아 키 텍 처 를 채 택 해 도 효 성글루시스에서 기존 엔진으로 사용하던CephFS는 방송용 FS로 불가함.

→ KBS가 월드 자막제작시스템에서 직접구축하여 사용중인 GlusterFS 및SMB설정구성변경 제안 반영 후 성공

5.1.9. 1차 테스트 결과 종합

21

SanDisk All FlashIF100 SSD 128TB

R820Gluesys node#1

SX6012 56G FDR Infiniband Swtich

R730 Anywhere

6G SAS x 2(4 lane in)

56G RDMA

10G x 2

R720Gluesys node#2

R720Gluesys node#3

R720Gluesys node#4

PremiereClient

PremiereClient

PremiereClient

PremiereClient

PremiereClient

EX3300 1GE 24port & 10GE 4port Switch

40GE

1G

MNC Backbone Switch

NPS Access Switch

5.2.1. 2차 테스트 – Adobe Anywhere

22

5.2.2. 2차 테스트 결과 종합

23

5.2.4. 1& 2차 테스트 장비 구성

▶Dell R720 서버 5식

▶Mellanox Infinband 스위치 (SX6012 56G FDR)

▶SanDisk Infiniflash IF100 64TB (1차)

▶Juniper 10G 이더넷스위치 (EX3300 10GbE)

▶SanDisk Infiniflash IF100 128TB (2차)

24

5.3.1. 3차 테스트 장비 구성

▶Dell R730, CPU E5-2660v3 10 Core x 2, RAM 64GBDell R730, CPU E5-2643v3 6 Core x 2, RAM 64GBDell R730, CPU E5-2623v3 4 Core x 2, RAM 64GBDell R720, CPU E5-2697v2 12 Core x 2, RAM 64GB

▶Mellanox SX6012 FDR(56Gb/s) Infiniband Switch

▶Huawei Quidway S6700 10GbE 24 port Switch

▶Samsung SSD SM863 1.92TB x 28

25

MAIN (SSD 48TB) DISTRIBUTED

OpenStackNOVA

40GE x 2 Uplink

OpenStackNOVA

OpenStackNOVA

OpenStackNOVA

PremiereClient

PremiereClient

PremiereClient

PremiereClient

PremiereClient

40GE

MNC Backbone Switch

MNC Access Switch

EX4550 32T 1GE Switch

MNC Backbone Switch

EX4550 32F 10GE Switch


V·C

OpenStackNOVA

1GE

10GE

Anycloud-K #3SSD 12TB 메인




SX601240GE & 56G IB Switch

10GE

56G IB (RDMA)


SX601240GE & 56G IB Switch

vm vm

5.3.2. 3차 테스트 – IPoIB 진행중

SMB3 1세션 1.2GB/sFUSE 노드당 2GB/sVFS 노드당 3GB/s

26

5.3.3. 3차 테스트 – RoCE 다음 주

MAIN (SSD 64TB) & BACKUP (8TB CACHE on HDD 64TB) REPLICA

Anycloud-K #1NL-SAS 16TB 백업


OpenStackNOVA

40GE x 2 Uplink

OpenStackNOVA

OpenStackNOVA

OpenStackNOVA

PremiereClient

PremiereClient

PremiereClient

PremiereClient

PremiereClient

MNC Backbone Switch

MNC Access Switch


MNC Backbone Switch



V·C

OpenStackNOVA

1GE

10GE





10GE

40G RoCE (RDMA)


vm vm

MLAG



dm-cache 2TB dm-cache 2TB

dm-cache 2TB dm-cache 2TB

MSX1710-BS2F240GE Switch

MSX1710-BS2F240GE Switch

27

5.4. Anycloud-K 장점 요약 (홍보)

GUI 상에서 클러스터/성능/권한 관리 등이 쉽게 가능

Apple Open Directory와 계정연동 관리 가능 (Isilon 안됨~)

방송 제작 미디어 환경에알맞는 설계/가혹한테스트를

KBS에서...

공급/유지보수는효성인포메이션시스템이...

15년간 국산 NAS 개발사Gluesys, 한국에 있음

미드레인지 가격,하이엔드를 뛰어넘는 성능

28

6. Reference(?)

KBS월드자막제작시스템

GlusterFS 자체구성/운용중

다국어 자막제작/영상편집

AVID Media Central GlusterFS

방송미디어세상의 오라클이...

MBC, CJ E&M에 도입

29

7. 향후 계획

▶40G RoCE 활용 이중화 테스트

• RDMA over Converged Ethernet

• Multi Chassis Link Aggregation

▶오픈스택 Ironic과 결합 테스트

▶KBS 고속전송 & Swift-on-File & TR과 결합개발

• K-Drive 라는 서비스 네임, 제작용으로 활용

▶차기버전 개발 테스트 (NVMe + EDR + SMB3)

• NVMe SSD

• EDR or 100GbE

• SMB3 (multi-stream, samba direct)

Thank you

Technology

[OpenStack Days Korea 2016] Track3 - 방송제작용 UHD 스트로지 구성 및 테스트