1

Multi tenant hadoop Cluster: Cluster 통합에 대한 논의

SK 주식회사 C&C Bigdata Engineer 최상연

2

1클러스터 통합 ?- 처음에는 큰 데이터에만 만족했던 hadoop…- 이제는 다양한 요구사항에 따라 확장이 필요하다 !

3

1클러스터 통합 ?- 게다가 hadoop 및 다른 Eco system 은 끊임없는 발전 중 ..

4

1클러스터 통합 ?- 빠른 version up 은 많은 유저의 요구사항을 만족 시킬 수 있지만 ..- 구축 시기마다 다른 클러스터와 데이터 중복 , 운영 이원화를

발생시킨다 .

5

2Multi tenant Cluster- 그렇다면 클러스터 구성방안은 ? - 아래처럼 크게 3 가지로 구성 가능 ( ex) clodera )

6

2Multi tenant Cluster- 결론은… 독립 클러스터이냐 통합 클러스터는 어느 정도 장단점이 있음

7

2Multi tenant Cluster- Multi-Tenacy Architecture

8

3실제 구축 방안- 실제 구성안을 바탕으로 .. 추상화

- Ex) 만약 .. 각각 네임노드만 같이 활용할 수 있다면 ..- 각 2 대 x 3 => 6 대- 4 대를 더 활용할 수 있으며 데이터 중복을 피할수도 있다 .

9

3실제 구축 방안- 실제 구성안을 바탕으로 .. 추상화

10

3실제 구축 방안- 실제 구성안을 바탕으로 .. 추상화

11

3실제 구축 방안- Yarn 을 활용하면 자원 최적화를 할 수 있을거야 !

Yarn 을 활용한 자원 최적화 !! (1) Queue sheduler (2) yarn node label

생각만큼 .. 잘될까 ..? (1) 이기종의 Server Spec (2) Network 구성 (3) 물적 분할이 아닌 S/W share (4) 서로 다른 프로그램의 충돌

이론만큼 쉽지 않은 운영방식 !

12

클러스터 통합 ? 분리 ?- 클러스터 분리는 영향도를 최소화 / 독립된 자원 수행 가능- 하지만 여러 단점도 발생 4

13

5결론 - 결국 Cluseter 구성은 어떻게… ?

14

EOF