HDFS(Hadoop Distributed File System)

HDFS(Hadoop Distributed File System)

Hadoop

OpenTSDBOpenTSDB

HBaseHBase

（１）

１．目的

２．課題と対策

利用者単位での課金を目的として、複数の組織に管理されているServerの利用状況を一元的かつ、視覚的に把握する。

調査対象のServerが増加することが見込まれているため、スケールアウトが可能な構成とする。ファイルシステムはHDFS(Hadoop Distributed File System)、データベースはKVS系のHBaseを導入する。

（２） 調査対象のServerが異なる組織で管理されているため、情報収集に複雑な仕組みを構築できない。また、利用状況の収集項目も追加変更が予測されるため、収集情報の簡素化、収集結果となる利用状況のグラフ表示の自動化を考慮しOpenTSDBを導入する。

３．全体イメージ

所定のポートに対してWebブラウザーにてアクセスすることで、利用状況を、横軸に時系列としてServer別、利用者別などの様々な切り口で折れ線グラフ表示が可能である。

情報は、所定のポートに対して、発生した時刻、収集項目とその値の３つを一組として送信するのみである。

調査対象Server群

Copyright (C) 2013 SHOWA-COMPUTER Co., Ltd. All Rights Reserved.

Hadoop　４．プロダクト構成

ZK2

ZK1

ZK3

NN1 NN2 JT1 JT2 HM1 HM2

：Quorum 構成

：HA 構成

OT

：調査対象Server

DN1

TT1

HR1

ZK：Zookeeper Server

OT：OpenTSDB

DN：Data Node

TT：Task Tracker

HR：HRegion Server

NN：Name Node

JT：Job Tracker

HM：HMaster

凡例

DN2

TT2

HR2

DN3

TT3

HR3

DN4

TT4

HR4

DN5

TT5

HR5

DN6

TT6

HR6

DN7

TT7

HR7

DN8

TT8

HR8

DN9

TT9

HR9

DN10

TT10

HR10

※ZK,NN,JT,HMを導入するマシンは一部共有

　2013.4.1現在　DN,TT,HRのマシンは10台

HadoopのDistributionは、Cloudera社製のCDH4.2.0にて構築した。

HDFS HBaseMapReduce

Copyright (C) 2013 SHOWA-COMPUTER Co., Ltd. All Rights Reserved.