AmbariでStreamをデプロイ #ambarimeetup

AmbariでStreamをデプロイ(stormです)

ヤフー株式会社データプラットフォーム本部開発１部

川畑勝次

2016年04月28日

自己紹介

Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止2

氏名川畑勝次

業務データ処理基盤開発（インフラ担当）Ambari歴：6ヶ月ぐらい

ひとこと子供2人に振り回されてます

Why Ambari ?


Why Ambari ?


初心者でも簡単に構築サーバを用意すればマニュアルをみながら簡単に環境が用意できるので開発・検証の工程により早く入れる

Why Ambari ?


今後の成長に期待継続的にcommitされているので改善が期待できる

デプロイについて


デプロイの流れ


① Ambari deploy

② storm deploy

account

System info

ポイント


Silent setup

/usr/sbin/ambari-server setup XXX --silent

Ambari API

curl --user { user name }:{ password } -i -X POST http://{ ambariserver}:8080/api/v1/clusters/{ cluster name }/hosts/{ host name }

※クラスタにサーバの追加ができる

悩ましいところ


• ジョブ投入サーバや運用サーバの構築は別手段で

※rpmだけインストールするような機能はないため別途デプロイツールで対応

悩ましいところ


• 設定ファイルの管理が・・・

＜※設定ファイル（ storm.yaml ）の差分確認などはGitで行いたいが直接置き換えができないアプリケーションなどの設定ファイルはGitになるので、システム全体の設定ファイルを一元的に管理できない

システム構成


※AmbariはStormプロセスの起動・停止やクラスタへのサーバ追加に利用し監視や可視化は別コンポーネントを利用

Appendix




① Ambari deploy

② storm deploy

account

System info

Ansible inventory + task list


[storm-nimbus]nimbus00[1:2]

[storm-ui]stormmanager001

[storm-supervisor]supervisor00[1:5]

[zookeeper]zookeeper00[1:3]

[ambari-server]ambari001

[ambari-database]ambari001

[ambari-metrics]ambarimetrics001

[jobkick]jobkick00[1:2]

[ambari-agent:children]ambari-metricsstorm-nimbusstorm-ui-drcpstorm-supervisorzookeeper

playbook: playbooks/ambari-server.yml

play #1 (ambari-server): TAGS: []JAVAのインストール TAGS: []mysqlパッケージをインストール TAGS: []mysqlの存在確認 TAGS: []mysqlのデータベース設定 TAGS: []mysqlのアカウント設定 TAGS: []ambari.repoの取得 TAGS: []ambari-serverパッケージをインストール TAGS: []mysqlの存在確認 TAGS: []ambari-serverの設定確認 TAGS: []ambari-serverのsetup TAGS: []

既 ambari-serverにLDAP設定を確認 TAGS: []ambari-serverにLDAP設定を追加 TAGS: []ambari-serverのsetup TAGS: []ambari-serverプロセス確認 TAGS: []ambari-serverの起動 TAGS: []

playbook: playbooks/ambari-agent.yml

play #1 (ambari-agent): TAGS: []JAVAのインストール TAGS: []ambari.repoの取得 TAGS: []ambari-agentに必要なパッケージをインストール TAGS: []rrdtoolの削除 TAGS: []ambari-agent.iniファイルにambari-serverのホスト名を記述 TAGS: []ambari-agentが起動しているかチェック TAGS: []HugePageの無効化 TAGS: []

Inventory Task list



① Ambari deploy

② storm deploy

account

System infohttp://Ambari001:8080/#/login

Ambari Cluster Setting


※不要なStepは省いてます



zookeeper001

zookeeper002

zookeeper003

nimbus001

nimbus002

stormmanager001

ambarimetrics001

stormmanager001




ambarimetrics001

stormmanager001

nimbus001

nimbus002

supervisor001

supervisor002

supervisor003

supervisor004

supervisor005

zookeeper001

zookeeper002

zookeeper003




Link


Ambari manualhttp://docs.hortonworks.com/HDPDocuments/Ambari-2.2.1.1/bk_Installing_HDP_AMB/content/ch_Installing_Ambari.html

Ambari Repositorieshttp://docs.hortonworks.com/HDPDocuments/Ambari-2.2.1.1/bk_Installing_HDP_AMB/content/_download_the_ambari_repo.html

Ambari APIhttps://github.com/apache/ambari/blob/trunk/ambari-server/docs/api/v1/index.md

Blueprintshttps://docs.hortonworks.com/HDPDocuments/Ambari-2.2.1.1/bk_ambari_reference_guide/content/ch_using_ambari_blueprints.html

Technology

AmbariでStreamをデプロイ #ambarimeetup