about dodai project in OSC 2012.Cloud

OpenStackやHadoop環境を手軽に作れて手軽に捨てられる

「dodai project」

羽深修

@habuka036

NTTデータ先端技術株式会社

Team dodai project

2012/12/16

dodai projectの概要

dodai projectって何？

●dodai projectとはNIIを中心としたコミュニティ活動の中で作成された以下のプロダクトをオープンソースとして開発/運用するプロジェクトです

◇dodai-deploy

◆複数台のマシン上にOpenStackやHadoopなどのミドルウェアを簡単にインストールするためのツール

◇dodai-compute

◆複数の物理マシンにOSをインストールするためのツール

2

何のために存在するの？

●CaaSとはCluster as a Serviceの略で、以下のような要望を叶えるためにPCクラスタをサービスとして提供する技術を開発するプロジェクトです。(http://wiki.openstack.org/CaaS) ◇仮想化環境ではなく物理環境を直接利用したい

◇複数台のマシンに対してOSやミドルウェアを手間なくインストールしたい

◇IaaS環境やPaaS環境を色々な構成で構築したい

3

PC クラスタ

SaaS基盤

PaaS基盤

IaaS基盤 CaaSで提供

● IaaS環境やPaaS環境を柔軟な構成で作るためのCaaSを実現するソフトウェア

「dodai」の名前の由来

某機動戦士に出てくる青いアレがムチを振りながら踏んづけている赤いアレが名前の由来だそうです

4

キーパーソン

●主にアイデアを出している人

●主に実装している人

5

@guanxiaohua2k6 さん

@jxta さん

お前は何やってるの？

6

お前は何やってるの？

宣伝兵 7

dodai-deployについて

これは何？

● 簡単に言うと「複数マシンにソフトウェアをインストールしてくれるツール」です

● リポジトリや情報は以下にあります ◇ https://github.com/nii-cloud/dodai-deploy

● 使い方はOpenStackの管理者マニュアルにも書いてあります。 ◇ http://docs.openstack.org/essex/openstack-

compute/admin/content/openstack-compute-deployment-tool-with-puppet.html

● 主にrailsとpuppetとmcollectiveを使ってます

● dodai-deployは以下のコンポーネントで構成されます ◇ サーバ

◆ インストールするソフトウェアの設定や構成を管理

◆ インストール対象のマシン情報を管理

◆ ノードに指示を出す

◇ ノード ◆ インストール対象の各マシン上に配置

◆ サーバからの指示に従ってインストール/アンインストールなどを行なう

● 利用者は、Web UI/CUI/REST APIから好きな方法で利用可能

9

何がデプロイできるの？

●対応しているOSは2012/12/16時点で2つ ◇Ubuntu 10.10/11.04/11.10/12.04 ◇CentOS 6.x

●デプロイできるソフトウェアは以下

10

+-----------------------------------+--------+--------+--------+--------+--------+| | ubuntu | ubuntu | ubuntu | ubuntu | CentOS || | 10.10 | 11.04 | 11.10 | 12.04 | 6.x |+===================================+========+========+========+========+========+| Eucalyptus 3.1 | | | | ○ | |+-----------------------------------+--------+--------+--------+--------+--------+| OpenStack Folsom | | | | ○ | |+-----------------------------------+--------+--------+--------+--------+--------+| OpenStack Essex | | | | ○ | ○ || (Nova, Glance, Swift, Keystone) | | | | | |+-----------------------------------+--------+--------+--------+--------+--------+| OpenStack Diablo | ○ | ○ | ○ | | || (Nova, Glance, Swift) | | | | | |+-----------------------------------+--------+--------+--------+--------+--------+| hadoop 0.20.2 | ○ | ○ | ○ | ○ | |+-----------------------------------+--------+--------+--------+--------+--------+| sun grid engine 6.2u5 | ○ | ○ | ○ | | |+-----------------------------------+--------+--------+--------+--------+--------+

何がデプロイできるの？

●対応しているOSは2012/12/16時点で2つ ◇Ubuntu 10.10/11.04/11.10/12.04 ◇CentOS 6.x

●デプロイできるソフトウェアは以下

11

+-----------------------------------+--------+--------+--------+--------+--------+| | ubuntu | ubuntu | ubuntu | ubuntu | CentOS || | 10.10 | 11.04 | 11.10 | 12.04 | 6.x |+===================================+========+========+========+========+========+| Eucalyptus 3.1 | | | | ○ | |+-----------------------------------+--------+--------+--------+--------+--------+| OpenStack Folsom | | | | ○ | |+-----------------------------------+--------+--------+--------+--------+--------+| OpenStack Essex | | | | ○ | ○ || (Nova, Glance, Swift, Keystone) | | | | | |+-----------------------------------+--------+--------+--------+--------+--------+| OpenStack Diablo | ○ | ○ | ○ | | || (Nova, Glance, Swift) | | | | | |+-----------------------------------+--------+--------+--------+--------+--------+| hadoop 0.20.2 | ○ | ○ | ○ | ○ | |+-----------------------------------+--------+--------+--------+--------+--------+| sun grid engine 6.2u5 | ○ | ○ | ○ | | |+-----------------------------------+--------+--------+--------+--------+--------+

12.10は対応中

Install as a Service

●何それ？ ◇アプリケーションのインストールを楽にしたいのだから、デプロイメントツールのインストールなんてもっと簡単じゃないと嫌だよね

◇だったらサービスとして提供すればいいんじゃない？

12




13




14




15




16




17




18

dodai-computeについて

これは何？

●簡単に言うと「物理マシンにOSをインストールしてくれるツール」です

●リポジトリや情報は以下にあります ◇https://github.com/nii-cloud/dodai-compute

●主にOpenStackを使ってます

●dodai-computeには以下の機能があります ◇物理マシンの電源ON/OFF/リブート

◇リソースプール

◇物理マシンへのマシンイメージの適用

◇ディスク消去

◇物理マシンのネットワーク設定

20

どうしてベアメタル？

●「IaaS環境を自由自在な構成で楽に作成できる環境が欲しかった」

◇「別に仮想化の上でもIaaS作れるでしょ？」

◇「全てのIaaS基盤がIaaSの上に作れるわけじゃない」

21

何が手軽？

dodai-deployで手軽

●手軽にインストールできる

◇dodai-deployでOS上にOpenStackやHadoopを簡単インストール

●手軽にアンインストールできる

◇dodai-deployでOSから簡単にアンインストールできる

●何度でも何度でも繰り返せる

◇一応何度でも繰り返せるつもり…

◆よくデモ環境を作るときに繰り返しているので

23

dodai-computeも使って手軽

●手軽に作れる

◇dodai-computeで物理マシンにOSを簡単インストール

◇dodai-deployでOS上にOpenStackやHadoopを簡単インストール

●手軽に捨てれる

◇嫌になったらdodai-computeでTerminateInstancesを発呼すればOK

●もちろん何度も繰り返せる

◇ディスクが壊れるまで何度も何度も

24

利用事例

アラバマ大学での利用事例

●概要

◇dodai-deployを使って彼らのHPCクラスタ「Gibson」にessexを入れてみたらしい

●構成

◇Head Node ×1

◇Image Server ×1

◇Compute Node ×3

●詳しくは以下のURLに書いてます

◇http://cloud.cs.ua.edu/wiki/index.php/Openstack_Essex

26

NIIでの利用事例

●研究者や学生向けにIaaS基盤やPaaS基盤を構築する環境としてdodai-computeとdodai-deploy(とOpenFlow{Switch,Controller}と

SwiftとNFSサーバとWebUI)を組み合わせて利用

27

NIIでの利用事例

● TopSEの講義にて学生に対してクラウド基盤の構築演習を行なう環境として利用中 ◇ 物理マシンには「仮想化の入

れ子 (Nested KVM)」が提供できるOSをインストール

◇ 物理マシンの KVM 上で CentOS 6.2 を稼動

◇ 学生は CentOS 6.2 の上でクラウド基盤(Eucalyptus)を構築する演習を実施

28

やっべ、ユーカリ最高！

参考情報

参考情報

●dodai-deploy ◇https://github.com/nii-cloud/dodai-deploy

●dodai-deploy 日本語情報 (予定) ◇https://github.com/nii-cloud/dodai-deploy-

ja

●OSPN Press「オープンソース」を使ってみよう (第26回 dodai-deploy編) ◇http://www.ospn.jp/press/20121108no29-1-

useit-oss.html

●dodai-compute ◇https://github.com/nii-cloud/dodai-compute

30

使っているフォント

●タイトルとか

◇しねきゃぷしょん

◆ http://chiphead.jp/font/htm/cinecaption.htm

●本文とか

◇ゆたぽん(コーディング)

◆ http://net2.system.to/pc/font.html

●箇条書きの記号

◇こくばん

◆ http://falseorfont.web.fc2.com/

31

Documents

about dodai project in OSC 2012.Cloud