Yahoo! JAPANが実践するOpenStackと大規模環境でのコンテナ利用 #devsumi

2016/2/18

Yahoo! JAPANが実践するOpenStackと大規模環境でのコンテナ利用

伊藤拓矢システム統括本部サイトオペレーション本部

OpenStack 黒帯

自己紹介

名前：伊藤拓矢

所属：システム統括本部サイトオペレーション本部

インフラ技術1部

担当領域

・ OpenStackをベースとしたプライベートクラウドの

設計、開発、検証、構築、運用

・アプライアンスベンダーとの調整、協力

・サーバ、OSの検証、導入など

Agenda

• データセンタを支えるOpenStack事例紹介• ハードウェアライフサイクルについて

• アプリケーションレイヤでのライフサイクル• ソフトウェアライフサイクルについて

• ライフサイクルを実現する上でのコンテナ

• まとめ

データセンタを支えるOpenStack事例紹介

OpenStackとは？

• クラウド基盤を構築するソフトウェアのひとつ

• NASAとRackSpaceからコードがOpenStackプロジェクトに寄贈され、初回のリリースは2010年でした。現在も活発に開発が進んでいます。

OpenStackとは？

様々なプロジェクトがある• インフラ基盤として動作するプロジェクト

- Cinder, Ironic, Manila, Neutron, Nova

- Barbican, Designate, Glance, Heat, Horizon, Keystone, Telemetry

• プラットホーム、ミドルウェア系プロジェクト

- Murano, Sahara, Swift, Trove

• コンテナ技術にフォーカスしたプロジェクト

- Kolla(OpenStackコントローラ側をコンテナ化)

- Magnum(COEのライフサイクル管理)

- Kuryr(Calico, Midonetなどコンテナネットワーク接続)

Yahoo! JAPANにおけるOpenStack

昨年10月27日にYahoo! JAPANは国内企業で初めてOpenStack SummitのKeynoteで発表しました

話したこと

• APIのフォーマットが変わらないことが重要

wareCinder

Neutron

Contai

Platforms

Infrastructures

APIAPI

API API API API

話したこと

• 異なる環境であっても同じAPIで動作することが重要

wareCinder

Neutron

Contai

Platforms

Infrastructures

APIAPI

API API API API

話したこと

• インフラのAPIはアプリに近づくことが前提

wareCinder

Neutron

Contai

Platforms

Infrastructures

APIAPI

API API API API

話したこと

• Yahoo! JAPANではデータセンタ抽象化のコア技術としてOpenStackを採用した

metal KVMVM

話したこと

• インフラ部門側からハードウェアライフサイクルを実施することが可能になった

metal KVMVM

データセンタ抽象化の一例

オープンハードウェアの採用

• 最初にOpenStack基盤へOCPの採用後に大規模Hadoop基盤へ繋げる

• 利用者は意識しない部分での改革従来型のサーバとOpenStack上の

操作性は変らない

データセンタ抽象化の一例

オープンハードウェアの採用

• 技術向上とコスト貢献海外にて直接交渉によるスキル向上

コスト意識を持たなくてはならない

データセンタ抽象化

ハードウェア抽象化と継続的なハードウェアライフサイクルが実現

アプリケーションのライフサイクルについて

アプリケーションのレイヤまで継続的なライフサイクルを実現したい

アプリケーションのライフサイクルについて

ハードウェア抽象化と継続的なハードウェアライフサイクルが実現

継続的なソフトウェアライフサイクルを行い、実行環境をBaremetal, VM, コンテナに対応する

アプリケーションの実行環境は人が選ばない

どこでデプロイされるかは関係ない

どこで実行されるのか

性能可搬性簡易性

△ ○ ◎オーバーヘッド大きい完全に隔離された自由な環境OS含めると軽量とは言えずBaremetalからの移行は簡単

○ ◎ ？オーバーヘッド小さい最軽量を目指すと性能対要求リソースが最適化される移行ではなく1から組み上げたい

◎ × ×性能を使い切るアプリケーションも少ない多くの場合において無駄

今日のフォーカス

コンテナ、Docker

コンテナ(Docker)の良いところ

• イメージの管理性• 上手く作れば最軽量

• 持ち運びが楽

• レイヤを重ねなくても高いメリット

• コンテナは性能劣化が少ない• エミュレーションしていないのでVMより早い

• 計算資源に対する実性能が高いため高集約

コンテナ(Docker)での注意点

VMからコンテナへの移行は難しい

1. イメージサイズが大きいとメリット薄- 可搬性が下がっていく、詰め込みすぎない

2. ネットワーク機能の違い

- 複雑なアプリケーションになるほど難しい

- コンテナ独自のNW機能も多い

- 実環境においてはCalicoなどの純粋なIPネットワークを重視

3. ストレージ機能の違い

- 永続的にデータを持たせることは考えない

- データはSwift/S3とDocker Volumeを使い分け(Object, File)

コンテナの向き不向き

• モノリシックは不向きコンテナへ重量級のデプロイはメリットが無いケースが多い

従ってコンテナするなら、軽量化、分割化を行う

• マイクロサービスもコスト高いオーバーヘッドもあり、管理対象が増えてくる

トラブルシュート大変なので、ログとメトリクスの集約が必須

メトリクスも俯瞰できないと意味無し

マイクロサービスを取り入れていない場合は、コンテナ利用の前に、軽量化と分割化に取り組む

コンテナの向き不向き

• コンテナを手でデプロイするのは大変大量にあるコンテナを組み上げていくのは人では無理

デプロイとオーケストレーションを自動でやる必要がある

• デプロイ自動化には、前段も自動化する必要があるいわゆるCIの実現

アプリケーションの作り方から変えていく

揃えるものは多い

本日のまとめ

• Yahoo! JAPANがOpenStackを導入した理由

• OCPへの取り組み

• コンテナを利用した継続的なソフトウェアライフサイクルについて

Yahoo! JAPANが実践するOpenStackと大規模環境でのコンテナ利用 #devsumi

Technology

20160219 devsumi cookpad matsuo

INTERLASHING TEXLASH SIGNODE コンテナ固定 …INTERLASHING TEXLASH SIGNODE コンテナ固定ラッシングシステム耐風用ラッシングシステムの優位性コンテナ

Red Hat OpenStack Platform 13 Red Hat OpenStack Platform の ... · OpenStack Platform 13 にアップグレードします。コンテナーイメージの取得 OpenStack Platform

openstack · 日本OpenStack ユーザ会 Tomoaki Nakajima / @irix_jp openstack Open source software to build public and private clouds. Object Storage; Overview OpenStack + CloudStack

エンジニアが成長のエンジンになる日 #devsumi #natsumiC7

Четырехлетие OpenStack - Сложный возраст OpenStack

Felhő alapú hálózatok (VITMMA02) OpenStack › sites › default › files › Cloud... · OpenStack vs. DevStack » OpenStack » komponensek szolgáltatásként futnak » DevStack

Kolla - the new way to deploy OpenStack · Projects to Deploy OpenStack Deploy on machine puppet-openstack Deploy on lxc openstack-ansible Deploy on docker Kolla OpenStack on OpenStack

20120313 devsumi feedback

150114 OpenStack Korea 정기세미나 session3 - OpenStack 네트워크와 SDN

[OpenStack 스터디] OpenStack With Contrail

[Viet openstack] cloud computing - openstack meetup v2

これからはOpenStack + AnsibleでFUJITSU Cloud Service for OSS … · OpenStackのコンテナ化と管理サービス群(数10システム)のOpenStack管理／コンテナ化

【15-e-7】Kinectから始まったスタートアップ #devsumi

【Brocade OpenStack ソリューション】OpenStack 概要

多段LXC構成でOpenStackを構築 - LT@コンテナ型仮想化情報交換会LT

DevSumi 2014[14-C-5]

Devsumi summer 2013_b2_share

Presentación Openstack Nova - Openstack Spain Group

IBM fournit de l’assistance à la configuration, l’architecture et le … · 2020-03-24 · OpenStack Swift OpenStack Tacker OpenStack Trove OpenStack Watcher Container Atomic