Ia20120118 kaneda

1

株式会社インターネットイニシアティブ金田克己株式会社IIJイノベーションインスティテュート新麗

データセンタ運用の今後の課題

2

アジェンダ

•  巨大化・高密度化するデータセンタ •  クラウドの仕組み〜IaaSの考え方 •  データセンタ運用の今後の課題 •  まとめ

2

3

巨大化・高密度化するデータセンタ

クラウドがもたらした変化

3

4

今データセンタで起きていること

•  クラウドコンピューティング（IaaS）の発展 •  データセンタへのリソースの集約

– サーバやストレージ – リソースの集約→オンデマンド・セルフサービス – 効率の良いマルチテナントサービス提供

•  一つのデータセンタでは収容できなくなる •  複数データセンタに収容したリソースを使って

のサービス提供が求められる

4

5

クラウドの基本的な特徴

オンデマンド・セルフサービス (On-demand self-service)

ユーザは、各サービスの提供者と直接やりとりすることなく、必要に応じ、自動的に、サーバーの稼働時間やネットワークストレージのようなコンピューティング能力を一方的に設定できる。

幅広いネットワークアクセス (Broad network access)

コンピューティング能力は、ネットワークを通じて利用可能で、標準的な仕組みで接続可能であり、そのことにより、様々なシンおよびシッククライアントプラッフォーム(例えばモバイルフォン、タブレット、ラップトップコンピュータ、ワークステーション)からの利用を可

能とする。

リソースの共用 (Resource pooling)

サービスの提供者のコンピューティングリソースは集積され、複数のユーザにマルチテナントモデルを利用して提供される。様々な物理的・仮想的リソースは、ユーザの需要に応じてダイナミックに割り当てられたり再割り当てされたりする。物理的な所在場所に

制約されないという考え方で、ユーザは一般的に、提供されるリソースの正確な所在地を知ったりコントロールしたりできないが、場合によってはより抽象的なレベル (例:国、

州、データセンタ)で特定可能である。リソースの例としては、ストレージ、処理能力、メモリ、およびネットワーク帯域が挙げられる。

スピーディな拡張性 (Rapid elasticity)

コンピューティング能力は、伸縮自在に、場合によっては自動で割当ておよび提供が可能で、需要に応じて即座にスケールアウト/スケールインできる。ユーザにとっては、多くの場合、割当てのために利用可能な能力は無尽蔵で、いつでもどんな量でも調達可能

のように見える。

サービスが計測可能であること (Measured Service)

クラウドシステムは、計測能力(*1)を利用して、サービスの種類(ストレージ、処理能力、帯域、実利用中のユーザアカウント数)に適した管理レベルでリソースの利用をコントロールし最適化する。リソースの利用状況はモニタされ、コントロールされ、報告される。

それにより、サービスの利用結果がユーザにもサービス提供者にも明示できる。

5

NIST Special Publication 800-145 / 独立行政法人情報処理推進機構による翻訳「クラウドコンピューティングの定義より引用」

*1 通常、従量課金(pay-per-use)または従量請求(charge-per-use)ベースで計算される。

6

クラウドの仕組み

IaaSの考え方

6

7

クラウドのサービスモデル

ソフトウェア・アズ・ア・サービス SaaS(Software as a Service)

契約すれば直ちに利用できる

プラットフォーム・アズ・ア・サービス PaaS(Platform as a Service)

プラットフォーム上にアプリケーションとデータをロードして利用する。

インフラストラクチャ・アズ・ア・サービス IaaS(Infrastructure as a Service)

調達したリソースを使ってシステムインフラを設計構築した上で、アプリケーションとデータをロードして利用する。

7

XaaSの分類は NISTのクラウドサービス分類に従った

ITインフラ（サーバ、ネットワーク、ストレージ）

ミドルウェア

アプリケーションと業務 SaaS

PaaS

IaaS

8

IaaSとは（IIJの場合）

8

サーバ、ストレージ、ネットワーク（機能）それぞれのリソースプールがあるとして、これらのリソースプールから任意のシステム構成が可能なことをIaaSとする。

リソースプールから切り出した任意のリソースを組み合わせて自由にシステムを構成できるようにする

ネットワーク機能リソースプール

FW FW LB LB

IDS IDS VPN VPN

FW

LB

公開用Webシステムサーバリソースプール

お客様社内ネットワーク

FW

概念図

ストレージリソースプール

9

論理インスタンス〜IaaSの構成要素

9

仮想化技術を用いてリソースをコンポーネント化する場合

サーバ（ＶＭ + ローカルストレージ + OS)

VM VM VM

VM

NAS

VM

FW

VM

LB

VM

VPN

イーサネットセグメント（ＶＬＡＮ）

外部接続

WAN

インターネット Win Linux Win

NAS（ＶＭ + ローカルストレージ + 仮想アプライアンス)

ネットワーク機能（ＶＭ + ローカルストレージ + 仮想アプライアンス)

論理インスタンス

サーバリソースプール

ストレージリソースプール

リソースプール

仮想化

10

典型的なIaaSの物理構成(POD)

10

Core L2SW Core L2SW

Edge L2SW Edge L2SW Edge L2SW Edge L2SW

サーバサーバ

サーバサーバ

サーバサーバ

サーバサーバ

サーバサーバ

サーバサーバ

サーバサーバ

サーバサーバ

Edge L2SW Edge L2SW

サーバサーバ

サーバサーバ

サーバサーバ

サーバサーバ

スイッチで構成されたL2ネットワークは802.1QタグVLANを用いて仮想化している。物理サーバ1000台程度

インターネット WAN

Edge L2SW Edge L2SW Edge L2SW Edge L2SW Edge L2SW Edge L2SW

POD

Core L3SW Core L3SW iSCSI Storage

iSCSI Storage

iSCSI Storage

iSCSI Storage

R R

11

IaaSの仕組み

コンポーネントからシステムを構築するロジック

11

12 12

自動化１．リソースプールからお客様割り当てリソースを

切り出す２．ネットワーク（VLAN）を払い出す３．切り出したリソースとネットワークを接続する４．OS、仮想アプライアンスをVMにロードして設

定する 5. 外部ネットワークと接続する

典型的な２層Web/DBシステム（論理図）

外部接続

FW

webapp1

LB

DB

webapp2


Router

13 13

VM

VM

VM

VM

VM





お客様システムの構築を自動化する

14 14




VM

VM

VM

VM

VM



15 15




VM

VM

VM

VM

VM



16 16




VM

VM

VM

VM

VM



FW

LB

OS+DB

OS webapp

17 17




典型的な２層Web/DBシステム（論理図）

外部接続

FW

webapp1

LB

DB

webapp2


Router

18


18

19

PODの課題

19

• 同一エッジスイッチに収容されたサーバ、VM間の通信であればあまり問題にならない。但し、仮想環境下では同じサーバに収容されたVMどうして物理NICの帯域を取り合うので仮想スイッチでの対応が必要（IIJでは一部、仮想スイッチで帯域制御） • VLAN IDは12bit なので、1契約（≒システム）で2VLAN利用するとすれば 2000契約程度しか収容できない • エッジ 32K MAC、コア 160K MAC、1VM 3 vNIC 利用と考えた場合 10000VM 程度、1物理サーバ 8VM だと、物理 1250 台程度が限界

• エッジｰコア間の帯域が10GbEでは足りない→コアを廃止しエッジスイッチ同士をフルメッシュで接続するイーサネットファブリックへ

イーサネットの限界と適切な帯域割り当ての実現に向けて

Core L2SW Core L2SW

Edge L2SW Edge L2SW Edge L2SW Edge L2SW

サーバサーバ

サーバサーバ

サーバサーバ

サーバサーバ

サーバサーバ

サーバサーバ

サーバサーバ

サーバサーバ

Edge L2SW Edge L2SW

サーバサーバ

サーバサーバ

サーバサーバ

サーバサーバ

20

データセンタネットワークの課題

20

Core L2SW Core L2SW

1データセンタ辺り5-6PODを収容する（5000-6000物理サーバ）•  PODを跨いでL2でプライベートに接続することをユーザーから望まれているが現在の製品、技術では適切に実装できない

POD辺り1000台程度のサーバ

Core L2SW Core L2SW Core L2SW Core L2SW



POD間を接続する何らかのネットワーク

インターネット WAN

R R

データセンター

21

IaaSのネットワークの全体像

��

� ��

��

��

� ��

��

� ��

��

��

��

� ��

��

21

2万台程度の物理サーバを収容するクラウドネットワーク•  地理的に分散した環境ではデータセンタ間を接続するネットワーク帯域や遅延も問題となる。

•  数万にも及ぶ仮想サーバ、仮想ネットワークを監視・運用する仕組みが必要となる。

22

データセンタ間でのライブマイグレーション

22

データセンタ間のネットワークが実現したとしてもストレージをどうするかの課題は残る。•  データセンタを跨いでの同期書き込み→距離は多めに見て300km程度が上限•  ストレージ内容の非同期なレプリケーション→DC間を接続するネットワーク帯域

��

�"�� "��

��"��

��"��

��

� � �

��

�"��!�� " �"��!��

��

�"�� "��

��"��

��"��

��

�

��

�"��!��

23

まとめ


23

24


•  クラウドサービスを提供するためのデータセンタは巨大化し分散していく

•  仮想化技術の進展により自由なシステム構成をオンデマンドで提供することが可能となりつつある。

•  ユーザはL2プライベートなネットワーク構成を好むが現時点では物理サーバ1000台程度の構成が限界である

•  IaaSにおいては分散データセンタ環境下でサービスを提供するためのネットワーク技術を開発することが急務である。

24

25

具体的な課題

•  設備構成上の課題 – データセンタを跨るシームレスなネットワークを如何

に構成するか – データセンタが分散したときにストレージをどう構成

するか – 論理インスタンス間の適切な帯域制御の実現 – 高速・広帯域なネットワークの適切なコストでの実現

•  運用管理上の課題 – 数万台〜数十万台のVMをどう管理するか

– プライベートなネットワークの監視をどう実現するか

25

26

ご清聴ありがとうございました

お問い合わせ先　IIJインフォメーションセンター TEL：03-5205-4466 （9：30～17：30 土/日/祝日除く） [email protected] http://www.iij.ad.jp/

Documents

Ia20120118 kaneda