Cedec2015 ゲームサーバー基盤の新しい選択肢

© IBM Corporation 1

Presented by:

ゲームサーバーの新しい選択肢2015年8月27日

高良真穂

日本IBM株式会社クラウド事業統括テクニカルサービス

本資料は、発表者によって準備された資料でありIBMの公式の見解を代表するものではありません。

© IBM Corporation 2© IBM Corporation 2

自己紹介

高良真穂(たからまほ）

勤務先日本アイ・ビー・エムクラウド事業統括テクニカル・サービス

ITアーキテクト担当部長

ウェブ記事

ソフトレイヤー活用ガイド http://www.gg-web.jp/document/

ソフトレイヤー探検隊 https://goo.gl/N7LjGC

冊子本

ソーシャル・ネットワークFacebook https://www.facebook.com/maho.takara

Twitter https://twitter.com/MahoTakara

GitHub https://github.com/takara9

Qiita http://qiita.com/MahoTakara

Docker Hub https://hub.docker.com/u/maho/

得意技

たこ焼き作ること

趣味工作とか

いろいろ

http://www.gg-web.jp/document/

https://goo.gl/N7LjGC

https://www.facebook.com/maho.takara

https://twitter.com/MahoTakara

https://github.com/takara9

http://qiita.com/MahoTakara

https://hub.docker.com/u/maho/

© IBM Corporation 3© IBM Corporation 3

セッション内容

• IBMのクラウドの取り組み概要• ソフトレイヤーの重点ポイント• ゲームサーバーとしての特徴• 日本国内の事例• さらに知って頂く為に


text

IBMのクラウドの取り組みは？

– パブリック・クラウド• SoftLayer (IaaS)

– Bluemix (BluemixはSoftLayer上で稼動）

– IBM Cloud OpenStack Service (ICOSと呼ばれ、SoftLayerベアメタルで提供）

• Bluemix (PaaS)

– アプリケーションのチーム開発と稼動環境 DevOps

• Cloudant (CouchDBのマネージド・サービス / DBaaS)

• COMPOSE (MongoDB, Redis, Elasticsearch, PostgreSQL, and other database as a service (DBaaS)

• CMS (Cloud Managed Service) IBM Strategic Outsourcing のサービス

– プライベート・クラウド／ハイブリッド・クラウド• IBM Cloud Orchestrator OpenStackの周辺を拡張するソフトウェア

• Bluebox OpenStackのマネージド・サービス

• IBM Puresystem定型パターンのインストールを自動化

• Bluemix Local (近日リリース予定）社内に設置できるBluemix


text

コンピュータ・エンターテインメントと IBM

支援するOSSプロジェクト

• Docker 戦略的提携

– IBM container提供

• OpenStack Premiumスポンサー

• MongoDB Goldスポンサー

• Apache Spark

– 研究者・開発者3500人投入

出典：TechCrunch 2015年2月17日http://jp.techcrunch.com/2015/02/17/20150216elemental-path-debuts-the-first-toys-powered-by-ibm-watson/


ソフトレイヤーの重点ポイント


IBM SOFTLAYER は IaaS

SoftLayerは、テキサス州ダラスを本拠地として2005年設立されました。米国に加え、2011年よりアジア、欧州にデータセンターとネットワーク接続ポイントを展開。140カ国にわたる25,000*以上の先進的なお客様にご利用いただいてきました。*2014年初時点

2013年のSOFTLAYER社は、IBMのグループに加わり、1200億円の投資により世界４０拠点にデータセンターを拡充、新サービスのリリースを勢力的に進めています。

SOFTLAYERは、リアルなプライベートVLAN環境、グローバル・ネットワーク、物理サーバーとアプライアンス提供、豊富なAPIを特徴とするIaaS (Infrastructure as Service) のサービスです。


SoftLayer のリアルなプライベートLAN環境

インターネットと内部ネットをケーブル色で完全分離、ユーザー間も隔離するリアル・プライベートユーザー専用のファイアウォール、ロードバランサーを保有可能

ユーザー

モバイル管理者

Virtual Servers

Public Network Private NetworkInternet

Management Network

ユーザーA専用パブリックVLAN

ユーザーA専用プライベートVLAN

Virtual Servers

ユーザーB専用パブリックVLAN

ユーザーB専用プライベートVLAN

Baremetal Servers

VPN Edge

Router

サービスVLAN

Client

Client

VPN Clientアクセス制御

アクセス制御アクセス制御

一般ユーザー

シスオペ


India

Shanghai

Singapore

Sydney

TokyoSeattle

San Jose

Los Angeles

Mexico City

Houston

DenverDallas

Miami

AtlantaWashington D.C.

MontrealToronto

Chicago

London

Frankfurt

Paris

Amsterdam

Sao Paulo

New York

Dubai

Melbourne

既存データセンター

既存PoP

新規データセンター（2014-2015年開設予定）

新規PoP （2014-2015年開設予定）

新規データセンター（2014年開設）

東京DC ロンドンDC

他のユーザーから隔離された

専用の国際通信が無料

プライベートVLAN同士のみ通信

Hong Kong

グローバルなネットワークをプライベートに利用可能

予定

予定予定


物理サーバーとアプライアンスの提供– 高機能で実績のあるアプライアンスとして、ロードバランサーNetScaler, ファイアウォール

Fortigateをユーザー専用に利用出来ます。注文から利用を開始まで３０分程度です。

– 物理サーバーも、Webポータルからオーダーするだけで、時間課金タイプで３０分以内、月額課金タイプで２時間以内に利用開始できます。

ベアメタル（物理）サーバー高機能アプライアンス

Intel Xeon E3-1270v3 Intel Xeon E5-2620v3

Intel Xeon E5-2620v3

1Uサーバー２Uサーバー

4Uサーバー


豊富なAPIで運用を自動化– 物理サーバーも、シェルやPythonプログラムからオーダー＆キャンセルできる物理も含めコードで構築できる世界をリードするIaaSです。作っている人が見える安心のクラウド

– サーバー自動設定ツールと組み合わせて、サーバー構築を自動化できます

Chef レシピ

Chef レシピ

パブリック / プライベート / OS

イメージ・テンプレート

SoftLayer

API Endpoint

起動Chef-Solo

Knife-Solo

仮想サーバー物理サーバー

①SLコマンドからサーバーを注文

③レシピによってサーバーを設定する

②レシピのテンプレートを利用、必要に応じ編集する

管理サーバー

シェル・スクリプトからサーバーを注文する例

設定自動化ツールChefとの組み合わせ例


テクニカル･サポートの日本語対応

管理ポータルから無償で提供（件数の制限なし）

サービス時間：24時間365日※日本語対応は平日 9:00 – 17:00

提供サービス

チャット「ちょっと聞きたい」

チケットチケット番号で進捗管理

電話

追加のサポート契約不要で誰でも利用可能！


ゲームサーバーとしてのSoftLayerの特徴


ご紹介の概要（目次）• 1 インターネット環境

• 2 ロードバランサー

• 3 ファイアウォール

• 6 保守ネットワーク接続

• 7 オブジェクトストレージ＆CDN

• 4 アプリサーバー

• 5 DB&ストレージ


ゲームサーバーの想定構成

インターネット接続回線10GB x3

LocalLoad Balancer Virtual Servers

Baremetal Servers

MySQL 専用レプリカサーバー

Baremetal Servers

MySQL マスタサーバー

HA構成

アプリケーションサーバー

Virtual Servers

KVSキャッシュサーバー

Object Storage

画像・動画ダウンロードログ保管ストレージ

HA構成

Firewall

リクエストの流れ

データの流れ

ソーシャル・ゲームプレイヤー

Vyatta

シスオペ

オンプレサーバー

企業LAN

CDNAutoScale

ユーザー数規模数万人～数百万人


最強のインターネット環境 1 インターネット環境

2 ロードバランサー

3 ファイアウォール






最強のインターネット環境– インターネット・エクスチェンジ（IX)とのPeer接続の合計は 940Gbps (2015年8月現在）

– 各地域に分散したDCやPoPと、各地域のIXを接続しています。

Dallas

Huston

Atlanta

Miami

Mexico City

Los Angeles

San Jose

Seattle

Denver

Chicago

Toronto

Washington DC

New york

Tokyo

Hong Kong

Singapore

Sydney

FrankfurtAmsterdam

London

Paris Melbourne

Montreal

24地域ソフトレイヤーDC/PoP

IX

IXIX

IX

IX

IX

IX

IX

IX

IX

IXIX

IX

IX

IX

IX

IX

IX

各地域のInternet eXchange

総合計Peer接続940Gbps

IXに繋がるISP ユーザー

DC: Data Center, PoP: Point of Presence （ネットワーク拠点）Peer接続(Peering)：経路情報を交換しトラフィックを交換しあうこと。ソフトレイヤーは、グローバルなISPとして振る舞い、ソフトレイヤーのアドレス範囲に対しては、PoPから自社ネットワークを通過させるポリシーとなっている


SOFTLAYER最強のネット環境

–総合合計940Gbps の IXピア接続で、コンテンツ配信の世界展開を強力にバックアップ

Dallas IX

100Gbps

Huston

Atlanta IX

30Gbps

Miami IX

70Gbps

Mexico City

Sao Paulo

Los Angeles IX

40Gbps

San Jose IX

70Gbps

Seattle IX

20Gbps

Denver IX

20Gbps

Chicago IX

40Gbps

Toronto IX

20Gbps

Washington DC IX

120Gbps

New york IX

50Gbps

Tokyo IX

30Gbps

Hong Kong

IX

30Gbps

Singapore IX

50Gbps

Sydney IX

10Gbps

Frankfurt IX

70Gbps

Amsterdam IX

70Gbps

London IX

100Gbps

Paris

Melbourne

Montreal

40Gbps

40Gbps

60Gbps

50Gbps

20Gbps

50Gbps

150Gbps

30Gbps

40Gbps 40Gbps

60Gbps

280Gbps

20Gbps

30Gbps

80Gbps

20Gbps

30Gbps

110Gbps

340Gbps

30Gbps

40Gbps

140Gbps

40Gbps

30Gbps

北米

南米

欧州

アジア

豪州

日本

準備中

DC間回線の合計

IX間回線の合計

DC/PoPの存在する地域


東京ＤＣ周辺のネットワーク構成概要

10G

BBIX

Hong Kong

Singapore

Sydney

San Jose

10G

10G

インターネット接続

10G 10G 10G 10G

SoftLayerグローバルネットワーク

TokyoPoP

TOK01

TokyoDatacenter

TOK02Equinix

JPNAP


• インターネットからのアクセスは、東京PoPを経由して東京DCへアクセス• 他地域DCへのアクセスは、東京PoPからSoftLayerの専用経路を通じて直行• 各IXとPoPは、BGPで経路情報を交換するPeer接続でありISP同等レベル• 回線使用率の60%を超えたら増速のキャリアグレードの品質管理

出典 http://www.softlayer.com/network

東京データセンター東京ネットワーク拠点

http://www.softlayer.com/network


東京PoPとIX間のトラフィックSoftLayerカスタマ・ポータル（クラウドの管理画面）で、トラフィックを確認できます。https://control.softlayer.com/network/status/global

①PoP主要機器、各回線のステータス

DDOS対策機器

Cisco Guard は販売終了のため、他社製品に置き換え推進中です。

2.0G

1.4G

3.0G

②インターネット回線の帯域使用率（2015/7/28現在）

米国中部時間

米国中部時間

米国中部時間

https://control.softlayer.com/network/status/global


SoftLayerのDDOS攻撃対策– 異なるIX3社とピア接続に加えて、DDOSのトラフィック監視を24時間実施しています。

– この保護機能は、DDOS攻撃を自動的に検知して影響を緩和します。さらに、SoftLayerの他のお客様への影響が懸念される状態になった場合、SoftLayerからお客様へ連絡させていただきます。

– DDOS対策は、緊急的一次対応を目的とするものであり、恒久対策はDDOS Mitigation プロバイダーとご契約をお願いします。

– Cisco社のDDOS対策機器は販売終了のため他社の製品へ移行推進中です。

出典 DDoS 攻撃の軽減対策http://www.cisco.com/web/JP/product/hs/security/gdma/tech/gdda_wp.html

DDOS攻撃対策の詳細は、非公開ですから、この図は対策として採用しているCisco社のGuard DDOS説明資料の引用です。

この図のISP Backbone部分が、SoftLayerのPoPに相当します。Enterprise部分が東京DCに相当します。

ピアリングポイントに Cisco Guard XT を配置することで、コアルータ、下流側のエッジデバイス、リンク、および、サーバーを保護できます

PoPに相当

Tokyo DCに相当

IX IX

IX

http://www.cisco.com/web/JP/product/hs/security/gdma/tech/gdda_wp.html


東京PoP周辺のネットワーク構成

– SOFTLAYERは、PoPと各地IXをピアリンクしてインターネットの一部をグローバルに形成

– ユーザーからDCへの通信は、PoPに入り専用ネットワークを通過してDCへ、PoPがDCの入り口

– アカマイの様な高速配信ネットワークとしての機能、ユーザーに近いPoPから送信

– 各PoPでDDOS攻撃パケットをフィルターして小さなトラフィックの内に通さない

Hong Kong

Tokyo

Singapore

Frankfurt

San José

Sydney

Seattle

Denver

Los Angeles

20Gx3

10Gx110Gx3

PoP

PoP

PoP

PoP

/DC

PoP

PoP

PoP

PoP

DC

DC

DC

DCDC

10Gx1

20Gx1

50Gx1

10G

10G10G

10G

10G

10G

20G

20G

20G

PoP

豪州

北米

東南アジア

中国欧州


UDPパケットのロスが少ないSoftLayer

https://www.youtube.com/watch?v=otZllR538zU

Unityを使ったアクションゲームの適合性を検証するプログラムを開発しました。SoftLayer

東京データセンターで実行したビデオで性能の差をお確かめください。

https://www.youtube.com/watch?v=otZllR538zU



ボールが壁から転がってくる

キャラクターに衝突と思いきや。。。

擦り抜け発生

SoftLayerはパケット落ちが少ないので、この様な衝突判定を伴うアクションに強い特徴があります



パケット損失の少ない高品質なネットワークは、海外のアクションゲームで評価されています。

東京データセンターと一般家庭の端末間のパケットロス率比較


SoftLayer上で稼働する海外のゲーム


SoftLayerのロードバランサー

1 インターネット環境








LBは３つ方式から選択可能

ウェブ・サーバー共用型／専用型

NetScaler

N+1構成

ウェブ・サーバー

LVSN+1構成



NetScaler

DNS

①ローカル・ロードバランサー（共用型と専用型）及び、NetScaler ③グローバル・ロードバランサー

②Linux Virtual Server

VIP

VIP

Virtual Servers

Virtual Servers

Virtual Servers

Virtual Servers

Virtual Servers

NetScaler

出典ソフトレイヤー活用技術情報デザインパターン2.1 ロードバランサーによるサーバーの冗長化https://gg-web.jp/document/DesignPattern/02001/index.html

2.2 データセンターレベルの冗長化https://gg-web.jp/document/DesignPattern/02002/index.html

https://gg-web.jp/document/DesignPattern/02001/index.html



利用できる各LBの特徴

特徴LVS

(Linux Virtual Server)

ローカルロードバランサー（共用型）

ローカルロードバランサー（専用型）

CitrixNetScaler VPX

グローバル・サーバー

ロードバランス GSLBNetScaler VPX

適用範囲 DC内 DC内 DC内 DC内 DC間

共用/専用専用共用専用共用共用

VIP数Public アドレス1,2,4,8,16から選択

Publicアドレス1

Public アドレス1,2,4,8,16から選択



HA構成可能なし可能可能可能

SSLオフロード不可可能可能可能可能

オートスケールとの連動

不可可能可能不可不可

能力仮想サーバーに依存

同時250〜2500接続

同時15000〜150000接続

10Mbps〜1000Mbps

10Mbps〜1000Mbps

費用OSSのため

サーバー費のみ$50〜$2500

$999〜$3998

$299〜$1999

$499〜$1999

その他特徴

サーバー間の負荷分散に適用可

低価格AutoScale連動

高負荷対応AutoScale連動

WAF, GSLBなども利用可

SLB,WAFなども利用可


ローカルLBとAutoScaleの組合わせ例

ローカルロードバランサー

（共用型・専用型）

パブリック / プライベートイメージ・テンプレート

AutoScale

監視CPU,帯域

起動

仮想サーバー

負荷分散対象の自動追加

追加

出典ソフトレイヤー活用技術情報デザインパターン3.1 サーバー数の動的増減 https://gg-web.jp/document/DesignPattern/03001/index.html



SoftLayerで利用できるFirewall

• 1 インターネット環境

• 2 ロードバランサー

• 3 ファイアウォール






SoftLayerのFirewallの選択肢

BCR

トランク接続

NetworkGatewayAppliance

Webサーバー

APサーバー

DBサーバー

Publicゾーン

APゾーン

DBゾーン

FCR

Private VLAN#1

Private VLAN#2

Public VLAN

仮想リンク

OSファイアウォール

ハードウェアファイアウォール

(共用型）

PublicVLAN

PublicVLAN

ハードウェア・ファイアウォール (専用型）Fortigate Security Appliance

NetScalerPremium

WAF

Web/AP

Web/AP

PrivateVLAN

①インターネットから保護するパターン ②内部のゾーン間で保護するパターン

出典ソフトレイヤー活用技術コンフィグレーションガイド2.1 ファイアウォールでサーバーを保護するには? https://gg-web.jp/document/ConfigGuide/02001/index.html

6.7 DMZ、APサーバー、DBサーバーなどのゾーンを作るには？ https://gg-web.jp/document/ConfigGuide/06007/index.html

https://gg-web.jp/document/ConfigGuide/02001/index.html



SoftLayerの各Firewallの特徴

特徴 OSファイアウォール


（共用型）


（専用型）

FortigateSecurity

Appliance

VyattaGatewayAppliance

WAFNetScaler

VPX Premium

適用範囲 OSサーバーの

IPアドレス１個パブリック

VLAN x1個パブリック

VLAN x1個

パブリック,プライベート

VLAN x N個

パブリック,プライベート

VLAN x 1個

共通／専用専用共用専用専用専用専用

HA構成不可不可可能可能可能可能

管理ユーザーインタフェース

CLIカスタマーポータル

カスタマーポータル

Web-GUIとCLI

主としてCLI,Web-GUIも可

Web-GUIとCLI

保護対象レイヤー

L4 (TCP) L4 (TCP) L4 (TCP) L4 (TCP) L4 (TCP) L7(アプリ）

ゾーニング適用不可不可不可不可可能不可

性能サーバー能力に

依存10Mbps〜2000Mbps

1Gbps（NICリンク速

度）

1Gbps(NICリンク速

度）

10Mbps〜10Gbps

10Mbps〜1Gbps

費用無料 $49〜$399 $999〜$1998 $999〜$1998$418〜$1856

$499〜$1999

その他OSにバンドルされるFWまたはAPF

サーバー単位 VLAN単位 VPN機能VPN,NAT,VLANトランク対応有償版Vyatta

アプリ脆弱制対応


高負荷に耐えるアプリサーバー

1 インターネット環境








SoftLayerのサーバー基盤–仮想サーバー（１時間単位、1ヶ月単位）

–ベアメタルサーバー（1時間単位、1ヶ月単位）

１時間単位仮想サーバー

米国DC 4.7円〜

東京DC 5.3円〜CPU 1core

RAM 1GB

HDD 25GB

通信料 US 11円/GB, JP 17円/GB

１月単位仮想サーバー

米国DC 3,087円〜

東京DC 3,488円〜

CPU 1core

RAM 1GB

HDD 25GB

通信無料枠 250GB/月

１時間単位ベアメタル

米国DC 45円〜

東京DC 52円〜1CPU 4cores

RAM 8GB

HDD 2TB SATA

通信料 US 11円/GB, JP 17円/GB

１月単位ベアメタル

米国DC19,508円〜

東京DC 22,018円〜1CPU 4cores

RAM 2GB

HDD 500GB SATA

通信無料枠 500GB/月

為替レート 1ドル=123.47円

通信無料枠東京DC 4250円分

一ヶ月分の電気代約2000円 100W東京

一ヶ月分の冷房費約2000円 100W分

通信無料枠東京DC 8500円分

一ヶ月分の電気代約6000円 300W東京

一ヶ月分の冷房費約6000円 300W分

H/W,N/W監視???円

H/W,N/W監視???円

H/W保守費???円

H/W保守費???円

東京電気料金 1KW = 28.71円

チャット、チケット、電話サポート費 ???円

チャット、チケット、電話サポート費 ???円


仮想サーバーの概要– 仮想サーバー概要

• マルチテナントとシングルテナントの物理サーバーをPublic/Privateとして選択可能

• CPUコア 2GHz 選択可能なコア数 1,2,4,8,12,16

• 設定可能なメモリ 1,2,4,6,8,12,16,32,48,64 GB

• ストレージ

– OS起動用 x1本 (25G または 100GB SAN/Local)

– データディスクは以下から選択

• SAN-DISK x 最大4本 10〜2000GB

• Local-DISK x 最大1本 10〜300GB

• NICリンク速度 10, 100,1000 Mbps

– Linux Debian 6.x,7.x,8.x Ubuntu 12.x,14.x , CentOS/RHEL 6.x,7.x

– Microsoft Windows 2008, Windows 2012

– 主な用途とOSS

• ウェブ／アプリケーション・サーバー– Apache2, Nginx

– 開発言語（PHP, Ruby, Node.js ）

• プロキシ・キャッシュ– Varnish

• データ・キャッシュ（KVS）– Memcached, redis

Virtual Servers

Storage


次の様な現象でお困りになった事はありませんか？

Virtual Servers

I/Oウェイトも無いのにCPU稼働率が上がらない

使えてない！

LocalLoad Balancer

低稼働率傾向

膨大なユーザー数

ゲームサーバー群

DBサーバー群

繁忙時間帯、仮想サーバーを増やすと、CPUの稼働率が、やや下がって、アプリの遅さは改善する。

遅い！

仮想環境のアプリは遅くて重い、しかしCPUの稼働率は高くない。レスポンスを改善するために、仮想サーバーを増設しなければならない


この遅い重いといった要因として、仮想化の構造と密接に絡む以下の要因があります。

仮想化のオーバーヘッド物理環境のソフトウェア・エミュレーション割り込み、タイマー、メモリページ管理、デバイス・ドライバー

ハードウェア共有資源の競合ブロック・ストレージネットワーク・インタフェースマザーボードとCPU間のメモリ帯域

ブロック・ストレージのアクセスの遅延物理環境に比べ遅延大MySQLサーバーの性能頭打ち

LocalLoad Balancer

ゲームサーバー群

DBサーバー群

遅い！低稼働率

ハードウェア

ハイパーバイザ

OS OS

LAN HDD

ハードウェア

OS

LAN HDD

仮想環境ベアメタル環境


Dom-0負荷集中で

俺のサーバの稼働が抑えられる

仮想環境Xenでの複数ある内の一つ「共存影響」例

Xen Hypervisor

NIC Local Disk

Dom-0

Virtual Servers

VLAN

膨大なHTTPアクセス

共存サーバーが動作開始

稼働率が抑えられる

俺のサーバー

他人のサーバー

俺の

他人の

Dom-0のCPU使用率が高く、VMの要求に十分答えられない

大量のショートパケットが発生する

テスト環境で状況を再現しました

同じハイパーバイザー上に活性の高い仮想サーバーが共存すると、資源の競合により稼働が抑えられる現象PVからHVMへ移行が進む中で軽減が進んでいるが、無くせる訳ではない


MMOゲームにSoftLayerが選ばれる解決策

シングルテナントの専用仮想サーバー (Private VSI)

専用物理サーバー(ベアメタル）

Baremetal Servers

Xen Hypervisor

NIC Local Disk

Dom-0

Virtual Servers

俺だけ

俺だけPrivate VSIは最大コア数は８コアまで

仮想環境と同様の完全なコントロール

共有部分なし素のサーバー

注文から２時間で利用可世界のゲーム会社から支持される迅速な対応、豊富な在庫量

資源競合アクセス遅延

仮想サーバーで性能向上に、限界を迎えた場合には、二つの解決策を提供ベアメタル（専用物理）サーバーは、仮想化のオーバーヘッドが無いため、フルにハードウェアの性能を生かせる


仮想の性能劣化が無いベアメタル（物理）サーバー

CPU： Xeon E5-2650v3

仮想環境: Xen 4.4

性能測定ツール： Unixbench 5.1.3

CPUコア数: 4コアで統一、物理サーバーは起動時にCPUオンライン数4に制限Linux: Ubuntu 14.04 64bit

HVM （Hardware Assisted Virtual Machine）の仮想サーバーと比較した場合でも、仮想ハードウェアのエミュレーションによるCPU命令サイクル消費が無いため、高い性能が得られる

注意：Unixbenchによる結果であり仮想サーバーの全ての性能を代表するわけではありません。


本格的なワークロードを処理する場合、ベアメタルサーバーは経済的な負担を抑え高い処理性能を提供します。

・仮想サーバー専業のクラウドベンダーに比べ、ソフトレイヤーの仮想サーバー性能は良くありません。・処理性能が必要となる場合、ベアメタル（物理）サーバーのご活用をご検討おねがします。

1core

2core

4core

8core

16core

仮想PV

仮想HVM

他社仮想ベアメタルE3-1270 4core

ベアメタルE5-2620x2 12core

ベアメタルE5-2650 20core

性能高

価格高

・HVMの仮想サーバーとしてCentOS7.x, Debian 8.x,

Windows系サーバーがあります・CentOS6.x、Ubuntu14.xはPVの仮想サーバーとなっています。


スケールアップのパス・仮想サーバー専業のクラウドベンダーに比べ、ソフトレイヤーの仮想サーバー性能は良くありません。・処理性能が必要となる場合、ベアメタル（物理）サーバーのご活用をご検討おねがします。

16core

SoftLayer HVM仮想

他社仮想ベアメタルE3-1270 4core



性能高

価格高

SoftLayer PV仮想

16core

16core CentOS6.x

Ubuntu14.04 /12.04

CentOS7.x

Debian8.1

Ubuntu15.04（予定)


仮想化から物理サーバーへ移行手段

・開発〜試遊までは、仮想サーバーを利用してコストを抑える、・本番稼働時は、物理サーバーを利用してチューニングコスト削減、仮想サーバー台数増加によるコスト増を抑止・ヒットしたら物理サーバーをコア数の大きなサーバーへ切換え

仮想サーバー#0

フレックス・イメージ

物理サーバー#1 物理サーバー#2

フレックス・イメージ

フレックス・イメージは、RHEL/CentOS, Windows Server Standard に適用可能です

CPU ４コア RAM16GB CPU ４コア RAM 16GB CPU 20コア RAM 64GB

UnixBench: 1499.3

月費用: 27,905円課金単位: １時間価格性能比: 19円/UB

Unixbench: 6090.7

月費用: 39,225円課金単位: 一ヶ月価格性能比：6.5円/UB

Unixbench: 9757.4

月費用: 128,194円課金単位: 一ヶ月価格性能比：13円/UB

同一スペックアップグレード


ベアメタルは経費削減に効果的– ソフトレイヤー料金とオンプレ運用経費を比較

??万円

¥35,531/月

¥3.6万/月

３１万円のサーバーを購入したら減価償却費と電気代等で約２万円の経費が必要

サーバーの法定償却期間は５年であるが、それでは５年後に更改する費用が積立られない。

そこで、２年で全額償却して残り期間で買換え費を積立るため加速償却の考え方を用いて比較

同スペック相当品の運営経費

¥２万 ¥？万

ベアメタル利用料金に含まれるサービス

1Uサーバーのベアメタル料金


ストレージ・アクセスの遅延影響の例

LAN

仮想サーバー iSCSIストレージミリ〜マイクロ秒

TCP/IP通信

物理サーバー

PCIe, SATA

直結

フラッシュメモリドライブナノ秒

仮想サーバーでは、CPUを増やしても、iSCSIのネットワーク遅延が原因となってOLTP性能が改善しないベアメタルでも、iSCSIディスクでは、通信遅延によって、トランザクション性能の改善が難しいケースがある

iSCSI 遅延による限界

SATA直結 SSD性能

PCIe直結 FIO性能

SATA直結磁気ディスク性能


仮想 vs. 物理サーバー

–仮想サーバー• １時間から利用でき、稼動後にコア数、RAM搭載量などを変更できるため、開発環境、テスト環境向き

• ４コア以上の処理性能が必要な場合には、ベアメタルと比較選択することがお勧め、

–物理サーバー• シンプルな物理サーバーを利用した方がコストを節約できる

–仮想化のオーバーヘッド・ロスの無い高効率な環境

–物理サーバーはオーダーして２時間以内に利用開始可能

–月額の物理サーバーは、需要変動に応じコストを制御可能

–仮想化層を削減することで障害要因を減らせる


高負荷に耐えるDBサーバー 1 インターネット環境








スケール可能なRDB構成–データベースの負荷を減らしてスケールするための工夫として、更新用マスターと、参照専用のリードレプリカのMySQLを物理サーバーで構成する

–キーで取得できる項目はMemcachedなどのKVSにキャッシュ

–更新処理だけをマスターDBやアプリ内課金の決済DBへ書き込む

マスターDB

読み専用レプリカ

Web/AP

Web/AP

Web/AP

Web/AP

アプリサーバーキャッシュサーバー

決済サーバー

アプリ内課金決済

LocalLoad Balancer

引当iSCSI

マスターDB

DRBDレプリカ

HeartBeatによるHA構成

読み専用レプリカ


ゲームDBレプリカ読取り専用

ゲームDBマスタ

参照

参照

更新RDBの更新性能が全体のボトルネック

出典ソフトレイヤー活用技術資料デザインパターン6.2 読み込み専用レプリカによる負荷分散 https://gg-web.jp/document/DesignPattern/06002/index.html

課題はストレージ性能＆CPUの処理パワー



物理サーバー+高性能ストレージの効果

MySQLサーバーに１８億件のデータ生成して、サーバー上のバッファプール(48G)の10倍相当のデータを使って、SysbenchのOLTPテストを実施した比較結果

CPUコアを増やしても、ストレージの性能を高くしてもトランザクション性能は簡単に改善しない

ベアメタル（物理サーバー）＋Fusion ioMemory

ベアメタル＋SSD

ベアメタル＋SATA


物理サーバーにチケットから注文してFusion ioMemoryを実装可能

または

2Uサーバー

4Uサーバー

+

Fusion ioMemory SX-300

電源と冷却の関係で1Uサーバーには実装できないので注意

FIO SX-300 3.2TはSSDの10倍、SATAの300倍の性能

東京DCのベアメタルはSanDiskカタログ比105%の書込み性能


MySQLをSysbenchでFusionの性能を再確認

サーバー Xeon 2650 v3 x 2 (10core x 2) 、64GメモリSysbench条件対象データ18億レコード、８スレッド、バッファプール 48G

企業向け、読み出し多用負荷用途向け

ポータルのチケットから注文

iSCSI ストレージ

デフォルトのストレージ

（ポータルから注文）



ソーシャル・アプリやスマホ・ゲームなどの高負荷を想定したテストでも、他を引き離す結果を得ました。


エンデュランス・ストレージ (2015/3 提供開始）– 容量性能比例型のiSCSIブロック・ストレージ、NFSサーバーのサービス

– ３種類の性能タイプと容量単価が設定され、SATA〜SSD並みの性能域までを提供

– 物理サーバーにホットスワップ機構がない課題や、仮想から物理に替えたい場合の対策

プライベートVLAN

仮想サーバー

物理サーバー

エンデュランスストレージ

同一DCのプライベートVLANから接続仮想、物理の両方から接続可能1G,10Gのリンク速度にも対応スナップショット、レプリカも追加可能

ブロックサイズ１６KでIOPS性能を提供


安心の保守ネットワーク 1 インターネット環境






• 5 DBサーバー


安心の保守経路• VPNクライアント、拠点接続インターネットVPNが利用可能• サーバーには、標準でパブリックとプライベートのIPアドレスが付与される• パブリック側のSSHのアクセスを禁止して、VPN接続して安全に保守できる• プライベート・ネットワークのリポジトリから更新や追加が可能

パブリックVLAN プライベートVLAN

パブリックプライマリ・サブネット

プライベートプライマリ・サブネット

プライベートサブネット

企業ネットワーク

共用VPNルーター

VPNルーター利用者機器

管理用PC

サーバーインターネット

VPNクライアント

サービス用プライベートネットワーク

ソフトウェアリポジトリ

アップデート、パッケージ追加

SSHSSH

SSH

出典ソフトレイヤー活用技術資料デザインパターン8.9 管理用ネットワークの配置 https://gg-web.jp/document/DesignPattern/08009/index.html



オブジェクト・ストレージ 1 インターネット環境






• 5 DBサーバー


ユーザーの物理的に近い位置へデータ配置

オブジェクトストレージ

Web/AP

仮想サーバー

CDN

CDN

CDNにマッピングされたURLへアクセスして、近くのキャッシュからコンテンツを受け取る mpg

mpg

mpgオリジン・サーバー

キャッシュされたコンテンツ

キャッシュされたコンテンツ

大阪

東京

ムービー、音源、高精細画像、プログラムコードの配信など、一定期間にアクセス負荷が集中するものは、

オブジェクト・ストレージ＋CDNが利用可能

出典ソフトレイヤー活用技術資料デザインパターン

4.1 可用性の高いオブジェクト・ストレージの活用 https://gg-web.jp/document/DesignPattern/04001/index.html

ソフトレイヤー活用技術資料コンフィグレーションガイド5.1 動画や画像などの大容量ファイルを配信するには？ https://gg-web.jp/document/ConfigGuide/05001/index.html




グルーバル展開するCDN利用可能– SoftLayerのカスタマー・ポータルからクリックするだけで、CDNのサービスを利用可能

– 日本だけではなく、グローバルに展開するCDNのため、強力に海外展開をバックアップします

Dallas

Huston

Atlanta

Miami

Mexico City

Los Angeles

San Jose

Seattle

Denver

Chicago

Toronto

Washington DC

New york

Tokyo

Hong Kong

Singapore

Sydney

FrankfurtAmsterdam

London

Paris Melbourne

Montreal

24地域ソフトレイヤーDC/PoP

IX

IXIX

IX

IX

IX

IX

IX

IX

IX

IXIX

IX

IX

IX

IX

IX

IX

各地域のInternet eXchange

総合計Peer接続940Gbps

IXに繋がるISP

ユーザー

DC: Data Center, PoP: Point of Presence （ネットワーク拠点）Peer接続(Peering)：経路情報を交換しトラフィックを交換しあうこと。ソフトレイヤーは、グローバルなISPとして振る舞い、ソフトレイヤーのアドレス範囲に対しては、PoPから自社ネットワークを通過させるポリシーとなっている

CDNと個別契約

無しに利用可能


大容量データのアーカイブ化(Cloudfuse を使ってObject Storageへ保管)

オブジェクトストレージ

アーカイブログ・ファイル

ローテーション

デリート

Cloudfuseで、Object StorageをLinuxのサーバーからマウント出来る。膨大なログのローテーション後の保管先をオブジェクト・ストレージにすることで、ログ保管のためのストレージ費用や、バックアップ運用の負荷を軽減することができる。

仮想サーバー

SAN／Localストレージ

アクティブログ

Cloudfuseでコンテナをマウント

コピー

出典ソフトレイヤー活用技術資料デザインパターン8.6 大容量データのアーカイブ化 https://gg-web.jp/document/DesignPattern/08006/index.html



まとめ– SoftLayer東京データセンター 2014年12月22日オープン

• 日本語サポート開始

– すぐに使えるグローバル・ネットワーク

– ロードバランサーは５種、ファイアウォールは６種から選択可能

– 高負荷に耐えるアプリサーバー対策• プライベート仮想サーバー、物理サーバー

• UDPパケットロスの少ないサーバー・ネットワーク

– 高負荷に耐えるＤＢサーバー構成

• 物理サーバー＋Fusion ioMemoryがチケットから注文可能

• 高性能エンタープライズ向けSSD、RAID化利用は要注意

• SSDの性能に匹敵するIOPSのエンデュランス・ストレージ

– 安心の保守ネットワーク

• クライアントソフト＆拠点接続

– 可用性の高いオブジェクトストレージ＆ＣＤＮ


最近の日本国内ユーザー事例


お客様がSoftLayerに決めた理由

海外向けオンラインゲームの配信に

素早く対応できるから

・N/Wの知識不要・サーバー配置で即使える・国際通信料無し・各地域のIXとPeering

六本木のゲーム会社



オンプレミスのサーバー構築の

ノウハウを生かせるから

オンプレのノウハウが生かせる・VIPが使え・マルチキャストも使える

ベアメタルも３０分〜２時間で利用可能！

恵比寿のゲーム会社



6

4

仮想サーバー数の増加を抑制して適正コストに

ベアメタルが使えるソフトレイヤーは、他社より高い競争力になるから秋葉原のゲーム会社

WEB#1 WEB#2 BATCH DB

NetScaler VPX(200Mbps)

MAILADMIN

internet

Private VLAN

Public VLAN

システム：アパレル系ECサイト特徴： LINEキャンペーン後、負荷が20Mbps->220Mbpsへ跳ねる

SSLアクセラレータL7ラウンドロビンRNAT/SNAT

オンプレミスのロードバランサーに全く引けを取らない性能！

オンプレミスに匹敵する柔軟なシステム構成をクラウドで実現できます

導入事例

“複数のクラウドサービスを比較検討した結果、SoftLayer を仮想マシンの性能、DCネットワークの品質、価格とパフォーマンスの透明性の点で高く評価しました。”

—熊切智一, 技術本部・ソフトグループ

ビジネス・チャレンジ:自動車の運行データを自動的に記録するセイフティレコーダ ®（SR）という車載機器のデータをクラウドで収集して、安全運転に役立つIoT分析サービスを提供する際に、自社のソフトウェアを移植、API連携がしやすく、スケーラビリティーを満たすクラウド環境が必要となりました。

ソリューション:複数のクラウドサービスを比較検討した結果、豊富なAPI、仮想

マシンであってもスペックに応じたパフォーマンスがでること、拠点間通信で遅延が感じられないこと、価格と性能に関する情報の透明性を評価してSoftLayerを選択しました。サービスの提供基盤の運用管理を自社人員で実施

するのは困難であったため、クリエーションライン（株）の運用管理サービス“MSP”を利用しています。

ソリューション・コンポーネントサービス• SoftLayer®

ビジネス・パートナー• Creationline, Inc.

導入事例株式会社データ･テック – “セイフティレコーダ ®”のクラウドベース IoTサービスを SoftLayer で実現

豊富なAPI が利用できる自社の開発ソフトウェアを移植、連携しやすい

高速なDC間ネットワーク拠点間通信でほとんど遅延を感じない

価格と性能の透明性マシンの性能と価格の透明性によりビジネス計画が立てやすい


マーベラス、IBMクラウド「SoftLayer」の採用

http://pdf.irpocket.com/C7844/ZSDY/deVb/KHHT.pdf


ソフトレイヤーを詳しく知るには


一ヶ月無料お試し利用– URL https://www.softlayer.com/promo/freeCloud/

– クレジットカードの番号を登録して、以下のスペックで一ヶ月無料で利用できます。

https://www.softlayer.com/promo/freeCloud/


データセンター開設記念キャンペーン– オーダー時にプロモ・コード入力で一ヶ月５００ドル分が無料に！

– URL http://www.softlayer.com/info/milan-hosting

http://www.softlayer.com/info/milan-hosting


SoftLayer & Bluemix SummitSoftLayer社のCTO Mark Jonesの基調講演申し込みはコチラから http://softlayer.connpass.com/event/17037/

http://softlayer.connpass.com/event/17037/


インターネット上の日本語公開資料

シノビレイヤー http://qiita.com/tags/ShinobiLayer

裏事情を良く知る中の人が書いた門外不出!？の情報があります。 SoftLayer

APIを使う前に必読の資料などもあります。

柔らか層本（PDF版） http://ibm.co/1sZfRAO

提案書や研修資料の抜粋で構成されていて、サービス仕様を手っ取り早く把握できます。

ソフトレイヤーの活用ガイドデザイン・パターン： http://gg-web.jp/document/DesignPattern/

一般のクラウドと同じことを、SoftLayerを使ってどの様に実現できるかの観点で、課題を解決するための設計レベルの指南を得ることができるものです。マネージャー、コンサルタント、アーキテクトの方々が、読みやすく理解できる様に簡潔な文と図で解説する形式です。

コンフィグレーション・ガイド： http://gg-web.jp/document/ConfigGuide/

これまでSoftLayerを使ってシステムを構築してきたノウハウをベースに、実践的な逆引きの手引書になっています。エンジニアが実現したい事を出発点にして、どの様に実現するのかをガイドしたもので、SoftLayerの仮想サーバー、ベアメタルサーバーの基本的利用方法から、アプライアンス等FortiGate, NetScaler, QuantaStor, VMware, Vyatta, EVaultなどを網羅して、実現する方法を理解しやすく案内しています。

ユースケース： http://gg-web.jp/document/UseCase/

ビジネスの発展によって変化していく課題を、クラウドの特性を利用して、どの様に解決できるのかといったシナリオベースの展開で、上記のコンフィグレーション・ガイドやデザイン・パターンを参照しながら、対応していくストーリとなっています。

日本情報通信様、クリエーションライン様などの会社からも、多くの情報が発信されています。

http://qiita.com/tags/ShinobiLayer

http://ibm.co/1sZfRAO

http://gg-web.jp/document/DesignPattern/

http://gg-web.jp/document/ConfigGuide/

http://gg-web.jp/document/UseCase/

ゲーム業界のお客様向けに対話型説明会やハンズオンも実施しています

お問い合わせは[email protected]

Engineering

Cedec2015 ゲームサーバー基盤の新しい選択肢