シ ル時代にソーシャル時代にサ バ運用のことサーバ運用のこと～クラウド・コンピューティン

株式会社リンク ディベロッパ サポ株式会社リンク ディベロッパーサポ前佛雅人 ( @zembutsu )Nov 12, 2011 at明星和楽

We Should Know About InWe Should Know About In

に知 ておくべきに知っておくべきととングと専用サーバの使い分け～

ポ ト部ポート部

n This SocialNetwork Eran This SocialNetwork Era

エンジニアでンジ アで僕らが知って僕らが知ってたった１つの大切な事大切な事。

であるであるておくべきておくべきの

この一言に尽きまこの一言に尽きま

An engineAn enginemaking peomaking peo

ますます。

eer’s job iseer s job is ople happy!ople happy!

そのために必そのために必一緒に考えま一緒に考えま

必要な事を必要な事をましょう^^ましょう^^

AboutmeAbout me

• @zembutsu 前佛雅

活動 ク ウド界隈 出–活動：クラウド界隈に出• Open Cloud Campus, JEUG(E

• JAWS‐UG、 おぷ☆すた,  くら

• 本業は at+link 専用サーバサh // li k d j / H S(Hhttp://www.at‐link.ad.jp/ HaaS(Hu

–執筆：

• G‐CLOUD Magazine                2010年8月6日 発売

章 章1章～3章 AWS入門記

人

出没

クラウドは人生(ｷﾘｯ

出没Eucalyptus ユーザ会)

ら☆すた等で活動中

サービスの運用サポートS i ) d F i IO (僕と契約man as a Service ) and Fusion‐IO (僕と契約ry

      G‐CLOUD Magazine 2011 Summer2011年6月29日 発売

事 章記事 5章 RightScale

ソ シャル時代こソーシャル時代こ３つのトピックス３つのトピックス

• 1st The SocialNet

• 2nd What is the Cloud C oudd at+link App• 3rd at+link App

harchitearchite

この先生きのこるこの先生きのこるスス

twork Era

Computing?Co put g?

pliPlatformpliPlatform

ectureecture

1 t T1st TThe SocialNThe SocialN

ソーシャルネットワ

T iTopicNetwork EraNetwork Era

ークな今日この頃

今って どういう今って、どういう• 情報サービスの変遷

か ビ–かつてのWebサービス

–今は”ソーシャルネット今は ソ シャルネット

• いつでもどこでも、情

う時代なの？う時代なの？

は イ が イスは”ECサイト”がメイン

ワーク”連動型サービスへワ ク 連動型サ ビス

情報にアクセス出来る

SNSSNS

• Social Networking Servvice

SNSmembershiSNS membershi3000

2000

2500

1500

数(単

位：万

人）

1000

人数

500

0

ipip

mixi

mobage

GREE

facebook

ソーシャルアプソーシャルアプ

• SNS と連携して提供され

会員情報と 外部– SNSの会員情報と、外部

– SNS プラットフォームがSNS プラットフォ ムが

• 会員数2,000万人以上

– ソーシャルグラフ・口コ

リリ

れるサービス

部 ビ を連携部のサービスを連携

がオープン化の流れ (2010)がオ プン化の流れ (2010)

上

ミによる利用者増加

ソーシャルアプリソーシャルアプリ

• 一般的なウェブサービ

規模が見積–システムの規模が見積

–状況に応じて、サーバ状況に応じて、サ バ

• SNS独特の課題が発生

向けサーバ構成向けサーバ構成

ビスとは違う点

積もり く積もりにくい

リソースの増減が必要リソ スの増減が必要

生

考慮すべき点考慮すべき点

User

ソーシャルサービス用

• 5秒ルール／ジョイン停

• キャッシュサーバの利

• 従来のサ バ運用のノ• 従来のサーバ運用のノ

SNS PLATFORM

profileAPI

ルアプリサーバ

情報

停止

利用による高速応答

ノウハウが通用しないノウハウが通用しない

d2nd TWhat is the ClouWhat is the Clou

道具としてのコ

iTopicud Computing?ud Computing?

ンピューティング

クラウドいいよねクラウドいいよね

• ビジネスモデルの変化

デ• 技術モデルの変化

• 今は ソ シャル化をユ• 今は、ソーシャル化をユ(Interface)の変化

タ トには最• スモールスタートには最自分でリソースを思い自分でリソ スを思い

いいんじゃないかな。

ねね。

化

ユ ザの端末ユーザの端末

最適だし最適だし、い通りに管理するにはい通りに管理するには

クラウドコンピュクラウドコンピュ

• 情報システム「サービス

ドウ と–ハードウェアとしてのサ

–ネットを経由し情報処理ネットを経由し情報処理サーバを使うという風潮

• このあたりの経緯は、このあたりの経緯は、「クラウド化する世界」原題 “Th Bi S it h”原題 “The Big Switch”

ューティングューティング

ス化」の流れ

バを使 から 変化サーバを使用からの変化

理サービスとして、理サ ビスとして、潮

ニコラス・Ｇ・カー著ラス Ｇ カ 著が参考になります。

3rd T3 Tat+link Apppp

architeアプリプラット

すんません ぶすんません、ぶっ

TopicTopicliPlatform’sectureフォームのご紹介ち け宣伝( ´Д`)っちゃけ宣伝(; Д`)

エ ー テ ィ ー リ

年 物理1年 物理1

ン ク

0 000台0,000台

サービス開始当初の開始当初の弊社サイト

お客様とお客様とお客様と苦楽を共に歩んで苦楽を共に歩んで参りました15年参 年

地道に地道に裏方に徹してお裏方に徹してお

とととでで年。年。

おりますおります。

アプリプラアプリプラッ

お客様お客様のお客様生まれたサー生まれたサ

トフ ムットフォーム

ご要望ご要望で要望ービスです。ビスです。

こんな事情がありこんな事情があり• ソーシャルゲーム向

2年前にお客様とインフ– 2年前にお客様とインフ

– VirtualIron の仮想化シ

• FusionIOとの出会い当時はHP社製のブレー–当時はHP社製のブレー

– HP StorageWorks IO アクセ

ソ シ ルアプリ向• ソーシャルアプリ向• PCI-Express版の発売PCI Express版の発売– 1U サーバ搭載可能に

りました…りました…けサイトの運用経験

フラ構築（レベニ シ ア）フラ構築（レベニューシェア）

システムと物理サーバ

いードサーバ BL460cードサーバ BL460cセラレータ 高速半導体ストレージ

け環境のリクエストけ環境のリクエスト売売

なり、汎用サービス化

アプリプラットフアプリプラットフ• 1.ソーシャルアプリ特

機会損失を避 るため– “機会損失を避けるため

–お客様はサービスの運お客様はサ ビスの運

2 使 た分だけ支払う• 2.使った分だけ支払う–初期費用0円初期費用0円

–利用拘束無し

–使いたいときに、必要な

フォームの概念フォームの概念特化型インフラめ 仕組 を満載め”の仕組みを満載

運用に注力できます運用に注力できます

う課金モデルう課金モデル

なだけ、すぐに使える。

機会損失を避ける機会損失を避けるるインフラるインフラ

こんな場合にオスこんな場合にオス• どれだけアプリがヒ

物 バ 追加 解–物理サーバの追加・解

–データベースの運用をデ タ スの運用を

– 1Gbps共用回線（帯域の

短期キ ンペ ンで大• 短期キャンペーンで大システム導入コストを削–システム導入コストを削

–利用拘束がないので、

ススメススメットするか分からない

解約がすぐ きる解約がすぐにできる

をioDriveで楽にしたいをioDriveで楽にしたい

の課金はありません）

大規模サイトを使いたい大規模サイトを使いたい削減（初期費用０円）削減（初期費用０円）

使い終わったら解約可能

ioDrive(FusionIioDrive(FusionIO)マジ速い＾＾O)マジ速い

ioDrive(FusionIioDrive(FusionIO)マジ速い＾＾O)マジ速い

ioDrive(FusionIioDrive(FusionI• NAND型フラッシュデ

米F i IO社の製品–米Fusion‐IO社の製品

–高速なI/O性能と低レイ

• 高い信頼性独自特許技術による高–独自特許技術による高

–平均故障間隔 200万時

確かな実績• 確かな実績–米SNS大手のfacebook–米SNS大手のfacebook–国内でもサイバーエー

O)とは？O)とは？デバイス

イテンシ

高信頼性の実現高信頼性の実現

時間

kをはじめとする多くの事例kをはじめとする多くの事例

ージェント社等

Key Value StoreKey-Value Store• メモリキャッシュ– Memcached 互換プロトコル換– 高速なレスポンス– 冗長化構成のため、サービ

• 画像ストレージ– REST API を使用して制御を使用し 制御– データ保全レベル高– 冗長化HTTPサーバ機能

• ログ保存ストレージ– 提供予定

• 国産Key-Value Store “o– 神戸デジタルラボ様と共同神戸デジタルラボ様 共同

eオプションe オプション

ル

ビス継続レベル高

御可能御可能

kuyama” をベースに開発同開発同開発

Key Value StoreKey-Value Store• メモリキャッシュ– Memcached 互換プロトコル換– 高速なレスポンス– 冗長化構成のため、サービ

• 画像ストレージ– REST API を使用して制御を使用し 制御– データ保全レベル高– 冗長化HTTPサーバ機能

• ログ保存ストレージ– 提供予定

• 国産Key-Value Store “o– 神戸デジタルラボ様と共同神戸デジタルラボ様 共同

eオプションe オプション

ル

ビス継続レベル高

御可能御可能

kuyama” をベースに開発同開発同開発

アプリプラットフアプリプラットフ

• お問い合わせフォーサ バの追加 解約• サーバの追加・解約

• 契約対象サーバ一覧の• 契約対象サ バ 覧の• KVSリソースモニタ• オンラインヘルプ

ォーム管理画面ォーム管理画面

ム・障害連絡申請申請の表示の表示

アプリプラットフアプリプラットフ

• お問い合わせフォーサ バの追加 解約• サーバの追加・解約

• 契約対象サーバ一覧の• 契約対象サ バ 覧の• KVSリソースモニタ• オンラインヘルプ

ォーム管理画面ォーム管理画面

ム・障害連絡申請申請の表示の表示

アプリプラットフアプリプラットフォーム管理画面ォーム管理画面

アプリプラットフアプリプラットフォーム管理画面ォーム管理画面

アプリプラットフアプリプラットフォーム管理画面ォーム管理画面

充実のサポート体充実のサポート体• 24時間365日対応

祝 夜間もガ バ–祝日・夜間もガンバリマ

• 障害原因の切り分け、障害原因の切り分け、–可能な範囲内で調査・

• KVS・MySQLチューまずは ご相談ください–まずは、ご相談ください

体制体制

マス

、調査、調査対応

ニングいい

こんな構成こんな構成

使った分だけ支払使った分だけ支払• 初期費用0円のパッケ

本当 れだ 全–本当にこれだけで、全

• LB, FW, VPN, サーバ利用, , ,

–帯域利用料もパッケー

追加物理サ バを1日• 追加物理サーバを1日–オンラインで追加・解約オンラインで追加 解約

• Key-Value Store も使– メモリキャッシュ・画像ス

払う課金モデル払う課金モデルケージ

が使 ますてが使えます。

用料, 回線, 死活監視, サポート, , ,

ージング(1Gbps共用)

日1 050円で利用可能日1,050円で利用可能約の申請が可能約の申請が可能

使った分だけストレージも使用量契約

料金料金

仕様・スペック仕様・スペック

事例：ザイザック事例：ザイザック• BRAVE LAGOON

会員数10万人(2011年9)‐ 会員数10万人(2011年9)‐ サイザックス株式会社http://zzyzx.co.jp/

クス株式会社様クス株式会社様

事例：ザイザック事例：ザイザック• BRAVE LAGOON

会員数10万人(2011年9)‐ 会員数10万人(2011年9)‐ サイザックス株式会社http://zzyzx.co.jp/

クス株式会社様秒数千クエリ程度ならクス株式会社様

事例：ザイザック事例：ザイザック• BRAVE LAGOON

会員数10万人(2011年9)‐ 会員数10万人(2011年9)‐ サイザックス株式会社http://zzyzx.co.jp/

クス株式会社様Io wait 殆ど無しクス株式会社様

まとめまとめ• at+linkアプリプラッ

ソ シャルアプリ特化型– ソーシャルアプリ特化型

–初期費用無償・オンデ

• ioDriveでディスクI/レイテンシが少ないの–レイテンシが少ないの

• 分散KVSとしてokuy– memcached 互換のメモ

–画像ストレージ機能–画像ストレ ジ機能

–ログ保存機能を開発中「Fusion‐IOもKVSもあるんだよ」

ットフォーム型インフラ基盤型インフラ基盤

デマンドでサーバ利用

/Oの問題を解決で ボトルネックで、ボトルネック

yamaを採用モリキャッシュ機能

中

詳しい資料はこち詳しい資料はこちat+linkアプリプラッhtt // t li k dhttp://www.at-link.ad

ちらちらトフォームd j / li l tf /d.jp/appli_platform/

今後の展開今後の展開• クラウド・コンピュ

仮想化システム基盤と–仮想化システム基盤と

–数分間で物理サーバを

–より柔軟かつ拡張性の

• ログ解析ログ解析–簡単に、アクセスログを

現場 運 負担を減• 現場の運用負担を減–サーバ管理台数が増え–サ バ管理台数が増え

–いろいろ実験中。近い

ーティングとの連携とシ ムレスな接続とシームレスな接続

を「今すぐ」使える環境

の高いインフラへ

を解析できる環境

らすため 仕組らすための仕組みえても安心えても安心

うちに公開できるかも。

A・P・I !! A・A・P・I !! A・• APIを開発中

物 バ追加– “物理”サーバ追加API• コマンド１つでサーバ追

– “物理"サーバ解約API

ロ ドバランサ バランシ–ロードバランサ バランシ

– コールセンターコールバ

• 障害発生時に自動的に

• 世界初！！！（に向けて• 世界初！！！（に向けて

P・I !!P・I !!

追加

シング変更APIシング変更API

バックAPIに担当者から電話が！！

てマジ挑戦中）てマジ挑戦中）

おまけ ioDrive Bおまけ ioDrive B• ioDriveの性能を測っ

本当 速 かな か–本当に速いのかな、か

BenchmarkingBenchmarkingってみた。かなかな？

I/O性能①シーケI/O性能①シーケ

600

700

500

sec]

300

400

1ルー

プッ

ト[M

B/

100

200

53.69 76.69 157.61 1ス

ル

0

100 53.69 

ケンシャルReadケンシャルRead

505 69

653.10 

505.69 

84 56199 6584.56 199.65 

I/O性能②シーケI/O性能②シーケ1,400 

1,000 

1,200 

]

800 

プッ

ト[M

B/sec]

600 スル

ープ

400 

0

200 

0 4k 16k 64k 256k 102

ファイルサイズ

ケンシャルwriteケンシャルwrite

IDE (5,400rpm)

SATA (7 200rpm)SATA (7,200rpm)

SAS (15,000rpm)

SAS RAID1

ioDrive(SLC)

ioDrive(MLC)

24k 4096k 16384k 65536k

MySQL OLTP性能MySQL OLTP性能

250,000 

【DBT‐2】 MySQL ト

200,000 

150,000 

クシ

ョン

数

100,000 

トラ

ンザ

ク

50,000 

0 1 2 4 8 16

同時接続

能 (DBT 2)能 (DBT-2)トランザクション数

ioDrive (SLC)

ioDrive (MLC)

intel SSD

SAS

SATA

IDE

32 64 128 256

数

MySQL OLTP性能MySQL OLTP性能

16

【DBT‐2】 MySQL

12

14

8

10

ンス

[秒]

6

8

レス

ポン

2

4

01 2 4 8 16

同時接続数

能 (DBT 2)能 (DBT-2)L 平均応答時間

ioDrive (SLC)

ioDrive (MLC)

intel SSD

SAS

32 64 128 256

ioDrive特性のまioDrive 特性のま

• シーケンシャル Read 性

• シーケンシャル Write 

• ランダム I/O 性能が高• ランダム I/O 性能が高

• MySQLのトランザクショy Q ランザクシ増えても性能劣化しな

↓↓1台のサーバで処理で複数のサーバにシステ

まとめまとめ

性能は高い

性能は SAS 並

高い高い

ョン数(同時処理数）がン数(同時処 数）ない

できる能力が高いのでテムを分散しなくてよい

Q&A!Q&A!

さて、さて、改めて改めて、大切なこと。。

本当に、本当に、これだけはこれだけは忘れないでくください。

An engineAn enginemaking peomaking peo

eer’s job iseer s job is ople happy!ople happy!

そのための環境作そのための環境作

at+link はat+link は

を惜しみませんを惜しみません

作り作り。

はは

んん

最後

とあるとあるatとあるスタートスタート

後!

li kt+linkのトアップトアップ

STARTUP CHALLSTARTUP CHALL

専用サ バ3台専用サーバ3台100Mbps回線他100Mbps回線他

無料無料

LENGE!LENGE!

料提供料提供

明星和楽限定明星和楽限定• 物理サーバ3台(最大)

CPU C 2 1 66GH– CPU Core2 1.66GHz –Memory 1GB– HDD 320GB ( もしかした

–ローカル接続用L2スイロ カル接続用L2スイ

• 充実の標準オプショ– Firewall / LoadBalancerport SSH and HTTP )  / 24時間365日の問い合

) 1年間無償利用可能

たら SSD かも … )イッチも利用可能イッチも利用可能

ンr / サーバ死活監視(ICMP, Red Hat Enterprise Linux / 

合わせ対応

t li kはat+linkはマ ジ

は全力支援は全力支援

お問 合お問い合お問い合http://www athttp://www.ator弊社ブ弊社ブースにおこ

合わせ先合わせ先合わせ先t link ad jp/t-link.ad.jp/

すこしやす

本当に最後本当に最後しつこいようしつこいよううですがうですが…

An engineAn enginemakingmymaking my

tto

eer’s job iseer s job is yself happyyself happy,

!oo !

Thank you for liThank you for li

• 最後までおつきあ がとう ざありがとうござ

• ContactsContacts– at+link 専用サーバ・サービス アプリプ

http://www.at‐link.ad.jp/appli_platfor

– 株式会社リンク ディベロッパーサポー前佛 雅人 (Masahito Zembutsu)• Twitter: @zembutsu@

• E‐mail: zembutsu@link.co.jp

• Tel: 03‐5785‐0555

istening!istening!

あいいただき、ま たいました!!

プラットフォームrm/

ート部