様々なデータセンター Sugipooh

様々なデータセンター 1

様々なデータセンター様々なデータセンター様々なデータセンター様々なデータセンター

LXスタイル杉田正

sugipooh

2

はじめにはじめにはじめにはじめに

GoogleGoogleGoogleGoogle検索を１００回行うと、サーバで消費される電力は、いくらなんでし検索を１００回行うと、サーバで消費される電力は、いくらなんでし検索を１００回行うと、サーバで消費される電力は、いくらなんでし検索を１００回行うと、サーバで消費される電力は、いくらなんでし

ょうか？ょうか？ょうか？ょうか？

GoogleGoogleGoogleGoogle検索検索検索検索100100100100件は、件は、件は、件は、

GoogleGoogleGoogleGoogleは仮想サーバ３００万台、物理サーバ９０万台と言われています。は仮想サーバ３００万台、物理サーバ９０万台と言われています。は仮想サーバ３００万台、物理サーバ９０万台と言われています。は仮想サーバ３００万台、物理サーバ９０万台と言われています。

１ヵ月の電気代１ヵ月の電気代１ヵ月の電気代１ヵ月の電気代は？は？は？は？


3

はじめにはじめにはじめにはじめに

GoogleGoogleGoogleGoogle検索を１００回行うと、サーバで消費される電力は、いくらなんでし検索を１００回行うと、サーバで消費される電力は、いくらなんでし検索を１００回行うと、サーバで消費される電力は、いくらなんでし検索を１００回行うと、サーバで消費される電力は、いくらなんでし

ょうか？ょうか？ょうか？ょうか？

GoogleGoogleGoogleGoogle検索検索検索検索100100100100件は、件は、件は、件は、60606060ワットワットワットワットの電球をの電球をの電球をの電球を28282828分間点灯分間点灯分間点灯分間点灯に相当に相当に相当に相当？？？？

GoogleGoogleGoogleGoogleは仮想サーバ３００万台、物理サーバ９０万台と言われています。は仮想サーバ３００万台、物理サーバ９０万台と言われています。は仮想サーバ３００万台、物理サーバ９０万台と言われています。は仮想サーバ３００万台、物理サーバ９０万台と言われています。

１ヵ月の電気代１ヵ月の電気代１ヵ月の電気代１ヵ月の電気代は？は？は？は？

１台１台１台１台200W200W200W200Wとしてとしてとしてとして 0.2KVA0.2KVA0.2KVA0.2KVA××××24h24h24h24h××××30Day30Day30Day30Day××××22222222円円円円====約約約約3,0003,0003,0003,000円円円円

3,0003,0003,0003,000円円円円××××90909090万台万台万台万台= = = = ２７億円２７億円２７億円２７億円（日本基準：現実には（日本基準：現実には（日本基準：現実には（日本基準：現実には10101010億円以下と予測）億円以下と予測）億円以下と予測）億円以下と予測）

クラウドサービス利用は、電気代を意識しないとクラウドサービス利用は、電気代を意識しないとクラウドサービス利用は、電気代を意識しないとクラウドサービス利用は、電気代を意識しないといけません。いけません。いけません。いけません。

現状現状現状現状会社名会社名会社名会社名所有数所有数所有数所有数仮想サーバー合計仮想サーバー合計仮想サーバー合計仮想サーバー合計全世界全世界全世界全世界DCDCDCDC数数数数

マイクロソフトマイクロソフトマイクロソフトマイクロソフト 100100100100万台万台万台万台不明不明不明不明 20202020～～～～100100100100

GoogleGoogleGoogleGoogle 90909090万台万台万台万台 300300300300万台万台万台万台 10101010

FacebookFacebookFacebookFacebook 70707070万台万台万台万台不明不明不明不明 5555

AmazonAmazonAmazonAmazon 50505050万台万台万台万台不明不明不明不明 20202020

いずれいずれいずれいずれも杉田推測も杉田推測も杉田推測も杉田推測


データーセンターには、３つのタイプがある。

３．インターネットサービス用サーバーが大量に

設置されるタイプ

Googleのコンテナや海外Yahooの鶏舎型

１．通信機用に設計された安定度の高いタイプ

日本にある、ほとんどのデーターセンター

２．スーパーコンピューターを冷却・収納するタイプ

アースシュミレーターやTUBAME2などを

収容するデーターセンター





第1次データセンター建設ラッシュ

金融関係において、汎用機を設置する場所として、昭和28年ごろよりデータ

センターは建設されている。JQA（日本品質保証機構）におけるデータセンター

安全対策適合証明により建設場所は非公開である。現在はFISC（金融情報シ

ステムセンター）が発行する「金融機関等コンピュータシステムの安全対策基準」

が利用され建設及び運用されている。データセンター間は専用線で接続。

JDCC（日本データセンター協会：設立は2008年）が規定する「データセンター

ファシリティ基準」でのTieaは設備冗長化を示すが世界的に通信事業者が作る

データセンターは全てが冗長化されたTier3レベルなデータセンターが多い。

NTTグループでは、電話交換機デジタル化小型化により、空いたスペースに

データセンターを構築して「場所貸し」（コロケーションサービス）が1990年代より

行われている。

IIJから始まる民間インターネット接続（ISP）を利用して、Web、Mailサーバーなどを

置きサーバーを貸し出すホスティングサービスも90年後半から始まった。

当時のISDN、ADSLでは上り回線スピードが遅く、サーバーは大手町に太い回線を

持つ場所＝データセンターに設置する必要があった。







1990199019901990年竣工年竣工年竣工年竣工

IBMIBMIBMIBM「東西「東西「東西「東西2222大電算センター」構想の一環として建設された大電算センター」構想の一環として建設された大電算センター」構想の一環として建設された大電算センター」構想の一環として建設された

データセンター。データセンター。データセンター。データセンター。建設当時、データセンターとしては国内建設当時、データセンターとしては国内建設当時、データセンターとしては国内建設当時、データセンターとしては国内

最大規模。最大規模。最大規模。最大規模。

IBMIBMIBMIBM社同規模社同規模社同規模社同規模DCDCDCDCが東京にあるが公開されていない。が東京にあるが公開されていない。が東京にあるが公開されていない。が東京にあるが公開されていない。

（幕張に（幕張に（幕張に（幕張に2007200720072007ごろ新ごろ新ごろ新ごろ新DCDCDCDCが追加されている）が追加されている）が追加されている）が追加されている）

90909090年竣工だが、既に外気導入システムが導入されている。年竣工だが、既に外気導入システムが導入されている。年竣工だが、既に外気導入システムが導入されている。年竣工だが、既に外気導入システムが導入されている。

汎用機設置場所としてのデータセンター。NTTが提供する「専用線」で

つながっていた

NTT大手町

8




東京で大手町以外に最初に出来たデータセンター

大手町ー池袋間に回線を引き、1997年商用のインターネットエクスチェンジ(IX)サービス開始。（電力系）

同年大手町にKDDI系の日本インターネットエクスチェンジ(JPIX)も始まる。（メーカー系）

新宿副都心が整備され、大手町ー新宿間も回線が引か

れ、新宿にもデータセンターが建設されてゆく。

新宿にデータセンターを持つ旧丸紅ソリューションは東京

ー大阪間も接続した。

出所：https://www.marubeni-access.com/ja/corporate/business_field/

10



図面出所：IT Prohttp://itpro.nikkeibp.co.jp/article/Keyword/20081125/319829/?SS=imgview&FD=551175525&ST=network

光ケーブル接続では、ケーブル利用料＋トランジット料が必要。トランジット料が

高価なため事業者同士でデータを交換するピアリングもある。

NTTコミュニケーションズ東京大手町データセンターが日本の中心。

ピアリング

トランジット料が高価

様々なデータセンター




100KVA以上のデータセンターは全国400カ所程度（推定）。そのうち40%がNTTグループ。東京には、約300カ所集中している。NTT局舎を改造したデータセンターは日本各地にある。NTT以外のデータセンターでは、沖縄、博多、北九州、松江、高松、岡山、大阪、京都、小浜、金沢、富山、岐阜、名古屋、静岡、新横浜、三鷹、成田、埼玉、館

林、新白河、仙台、札幌、石狩などがある。

東京の主たるデータセンター事業者

出所：株式会社スカイアーチネットワークス

引用先：Tomocha WikiPlus

IT事業者の東京集中、回線接続料の安さからデータセンターは東京に集中している。

12



KVHテレコムブロードバンドタワー

IDCフロンティア

ビットアイル

代表的なデータセンター大手事業者

13

大阪データセンター大手事業者京阪神不動産



関西のデータセンターは大阪以外に

京都（京都リサーチパークが有名）、

神戸、明石、三田、岡山、などにも点在

する。


3年前接続状況

出所：インプレス

プロ回線は100Mbps1ヶ月の使用料が30万円～70万円で有るため回線を安価に接続

できる場所にデータセンターが有る。


3年前接続状況

出所：インプレス

JPNAP

さくらインターネット

JPIX

OCNNTTコミュニケーションズ

IIJ

EQUINIX

海外の安定度の高いデータセンター

Oracle data center in Austin, Texas.

The exterior of Intel's IDC 9 in Haifa, Israel


Microsoft data centerin Quincy, Washington


海外の安定度の高いデータセンター

１．金融・通信用に設計された安定度の高いタイプ

– 上海市の浦東地区にデータセンター「TELEHOUSE上海」• 「日系企業はもちろん中国企業の中にも、価格だけではなく設備や運用管理体制などを重視す「日系企業はもちろん中国企業の中にも、価格だけではなく設備や運用管理体制などを重視す「日系企業はもちろん中国企業の中にも、価格だけではなく設備や運用管理体制などを重視す「日系企業はもちろん中国企業の中にも、価格だけではなく設備や運用管理体制などを重視す

るところが増えている」るところが増えている」るところが増えている」るところが増えている」

– 天津天津天津天津TISTISTISTIS海泰海泰海泰海泰

• 日立製作所の運用管理ソフト「日立製作所の運用管理ソフト「日立製作所の運用管理ソフト「日立製作所の運用管理ソフト「JP1JP1JP1JP1」を使い、サーバーやネットワーク機器などを監視する」を使い、サーバーやネットワーク機器などを監視する」を使い、サーバーやネットワーク機器などを監視する」を使い、サーバーやネットワーク機器などを監視する

• 「データセンターの評価基準に当てはめると稼働率「データセンターの評価基準に当てはめると稼働率「データセンターの評価基準に当てはめると稼働率「データセンターの評価基準に当てはめると稼働率99.9899.9899.9899.98％を上回る％を上回る％を上回る％を上回る『『『『Tier3Tier3Tier3Tier3』』』』をクリアしたものだをクリアしたものだをクリアしたものだをクリアしたものだ

けを顧客に提供するけを顧客に提供するけを顧客に提供するけを顧客に提供する (NTT(NTT(NTT(NTTコミュニケーション）コミュニケーション）コミュニケーション）コミュニケーション）

– 日立製作所などが山東省済南市に日立製作所などが山東省済南市に日立製作所などが山東省済南市に日立製作所などが山東省済南市に

建設したデータセンター建設したデータセンター建設したデータセンター建設したデータセンター

– 富士通富士通富士通富士通広東省仏山市に「富士通広東省仏山市に「富士通広東省仏山市に「富士通広東省仏山市に「富士通

華南データセンター」華南データセンター」華南データセンター」華南データセンター」

日経日経日経日経ITProITProITProITProより引用より引用より引用より引用 http://itpro.nikkeibp.co.jp/article/COLUMN/20101026/353417/http://itpro.nikkeibp.co.jp/article/COLUMN/20101026/353417/http://itpro.nikkeibp.co.jp/article/COLUMN/20101026/353417/http://itpro.nikkeibp.co.jp/article/COLUMN/20101026/353417/


パリ Cloudwatt

19

イルセガン·リーヴドセーヌは、理想的にはグランドパリと文化·バレーの中心部に位置ブーローニュビヤンクールにある古いルノープロット用に

プログラム74ヘクタールの開発プロジェクトです。」欧州のデータセンターは建物デザインがかっこいいですね。建造中の写真なども公開

カナダ TELUS

20

バンクーバー地域暖房システムと連動する

Telus社データセンター


大学・研究機関計算センター

大学・研究所には「計算センター」として大規模な数MWデータセンターがあります。

スーパーコンピュータセンターとして大型ビルを建築され収納されている理化学研究所・

富士通「京」（10MW）、古くは海洋研究開発機構・NEC「地球シミュレータ」(6MW）など

があります。

大規模なPCクラスタを運用するデータセンターとして東京工業大学「Tubame」、

筑波大学、札幌大学などがあります。

産総研も本部・情報棟２Fに 1MWのデータセンターを持っています。

データーセンターには、３つのタイプがある。







東京工業大学スパコン

TUBAME2

スパコンTop500で現在世界4位演算性能/消費電力で世界1位TUBAME1の設備を流用しながら構築左図はASCII.technologies12月号から引用






Tubame2.5-KFC 液浸により省エネ性能が高い液浸により省エネ性能が高い液浸により省エネ性能が高い液浸により省エネ性能が高い

工事中風景稼働風景

Spring8 水冷ラックにより外気導入している





総数１０００ラックを超える

必要なラックだけを冷却

・・・・46MW を湖水で冷却する、アルプスの巨大データセンターを湖水で冷却する、アルプスの巨大データセンターを湖水で冷却する、アルプスの巨大データセンターを湖水で冷却する、アルプスの巨大データセンター

CERN

出所：2010年11月26日様々なデータセンター 25





データーセンター電力データーセンター電力データーセンター電力データーセンター電力は今後も増加するは今後も増加するは今後も増加するは今後も増加する




データーセンターの省電力化データーセンターの省電力化データーセンターの省電力化データーセンターの省電力化

データセンターのデータセンターのデータセンターのデータセンターの空調機電力空調機電力空調機電力空調機電力をををを削減削減削減削減するするするする方法方法方法方法

①①①① 空調機空調機空調機空調機をををを新型新型新型新型にににに交換交換交換交換（（（（冷凍圧縮機効率冷凍圧縮機効率冷凍圧縮機効率冷凍圧縮機効率がががが大幅大幅大幅大幅にににに改善改善改善改善））））

②②②② 空冷空冷空冷空冷とととと水冷水冷水冷水冷をををを併用併用併用併用

③③③③ ヒートシャッターによるヒートシャッターによるヒートシャッターによるヒートシャッターによる冷気冷気冷気冷気エリア・エリア・エリア・エリア・暖気暖気暖気暖気エリアのエリアのエリアのエリアの分離分離分離分離

④④④④ 外気導入外気導入外気導入外気導入（（（（直接直接直接直接・・・・間接間接間接間接））））

⑤⑤⑤⑤ 新型新型新型新型UPSUPSUPSUPS（（（（無停止電源無停止電源無停止電源無停止電源））））ややややHVDCHVDCHVDCHVDC（（（（高圧直流電源高圧直流電源高圧直流電源高圧直流電源））））のののの導入導入導入導入

⑥⑥⑥⑥ 40℃40℃40℃40℃にににに耐耐耐耐えるサーバのえるサーバのえるサーバのえるサーバの導入導入導入導入（（（（冷気冷気冷気冷気エリアのエリアのエリアのエリアの室温室温室温室温をををを上上上上げるげるげるげる））））

⑦⑦⑦⑦ サーバサーバサーバサーバ仮想化仮想化仮想化仮想化によるサーバによるサーバによるサーバによるサーバ集約集約集約集約

いずれもいずれもいずれもいずれも冷凍空調機冷凍空調機冷凍空調機冷凍空調機のののの運転時間運転時間運転時間運転時間をををを減減減減らすらすらすらす方法方法方法方法でででで実例実例実例実例ではではではでは、、、、

①①①①とととと③③③③をををを併用併用併用併用

空調機電気使用料空調機電気使用料空調機電気使用料空調機電気使用料をををを３０３０３０３０％％％％からからからから６０６０６０６０％％％％ PUE=PUE=PUE=PUE=１１１１．．．．３３３３前後前後前後前後までまでまでまで削減可能削減可能削減可能削減可能ですですですです。。。。

④④④④のののの直接外気導入直接外気導入直接外気導入直接外気導入

当初当初当初当初よりよりよりより冷凍空調機冷凍空調機冷凍空調機冷凍空調機をををを導入導入導入導入せずにせずにせずにせずに電力電力電力電力コストをコストをコストをコストを削減削減削減削減、、、、PUE=1.1PUE=1.1PUE=1.1PUE=1.1前後前後前後前後（（（（１１１１KWKWKWKW

サーバーサーバーサーバーサーバー冷却冷却冷却冷却にににに必要必要必要必要なななな電力電力電力電力がががが１００１００１００１００WWWW））））のののの「「「「空冷式空冷式空冷式空冷式データセンターデータセンターデータセンターデータセンター」」」」になりまになりまになりまになりま

すすすす。。。。高価高価高価高価なななな冷凍圧縮空調機冷凍圧縮空調機冷凍圧縮空調機冷凍圧縮空調機をををを使使使使わないわないわないわない為為為為、、、、データセンターデータセンターデータセンターデータセンター建設建設建設建設コストもコストもコストもコストも大大大大

幅幅幅幅にににに低減出来低減出来低減出来低減出来ますますますます。。。。

データセンター分電設備

空調機・UPSメーカーEMERSON社資料

1ラック２KWから８KWで全体の７０％

1ラック３２KW超が３％もある

今後８~１２KWが増えるだろう

発電機

重油備蓄

無停電電源

（電池）

電力会社

空調機空調機空調機空調機空調機空調機

2000年ごろ密閉型（魔法瓶型）データセンター

100ラック 20HP（56KW)空調機6台

1ラック 2KVA

2U 160Wサーバ 10台

100ラック合計 1000台

発電機は利用率50％として

500KVA～1000KVA

建物込サーバ別概算15億円

サーバ積載イメージ

8,60

0


発電機

重油備蓄

無停電電源

（電池）

電力会社





8,60

0


1ラック 4KVA




1000KVA～2000KVA



発電機

重油備蓄

無停電電源

（電池）

電力会社






1ラック 6KVA




1000KVA～2000KVA


8,60

0


発電機

重油備蓄

無停電電源

（電池）

電力会社


最新のHPC 密閉型（魔法瓶型）データセンター




1ラック 8KVA




2000KVA～2800KVA


8,60

0

空調機

空調機

空調

機空

調機


発電機

重油備蓄

無停電電源

（電池）

電力会社





1ラック 16KVA

1U2台 160Wサーバ 80台



2000KVA～2800KVAを2台～3台


空調

機空

調機

空調

機空

調機

密閉型（魔法瓶型）データセンタークラウドは無理

8,60

0



空調

機空

調機

空調

機空

調機

従来からの魔法瓶型では、空調機コストが高い。


36

• ファーストサーバー勤務時代ファーストサーバー勤務時代ファーストサーバー勤務時代ファーストサーバー勤務時代

– 日本初日本初日本初日本初大量ブレードサーバ導入大量ブレードサーバ導入大量ブレードサーバ導入大量ブレードサーバ導入

• １ラック耐荷重７５０１ラック耐荷重７５０１ラック耐荷重７５０１ラック耐荷重７５０KgKgKgKg １列１０ラックでの耐震設計。１列１０ラックでの耐震設計。１列１０ラックでの耐震設計。１列１０ラックでの耐震設計。

• 日東工業・大林組によるシミュレーションによる成果日東工業・大林組によるシミュレーションによる成果日東工業・大林組によるシミュレーションによる成果日東工業・大林組によるシミュレーションによる成果

• １ラック１ラック１ラック１ラック１６０１６０１６０１６０AAAAの常識はずれのの常識はずれのの常識はずれのの常識はずれの

高密度設計、安定稼働高密度設計、安定稼働高密度設計、安定稼働高密度設計、安定稼働７年７年７年７年

• NECNECNECNEC８番街でのご紹介８番街でのご紹介８番街でのご紹介８番街でのご紹介

– 「杉田正」で「杉田正」で「杉田正」で「杉田正」でGoogleGoogleGoogleGoogle検索いただくと検索いただくと検索いただくと検索いただくと

http://www.express.nec.co.jp/jirei/new/first/index.http://www.express.nec.co.jp/jirei/new/first/index.http://www.express.nec.co.jp/jirei/new/first/index.http://www.express.nec.co.jp/jirei/new/first/index.

htmlhtmlhtmlhtml がヒットします。がヒットします。がヒットします。がヒットします。

– 独自設計・通路に扉を設置独自設計・通路に扉を設置独自設計・通路に扉を設置独自設計・通路に扉を設置

– 現在でも先端を行く現在でも先端を行く現在でも先端を行く現在でも先端を行く省エネルギー省エネルギー省エネルギー省エネルギーDCDCDCDC

• DCDCDCDC内内内内風流な風流な風流な風流なコントロールコントロールコントロールコントロール

• ブレードサーバ専用設計ブレードサーバ専用設計ブレードサーバ専用設計ブレードサーバ専用設計

• 1111４ラック４ラック４ラック４ラック

• PUEPUEPUEPUE＝２１０＝２１０＝２１０＝２１０KWKWKWKW÷÷÷÷１５８１５８１５８１５８KWKWKWKW＝約１．３＝約１．３＝約１．３＝約１．３

ブレードサーバー高密度実装

日本初大量導入635台

※PUEとは、

サーバー電力＋空調電力

サーバー電力

であり、最良値が1.0。PUE=2.0ならばサーバーと同じ電力を空調が浪費している。

※有名なIBMブレードサーバCM「広い白い部屋のブレード」時期の３年前

37

高密度収容サーバー

小型コンテナに省電力サーバーを収容

3ラック約２００台２０KVA以下

高密度実装小型コンテナ

38

NEC 省電力サーバー

TSオリジナルアルミ筐体軽量なサーバー

軽量なので高密度化可能

NEC 省電力サーバー

奥行きは355mmなので表と裏から両面実装出来る

1台当たりのラック使用料金が下がる

チラー（冷凍圧縮機）レスデータセンター場所：ベルギー


コンテナを大きな屋内に収納している。床下に水冷熱交換器を設置。

３．インターネットサービス用サーバーが大量に

設置されるタイプ

Googleのコンテナや海外Yahooの鶏舎型

40

ロングコンテナ型データセンター

日本SGI ICE Cube

コンテナ用に設計された奥行きの浅いサーバー

動作温度が４０℃まで条件付きで保証されている。

コンテナは２台ひと組２段に積む

下段はラック、上段はUPS、空調設備を収納



大型コンテナ型データセンター

HP

夏

冬

コンテナ型 DELL


43

IIJコンテナ型DC

コールド側

ロングコンテナ型データセンター


日本フルハーフ東芝

コンテナ型データセンター


日本フルハーフ東芝

コンテナ型データセンター

導入事例：北海道岩見沢市


東芝東芝東芝東芝コンテナ（モジュール）コンテナ（モジュール）コンテナ（モジュール）コンテナ（モジュール）



NEC コンテナ（モジュール）コンテナ（モジュール）コンテナ（モジュール）コンテナ（モジュール）

海外事例 eBay

データセンター情報発信サイトから

http://www.datacenterknowledge.com/


海外事例 eBay

DELL 高密度実装モジュールDC

1ラック40KVA？


ASTがカナダの大学に納入した Twinコンテナ集合データセンター

Twin構造によりコールドアイルの

作業性が改善される。

51

外気導入外気導入外気導入外気導入海外事例海外事例海外事例海外事例

たったたったたったたった２２２２年年年年でででで、、、、全世界全世界全世界全世界でででで

データセンターデータセンターデータセンターデータセンター省電力化対省電力化対省電力化対省電力化対

策策策策がががが実施実施実施実施されされされされ、、、、クラウドクラウドクラウドクラウド対応対応対応対応

されてきたされてきたされてきたされてきた。。。。


新型省電力

サーバーであれば

１２０台でも３０A

ラック内に仕切りを設置

温風が給気側に戻らない

空調効率改善技術

ヒートシャッター

ヒートシャッター

排気が戻らないと吸気

側温度は、気温以上に、

上昇しない。

＜ 40℃

最新サーバーは、

40℃でも稼働出来る

床

天井


53

マイクロソフトアイルランドDC PUE=1.25

屋上から外気導入している。2009年当時画期的な低PUE様々なデータセンター出所：DataCenterKnowledge

マイクロソフトが冷凍空調機の無いコンテナを開発

外気導入のみ小型

コンテナだが、1ラック1２KVA以上として通常センターより大量

のサーバを積載

様々なデータセンター 54出所：DataCenterKnowledge

水冷

外気温４０℃

サーバー温度３２℃

サーバー湿度８０％

※水カーテンで８℃も下がる？

華氏→摂氏 C=(5/9)*(F-32)３２を引いて、それを２で割って１割増し

還流暖気

外気温 2℃サーバー温度１０℃

サーバー湿度３３％

※この湿度表示は多すぎる。


マイクロソフトが冷凍空調機の無いコンテナを開発

出所：マイクロソフトマイクロソフトマイクロソフトマイクロソフト

様々なデータセンター 56出所：マイクロソフトマイクロソフトマイクロソフトマイクロソフト

SGI社製ロングコンテナ


マイクロソフトシカゴデータセンター

大型屋内にコンテナを設置

マイクロソフト開発コンテナ

出所：DataCenterKnowledge

LXStyle,Inc All right reserved 58

冷凍圧縮機を

使わずサーバーを

冷却して、大幅な

空調コスト低減を実証

58

インテルがメキシコに従来型と外気導入型

双子のデータセンターを建造

出所：YouTube 2010/11/09“Intel IT Data Center Free Cooling“http://youtu.be/SRn_xW7VtWc

NetApp 外気導入システム

59様々なデータセンター 59


60様々なデータセンター 60

出所：YouTube 2010/08/10“STULZ DFC² - Direct Free Cooling for Data Centres“http://youtu.be/UaCJxt30rb4

STULZ DFC² 外気導入システム

61

Facebook ①


Facebook ②



Facebook ③



Facebook仕様外気導入システムフロー

Facebook ④

65

Open Compute server triplet racks １ラック３０サーバー

１ラックファン合計台数は、５×３０＝１５０台

＠２０CFM×１５０＝３０００CFMこの写真6ラック１８０００CFM必要

Facebook ⑤


Facebook ⑥ Open Compute Project


データセンターデザインと一体に設計されたサーバー情報は公開。

最近マイクロソフトもOCPに参加した。

Facebook

67

米国

スウェーデン

Yahooの最新データーセンターPUE=1.1鶏小屋タイプ

Yahoo data center in Lockport, N.Y.

Yahoo has purchased this building in La Vista, Nebraska for $14.8 million.

The Yahoo data center in Quincy,Washington includes cooling-optimized"podules" with a PUE of 1.21(Photo: Yahoo Inc.)


Yahoo（米国）外気導入システム



Yahoo 鶏舎型データセンター内部想像図場所：米国ニューヨーク州

・完全外気導入

・空調機無し

・Google同様高温運用

・１０℃以下対策が寒冷地

より南方のほうが容易

PUE=1.0に近づく♪

外気導入のみ

Yahoo（米国）外気導入システム

http://youtu.be/IPNZAvX1yEs



燃料電池と

太陽光発電（計２０MW）

APPLEデータセンターは、

再生可能エネルギーで稼働

APPLEと環境http://www.apple.com/jp/environment/renewable-energy/


Googleは、太陽光発電、風力発電を利用


EMC最新データーセンター PUE=1.3



データセンターが集中する米国Quincy


水力発電所からの供給電力費用が安価＋シアトル～SFO回線がある。


Sabyに導入された間接外気冷却機

出所：ムンタース


内部にコンテナが配置

出所：Facebook

ALBA Synchotron、ASTモジュラバルセロナデータセンタークラスターと呼ばれるモジュラー公園の開発を支援されているのParc de l‘アルバの科学的研究施設。

冷却システムは中央が排気エリアとして外気導入と推察できる。

スペイン ASTデータセンター



中国揚州VoicePark 設計・施工管理 by LXスタイル


外気導入システム(中国製）外気温20℃以下で稼働

冷凍空調機

EMERSON

コントローラ

により運転

停止する

給気ファン

＆冷凍空調機

コントローラー

排気調整弁


フランスOVHが米国五大湖水力発電所近くに作る

３６万サーバー大型データセンター

出所：YouTube“The world‘s largest data center”http://youtu.be/4e97g7_qSxA


大型データセンター内をコンテナで構築

アフリカデータセンター屋根付きコンテナ


太陽光発電グリッドパリティを5年前に実現した事業所

予備発電に燃料発電機（シリコンバレー）



ASCII.technologies 2011.4月号掲載記事から

さくらインターネットさくらインターネットさくらインターネットさくらインターネット石狩石狩石狩石狩

３．インターネットサービス用サーバーが

大量に設置されるタイプ

87

さくらインターネット石狩

外気導入DC（２）

日本Yahooグループ IDCフロンティア

北九州データセンター

日本Yahooグループ IDCフロンティア

福島県新白河データセンター

Yahoo! JapanプレハブDC

90

出所：DatacenterDynamicsCONVERGED

Yahoo! JapanプレハブDC

91

出所：DatacenterDynamicsCONVERGED

東大・日立の外気導入DC 運用結果




外気導入DC（３）

93

エアコンを外気導入型とすれば PUEを改善出来る。


96

空冷空冷空冷空冷とととと水冷水冷水冷水冷のハイブリッドのハイブリッドのハイブリッドのハイブリッド

Googleが先行する水冷。

サーバが発生する熱を冷却

では無く、熱を“水で搬送す

る”設計思想。


Google 最新データセンター

米国ダラス

708 Lynhaven Dr, Lenoir, NC, アメリカ合衆国Google データセンターデータセンターデータセンターデータセンター

Google データセンターデータセンターデータセンターデータセンター

Google データセンターデータセンターデータセンターデータセンター水を使って冷却水を使って冷却水を使って冷却水を使って冷却


102

隙間が空いている

熱交換コイル

ラック背後のファン群

ホットアイルホットアイルホットアイルホットアイル

床下から冷却水

3ラックで1クラスタを構成？


冷水が通る

熱交換器

ラック

Google DataCenter気温が高く、メンテナンス作業に適さないホットアイルは作業出来ない構造になっている。

Google台湾

104

Google台湾

105

• これらの色のチューブが何であるかについて

– ライトブルー：氷冷水供給管

– ピンク：冷たい氷水戻り管– 黄色：冷却水供給管

– 緑：冷却水戻り配管

– 青：高温氷水デリバリパイプ– 赤：氷水戻り管の高温

http://www.techbang.com/posts/16068-google-taiwan-data-center-tour?page=3

Google台湾

106

http://www.techbang.com/posts/16068-google-taiwan-data-center-tour?page=1

久しぶりに公開された Googleお皿サーバー

107http://www.google.com/about/datacenters/inside/





注目写真

LTO コールドストレージ

オートチェンジャロボット

IBM社製？http://www.uni-w.com/fdi/1201/1201web/59-61_i.pdf



風力発電




計画中：岡山井戸水利用データセンター


雪冷水

11m

9m

計画中：北海道雪冷却システム利用データセンター

コンテナ岩見沢

118

オランダ COLT

119


120


121


122


123


124


125


126


127


128


129

中国漢雲コンテナDC

130

中国漢雲コンテナDC

131

日立 Ref Assist

132

STNET（四国）

133

最新冷却システム（国内）

134

竹中工務店

IIJ 新型コンテナ冷却システム

FIP（富士通エフ・アイ・ピー）

135

三菱商事データセンター

136

三菱商事は2013年10月、東京都三鷹市でデータセンターの運用を開始したと発表した。都心近郊にありながら、完全外気冷房システムを導入したことが特徴」Tiar4に対応しながら外気冷却を導入している。

大阪へ海外事業者

137

米データセンター事業者のDigital Realty Trustは9月17日、9月4日までに大阪で1万5000m2のデータセンター建設用地の取得を完了し、2014年第4半期（10～12月）から国内でデータセンター事業を開始することを発表した。」「開設するデータセンターの特徴の1つは、「PODアーキテクチャ」と呼ばれるモジュラー型（モジュール型やコンテナ型とも呼ばれる）のアーキクチャを備えている点」中国を含む海

外の新型データセンターは初期投資額が抑えられるPOD型が多くなっている。

今回発表された大阪のデータセンター（OS1）では、免震構造を備えた最新ビルに約3000㎡のコロケーションスペース、800超ラック相当の収容設備（開設時は320ラック相当）を備える。

大阪のネットワークの中心である堂島と光ファイバーで直接

接続されており、大阪の国際通信基盤を強化するという。

他のIBXデータセンターと同じく、キャリアニュートラルなIX機能を提供。また、日本語と英語のバイリンガルサポートを提

供し、多国籍企業のグローバル化を促進

沖縄

138

Intelが進める「ラックスケールアーキテクチャ」

ホスティングパック企画書r4 by LXスタイル 139

Facebook Open Compute Project（Quanta）

140

UPS（出力はHVDC) 幅広22インチラック

ハーフ幅サーバー

２U高さ3列背面DC12Vバー

直流１２V出力電源

Facebook Open Compute Project（Microsoft ・GIGABYTE）

141

サーバー NEC

142

サーバー NEC

143

NEC ラック冷却

144

サーバー SuperMicro

145

1027R-WC1RT主な機能

１．デュアルソケットR（LGA 2011）をサポート

インテル®Xeon®プロセッサーE5-2600 およびE5-2600 v2シ

リーズ

２．1TB1TB1TB1TBののののECC DDR3ECC DDR3ECC DDR3ECC DDR3、最大 1866MHz、16倍のDIMMソケット３．カ

ードのサポートに追加します。2X PCI-E 3.0 x16のフルハイト、ハ

ーフレングススロット

４．ホットスワップ2.5 "SAS / SATAのHDD ベイ（SAS3 12Gbps

のHDDをサポート）

５．インテル®X540デュアルポート10GBASE-T

６．1XスリムDVD-ROMドライブ（オプション）

７．700W冗長電源ゴールドレベル認定

Front I/Oと呼ぶ構造で電源コードを除いて

他の配線やメンテナンスが全面からのみ行える。

ホットアイル40℃から50℃のデータセンターにて

高密度 1111ラックラックラックラック 168Node168Node168Node168Node実装が可能。

146

京で使われている京で使われている京で使われている京で使われている

インターコネクトメッシュを

6次元で実現している。

クラスタ性能を向上させる

インターコネクト

ホスティングパック企画書r4 by LXスタイル 147

〈〈〈〈参考参考参考参考〉〉〉〉ラック内高速通信システムラック内高速通信システムラック内高速通信システムラック内高速通信システム

Facebookが主催するOCPJにおける台湾工業技術院のプレゼン

148

1TByteメモリを搭載出来るIAサーバー

AWS ネットワーク


AWS カスタムサーバー


ストレージメモリとCPUが使うメモリが“地続き地続き地続き地続き”になる。

出所：http://pc.watch.impress.co.jp/docs/column/kaigai/20130918_615784.html?utm_source=buffer&utm_campaign=Buffer&utm_content=buffer8ffda&utm_medium=facebook

これから数年以内に起きるアーキテクチャジャンプ

省電力不揮発高速メモリ

NVDIMM

北海道データセンター事業計画作成支援 Vol.3 152

一般的には、まだOSなどが未対応

STT-MRAM世界最高の低消費電力性能を

実現した新方式の不揮発性磁性体メモリ

今後必須の重要テクノロジ！今後必須の重要テクノロジ！今後必須の重要テクノロジ！今後必須の重要テクノロジ！

省電力不揮発高速メモリ

IGZOメモリ

北海道データセンター事業計画作成支援 Vol.3 154

液浸

155


お静聴ありがとうございました。

SNSでお会いしましょう。Facebook Twitter ASCII×TECHIDは sugipooh

Internet

様々なデータセンター Sugipooh