4th ACM Symposium on Cloud Computing (SoCC2013) 報告

独立行政法人産業技術総合研究所 情報技術研究部門

小川　宏高

2014/1/15 グリッド協議会第41回WS 資料

SoCC13概要

•  4th ACM Symposium on Cloud Computing –  October 1-3, 2013, Santa Clara University, Santa Clara,

CA –  http://www.socc2013.org/ –  第1回はSIGMOD、第2回はSOSPと併設→昨年から独立 –  23 papers

交通アクセス

Day 1 (1/3) High Availability in the Data Center

•  Pico Replication: A High Availability Framework for Middleboxes –  Shriram Rajagopalan (U of British Columbia, Vancouver) and Dan

Williams and Hani Jamjoom (IBM T.J. Watson Research Center, Yorktown Heights)

–  Middlebox (ファイアウォール、NATなど) のHA化が課題 –  Active/Active、Active/Standby構成→エンドポイントから見るとトランスペア

レントでない –  VM Migration→オーバーヘッドが大きい –  フロー単位で状態をcheckpoint&recovery、reroutingはOpenFlowを利用

•  On Fault Resilience of OpenStack –  Xiaoen Ju (U of Michigan), Livio Soares (IBM T.J. Watson Research

Center), Kang G. Shin (U of Michigan), Kyung Dong Ryu (IBM T.J. Watson Research Center), and Dilma Da Silva (Qualcomm Research Silicon Valley)

–  クラウドミドルウェアがアクティブに開発されているが、Fault Resilienceはほとんど研究されていない

–  OpenStackにFault Injection機能を追加

Day 1

Day 2

Day 3

Day 1 (1/3) High Availability in the Data Center (Cont.)

•  COLO: COarse-grained LOck-stepping Virtual Machines for Non-stop Service –  YaoZu Dong and Wei Ye (Shanghai Jiao Tong U and Intel),

YunHong Jiang (Shanghai Jiao Tong U), Ian Pratt (Bromium Inc.), ShiQing Ma (Shanghai Jiao Tong U and Intel), and Jian Li and HaiBing Guan (Shanghai Jiaotong U)

–  VMのActive/Standby構成によるHA –  プライマリからセカンダリへの状態の同期を、両者の入出力がマッチ

しなくなる時点まで遅延 –  Non-deterministicだが、オンラインデータベースやWebアプリケー

ションサーバなどでは有効

Day 1

Day 2

Day 3

Day 1 (2/3) Scheduling and Resource Management

•  Hierarchical Scheduling for Diverse Datacenter Workloads –  Arka A. Bhattacharya and David Culler (UC Berkeley), Eric Friedman

(ICSI Berkeley), and Ali Ghodsi, Scott Shenker, and Ion Stoica (UC Berkeley)

–  Dominant Resource Fairness (DRF) [NSDI11]: 複数の資源クラスに対するフェアスケジューリング手法、ジョブの各資源への要求比率を満たす

–  Hierarchical DRF (H-DRF): DRFを階層スケジューリングに拡張したもの •  Apache Hadoop YARN: Yet Another Resource Negotiator

–  Vinod Kumar Vavilapalli and Arun C Murthy (Hortonworks) et al. –  Apache Hadoop YARNの設計、開発、現状の実装について包括的に報告 –  Platform (Resource Manager)とFramework (Application Master)を明確に

分離 –  RM: マルチテナンシー、セキュリティ、局所性を利用したスケジューリング、

障害ハンドリング –  AM: プログラミングモデルや論理的な実行計画、データフロー –  スケーラビリティ・性能の向上、異なるプログラミングモデルを多数同時にクラ

スタ上で効率良く実行可能

Day 1

Day 2

Day 3

Day 1 (2/3) Scheduling and Resource Management (Cont.)

•  Natjam: Design and Evaluation of Eviction Policies For Supporting Priorities and Deadlines in Mapreduce Clusters –  Brian Cho (Samsung/UIUC), Muntasir Rahman, Tej Chajed, and

Indranil Gupta (UIUC), Cristina Abad (Yahoo! Inc./UIUC), Nathan Roberts (Yahoo! Inc.), and Philbert Lin (UIUC)

–  MapReduceタスクのリアルタイムスケジューリング、オンデマンドなプリエンプションを実現

–  Hadoop YARN上への実装

Day 1

Day 2

Day 3

Day 1 (3/3) Data Center Networking and Latency

•  Small is Better: Avoiding Latency Traps in Virtualized Data Centers –  Yunjing Xu, Michael Bailey, Brian Noble, and Farnam

Jahanian (University of Michigan) –  VMネットワークの遅延要因: VM scheduling delay, Host

network queuing delay, Switch queuing delay –  各資源の割り当てをShortest Remaining Time Firstポリシー

で行うことで、Tail latencyの削減を狙う •  Go Server Go! Parallel Computing with Moving

Servers [Vision Paper] –  Ronald Barber, Guy Lohman, Rene Mueller, Ippokratis

Pandis, Vijayshankar Raman, and Winfried Wilcke (IBM Research - Almaden)

–  後述

Day 1

Day 2

Day 3

出展: http://www.socc2013.org/home/program/a7-xu.pdf?attredirects=0

Day 1 (3/3) Data Center Networking and Latency (Cont.) •  Virtual Network Diagnosis as a Service

–  Wenfei Wu (UW-Madison), Guohui Wang (Facebook), Aditya Akella (UW-Madison), and Anees Shaikh (IBM T.J. Watson)

–  テナントに仮想ネットワークの状態を可視化するサービスを提供するフレームワーク

–  Best Student Paper •  jverbs: Ultra-Low Latency for Data Center

Applications –  Patrick Stuedi, Bernard Metzler, and Animesh Trivedi

(IBM Research) –  RDMA抽象を直接操作可能な、Javaアプリケーションフ

レームワーク

Day 1

Day 2

Day 3

Day 2 (1/3) Data Replication and Consistency

•  Orbe: Scalable Causal Consistency Using Dependency Matrices and Physical Clocks –  Jiaqing Du (EPFL), Sameh Elnikety (Microsoft Research),

and Amitabha Roy and Willy Zwaenepoel (EPFL) •  Leveraging Sharding in the Design of Scalable

Replication Protocols –  Hussam Abu-Libdeh and Robbert van Renesse (Cornell

University) and Ymir Vigfusson (Reykjavik University) •  Understanding and Mitigating the Impact of Load

Imbalance in the Memory Caching Tier –  Yu-Ju Hong and Mithuna Thottethodi (Purdue University)

Day 1

Day 2

Day 3

Day 2 (2/3) Applications in Adverse Conditions

•  Limplock: Understanding the Impact of Limpware on Scale-Out Cloud Systems

–  Thanh Do (University of Wisconsin-Madison) and Mingzhe Hao, Tanakorn Leesatapornwongsa, Tiratat Patana-anake, and Haryadi S. Gunawi (University of Chicago)

–  Hadoop MRは耐障害性はあるが、limpware（ハードウェアの不調、著しい性能低下）には耐久性がない

–  実際に確かめた •  When the Network Crumbles: An Empirical Study of Cloud Network Failures

and their Impact on Services –  Rahul Potharaju (Purdue University) and Navendu Jain (Microsoft Research) –  DC内ネットワーク、DC間ネットワーク障害を過去三年間に渡って調査（Access Router、

Aggregation Switch、Top-of-Rack Switches等を対象） –  インシデントを原因別に分類、対応策の有効性を評価

•  vTube: Efficient Streaming of Virtual Appliances Over Last-Mile Networks –  Yoshihisa Abe (Carnegie Mellon University), Roxana Geambasu (Columbia

University), Kaustubh Joshi (AT&T Research), H. Andrés Lagar-Cavilla (GridCentric), and Mahadev Satyanarayanan (Carnegie Mellon University)

–  ビデオストリーミングなどトラフィックの多いVAを実現したい –  クライアント側VMにアプリケーションをマイグレート

Day 1

Day 2

Day 3

Day 2 (3/3) Map-Reduce and Query Processing

•  Scalable Lineage Capture for Debugging DISC Analytics –  Dionysios Logothetis (Telefonica Research), Soumyarupa De (Microsoft, Inc.), and

Kenneth Yocum (U.C. San Diego and Illumina, Inc.) –  Petabytes data→NoSQL analytics→Results: プログラムのどの時点でどのような障害が

起きたかを知りたい –  Newt: レコードごとのデータリネージを取得、記録するスケーラブルフレームワーク

•  Memory-Efficient GroupBy-Aggregate using Compressed Buffer Trees –  Hrishikesh Amur (Georgia Tech.), Wolfgang Richter and David G. Andersen (Carnegie

Mellon University), Michael Kaminsky (Intel Labs), Karsten Schwan (Georgia Tech.), and Athula Balachandran and Erik Zawadzki (Carnegie Mellon University)

–  GroupBy-Aggregate: MapReduceのReduceフェーズの処理に相当 –  Google SparseHashやTBBHashより十分メモリフットプリントが小さく、速度も同等以上

•  Memory Footprint Matters: Efficient Equi-Join Algorithms for Main Memory Data Processing

–  Spyros Blanas and Jignesh M. Patel (University of Wisconsin-Madison) –  equi-joinをオンメモリで行う際のメモリフットプリントを、複数のjoinアルゴリズムに対して調査

•  Scale-up vs Scale-out for Hadoop: Time to rethink? –  Raja Appuswamy (Vrije Universiteit) and Christos Gkantsidis, Dushyanth Narayanan,

Orion Hodson, and Antony Rowstron (Microsoft Research) –  100GB程度のデータ分析が重要→スケールアウトだけではNG –  HadoopのScale-up向けチューニングいろいろ→ Phoenixとか使えばいいんじゃね?

Day 1

Day 2

Day 3

Day 3 (1/1) Semantics of Distributed Applications

•  EventWave: Programming Model and Runtime Support for Tightly-Coupled Elastic Cloud Applications

–  Wei-Chiu Chuang, Bo Sang, Sunghwan Yoo, and Rui Gu (Department of Computer Science, Purdue University), Charles Killian (Purdue University and Google), and Milind Kulkarni (School of Electrical and Computer Engineering, Purdue University)

–  EventWave: 一種のアクターベースのプログラミングモデル（ゲームなどを書きたいらしい） –  クラウド環境で分散実行できるようにしました

•  Tolerating Business Failures in Hosted Applications –  Jean-Sebastien Legare, Dutch T. Meyer, Mark Spear, Alexandru Totolici, Sara

Bainbridge, Kalan MacRow, Robert Sumi, Quinlan Jung, Dennis Tjandra, David Williams-King, William Aiello, and Andrew Warfield (University of British Columbia)

–  アプリケーションの状態を(ユーザが利用している)外部クラウドストレージにアウトソースすることで、サーバ側の致命的な障害からの復旧を可能にするWebアプリケーションフレームワーク

•  Consistency Without Borders [Vision Paper] –  Peter Alvaro, Peter Bailis, Neil Conway, and Joseph M. Hellerstein (UC Berkeley) –  クラウドとモバイルネットワークの普及とともにアプリ開発者は急速に分散コンシステンシへ

の対応を求められている –  一方研究コミュニティでは、I/Oレベルの(緩和された)分散コンシステンシの研究ばかりが盛

んでアプリ開発者のデマンドに答えていないのではないか、という問題提起

Day 1

Day 2

Day 3

Go, Server, Go! Parallel Computing with Moving Servers

•  今日のDC –  サーバが静止しており、データがネットワークを介して移動 –  非常にスケーラブルなネットワークが必要 –  保守や更新を可能にするとともに、通気性を確保するため密度

が低い •  新しいDCアーキテクチャの提案

–  サーバが物理的に移動し、一対一接続により通信 •  (capacitive couplingを用いる) Intelligent Bricksでは、4cm×4cmの

接点で10Gb/sの双方向通信が可能 –  サーバ数に応じてリニアにバンド幅を増やせる –  電力消費量、抜熱の観点でも有利 –  保守や更新のためにサーバを移動させられる

Go, Server, Go! Parallel Computing with Moving Servers

Two-Row Shuffle by Half-Rotation

Extension to 2D and 3D

出展: http://www.socc2013.org/home/program/a8-barber.pdf?attredirects=0

Go, Server, Go! Parallel Computing with Moving Servers

規模を増大すると多段のHalf-Rotationに要する時間が増すが、 データ量が大きく、通信速度が遅ければ、バンド幅はノード数に対してまあまあリニア向上

出展: http://www.socc2013.org/home/program/a8-barber.pdf?attredirects=0

以上