MapReduceによる大規模データ処理 at Yahoo! JAPAN

MapReduceによる大規模データ処理 at Yahoo! JAPAN

2011/09/26

ヤフー株式会社 R&D統括本部

角田直行、吉田一星

Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

1

自己紹介

角田直行(かくだなおゆき)

R&D統括本部プラットフォーム開発本部検索開発部開発4

–2005年ヤフー株式会社入社

–Yahoo!地図

–Yahoo!路線

–Yahoo!検索

…

–2011年現在、検索プラットフォームを開発中


2

自己紹介

吉田一星(よしだいっせい)

R&D統括本部プラットフォーム開発本部検索開発部開発4

–2008年ヤフー株式会社入社

–検索プラットフォームでHadoopに関する開発

–画像処理、iPhone向け技術開発にも関わる


3

Agenda

–Yahoo! JAPANでの事例

–MapReduceによるアルゴリズムデザイン

–まとめ

Yahoo! JAPANでの事例


4


5

Hadoop at Yahoo! JAPAN

様々なYahoo! JAPANのサービスを支えるプラットフォームで、

Hadoopが使われています

アクセスログデータプラットフォーム

検索プラットフォーム

レコメンデーションプラットフォーム

広告プラットフォーム

地域APIプラットフォーム

–例えば、Yahoo! JAPANの検索サービスでは・・・

6

Yahoo! JAPANの検索サービス

検索ログプラットフォーム

検索プラットフォーム(ABYSS)


検索のログをHadoopで分析してデータ提供

サービスに検索機能を提供


7

Yahoo!検索

–検索ログプラットフォームのデータを元に様々な機能を提供

関連検索ワード→

キーワード入力補助→

ショートカットの

表示制御→


8

Yahoo!検索リアルタイム検索

–検索プラットフォーム（ABYSS）が検索機能を提供

–Twitter社が提供した、リアルタイムのツイートデータを、ABYSS

側に送ってインデクシング


9

Yahoo!オークション

–おすすめのオーション

レコメンデーションプラットフォーム

Hadoopで解析したデータを提供

MapReduceのアルゴリズムデザイン


10


11


12

MapReduceのアルゴリズムデザイン

–Yahoo! JAPANでの実例を交えながら、MapReduceでどうアルゴ

リズムをデザインするか、解説します。

–空間解析

–検索インデックス作成

–機械学習

空間解析


13


14

空間解析

–位置関係を利用した検索を行いたい

–今いる場所から一番近いコンビニ

–港区にある図書館

–駅から5分のマンション

–環状７号線沿いのラーメン屋


15

リバースジオコーダー

–緯度経度から住所を求める

ある地点

住所ポリゴン

含まれるかどうか


16

MapReduceのおおまかな設計

–Mapper

–住所ポリゴンデータと、ある地点の緯度経度のデータを同じキ

ーで出力

–Reducer

–同じキーにまとまっている場合、地点データが住所ポリゴンデ

ータに含まれている。つまりその地点の住所がわかる。

→Mapのキーは何にするか？


17

GeoHash

–緯度経度を英数字の文字列で表すアルゴリズム

–35.65861, 139.745447 → xn76ggrw26

–文字列の長さが精度に比例する

–文字列が短いとおおまかなエリア、長いとピンポイントのエリア

–点としてだけでなく、ある範囲（グリッド）を表すことが可能


18

XN76GGR

(123.60m x 152.27m) XN76GGRW

(30.90m x 19.03m)

XN76GGRW2

(3.86 m x 4.76m)

XN76GGRW26

(0.97m x 0.59m)


19


20


21


22


23


24

Map

–MultipleInputsで２種類のMapperを立ち上げる

–Mapper1

–Mapper2

Key ある地点の7桁GeoHash

Value ある地点のユニークID + 緯度経度

Key 住所ポリゴンデータと交わる7桁GeoHash

Value GeoHashのメッシュ単位で抜き出したポリゴンデータ


25

Reduce

–同じGeoHashの住所ポリゴンと地点がまとまって入力

–ある地点が住所ポリゴンに含まれているかどうか、改めて演算

–MapReduceの出力

Key ある地点のユニークID

Value 住所文字列


26

出力結果

UID 住所

755a458181f0d0ce670ca6363ac3fcf15c5ecec9

東京都西東京市谷戸町１丁目２３

b9eb85ccad95dce44ba5ba56047c359a5ab25321

東京都西東京市ひばりが丘２丁目８

c2bd76e39a900202cd89a8a62127975779c3c5db

東京都西東京市ひばりが丘２丁目６

25e82144eff068c13d7d04004681723c53c56c72

東京都西東京市ひばりが丘２丁目７

a1f307a07f21cc5c43069f222a861fd3a0381427

東京都西東京市谷戸町３丁目２０

0f88a6d126e9080de53d70b8771665a06d3b783c

東京都西東京市保谷町３丁目１２

04a27655283486df6dde65cf31702310bd9113c3

東京都西東京市保谷町３丁目１４

検索インデックス生成


27


28


–MapReduceの最も基本的なタスクの一つ

–Hadoop MapReduceデザインパターンでも紹介されている

–インデックス＝本の索引

apple.co.jp Apple, iPad, iPhone, Macbook…

yahoo.co.jp Yahoo, オークション, ニュース, 検索, 地図…

twitter.com tsuda, ふぁぼり, なう, 個人, 見解…

2ch.net 香具師, ガイシュツ, スマソ, 池沼, 希ガス…


29


–単語をキーにしたURLのリストの形式に転置する

–例えば、「地獄ミサワ」で検索すると、その単語が含まれている

URLがすぐにわかる

iPhone apple.co.jp, softbank.co.jp, apple.com…

地獄 jigokuno.com, twitter.com, hatena.ne.jp…

ググレカス 2ch.net, nicovideo.jp, google.co.jp…

ミサワ jigokuno.com, misawa.co.jp…


30

MapReduceのおおまかな設計

–Mapper

–URLとページの内容を入力として、単語を抽出

–Reducer

Key 単語

Value URL

Key 単語

Value URLのリスト


31

実際の課題

–インデックスには複数のフィールドがある

–フィールドごとに単語を分割する方法が違う

–フィールドと単語分割の種類

–フィールドと単語分割の例

URL タイトルページの内容

完全一致 2Gram 形態素解析

labs.yahoo.co.jp Yahoo!ラボ実験的なサービス・機能・仕組みを…

labs.yahoo.co.jp Ya, ah, ho, oo, o!, !ラ, ラボ

実験的, な, サービス, ・, 機能, ・, 仕組み, を…


32

実際の課題

–ユニークな文書番号を付与し、文書番号でソートする

–文書内での単語のポジションや頻度を考慮する

–検索インデックスの例

–TFIDFの計算のために、単語ごとの文書数と、文書ごとの単語数を計

算する

–TFIDFは文書内で単語の重要度を測る指標の一つでランキングに

用いられる

–インデックスを圧縮する必要がある

単語 <文書番号: 文書内のポジションのリスト>…

iPhone <3: 104,202,1241>, <7: 3,190,1267>…


33

ABYSSの場合

–社内の検索サービスをホスティングするプラットフォーム

–30以上の社内サービスで使われている

–検索インデックス作成処理の流れ

前処理

文書番号をふる

数値インデックス作成

etc…

後処理

MapReduceの

結果のファイルを一つのインデックスにまとめる


34

Map

–インデックスの元データが入力

–インデックスのスキーマファイルを読んで、単語の分割の種類ごとに処

理を分岐

–単語の正規化と、単語の分割を行う

labs.yahoo.co.jp Yahoo!ラボ実験的なサービス・機能・仕組みを…

完全一致 2Gram 形態素解析

Key フィールド名+単語+文書番号+ポジション+フィールド番号

Value 文書番号+ポジション


35

Shuffle

–Partitioner

–同じフィールドのデータは同じReducerに行くように分散

–Comparator

–単語のキー順にソート

–単語が同じ場合は文書番号でソート

–文書番号も同じ場合はポジションでソート

–GroupingComparator

–フィールド名+単語で、グルーピングしてReducerに渡す


36

Reduce

–フィールド名+単語でグルーピング、単語、文書番号、ポジション

でソートされて入力

–MultipleOutputsでフィールドごとにファイルを出力

–インデックスは圧縮して出力

Key 単語

Value 文書番号+ポジションのリスト

ミサワ <124: 12,135,1223>, <278,1278,2380>…

iPhone <3: 104,202,1241>, <7: 3,190,1267>…

機械学習


37


38

機械学習とは？

「データの中で見えているものを手がかりに、見えないものを予測

する」

–ページの内容がアダルトかどうか判定する

–自分のプロフィールと条件に合ったお見合い相手を探す（

Yahoo!お見合い）

–検索結果を様々な指標に応じて最適にランキング

–クエリや、コンテンツ、その人の興味に合った広告を表示

–あるニュースに関連するニュースを表示


39

機械学習によるランキング

–検索結果を機械学習でランキングする

–WEBページの様々な指標（＝素性）を考える

–それぞれの素性に対して予め学習済みの重みが与えられているとする

–掛け合わせたものをスコアとして検索結果をランキングする

スコア = 50×0.2＋2300×0.01＋50×-0.02＋120×0.05＝53

–重みさえわかれば、ランキングができる

PageRank クリック数リンク数被リンク数

50 2300 50 120

0.2 0.01 -0.02 0.05


40

重みの学習

–重みをどう学習するかがポイント

–あらかじめ、素性とスコアのペア（＝正解データ）を用意しておく

–正解データを元に、重みを学習していく

正解スコア PageRank クリック数リンク数被リンク数

30 50 2300 50 120

22 45 1200 100 20


41

重みの学習

–オンライン学習

–正解データを一件ずつ見ていって、重みを更新する

–実装が容易

–ノイズが含まれていたり、素性が多い場合に有効

–バッチ学習

–すべての正解データを見て重みを更新する

–実装が難解

–情報量が多いので、精度が高くなる場合が多い


42

オンライン学習

–正解データを一つ見て、古い重みを新しい重みに更新する

新しい重み = 古い重み – 適当な係数 × (予測スコア - 正解スコア)

× 正解データ

–オンライン学習をMapReduceで行いたい

0.2 0.01 -0.02 0.05

50 2300 50 120

0.001 ×(53 - 58)

×

||

0.205 11.51 -0.015 0.005

古い重み

正解データ

新しい重み

|


43

Iterative Parameter Mixing

Mapper Mapper Mapper

Reducer

重みベクトルを更新



重みベクトルを平均

[Mann et al. 09]

[Mcdonald et al. 10]


44

MapReduce

–Mapper

–正解データを入力

–前回の繰り返しの重みをMapの初期化処理で読み込んでおく

–オンライン学習で、重みを更新

–Reducer

–Reducerは一つだけ立ち上げる

–重みを平均して出力する

–このMapReduceを繰り返す

Key なし

Value 重み


45

GBDT

–実際には精度が高い決定木ベースのGBDTという手法が使われ

ている

–決定木とは？

クリック数＞ 3000

PageRank ＞ 30 被リンク数＞ 100


20 45

60 70 100


46

GBDT

–複数の決定木のスコアを足し合わせて、結果のスコアを決定

=合計スコア

決定木1のスコア決定木2のスコア決定木nのスコア

正解データの平均スコア

+


47

GBDTの学習プロセス


+


を元に決定木1を構築

決定木1 決定木2 決定木n


48



+

決定木1までの学習結果

を元に決定木2を学習



49



+

決定木n-1までの学習結果

を元に決定木nを学習



50

決定木の構築

–どの素性をどの値で、決定木の枝を分岐するかを決定

？


51

決定木の構築

–実際に学習データを分岐させてスコアをアップデート


60 70


52

決定木の構築

–次の枝をどう分岐させたらいいかを決定

70


？


53

決定木の構築

–これを繰り返し、一定の深さになったところで、中断


PageRank ＞ 30


20 45

60 70 100

被リンク数＞ 100


54

MapReduceで分散

–MapReduceで分散可能なのは決定木の構築

–どう決定木の枝を分岐させるか

–学習データを分岐させてスコアをアップデート

–GDBTの学習プロセス自体はシーケンシャルなので、決定木の構築を

決定木の数だけ繰り返す

–ちなみに決定木の数も予め与える

[Jerry et al. 10]

→ → →


55

枝の分岐

–正解スコアと予測スコアの差の平均の二乗が最小になるように分岐

–すべての素性に対して、どこで分割するかをすべての場合について計

算すればよい


-30 × -30 7 × 7 ＋ 139 =

最小になるように

クリック数 PageRank リンク数被リンク数

1923 34 87 14

2399 15 25 158

3400 92 102 245

左に分岐

右に分岐

クリック数 > 3000

クリック数はソート済


56

MapReduce～水平分割～

–水平に分割する場合


1923 34 87 14

2399 15 25 158

3400 92 102 245

Mapper1

Mapper2

Mapper3


57


–Mapper

–ある学習データのすべての素性に対して以下を出力

–Reducer

–ある素性について、素性の値がソートされて入力される

Key 素性の名前 + 素性の値

Value 正解スコアと予測スコアの差＋重み

Key 素性の名前 + 素性の値

Value 正解スコアと予測スコアの差の和＋重みの和


58


–後処理で、MapReduceの結果のデータを逐次見ていって、どの

素性でどの値で分割するかを決定する

クリック数正解スコアと予測スコアの差

1923 -3

2399 5

3400 3

1×1

3×3

10

＋

||

最小になるように


59

MapReduce～垂直分割～

–垂直に分割する場合


1923 34 87 14

2399 15 25 158

3400 92 102 245

Mapper1 Mapper2 Mapper3 Mapper4


60

MapReduce～垂直分割～

–Mapper

–ある素性のすべての値をソートし、ベストな分岐ポイントを見つ

ける

–一つのMapperで一つのKey/Valueを出力

–Reducer

–そのまま出力すれば、最小の分岐ポイントが一番上に来る

Key 正解スコアと予測スコアの差の平均の二乗の最小値

Value 素性の情報


61

分散方法の比較

–水平分割は、データの数だけスケールする一方で、後処理に時

間がかかる

–垂直分割は、後処理が必要ない一方で、素性の数しかスケール

しない

–実は、MapReduceを使わずにMPIで分散させる方法が一番速い

–HadoopのHDFSだけを使い、Hadoopのノード上でOpenMPIを使っ

て分散を行なっている

まとめ


62


63

まとめ

–MapReduceはシンプルながらも、柔軟なフレームワーク

–現実の問題に対して、MapReduceをどう設計していくか

–必ずしもMapReduceが最適ではない場合もある

–Yahoo! JAPANはこれからもHadoopを活用していきます


64

Hadoopの連載記事

–いまさら聞けないHadoopとテキストマイニング入門

–機械学習、Iterative Parameter Mixingでの分散方法を解説

http://www.atmarkit.co.jp/fjava/rensai4/hadoop_tm01/01.html

http://www.atmarkit.co.jp/fjava/rensai4/hadoop_tm01/01.html


65

東京Node学園

–アジア最大のNode.jsイベント、10/29 at Yahoo! JAPAN

–Node.jsの作者などが講演します。

http://nodefest.jp/2011/

http://nodefest.jp/2011/

ご静聴ありがとうございました！


66

Documents

MapReduceによる大規模データ処理 at Yahoo! JAPAN