データテクノロジースペシャル：Yahoo! JAPANにおけるメタデータ管理の試み

Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

吉野彰真

データテクノロジースペシャル：

Yahoo! JAPANにおける

メタデータ管理の試み

2017年2月16日


アジェンダ

1

1. 自己紹介

2. ヤフーの事業

3. ヤフーのビッグデータ

4. データマネジメント概論

5. メタデータ管理の取り組み

6. まとめ


自己紹介

2

データ＆サイエンスソリューション統括本部

データガバナンスチーム

吉野彰真 (YOSHINO Akimasa)

2011年ヤフーに入社

大規模RDB環境(Oracle/MySQL)の構築・運用を経て、データマネジメント領域を担当



3

データセンター

データ＆サイエンス

Yahoo! JAPAN サービス

データプラットフォーム

サイエンス

データサービス


研究所


1. ヤフーの事業


事業状況

5

20 years

1718

19


0

100

200

300

400

500

600

bilion U.S. dollars

企業価値

6

http://www.statista.com/statistics/277483/market-value-of-the-largest-internet-companies-worldwide/

as of May 2016

世界18位


ユーザー規模

7

9,000万1日約ユニークブラウザ

※出典：ヤフー株式会社 2016年度第3四半期事業指標推移表（2016年4月-12月の平均）


提供サービス

8

Media

US

Search Video Answer Mail

JP

US

JP

Membership C2C Payment C2C EC B2C EC Local

YAHOO! Google NETFLIX Quora GMail

Aol. PayPal ebay amazon yelp

社外秘

Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 9

Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

ネット企業から

データドリブン企業へ


データ = AIによる産業革命

11

ーーーーー

生産能力の向上

認知能力の向上

機械

AI

蒸気機関

ビッグデータ

●産業革命

●新産業革命

ビッグデータがないとAIは作れない

社外秘



マルチなデータセット

13

EC FinTech

メディア

など

など

など


データ = 直接的資産

14

検索

EC

金融

メッセージングサービス

地図、カーナビ

興味のある言葉

買ったもの

ユーザーの資産

自然言語

位置情報


データ = エコシステムの源泉

15

サービスや機能を提供

データがたまる

データから気づきを得る AI ユーザー

データ


データ = エコシステムの源泉

16

データから気づきを得る

サービスや機能を提供

データがたまる

AI ユーザ

データ

無限の再帰性


例: タイムライン

17

タイム

ライン

おすすめ AI

検索クエリ

クリック履歴

おすすめ記事

検索


例:広告

18

クリックしたくなる広告

(最適な情報)

検索

広告

Yahoo! JAPAN

サービス

パートナーサイト

クリック履歴

検索クエリ

訪問履歴

PV履歴

AI


これからのヤフー

19

データから得た気づきを最大限に活用した

ヤフーにしかできない

提案・サービス

社外秘



取り組んでいくこと

21

データを効率よく運用する

計算力の強化

人財の強化

サービスの磨き込み

ものづくりの変革

１

２

３

４

５１

２

３

４

５

AI ユーザー

データ


2. ヤフーのビッグデータ


膨大なデータボリューム

23

月間674億PV

PC + その他

281億 PV

Smart Phone

393億 PVFY16-3Q事業指標 http://ir.yahoo.co.jp/jp/archives/present/2016q3/index.html


巨大なデータプラットフォーム

24

NoSQLObject

StorageDWHHadoop RDB


巨大なデータプラットフォーム

25

NoSQLObject

StorageDWHHadoop RDB

7,000 nodes

150 PB

800DBs

600,000Query/day

1,500nodes

2,000nodes

*弊社独自の調査 2017年1月時点


技術

26


Global

27


どれだけ価値を引き出せるか?

28

?


どれだけ価値を引き出せるか?

29

?

データマネジメント

↓

データの資産化

資産価値の最大化


3. データマネジメント概論


フレームワーク

http://cmmiinstitute.com/data-management-maturity

Data Management Maturity (DMM)℠ Model

https://www.dama.org/content/body-knowledge

Data Management Body of Knowledge (DMBOK)

• PMBOK → DMBOK• 知識体系

• CMMI → DMM• 成熟度モデル

31


難しいポイント

データの構造事業の構造企業文化

32


ヤフーの考えるマネジメント領域

データスチュワードシップ

メタデータ管理

データアーキテクチャ

データウェアハウス&

ビジネスインテリジェンス

データストレージ&オペレーション

データインテグレーション&インターオペラビ

リティ

データセキュリティ

ドキュメント&コンテンツ

リファレンス&マスターデータ

データモデリング&デザイ

ン

データクォリティ

33


ヤフーの考えるマネジメント領域

データスチュワードシップ


データアーキテクチャ

データウェアハウス&ビジネスインテ

リジェンス

データストレージ&オペレーション

データインテグレーション&インターオペラビ

リティ

データセキュリティ

ドキュメント&コンテンツ

リファレンス&マスターデータ

データモデリング&デザイ

ン

データクォリティ

フレームワークを参考に領域を定義

領域ごとにやること整理

イニシアチブ化34


目下注力しているイニシアチブ

35

a.データスチュワードシップ

b.データ標準化

c.データライフサイクル&エコシステム

d.メタデータ管理


a. データスチュワードシップ

カンパニーA カンパニーB カンパニーC

全社横断ネットワーク場の・

36


サービスCカンパニーBカンパニーA サービスD

b. データ標準化

37

標準計測と


c. データライフサイクル/エコシステム

38

・利用量の可視化・利用状況の可視化

利用

・保管方針・コスト可視化

蓄積


c. データライフサイクル/エコシステム

ログ種別毎 Hadoopアクセス回数(2016/2/1実績)


d. メタデータ管理


4. メタデータ管理の

取り組み


メタデータ管理とは?

42

• メタデータ = “データについてのデータ”

DATA

METADATA

{タイトル} {シリーズ}{あらすじ} {著者} {翻訳者} {出版社} {版} {発行年月日} {価格}

：


メタデータ管理とは?

43


= データ資産化の第一歩


メタデータの種類

44

テクニカルメタデータテーブル/カラムの定義、ファイルパス、サーバ

ビジネスメタデータ日本語の説明、コード体系(男性=0,女性=1)

運用メタデータ SLA、連絡先、オーナー

データフロー

データ品質

データの価値

リネージ、加工元 → 加工先の関連

定量化・スコア化された指標、正確性・完全性・精度…

意思決定・ビジネス利用の実績・ポテンシャル



45




データフロー

データ品質

データの価値






46




データフロー

データ品質

データの価値






47




データフロー

データ品質

データの価値






48




データフロー

データ品質

データの価値





ポイント

49

課題ベースで選択

&

自動と人手


課題感 (1/2)

50

データ資産の全体観が把握できていない存在レベルでもいいのでひととおり把握したい

? ? ? ?

× 横断利用

× 資産の把握


課題感 (2/2)

51

“人手” に膨大な工数が必要


データ資産把握のイメージ

52

カバレッジ (100%)

充実度



53


充実度

技術



54


充実度

技術

ルール/マネジメント


メタデータ管理の仕組み(構想)

55

new

Hadoop

(HDFS) (Hive)

new

new

ObjectStorage

(S3ライクなFS)

new

Teradata

new

RDBOracle/MySQL

new

KVS

準構造化構造化非構造化構造化

メタデータ管理データプラットフォーム

網羅率100%で自動収集

ルールに基づき人手で追記


今後の予定

56

・仕組み構築・ルールの策定と展開

ソリューション明快なルール

開発スチュワードシップ

すべての事業の基礎としてやり遂げる


5. まとめ


まとめ

58

データ=資産

メタデータ管理は資産管理の第一歩

模範をめざす


仲間募集中！

59

日本の課題解決エンジンを支える

Yahoo! JAPAN のデータ部門

スマホ or PC から

「ヤフー採用」

で検索！

※写真はイメージです

名刺交換

or

（写真：アフロ）

Technology

データテクノロジースペシャル：Yahoo! JAPANにおけるメタデータ管理の試み