リクルートのビッグデータ活用基盤とデータ活用に向けた取組み

リクルートのビッグデータ活用基盤とデータ活用に向けた取組み

リクルートテクノロジーズ

池田

本日の内容

• リクルートにおけるビッグデータの取り組みの紹介とビッグデータの活用を支えるビッグデータ基盤をご紹介いたします

• アプリのPUSH配信を支える基盤（Pusna-RS）とビッグデータ基盤の連携を例に、リクルートにおけるビッグデータ活用基盤・周辺技術進化の取り組みをお伝えします

• 最後に、データ活用を促進する「メタデータ管理Webシステム」ご紹介とシステム管理者目線からシステムを提供する価値について、お話しさせていただきます

2 (C) Recruit Technologies Co.,Ltd. All rights reserved.

本日のアジェンダ

1. 自己紹介

2. リクルートの紹介

3. リクルートのビッグデータへの取り組み

4. メタデータ管理Web

5. まとめ



1. 自己紹介




5. まとめ


自己紹介


池田英哲（いけだひであき）

株式会社リクルートテクノロジーズ

ビッグデータ部

IDポイントビッグデータインフラグループ

2003年～2006年某SIer Flashを用いたWebアプリケーション開発等を担当

2006年～2013年某コンサル会社インフォメーションマネジメント（BI・DWH）関連部署に配属 Analytics部隊の設立に携わる

2014年1月～リクルートテクノロジーズ入社後一貫して、リクルートIDプロジェクトのDWH構築・運用を担当

職歴


1. 自己紹介




5. まとめ


7

企業概要（リクルート全体）

創立１９６０年３月３１日「大学新聞広告社」としてスタート

グループ

従業員数３１,８４１名

連結売上高約１兆２９９９億円 ※２０１５年３月末

連結経常利益約１,２５６億円 ※２０１５年３月末

関連企業数１６２社（国内＋海外）

目指す世界観「あなた」を支える存在でありたい

リクルートテクノロジーズの位置づけ

8

リクルートキャリア

リクルートジョブズ

リクルートスタッフィング

リクルート住まいカンパニー

リクルートライフスタイル

リクルートマーケティングパートナーズ

スタッフサービス・ホールディングス

リクルートアドミニストレーション

リクルートコミュニケーションズ

事業会社

機能会社

ネットインフラ

大規模プロジェクト推進

UXD/SEO

ビッグデータ機能

テクノロジーR&D

事業・社内IT推進

リクルートホールディングス

リクルートとは、主要７事業会社＋３機能会社で構成されるグループ企業群

私が所属する会社はリクルートテクノロジーズ

セキュリティ AP基盤・オフショア開発

リクルートのビジネスモデル～リボンモデル


マッチング

カスタマー（一般ユーザー）

クライアント（サービス提供企業）

世界中の生活者と産業界に「まだ、ここにない、出会い。」を提供します

リクルートの展開しているサービス

ライフイベント領域

進学

就職

結婚

転職

住宅購入

車購入

出産/育児

旅行

IT/トレンド

生活/地域情報

グルメ・美容

ライフスタイル領域

選択・意思決定を支援する情報サービスの提供「まだ、ここにない、出会い。」を実現する

リクルートID 一人ひとりにあった最適な情報を提供し、皆様の選択や行動を支える存在となることを目指す


リクルートID

リクルートIDの使えるサービス①

リクルートIDの使えるサービス②

リクルートIDの使えるサービス③

リクルートIDの使えるサービス④


1. 自己紹介




5. まとめ


ビッグデータとは？


ビッグデータ＝大量データ

Volume 量

Variety 多様性

Velocity 速度

Volume 行動履歴・ソーシャル・センサ(GPS)等

Variety 構造化データだけでなく、

文書・画像・動画・音声などの非構造データ

Velocity リアルタイムに発生するCSの嗜好データ

スマホ/アプリデータ

利用者・利用パターンの増加

ビッグデータ活用事例① 経験知をモデル化


豊富な経験値を持つCAが創りだした過去データ・ロジックをレコメンド作成に利用

求人検索システム

求職者

CA(キャリアアドバイザー)

応募

求人紹介

検索

レコメンドリスト

求人紹介(メール送付・管理画面表示)

レコメンドロジック

求職者求人確信度

001 O社 0.5

001 X社 0.3

001 Y社 0.2 求職者

A社

O社

P社

Q社

・・・

B社

X社

Y社

Z社

・・・

配布しない

ビッグデータ活用事例② パーソナライズPUSH


Pusna（プッシュアプローチ）によるアクション増を実現する

今週のあなたにオススメ会場一覧ができました

通知を受け取るオススメ一覧閲覧個社閲覧フェア予約

ブライダルフェア予約

配布しない

ビッグデータ利用者の広がり技術の進化や「ビッグデータ」の広がりでデータ利用者が拡大している


IT部門 BIレポート開発者

DB管理者

データサイエンティスト研究者

エンジニア

レポート/モニタリング営業/エグゼ

データに興味のない層

ビジネスインサイトマーケター

事業企画

Big DataのTrend

技術進歩 (Hadoop/セルフBI etc.)

データ活用の一般化

数字は見るけど操作は覚えたくない

自分でデータをいじりたい ITスキルはあまりない

自分でデータを解析する

ビッグデータ基盤ビッグデータ（データの量/種類/頻度の増加）への対応と、利用者の増加に合わせ、基盤は常に進化


データソースデータ格納プレゼンテーション利用者外部データ

Hadoop エコシステム

高度分析やモデル作成

レポート/モニタリング

ビジネスインサイト（マーケター）

機械学習やモデル実装

エンドユーザー (エグゼ／営業／マネージャ)

(プロデューサ／事業企画)

データサイエンティスト（高度分析者）

データサイエンティスト（エンジニア）

行動ログ

事業DB

事業Hadoop

全社DWH

中央Hadoop

• モニタリング • レポート • モデル作成

• データ収集 • 整形・加工 • データストレージ • 高速分析処理

Webアクセスログアプリログ

PUSH通知ログビーコンログ


PUSH

PUSH通知とはスマートデバイスを起動していなくても通知を送ることが出来る仕組み


Push! Push!

PUSH通知とはメールと同様に重要な集客ツール。


Push! Push!

メリットリアルタイムな情報配信ユーザのアクティブ率向上休眠ユーザの再起

デメリット過剰なプッシュによるユーザ離れのリスク実装の工数がかかる

PUSH通知基盤（Pusna RS）の全体構成 PUSH通知のメリットを最大限活かすための基盤を構築。


デバイス管理

プッシュ配信

APNs GCM

カスタマーリクルート

DynamoDB elasticsearch

登録API 登録Worker SQS

配信worker

操作用Web UI

管理API

SQS

配信担当者

データ基盤

事業サーバ

構成の仔細な説明はしないこの構成で1万/秒を超える配信を実現している

※ atmarkit

http://www.atmarkit.co.jp/ait/articles/1412/18/news022.html

デバイス管理

プッシュ配信

APNs GCM

カスタマーリクルート

DynamoDB elasticsearch

登録API 登録Worker SQS

配信worker

操作用Web UI

管理API

SQS

配信担当者

データ基盤

事業サーバ

ビッグデータ基盤との連携 PUSH配信基盤からビッグデータ基盤にリアルタイムに連携。既存のアプリケーション改修・影響なく連携を実現。


ビッグデータ基盤

ビッグデータ基盤用キュー


1. 自己紹介




5. まとめ


データソースデータ格納プレゼンテーション利用者外部データ

Hadoop エコシステム

高度分析やモデル作成

レポート/モニタリング

ビジネスインサイト（マーケター）

機械学習やモデル実装

エンドユーザー (エグゼ／営業／マネージャ)

(プロデューサ／事業企画)

データサイエンティスト（高度分析者）

データサイエンティスト（エンジニア）

行動ログ

事業DB

事業Hadoop

全社DWH

中央Hadoop

• モニタリング • レポート • モデル作成

• データ収集 • 整形・加工 • データストレージ • 高速分析処理

Webアクセスログアプリログ

PUSH通知ログビーコンログ

ビッグデータ活用に伴い…

(C) Recruit Technologies Co.,Ltd. All rights reserved.

データの質・量の増加利用者の増加

メタデータ管理Web構築の背景データ意味情報（メタデータ）の問い合わせに忙殺される。


会員情報はどこにある！？ XXの意味を教えてください！

利用者

テーブル定義書（ファイル）

DWH

実データの表示結果

Select * from XX limit 100 Select * from YY limit 100 Select * from ZZ limit 100 ・・・

開発者

データ管理担当

分からないです…

引用元）気がつくと机がぐちゃぐちゃになっているあなたへ ISBN 978-4-7942-1146-0

“平均的なビジネスマンは、探し物をするためだけに、１年間で約１５０時間を費やしている”

利用者がわかる形で回答

× ×

データの質・量の増加

利用者の増加

メタデータ管理Webの紹介


機能紹介



ココに来れば必要な情報があるという状態を作り出し、分析担当者のデータ特定に至る時間やシステム担当者の負担を軽減させる。

メタデータ管理Webで実現した世界

探す手間が省けるナレッジが共有される

依頼者



探す

メタデータ管理Web

DWH


問合せが減る！潜在的なニーズを拾える！

問合せが減る！自分のDBの最新情報が把握できる！

開発者

自動

自動

自動

メタデータWebの開発の進め方


①課題認識 ③要件定義・設計・開発

②F/S検証・効果算出

④運用・継続改善

F/S…

①課題認識背景にあった課題[再掲] データ定義の問い合わせに忙殺される時間を減らしたい！


どこかにまとまっていればいいのに！！

データ利用者


DWH

実データの表示結果

Select * from XX limit 100 Select * from YY limit 100 Select * from ZZ limit 100 ・・・

開発者


分からないです… 得られた情報を利用者がわかる形に変換して回答

× ×

これって自分だけ？？

②F/S検証・効果算出 → 起案簡単な仕組み（ MVP minimum viable product:実用最小限の製品）を開発、公開。


簡易システム構築・公開

convert

効果ありそう！検索機能の充実等、利用者が求めている機能もわかった！

DB管理者データ利用者 DB開発者

検索が便利！意味説明が

分かりやすい！統一の定義書がすぐ手に入る！

メモを残したい最新情報がない履歴が見たい

③要件定義・設計・開発利用者コメントや要望ヒアリングで肥大化かつ相反する要件に対し、キーワードを決め、絞り込み。


利用者目線で機能をあきらめ取捨選択

多機能 ≠使いやすい

「シンプルに使えること」をキーワードに機能選択

Standish Group Study Reported at XP2002 by Jim Johnson,

まったく使わな

い, 45%

めったに使わな

い, 19%

ときどき, 16%

よく使う, 13%

いつも使う, 7%

65%の機能が

使われない

④運用・機能改善速く機能を提供することで、継続的に利用される仕組みを実現。


小気味よいリリースでファンを増やす！ ※90日で200のリリースを実施

絞り込んだ機能のリリース

動かし/使い、フィードバックを得る

フィードバックから必要な機能を見極める

利用の推移平日は400回/日以上の利用があり、月間で計10,000回（300UU）を超えている。


年間50人月超の工数削減効果！（5分/回の工数削減効果）

＋問合せを受けるシステム管理者の工数削減！


1. 自己紹介




5. まとめ


まとめ


システム管理者だからできることはもっとあるはず。


ご清聴ありがとうございました。

Technology

リクルートのビッグデータ活用基盤とデータ活用に向けた取組み