44
ビックデータ×マーケティング 進化するデジタルマーケティングを支える ビックデータ活用基盤 2014 大阪 株式会社ゴルフダイジェスト・オンライン お客様体験デザイン本部 情報活用推進部 DB開発・行動分析チーム マネージャ 嘉松 孝友

[C11] ビックデータ×マーケティング 進化するディジタルマーケティングを支えるビックデータ活用基盤 by Takatomo Kamatsu

Embed Size (px)

DESCRIPTION

 

Citation preview

Page 1: [C11] ビックデータ×マーケティング 進化するディジタルマーケティングを支えるビックデータ活用基盤 by Takatomo Kamatsu

ビックデータtimesマーケティング 進化するデジタルマーケティングを支える ビックデータ活用基盤 2014 大阪

株式会社ゴルフダイジェストオンライン お客様体験デザイン本部 情報活用推進部 DB開発行動分析チーム マネージャ 嘉松 孝友

PC 携帯電話 スマートフォン タブレット 雑誌 店舗 ソーシャル

GDOとは

取扱商品点数 新品約10万点 中古約2万点

ゴルフ場予約 月間送客数 41万人1

スコア管理登録者数 443万人

月間注文件数 71700件1

GDOクラブ会員数 229万人

月間PV 15億PV1

アクティブ ブラウザ数

376万ブラウザ2

提携ゴルフ場数 1916コース

ユニークユーザー数 260万人3

来訪アクティブ会員数

432万人4

1過去最高値を公表数値としています

2 アクティブブラウザ数 当月中にGDOに来訪したブラウザ数 3 ユニークユーザー数 当月中に当社サービスにアクセスしたユーザー数 4 来訪アクティブ会員数 会員の当月のユニーク来訪者数

lt2013年9月末時点gt

総ビジター数 1242万V1

公式フェイスブック 85188いいね

GDOの規模感

自己紹介

嘉松孝友 Takatomo Kamatsu

19720510 7年

O型

1745cm

654kg

ベストスコア 75 (前回 88)

神奈川県

ゴルフのきっかけ ゴルフ好きの上司に誘われて

好きなゴルファー 中部銀次郎

よかったこと 中部銀次郎 異業種世代を超えた交友関係が広まった

(1997年~)印刷会社の受注システム開発(VMS)

(1998年~)製薬会社の営業支援システム開発

(2002年~)ビールメーカの物流システム開発商社のPMO

1ビックデータがマーケティングで利用される背景

2GDOのビックデータ活用の軌跡と活用事例

3ビックデータ活用を支える基盤と今後の展開

今日のセッションで紹介すること

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

ビックデータがマーケティングで利用される背景

2011年

2014年

2012年

2013年

ビックデータを取り巻く変化

「モノ不足」時代 「モノ余り」時代 「ビックデータ」時代 「デジタルマーケティング」時代

キーワード 大量生産大量消費 主導権は提供者

主導権は消費者 (メーカーrArr小売り)

顧客視点 ユーザニーズの把握 消費者の価値観が多様化

ビックデータ 顧客のインサイトを知る rArr 分析

マーケティング オートメーション

マーケティング対象 大衆(マス) セグメント別 個客 個客

マーケティング手法 マスマーケティング ブランディング

セグメントマーケティング One to Oneマーケティング One to One マーケティング

+ オートメーション

DB 集計見える化 データベースマーケティング (会員情報times購買履歴)

データベースマーケティング (会員情報times購買履歴times行動履歴)

テクノロジ データウェハウス(DWH) ビジネスインテリジェンス(BI)

アクセス解析 データサイエンティスト HadoopNoSQL クラウド

キャンペーンマネージメント パーソナライズ 機械学習 レコメンドエンジン プライベートDMP

その他 ポイントカード 会員データベース POS プライベートブランドSPA 「お願いランキングGOLD」レトルト食品総選挙

カスタマージャーニー O2O ショールーミング スマートフォン

オムニチャネル

ビックデータがマーケティングで利用される背景

ビックデータ企業が他社と差別化できる数少ない武器 企業の生き残りが掛かっている

流通小売業にとって目下最大の脅威は「ショールーミング」 リアル店舗で商品をチェックしてネットで購入するという消費者行動スマホの普及で加速

米MacyrsquosのCEOは2011年に「オムニチャネル企業を目指す」と宣言

経営不振からの脱却

お客様体験デザイン

全ての顧客接点でシームレスで一貫性のある個客ごとに最適化された顧客体験を提供することでロイヤリティの獲得ブランドエクイティを向上させる戦略その取り組み

オムニチャネル戦略

購買履歴や会員情報といったこれまで分かっていた情報に加えて全ての顧客接点から取得した行動履歴から来訪したが購買に至らなかったといったこれまでは見えなかった見ることが難しかった情報から顧客の姿を捉えることが必要になる

既存顧客 (見える姿)

既存顧客 (見えない姿)

来店したが購入しなかった人

潜在顧客

購入してくれそうな人

購買履歴

会員情報

サイトアクセスログ メール配信ログ CS問合ログ

従来見えなかった顧客の姿や潜在顧客の発掘

会員情報と購買履歴によるセグメンテーションでは同じセグメントでもサイトの行動履歴を加えたセグメンテーションではセグメントは異なってくる

会員情報購買履歴

最新購入日2か月以内 購買頻度過去1年間で3回以上 過去の購入金額10万円以上 40代男性

行動履歴

1ヶ月以内にサイトアクセス

RFM分析などでは同じセグメント

1週間以内に3回サイトアクセスカートに商品を入れている

1ヶ月以上サイトアクセスなし

ホントに同じセグメントでいいの

A B C A B C

例行動履歴を利用した顧客セグメント

お客様体験デザインとは 「全ての顧客接点でシームレスで一貫性のある最適化された顧客体験を提供する」 その仕組みをデザインすること

タイミングの最適化

セグメントの最適化

コンテンツの最適化

チャネルの最適化

顧客接点最適化の4要素

いつ接点を持つのか

誰に対して接点を持つのか

何を提供するのか

どの経路で 接点を持つのか

bull ゴルフ場予約の翌日商品購入後1週間後 bull プレーの前日 bull 商品詳細ページ閲覧の翌日 bull 商品をカートに放置した3日後 bull メール未開封が1か月経過した後 bull 東京神奈川埼玉千葉在住の男性 bull 過去にコンペを3回以上予約している会員 bull 過去に10万円以上購買実績があるが過去半年購買経

験がない離脱予備軍 bull セール商品の商品ページを過去1週間以内に閲覧した会員

bull 関心のあるブランドの商品をお薦め(レコメンド) bull 消耗品(ボールグローブティ)の販促 bull セール商品のお知らせ bull キャンペーンのお知らせ bull クーポンの提供

bull 自社サイト bull メール bull 検索エンジン(SEO) bull リスティング広告 bull リターゲティング広告

bull ディスプレイ広告 bull アフィリエイト広告 bull 電話 bull マスメディア bull リアルプロモーション

顧客接点最適化の4要素

仮説 セグメンテーショ

ン 実行 効果検証

3W1H 「誰に」「いつ」「何を」 「どのように」接点を持つか

自動化 モニタリング 廃止

+ Seve

顧客をセグメントし対象者を抽出

Responsys R2AD Rtoaster iOneでテストマーケティングを実行

効果検証を実施

全ての顧客接点でシームレスで一貫性のある最適化された顧客体験を提供するといっても PDCA+自動化のサイクルを回し変化する顧客のニーズを把握する継続的な取り組みが最重要

人(知恵) データ

体系化=システム化 暗黙知 rArr 形式知

継続的な効果検証チューニング

データ

知恵

テクノロジ

お客様体験デザインプロセス

予約版 Seve

ショップ版 Seve

会員版 Seve

予約 履歴

会員 マスタ

購買 履歴

会員 マスタ

会員 マスタ

予約 サマリ

購買 サマリ

統合版 Seve

会員 マスタ

購買 明細

予約 明細

アクセス

ログ

メール配信ログ

レコメンドデータ

広告配信 ログ

CS問合 ログ

あらゆるチャネルのデータを統合した顧客の360degView

Seve(会員分析抽出ツール)

初回来訪(リスティング経由)

会員登録

商品詳細ページ閲覧(メルマガ経由)

CS問合せ

商品レビュー投稿

再来訪(リターゲティング経由)

メルマガ配信開封

口コミ(商品レビュー)閲覧

初回購入(ドライバー)

会員情報トランザクションデータ(購買履歴予約履歴)行動履歴(サイトアクセスログ等)を統合することで個客一人一人のタイムライン(カスタマージャーニー)を作ることできる 統合版Seveにより自由にセグメンテーション対象者抽出が可能となる

Seve(会員分析抽出ツール)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

GDOのビックデータ活用の軌跡と活用事例

2009 2010 2011 2012 2013 DWHBIリリース 大リニューアル(G10)

KPIレポート

ゴルフ場営業支援レポート

新ゴルフ場営業支援レポート

MD分析プラットフォーム

Phil(閲覧ページ会員属性分析ツール)

Rtoaster連携

人気ゴルフ場ランキング

ショップレビューランキング

Seve(メルマガ対象者抽出ツール)

R2AD連携

Responsys連携

1114 GoogleShopping連携

全社データ活用基盤として2010年5月にリリースしたDWHBIG10プロジェクトで大幅なリニューアルを実施し現在では当初の目的である社内データの「見える化」に加えて日常業務での「分析意思決定支援」での活用そしてランキングといった自社サイトでの利用や広告配信システムとの連携といった「デジタルマーケティング活用」とその活用範囲を拡大してきている

デジタルマーケティング (売上向上)

分析意思決定支援 (業務効率化高度化)

集計見える化

DWHBI活用の軌跡

E-Commerce

ゴルフ場予約事業

OLAP分析

GBDP

ゴルフ場営業 サポート

KPIマネジメント

予実管理

BI Platform

ゴルフ場予約

連携システム

会員管理

ERP

スコア管理

ワークフロー

広告営業管理

DWH

DWH Platform

ETL

Data Stage

ログ解析システム

アクセス ログデータ

Digital Marketing Platform

アウトバウンドマーケティング

顧客抽出ツール(Seve)

ゴルフ場向 営業支援帳票

インバウンドマーケティング

統合レコメンドエンジン

GDOサイト

EC事業

MD分析 プラットフォーム

受注発注分析

在庫欠品分析

会員属性と連携した広告配信システム

広告配信システム

ECショッピングモール (Google Shopping)

会員分析

統計解析

IBM SPSS R

社外データ

システム構成(2013年11月13日時点)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

数字で見るDWH

J

データ量

6TBytes

DWHに格納されているデータ量は2013年11月現在で6TByteですSybase IQのデータ圧縮機能により約20に圧縮され保存されています

連携システム数

22システム

DWHは社内社外の21のシステムとデータ連携を行っています連携しているデータの種類(IF数)は300にものぼります

テーブル数

1400 テーブル

DWHが各種システムから取得したデータはETL処理により取込用途ごとに集計され1400のテーブルに格納されています

利用者数

BI 50ユーザ

ODBC 200ユーザ

全社員400人中50人が日々BIツールを業務で活用200人がODBC接続でExcelやAccessを活用しています

ジョブ数

1200ジョブ

DWHでは日々1200のバッチ処理が行われています全てのジョブがジョブ管理ツールにより制御されエラー発生時には即座にメールが送信されます

バッチ処理時間

10時間

日次のバッチ処理にかかる時間は約8時間ですバックアップにかかる時間はその中で1時間半を占めます

バッチ処理(JP1)

HP StorageWorks MSA2312fc x 4 (2009) HDD48 Size28TB

DWH Server(SybaseIQ)

HP ProLiant DL380 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM320GB HDD136GB OS Windows Server 2003 SE SP2 (x64)

HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM180GB HDD416GB OS Windows Server 2003 EE SP2(32bit)

ETL Server(DataStage)

HP ProLiant DL380 G6 (2009) CPU Intelreg Xeonreg Processor E5540 CPU2 Core8 MEM620GB HDD136GB OS Windows Server 2008 EE SP2 (x64)

BI Server(MicroStrategy)

本番環境

HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 of CPU1 of cores2 MEM320GB HDD694GB OS Windows Server 2003 SE SP2 (x64)

DWH Server(SybaseIQ)

開発環境

Strage

DWHBIを支えるインフラ

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Seve(メルマガターゲティングツール)

会員情報 times 購買履歴予約履歴 会員情報(性別年代)と過去の購買履歴からターゲティング

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Seve(メルマガターゲティングツール)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Phil(サイト来訪者分析ツール)

会員情報 times アクセスログ アクセスログ(サイト閲覧履歴)から会員情報(性別年代)を分析

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Phil(サイト来訪者分析ツール)

値下げお知らせメール

今日からセールになる商品を『直近1週間に閲覧』し『直近1ヶ月以内にその商品を購入していない』お客様に対してセールになった事を伝えるメールを配信

CTR(来訪率) 約25~30 レギュラーメール 2~25

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

サイト利用

マーケティングシステム連携

広告配信システム(DSP) (リターゲティング広告)

レコメンドエンジン (自社サイトパーソナライズ)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

データ活用を進めるための3つのポイント

進化のための安定

進化のための安定

進化のための安定

DWH起因 他システム起因 サービス停止

2012年1月 5 5 0

2012年2月 2 5 3

2012年3月 4 1 2

2012年4月 1 1 0

2012年5月 4 1 0

2012年6月 3 4 0

2012年7月 1 6 1

2012年8月 1 3 1

2012年9月 1 2 0

2012年10月 3 0 1

2012年11月 1 1 1

2012年12月 3 3 1

2013年1月 2 1 0

2013年2月 1 1 0

2013年3月 1 2 1

2013年4月 1 1 1

2013年5月 0 2 2

2013年6月 2 2 1

合計 36 41 15

DWH起因の障害原因 バグ

人的ミス

OSミドルウェア障害

他システム起因の障害原因

データ連携遅延

他システム連携エラー(API)

データ不備

東京都

千葉県 (33633) 神奈川県

(7422)

茨城県 (15654)

栃木県 (12026)

群馬県 (7124)

埼玉県 (15028)

静岡県

15800

16955

2990 19498

34817

8739

2058

38330

21772

21067

16634

自由研究(20ルール)①

会員居住地と予約されたゴルフ場の場所(関東地方編)

予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか

自由研究(20ルール)②

EC 商品ジャンル別のクラスタリング分析 (R)

自由研究(20ルール)③

マイクロストラテジー ビジュアルインサイト

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

自由研究(20ルール)④

Mahoutを利用したレコメンドエンジンの開発

データ活用推進を阻む大きな壁データ活用の需要と供給

供給 需要 < 供給 需要 >

システム データ活用リテラシー < システム データ活用リテラシー >

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

ビックデータ活用を支える基盤と今後の展開

E-Commerce

EC事業

ゴルフ場予約事業

OLAP分析

GBDP

ゴルフ場営業 サポート

会員分析

KPIマネジメント

予実管理

ゴルフ場向 営業支援帳票

BI Platform

MD分析 プラットフォーム

受注発注分析

在庫欠品分析

社外データ

ゴルフ場予約

連携システム

会員管理

ERP

スコア管理

ワークフロー

広告営業管理

GDOサイト

統合レコメンドエンジン

Digital Marketing Platform

統計解析

IBM SPSS R

DWH

DWH Platform

ETL

Data Stage

ログ解析システム

アクセス ログデータ

Hadoop Platform

HDFS

Hive

インバウンドマーケティング

アウトバウンドマーケティング

顧客抽出ツール(Seve)

キャンペーンマネージメントシステム

会員属性と連携した広告配信システム

広告配信システム

ECショッピングモール (Google Shopping)

マーケティングオートメーション(2013年11月14日時点)

Amazon Web Service Amazon VPC(Virtual Private Cloud)

プライベートサブネット

GDO社内

キャンペーン マネージメント

スレーブノード (m1large) times3(Datanode)

Amazon EC2

アクセス ログデータ

ログ解析 システム

マスターノード(m1large) times3台(ClientActiveStandby)

Standby (EC2)

NameNode JournalNode

HDFS (EBS) 500GB

HDFS (EBS) 500GB

DataNode TasKTracker

DataNode TaskTracker

(EC2)

HDFS (EBS) 500GB

DataNode TaskTracker

Active (EC2)

Client (EC2)

(EC2) (EC2)

Client JournalNode Hive

NameNode JournalNode

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

Hadoop システム構成

Hadoop + Hive

なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった

② タダ(無料)だから

③ 使ってみたかった

Hadoopを利用してみて分かったこと

意外と安定している

HiveQLには制限は少ない(SELECT)

開発生産性は高い

クラウドなのでスケールアウトはとっても簡単いろんな意味で

更新削除は出来ない

レスポンスは遅い

Hadoop + Hive のベストプラクティス

バッチ処理

R2AD Responsys Ignision One

DWH Seve

基幹システム

WEB ログシステム

Rtoaster

リスティングディスプレイリマーケティング メール レコメンド

LPO

顧客抽出

ログレスポンスデータ

トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある

DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)

お客様の行動に合わせた高度なマーケティングを実行するためには

Ad CRM

DWH

RI Rtoas

ter

R2AD iOne

基幹 システム

WEB ログシステム

データの集中と相互利用

今後のデジタルマーケティング時代に求められるDWH

製品選定

GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける

② 移行性を重視する

③ 当然ですが最小の費用で最大の効果を

ご清聴ありがとうございました

Page 2: [C11] ビックデータ×マーケティング 進化するディジタルマーケティングを支えるビックデータ活用基盤 by Takatomo Kamatsu

PC 携帯電話 スマートフォン タブレット 雑誌 店舗 ソーシャル

GDOとは

取扱商品点数 新品約10万点 中古約2万点

ゴルフ場予約 月間送客数 41万人1

スコア管理登録者数 443万人

月間注文件数 71700件1

GDOクラブ会員数 229万人

月間PV 15億PV1

アクティブ ブラウザ数

376万ブラウザ2

提携ゴルフ場数 1916コース

ユニークユーザー数 260万人3

来訪アクティブ会員数

432万人4

1過去最高値を公表数値としています

2 アクティブブラウザ数 当月中にGDOに来訪したブラウザ数 3 ユニークユーザー数 当月中に当社サービスにアクセスしたユーザー数 4 来訪アクティブ会員数 会員の当月のユニーク来訪者数

lt2013年9月末時点gt

総ビジター数 1242万V1

公式フェイスブック 85188いいね

GDOの規模感

自己紹介

嘉松孝友 Takatomo Kamatsu

19720510 7年

O型

1745cm

654kg

ベストスコア 75 (前回 88)

神奈川県

ゴルフのきっかけ ゴルフ好きの上司に誘われて

好きなゴルファー 中部銀次郎

よかったこと 中部銀次郎 異業種世代を超えた交友関係が広まった

(1997年~)印刷会社の受注システム開発(VMS)

(1998年~)製薬会社の営業支援システム開発

(2002年~)ビールメーカの物流システム開発商社のPMO

1ビックデータがマーケティングで利用される背景

2GDOのビックデータ活用の軌跡と活用事例

3ビックデータ活用を支える基盤と今後の展開

今日のセッションで紹介すること

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

ビックデータがマーケティングで利用される背景

2011年

2014年

2012年

2013年

ビックデータを取り巻く変化

「モノ不足」時代 「モノ余り」時代 「ビックデータ」時代 「デジタルマーケティング」時代

キーワード 大量生産大量消費 主導権は提供者

主導権は消費者 (メーカーrArr小売り)

顧客視点 ユーザニーズの把握 消費者の価値観が多様化

ビックデータ 顧客のインサイトを知る rArr 分析

マーケティング オートメーション

マーケティング対象 大衆(マス) セグメント別 個客 個客

マーケティング手法 マスマーケティング ブランディング

セグメントマーケティング One to Oneマーケティング One to One マーケティング

+ オートメーション

DB 集計見える化 データベースマーケティング (会員情報times購買履歴)

データベースマーケティング (会員情報times購買履歴times行動履歴)

テクノロジ データウェハウス(DWH) ビジネスインテリジェンス(BI)

アクセス解析 データサイエンティスト HadoopNoSQL クラウド

キャンペーンマネージメント パーソナライズ 機械学習 レコメンドエンジン プライベートDMP

その他 ポイントカード 会員データベース POS プライベートブランドSPA 「お願いランキングGOLD」レトルト食品総選挙

カスタマージャーニー O2O ショールーミング スマートフォン

オムニチャネル

ビックデータがマーケティングで利用される背景

ビックデータ企業が他社と差別化できる数少ない武器 企業の生き残りが掛かっている

流通小売業にとって目下最大の脅威は「ショールーミング」 リアル店舗で商品をチェックしてネットで購入するという消費者行動スマホの普及で加速

米MacyrsquosのCEOは2011年に「オムニチャネル企業を目指す」と宣言

経営不振からの脱却

お客様体験デザイン

全ての顧客接点でシームレスで一貫性のある個客ごとに最適化された顧客体験を提供することでロイヤリティの獲得ブランドエクイティを向上させる戦略その取り組み

オムニチャネル戦略

購買履歴や会員情報といったこれまで分かっていた情報に加えて全ての顧客接点から取得した行動履歴から来訪したが購買に至らなかったといったこれまでは見えなかった見ることが難しかった情報から顧客の姿を捉えることが必要になる

既存顧客 (見える姿)

既存顧客 (見えない姿)

来店したが購入しなかった人

潜在顧客

購入してくれそうな人

購買履歴

会員情報

サイトアクセスログ メール配信ログ CS問合ログ

従来見えなかった顧客の姿や潜在顧客の発掘

会員情報と購買履歴によるセグメンテーションでは同じセグメントでもサイトの行動履歴を加えたセグメンテーションではセグメントは異なってくる

会員情報購買履歴

最新購入日2か月以内 購買頻度過去1年間で3回以上 過去の購入金額10万円以上 40代男性

行動履歴

1ヶ月以内にサイトアクセス

RFM分析などでは同じセグメント

1週間以内に3回サイトアクセスカートに商品を入れている

1ヶ月以上サイトアクセスなし

ホントに同じセグメントでいいの

A B C A B C

例行動履歴を利用した顧客セグメント

お客様体験デザインとは 「全ての顧客接点でシームレスで一貫性のある最適化された顧客体験を提供する」 その仕組みをデザインすること

タイミングの最適化

セグメントの最適化

コンテンツの最適化

チャネルの最適化

顧客接点最適化の4要素

いつ接点を持つのか

誰に対して接点を持つのか

何を提供するのか

どの経路で 接点を持つのか

bull ゴルフ場予約の翌日商品購入後1週間後 bull プレーの前日 bull 商品詳細ページ閲覧の翌日 bull 商品をカートに放置した3日後 bull メール未開封が1か月経過した後 bull 東京神奈川埼玉千葉在住の男性 bull 過去にコンペを3回以上予約している会員 bull 過去に10万円以上購買実績があるが過去半年購買経

験がない離脱予備軍 bull セール商品の商品ページを過去1週間以内に閲覧した会員

bull 関心のあるブランドの商品をお薦め(レコメンド) bull 消耗品(ボールグローブティ)の販促 bull セール商品のお知らせ bull キャンペーンのお知らせ bull クーポンの提供

bull 自社サイト bull メール bull 検索エンジン(SEO) bull リスティング広告 bull リターゲティング広告

bull ディスプレイ広告 bull アフィリエイト広告 bull 電話 bull マスメディア bull リアルプロモーション

顧客接点最適化の4要素

仮説 セグメンテーショ

ン 実行 効果検証

3W1H 「誰に」「いつ」「何を」 「どのように」接点を持つか

自動化 モニタリング 廃止

+ Seve

顧客をセグメントし対象者を抽出

Responsys R2AD Rtoaster iOneでテストマーケティングを実行

効果検証を実施

全ての顧客接点でシームレスで一貫性のある最適化された顧客体験を提供するといっても PDCA+自動化のサイクルを回し変化する顧客のニーズを把握する継続的な取り組みが最重要

人(知恵) データ

体系化=システム化 暗黙知 rArr 形式知

継続的な効果検証チューニング

データ

知恵

テクノロジ

お客様体験デザインプロセス

予約版 Seve

ショップ版 Seve

会員版 Seve

予約 履歴

会員 マスタ

購買 履歴

会員 マスタ

会員 マスタ

予約 サマリ

購買 サマリ

統合版 Seve

会員 マスタ

購買 明細

予約 明細

アクセス

ログ

メール配信ログ

レコメンドデータ

広告配信 ログ

CS問合 ログ

あらゆるチャネルのデータを統合した顧客の360degView

Seve(会員分析抽出ツール)

初回来訪(リスティング経由)

会員登録

商品詳細ページ閲覧(メルマガ経由)

CS問合せ

商品レビュー投稿

再来訪(リターゲティング経由)

メルマガ配信開封

口コミ(商品レビュー)閲覧

初回購入(ドライバー)

会員情報トランザクションデータ(購買履歴予約履歴)行動履歴(サイトアクセスログ等)を統合することで個客一人一人のタイムライン(カスタマージャーニー)を作ることできる 統合版Seveにより自由にセグメンテーション対象者抽出が可能となる

Seve(会員分析抽出ツール)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

GDOのビックデータ活用の軌跡と活用事例

2009 2010 2011 2012 2013 DWHBIリリース 大リニューアル(G10)

KPIレポート

ゴルフ場営業支援レポート

新ゴルフ場営業支援レポート

MD分析プラットフォーム

Phil(閲覧ページ会員属性分析ツール)

Rtoaster連携

人気ゴルフ場ランキング

ショップレビューランキング

Seve(メルマガ対象者抽出ツール)

R2AD連携

Responsys連携

1114 GoogleShopping連携

全社データ活用基盤として2010年5月にリリースしたDWHBIG10プロジェクトで大幅なリニューアルを実施し現在では当初の目的である社内データの「見える化」に加えて日常業務での「分析意思決定支援」での活用そしてランキングといった自社サイトでの利用や広告配信システムとの連携といった「デジタルマーケティング活用」とその活用範囲を拡大してきている

デジタルマーケティング (売上向上)

分析意思決定支援 (業務効率化高度化)

集計見える化

DWHBI活用の軌跡

E-Commerce

ゴルフ場予約事業

OLAP分析

GBDP

ゴルフ場営業 サポート

KPIマネジメント

予実管理

BI Platform

ゴルフ場予約

連携システム

会員管理

ERP

スコア管理

ワークフロー

広告営業管理

DWH

DWH Platform

ETL

Data Stage

ログ解析システム

アクセス ログデータ

Digital Marketing Platform

アウトバウンドマーケティング

顧客抽出ツール(Seve)

ゴルフ場向 営業支援帳票

インバウンドマーケティング

統合レコメンドエンジン

GDOサイト

EC事業

MD分析 プラットフォーム

受注発注分析

在庫欠品分析

会員属性と連携した広告配信システム

広告配信システム

ECショッピングモール (Google Shopping)

会員分析

統計解析

IBM SPSS R

社外データ

システム構成(2013年11月13日時点)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

数字で見るDWH

J

データ量

6TBytes

DWHに格納されているデータ量は2013年11月現在で6TByteですSybase IQのデータ圧縮機能により約20に圧縮され保存されています

連携システム数

22システム

DWHは社内社外の21のシステムとデータ連携を行っています連携しているデータの種類(IF数)は300にものぼります

テーブル数

1400 テーブル

DWHが各種システムから取得したデータはETL処理により取込用途ごとに集計され1400のテーブルに格納されています

利用者数

BI 50ユーザ

ODBC 200ユーザ

全社員400人中50人が日々BIツールを業務で活用200人がODBC接続でExcelやAccessを活用しています

ジョブ数

1200ジョブ

DWHでは日々1200のバッチ処理が行われています全てのジョブがジョブ管理ツールにより制御されエラー発生時には即座にメールが送信されます

バッチ処理時間

10時間

日次のバッチ処理にかかる時間は約8時間ですバックアップにかかる時間はその中で1時間半を占めます

バッチ処理(JP1)

HP StorageWorks MSA2312fc x 4 (2009) HDD48 Size28TB

DWH Server(SybaseIQ)

HP ProLiant DL380 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM320GB HDD136GB OS Windows Server 2003 SE SP2 (x64)

HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM180GB HDD416GB OS Windows Server 2003 EE SP2(32bit)

ETL Server(DataStage)

HP ProLiant DL380 G6 (2009) CPU Intelreg Xeonreg Processor E5540 CPU2 Core8 MEM620GB HDD136GB OS Windows Server 2008 EE SP2 (x64)

BI Server(MicroStrategy)

本番環境

HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 of CPU1 of cores2 MEM320GB HDD694GB OS Windows Server 2003 SE SP2 (x64)

DWH Server(SybaseIQ)

開発環境

Strage

DWHBIを支えるインフラ

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Seve(メルマガターゲティングツール)

会員情報 times 購買履歴予約履歴 会員情報(性別年代)と過去の購買履歴からターゲティング

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Seve(メルマガターゲティングツール)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Phil(サイト来訪者分析ツール)

会員情報 times アクセスログ アクセスログ(サイト閲覧履歴)から会員情報(性別年代)を分析

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Phil(サイト来訪者分析ツール)

値下げお知らせメール

今日からセールになる商品を『直近1週間に閲覧』し『直近1ヶ月以内にその商品を購入していない』お客様に対してセールになった事を伝えるメールを配信

CTR(来訪率) 約25~30 レギュラーメール 2~25

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

サイト利用

マーケティングシステム連携

広告配信システム(DSP) (リターゲティング広告)

レコメンドエンジン (自社サイトパーソナライズ)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

データ活用を進めるための3つのポイント

進化のための安定

進化のための安定

進化のための安定

DWH起因 他システム起因 サービス停止

2012年1月 5 5 0

2012年2月 2 5 3

2012年3月 4 1 2

2012年4月 1 1 0

2012年5月 4 1 0

2012年6月 3 4 0

2012年7月 1 6 1

2012年8月 1 3 1

2012年9月 1 2 0

2012年10月 3 0 1

2012年11月 1 1 1

2012年12月 3 3 1

2013年1月 2 1 0

2013年2月 1 1 0

2013年3月 1 2 1

2013年4月 1 1 1

2013年5月 0 2 2

2013年6月 2 2 1

合計 36 41 15

DWH起因の障害原因 バグ

人的ミス

OSミドルウェア障害

他システム起因の障害原因

データ連携遅延

他システム連携エラー(API)

データ不備

東京都

千葉県 (33633) 神奈川県

(7422)

茨城県 (15654)

栃木県 (12026)

群馬県 (7124)

埼玉県 (15028)

静岡県

15800

16955

2990 19498

34817

8739

2058

38330

21772

21067

16634

自由研究(20ルール)①

会員居住地と予約されたゴルフ場の場所(関東地方編)

予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか

自由研究(20ルール)②

EC 商品ジャンル別のクラスタリング分析 (R)

自由研究(20ルール)③

マイクロストラテジー ビジュアルインサイト

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

自由研究(20ルール)④

Mahoutを利用したレコメンドエンジンの開発

データ活用推進を阻む大きな壁データ活用の需要と供給

供給 需要 < 供給 需要 >

システム データ活用リテラシー < システム データ活用リテラシー >

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

ビックデータ活用を支える基盤と今後の展開

E-Commerce

EC事業

ゴルフ場予約事業

OLAP分析

GBDP

ゴルフ場営業 サポート

会員分析

KPIマネジメント

予実管理

ゴルフ場向 営業支援帳票

BI Platform

MD分析 プラットフォーム

受注発注分析

在庫欠品分析

社外データ

ゴルフ場予約

連携システム

会員管理

ERP

スコア管理

ワークフロー

広告営業管理

GDOサイト

統合レコメンドエンジン

Digital Marketing Platform

統計解析

IBM SPSS R

DWH

DWH Platform

ETL

Data Stage

ログ解析システム

アクセス ログデータ

Hadoop Platform

HDFS

Hive

インバウンドマーケティング

アウトバウンドマーケティング

顧客抽出ツール(Seve)

キャンペーンマネージメントシステム

会員属性と連携した広告配信システム

広告配信システム

ECショッピングモール (Google Shopping)

マーケティングオートメーション(2013年11月14日時点)

Amazon Web Service Amazon VPC(Virtual Private Cloud)

プライベートサブネット

GDO社内

キャンペーン マネージメント

スレーブノード (m1large) times3(Datanode)

Amazon EC2

アクセス ログデータ

ログ解析 システム

マスターノード(m1large) times3台(ClientActiveStandby)

Standby (EC2)

NameNode JournalNode

HDFS (EBS) 500GB

HDFS (EBS) 500GB

DataNode TasKTracker

DataNode TaskTracker

(EC2)

HDFS (EBS) 500GB

DataNode TaskTracker

Active (EC2)

Client (EC2)

(EC2) (EC2)

Client JournalNode Hive

NameNode JournalNode

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

Hadoop システム構成

Hadoop + Hive

なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった

② タダ(無料)だから

③ 使ってみたかった

Hadoopを利用してみて分かったこと

意外と安定している

HiveQLには制限は少ない(SELECT)

開発生産性は高い

クラウドなのでスケールアウトはとっても簡単いろんな意味で

更新削除は出来ない

レスポンスは遅い

Hadoop + Hive のベストプラクティス

バッチ処理

R2AD Responsys Ignision One

DWH Seve

基幹システム

WEB ログシステム

Rtoaster

リスティングディスプレイリマーケティング メール レコメンド

LPO

顧客抽出

ログレスポンスデータ

トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある

DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)

お客様の行動に合わせた高度なマーケティングを実行するためには

Ad CRM

DWH

RI Rtoas

ter

R2AD iOne

基幹 システム

WEB ログシステム

データの集中と相互利用

今後のデジタルマーケティング時代に求められるDWH

製品選定

GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける

② 移行性を重視する

③ 当然ですが最小の費用で最大の効果を

ご清聴ありがとうございました

Page 3: [C11] ビックデータ×マーケティング 進化するディジタルマーケティングを支えるビックデータ活用基盤 by Takatomo Kamatsu

取扱商品点数 新品約10万点 中古約2万点

ゴルフ場予約 月間送客数 41万人1

スコア管理登録者数 443万人

月間注文件数 71700件1

GDOクラブ会員数 229万人

月間PV 15億PV1

アクティブ ブラウザ数

376万ブラウザ2

提携ゴルフ場数 1916コース

ユニークユーザー数 260万人3

来訪アクティブ会員数

432万人4

1過去最高値を公表数値としています

2 アクティブブラウザ数 当月中にGDOに来訪したブラウザ数 3 ユニークユーザー数 当月中に当社サービスにアクセスしたユーザー数 4 来訪アクティブ会員数 会員の当月のユニーク来訪者数

lt2013年9月末時点gt

総ビジター数 1242万V1

公式フェイスブック 85188いいね

GDOの規模感

自己紹介

嘉松孝友 Takatomo Kamatsu

19720510 7年

O型

1745cm

654kg

ベストスコア 75 (前回 88)

神奈川県

ゴルフのきっかけ ゴルフ好きの上司に誘われて

好きなゴルファー 中部銀次郎

よかったこと 中部銀次郎 異業種世代を超えた交友関係が広まった

(1997年~)印刷会社の受注システム開発(VMS)

(1998年~)製薬会社の営業支援システム開発

(2002年~)ビールメーカの物流システム開発商社のPMO

1ビックデータがマーケティングで利用される背景

2GDOのビックデータ活用の軌跡と活用事例

3ビックデータ活用を支える基盤と今後の展開

今日のセッションで紹介すること

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

ビックデータがマーケティングで利用される背景

2011年

2014年

2012年

2013年

ビックデータを取り巻く変化

「モノ不足」時代 「モノ余り」時代 「ビックデータ」時代 「デジタルマーケティング」時代

キーワード 大量生産大量消費 主導権は提供者

主導権は消費者 (メーカーrArr小売り)

顧客視点 ユーザニーズの把握 消費者の価値観が多様化

ビックデータ 顧客のインサイトを知る rArr 分析

マーケティング オートメーション

マーケティング対象 大衆(マス) セグメント別 個客 個客

マーケティング手法 マスマーケティング ブランディング

セグメントマーケティング One to Oneマーケティング One to One マーケティング

+ オートメーション

DB 集計見える化 データベースマーケティング (会員情報times購買履歴)

データベースマーケティング (会員情報times購買履歴times行動履歴)

テクノロジ データウェハウス(DWH) ビジネスインテリジェンス(BI)

アクセス解析 データサイエンティスト HadoopNoSQL クラウド

キャンペーンマネージメント パーソナライズ 機械学習 レコメンドエンジン プライベートDMP

その他 ポイントカード 会員データベース POS プライベートブランドSPA 「お願いランキングGOLD」レトルト食品総選挙

カスタマージャーニー O2O ショールーミング スマートフォン

オムニチャネル

ビックデータがマーケティングで利用される背景

ビックデータ企業が他社と差別化できる数少ない武器 企業の生き残りが掛かっている

流通小売業にとって目下最大の脅威は「ショールーミング」 リアル店舗で商品をチェックしてネットで購入するという消費者行動スマホの普及で加速

米MacyrsquosのCEOは2011年に「オムニチャネル企業を目指す」と宣言

経営不振からの脱却

お客様体験デザイン

全ての顧客接点でシームレスで一貫性のある個客ごとに最適化された顧客体験を提供することでロイヤリティの獲得ブランドエクイティを向上させる戦略その取り組み

オムニチャネル戦略

購買履歴や会員情報といったこれまで分かっていた情報に加えて全ての顧客接点から取得した行動履歴から来訪したが購買に至らなかったといったこれまでは見えなかった見ることが難しかった情報から顧客の姿を捉えることが必要になる

既存顧客 (見える姿)

既存顧客 (見えない姿)

来店したが購入しなかった人

潜在顧客

購入してくれそうな人

購買履歴

会員情報

サイトアクセスログ メール配信ログ CS問合ログ

従来見えなかった顧客の姿や潜在顧客の発掘

会員情報と購買履歴によるセグメンテーションでは同じセグメントでもサイトの行動履歴を加えたセグメンテーションではセグメントは異なってくる

会員情報購買履歴

最新購入日2か月以内 購買頻度過去1年間で3回以上 過去の購入金額10万円以上 40代男性

行動履歴

1ヶ月以内にサイトアクセス

RFM分析などでは同じセグメント

1週間以内に3回サイトアクセスカートに商品を入れている

1ヶ月以上サイトアクセスなし

ホントに同じセグメントでいいの

A B C A B C

例行動履歴を利用した顧客セグメント

お客様体験デザインとは 「全ての顧客接点でシームレスで一貫性のある最適化された顧客体験を提供する」 その仕組みをデザインすること

タイミングの最適化

セグメントの最適化

コンテンツの最適化

チャネルの最適化

顧客接点最適化の4要素

いつ接点を持つのか

誰に対して接点を持つのか

何を提供するのか

どの経路で 接点を持つのか

bull ゴルフ場予約の翌日商品購入後1週間後 bull プレーの前日 bull 商品詳細ページ閲覧の翌日 bull 商品をカートに放置した3日後 bull メール未開封が1か月経過した後 bull 東京神奈川埼玉千葉在住の男性 bull 過去にコンペを3回以上予約している会員 bull 過去に10万円以上購買実績があるが過去半年購買経

験がない離脱予備軍 bull セール商品の商品ページを過去1週間以内に閲覧した会員

bull 関心のあるブランドの商品をお薦め(レコメンド) bull 消耗品(ボールグローブティ)の販促 bull セール商品のお知らせ bull キャンペーンのお知らせ bull クーポンの提供

bull 自社サイト bull メール bull 検索エンジン(SEO) bull リスティング広告 bull リターゲティング広告

bull ディスプレイ広告 bull アフィリエイト広告 bull 電話 bull マスメディア bull リアルプロモーション

顧客接点最適化の4要素

仮説 セグメンテーショ

ン 実行 効果検証

3W1H 「誰に」「いつ」「何を」 「どのように」接点を持つか

自動化 モニタリング 廃止

+ Seve

顧客をセグメントし対象者を抽出

Responsys R2AD Rtoaster iOneでテストマーケティングを実行

効果検証を実施

全ての顧客接点でシームレスで一貫性のある最適化された顧客体験を提供するといっても PDCA+自動化のサイクルを回し変化する顧客のニーズを把握する継続的な取り組みが最重要

人(知恵) データ

体系化=システム化 暗黙知 rArr 形式知

継続的な効果検証チューニング

データ

知恵

テクノロジ

お客様体験デザインプロセス

予約版 Seve

ショップ版 Seve

会員版 Seve

予約 履歴

会員 マスタ

購買 履歴

会員 マスタ

会員 マスタ

予約 サマリ

購買 サマリ

統合版 Seve

会員 マスタ

購買 明細

予約 明細

アクセス

ログ

メール配信ログ

レコメンドデータ

広告配信 ログ

CS問合 ログ

あらゆるチャネルのデータを統合した顧客の360degView

Seve(会員分析抽出ツール)

初回来訪(リスティング経由)

会員登録

商品詳細ページ閲覧(メルマガ経由)

CS問合せ

商品レビュー投稿

再来訪(リターゲティング経由)

メルマガ配信開封

口コミ(商品レビュー)閲覧

初回購入(ドライバー)

会員情報トランザクションデータ(購買履歴予約履歴)行動履歴(サイトアクセスログ等)を統合することで個客一人一人のタイムライン(カスタマージャーニー)を作ることできる 統合版Seveにより自由にセグメンテーション対象者抽出が可能となる

Seve(会員分析抽出ツール)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

GDOのビックデータ活用の軌跡と活用事例

2009 2010 2011 2012 2013 DWHBIリリース 大リニューアル(G10)

KPIレポート

ゴルフ場営業支援レポート

新ゴルフ場営業支援レポート

MD分析プラットフォーム

Phil(閲覧ページ会員属性分析ツール)

Rtoaster連携

人気ゴルフ場ランキング

ショップレビューランキング

Seve(メルマガ対象者抽出ツール)

R2AD連携

Responsys連携

1114 GoogleShopping連携

全社データ活用基盤として2010年5月にリリースしたDWHBIG10プロジェクトで大幅なリニューアルを実施し現在では当初の目的である社内データの「見える化」に加えて日常業務での「分析意思決定支援」での活用そしてランキングといった自社サイトでの利用や広告配信システムとの連携といった「デジタルマーケティング活用」とその活用範囲を拡大してきている

デジタルマーケティング (売上向上)

分析意思決定支援 (業務効率化高度化)

集計見える化

DWHBI活用の軌跡

E-Commerce

ゴルフ場予約事業

OLAP分析

GBDP

ゴルフ場営業 サポート

KPIマネジメント

予実管理

BI Platform

ゴルフ場予約

連携システム

会員管理

ERP

スコア管理

ワークフロー

広告営業管理

DWH

DWH Platform

ETL

Data Stage

ログ解析システム

アクセス ログデータ

Digital Marketing Platform

アウトバウンドマーケティング

顧客抽出ツール(Seve)

ゴルフ場向 営業支援帳票

インバウンドマーケティング

統合レコメンドエンジン

GDOサイト

EC事業

MD分析 プラットフォーム

受注発注分析

在庫欠品分析

会員属性と連携した広告配信システム

広告配信システム

ECショッピングモール (Google Shopping)

会員分析

統計解析

IBM SPSS R

社外データ

システム構成(2013年11月13日時点)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

数字で見るDWH

J

データ量

6TBytes

DWHに格納されているデータ量は2013年11月現在で6TByteですSybase IQのデータ圧縮機能により約20に圧縮され保存されています

連携システム数

22システム

DWHは社内社外の21のシステムとデータ連携を行っています連携しているデータの種類(IF数)は300にものぼります

テーブル数

1400 テーブル

DWHが各種システムから取得したデータはETL処理により取込用途ごとに集計され1400のテーブルに格納されています

利用者数

BI 50ユーザ

ODBC 200ユーザ

全社員400人中50人が日々BIツールを業務で活用200人がODBC接続でExcelやAccessを活用しています

ジョブ数

1200ジョブ

DWHでは日々1200のバッチ処理が行われています全てのジョブがジョブ管理ツールにより制御されエラー発生時には即座にメールが送信されます

バッチ処理時間

10時間

日次のバッチ処理にかかる時間は約8時間ですバックアップにかかる時間はその中で1時間半を占めます

バッチ処理(JP1)

HP StorageWorks MSA2312fc x 4 (2009) HDD48 Size28TB

DWH Server(SybaseIQ)

HP ProLiant DL380 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM320GB HDD136GB OS Windows Server 2003 SE SP2 (x64)

HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM180GB HDD416GB OS Windows Server 2003 EE SP2(32bit)

ETL Server(DataStage)

HP ProLiant DL380 G6 (2009) CPU Intelreg Xeonreg Processor E5540 CPU2 Core8 MEM620GB HDD136GB OS Windows Server 2008 EE SP2 (x64)

BI Server(MicroStrategy)

本番環境

HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 of CPU1 of cores2 MEM320GB HDD694GB OS Windows Server 2003 SE SP2 (x64)

DWH Server(SybaseIQ)

開発環境

Strage

DWHBIを支えるインフラ

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Seve(メルマガターゲティングツール)

会員情報 times 購買履歴予約履歴 会員情報(性別年代)と過去の購買履歴からターゲティング

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Seve(メルマガターゲティングツール)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Phil(サイト来訪者分析ツール)

会員情報 times アクセスログ アクセスログ(サイト閲覧履歴)から会員情報(性別年代)を分析

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Phil(サイト来訪者分析ツール)

値下げお知らせメール

今日からセールになる商品を『直近1週間に閲覧』し『直近1ヶ月以内にその商品を購入していない』お客様に対してセールになった事を伝えるメールを配信

CTR(来訪率) 約25~30 レギュラーメール 2~25

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

サイト利用

マーケティングシステム連携

広告配信システム(DSP) (リターゲティング広告)

レコメンドエンジン (自社サイトパーソナライズ)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

データ活用を進めるための3つのポイント

進化のための安定

進化のための安定

進化のための安定

DWH起因 他システム起因 サービス停止

2012年1月 5 5 0

2012年2月 2 5 3

2012年3月 4 1 2

2012年4月 1 1 0

2012年5月 4 1 0

2012年6月 3 4 0

2012年7月 1 6 1

2012年8月 1 3 1

2012年9月 1 2 0

2012年10月 3 0 1

2012年11月 1 1 1

2012年12月 3 3 1

2013年1月 2 1 0

2013年2月 1 1 0

2013年3月 1 2 1

2013年4月 1 1 1

2013年5月 0 2 2

2013年6月 2 2 1

合計 36 41 15

DWH起因の障害原因 バグ

人的ミス

OSミドルウェア障害

他システム起因の障害原因

データ連携遅延

他システム連携エラー(API)

データ不備

東京都

千葉県 (33633) 神奈川県

(7422)

茨城県 (15654)

栃木県 (12026)

群馬県 (7124)

埼玉県 (15028)

静岡県

15800

16955

2990 19498

34817

8739

2058

38330

21772

21067

16634

自由研究(20ルール)①

会員居住地と予約されたゴルフ場の場所(関東地方編)

予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか

自由研究(20ルール)②

EC 商品ジャンル別のクラスタリング分析 (R)

自由研究(20ルール)③

マイクロストラテジー ビジュアルインサイト

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

自由研究(20ルール)④

Mahoutを利用したレコメンドエンジンの開発

データ活用推進を阻む大きな壁データ活用の需要と供給

供給 需要 < 供給 需要 >

システム データ活用リテラシー < システム データ活用リテラシー >

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

ビックデータ活用を支える基盤と今後の展開

E-Commerce

EC事業

ゴルフ場予約事業

OLAP分析

GBDP

ゴルフ場営業 サポート

会員分析

KPIマネジメント

予実管理

ゴルフ場向 営業支援帳票

BI Platform

MD分析 プラットフォーム

受注発注分析

在庫欠品分析

社外データ

ゴルフ場予約

連携システム

会員管理

ERP

スコア管理

ワークフロー

広告営業管理

GDOサイト

統合レコメンドエンジン

Digital Marketing Platform

統計解析

IBM SPSS R

DWH

DWH Platform

ETL

Data Stage

ログ解析システム

アクセス ログデータ

Hadoop Platform

HDFS

Hive

インバウンドマーケティング

アウトバウンドマーケティング

顧客抽出ツール(Seve)

キャンペーンマネージメントシステム

会員属性と連携した広告配信システム

広告配信システム

ECショッピングモール (Google Shopping)

マーケティングオートメーション(2013年11月14日時点)

Amazon Web Service Amazon VPC(Virtual Private Cloud)

プライベートサブネット

GDO社内

キャンペーン マネージメント

スレーブノード (m1large) times3(Datanode)

Amazon EC2

アクセス ログデータ

ログ解析 システム

マスターノード(m1large) times3台(ClientActiveStandby)

Standby (EC2)

NameNode JournalNode

HDFS (EBS) 500GB

HDFS (EBS) 500GB

DataNode TasKTracker

DataNode TaskTracker

(EC2)

HDFS (EBS) 500GB

DataNode TaskTracker

Active (EC2)

Client (EC2)

(EC2) (EC2)

Client JournalNode Hive

NameNode JournalNode

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

Hadoop システム構成

Hadoop + Hive

なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった

② タダ(無料)だから

③ 使ってみたかった

Hadoopを利用してみて分かったこと

意外と安定している

HiveQLには制限は少ない(SELECT)

開発生産性は高い

クラウドなのでスケールアウトはとっても簡単いろんな意味で

更新削除は出来ない

レスポンスは遅い

Hadoop + Hive のベストプラクティス

バッチ処理

R2AD Responsys Ignision One

DWH Seve

基幹システム

WEB ログシステム

Rtoaster

リスティングディスプレイリマーケティング メール レコメンド

LPO

顧客抽出

ログレスポンスデータ

トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある

DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)

お客様の行動に合わせた高度なマーケティングを実行するためには

Ad CRM

DWH

RI Rtoas

ter

R2AD iOne

基幹 システム

WEB ログシステム

データの集中と相互利用

今後のデジタルマーケティング時代に求められるDWH

製品選定

GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける

② 移行性を重視する

③ 当然ですが最小の費用で最大の効果を

ご清聴ありがとうございました

Page 4: [C11] ビックデータ×マーケティング 進化するディジタルマーケティングを支えるビックデータ活用基盤 by Takatomo Kamatsu

自己紹介

嘉松孝友 Takatomo Kamatsu

19720510 7年

O型

1745cm

654kg

ベストスコア 75 (前回 88)

神奈川県

ゴルフのきっかけ ゴルフ好きの上司に誘われて

好きなゴルファー 中部銀次郎

よかったこと 中部銀次郎 異業種世代を超えた交友関係が広まった

(1997年~)印刷会社の受注システム開発(VMS)

(1998年~)製薬会社の営業支援システム開発

(2002年~)ビールメーカの物流システム開発商社のPMO

1ビックデータがマーケティングで利用される背景

2GDOのビックデータ活用の軌跡と活用事例

3ビックデータ活用を支える基盤と今後の展開

今日のセッションで紹介すること

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

ビックデータがマーケティングで利用される背景

2011年

2014年

2012年

2013年

ビックデータを取り巻く変化

「モノ不足」時代 「モノ余り」時代 「ビックデータ」時代 「デジタルマーケティング」時代

キーワード 大量生産大量消費 主導権は提供者

主導権は消費者 (メーカーrArr小売り)

顧客視点 ユーザニーズの把握 消費者の価値観が多様化

ビックデータ 顧客のインサイトを知る rArr 分析

マーケティング オートメーション

マーケティング対象 大衆(マス) セグメント別 個客 個客

マーケティング手法 マスマーケティング ブランディング

セグメントマーケティング One to Oneマーケティング One to One マーケティング

+ オートメーション

DB 集計見える化 データベースマーケティング (会員情報times購買履歴)

データベースマーケティング (会員情報times購買履歴times行動履歴)

テクノロジ データウェハウス(DWH) ビジネスインテリジェンス(BI)

アクセス解析 データサイエンティスト HadoopNoSQL クラウド

キャンペーンマネージメント パーソナライズ 機械学習 レコメンドエンジン プライベートDMP

その他 ポイントカード 会員データベース POS プライベートブランドSPA 「お願いランキングGOLD」レトルト食品総選挙

カスタマージャーニー O2O ショールーミング スマートフォン

オムニチャネル

ビックデータがマーケティングで利用される背景

ビックデータ企業が他社と差別化できる数少ない武器 企業の生き残りが掛かっている

流通小売業にとって目下最大の脅威は「ショールーミング」 リアル店舗で商品をチェックしてネットで購入するという消費者行動スマホの普及で加速

米MacyrsquosのCEOは2011年に「オムニチャネル企業を目指す」と宣言

経営不振からの脱却

お客様体験デザイン

全ての顧客接点でシームレスで一貫性のある個客ごとに最適化された顧客体験を提供することでロイヤリティの獲得ブランドエクイティを向上させる戦略その取り組み

オムニチャネル戦略

購買履歴や会員情報といったこれまで分かっていた情報に加えて全ての顧客接点から取得した行動履歴から来訪したが購買に至らなかったといったこれまでは見えなかった見ることが難しかった情報から顧客の姿を捉えることが必要になる

既存顧客 (見える姿)

既存顧客 (見えない姿)

来店したが購入しなかった人

潜在顧客

購入してくれそうな人

購買履歴

会員情報

サイトアクセスログ メール配信ログ CS問合ログ

従来見えなかった顧客の姿や潜在顧客の発掘

会員情報と購買履歴によるセグメンテーションでは同じセグメントでもサイトの行動履歴を加えたセグメンテーションではセグメントは異なってくる

会員情報購買履歴

最新購入日2か月以内 購買頻度過去1年間で3回以上 過去の購入金額10万円以上 40代男性

行動履歴

1ヶ月以内にサイトアクセス

RFM分析などでは同じセグメント

1週間以内に3回サイトアクセスカートに商品を入れている

1ヶ月以上サイトアクセスなし

ホントに同じセグメントでいいの

A B C A B C

例行動履歴を利用した顧客セグメント

お客様体験デザインとは 「全ての顧客接点でシームレスで一貫性のある最適化された顧客体験を提供する」 その仕組みをデザインすること

タイミングの最適化

セグメントの最適化

コンテンツの最適化

チャネルの最適化

顧客接点最適化の4要素

いつ接点を持つのか

誰に対して接点を持つのか

何を提供するのか

どの経路で 接点を持つのか

bull ゴルフ場予約の翌日商品購入後1週間後 bull プレーの前日 bull 商品詳細ページ閲覧の翌日 bull 商品をカートに放置した3日後 bull メール未開封が1か月経過した後 bull 東京神奈川埼玉千葉在住の男性 bull 過去にコンペを3回以上予約している会員 bull 過去に10万円以上購買実績があるが過去半年購買経

験がない離脱予備軍 bull セール商品の商品ページを過去1週間以内に閲覧した会員

bull 関心のあるブランドの商品をお薦め(レコメンド) bull 消耗品(ボールグローブティ)の販促 bull セール商品のお知らせ bull キャンペーンのお知らせ bull クーポンの提供

bull 自社サイト bull メール bull 検索エンジン(SEO) bull リスティング広告 bull リターゲティング広告

bull ディスプレイ広告 bull アフィリエイト広告 bull 電話 bull マスメディア bull リアルプロモーション

顧客接点最適化の4要素

仮説 セグメンテーショ

ン 実行 効果検証

3W1H 「誰に」「いつ」「何を」 「どのように」接点を持つか

自動化 モニタリング 廃止

+ Seve

顧客をセグメントし対象者を抽出

Responsys R2AD Rtoaster iOneでテストマーケティングを実行

効果検証を実施

全ての顧客接点でシームレスで一貫性のある最適化された顧客体験を提供するといっても PDCA+自動化のサイクルを回し変化する顧客のニーズを把握する継続的な取り組みが最重要

人(知恵) データ

体系化=システム化 暗黙知 rArr 形式知

継続的な効果検証チューニング

データ

知恵

テクノロジ

お客様体験デザインプロセス

予約版 Seve

ショップ版 Seve

会員版 Seve

予約 履歴

会員 マスタ

購買 履歴

会員 マスタ

会員 マスタ

予約 サマリ

購買 サマリ

統合版 Seve

会員 マスタ

購買 明細

予約 明細

アクセス

ログ

メール配信ログ

レコメンドデータ

広告配信 ログ

CS問合 ログ

あらゆるチャネルのデータを統合した顧客の360degView

Seve(会員分析抽出ツール)

初回来訪(リスティング経由)

会員登録

商品詳細ページ閲覧(メルマガ経由)

CS問合せ

商品レビュー投稿

再来訪(リターゲティング経由)

メルマガ配信開封

口コミ(商品レビュー)閲覧

初回購入(ドライバー)

会員情報トランザクションデータ(購買履歴予約履歴)行動履歴(サイトアクセスログ等)を統合することで個客一人一人のタイムライン(カスタマージャーニー)を作ることできる 統合版Seveにより自由にセグメンテーション対象者抽出が可能となる

Seve(会員分析抽出ツール)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

GDOのビックデータ活用の軌跡と活用事例

2009 2010 2011 2012 2013 DWHBIリリース 大リニューアル(G10)

KPIレポート

ゴルフ場営業支援レポート

新ゴルフ場営業支援レポート

MD分析プラットフォーム

Phil(閲覧ページ会員属性分析ツール)

Rtoaster連携

人気ゴルフ場ランキング

ショップレビューランキング

Seve(メルマガ対象者抽出ツール)

R2AD連携

Responsys連携

1114 GoogleShopping連携

全社データ活用基盤として2010年5月にリリースしたDWHBIG10プロジェクトで大幅なリニューアルを実施し現在では当初の目的である社内データの「見える化」に加えて日常業務での「分析意思決定支援」での活用そしてランキングといった自社サイトでの利用や広告配信システムとの連携といった「デジタルマーケティング活用」とその活用範囲を拡大してきている

デジタルマーケティング (売上向上)

分析意思決定支援 (業務効率化高度化)

集計見える化

DWHBI活用の軌跡

E-Commerce

ゴルフ場予約事業

OLAP分析

GBDP

ゴルフ場営業 サポート

KPIマネジメント

予実管理

BI Platform

ゴルフ場予約

連携システム

会員管理

ERP

スコア管理

ワークフロー

広告営業管理

DWH

DWH Platform

ETL

Data Stage

ログ解析システム

アクセス ログデータ

Digital Marketing Platform

アウトバウンドマーケティング

顧客抽出ツール(Seve)

ゴルフ場向 営業支援帳票

インバウンドマーケティング

統合レコメンドエンジン

GDOサイト

EC事業

MD分析 プラットフォーム

受注発注分析

在庫欠品分析

会員属性と連携した広告配信システム

広告配信システム

ECショッピングモール (Google Shopping)

会員分析

統計解析

IBM SPSS R

社外データ

システム構成(2013年11月13日時点)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

数字で見るDWH

J

データ量

6TBytes

DWHに格納されているデータ量は2013年11月現在で6TByteですSybase IQのデータ圧縮機能により約20に圧縮され保存されています

連携システム数

22システム

DWHは社内社外の21のシステムとデータ連携を行っています連携しているデータの種類(IF数)は300にものぼります

テーブル数

1400 テーブル

DWHが各種システムから取得したデータはETL処理により取込用途ごとに集計され1400のテーブルに格納されています

利用者数

BI 50ユーザ

ODBC 200ユーザ

全社員400人中50人が日々BIツールを業務で活用200人がODBC接続でExcelやAccessを活用しています

ジョブ数

1200ジョブ

DWHでは日々1200のバッチ処理が行われています全てのジョブがジョブ管理ツールにより制御されエラー発生時には即座にメールが送信されます

バッチ処理時間

10時間

日次のバッチ処理にかかる時間は約8時間ですバックアップにかかる時間はその中で1時間半を占めます

バッチ処理(JP1)

HP StorageWorks MSA2312fc x 4 (2009) HDD48 Size28TB

DWH Server(SybaseIQ)

HP ProLiant DL380 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM320GB HDD136GB OS Windows Server 2003 SE SP2 (x64)

HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM180GB HDD416GB OS Windows Server 2003 EE SP2(32bit)

ETL Server(DataStage)

HP ProLiant DL380 G6 (2009) CPU Intelreg Xeonreg Processor E5540 CPU2 Core8 MEM620GB HDD136GB OS Windows Server 2008 EE SP2 (x64)

BI Server(MicroStrategy)

本番環境

HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 of CPU1 of cores2 MEM320GB HDD694GB OS Windows Server 2003 SE SP2 (x64)

DWH Server(SybaseIQ)

開発環境

Strage

DWHBIを支えるインフラ

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Seve(メルマガターゲティングツール)

会員情報 times 購買履歴予約履歴 会員情報(性別年代)と過去の購買履歴からターゲティング

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Seve(メルマガターゲティングツール)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Phil(サイト来訪者分析ツール)

会員情報 times アクセスログ アクセスログ(サイト閲覧履歴)から会員情報(性別年代)を分析

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Phil(サイト来訪者分析ツール)

値下げお知らせメール

今日からセールになる商品を『直近1週間に閲覧』し『直近1ヶ月以内にその商品を購入していない』お客様に対してセールになった事を伝えるメールを配信

CTR(来訪率) 約25~30 レギュラーメール 2~25

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

サイト利用

マーケティングシステム連携

広告配信システム(DSP) (リターゲティング広告)

レコメンドエンジン (自社サイトパーソナライズ)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

データ活用を進めるための3つのポイント

進化のための安定

進化のための安定

進化のための安定

DWH起因 他システム起因 サービス停止

2012年1月 5 5 0

2012年2月 2 5 3

2012年3月 4 1 2

2012年4月 1 1 0

2012年5月 4 1 0

2012年6月 3 4 0

2012年7月 1 6 1

2012年8月 1 3 1

2012年9月 1 2 0

2012年10月 3 0 1

2012年11月 1 1 1

2012年12月 3 3 1

2013年1月 2 1 0

2013年2月 1 1 0

2013年3月 1 2 1

2013年4月 1 1 1

2013年5月 0 2 2

2013年6月 2 2 1

合計 36 41 15

DWH起因の障害原因 バグ

人的ミス

OSミドルウェア障害

他システム起因の障害原因

データ連携遅延

他システム連携エラー(API)

データ不備

東京都

千葉県 (33633) 神奈川県

(7422)

茨城県 (15654)

栃木県 (12026)

群馬県 (7124)

埼玉県 (15028)

静岡県

15800

16955

2990 19498

34817

8739

2058

38330

21772

21067

16634

自由研究(20ルール)①

会員居住地と予約されたゴルフ場の場所(関東地方編)

予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか

自由研究(20ルール)②

EC 商品ジャンル別のクラスタリング分析 (R)

自由研究(20ルール)③

マイクロストラテジー ビジュアルインサイト

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

自由研究(20ルール)④

Mahoutを利用したレコメンドエンジンの開発

データ活用推進を阻む大きな壁データ活用の需要と供給

供給 需要 < 供給 需要 >

システム データ活用リテラシー < システム データ活用リテラシー >

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

ビックデータ活用を支える基盤と今後の展開

E-Commerce

EC事業

ゴルフ場予約事業

OLAP分析

GBDP

ゴルフ場営業 サポート

会員分析

KPIマネジメント

予実管理

ゴルフ場向 営業支援帳票

BI Platform

MD分析 プラットフォーム

受注発注分析

在庫欠品分析

社外データ

ゴルフ場予約

連携システム

会員管理

ERP

スコア管理

ワークフロー

広告営業管理

GDOサイト

統合レコメンドエンジン

Digital Marketing Platform

統計解析

IBM SPSS R

DWH

DWH Platform

ETL

Data Stage

ログ解析システム

アクセス ログデータ

Hadoop Platform

HDFS

Hive

インバウンドマーケティング

アウトバウンドマーケティング

顧客抽出ツール(Seve)

キャンペーンマネージメントシステム

会員属性と連携した広告配信システム

広告配信システム

ECショッピングモール (Google Shopping)

マーケティングオートメーション(2013年11月14日時点)

Amazon Web Service Amazon VPC(Virtual Private Cloud)

プライベートサブネット

GDO社内

キャンペーン マネージメント

スレーブノード (m1large) times3(Datanode)

Amazon EC2

アクセス ログデータ

ログ解析 システム

マスターノード(m1large) times3台(ClientActiveStandby)

Standby (EC2)

NameNode JournalNode

HDFS (EBS) 500GB

HDFS (EBS) 500GB

DataNode TasKTracker

DataNode TaskTracker

(EC2)

HDFS (EBS) 500GB

DataNode TaskTracker

Active (EC2)

Client (EC2)

(EC2) (EC2)

Client JournalNode Hive

NameNode JournalNode

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

Hadoop システム構成

Hadoop + Hive

なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった

② タダ(無料)だから

③ 使ってみたかった

Hadoopを利用してみて分かったこと

意外と安定している

HiveQLには制限は少ない(SELECT)

開発生産性は高い

クラウドなのでスケールアウトはとっても簡単いろんな意味で

更新削除は出来ない

レスポンスは遅い

Hadoop + Hive のベストプラクティス

バッチ処理

R2AD Responsys Ignision One

DWH Seve

基幹システム

WEB ログシステム

Rtoaster

リスティングディスプレイリマーケティング メール レコメンド

LPO

顧客抽出

ログレスポンスデータ

トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある

DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)

お客様の行動に合わせた高度なマーケティングを実行するためには

Ad CRM

DWH

RI Rtoas

ter

R2AD iOne

基幹 システム

WEB ログシステム

データの集中と相互利用

今後のデジタルマーケティング時代に求められるDWH

製品選定

GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける

② 移行性を重視する

③ 当然ですが最小の費用で最大の効果を

ご清聴ありがとうございました

Page 5: [C11] ビックデータ×マーケティング 進化するディジタルマーケティングを支えるビックデータ活用基盤 by Takatomo Kamatsu

1ビックデータがマーケティングで利用される背景

2GDOのビックデータ活用の軌跡と活用事例

3ビックデータ活用を支える基盤と今後の展開

今日のセッションで紹介すること

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

ビックデータがマーケティングで利用される背景

2011年

2014年

2012年

2013年

ビックデータを取り巻く変化

「モノ不足」時代 「モノ余り」時代 「ビックデータ」時代 「デジタルマーケティング」時代

キーワード 大量生産大量消費 主導権は提供者

主導権は消費者 (メーカーrArr小売り)

顧客視点 ユーザニーズの把握 消費者の価値観が多様化

ビックデータ 顧客のインサイトを知る rArr 分析

マーケティング オートメーション

マーケティング対象 大衆(マス) セグメント別 個客 個客

マーケティング手法 マスマーケティング ブランディング

セグメントマーケティング One to Oneマーケティング One to One マーケティング

+ オートメーション

DB 集計見える化 データベースマーケティング (会員情報times購買履歴)

データベースマーケティング (会員情報times購買履歴times行動履歴)

テクノロジ データウェハウス(DWH) ビジネスインテリジェンス(BI)

アクセス解析 データサイエンティスト HadoopNoSQL クラウド

キャンペーンマネージメント パーソナライズ 機械学習 レコメンドエンジン プライベートDMP

その他 ポイントカード 会員データベース POS プライベートブランドSPA 「お願いランキングGOLD」レトルト食品総選挙

カスタマージャーニー O2O ショールーミング スマートフォン

オムニチャネル

ビックデータがマーケティングで利用される背景

ビックデータ企業が他社と差別化できる数少ない武器 企業の生き残りが掛かっている

流通小売業にとって目下最大の脅威は「ショールーミング」 リアル店舗で商品をチェックしてネットで購入するという消費者行動スマホの普及で加速

米MacyrsquosのCEOは2011年に「オムニチャネル企業を目指す」と宣言

経営不振からの脱却

お客様体験デザイン

全ての顧客接点でシームレスで一貫性のある個客ごとに最適化された顧客体験を提供することでロイヤリティの獲得ブランドエクイティを向上させる戦略その取り組み

オムニチャネル戦略

購買履歴や会員情報といったこれまで分かっていた情報に加えて全ての顧客接点から取得した行動履歴から来訪したが購買に至らなかったといったこれまでは見えなかった見ることが難しかった情報から顧客の姿を捉えることが必要になる

既存顧客 (見える姿)

既存顧客 (見えない姿)

来店したが購入しなかった人

潜在顧客

購入してくれそうな人

購買履歴

会員情報

サイトアクセスログ メール配信ログ CS問合ログ

従来見えなかった顧客の姿や潜在顧客の発掘

会員情報と購買履歴によるセグメンテーションでは同じセグメントでもサイトの行動履歴を加えたセグメンテーションではセグメントは異なってくる

会員情報購買履歴

最新購入日2か月以内 購買頻度過去1年間で3回以上 過去の購入金額10万円以上 40代男性

行動履歴

1ヶ月以内にサイトアクセス

RFM分析などでは同じセグメント

1週間以内に3回サイトアクセスカートに商品を入れている

1ヶ月以上サイトアクセスなし

ホントに同じセグメントでいいの

A B C A B C

例行動履歴を利用した顧客セグメント

お客様体験デザインとは 「全ての顧客接点でシームレスで一貫性のある最適化された顧客体験を提供する」 その仕組みをデザインすること

タイミングの最適化

セグメントの最適化

コンテンツの最適化

チャネルの最適化

顧客接点最適化の4要素

いつ接点を持つのか

誰に対して接点を持つのか

何を提供するのか

どの経路で 接点を持つのか

bull ゴルフ場予約の翌日商品購入後1週間後 bull プレーの前日 bull 商品詳細ページ閲覧の翌日 bull 商品をカートに放置した3日後 bull メール未開封が1か月経過した後 bull 東京神奈川埼玉千葉在住の男性 bull 過去にコンペを3回以上予約している会員 bull 過去に10万円以上購買実績があるが過去半年購買経

験がない離脱予備軍 bull セール商品の商品ページを過去1週間以内に閲覧した会員

bull 関心のあるブランドの商品をお薦め(レコメンド) bull 消耗品(ボールグローブティ)の販促 bull セール商品のお知らせ bull キャンペーンのお知らせ bull クーポンの提供

bull 自社サイト bull メール bull 検索エンジン(SEO) bull リスティング広告 bull リターゲティング広告

bull ディスプレイ広告 bull アフィリエイト広告 bull 電話 bull マスメディア bull リアルプロモーション

顧客接点最適化の4要素

仮説 セグメンテーショ

ン 実行 効果検証

3W1H 「誰に」「いつ」「何を」 「どのように」接点を持つか

自動化 モニタリング 廃止

+ Seve

顧客をセグメントし対象者を抽出

Responsys R2AD Rtoaster iOneでテストマーケティングを実行

効果検証を実施

全ての顧客接点でシームレスで一貫性のある最適化された顧客体験を提供するといっても PDCA+自動化のサイクルを回し変化する顧客のニーズを把握する継続的な取り組みが最重要

人(知恵) データ

体系化=システム化 暗黙知 rArr 形式知

継続的な効果検証チューニング

データ

知恵

テクノロジ

お客様体験デザインプロセス

予約版 Seve

ショップ版 Seve

会員版 Seve

予約 履歴

会員 マスタ

購買 履歴

会員 マスタ

会員 マスタ

予約 サマリ

購買 サマリ

統合版 Seve

会員 マスタ

購買 明細

予約 明細

アクセス

ログ

メール配信ログ

レコメンドデータ

広告配信 ログ

CS問合 ログ

あらゆるチャネルのデータを統合した顧客の360degView

Seve(会員分析抽出ツール)

初回来訪(リスティング経由)

会員登録

商品詳細ページ閲覧(メルマガ経由)

CS問合せ

商品レビュー投稿

再来訪(リターゲティング経由)

メルマガ配信開封

口コミ(商品レビュー)閲覧

初回購入(ドライバー)

会員情報トランザクションデータ(購買履歴予約履歴)行動履歴(サイトアクセスログ等)を統合することで個客一人一人のタイムライン(カスタマージャーニー)を作ることできる 統合版Seveにより自由にセグメンテーション対象者抽出が可能となる

Seve(会員分析抽出ツール)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

GDOのビックデータ活用の軌跡と活用事例

2009 2010 2011 2012 2013 DWHBIリリース 大リニューアル(G10)

KPIレポート

ゴルフ場営業支援レポート

新ゴルフ場営業支援レポート

MD分析プラットフォーム

Phil(閲覧ページ会員属性分析ツール)

Rtoaster連携

人気ゴルフ場ランキング

ショップレビューランキング

Seve(メルマガ対象者抽出ツール)

R2AD連携

Responsys連携

1114 GoogleShopping連携

全社データ活用基盤として2010年5月にリリースしたDWHBIG10プロジェクトで大幅なリニューアルを実施し現在では当初の目的である社内データの「見える化」に加えて日常業務での「分析意思決定支援」での活用そしてランキングといった自社サイトでの利用や広告配信システムとの連携といった「デジタルマーケティング活用」とその活用範囲を拡大してきている

デジタルマーケティング (売上向上)

分析意思決定支援 (業務効率化高度化)

集計見える化

DWHBI活用の軌跡

E-Commerce

ゴルフ場予約事業

OLAP分析

GBDP

ゴルフ場営業 サポート

KPIマネジメント

予実管理

BI Platform

ゴルフ場予約

連携システム

会員管理

ERP

スコア管理

ワークフロー

広告営業管理

DWH

DWH Platform

ETL

Data Stage

ログ解析システム

アクセス ログデータ

Digital Marketing Platform

アウトバウンドマーケティング

顧客抽出ツール(Seve)

ゴルフ場向 営業支援帳票

インバウンドマーケティング

統合レコメンドエンジン

GDOサイト

EC事業

MD分析 プラットフォーム

受注発注分析

在庫欠品分析

会員属性と連携した広告配信システム

広告配信システム

ECショッピングモール (Google Shopping)

会員分析

統計解析

IBM SPSS R

社外データ

システム構成(2013年11月13日時点)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

数字で見るDWH

J

データ量

6TBytes

DWHに格納されているデータ量は2013年11月現在で6TByteですSybase IQのデータ圧縮機能により約20に圧縮され保存されています

連携システム数

22システム

DWHは社内社外の21のシステムとデータ連携を行っています連携しているデータの種類(IF数)は300にものぼります

テーブル数

1400 テーブル

DWHが各種システムから取得したデータはETL処理により取込用途ごとに集計され1400のテーブルに格納されています

利用者数

BI 50ユーザ

ODBC 200ユーザ

全社員400人中50人が日々BIツールを業務で活用200人がODBC接続でExcelやAccessを活用しています

ジョブ数

1200ジョブ

DWHでは日々1200のバッチ処理が行われています全てのジョブがジョブ管理ツールにより制御されエラー発生時には即座にメールが送信されます

バッチ処理時間

10時間

日次のバッチ処理にかかる時間は約8時間ですバックアップにかかる時間はその中で1時間半を占めます

バッチ処理(JP1)

HP StorageWorks MSA2312fc x 4 (2009) HDD48 Size28TB

DWH Server(SybaseIQ)

HP ProLiant DL380 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM320GB HDD136GB OS Windows Server 2003 SE SP2 (x64)

HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM180GB HDD416GB OS Windows Server 2003 EE SP2(32bit)

ETL Server(DataStage)

HP ProLiant DL380 G6 (2009) CPU Intelreg Xeonreg Processor E5540 CPU2 Core8 MEM620GB HDD136GB OS Windows Server 2008 EE SP2 (x64)

BI Server(MicroStrategy)

本番環境

HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 of CPU1 of cores2 MEM320GB HDD694GB OS Windows Server 2003 SE SP2 (x64)

DWH Server(SybaseIQ)

開発環境

Strage

DWHBIを支えるインフラ

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Seve(メルマガターゲティングツール)

会員情報 times 購買履歴予約履歴 会員情報(性別年代)と過去の購買履歴からターゲティング

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Seve(メルマガターゲティングツール)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Phil(サイト来訪者分析ツール)

会員情報 times アクセスログ アクセスログ(サイト閲覧履歴)から会員情報(性別年代)を分析

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Phil(サイト来訪者分析ツール)

値下げお知らせメール

今日からセールになる商品を『直近1週間に閲覧』し『直近1ヶ月以内にその商品を購入していない』お客様に対してセールになった事を伝えるメールを配信

CTR(来訪率) 約25~30 レギュラーメール 2~25

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

サイト利用

マーケティングシステム連携

広告配信システム(DSP) (リターゲティング広告)

レコメンドエンジン (自社サイトパーソナライズ)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

データ活用を進めるための3つのポイント

進化のための安定

進化のための安定

進化のための安定

DWH起因 他システム起因 サービス停止

2012年1月 5 5 0

2012年2月 2 5 3

2012年3月 4 1 2

2012年4月 1 1 0

2012年5月 4 1 0

2012年6月 3 4 0

2012年7月 1 6 1

2012年8月 1 3 1

2012年9月 1 2 0

2012年10月 3 0 1

2012年11月 1 1 1

2012年12月 3 3 1

2013年1月 2 1 0

2013年2月 1 1 0

2013年3月 1 2 1

2013年4月 1 1 1

2013年5月 0 2 2

2013年6月 2 2 1

合計 36 41 15

DWH起因の障害原因 バグ

人的ミス

OSミドルウェア障害

他システム起因の障害原因

データ連携遅延

他システム連携エラー(API)

データ不備

東京都

千葉県 (33633) 神奈川県

(7422)

茨城県 (15654)

栃木県 (12026)

群馬県 (7124)

埼玉県 (15028)

静岡県

15800

16955

2990 19498

34817

8739

2058

38330

21772

21067

16634

自由研究(20ルール)①

会員居住地と予約されたゴルフ場の場所(関東地方編)

予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか

自由研究(20ルール)②

EC 商品ジャンル別のクラスタリング分析 (R)

自由研究(20ルール)③

マイクロストラテジー ビジュアルインサイト

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

自由研究(20ルール)④

Mahoutを利用したレコメンドエンジンの開発

データ活用推進を阻む大きな壁データ活用の需要と供給

供給 需要 < 供給 需要 >

システム データ活用リテラシー < システム データ活用リテラシー >

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

ビックデータ活用を支える基盤と今後の展開

E-Commerce

EC事業

ゴルフ場予約事業

OLAP分析

GBDP

ゴルフ場営業 サポート

会員分析

KPIマネジメント

予実管理

ゴルフ場向 営業支援帳票

BI Platform

MD分析 プラットフォーム

受注発注分析

在庫欠品分析

社外データ

ゴルフ場予約

連携システム

会員管理

ERP

スコア管理

ワークフロー

広告営業管理

GDOサイト

統合レコメンドエンジン

Digital Marketing Platform

統計解析

IBM SPSS R

DWH

DWH Platform

ETL

Data Stage

ログ解析システム

アクセス ログデータ

Hadoop Platform

HDFS

Hive

インバウンドマーケティング

アウトバウンドマーケティング

顧客抽出ツール(Seve)

キャンペーンマネージメントシステム

会員属性と連携した広告配信システム

広告配信システム

ECショッピングモール (Google Shopping)

マーケティングオートメーション(2013年11月14日時点)

Amazon Web Service Amazon VPC(Virtual Private Cloud)

プライベートサブネット

GDO社内

キャンペーン マネージメント

スレーブノード (m1large) times3(Datanode)

Amazon EC2

アクセス ログデータ

ログ解析 システム

マスターノード(m1large) times3台(ClientActiveStandby)

Standby (EC2)

NameNode JournalNode

HDFS (EBS) 500GB

HDFS (EBS) 500GB

DataNode TasKTracker

DataNode TaskTracker

(EC2)

HDFS (EBS) 500GB

DataNode TaskTracker

Active (EC2)

Client (EC2)

(EC2) (EC2)

Client JournalNode Hive

NameNode JournalNode

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

Hadoop システム構成

Hadoop + Hive

なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった

② タダ(無料)だから

③ 使ってみたかった

Hadoopを利用してみて分かったこと

意外と安定している

HiveQLには制限は少ない(SELECT)

開発生産性は高い

クラウドなのでスケールアウトはとっても簡単いろんな意味で

更新削除は出来ない

レスポンスは遅い

Hadoop + Hive のベストプラクティス

バッチ処理

R2AD Responsys Ignision One

DWH Seve

基幹システム

WEB ログシステム

Rtoaster

リスティングディスプレイリマーケティング メール レコメンド

LPO

顧客抽出

ログレスポンスデータ

トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある

DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)

お客様の行動に合わせた高度なマーケティングを実行するためには

Ad CRM

DWH

RI Rtoas

ter

R2AD iOne

基幹 システム

WEB ログシステム

データの集中と相互利用

今後のデジタルマーケティング時代に求められるDWH

製品選定

GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける

② 移行性を重視する

③ 当然ですが最小の費用で最大の効果を

ご清聴ありがとうございました

Page 6: [C11] ビックデータ×マーケティング 進化するディジタルマーケティングを支えるビックデータ活用基盤 by Takatomo Kamatsu

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

ビックデータがマーケティングで利用される背景

2011年

2014年

2012年

2013年

ビックデータを取り巻く変化

「モノ不足」時代 「モノ余り」時代 「ビックデータ」時代 「デジタルマーケティング」時代

キーワード 大量生産大量消費 主導権は提供者

主導権は消費者 (メーカーrArr小売り)

顧客視点 ユーザニーズの把握 消費者の価値観が多様化

ビックデータ 顧客のインサイトを知る rArr 分析

マーケティング オートメーション

マーケティング対象 大衆(マス) セグメント別 個客 個客

マーケティング手法 マスマーケティング ブランディング

セグメントマーケティング One to Oneマーケティング One to One マーケティング

+ オートメーション

DB 集計見える化 データベースマーケティング (会員情報times購買履歴)

データベースマーケティング (会員情報times購買履歴times行動履歴)

テクノロジ データウェハウス(DWH) ビジネスインテリジェンス(BI)

アクセス解析 データサイエンティスト HadoopNoSQL クラウド

キャンペーンマネージメント パーソナライズ 機械学習 レコメンドエンジン プライベートDMP

その他 ポイントカード 会員データベース POS プライベートブランドSPA 「お願いランキングGOLD」レトルト食品総選挙

カスタマージャーニー O2O ショールーミング スマートフォン

オムニチャネル

ビックデータがマーケティングで利用される背景

ビックデータ企業が他社と差別化できる数少ない武器 企業の生き残りが掛かっている

流通小売業にとって目下最大の脅威は「ショールーミング」 リアル店舗で商品をチェックしてネットで購入するという消費者行動スマホの普及で加速

米MacyrsquosのCEOは2011年に「オムニチャネル企業を目指す」と宣言

経営不振からの脱却

お客様体験デザイン

全ての顧客接点でシームレスで一貫性のある個客ごとに最適化された顧客体験を提供することでロイヤリティの獲得ブランドエクイティを向上させる戦略その取り組み

オムニチャネル戦略

購買履歴や会員情報といったこれまで分かっていた情報に加えて全ての顧客接点から取得した行動履歴から来訪したが購買に至らなかったといったこれまでは見えなかった見ることが難しかった情報から顧客の姿を捉えることが必要になる

既存顧客 (見える姿)

既存顧客 (見えない姿)

来店したが購入しなかった人

潜在顧客

購入してくれそうな人

購買履歴

会員情報

サイトアクセスログ メール配信ログ CS問合ログ

従来見えなかった顧客の姿や潜在顧客の発掘

会員情報と購買履歴によるセグメンテーションでは同じセグメントでもサイトの行動履歴を加えたセグメンテーションではセグメントは異なってくる

会員情報購買履歴

最新購入日2か月以内 購買頻度過去1年間で3回以上 過去の購入金額10万円以上 40代男性

行動履歴

1ヶ月以内にサイトアクセス

RFM分析などでは同じセグメント

1週間以内に3回サイトアクセスカートに商品を入れている

1ヶ月以上サイトアクセスなし

ホントに同じセグメントでいいの

A B C A B C

例行動履歴を利用した顧客セグメント

お客様体験デザインとは 「全ての顧客接点でシームレスで一貫性のある最適化された顧客体験を提供する」 その仕組みをデザインすること

タイミングの最適化

セグメントの最適化

コンテンツの最適化

チャネルの最適化

顧客接点最適化の4要素

いつ接点を持つのか

誰に対して接点を持つのか

何を提供するのか

どの経路で 接点を持つのか

bull ゴルフ場予約の翌日商品購入後1週間後 bull プレーの前日 bull 商品詳細ページ閲覧の翌日 bull 商品をカートに放置した3日後 bull メール未開封が1か月経過した後 bull 東京神奈川埼玉千葉在住の男性 bull 過去にコンペを3回以上予約している会員 bull 過去に10万円以上購買実績があるが過去半年購買経

験がない離脱予備軍 bull セール商品の商品ページを過去1週間以内に閲覧した会員

bull 関心のあるブランドの商品をお薦め(レコメンド) bull 消耗品(ボールグローブティ)の販促 bull セール商品のお知らせ bull キャンペーンのお知らせ bull クーポンの提供

bull 自社サイト bull メール bull 検索エンジン(SEO) bull リスティング広告 bull リターゲティング広告

bull ディスプレイ広告 bull アフィリエイト広告 bull 電話 bull マスメディア bull リアルプロモーション

顧客接点最適化の4要素

仮説 セグメンテーショ

ン 実行 効果検証

3W1H 「誰に」「いつ」「何を」 「どのように」接点を持つか

自動化 モニタリング 廃止

+ Seve

顧客をセグメントし対象者を抽出

Responsys R2AD Rtoaster iOneでテストマーケティングを実行

効果検証を実施

全ての顧客接点でシームレスで一貫性のある最適化された顧客体験を提供するといっても PDCA+自動化のサイクルを回し変化する顧客のニーズを把握する継続的な取り組みが最重要

人(知恵) データ

体系化=システム化 暗黙知 rArr 形式知

継続的な効果検証チューニング

データ

知恵

テクノロジ

お客様体験デザインプロセス

予約版 Seve

ショップ版 Seve

会員版 Seve

予約 履歴

会員 マスタ

購買 履歴

会員 マスタ

会員 マスタ

予約 サマリ

購買 サマリ

統合版 Seve

会員 マスタ

購買 明細

予約 明細

アクセス

ログ

メール配信ログ

レコメンドデータ

広告配信 ログ

CS問合 ログ

あらゆるチャネルのデータを統合した顧客の360degView

Seve(会員分析抽出ツール)

初回来訪(リスティング経由)

会員登録

商品詳細ページ閲覧(メルマガ経由)

CS問合せ

商品レビュー投稿

再来訪(リターゲティング経由)

メルマガ配信開封

口コミ(商品レビュー)閲覧

初回購入(ドライバー)

会員情報トランザクションデータ(購買履歴予約履歴)行動履歴(サイトアクセスログ等)を統合することで個客一人一人のタイムライン(カスタマージャーニー)を作ることできる 統合版Seveにより自由にセグメンテーション対象者抽出が可能となる

Seve(会員分析抽出ツール)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

GDOのビックデータ活用の軌跡と活用事例

2009 2010 2011 2012 2013 DWHBIリリース 大リニューアル(G10)

KPIレポート

ゴルフ場営業支援レポート

新ゴルフ場営業支援レポート

MD分析プラットフォーム

Phil(閲覧ページ会員属性分析ツール)

Rtoaster連携

人気ゴルフ場ランキング

ショップレビューランキング

Seve(メルマガ対象者抽出ツール)

R2AD連携

Responsys連携

1114 GoogleShopping連携

全社データ活用基盤として2010年5月にリリースしたDWHBIG10プロジェクトで大幅なリニューアルを実施し現在では当初の目的である社内データの「見える化」に加えて日常業務での「分析意思決定支援」での活用そしてランキングといった自社サイトでの利用や広告配信システムとの連携といった「デジタルマーケティング活用」とその活用範囲を拡大してきている

デジタルマーケティング (売上向上)

分析意思決定支援 (業務効率化高度化)

集計見える化

DWHBI活用の軌跡

E-Commerce

ゴルフ場予約事業

OLAP分析

GBDP

ゴルフ場営業 サポート

KPIマネジメント

予実管理

BI Platform

ゴルフ場予約

連携システム

会員管理

ERP

スコア管理

ワークフロー

広告営業管理

DWH

DWH Platform

ETL

Data Stage

ログ解析システム

アクセス ログデータ

Digital Marketing Platform

アウトバウンドマーケティング

顧客抽出ツール(Seve)

ゴルフ場向 営業支援帳票

インバウンドマーケティング

統合レコメンドエンジン

GDOサイト

EC事業

MD分析 プラットフォーム

受注発注分析

在庫欠品分析

会員属性と連携した広告配信システム

広告配信システム

ECショッピングモール (Google Shopping)

会員分析

統計解析

IBM SPSS R

社外データ

システム構成(2013年11月13日時点)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

数字で見るDWH

J

データ量

6TBytes

DWHに格納されているデータ量は2013年11月現在で6TByteですSybase IQのデータ圧縮機能により約20に圧縮され保存されています

連携システム数

22システム

DWHは社内社外の21のシステムとデータ連携を行っています連携しているデータの種類(IF数)は300にものぼります

テーブル数

1400 テーブル

DWHが各種システムから取得したデータはETL処理により取込用途ごとに集計され1400のテーブルに格納されています

利用者数

BI 50ユーザ

ODBC 200ユーザ

全社員400人中50人が日々BIツールを業務で活用200人がODBC接続でExcelやAccessを活用しています

ジョブ数

1200ジョブ

DWHでは日々1200のバッチ処理が行われています全てのジョブがジョブ管理ツールにより制御されエラー発生時には即座にメールが送信されます

バッチ処理時間

10時間

日次のバッチ処理にかかる時間は約8時間ですバックアップにかかる時間はその中で1時間半を占めます

バッチ処理(JP1)

HP StorageWorks MSA2312fc x 4 (2009) HDD48 Size28TB

DWH Server(SybaseIQ)

HP ProLiant DL380 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM320GB HDD136GB OS Windows Server 2003 SE SP2 (x64)

HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM180GB HDD416GB OS Windows Server 2003 EE SP2(32bit)

ETL Server(DataStage)

HP ProLiant DL380 G6 (2009) CPU Intelreg Xeonreg Processor E5540 CPU2 Core8 MEM620GB HDD136GB OS Windows Server 2008 EE SP2 (x64)

BI Server(MicroStrategy)

本番環境

HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 of CPU1 of cores2 MEM320GB HDD694GB OS Windows Server 2003 SE SP2 (x64)

DWH Server(SybaseIQ)

開発環境

Strage

DWHBIを支えるインフラ

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Seve(メルマガターゲティングツール)

会員情報 times 購買履歴予約履歴 会員情報(性別年代)と過去の購買履歴からターゲティング

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Seve(メルマガターゲティングツール)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Phil(サイト来訪者分析ツール)

会員情報 times アクセスログ アクセスログ(サイト閲覧履歴)から会員情報(性別年代)を分析

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Phil(サイト来訪者分析ツール)

値下げお知らせメール

今日からセールになる商品を『直近1週間に閲覧』し『直近1ヶ月以内にその商品を購入していない』お客様に対してセールになった事を伝えるメールを配信

CTR(来訪率) 約25~30 レギュラーメール 2~25

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

サイト利用

マーケティングシステム連携

広告配信システム(DSP) (リターゲティング広告)

レコメンドエンジン (自社サイトパーソナライズ)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

データ活用を進めるための3つのポイント

進化のための安定

進化のための安定

進化のための安定

DWH起因 他システム起因 サービス停止

2012年1月 5 5 0

2012年2月 2 5 3

2012年3月 4 1 2

2012年4月 1 1 0

2012年5月 4 1 0

2012年6月 3 4 0

2012年7月 1 6 1

2012年8月 1 3 1

2012年9月 1 2 0

2012年10月 3 0 1

2012年11月 1 1 1

2012年12月 3 3 1

2013年1月 2 1 0

2013年2月 1 1 0

2013年3月 1 2 1

2013年4月 1 1 1

2013年5月 0 2 2

2013年6月 2 2 1

合計 36 41 15

DWH起因の障害原因 バグ

人的ミス

OSミドルウェア障害

他システム起因の障害原因

データ連携遅延

他システム連携エラー(API)

データ不備

東京都

千葉県 (33633) 神奈川県

(7422)

茨城県 (15654)

栃木県 (12026)

群馬県 (7124)

埼玉県 (15028)

静岡県

15800

16955

2990 19498

34817

8739

2058

38330

21772

21067

16634

自由研究(20ルール)①

会員居住地と予約されたゴルフ場の場所(関東地方編)

予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか

自由研究(20ルール)②

EC 商品ジャンル別のクラスタリング分析 (R)

自由研究(20ルール)③

マイクロストラテジー ビジュアルインサイト

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

自由研究(20ルール)④

Mahoutを利用したレコメンドエンジンの開発

データ活用推進を阻む大きな壁データ活用の需要と供給

供給 需要 < 供給 需要 >

システム データ活用リテラシー < システム データ活用リテラシー >

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

ビックデータ活用を支える基盤と今後の展開

E-Commerce

EC事業

ゴルフ場予約事業

OLAP分析

GBDP

ゴルフ場営業 サポート

会員分析

KPIマネジメント

予実管理

ゴルフ場向 営業支援帳票

BI Platform

MD分析 プラットフォーム

受注発注分析

在庫欠品分析

社外データ

ゴルフ場予約

連携システム

会員管理

ERP

スコア管理

ワークフロー

広告営業管理

GDOサイト

統合レコメンドエンジン

Digital Marketing Platform

統計解析

IBM SPSS R

DWH

DWH Platform

ETL

Data Stage

ログ解析システム

アクセス ログデータ

Hadoop Platform

HDFS

Hive

インバウンドマーケティング

アウトバウンドマーケティング

顧客抽出ツール(Seve)

キャンペーンマネージメントシステム

会員属性と連携した広告配信システム

広告配信システム

ECショッピングモール (Google Shopping)

マーケティングオートメーション(2013年11月14日時点)

Amazon Web Service Amazon VPC(Virtual Private Cloud)

プライベートサブネット

GDO社内

キャンペーン マネージメント

スレーブノード (m1large) times3(Datanode)

Amazon EC2

アクセス ログデータ

ログ解析 システム

マスターノード(m1large) times3台(ClientActiveStandby)

Standby (EC2)

NameNode JournalNode

HDFS (EBS) 500GB

HDFS (EBS) 500GB

DataNode TasKTracker

DataNode TaskTracker

(EC2)

HDFS (EBS) 500GB

DataNode TaskTracker

Active (EC2)

Client (EC2)

(EC2) (EC2)

Client JournalNode Hive

NameNode JournalNode

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

Hadoop システム構成

Hadoop + Hive

なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった

② タダ(無料)だから

③ 使ってみたかった

Hadoopを利用してみて分かったこと

意外と安定している

HiveQLには制限は少ない(SELECT)

開発生産性は高い

クラウドなのでスケールアウトはとっても簡単いろんな意味で

更新削除は出来ない

レスポンスは遅い

Hadoop + Hive のベストプラクティス

バッチ処理

R2AD Responsys Ignision One

DWH Seve

基幹システム

WEB ログシステム

Rtoaster

リスティングディスプレイリマーケティング メール レコメンド

LPO

顧客抽出

ログレスポンスデータ

トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある

DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)

お客様の行動に合わせた高度なマーケティングを実行するためには

Ad CRM

DWH

RI Rtoas

ter

R2AD iOne

基幹 システム

WEB ログシステム

データの集中と相互利用

今後のデジタルマーケティング時代に求められるDWH

製品選定

GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける

② 移行性を重視する

③ 当然ですが最小の費用で最大の効果を

ご清聴ありがとうございました

Page 7: [C11] ビックデータ×マーケティング 進化するディジタルマーケティングを支えるビックデータ活用基盤 by Takatomo Kamatsu

2011年

2014年

2012年

2013年

ビックデータを取り巻く変化

「モノ不足」時代 「モノ余り」時代 「ビックデータ」時代 「デジタルマーケティング」時代

キーワード 大量生産大量消費 主導権は提供者

主導権は消費者 (メーカーrArr小売り)

顧客視点 ユーザニーズの把握 消費者の価値観が多様化

ビックデータ 顧客のインサイトを知る rArr 分析

マーケティング オートメーション

マーケティング対象 大衆(マス) セグメント別 個客 個客

マーケティング手法 マスマーケティング ブランディング

セグメントマーケティング One to Oneマーケティング One to One マーケティング

+ オートメーション

DB 集計見える化 データベースマーケティング (会員情報times購買履歴)

データベースマーケティング (会員情報times購買履歴times行動履歴)

テクノロジ データウェハウス(DWH) ビジネスインテリジェンス(BI)

アクセス解析 データサイエンティスト HadoopNoSQL クラウド

キャンペーンマネージメント パーソナライズ 機械学習 レコメンドエンジン プライベートDMP

その他 ポイントカード 会員データベース POS プライベートブランドSPA 「お願いランキングGOLD」レトルト食品総選挙

カスタマージャーニー O2O ショールーミング スマートフォン

オムニチャネル

ビックデータがマーケティングで利用される背景

ビックデータ企業が他社と差別化できる数少ない武器 企業の生き残りが掛かっている

流通小売業にとって目下最大の脅威は「ショールーミング」 リアル店舗で商品をチェックしてネットで購入するという消費者行動スマホの普及で加速

米MacyrsquosのCEOは2011年に「オムニチャネル企業を目指す」と宣言

経営不振からの脱却

お客様体験デザイン

全ての顧客接点でシームレスで一貫性のある個客ごとに最適化された顧客体験を提供することでロイヤリティの獲得ブランドエクイティを向上させる戦略その取り組み

オムニチャネル戦略

購買履歴や会員情報といったこれまで分かっていた情報に加えて全ての顧客接点から取得した行動履歴から来訪したが購買に至らなかったといったこれまでは見えなかった見ることが難しかった情報から顧客の姿を捉えることが必要になる

既存顧客 (見える姿)

既存顧客 (見えない姿)

来店したが購入しなかった人

潜在顧客

購入してくれそうな人

購買履歴

会員情報

サイトアクセスログ メール配信ログ CS問合ログ

従来見えなかった顧客の姿や潜在顧客の発掘

会員情報と購買履歴によるセグメンテーションでは同じセグメントでもサイトの行動履歴を加えたセグメンテーションではセグメントは異なってくる

会員情報購買履歴

最新購入日2か月以内 購買頻度過去1年間で3回以上 過去の購入金額10万円以上 40代男性

行動履歴

1ヶ月以内にサイトアクセス

RFM分析などでは同じセグメント

1週間以内に3回サイトアクセスカートに商品を入れている

1ヶ月以上サイトアクセスなし

ホントに同じセグメントでいいの

A B C A B C

例行動履歴を利用した顧客セグメント

お客様体験デザインとは 「全ての顧客接点でシームレスで一貫性のある最適化された顧客体験を提供する」 その仕組みをデザインすること

タイミングの最適化

セグメントの最適化

コンテンツの最適化

チャネルの最適化

顧客接点最適化の4要素

いつ接点を持つのか

誰に対して接点を持つのか

何を提供するのか

どの経路で 接点を持つのか

bull ゴルフ場予約の翌日商品購入後1週間後 bull プレーの前日 bull 商品詳細ページ閲覧の翌日 bull 商品をカートに放置した3日後 bull メール未開封が1か月経過した後 bull 東京神奈川埼玉千葉在住の男性 bull 過去にコンペを3回以上予約している会員 bull 過去に10万円以上購買実績があるが過去半年購買経

験がない離脱予備軍 bull セール商品の商品ページを過去1週間以内に閲覧した会員

bull 関心のあるブランドの商品をお薦め(レコメンド) bull 消耗品(ボールグローブティ)の販促 bull セール商品のお知らせ bull キャンペーンのお知らせ bull クーポンの提供

bull 自社サイト bull メール bull 検索エンジン(SEO) bull リスティング広告 bull リターゲティング広告

bull ディスプレイ広告 bull アフィリエイト広告 bull 電話 bull マスメディア bull リアルプロモーション

顧客接点最適化の4要素

仮説 セグメンテーショ

ン 実行 効果検証

3W1H 「誰に」「いつ」「何を」 「どのように」接点を持つか

自動化 モニタリング 廃止

+ Seve

顧客をセグメントし対象者を抽出

Responsys R2AD Rtoaster iOneでテストマーケティングを実行

効果検証を実施

全ての顧客接点でシームレスで一貫性のある最適化された顧客体験を提供するといっても PDCA+自動化のサイクルを回し変化する顧客のニーズを把握する継続的な取り組みが最重要

人(知恵) データ

体系化=システム化 暗黙知 rArr 形式知

継続的な効果検証チューニング

データ

知恵

テクノロジ

お客様体験デザインプロセス

予約版 Seve

ショップ版 Seve

会員版 Seve

予約 履歴

会員 マスタ

購買 履歴

会員 マスタ

会員 マスタ

予約 サマリ

購買 サマリ

統合版 Seve

会員 マスタ

購買 明細

予約 明細

アクセス

ログ

メール配信ログ

レコメンドデータ

広告配信 ログ

CS問合 ログ

あらゆるチャネルのデータを統合した顧客の360degView

Seve(会員分析抽出ツール)

初回来訪(リスティング経由)

会員登録

商品詳細ページ閲覧(メルマガ経由)

CS問合せ

商品レビュー投稿

再来訪(リターゲティング経由)

メルマガ配信開封

口コミ(商品レビュー)閲覧

初回購入(ドライバー)

会員情報トランザクションデータ(購買履歴予約履歴)行動履歴(サイトアクセスログ等)を統合することで個客一人一人のタイムライン(カスタマージャーニー)を作ることできる 統合版Seveにより自由にセグメンテーション対象者抽出が可能となる

Seve(会員分析抽出ツール)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

GDOのビックデータ活用の軌跡と活用事例

2009 2010 2011 2012 2013 DWHBIリリース 大リニューアル(G10)

KPIレポート

ゴルフ場営業支援レポート

新ゴルフ場営業支援レポート

MD分析プラットフォーム

Phil(閲覧ページ会員属性分析ツール)

Rtoaster連携

人気ゴルフ場ランキング

ショップレビューランキング

Seve(メルマガ対象者抽出ツール)

R2AD連携

Responsys連携

1114 GoogleShopping連携

全社データ活用基盤として2010年5月にリリースしたDWHBIG10プロジェクトで大幅なリニューアルを実施し現在では当初の目的である社内データの「見える化」に加えて日常業務での「分析意思決定支援」での活用そしてランキングといった自社サイトでの利用や広告配信システムとの連携といった「デジタルマーケティング活用」とその活用範囲を拡大してきている

デジタルマーケティング (売上向上)

分析意思決定支援 (業務効率化高度化)

集計見える化

DWHBI活用の軌跡

E-Commerce

ゴルフ場予約事業

OLAP分析

GBDP

ゴルフ場営業 サポート

KPIマネジメント

予実管理

BI Platform

ゴルフ場予約

連携システム

会員管理

ERP

スコア管理

ワークフロー

広告営業管理

DWH

DWH Platform

ETL

Data Stage

ログ解析システム

アクセス ログデータ

Digital Marketing Platform

アウトバウンドマーケティング

顧客抽出ツール(Seve)

ゴルフ場向 営業支援帳票

インバウンドマーケティング

統合レコメンドエンジン

GDOサイト

EC事業

MD分析 プラットフォーム

受注発注分析

在庫欠品分析

会員属性と連携した広告配信システム

広告配信システム

ECショッピングモール (Google Shopping)

会員分析

統計解析

IBM SPSS R

社外データ

システム構成(2013年11月13日時点)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

数字で見るDWH

J

データ量

6TBytes

DWHに格納されているデータ量は2013年11月現在で6TByteですSybase IQのデータ圧縮機能により約20に圧縮され保存されています

連携システム数

22システム

DWHは社内社外の21のシステムとデータ連携を行っています連携しているデータの種類(IF数)は300にものぼります

テーブル数

1400 テーブル

DWHが各種システムから取得したデータはETL処理により取込用途ごとに集計され1400のテーブルに格納されています

利用者数

BI 50ユーザ

ODBC 200ユーザ

全社員400人中50人が日々BIツールを業務で活用200人がODBC接続でExcelやAccessを活用しています

ジョブ数

1200ジョブ

DWHでは日々1200のバッチ処理が行われています全てのジョブがジョブ管理ツールにより制御されエラー発生時には即座にメールが送信されます

バッチ処理時間

10時間

日次のバッチ処理にかかる時間は約8時間ですバックアップにかかる時間はその中で1時間半を占めます

バッチ処理(JP1)

HP StorageWorks MSA2312fc x 4 (2009) HDD48 Size28TB

DWH Server(SybaseIQ)

HP ProLiant DL380 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM320GB HDD136GB OS Windows Server 2003 SE SP2 (x64)

HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM180GB HDD416GB OS Windows Server 2003 EE SP2(32bit)

ETL Server(DataStage)

HP ProLiant DL380 G6 (2009) CPU Intelreg Xeonreg Processor E5540 CPU2 Core8 MEM620GB HDD136GB OS Windows Server 2008 EE SP2 (x64)

BI Server(MicroStrategy)

本番環境

HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 of CPU1 of cores2 MEM320GB HDD694GB OS Windows Server 2003 SE SP2 (x64)

DWH Server(SybaseIQ)

開発環境

Strage

DWHBIを支えるインフラ

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Seve(メルマガターゲティングツール)

会員情報 times 購買履歴予約履歴 会員情報(性別年代)と過去の購買履歴からターゲティング

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Seve(メルマガターゲティングツール)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Phil(サイト来訪者分析ツール)

会員情報 times アクセスログ アクセスログ(サイト閲覧履歴)から会員情報(性別年代)を分析

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Phil(サイト来訪者分析ツール)

値下げお知らせメール

今日からセールになる商品を『直近1週間に閲覧』し『直近1ヶ月以内にその商品を購入していない』お客様に対してセールになった事を伝えるメールを配信

CTR(来訪率) 約25~30 レギュラーメール 2~25

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

サイト利用

マーケティングシステム連携

広告配信システム(DSP) (リターゲティング広告)

レコメンドエンジン (自社サイトパーソナライズ)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

データ活用を進めるための3つのポイント

進化のための安定

進化のための安定

進化のための安定

DWH起因 他システム起因 サービス停止

2012年1月 5 5 0

2012年2月 2 5 3

2012年3月 4 1 2

2012年4月 1 1 0

2012年5月 4 1 0

2012年6月 3 4 0

2012年7月 1 6 1

2012年8月 1 3 1

2012年9月 1 2 0

2012年10月 3 0 1

2012年11月 1 1 1

2012年12月 3 3 1

2013年1月 2 1 0

2013年2月 1 1 0

2013年3月 1 2 1

2013年4月 1 1 1

2013年5月 0 2 2

2013年6月 2 2 1

合計 36 41 15

DWH起因の障害原因 バグ

人的ミス

OSミドルウェア障害

他システム起因の障害原因

データ連携遅延

他システム連携エラー(API)

データ不備

東京都

千葉県 (33633) 神奈川県

(7422)

茨城県 (15654)

栃木県 (12026)

群馬県 (7124)

埼玉県 (15028)

静岡県

15800

16955

2990 19498

34817

8739

2058

38330

21772

21067

16634

自由研究(20ルール)①

会員居住地と予約されたゴルフ場の場所(関東地方編)

予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか

自由研究(20ルール)②

EC 商品ジャンル別のクラスタリング分析 (R)

自由研究(20ルール)③

マイクロストラテジー ビジュアルインサイト

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

自由研究(20ルール)④

Mahoutを利用したレコメンドエンジンの開発

データ活用推進を阻む大きな壁データ活用の需要と供給

供給 需要 < 供給 需要 >

システム データ活用リテラシー < システム データ活用リテラシー >

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

ビックデータ活用を支える基盤と今後の展開

E-Commerce

EC事業

ゴルフ場予約事業

OLAP分析

GBDP

ゴルフ場営業 サポート

会員分析

KPIマネジメント

予実管理

ゴルフ場向 営業支援帳票

BI Platform

MD分析 プラットフォーム

受注発注分析

在庫欠品分析

社外データ

ゴルフ場予約

連携システム

会員管理

ERP

スコア管理

ワークフロー

広告営業管理

GDOサイト

統合レコメンドエンジン

Digital Marketing Platform

統計解析

IBM SPSS R

DWH

DWH Platform

ETL

Data Stage

ログ解析システム

アクセス ログデータ

Hadoop Platform

HDFS

Hive

インバウンドマーケティング

アウトバウンドマーケティング

顧客抽出ツール(Seve)

キャンペーンマネージメントシステム

会員属性と連携した広告配信システム

広告配信システム

ECショッピングモール (Google Shopping)

マーケティングオートメーション(2013年11月14日時点)

Amazon Web Service Amazon VPC(Virtual Private Cloud)

プライベートサブネット

GDO社内

キャンペーン マネージメント

スレーブノード (m1large) times3(Datanode)

Amazon EC2

アクセス ログデータ

ログ解析 システム

マスターノード(m1large) times3台(ClientActiveStandby)

Standby (EC2)

NameNode JournalNode

HDFS (EBS) 500GB

HDFS (EBS) 500GB

DataNode TasKTracker

DataNode TaskTracker

(EC2)

HDFS (EBS) 500GB

DataNode TaskTracker

Active (EC2)

Client (EC2)

(EC2) (EC2)

Client JournalNode Hive

NameNode JournalNode

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

Hadoop システム構成

Hadoop + Hive

なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった

② タダ(無料)だから

③ 使ってみたかった

Hadoopを利用してみて分かったこと

意外と安定している

HiveQLには制限は少ない(SELECT)

開発生産性は高い

クラウドなのでスケールアウトはとっても簡単いろんな意味で

更新削除は出来ない

レスポンスは遅い

Hadoop + Hive のベストプラクティス

バッチ処理

R2AD Responsys Ignision One

DWH Seve

基幹システム

WEB ログシステム

Rtoaster

リスティングディスプレイリマーケティング メール レコメンド

LPO

顧客抽出

ログレスポンスデータ

トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある

DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)

お客様の行動に合わせた高度なマーケティングを実行するためには

Ad CRM

DWH

RI Rtoas

ter

R2AD iOne

基幹 システム

WEB ログシステム

データの集中と相互利用

今後のデジタルマーケティング時代に求められるDWH

製品選定

GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける

② 移行性を重視する

③ 当然ですが最小の費用で最大の効果を

ご清聴ありがとうございました

Page 8: [C11] ビックデータ×マーケティング 進化するディジタルマーケティングを支えるビックデータ活用基盤 by Takatomo Kamatsu

「モノ不足」時代 「モノ余り」時代 「ビックデータ」時代 「デジタルマーケティング」時代

キーワード 大量生産大量消費 主導権は提供者

主導権は消費者 (メーカーrArr小売り)

顧客視点 ユーザニーズの把握 消費者の価値観が多様化

ビックデータ 顧客のインサイトを知る rArr 分析

マーケティング オートメーション

マーケティング対象 大衆(マス) セグメント別 個客 個客

マーケティング手法 マスマーケティング ブランディング

セグメントマーケティング One to Oneマーケティング One to One マーケティング

+ オートメーション

DB 集計見える化 データベースマーケティング (会員情報times購買履歴)

データベースマーケティング (会員情報times購買履歴times行動履歴)

テクノロジ データウェハウス(DWH) ビジネスインテリジェンス(BI)

アクセス解析 データサイエンティスト HadoopNoSQL クラウド

キャンペーンマネージメント パーソナライズ 機械学習 レコメンドエンジン プライベートDMP

その他 ポイントカード 会員データベース POS プライベートブランドSPA 「お願いランキングGOLD」レトルト食品総選挙

カスタマージャーニー O2O ショールーミング スマートフォン

オムニチャネル

ビックデータがマーケティングで利用される背景

ビックデータ企業が他社と差別化できる数少ない武器 企業の生き残りが掛かっている

流通小売業にとって目下最大の脅威は「ショールーミング」 リアル店舗で商品をチェックしてネットで購入するという消費者行動スマホの普及で加速

米MacyrsquosのCEOは2011年に「オムニチャネル企業を目指す」と宣言

経営不振からの脱却

お客様体験デザイン

全ての顧客接点でシームレスで一貫性のある個客ごとに最適化された顧客体験を提供することでロイヤリティの獲得ブランドエクイティを向上させる戦略その取り組み

オムニチャネル戦略

購買履歴や会員情報といったこれまで分かっていた情報に加えて全ての顧客接点から取得した行動履歴から来訪したが購買に至らなかったといったこれまでは見えなかった見ることが難しかった情報から顧客の姿を捉えることが必要になる

既存顧客 (見える姿)

既存顧客 (見えない姿)

来店したが購入しなかった人

潜在顧客

購入してくれそうな人

購買履歴

会員情報

サイトアクセスログ メール配信ログ CS問合ログ

従来見えなかった顧客の姿や潜在顧客の発掘

会員情報と購買履歴によるセグメンテーションでは同じセグメントでもサイトの行動履歴を加えたセグメンテーションではセグメントは異なってくる

会員情報購買履歴

最新購入日2か月以内 購買頻度過去1年間で3回以上 過去の購入金額10万円以上 40代男性

行動履歴

1ヶ月以内にサイトアクセス

RFM分析などでは同じセグメント

1週間以内に3回サイトアクセスカートに商品を入れている

1ヶ月以上サイトアクセスなし

ホントに同じセグメントでいいの

A B C A B C

例行動履歴を利用した顧客セグメント

お客様体験デザインとは 「全ての顧客接点でシームレスで一貫性のある最適化された顧客体験を提供する」 その仕組みをデザインすること

タイミングの最適化

セグメントの最適化

コンテンツの最適化

チャネルの最適化

顧客接点最適化の4要素

いつ接点を持つのか

誰に対して接点を持つのか

何を提供するのか

どの経路で 接点を持つのか

bull ゴルフ場予約の翌日商品購入後1週間後 bull プレーの前日 bull 商品詳細ページ閲覧の翌日 bull 商品をカートに放置した3日後 bull メール未開封が1か月経過した後 bull 東京神奈川埼玉千葉在住の男性 bull 過去にコンペを3回以上予約している会員 bull 過去に10万円以上購買実績があるが過去半年購買経

験がない離脱予備軍 bull セール商品の商品ページを過去1週間以内に閲覧した会員

bull 関心のあるブランドの商品をお薦め(レコメンド) bull 消耗品(ボールグローブティ)の販促 bull セール商品のお知らせ bull キャンペーンのお知らせ bull クーポンの提供

bull 自社サイト bull メール bull 検索エンジン(SEO) bull リスティング広告 bull リターゲティング広告

bull ディスプレイ広告 bull アフィリエイト広告 bull 電話 bull マスメディア bull リアルプロモーション

顧客接点最適化の4要素

仮説 セグメンテーショ

ン 実行 効果検証

3W1H 「誰に」「いつ」「何を」 「どのように」接点を持つか

自動化 モニタリング 廃止

+ Seve

顧客をセグメントし対象者を抽出

Responsys R2AD Rtoaster iOneでテストマーケティングを実行

効果検証を実施

全ての顧客接点でシームレスで一貫性のある最適化された顧客体験を提供するといっても PDCA+自動化のサイクルを回し変化する顧客のニーズを把握する継続的な取り組みが最重要

人(知恵) データ

体系化=システム化 暗黙知 rArr 形式知

継続的な効果検証チューニング

データ

知恵

テクノロジ

お客様体験デザインプロセス

予約版 Seve

ショップ版 Seve

会員版 Seve

予約 履歴

会員 マスタ

購買 履歴

会員 マスタ

会員 マスタ

予約 サマリ

購買 サマリ

統合版 Seve

会員 マスタ

購買 明細

予約 明細

アクセス

ログ

メール配信ログ

レコメンドデータ

広告配信 ログ

CS問合 ログ

あらゆるチャネルのデータを統合した顧客の360degView

Seve(会員分析抽出ツール)

初回来訪(リスティング経由)

会員登録

商品詳細ページ閲覧(メルマガ経由)

CS問合せ

商品レビュー投稿

再来訪(リターゲティング経由)

メルマガ配信開封

口コミ(商品レビュー)閲覧

初回購入(ドライバー)

会員情報トランザクションデータ(購買履歴予約履歴)行動履歴(サイトアクセスログ等)を統合することで個客一人一人のタイムライン(カスタマージャーニー)を作ることできる 統合版Seveにより自由にセグメンテーション対象者抽出が可能となる

Seve(会員分析抽出ツール)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

GDOのビックデータ活用の軌跡と活用事例

2009 2010 2011 2012 2013 DWHBIリリース 大リニューアル(G10)

KPIレポート

ゴルフ場営業支援レポート

新ゴルフ場営業支援レポート

MD分析プラットフォーム

Phil(閲覧ページ会員属性分析ツール)

Rtoaster連携

人気ゴルフ場ランキング

ショップレビューランキング

Seve(メルマガ対象者抽出ツール)

R2AD連携

Responsys連携

1114 GoogleShopping連携

全社データ活用基盤として2010年5月にリリースしたDWHBIG10プロジェクトで大幅なリニューアルを実施し現在では当初の目的である社内データの「見える化」に加えて日常業務での「分析意思決定支援」での活用そしてランキングといった自社サイトでの利用や広告配信システムとの連携といった「デジタルマーケティング活用」とその活用範囲を拡大してきている

デジタルマーケティング (売上向上)

分析意思決定支援 (業務効率化高度化)

集計見える化

DWHBI活用の軌跡

E-Commerce

ゴルフ場予約事業

OLAP分析

GBDP

ゴルフ場営業 サポート

KPIマネジメント

予実管理

BI Platform

ゴルフ場予約

連携システム

会員管理

ERP

スコア管理

ワークフロー

広告営業管理

DWH

DWH Platform

ETL

Data Stage

ログ解析システム

アクセス ログデータ

Digital Marketing Platform

アウトバウンドマーケティング

顧客抽出ツール(Seve)

ゴルフ場向 営業支援帳票

インバウンドマーケティング

統合レコメンドエンジン

GDOサイト

EC事業

MD分析 プラットフォーム

受注発注分析

在庫欠品分析

会員属性と連携した広告配信システム

広告配信システム

ECショッピングモール (Google Shopping)

会員分析

統計解析

IBM SPSS R

社外データ

システム構成(2013年11月13日時点)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

数字で見るDWH

J

データ量

6TBytes

DWHに格納されているデータ量は2013年11月現在で6TByteですSybase IQのデータ圧縮機能により約20に圧縮され保存されています

連携システム数

22システム

DWHは社内社外の21のシステムとデータ連携を行っています連携しているデータの種類(IF数)は300にものぼります

テーブル数

1400 テーブル

DWHが各種システムから取得したデータはETL処理により取込用途ごとに集計され1400のテーブルに格納されています

利用者数

BI 50ユーザ

ODBC 200ユーザ

全社員400人中50人が日々BIツールを業務で活用200人がODBC接続でExcelやAccessを活用しています

ジョブ数

1200ジョブ

DWHでは日々1200のバッチ処理が行われています全てのジョブがジョブ管理ツールにより制御されエラー発生時には即座にメールが送信されます

バッチ処理時間

10時間

日次のバッチ処理にかかる時間は約8時間ですバックアップにかかる時間はその中で1時間半を占めます

バッチ処理(JP1)

HP StorageWorks MSA2312fc x 4 (2009) HDD48 Size28TB

DWH Server(SybaseIQ)

HP ProLiant DL380 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM320GB HDD136GB OS Windows Server 2003 SE SP2 (x64)

HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM180GB HDD416GB OS Windows Server 2003 EE SP2(32bit)

ETL Server(DataStage)

HP ProLiant DL380 G6 (2009) CPU Intelreg Xeonreg Processor E5540 CPU2 Core8 MEM620GB HDD136GB OS Windows Server 2008 EE SP2 (x64)

BI Server(MicroStrategy)

本番環境

HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 of CPU1 of cores2 MEM320GB HDD694GB OS Windows Server 2003 SE SP2 (x64)

DWH Server(SybaseIQ)

開発環境

Strage

DWHBIを支えるインフラ

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Seve(メルマガターゲティングツール)

会員情報 times 購買履歴予約履歴 会員情報(性別年代)と過去の購買履歴からターゲティング

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Seve(メルマガターゲティングツール)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Phil(サイト来訪者分析ツール)

会員情報 times アクセスログ アクセスログ(サイト閲覧履歴)から会員情報(性別年代)を分析

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Phil(サイト来訪者分析ツール)

値下げお知らせメール

今日からセールになる商品を『直近1週間に閲覧』し『直近1ヶ月以内にその商品を購入していない』お客様に対してセールになった事を伝えるメールを配信

CTR(来訪率) 約25~30 レギュラーメール 2~25

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

サイト利用

マーケティングシステム連携

広告配信システム(DSP) (リターゲティング広告)

レコメンドエンジン (自社サイトパーソナライズ)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

データ活用を進めるための3つのポイント

進化のための安定

進化のための安定

進化のための安定

DWH起因 他システム起因 サービス停止

2012年1月 5 5 0

2012年2月 2 5 3

2012年3月 4 1 2

2012年4月 1 1 0

2012年5月 4 1 0

2012年6月 3 4 0

2012年7月 1 6 1

2012年8月 1 3 1

2012年9月 1 2 0

2012年10月 3 0 1

2012年11月 1 1 1

2012年12月 3 3 1

2013年1月 2 1 0

2013年2月 1 1 0

2013年3月 1 2 1

2013年4月 1 1 1

2013年5月 0 2 2

2013年6月 2 2 1

合計 36 41 15

DWH起因の障害原因 バグ

人的ミス

OSミドルウェア障害

他システム起因の障害原因

データ連携遅延

他システム連携エラー(API)

データ不備

東京都

千葉県 (33633) 神奈川県

(7422)

茨城県 (15654)

栃木県 (12026)

群馬県 (7124)

埼玉県 (15028)

静岡県

15800

16955

2990 19498

34817

8739

2058

38330

21772

21067

16634

自由研究(20ルール)①

会員居住地と予約されたゴルフ場の場所(関東地方編)

予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか

自由研究(20ルール)②

EC 商品ジャンル別のクラスタリング分析 (R)

自由研究(20ルール)③

マイクロストラテジー ビジュアルインサイト

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

自由研究(20ルール)④

Mahoutを利用したレコメンドエンジンの開発

データ活用推進を阻む大きな壁データ活用の需要と供給

供給 需要 < 供給 需要 >

システム データ活用リテラシー < システム データ活用リテラシー >

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

ビックデータ活用を支える基盤と今後の展開

E-Commerce

EC事業

ゴルフ場予約事業

OLAP分析

GBDP

ゴルフ場営業 サポート

会員分析

KPIマネジメント

予実管理

ゴルフ場向 営業支援帳票

BI Platform

MD分析 プラットフォーム

受注発注分析

在庫欠品分析

社外データ

ゴルフ場予約

連携システム

会員管理

ERP

スコア管理

ワークフロー

広告営業管理

GDOサイト

統合レコメンドエンジン

Digital Marketing Platform

統計解析

IBM SPSS R

DWH

DWH Platform

ETL

Data Stage

ログ解析システム

アクセス ログデータ

Hadoop Platform

HDFS

Hive

インバウンドマーケティング

アウトバウンドマーケティング

顧客抽出ツール(Seve)

キャンペーンマネージメントシステム

会員属性と連携した広告配信システム

広告配信システム

ECショッピングモール (Google Shopping)

マーケティングオートメーション(2013年11月14日時点)

Amazon Web Service Amazon VPC(Virtual Private Cloud)

プライベートサブネット

GDO社内

キャンペーン マネージメント

スレーブノード (m1large) times3(Datanode)

Amazon EC2

アクセス ログデータ

ログ解析 システム

マスターノード(m1large) times3台(ClientActiveStandby)

Standby (EC2)

NameNode JournalNode

HDFS (EBS) 500GB

HDFS (EBS) 500GB

DataNode TasKTracker

DataNode TaskTracker

(EC2)

HDFS (EBS) 500GB

DataNode TaskTracker

Active (EC2)

Client (EC2)

(EC2) (EC2)

Client JournalNode Hive

NameNode JournalNode

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

Hadoop システム構成

Hadoop + Hive

なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった

② タダ(無料)だから

③ 使ってみたかった

Hadoopを利用してみて分かったこと

意外と安定している

HiveQLには制限は少ない(SELECT)

開発生産性は高い

クラウドなのでスケールアウトはとっても簡単いろんな意味で

更新削除は出来ない

レスポンスは遅い

Hadoop + Hive のベストプラクティス

バッチ処理

R2AD Responsys Ignision One

DWH Seve

基幹システム

WEB ログシステム

Rtoaster

リスティングディスプレイリマーケティング メール レコメンド

LPO

顧客抽出

ログレスポンスデータ

トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある

DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)

お客様の行動に合わせた高度なマーケティングを実行するためには

Ad CRM

DWH

RI Rtoas

ter

R2AD iOne

基幹 システム

WEB ログシステム

データの集中と相互利用

今後のデジタルマーケティング時代に求められるDWH

製品選定

GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける

② 移行性を重視する

③ 当然ですが最小の費用で最大の効果を

ご清聴ありがとうございました

Page 9: [C11] ビックデータ×マーケティング 進化するディジタルマーケティングを支えるビックデータ活用基盤 by Takatomo Kamatsu

流通小売業にとって目下最大の脅威は「ショールーミング」 リアル店舗で商品をチェックしてネットで購入するという消費者行動スマホの普及で加速

米MacyrsquosのCEOは2011年に「オムニチャネル企業を目指す」と宣言

経営不振からの脱却

お客様体験デザイン

全ての顧客接点でシームレスで一貫性のある個客ごとに最適化された顧客体験を提供することでロイヤリティの獲得ブランドエクイティを向上させる戦略その取り組み

オムニチャネル戦略

購買履歴や会員情報といったこれまで分かっていた情報に加えて全ての顧客接点から取得した行動履歴から来訪したが購買に至らなかったといったこれまでは見えなかった見ることが難しかった情報から顧客の姿を捉えることが必要になる

既存顧客 (見える姿)

既存顧客 (見えない姿)

来店したが購入しなかった人

潜在顧客

購入してくれそうな人

購買履歴

会員情報

サイトアクセスログ メール配信ログ CS問合ログ

従来見えなかった顧客の姿や潜在顧客の発掘

会員情報と購買履歴によるセグメンテーションでは同じセグメントでもサイトの行動履歴を加えたセグメンテーションではセグメントは異なってくる

会員情報購買履歴

最新購入日2か月以内 購買頻度過去1年間で3回以上 過去の購入金額10万円以上 40代男性

行動履歴

1ヶ月以内にサイトアクセス

RFM分析などでは同じセグメント

1週間以内に3回サイトアクセスカートに商品を入れている

1ヶ月以上サイトアクセスなし

ホントに同じセグメントでいいの

A B C A B C

例行動履歴を利用した顧客セグメント

お客様体験デザインとは 「全ての顧客接点でシームレスで一貫性のある最適化された顧客体験を提供する」 その仕組みをデザインすること

タイミングの最適化

セグメントの最適化

コンテンツの最適化

チャネルの最適化

顧客接点最適化の4要素

いつ接点を持つのか

誰に対して接点を持つのか

何を提供するのか

どの経路で 接点を持つのか

bull ゴルフ場予約の翌日商品購入後1週間後 bull プレーの前日 bull 商品詳細ページ閲覧の翌日 bull 商品をカートに放置した3日後 bull メール未開封が1か月経過した後 bull 東京神奈川埼玉千葉在住の男性 bull 過去にコンペを3回以上予約している会員 bull 過去に10万円以上購買実績があるが過去半年購買経

験がない離脱予備軍 bull セール商品の商品ページを過去1週間以内に閲覧した会員

bull 関心のあるブランドの商品をお薦め(レコメンド) bull 消耗品(ボールグローブティ)の販促 bull セール商品のお知らせ bull キャンペーンのお知らせ bull クーポンの提供

bull 自社サイト bull メール bull 検索エンジン(SEO) bull リスティング広告 bull リターゲティング広告

bull ディスプレイ広告 bull アフィリエイト広告 bull 電話 bull マスメディア bull リアルプロモーション

顧客接点最適化の4要素

仮説 セグメンテーショ

ン 実行 効果検証

3W1H 「誰に」「いつ」「何を」 「どのように」接点を持つか

自動化 モニタリング 廃止

+ Seve

顧客をセグメントし対象者を抽出

Responsys R2AD Rtoaster iOneでテストマーケティングを実行

効果検証を実施

全ての顧客接点でシームレスで一貫性のある最適化された顧客体験を提供するといっても PDCA+自動化のサイクルを回し変化する顧客のニーズを把握する継続的な取り組みが最重要

人(知恵) データ

体系化=システム化 暗黙知 rArr 形式知

継続的な効果検証チューニング

データ

知恵

テクノロジ

お客様体験デザインプロセス

予約版 Seve

ショップ版 Seve

会員版 Seve

予約 履歴

会員 マスタ

購買 履歴

会員 マスタ

会員 マスタ

予約 サマリ

購買 サマリ

統合版 Seve

会員 マスタ

購買 明細

予約 明細

アクセス

ログ

メール配信ログ

レコメンドデータ

広告配信 ログ

CS問合 ログ

あらゆるチャネルのデータを統合した顧客の360degView

Seve(会員分析抽出ツール)

初回来訪(リスティング経由)

会員登録

商品詳細ページ閲覧(メルマガ経由)

CS問合せ

商品レビュー投稿

再来訪(リターゲティング経由)

メルマガ配信開封

口コミ(商品レビュー)閲覧

初回購入(ドライバー)

会員情報トランザクションデータ(購買履歴予約履歴)行動履歴(サイトアクセスログ等)を統合することで個客一人一人のタイムライン(カスタマージャーニー)を作ることできる 統合版Seveにより自由にセグメンテーション対象者抽出が可能となる

Seve(会員分析抽出ツール)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

GDOのビックデータ活用の軌跡と活用事例

2009 2010 2011 2012 2013 DWHBIリリース 大リニューアル(G10)

KPIレポート

ゴルフ場営業支援レポート

新ゴルフ場営業支援レポート

MD分析プラットフォーム

Phil(閲覧ページ会員属性分析ツール)

Rtoaster連携

人気ゴルフ場ランキング

ショップレビューランキング

Seve(メルマガ対象者抽出ツール)

R2AD連携

Responsys連携

1114 GoogleShopping連携

全社データ活用基盤として2010年5月にリリースしたDWHBIG10プロジェクトで大幅なリニューアルを実施し現在では当初の目的である社内データの「見える化」に加えて日常業務での「分析意思決定支援」での活用そしてランキングといった自社サイトでの利用や広告配信システムとの連携といった「デジタルマーケティング活用」とその活用範囲を拡大してきている

デジタルマーケティング (売上向上)

分析意思決定支援 (業務効率化高度化)

集計見える化

DWHBI活用の軌跡

E-Commerce

ゴルフ場予約事業

OLAP分析

GBDP

ゴルフ場営業 サポート

KPIマネジメント

予実管理

BI Platform

ゴルフ場予約

連携システム

会員管理

ERP

スコア管理

ワークフロー

広告営業管理

DWH

DWH Platform

ETL

Data Stage

ログ解析システム

アクセス ログデータ

Digital Marketing Platform

アウトバウンドマーケティング

顧客抽出ツール(Seve)

ゴルフ場向 営業支援帳票

インバウンドマーケティング

統合レコメンドエンジン

GDOサイト

EC事業

MD分析 プラットフォーム

受注発注分析

在庫欠品分析

会員属性と連携した広告配信システム

広告配信システム

ECショッピングモール (Google Shopping)

会員分析

統計解析

IBM SPSS R

社外データ

システム構成(2013年11月13日時点)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

数字で見るDWH

J

データ量

6TBytes

DWHに格納されているデータ量は2013年11月現在で6TByteですSybase IQのデータ圧縮機能により約20に圧縮され保存されています

連携システム数

22システム

DWHは社内社外の21のシステムとデータ連携を行っています連携しているデータの種類(IF数)は300にものぼります

テーブル数

1400 テーブル

DWHが各種システムから取得したデータはETL処理により取込用途ごとに集計され1400のテーブルに格納されています

利用者数

BI 50ユーザ

ODBC 200ユーザ

全社員400人中50人が日々BIツールを業務で活用200人がODBC接続でExcelやAccessを活用しています

ジョブ数

1200ジョブ

DWHでは日々1200のバッチ処理が行われています全てのジョブがジョブ管理ツールにより制御されエラー発生時には即座にメールが送信されます

バッチ処理時間

10時間

日次のバッチ処理にかかる時間は約8時間ですバックアップにかかる時間はその中で1時間半を占めます

バッチ処理(JP1)

HP StorageWorks MSA2312fc x 4 (2009) HDD48 Size28TB

DWH Server(SybaseIQ)

HP ProLiant DL380 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM320GB HDD136GB OS Windows Server 2003 SE SP2 (x64)

HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM180GB HDD416GB OS Windows Server 2003 EE SP2(32bit)

ETL Server(DataStage)

HP ProLiant DL380 G6 (2009) CPU Intelreg Xeonreg Processor E5540 CPU2 Core8 MEM620GB HDD136GB OS Windows Server 2008 EE SP2 (x64)

BI Server(MicroStrategy)

本番環境

HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 of CPU1 of cores2 MEM320GB HDD694GB OS Windows Server 2003 SE SP2 (x64)

DWH Server(SybaseIQ)

開発環境

Strage

DWHBIを支えるインフラ

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Seve(メルマガターゲティングツール)

会員情報 times 購買履歴予約履歴 会員情報(性別年代)と過去の購買履歴からターゲティング

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Seve(メルマガターゲティングツール)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Phil(サイト来訪者分析ツール)

会員情報 times アクセスログ アクセスログ(サイト閲覧履歴)から会員情報(性別年代)を分析

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Phil(サイト来訪者分析ツール)

値下げお知らせメール

今日からセールになる商品を『直近1週間に閲覧』し『直近1ヶ月以内にその商品を購入していない』お客様に対してセールになった事を伝えるメールを配信

CTR(来訪率) 約25~30 レギュラーメール 2~25

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

サイト利用

マーケティングシステム連携

広告配信システム(DSP) (リターゲティング広告)

レコメンドエンジン (自社サイトパーソナライズ)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

データ活用を進めるための3つのポイント

進化のための安定

進化のための安定

進化のための安定

DWH起因 他システム起因 サービス停止

2012年1月 5 5 0

2012年2月 2 5 3

2012年3月 4 1 2

2012年4月 1 1 0

2012年5月 4 1 0

2012年6月 3 4 0

2012年7月 1 6 1

2012年8月 1 3 1

2012年9月 1 2 0

2012年10月 3 0 1

2012年11月 1 1 1

2012年12月 3 3 1

2013年1月 2 1 0

2013年2月 1 1 0

2013年3月 1 2 1

2013年4月 1 1 1

2013年5月 0 2 2

2013年6月 2 2 1

合計 36 41 15

DWH起因の障害原因 バグ

人的ミス

OSミドルウェア障害

他システム起因の障害原因

データ連携遅延

他システム連携エラー(API)

データ不備

東京都

千葉県 (33633) 神奈川県

(7422)

茨城県 (15654)

栃木県 (12026)

群馬県 (7124)

埼玉県 (15028)

静岡県

15800

16955

2990 19498

34817

8739

2058

38330

21772

21067

16634

自由研究(20ルール)①

会員居住地と予約されたゴルフ場の場所(関東地方編)

予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか

自由研究(20ルール)②

EC 商品ジャンル別のクラスタリング分析 (R)

自由研究(20ルール)③

マイクロストラテジー ビジュアルインサイト

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

自由研究(20ルール)④

Mahoutを利用したレコメンドエンジンの開発

データ活用推進を阻む大きな壁データ活用の需要と供給

供給 需要 < 供給 需要 >

システム データ活用リテラシー < システム データ活用リテラシー >

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

ビックデータ活用を支える基盤と今後の展開

E-Commerce

EC事業

ゴルフ場予約事業

OLAP分析

GBDP

ゴルフ場営業 サポート

会員分析

KPIマネジメント

予実管理

ゴルフ場向 営業支援帳票

BI Platform

MD分析 プラットフォーム

受注発注分析

在庫欠品分析

社外データ

ゴルフ場予約

連携システム

会員管理

ERP

スコア管理

ワークフロー

広告営業管理

GDOサイト

統合レコメンドエンジン

Digital Marketing Platform

統計解析

IBM SPSS R

DWH

DWH Platform

ETL

Data Stage

ログ解析システム

アクセス ログデータ

Hadoop Platform

HDFS

Hive

インバウンドマーケティング

アウトバウンドマーケティング

顧客抽出ツール(Seve)

キャンペーンマネージメントシステム

会員属性と連携した広告配信システム

広告配信システム

ECショッピングモール (Google Shopping)

マーケティングオートメーション(2013年11月14日時点)

Amazon Web Service Amazon VPC(Virtual Private Cloud)

プライベートサブネット

GDO社内

キャンペーン マネージメント

スレーブノード (m1large) times3(Datanode)

Amazon EC2

アクセス ログデータ

ログ解析 システム

マスターノード(m1large) times3台(ClientActiveStandby)

Standby (EC2)

NameNode JournalNode

HDFS (EBS) 500GB

HDFS (EBS) 500GB

DataNode TasKTracker

DataNode TaskTracker

(EC2)

HDFS (EBS) 500GB

DataNode TaskTracker

Active (EC2)

Client (EC2)

(EC2) (EC2)

Client JournalNode Hive

NameNode JournalNode

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

Hadoop システム構成

Hadoop + Hive

なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった

② タダ(無料)だから

③ 使ってみたかった

Hadoopを利用してみて分かったこと

意外と安定している

HiveQLには制限は少ない(SELECT)

開発生産性は高い

クラウドなのでスケールアウトはとっても簡単いろんな意味で

更新削除は出来ない

レスポンスは遅い

Hadoop + Hive のベストプラクティス

バッチ処理

R2AD Responsys Ignision One

DWH Seve

基幹システム

WEB ログシステム

Rtoaster

リスティングディスプレイリマーケティング メール レコメンド

LPO

顧客抽出

ログレスポンスデータ

トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある

DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)

お客様の行動に合わせた高度なマーケティングを実行するためには

Ad CRM

DWH

RI Rtoas

ter

R2AD iOne

基幹 システム

WEB ログシステム

データの集中と相互利用

今後のデジタルマーケティング時代に求められるDWH

製品選定

GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける

② 移行性を重視する

③ 当然ですが最小の費用で最大の効果を

ご清聴ありがとうございました

Page 10: [C11] ビックデータ×マーケティング 進化するディジタルマーケティングを支えるビックデータ活用基盤 by Takatomo Kamatsu

購買履歴や会員情報といったこれまで分かっていた情報に加えて全ての顧客接点から取得した行動履歴から来訪したが購買に至らなかったといったこれまでは見えなかった見ることが難しかった情報から顧客の姿を捉えることが必要になる

既存顧客 (見える姿)

既存顧客 (見えない姿)

来店したが購入しなかった人

潜在顧客

購入してくれそうな人

購買履歴

会員情報

サイトアクセスログ メール配信ログ CS問合ログ

従来見えなかった顧客の姿や潜在顧客の発掘

会員情報と購買履歴によるセグメンテーションでは同じセグメントでもサイトの行動履歴を加えたセグメンテーションではセグメントは異なってくる

会員情報購買履歴

最新購入日2か月以内 購買頻度過去1年間で3回以上 過去の購入金額10万円以上 40代男性

行動履歴

1ヶ月以内にサイトアクセス

RFM分析などでは同じセグメント

1週間以内に3回サイトアクセスカートに商品を入れている

1ヶ月以上サイトアクセスなし

ホントに同じセグメントでいいの

A B C A B C

例行動履歴を利用した顧客セグメント

お客様体験デザインとは 「全ての顧客接点でシームレスで一貫性のある最適化された顧客体験を提供する」 その仕組みをデザインすること

タイミングの最適化

セグメントの最適化

コンテンツの最適化

チャネルの最適化

顧客接点最適化の4要素

いつ接点を持つのか

誰に対して接点を持つのか

何を提供するのか

どの経路で 接点を持つのか

bull ゴルフ場予約の翌日商品購入後1週間後 bull プレーの前日 bull 商品詳細ページ閲覧の翌日 bull 商品をカートに放置した3日後 bull メール未開封が1か月経過した後 bull 東京神奈川埼玉千葉在住の男性 bull 過去にコンペを3回以上予約している会員 bull 過去に10万円以上購買実績があるが過去半年購買経

験がない離脱予備軍 bull セール商品の商品ページを過去1週間以内に閲覧した会員

bull 関心のあるブランドの商品をお薦め(レコメンド) bull 消耗品(ボールグローブティ)の販促 bull セール商品のお知らせ bull キャンペーンのお知らせ bull クーポンの提供

bull 自社サイト bull メール bull 検索エンジン(SEO) bull リスティング広告 bull リターゲティング広告

bull ディスプレイ広告 bull アフィリエイト広告 bull 電話 bull マスメディア bull リアルプロモーション

顧客接点最適化の4要素

仮説 セグメンテーショ

ン 実行 効果検証

3W1H 「誰に」「いつ」「何を」 「どのように」接点を持つか

自動化 モニタリング 廃止

+ Seve

顧客をセグメントし対象者を抽出

Responsys R2AD Rtoaster iOneでテストマーケティングを実行

効果検証を実施

全ての顧客接点でシームレスで一貫性のある最適化された顧客体験を提供するといっても PDCA+自動化のサイクルを回し変化する顧客のニーズを把握する継続的な取り組みが最重要

人(知恵) データ

体系化=システム化 暗黙知 rArr 形式知

継続的な効果検証チューニング

データ

知恵

テクノロジ

お客様体験デザインプロセス

予約版 Seve

ショップ版 Seve

会員版 Seve

予約 履歴

会員 マスタ

購買 履歴

会員 マスタ

会員 マスタ

予約 サマリ

購買 サマリ

統合版 Seve

会員 マスタ

購買 明細

予約 明細

アクセス

ログ

メール配信ログ

レコメンドデータ

広告配信 ログ

CS問合 ログ

あらゆるチャネルのデータを統合した顧客の360degView

Seve(会員分析抽出ツール)

初回来訪(リスティング経由)

会員登録

商品詳細ページ閲覧(メルマガ経由)

CS問合せ

商品レビュー投稿

再来訪(リターゲティング経由)

メルマガ配信開封

口コミ(商品レビュー)閲覧

初回購入(ドライバー)

会員情報トランザクションデータ(購買履歴予約履歴)行動履歴(サイトアクセスログ等)を統合することで個客一人一人のタイムライン(カスタマージャーニー)を作ることできる 統合版Seveにより自由にセグメンテーション対象者抽出が可能となる

Seve(会員分析抽出ツール)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

GDOのビックデータ活用の軌跡と活用事例

2009 2010 2011 2012 2013 DWHBIリリース 大リニューアル(G10)

KPIレポート

ゴルフ場営業支援レポート

新ゴルフ場営業支援レポート

MD分析プラットフォーム

Phil(閲覧ページ会員属性分析ツール)

Rtoaster連携

人気ゴルフ場ランキング

ショップレビューランキング

Seve(メルマガ対象者抽出ツール)

R2AD連携

Responsys連携

1114 GoogleShopping連携

全社データ活用基盤として2010年5月にリリースしたDWHBIG10プロジェクトで大幅なリニューアルを実施し現在では当初の目的である社内データの「見える化」に加えて日常業務での「分析意思決定支援」での活用そしてランキングといった自社サイトでの利用や広告配信システムとの連携といった「デジタルマーケティング活用」とその活用範囲を拡大してきている

デジタルマーケティング (売上向上)

分析意思決定支援 (業務効率化高度化)

集計見える化

DWHBI活用の軌跡

E-Commerce

ゴルフ場予約事業

OLAP分析

GBDP

ゴルフ場営業 サポート

KPIマネジメント

予実管理

BI Platform

ゴルフ場予約

連携システム

会員管理

ERP

スコア管理

ワークフロー

広告営業管理

DWH

DWH Platform

ETL

Data Stage

ログ解析システム

アクセス ログデータ

Digital Marketing Platform

アウトバウンドマーケティング

顧客抽出ツール(Seve)

ゴルフ場向 営業支援帳票

インバウンドマーケティング

統合レコメンドエンジン

GDOサイト

EC事業

MD分析 プラットフォーム

受注発注分析

在庫欠品分析

会員属性と連携した広告配信システム

広告配信システム

ECショッピングモール (Google Shopping)

会員分析

統計解析

IBM SPSS R

社外データ

システム構成(2013年11月13日時点)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

数字で見るDWH

J

データ量

6TBytes

DWHに格納されているデータ量は2013年11月現在で6TByteですSybase IQのデータ圧縮機能により約20に圧縮され保存されています

連携システム数

22システム

DWHは社内社外の21のシステムとデータ連携を行っています連携しているデータの種類(IF数)は300にものぼります

テーブル数

1400 テーブル

DWHが各種システムから取得したデータはETL処理により取込用途ごとに集計され1400のテーブルに格納されています

利用者数

BI 50ユーザ

ODBC 200ユーザ

全社員400人中50人が日々BIツールを業務で活用200人がODBC接続でExcelやAccessを活用しています

ジョブ数

1200ジョブ

DWHでは日々1200のバッチ処理が行われています全てのジョブがジョブ管理ツールにより制御されエラー発生時には即座にメールが送信されます

バッチ処理時間

10時間

日次のバッチ処理にかかる時間は約8時間ですバックアップにかかる時間はその中で1時間半を占めます

バッチ処理(JP1)

HP StorageWorks MSA2312fc x 4 (2009) HDD48 Size28TB

DWH Server(SybaseIQ)

HP ProLiant DL380 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM320GB HDD136GB OS Windows Server 2003 SE SP2 (x64)

HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM180GB HDD416GB OS Windows Server 2003 EE SP2(32bit)

ETL Server(DataStage)

HP ProLiant DL380 G6 (2009) CPU Intelreg Xeonreg Processor E5540 CPU2 Core8 MEM620GB HDD136GB OS Windows Server 2008 EE SP2 (x64)

BI Server(MicroStrategy)

本番環境

HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 of CPU1 of cores2 MEM320GB HDD694GB OS Windows Server 2003 SE SP2 (x64)

DWH Server(SybaseIQ)

開発環境

Strage

DWHBIを支えるインフラ

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Seve(メルマガターゲティングツール)

会員情報 times 購買履歴予約履歴 会員情報(性別年代)と過去の購買履歴からターゲティング

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Seve(メルマガターゲティングツール)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Phil(サイト来訪者分析ツール)

会員情報 times アクセスログ アクセスログ(サイト閲覧履歴)から会員情報(性別年代)を分析

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Phil(サイト来訪者分析ツール)

値下げお知らせメール

今日からセールになる商品を『直近1週間に閲覧』し『直近1ヶ月以内にその商品を購入していない』お客様に対してセールになった事を伝えるメールを配信

CTR(来訪率) 約25~30 レギュラーメール 2~25

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

サイト利用

マーケティングシステム連携

広告配信システム(DSP) (リターゲティング広告)

レコメンドエンジン (自社サイトパーソナライズ)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

データ活用を進めるための3つのポイント

進化のための安定

進化のための安定

進化のための安定

DWH起因 他システム起因 サービス停止

2012年1月 5 5 0

2012年2月 2 5 3

2012年3月 4 1 2

2012年4月 1 1 0

2012年5月 4 1 0

2012年6月 3 4 0

2012年7月 1 6 1

2012年8月 1 3 1

2012年9月 1 2 0

2012年10月 3 0 1

2012年11月 1 1 1

2012年12月 3 3 1

2013年1月 2 1 0

2013年2月 1 1 0

2013年3月 1 2 1

2013年4月 1 1 1

2013年5月 0 2 2

2013年6月 2 2 1

合計 36 41 15

DWH起因の障害原因 バグ

人的ミス

OSミドルウェア障害

他システム起因の障害原因

データ連携遅延

他システム連携エラー(API)

データ不備

東京都

千葉県 (33633) 神奈川県

(7422)

茨城県 (15654)

栃木県 (12026)

群馬県 (7124)

埼玉県 (15028)

静岡県

15800

16955

2990 19498

34817

8739

2058

38330

21772

21067

16634

自由研究(20ルール)①

会員居住地と予約されたゴルフ場の場所(関東地方編)

予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか

自由研究(20ルール)②

EC 商品ジャンル別のクラスタリング分析 (R)

自由研究(20ルール)③

マイクロストラテジー ビジュアルインサイト

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

自由研究(20ルール)④

Mahoutを利用したレコメンドエンジンの開発

データ活用推進を阻む大きな壁データ活用の需要と供給

供給 需要 < 供給 需要 >

システム データ活用リテラシー < システム データ活用リテラシー >

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

ビックデータ活用を支える基盤と今後の展開

E-Commerce

EC事業

ゴルフ場予約事業

OLAP分析

GBDP

ゴルフ場営業 サポート

会員分析

KPIマネジメント

予実管理

ゴルフ場向 営業支援帳票

BI Platform

MD分析 プラットフォーム

受注発注分析

在庫欠品分析

社外データ

ゴルフ場予約

連携システム

会員管理

ERP

スコア管理

ワークフロー

広告営業管理

GDOサイト

統合レコメンドエンジン

Digital Marketing Platform

統計解析

IBM SPSS R

DWH

DWH Platform

ETL

Data Stage

ログ解析システム

アクセス ログデータ

Hadoop Platform

HDFS

Hive

インバウンドマーケティング

アウトバウンドマーケティング

顧客抽出ツール(Seve)

キャンペーンマネージメントシステム

会員属性と連携した広告配信システム

広告配信システム

ECショッピングモール (Google Shopping)

マーケティングオートメーション(2013年11月14日時点)

Amazon Web Service Amazon VPC(Virtual Private Cloud)

プライベートサブネット

GDO社内

キャンペーン マネージメント

スレーブノード (m1large) times3(Datanode)

Amazon EC2

アクセス ログデータ

ログ解析 システム

マスターノード(m1large) times3台(ClientActiveStandby)

Standby (EC2)

NameNode JournalNode

HDFS (EBS) 500GB

HDFS (EBS) 500GB

DataNode TasKTracker

DataNode TaskTracker

(EC2)

HDFS (EBS) 500GB

DataNode TaskTracker

Active (EC2)

Client (EC2)

(EC2) (EC2)

Client JournalNode Hive

NameNode JournalNode

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

Hadoop システム構成

Hadoop + Hive

なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった

② タダ(無料)だから

③ 使ってみたかった

Hadoopを利用してみて分かったこと

意外と安定している

HiveQLには制限は少ない(SELECT)

開発生産性は高い

クラウドなのでスケールアウトはとっても簡単いろんな意味で

更新削除は出来ない

レスポンスは遅い

Hadoop + Hive のベストプラクティス

バッチ処理

R2AD Responsys Ignision One

DWH Seve

基幹システム

WEB ログシステム

Rtoaster

リスティングディスプレイリマーケティング メール レコメンド

LPO

顧客抽出

ログレスポンスデータ

トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある

DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)

お客様の行動に合わせた高度なマーケティングを実行するためには

Ad CRM

DWH

RI Rtoas

ter

R2AD iOne

基幹 システム

WEB ログシステム

データの集中と相互利用

今後のデジタルマーケティング時代に求められるDWH

製品選定

GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける

② 移行性を重視する

③ 当然ですが最小の費用で最大の効果を

ご清聴ありがとうございました

Page 11: [C11] ビックデータ×マーケティング 進化するディジタルマーケティングを支えるビックデータ活用基盤 by Takatomo Kamatsu

会員情報と購買履歴によるセグメンテーションでは同じセグメントでもサイトの行動履歴を加えたセグメンテーションではセグメントは異なってくる

会員情報購買履歴

最新購入日2か月以内 購買頻度過去1年間で3回以上 過去の購入金額10万円以上 40代男性

行動履歴

1ヶ月以内にサイトアクセス

RFM分析などでは同じセグメント

1週間以内に3回サイトアクセスカートに商品を入れている

1ヶ月以上サイトアクセスなし

ホントに同じセグメントでいいの

A B C A B C

例行動履歴を利用した顧客セグメント

お客様体験デザインとは 「全ての顧客接点でシームレスで一貫性のある最適化された顧客体験を提供する」 その仕組みをデザインすること

タイミングの最適化

セグメントの最適化

コンテンツの最適化

チャネルの最適化

顧客接点最適化の4要素

いつ接点を持つのか

誰に対して接点を持つのか

何を提供するのか

どの経路で 接点を持つのか

bull ゴルフ場予約の翌日商品購入後1週間後 bull プレーの前日 bull 商品詳細ページ閲覧の翌日 bull 商品をカートに放置した3日後 bull メール未開封が1か月経過した後 bull 東京神奈川埼玉千葉在住の男性 bull 過去にコンペを3回以上予約している会員 bull 過去に10万円以上購買実績があるが過去半年購買経

験がない離脱予備軍 bull セール商品の商品ページを過去1週間以内に閲覧した会員

bull 関心のあるブランドの商品をお薦め(レコメンド) bull 消耗品(ボールグローブティ)の販促 bull セール商品のお知らせ bull キャンペーンのお知らせ bull クーポンの提供

bull 自社サイト bull メール bull 検索エンジン(SEO) bull リスティング広告 bull リターゲティング広告

bull ディスプレイ広告 bull アフィリエイト広告 bull 電話 bull マスメディア bull リアルプロモーション

顧客接点最適化の4要素

仮説 セグメンテーショ

ン 実行 効果検証

3W1H 「誰に」「いつ」「何を」 「どのように」接点を持つか

自動化 モニタリング 廃止

+ Seve

顧客をセグメントし対象者を抽出

Responsys R2AD Rtoaster iOneでテストマーケティングを実行

効果検証を実施

全ての顧客接点でシームレスで一貫性のある最適化された顧客体験を提供するといっても PDCA+自動化のサイクルを回し変化する顧客のニーズを把握する継続的な取り組みが最重要

人(知恵) データ

体系化=システム化 暗黙知 rArr 形式知

継続的な効果検証チューニング

データ

知恵

テクノロジ

お客様体験デザインプロセス

予約版 Seve

ショップ版 Seve

会員版 Seve

予約 履歴

会員 マスタ

購買 履歴

会員 マスタ

会員 マスタ

予約 サマリ

購買 サマリ

統合版 Seve

会員 マスタ

購買 明細

予約 明細

アクセス

ログ

メール配信ログ

レコメンドデータ

広告配信 ログ

CS問合 ログ

あらゆるチャネルのデータを統合した顧客の360degView

Seve(会員分析抽出ツール)

初回来訪(リスティング経由)

会員登録

商品詳細ページ閲覧(メルマガ経由)

CS問合せ

商品レビュー投稿

再来訪(リターゲティング経由)

メルマガ配信開封

口コミ(商品レビュー)閲覧

初回購入(ドライバー)

会員情報トランザクションデータ(購買履歴予約履歴)行動履歴(サイトアクセスログ等)を統合することで個客一人一人のタイムライン(カスタマージャーニー)を作ることできる 統合版Seveにより自由にセグメンテーション対象者抽出が可能となる

Seve(会員分析抽出ツール)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

GDOのビックデータ活用の軌跡と活用事例

2009 2010 2011 2012 2013 DWHBIリリース 大リニューアル(G10)

KPIレポート

ゴルフ場営業支援レポート

新ゴルフ場営業支援レポート

MD分析プラットフォーム

Phil(閲覧ページ会員属性分析ツール)

Rtoaster連携

人気ゴルフ場ランキング

ショップレビューランキング

Seve(メルマガ対象者抽出ツール)

R2AD連携

Responsys連携

1114 GoogleShopping連携

全社データ活用基盤として2010年5月にリリースしたDWHBIG10プロジェクトで大幅なリニューアルを実施し現在では当初の目的である社内データの「見える化」に加えて日常業務での「分析意思決定支援」での活用そしてランキングといった自社サイトでの利用や広告配信システムとの連携といった「デジタルマーケティング活用」とその活用範囲を拡大してきている

デジタルマーケティング (売上向上)

分析意思決定支援 (業務効率化高度化)

集計見える化

DWHBI活用の軌跡

E-Commerce

ゴルフ場予約事業

OLAP分析

GBDP

ゴルフ場営業 サポート

KPIマネジメント

予実管理

BI Platform

ゴルフ場予約

連携システム

会員管理

ERP

スコア管理

ワークフロー

広告営業管理

DWH

DWH Platform

ETL

Data Stage

ログ解析システム

アクセス ログデータ

Digital Marketing Platform

アウトバウンドマーケティング

顧客抽出ツール(Seve)

ゴルフ場向 営業支援帳票

インバウンドマーケティング

統合レコメンドエンジン

GDOサイト

EC事業

MD分析 プラットフォーム

受注発注分析

在庫欠品分析

会員属性と連携した広告配信システム

広告配信システム

ECショッピングモール (Google Shopping)

会員分析

統計解析

IBM SPSS R

社外データ

システム構成(2013年11月13日時点)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

数字で見るDWH

J

データ量

6TBytes

DWHに格納されているデータ量は2013年11月現在で6TByteですSybase IQのデータ圧縮機能により約20に圧縮され保存されています

連携システム数

22システム

DWHは社内社外の21のシステムとデータ連携を行っています連携しているデータの種類(IF数)は300にものぼります

テーブル数

1400 テーブル

DWHが各種システムから取得したデータはETL処理により取込用途ごとに集計され1400のテーブルに格納されています

利用者数

BI 50ユーザ

ODBC 200ユーザ

全社員400人中50人が日々BIツールを業務で活用200人がODBC接続でExcelやAccessを活用しています

ジョブ数

1200ジョブ

DWHでは日々1200のバッチ処理が行われています全てのジョブがジョブ管理ツールにより制御されエラー発生時には即座にメールが送信されます

バッチ処理時間

10時間

日次のバッチ処理にかかる時間は約8時間ですバックアップにかかる時間はその中で1時間半を占めます

バッチ処理(JP1)

HP StorageWorks MSA2312fc x 4 (2009) HDD48 Size28TB

DWH Server(SybaseIQ)

HP ProLiant DL380 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM320GB HDD136GB OS Windows Server 2003 SE SP2 (x64)

HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM180GB HDD416GB OS Windows Server 2003 EE SP2(32bit)

ETL Server(DataStage)

HP ProLiant DL380 G6 (2009) CPU Intelreg Xeonreg Processor E5540 CPU2 Core8 MEM620GB HDD136GB OS Windows Server 2008 EE SP2 (x64)

BI Server(MicroStrategy)

本番環境

HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 of CPU1 of cores2 MEM320GB HDD694GB OS Windows Server 2003 SE SP2 (x64)

DWH Server(SybaseIQ)

開発環境

Strage

DWHBIを支えるインフラ

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Seve(メルマガターゲティングツール)

会員情報 times 購買履歴予約履歴 会員情報(性別年代)と過去の購買履歴からターゲティング

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Seve(メルマガターゲティングツール)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Phil(サイト来訪者分析ツール)

会員情報 times アクセスログ アクセスログ(サイト閲覧履歴)から会員情報(性別年代)を分析

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Phil(サイト来訪者分析ツール)

値下げお知らせメール

今日からセールになる商品を『直近1週間に閲覧』し『直近1ヶ月以内にその商品を購入していない』お客様に対してセールになった事を伝えるメールを配信

CTR(来訪率) 約25~30 レギュラーメール 2~25

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

サイト利用

マーケティングシステム連携

広告配信システム(DSP) (リターゲティング広告)

レコメンドエンジン (自社サイトパーソナライズ)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

データ活用を進めるための3つのポイント

進化のための安定

進化のための安定

進化のための安定

DWH起因 他システム起因 サービス停止

2012年1月 5 5 0

2012年2月 2 5 3

2012年3月 4 1 2

2012年4月 1 1 0

2012年5月 4 1 0

2012年6月 3 4 0

2012年7月 1 6 1

2012年8月 1 3 1

2012年9月 1 2 0

2012年10月 3 0 1

2012年11月 1 1 1

2012年12月 3 3 1

2013年1月 2 1 0

2013年2月 1 1 0

2013年3月 1 2 1

2013年4月 1 1 1

2013年5月 0 2 2

2013年6月 2 2 1

合計 36 41 15

DWH起因の障害原因 バグ

人的ミス

OSミドルウェア障害

他システム起因の障害原因

データ連携遅延

他システム連携エラー(API)

データ不備

東京都

千葉県 (33633) 神奈川県

(7422)

茨城県 (15654)

栃木県 (12026)

群馬県 (7124)

埼玉県 (15028)

静岡県

15800

16955

2990 19498

34817

8739

2058

38330

21772

21067

16634

自由研究(20ルール)①

会員居住地と予約されたゴルフ場の場所(関東地方編)

予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか

自由研究(20ルール)②

EC 商品ジャンル別のクラスタリング分析 (R)

自由研究(20ルール)③

マイクロストラテジー ビジュアルインサイト

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

自由研究(20ルール)④

Mahoutを利用したレコメンドエンジンの開発

データ活用推進を阻む大きな壁データ活用の需要と供給

供給 需要 < 供給 需要 >

システム データ活用リテラシー < システム データ活用リテラシー >

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

ビックデータ活用を支える基盤と今後の展開

E-Commerce

EC事業

ゴルフ場予約事業

OLAP分析

GBDP

ゴルフ場営業 サポート

会員分析

KPIマネジメント

予実管理

ゴルフ場向 営業支援帳票

BI Platform

MD分析 プラットフォーム

受注発注分析

在庫欠品分析

社外データ

ゴルフ場予約

連携システム

会員管理

ERP

スコア管理

ワークフロー

広告営業管理

GDOサイト

統合レコメンドエンジン

Digital Marketing Platform

統計解析

IBM SPSS R

DWH

DWH Platform

ETL

Data Stage

ログ解析システム

アクセス ログデータ

Hadoop Platform

HDFS

Hive

インバウンドマーケティング

アウトバウンドマーケティング

顧客抽出ツール(Seve)

キャンペーンマネージメントシステム

会員属性と連携した広告配信システム

広告配信システム

ECショッピングモール (Google Shopping)

マーケティングオートメーション(2013年11月14日時点)

Amazon Web Service Amazon VPC(Virtual Private Cloud)

プライベートサブネット

GDO社内

キャンペーン マネージメント

スレーブノード (m1large) times3(Datanode)

Amazon EC2

アクセス ログデータ

ログ解析 システム

マスターノード(m1large) times3台(ClientActiveStandby)

Standby (EC2)

NameNode JournalNode

HDFS (EBS) 500GB

HDFS (EBS) 500GB

DataNode TasKTracker

DataNode TaskTracker

(EC2)

HDFS (EBS) 500GB

DataNode TaskTracker

Active (EC2)

Client (EC2)

(EC2) (EC2)

Client JournalNode Hive

NameNode JournalNode

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

Hadoop システム構成

Hadoop + Hive

なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった

② タダ(無料)だから

③ 使ってみたかった

Hadoopを利用してみて分かったこと

意外と安定している

HiveQLには制限は少ない(SELECT)

開発生産性は高い

クラウドなのでスケールアウトはとっても簡単いろんな意味で

更新削除は出来ない

レスポンスは遅い

Hadoop + Hive のベストプラクティス

バッチ処理

R2AD Responsys Ignision One

DWH Seve

基幹システム

WEB ログシステム

Rtoaster

リスティングディスプレイリマーケティング メール レコメンド

LPO

顧客抽出

ログレスポンスデータ

トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある

DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)

お客様の行動に合わせた高度なマーケティングを実行するためには

Ad CRM

DWH

RI Rtoas

ter

R2AD iOne

基幹 システム

WEB ログシステム

データの集中と相互利用

今後のデジタルマーケティング時代に求められるDWH

製品選定

GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける

② 移行性を重視する

③ 当然ですが最小の費用で最大の効果を

ご清聴ありがとうございました

Page 12: [C11] ビックデータ×マーケティング 進化するディジタルマーケティングを支えるビックデータ活用基盤 by Takatomo Kamatsu

お客様体験デザインとは 「全ての顧客接点でシームレスで一貫性のある最適化された顧客体験を提供する」 その仕組みをデザインすること

タイミングの最適化

セグメントの最適化

コンテンツの最適化

チャネルの最適化

顧客接点最適化の4要素

いつ接点を持つのか

誰に対して接点を持つのか

何を提供するのか

どの経路で 接点を持つのか

bull ゴルフ場予約の翌日商品購入後1週間後 bull プレーの前日 bull 商品詳細ページ閲覧の翌日 bull 商品をカートに放置した3日後 bull メール未開封が1か月経過した後 bull 東京神奈川埼玉千葉在住の男性 bull 過去にコンペを3回以上予約している会員 bull 過去に10万円以上購買実績があるが過去半年購買経

験がない離脱予備軍 bull セール商品の商品ページを過去1週間以内に閲覧した会員

bull 関心のあるブランドの商品をお薦め(レコメンド) bull 消耗品(ボールグローブティ)の販促 bull セール商品のお知らせ bull キャンペーンのお知らせ bull クーポンの提供

bull 自社サイト bull メール bull 検索エンジン(SEO) bull リスティング広告 bull リターゲティング広告

bull ディスプレイ広告 bull アフィリエイト広告 bull 電話 bull マスメディア bull リアルプロモーション

顧客接点最適化の4要素

仮説 セグメンテーショ

ン 実行 効果検証

3W1H 「誰に」「いつ」「何を」 「どのように」接点を持つか

自動化 モニタリング 廃止

+ Seve

顧客をセグメントし対象者を抽出

Responsys R2AD Rtoaster iOneでテストマーケティングを実行

効果検証を実施

全ての顧客接点でシームレスで一貫性のある最適化された顧客体験を提供するといっても PDCA+自動化のサイクルを回し変化する顧客のニーズを把握する継続的な取り組みが最重要

人(知恵) データ

体系化=システム化 暗黙知 rArr 形式知

継続的な効果検証チューニング

データ

知恵

テクノロジ

お客様体験デザインプロセス

予約版 Seve

ショップ版 Seve

会員版 Seve

予約 履歴

会員 マスタ

購買 履歴

会員 マスタ

会員 マスタ

予約 サマリ

購買 サマリ

統合版 Seve

会員 マスタ

購買 明細

予約 明細

アクセス

ログ

メール配信ログ

レコメンドデータ

広告配信 ログ

CS問合 ログ

あらゆるチャネルのデータを統合した顧客の360degView

Seve(会員分析抽出ツール)

初回来訪(リスティング経由)

会員登録

商品詳細ページ閲覧(メルマガ経由)

CS問合せ

商品レビュー投稿

再来訪(リターゲティング経由)

メルマガ配信開封

口コミ(商品レビュー)閲覧

初回購入(ドライバー)

会員情報トランザクションデータ(購買履歴予約履歴)行動履歴(サイトアクセスログ等)を統合することで個客一人一人のタイムライン(カスタマージャーニー)を作ることできる 統合版Seveにより自由にセグメンテーション対象者抽出が可能となる

Seve(会員分析抽出ツール)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

GDOのビックデータ活用の軌跡と活用事例

2009 2010 2011 2012 2013 DWHBIリリース 大リニューアル(G10)

KPIレポート

ゴルフ場営業支援レポート

新ゴルフ場営業支援レポート

MD分析プラットフォーム

Phil(閲覧ページ会員属性分析ツール)

Rtoaster連携

人気ゴルフ場ランキング

ショップレビューランキング

Seve(メルマガ対象者抽出ツール)

R2AD連携

Responsys連携

1114 GoogleShopping連携

全社データ活用基盤として2010年5月にリリースしたDWHBIG10プロジェクトで大幅なリニューアルを実施し現在では当初の目的である社内データの「見える化」に加えて日常業務での「分析意思決定支援」での活用そしてランキングといった自社サイトでの利用や広告配信システムとの連携といった「デジタルマーケティング活用」とその活用範囲を拡大してきている

デジタルマーケティング (売上向上)

分析意思決定支援 (業務効率化高度化)

集計見える化

DWHBI活用の軌跡

E-Commerce

ゴルフ場予約事業

OLAP分析

GBDP

ゴルフ場営業 サポート

KPIマネジメント

予実管理

BI Platform

ゴルフ場予約

連携システム

会員管理

ERP

スコア管理

ワークフロー

広告営業管理

DWH

DWH Platform

ETL

Data Stage

ログ解析システム

アクセス ログデータ

Digital Marketing Platform

アウトバウンドマーケティング

顧客抽出ツール(Seve)

ゴルフ場向 営業支援帳票

インバウンドマーケティング

統合レコメンドエンジン

GDOサイト

EC事業

MD分析 プラットフォーム

受注発注分析

在庫欠品分析

会員属性と連携した広告配信システム

広告配信システム

ECショッピングモール (Google Shopping)

会員分析

統計解析

IBM SPSS R

社外データ

システム構成(2013年11月13日時点)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

数字で見るDWH

J

データ量

6TBytes

DWHに格納されているデータ量は2013年11月現在で6TByteですSybase IQのデータ圧縮機能により約20に圧縮され保存されています

連携システム数

22システム

DWHは社内社外の21のシステムとデータ連携を行っています連携しているデータの種類(IF数)は300にものぼります

テーブル数

1400 テーブル

DWHが各種システムから取得したデータはETL処理により取込用途ごとに集計され1400のテーブルに格納されています

利用者数

BI 50ユーザ

ODBC 200ユーザ

全社員400人中50人が日々BIツールを業務で活用200人がODBC接続でExcelやAccessを活用しています

ジョブ数

1200ジョブ

DWHでは日々1200のバッチ処理が行われています全てのジョブがジョブ管理ツールにより制御されエラー発生時には即座にメールが送信されます

バッチ処理時間

10時間

日次のバッチ処理にかかる時間は約8時間ですバックアップにかかる時間はその中で1時間半を占めます

バッチ処理(JP1)

HP StorageWorks MSA2312fc x 4 (2009) HDD48 Size28TB

DWH Server(SybaseIQ)

HP ProLiant DL380 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM320GB HDD136GB OS Windows Server 2003 SE SP2 (x64)

HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM180GB HDD416GB OS Windows Server 2003 EE SP2(32bit)

ETL Server(DataStage)

HP ProLiant DL380 G6 (2009) CPU Intelreg Xeonreg Processor E5540 CPU2 Core8 MEM620GB HDD136GB OS Windows Server 2008 EE SP2 (x64)

BI Server(MicroStrategy)

本番環境

HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 of CPU1 of cores2 MEM320GB HDD694GB OS Windows Server 2003 SE SP2 (x64)

DWH Server(SybaseIQ)

開発環境

Strage

DWHBIを支えるインフラ

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Seve(メルマガターゲティングツール)

会員情報 times 購買履歴予約履歴 会員情報(性別年代)と過去の購買履歴からターゲティング

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Seve(メルマガターゲティングツール)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Phil(サイト来訪者分析ツール)

会員情報 times アクセスログ アクセスログ(サイト閲覧履歴)から会員情報(性別年代)を分析

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Phil(サイト来訪者分析ツール)

値下げお知らせメール

今日からセールになる商品を『直近1週間に閲覧』し『直近1ヶ月以内にその商品を購入していない』お客様に対してセールになった事を伝えるメールを配信

CTR(来訪率) 約25~30 レギュラーメール 2~25

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

サイト利用

マーケティングシステム連携

広告配信システム(DSP) (リターゲティング広告)

レコメンドエンジン (自社サイトパーソナライズ)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

データ活用を進めるための3つのポイント

進化のための安定

進化のための安定

進化のための安定

DWH起因 他システム起因 サービス停止

2012年1月 5 5 0

2012年2月 2 5 3

2012年3月 4 1 2

2012年4月 1 1 0

2012年5月 4 1 0

2012年6月 3 4 0

2012年7月 1 6 1

2012年8月 1 3 1

2012年9月 1 2 0

2012年10月 3 0 1

2012年11月 1 1 1

2012年12月 3 3 1

2013年1月 2 1 0

2013年2月 1 1 0

2013年3月 1 2 1

2013年4月 1 1 1

2013年5月 0 2 2

2013年6月 2 2 1

合計 36 41 15

DWH起因の障害原因 バグ

人的ミス

OSミドルウェア障害

他システム起因の障害原因

データ連携遅延

他システム連携エラー(API)

データ不備

東京都

千葉県 (33633) 神奈川県

(7422)

茨城県 (15654)

栃木県 (12026)

群馬県 (7124)

埼玉県 (15028)

静岡県

15800

16955

2990 19498

34817

8739

2058

38330

21772

21067

16634

自由研究(20ルール)①

会員居住地と予約されたゴルフ場の場所(関東地方編)

予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか

自由研究(20ルール)②

EC 商品ジャンル別のクラスタリング分析 (R)

自由研究(20ルール)③

マイクロストラテジー ビジュアルインサイト

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

自由研究(20ルール)④

Mahoutを利用したレコメンドエンジンの開発

データ活用推進を阻む大きな壁データ活用の需要と供給

供給 需要 < 供給 需要 >

システム データ活用リテラシー < システム データ活用リテラシー >

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

ビックデータ活用を支える基盤と今後の展開

E-Commerce

EC事業

ゴルフ場予約事業

OLAP分析

GBDP

ゴルフ場営業 サポート

会員分析

KPIマネジメント

予実管理

ゴルフ場向 営業支援帳票

BI Platform

MD分析 プラットフォーム

受注発注分析

在庫欠品分析

社外データ

ゴルフ場予約

連携システム

会員管理

ERP

スコア管理

ワークフロー

広告営業管理

GDOサイト

統合レコメンドエンジン

Digital Marketing Platform

統計解析

IBM SPSS R

DWH

DWH Platform

ETL

Data Stage

ログ解析システム

アクセス ログデータ

Hadoop Platform

HDFS

Hive

インバウンドマーケティング

アウトバウンドマーケティング

顧客抽出ツール(Seve)

キャンペーンマネージメントシステム

会員属性と連携した広告配信システム

広告配信システム

ECショッピングモール (Google Shopping)

マーケティングオートメーション(2013年11月14日時点)

Amazon Web Service Amazon VPC(Virtual Private Cloud)

プライベートサブネット

GDO社内

キャンペーン マネージメント

スレーブノード (m1large) times3(Datanode)

Amazon EC2

アクセス ログデータ

ログ解析 システム

マスターノード(m1large) times3台(ClientActiveStandby)

Standby (EC2)

NameNode JournalNode

HDFS (EBS) 500GB

HDFS (EBS) 500GB

DataNode TasKTracker

DataNode TaskTracker

(EC2)

HDFS (EBS) 500GB

DataNode TaskTracker

Active (EC2)

Client (EC2)

(EC2) (EC2)

Client JournalNode Hive

NameNode JournalNode

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

Hadoop システム構成

Hadoop + Hive

なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった

② タダ(無料)だから

③ 使ってみたかった

Hadoopを利用してみて分かったこと

意外と安定している

HiveQLには制限は少ない(SELECT)

開発生産性は高い

クラウドなのでスケールアウトはとっても簡単いろんな意味で

更新削除は出来ない

レスポンスは遅い

Hadoop + Hive のベストプラクティス

バッチ処理

R2AD Responsys Ignision One

DWH Seve

基幹システム

WEB ログシステム

Rtoaster

リスティングディスプレイリマーケティング メール レコメンド

LPO

顧客抽出

ログレスポンスデータ

トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある

DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)

お客様の行動に合わせた高度なマーケティングを実行するためには

Ad CRM

DWH

RI Rtoas

ter

R2AD iOne

基幹 システム

WEB ログシステム

データの集中と相互利用

今後のデジタルマーケティング時代に求められるDWH

製品選定

GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける

② 移行性を重視する

③ 当然ですが最小の費用で最大の効果を

ご清聴ありがとうございました

Page 13: [C11] ビックデータ×マーケティング 進化するディジタルマーケティングを支えるビックデータ活用基盤 by Takatomo Kamatsu

仮説 セグメンテーショ

ン 実行 効果検証

3W1H 「誰に」「いつ」「何を」 「どのように」接点を持つか

自動化 モニタリング 廃止

+ Seve

顧客をセグメントし対象者を抽出

Responsys R2AD Rtoaster iOneでテストマーケティングを実行

効果検証を実施

全ての顧客接点でシームレスで一貫性のある最適化された顧客体験を提供するといっても PDCA+自動化のサイクルを回し変化する顧客のニーズを把握する継続的な取り組みが最重要

人(知恵) データ

体系化=システム化 暗黙知 rArr 形式知

継続的な効果検証チューニング

データ

知恵

テクノロジ

お客様体験デザインプロセス

予約版 Seve

ショップ版 Seve

会員版 Seve

予約 履歴

会員 マスタ

購買 履歴

会員 マスタ

会員 マスタ

予約 サマリ

購買 サマリ

統合版 Seve

会員 マスタ

購買 明細

予約 明細

アクセス

ログ

メール配信ログ

レコメンドデータ

広告配信 ログ

CS問合 ログ

あらゆるチャネルのデータを統合した顧客の360degView

Seve(会員分析抽出ツール)

初回来訪(リスティング経由)

会員登録

商品詳細ページ閲覧(メルマガ経由)

CS問合せ

商品レビュー投稿

再来訪(リターゲティング経由)

メルマガ配信開封

口コミ(商品レビュー)閲覧

初回購入(ドライバー)

会員情報トランザクションデータ(購買履歴予約履歴)行動履歴(サイトアクセスログ等)を統合することで個客一人一人のタイムライン(カスタマージャーニー)を作ることできる 統合版Seveにより自由にセグメンテーション対象者抽出が可能となる

Seve(会員分析抽出ツール)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

GDOのビックデータ活用の軌跡と活用事例

2009 2010 2011 2012 2013 DWHBIリリース 大リニューアル(G10)

KPIレポート

ゴルフ場営業支援レポート

新ゴルフ場営業支援レポート

MD分析プラットフォーム

Phil(閲覧ページ会員属性分析ツール)

Rtoaster連携

人気ゴルフ場ランキング

ショップレビューランキング

Seve(メルマガ対象者抽出ツール)

R2AD連携

Responsys連携

1114 GoogleShopping連携

全社データ活用基盤として2010年5月にリリースしたDWHBIG10プロジェクトで大幅なリニューアルを実施し現在では当初の目的である社内データの「見える化」に加えて日常業務での「分析意思決定支援」での活用そしてランキングといった自社サイトでの利用や広告配信システムとの連携といった「デジタルマーケティング活用」とその活用範囲を拡大してきている

デジタルマーケティング (売上向上)

分析意思決定支援 (業務効率化高度化)

集計見える化

DWHBI活用の軌跡

E-Commerce

ゴルフ場予約事業

OLAP分析

GBDP

ゴルフ場営業 サポート

KPIマネジメント

予実管理

BI Platform

ゴルフ場予約

連携システム

会員管理

ERP

スコア管理

ワークフロー

広告営業管理

DWH

DWH Platform

ETL

Data Stage

ログ解析システム

アクセス ログデータ

Digital Marketing Platform

アウトバウンドマーケティング

顧客抽出ツール(Seve)

ゴルフ場向 営業支援帳票

インバウンドマーケティング

統合レコメンドエンジン

GDOサイト

EC事業

MD分析 プラットフォーム

受注発注分析

在庫欠品分析

会員属性と連携した広告配信システム

広告配信システム

ECショッピングモール (Google Shopping)

会員分析

統計解析

IBM SPSS R

社外データ

システム構成(2013年11月13日時点)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

数字で見るDWH

J

データ量

6TBytes

DWHに格納されているデータ量は2013年11月現在で6TByteですSybase IQのデータ圧縮機能により約20に圧縮され保存されています

連携システム数

22システム

DWHは社内社外の21のシステムとデータ連携を行っています連携しているデータの種類(IF数)は300にものぼります

テーブル数

1400 テーブル

DWHが各種システムから取得したデータはETL処理により取込用途ごとに集計され1400のテーブルに格納されています

利用者数

BI 50ユーザ

ODBC 200ユーザ

全社員400人中50人が日々BIツールを業務で活用200人がODBC接続でExcelやAccessを活用しています

ジョブ数

1200ジョブ

DWHでは日々1200のバッチ処理が行われています全てのジョブがジョブ管理ツールにより制御されエラー発生時には即座にメールが送信されます

バッチ処理時間

10時間

日次のバッチ処理にかかる時間は約8時間ですバックアップにかかる時間はその中で1時間半を占めます

バッチ処理(JP1)

HP StorageWorks MSA2312fc x 4 (2009) HDD48 Size28TB

DWH Server(SybaseIQ)

HP ProLiant DL380 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM320GB HDD136GB OS Windows Server 2003 SE SP2 (x64)

HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM180GB HDD416GB OS Windows Server 2003 EE SP2(32bit)

ETL Server(DataStage)

HP ProLiant DL380 G6 (2009) CPU Intelreg Xeonreg Processor E5540 CPU2 Core8 MEM620GB HDD136GB OS Windows Server 2008 EE SP2 (x64)

BI Server(MicroStrategy)

本番環境

HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 of CPU1 of cores2 MEM320GB HDD694GB OS Windows Server 2003 SE SP2 (x64)

DWH Server(SybaseIQ)

開発環境

Strage

DWHBIを支えるインフラ

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Seve(メルマガターゲティングツール)

会員情報 times 購買履歴予約履歴 会員情報(性別年代)と過去の購買履歴からターゲティング

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Seve(メルマガターゲティングツール)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Phil(サイト来訪者分析ツール)

会員情報 times アクセスログ アクセスログ(サイト閲覧履歴)から会員情報(性別年代)を分析

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Phil(サイト来訪者分析ツール)

値下げお知らせメール

今日からセールになる商品を『直近1週間に閲覧』し『直近1ヶ月以内にその商品を購入していない』お客様に対してセールになった事を伝えるメールを配信

CTR(来訪率) 約25~30 レギュラーメール 2~25

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

サイト利用

マーケティングシステム連携

広告配信システム(DSP) (リターゲティング広告)

レコメンドエンジン (自社サイトパーソナライズ)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

データ活用を進めるための3つのポイント

進化のための安定

進化のための安定

進化のための安定

DWH起因 他システム起因 サービス停止

2012年1月 5 5 0

2012年2月 2 5 3

2012年3月 4 1 2

2012年4月 1 1 0

2012年5月 4 1 0

2012年6月 3 4 0

2012年7月 1 6 1

2012年8月 1 3 1

2012年9月 1 2 0

2012年10月 3 0 1

2012年11月 1 1 1

2012年12月 3 3 1

2013年1月 2 1 0

2013年2月 1 1 0

2013年3月 1 2 1

2013年4月 1 1 1

2013年5月 0 2 2

2013年6月 2 2 1

合計 36 41 15

DWH起因の障害原因 バグ

人的ミス

OSミドルウェア障害

他システム起因の障害原因

データ連携遅延

他システム連携エラー(API)

データ不備

東京都

千葉県 (33633) 神奈川県

(7422)

茨城県 (15654)

栃木県 (12026)

群馬県 (7124)

埼玉県 (15028)

静岡県

15800

16955

2990 19498

34817

8739

2058

38330

21772

21067

16634

自由研究(20ルール)①

会員居住地と予約されたゴルフ場の場所(関東地方編)

予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか

自由研究(20ルール)②

EC 商品ジャンル別のクラスタリング分析 (R)

自由研究(20ルール)③

マイクロストラテジー ビジュアルインサイト

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

自由研究(20ルール)④

Mahoutを利用したレコメンドエンジンの開発

データ活用推進を阻む大きな壁データ活用の需要と供給

供給 需要 < 供給 需要 >

システム データ活用リテラシー < システム データ活用リテラシー >

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

ビックデータ活用を支える基盤と今後の展開

E-Commerce

EC事業

ゴルフ場予約事業

OLAP分析

GBDP

ゴルフ場営業 サポート

会員分析

KPIマネジメント

予実管理

ゴルフ場向 営業支援帳票

BI Platform

MD分析 プラットフォーム

受注発注分析

在庫欠品分析

社外データ

ゴルフ場予約

連携システム

会員管理

ERP

スコア管理

ワークフロー

広告営業管理

GDOサイト

統合レコメンドエンジン

Digital Marketing Platform

統計解析

IBM SPSS R

DWH

DWH Platform

ETL

Data Stage

ログ解析システム

アクセス ログデータ

Hadoop Platform

HDFS

Hive

インバウンドマーケティング

アウトバウンドマーケティング

顧客抽出ツール(Seve)

キャンペーンマネージメントシステム

会員属性と連携した広告配信システム

広告配信システム

ECショッピングモール (Google Shopping)

マーケティングオートメーション(2013年11月14日時点)

Amazon Web Service Amazon VPC(Virtual Private Cloud)

プライベートサブネット

GDO社内

キャンペーン マネージメント

スレーブノード (m1large) times3(Datanode)

Amazon EC2

アクセス ログデータ

ログ解析 システム

マスターノード(m1large) times3台(ClientActiveStandby)

Standby (EC2)

NameNode JournalNode

HDFS (EBS) 500GB

HDFS (EBS) 500GB

DataNode TasKTracker

DataNode TaskTracker

(EC2)

HDFS (EBS) 500GB

DataNode TaskTracker

Active (EC2)

Client (EC2)

(EC2) (EC2)

Client JournalNode Hive

NameNode JournalNode

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

Hadoop システム構成

Hadoop + Hive

なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった

② タダ(無料)だから

③ 使ってみたかった

Hadoopを利用してみて分かったこと

意外と安定している

HiveQLには制限は少ない(SELECT)

開発生産性は高い

クラウドなのでスケールアウトはとっても簡単いろんな意味で

更新削除は出来ない

レスポンスは遅い

Hadoop + Hive のベストプラクティス

バッチ処理

R2AD Responsys Ignision One

DWH Seve

基幹システム

WEB ログシステム

Rtoaster

リスティングディスプレイリマーケティング メール レコメンド

LPO

顧客抽出

ログレスポンスデータ

トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある

DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)

お客様の行動に合わせた高度なマーケティングを実行するためには

Ad CRM

DWH

RI Rtoas

ter

R2AD iOne

基幹 システム

WEB ログシステム

データの集中と相互利用

今後のデジタルマーケティング時代に求められるDWH

製品選定

GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける

② 移行性を重視する

③ 当然ですが最小の費用で最大の効果を

ご清聴ありがとうございました

Page 14: [C11] ビックデータ×マーケティング 進化するディジタルマーケティングを支えるビックデータ活用基盤 by Takatomo Kamatsu

予約版 Seve

ショップ版 Seve

会員版 Seve

予約 履歴

会員 マスタ

購買 履歴

会員 マスタ

会員 マスタ

予約 サマリ

購買 サマリ

統合版 Seve

会員 マスタ

購買 明細

予約 明細

アクセス

ログ

メール配信ログ

レコメンドデータ

広告配信 ログ

CS問合 ログ

あらゆるチャネルのデータを統合した顧客の360degView

Seve(会員分析抽出ツール)

初回来訪(リスティング経由)

会員登録

商品詳細ページ閲覧(メルマガ経由)

CS問合せ

商品レビュー投稿

再来訪(リターゲティング経由)

メルマガ配信開封

口コミ(商品レビュー)閲覧

初回購入(ドライバー)

会員情報トランザクションデータ(購買履歴予約履歴)行動履歴(サイトアクセスログ等)を統合することで個客一人一人のタイムライン(カスタマージャーニー)を作ることできる 統合版Seveにより自由にセグメンテーション対象者抽出が可能となる

Seve(会員分析抽出ツール)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

GDOのビックデータ活用の軌跡と活用事例

2009 2010 2011 2012 2013 DWHBIリリース 大リニューアル(G10)

KPIレポート

ゴルフ場営業支援レポート

新ゴルフ場営業支援レポート

MD分析プラットフォーム

Phil(閲覧ページ会員属性分析ツール)

Rtoaster連携

人気ゴルフ場ランキング

ショップレビューランキング

Seve(メルマガ対象者抽出ツール)

R2AD連携

Responsys連携

1114 GoogleShopping連携

全社データ活用基盤として2010年5月にリリースしたDWHBIG10プロジェクトで大幅なリニューアルを実施し現在では当初の目的である社内データの「見える化」に加えて日常業務での「分析意思決定支援」での活用そしてランキングといった自社サイトでの利用や広告配信システムとの連携といった「デジタルマーケティング活用」とその活用範囲を拡大してきている

デジタルマーケティング (売上向上)

分析意思決定支援 (業務効率化高度化)

集計見える化

DWHBI活用の軌跡

E-Commerce

ゴルフ場予約事業

OLAP分析

GBDP

ゴルフ場営業 サポート

KPIマネジメント

予実管理

BI Platform

ゴルフ場予約

連携システム

会員管理

ERP

スコア管理

ワークフロー

広告営業管理

DWH

DWH Platform

ETL

Data Stage

ログ解析システム

アクセス ログデータ

Digital Marketing Platform

アウトバウンドマーケティング

顧客抽出ツール(Seve)

ゴルフ場向 営業支援帳票

インバウンドマーケティング

統合レコメンドエンジン

GDOサイト

EC事業

MD分析 プラットフォーム

受注発注分析

在庫欠品分析

会員属性と連携した広告配信システム

広告配信システム

ECショッピングモール (Google Shopping)

会員分析

統計解析

IBM SPSS R

社外データ

システム構成(2013年11月13日時点)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

数字で見るDWH

J

データ量

6TBytes

DWHに格納されているデータ量は2013年11月現在で6TByteですSybase IQのデータ圧縮機能により約20に圧縮され保存されています

連携システム数

22システム

DWHは社内社外の21のシステムとデータ連携を行っています連携しているデータの種類(IF数)は300にものぼります

テーブル数

1400 テーブル

DWHが各種システムから取得したデータはETL処理により取込用途ごとに集計され1400のテーブルに格納されています

利用者数

BI 50ユーザ

ODBC 200ユーザ

全社員400人中50人が日々BIツールを業務で活用200人がODBC接続でExcelやAccessを活用しています

ジョブ数

1200ジョブ

DWHでは日々1200のバッチ処理が行われています全てのジョブがジョブ管理ツールにより制御されエラー発生時には即座にメールが送信されます

バッチ処理時間

10時間

日次のバッチ処理にかかる時間は約8時間ですバックアップにかかる時間はその中で1時間半を占めます

バッチ処理(JP1)

HP StorageWorks MSA2312fc x 4 (2009) HDD48 Size28TB

DWH Server(SybaseIQ)

HP ProLiant DL380 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM320GB HDD136GB OS Windows Server 2003 SE SP2 (x64)

HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM180GB HDD416GB OS Windows Server 2003 EE SP2(32bit)

ETL Server(DataStage)

HP ProLiant DL380 G6 (2009) CPU Intelreg Xeonreg Processor E5540 CPU2 Core8 MEM620GB HDD136GB OS Windows Server 2008 EE SP2 (x64)

BI Server(MicroStrategy)

本番環境

HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 of CPU1 of cores2 MEM320GB HDD694GB OS Windows Server 2003 SE SP2 (x64)

DWH Server(SybaseIQ)

開発環境

Strage

DWHBIを支えるインフラ

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Seve(メルマガターゲティングツール)

会員情報 times 購買履歴予約履歴 会員情報(性別年代)と過去の購買履歴からターゲティング

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Seve(メルマガターゲティングツール)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Phil(サイト来訪者分析ツール)

会員情報 times アクセスログ アクセスログ(サイト閲覧履歴)から会員情報(性別年代)を分析

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Phil(サイト来訪者分析ツール)

値下げお知らせメール

今日からセールになる商品を『直近1週間に閲覧』し『直近1ヶ月以内にその商品を購入していない』お客様に対してセールになった事を伝えるメールを配信

CTR(来訪率) 約25~30 レギュラーメール 2~25

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

サイト利用

マーケティングシステム連携

広告配信システム(DSP) (リターゲティング広告)

レコメンドエンジン (自社サイトパーソナライズ)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

データ活用を進めるための3つのポイント

進化のための安定

進化のための安定

進化のための安定

DWH起因 他システム起因 サービス停止

2012年1月 5 5 0

2012年2月 2 5 3

2012年3月 4 1 2

2012年4月 1 1 0

2012年5月 4 1 0

2012年6月 3 4 0

2012年7月 1 6 1

2012年8月 1 3 1

2012年9月 1 2 0

2012年10月 3 0 1

2012年11月 1 1 1

2012年12月 3 3 1

2013年1月 2 1 0

2013年2月 1 1 0

2013年3月 1 2 1

2013年4月 1 1 1

2013年5月 0 2 2

2013年6月 2 2 1

合計 36 41 15

DWH起因の障害原因 バグ

人的ミス

OSミドルウェア障害

他システム起因の障害原因

データ連携遅延

他システム連携エラー(API)

データ不備

東京都

千葉県 (33633) 神奈川県

(7422)

茨城県 (15654)

栃木県 (12026)

群馬県 (7124)

埼玉県 (15028)

静岡県

15800

16955

2990 19498

34817

8739

2058

38330

21772

21067

16634

自由研究(20ルール)①

会員居住地と予約されたゴルフ場の場所(関東地方編)

予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか

自由研究(20ルール)②

EC 商品ジャンル別のクラスタリング分析 (R)

自由研究(20ルール)③

マイクロストラテジー ビジュアルインサイト

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

自由研究(20ルール)④

Mahoutを利用したレコメンドエンジンの開発

データ活用推進を阻む大きな壁データ活用の需要と供給

供給 需要 < 供給 需要 >

システム データ活用リテラシー < システム データ活用リテラシー >

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

ビックデータ活用を支える基盤と今後の展開

E-Commerce

EC事業

ゴルフ場予約事業

OLAP分析

GBDP

ゴルフ場営業 サポート

会員分析

KPIマネジメント

予実管理

ゴルフ場向 営業支援帳票

BI Platform

MD分析 プラットフォーム

受注発注分析

在庫欠品分析

社外データ

ゴルフ場予約

連携システム

会員管理

ERP

スコア管理

ワークフロー

広告営業管理

GDOサイト

統合レコメンドエンジン

Digital Marketing Platform

統計解析

IBM SPSS R

DWH

DWH Platform

ETL

Data Stage

ログ解析システム

アクセス ログデータ

Hadoop Platform

HDFS

Hive

インバウンドマーケティング

アウトバウンドマーケティング

顧客抽出ツール(Seve)

キャンペーンマネージメントシステム

会員属性と連携した広告配信システム

広告配信システム

ECショッピングモール (Google Shopping)

マーケティングオートメーション(2013年11月14日時点)

Amazon Web Service Amazon VPC(Virtual Private Cloud)

プライベートサブネット

GDO社内

キャンペーン マネージメント

スレーブノード (m1large) times3(Datanode)

Amazon EC2

アクセス ログデータ

ログ解析 システム

マスターノード(m1large) times3台(ClientActiveStandby)

Standby (EC2)

NameNode JournalNode

HDFS (EBS) 500GB

HDFS (EBS) 500GB

DataNode TasKTracker

DataNode TaskTracker

(EC2)

HDFS (EBS) 500GB

DataNode TaskTracker

Active (EC2)

Client (EC2)

(EC2) (EC2)

Client JournalNode Hive

NameNode JournalNode

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

Hadoop システム構成

Hadoop + Hive

なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった

② タダ(無料)だから

③ 使ってみたかった

Hadoopを利用してみて分かったこと

意外と安定している

HiveQLには制限は少ない(SELECT)

開発生産性は高い

クラウドなのでスケールアウトはとっても簡単いろんな意味で

更新削除は出来ない

レスポンスは遅い

Hadoop + Hive のベストプラクティス

バッチ処理

R2AD Responsys Ignision One

DWH Seve

基幹システム

WEB ログシステム

Rtoaster

リスティングディスプレイリマーケティング メール レコメンド

LPO

顧客抽出

ログレスポンスデータ

トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある

DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)

お客様の行動に合わせた高度なマーケティングを実行するためには

Ad CRM

DWH

RI Rtoas

ter

R2AD iOne

基幹 システム

WEB ログシステム

データの集中と相互利用

今後のデジタルマーケティング時代に求められるDWH

製品選定

GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける

② 移行性を重視する

③ 当然ですが最小の費用で最大の効果を

ご清聴ありがとうございました

Page 15: [C11] ビックデータ×マーケティング 進化するディジタルマーケティングを支えるビックデータ活用基盤 by Takatomo Kamatsu

初回来訪(リスティング経由)

会員登録

商品詳細ページ閲覧(メルマガ経由)

CS問合せ

商品レビュー投稿

再来訪(リターゲティング経由)

メルマガ配信開封

口コミ(商品レビュー)閲覧

初回購入(ドライバー)

会員情報トランザクションデータ(購買履歴予約履歴)行動履歴(サイトアクセスログ等)を統合することで個客一人一人のタイムライン(カスタマージャーニー)を作ることできる 統合版Seveにより自由にセグメンテーション対象者抽出が可能となる

Seve(会員分析抽出ツール)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

GDOのビックデータ活用の軌跡と活用事例

2009 2010 2011 2012 2013 DWHBIリリース 大リニューアル(G10)

KPIレポート

ゴルフ場営業支援レポート

新ゴルフ場営業支援レポート

MD分析プラットフォーム

Phil(閲覧ページ会員属性分析ツール)

Rtoaster連携

人気ゴルフ場ランキング

ショップレビューランキング

Seve(メルマガ対象者抽出ツール)

R2AD連携

Responsys連携

1114 GoogleShopping連携

全社データ活用基盤として2010年5月にリリースしたDWHBIG10プロジェクトで大幅なリニューアルを実施し現在では当初の目的である社内データの「見える化」に加えて日常業務での「分析意思決定支援」での活用そしてランキングといった自社サイトでの利用や広告配信システムとの連携といった「デジタルマーケティング活用」とその活用範囲を拡大してきている

デジタルマーケティング (売上向上)

分析意思決定支援 (業務効率化高度化)

集計見える化

DWHBI活用の軌跡

E-Commerce

ゴルフ場予約事業

OLAP分析

GBDP

ゴルフ場営業 サポート

KPIマネジメント

予実管理

BI Platform

ゴルフ場予約

連携システム

会員管理

ERP

スコア管理

ワークフロー

広告営業管理

DWH

DWH Platform

ETL

Data Stage

ログ解析システム

アクセス ログデータ

Digital Marketing Platform

アウトバウンドマーケティング

顧客抽出ツール(Seve)

ゴルフ場向 営業支援帳票

インバウンドマーケティング

統合レコメンドエンジン

GDOサイト

EC事業

MD分析 プラットフォーム

受注発注分析

在庫欠品分析

会員属性と連携した広告配信システム

広告配信システム

ECショッピングモール (Google Shopping)

会員分析

統計解析

IBM SPSS R

社外データ

システム構成(2013年11月13日時点)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

数字で見るDWH

J

データ量

6TBytes

DWHに格納されているデータ量は2013年11月現在で6TByteですSybase IQのデータ圧縮機能により約20に圧縮され保存されています

連携システム数

22システム

DWHは社内社外の21のシステムとデータ連携を行っています連携しているデータの種類(IF数)は300にものぼります

テーブル数

1400 テーブル

DWHが各種システムから取得したデータはETL処理により取込用途ごとに集計され1400のテーブルに格納されています

利用者数

BI 50ユーザ

ODBC 200ユーザ

全社員400人中50人が日々BIツールを業務で活用200人がODBC接続でExcelやAccessを活用しています

ジョブ数

1200ジョブ

DWHでは日々1200のバッチ処理が行われています全てのジョブがジョブ管理ツールにより制御されエラー発生時には即座にメールが送信されます

バッチ処理時間

10時間

日次のバッチ処理にかかる時間は約8時間ですバックアップにかかる時間はその中で1時間半を占めます

バッチ処理(JP1)

HP StorageWorks MSA2312fc x 4 (2009) HDD48 Size28TB

DWH Server(SybaseIQ)

HP ProLiant DL380 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM320GB HDD136GB OS Windows Server 2003 SE SP2 (x64)

HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM180GB HDD416GB OS Windows Server 2003 EE SP2(32bit)

ETL Server(DataStage)

HP ProLiant DL380 G6 (2009) CPU Intelreg Xeonreg Processor E5540 CPU2 Core8 MEM620GB HDD136GB OS Windows Server 2008 EE SP2 (x64)

BI Server(MicroStrategy)

本番環境

HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 of CPU1 of cores2 MEM320GB HDD694GB OS Windows Server 2003 SE SP2 (x64)

DWH Server(SybaseIQ)

開発環境

Strage

DWHBIを支えるインフラ

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Seve(メルマガターゲティングツール)

会員情報 times 購買履歴予約履歴 会員情報(性別年代)と過去の購買履歴からターゲティング

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Seve(メルマガターゲティングツール)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Phil(サイト来訪者分析ツール)

会員情報 times アクセスログ アクセスログ(サイト閲覧履歴)から会員情報(性別年代)を分析

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Phil(サイト来訪者分析ツール)

値下げお知らせメール

今日からセールになる商品を『直近1週間に閲覧』し『直近1ヶ月以内にその商品を購入していない』お客様に対してセールになった事を伝えるメールを配信

CTR(来訪率) 約25~30 レギュラーメール 2~25

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

サイト利用

マーケティングシステム連携

広告配信システム(DSP) (リターゲティング広告)

レコメンドエンジン (自社サイトパーソナライズ)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

データ活用を進めるための3つのポイント

進化のための安定

進化のための安定

進化のための安定

DWH起因 他システム起因 サービス停止

2012年1月 5 5 0

2012年2月 2 5 3

2012年3月 4 1 2

2012年4月 1 1 0

2012年5月 4 1 0

2012年6月 3 4 0

2012年7月 1 6 1

2012年8月 1 3 1

2012年9月 1 2 0

2012年10月 3 0 1

2012年11月 1 1 1

2012年12月 3 3 1

2013年1月 2 1 0

2013年2月 1 1 0

2013年3月 1 2 1

2013年4月 1 1 1

2013年5月 0 2 2

2013年6月 2 2 1

合計 36 41 15

DWH起因の障害原因 バグ

人的ミス

OSミドルウェア障害

他システム起因の障害原因

データ連携遅延

他システム連携エラー(API)

データ不備

東京都

千葉県 (33633) 神奈川県

(7422)

茨城県 (15654)

栃木県 (12026)

群馬県 (7124)

埼玉県 (15028)

静岡県

15800

16955

2990 19498

34817

8739

2058

38330

21772

21067

16634

自由研究(20ルール)①

会員居住地と予約されたゴルフ場の場所(関東地方編)

予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか

自由研究(20ルール)②

EC 商品ジャンル別のクラスタリング分析 (R)

自由研究(20ルール)③

マイクロストラテジー ビジュアルインサイト

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

自由研究(20ルール)④

Mahoutを利用したレコメンドエンジンの開発

データ活用推進を阻む大きな壁データ活用の需要と供給

供給 需要 < 供給 需要 >

システム データ活用リテラシー < システム データ活用リテラシー >

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

ビックデータ活用を支える基盤と今後の展開

E-Commerce

EC事業

ゴルフ場予約事業

OLAP分析

GBDP

ゴルフ場営業 サポート

会員分析

KPIマネジメント

予実管理

ゴルフ場向 営業支援帳票

BI Platform

MD分析 プラットフォーム

受注発注分析

在庫欠品分析

社外データ

ゴルフ場予約

連携システム

会員管理

ERP

スコア管理

ワークフロー

広告営業管理

GDOサイト

統合レコメンドエンジン

Digital Marketing Platform

統計解析

IBM SPSS R

DWH

DWH Platform

ETL

Data Stage

ログ解析システム

アクセス ログデータ

Hadoop Platform

HDFS

Hive

インバウンドマーケティング

アウトバウンドマーケティング

顧客抽出ツール(Seve)

キャンペーンマネージメントシステム

会員属性と連携した広告配信システム

広告配信システム

ECショッピングモール (Google Shopping)

マーケティングオートメーション(2013年11月14日時点)

Amazon Web Service Amazon VPC(Virtual Private Cloud)

プライベートサブネット

GDO社内

キャンペーン マネージメント

スレーブノード (m1large) times3(Datanode)

Amazon EC2

アクセス ログデータ

ログ解析 システム

マスターノード(m1large) times3台(ClientActiveStandby)

Standby (EC2)

NameNode JournalNode

HDFS (EBS) 500GB

HDFS (EBS) 500GB

DataNode TasKTracker

DataNode TaskTracker

(EC2)

HDFS (EBS) 500GB

DataNode TaskTracker

Active (EC2)

Client (EC2)

(EC2) (EC2)

Client JournalNode Hive

NameNode JournalNode

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

Hadoop システム構成

Hadoop + Hive

なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった

② タダ(無料)だから

③ 使ってみたかった

Hadoopを利用してみて分かったこと

意外と安定している

HiveQLには制限は少ない(SELECT)

開発生産性は高い

クラウドなのでスケールアウトはとっても簡単いろんな意味で

更新削除は出来ない

レスポンスは遅い

Hadoop + Hive のベストプラクティス

バッチ処理

R2AD Responsys Ignision One

DWH Seve

基幹システム

WEB ログシステム

Rtoaster

リスティングディスプレイリマーケティング メール レコメンド

LPO

顧客抽出

ログレスポンスデータ

トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある

DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)

お客様の行動に合わせた高度なマーケティングを実行するためには

Ad CRM

DWH

RI Rtoas

ter

R2AD iOne

基幹 システム

WEB ログシステム

データの集中と相互利用

今後のデジタルマーケティング時代に求められるDWH

製品選定

GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける

② 移行性を重視する

③ 当然ですが最小の費用で最大の効果を

ご清聴ありがとうございました

Page 16: [C11] ビックデータ×マーケティング 進化するディジタルマーケティングを支えるビックデータ活用基盤 by Takatomo Kamatsu

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

GDOのビックデータ活用の軌跡と活用事例

2009 2010 2011 2012 2013 DWHBIリリース 大リニューアル(G10)

KPIレポート

ゴルフ場営業支援レポート

新ゴルフ場営業支援レポート

MD分析プラットフォーム

Phil(閲覧ページ会員属性分析ツール)

Rtoaster連携

人気ゴルフ場ランキング

ショップレビューランキング

Seve(メルマガ対象者抽出ツール)

R2AD連携

Responsys連携

1114 GoogleShopping連携

全社データ活用基盤として2010年5月にリリースしたDWHBIG10プロジェクトで大幅なリニューアルを実施し現在では当初の目的である社内データの「見える化」に加えて日常業務での「分析意思決定支援」での活用そしてランキングといった自社サイトでの利用や広告配信システムとの連携といった「デジタルマーケティング活用」とその活用範囲を拡大してきている

デジタルマーケティング (売上向上)

分析意思決定支援 (業務効率化高度化)

集計見える化

DWHBI活用の軌跡

E-Commerce

ゴルフ場予約事業

OLAP分析

GBDP

ゴルフ場営業 サポート

KPIマネジメント

予実管理

BI Platform

ゴルフ場予約

連携システム

会員管理

ERP

スコア管理

ワークフロー

広告営業管理

DWH

DWH Platform

ETL

Data Stage

ログ解析システム

アクセス ログデータ

Digital Marketing Platform

アウトバウンドマーケティング

顧客抽出ツール(Seve)

ゴルフ場向 営業支援帳票

インバウンドマーケティング

統合レコメンドエンジン

GDOサイト

EC事業

MD分析 プラットフォーム

受注発注分析

在庫欠品分析

会員属性と連携した広告配信システム

広告配信システム

ECショッピングモール (Google Shopping)

会員分析

統計解析

IBM SPSS R

社外データ

システム構成(2013年11月13日時点)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

数字で見るDWH

J

データ量

6TBytes

DWHに格納されているデータ量は2013年11月現在で6TByteですSybase IQのデータ圧縮機能により約20に圧縮され保存されています

連携システム数

22システム

DWHは社内社外の21のシステムとデータ連携を行っています連携しているデータの種類(IF数)は300にものぼります

テーブル数

1400 テーブル

DWHが各種システムから取得したデータはETL処理により取込用途ごとに集計され1400のテーブルに格納されています

利用者数

BI 50ユーザ

ODBC 200ユーザ

全社員400人中50人が日々BIツールを業務で活用200人がODBC接続でExcelやAccessを活用しています

ジョブ数

1200ジョブ

DWHでは日々1200のバッチ処理が行われています全てのジョブがジョブ管理ツールにより制御されエラー発生時には即座にメールが送信されます

バッチ処理時間

10時間

日次のバッチ処理にかかる時間は約8時間ですバックアップにかかる時間はその中で1時間半を占めます

バッチ処理(JP1)

HP StorageWorks MSA2312fc x 4 (2009) HDD48 Size28TB

DWH Server(SybaseIQ)

HP ProLiant DL380 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM320GB HDD136GB OS Windows Server 2003 SE SP2 (x64)

HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM180GB HDD416GB OS Windows Server 2003 EE SP2(32bit)

ETL Server(DataStage)

HP ProLiant DL380 G6 (2009) CPU Intelreg Xeonreg Processor E5540 CPU2 Core8 MEM620GB HDD136GB OS Windows Server 2008 EE SP2 (x64)

BI Server(MicroStrategy)

本番環境

HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 of CPU1 of cores2 MEM320GB HDD694GB OS Windows Server 2003 SE SP2 (x64)

DWH Server(SybaseIQ)

開発環境

Strage

DWHBIを支えるインフラ

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Seve(メルマガターゲティングツール)

会員情報 times 購買履歴予約履歴 会員情報(性別年代)と過去の購買履歴からターゲティング

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Seve(メルマガターゲティングツール)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Phil(サイト来訪者分析ツール)

会員情報 times アクセスログ アクセスログ(サイト閲覧履歴)から会員情報(性別年代)を分析

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Phil(サイト来訪者分析ツール)

値下げお知らせメール

今日からセールになる商品を『直近1週間に閲覧』し『直近1ヶ月以内にその商品を購入していない』お客様に対してセールになった事を伝えるメールを配信

CTR(来訪率) 約25~30 レギュラーメール 2~25

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

サイト利用

マーケティングシステム連携

広告配信システム(DSP) (リターゲティング広告)

レコメンドエンジン (自社サイトパーソナライズ)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

データ活用を進めるための3つのポイント

進化のための安定

進化のための安定

進化のための安定

DWH起因 他システム起因 サービス停止

2012年1月 5 5 0

2012年2月 2 5 3

2012年3月 4 1 2

2012年4月 1 1 0

2012年5月 4 1 0

2012年6月 3 4 0

2012年7月 1 6 1

2012年8月 1 3 1

2012年9月 1 2 0

2012年10月 3 0 1

2012年11月 1 1 1

2012年12月 3 3 1

2013年1月 2 1 0

2013年2月 1 1 0

2013年3月 1 2 1

2013年4月 1 1 1

2013年5月 0 2 2

2013年6月 2 2 1

合計 36 41 15

DWH起因の障害原因 バグ

人的ミス

OSミドルウェア障害

他システム起因の障害原因

データ連携遅延

他システム連携エラー(API)

データ不備

東京都

千葉県 (33633) 神奈川県

(7422)

茨城県 (15654)

栃木県 (12026)

群馬県 (7124)

埼玉県 (15028)

静岡県

15800

16955

2990 19498

34817

8739

2058

38330

21772

21067

16634

自由研究(20ルール)①

会員居住地と予約されたゴルフ場の場所(関東地方編)

予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか

自由研究(20ルール)②

EC 商品ジャンル別のクラスタリング分析 (R)

自由研究(20ルール)③

マイクロストラテジー ビジュアルインサイト

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

自由研究(20ルール)④

Mahoutを利用したレコメンドエンジンの開発

データ活用推進を阻む大きな壁データ活用の需要と供給

供給 需要 < 供給 需要 >

システム データ活用リテラシー < システム データ活用リテラシー >

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

ビックデータ活用を支える基盤と今後の展開

E-Commerce

EC事業

ゴルフ場予約事業

OLAP分析

GBDP

ゴルフ場営業 サポート

会員分析

KPIマネジメント

予実管理

ゴルフ場向 営業支援帳票

BI Platform

MD分析 プラットフォーム

受注発注分析

在庫欠品分析

社外データ

ゴルフ場予約

連携システム

会員管理

ERP

スコア管理

ワークフロー

広告営業管理

GDOサイト

統合レコメンドエンジン

Digital Marketing Platform

統計解析

IBM SPSS R

DWH

DWH Platform

ETL

Data Stage

ログ解析システム

アクセス ログデータ

Hadoop Platform

HDFS

Hive

インバウンドマーケティング

アウトバウンドマーケティング

顧客抽出ツール(Seve)

キャンペーンマネージメントシステム

会員属性と連携した広告配信システム

広告配信システム

ECショッピングモール (Google Shopping)

マーケティングオートメーション(2013年11月14日時点)

Amazon Web Service Amazon VPC(Virtual Private Cloud)

プライベートサブネット

GDO社内

キャンペーン マネージメント

スレーブノード (m1large) times3(Datanode)

Amazon EC2

アクセス ログデータ

ログ解析 システム

マスターノード(m1large) times3台(ClientActiveStandby)

Standby (EC2)

NameNode JournalNode

HDFS (EBS) 500GB

HDFS (EBS) 500GB

DataNode TasKTracker

DataNode TaskTracker

(EC2)

HDFS (EBS) 500GB

DataNode TaskTracker

Active (EC2)

Client (EC2)

(EC2) (EC2)

Client JournalNode Hive

NameNode JournalNode

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

Hadoop システム構成

Hadoop + Hive

なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった

② タダ(無料)だから

③ 使ってみたかった

Hadoopを利用してみて分かったこと

意外と安定している

HiveQLには制限は少ない(SELECT)

開発生産性は高い

クラウドなのでスケールアウトはとっても簡単いろんな意味で

更新削除は出来ない

レスポンスは遅い

Hadoop + Hive のベストプラクティス

バッチ処理

R2AD Responsys Ignision One

DWH Seve

基幹システム

WEB ログシステム

Rtoaster

リスティングディスプレイリマーケティング メール レコメンド

LPO

顧客抽出

ログレスポンスデータ

トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある

DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)

お客様の行動に合わせた高度なマーケティングを実行するためには

Ad CRM

DWH

RI Rtoas

ter

R2AD iOne

基幹 システム

WEB ログシステム

データの集中と相互利用

今後のデジタルマーケティング時代に求められるDWH

製品選定

GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける

② 移行性を重視する

③ 当然ですが最小の費用で最大の効果を

ご清聴ありがとうございました

Page 17: [C11] ビックデータ×マーケティング 進化するディジタルマーケティングを支えるビックデータ活用基盤 by Takatomo Kamatsu

2009 2010 2011 2012 2013 DWHBIリリース 大リニューアル(G10)

KPIレポート

ゴルフ場営業支援レポート

新ゴルフ場営業支援レポート

MD分析プラットフォーム

Phil(閲覧ページ会員属性分析ツール)

Rtoaster連携

人気ゴルフ場ランキング

ショップレビューランキング

Seve(メルマガ対象者抽出ツール)

R2AD連携

Responsys連携

1114 GoogleShopping連携

全社データ活用基盤として2010年5月にリリースしたDWHBIG10プロジェクトで大幅なリニューアルを実施し現在では当初の目的である社内データの「見える化」に加えて日常業務での「分析意思決定支援」での活用そしてランキングといった自社サイトでの利用や広告配信システムとの連携といった「デジタルマーケティング活用」とその活用範囲を拡大してきている

デジタルマーケティング (売上向上)

分析意思決定支援 (業務効率化高度化)

集計見える化

DWHBI活用の軌跡

E-Commerce

ゴルフ場予約事業

OLAP分析

GBDP

ゴルフ場営業 サポート

KPIマネジメント

予実管理

BI Platform

ゴルフ場予約

連携システム

会員管理

ERP

スコア管理

ワークフロー

広告営業管理

DWH

DWH Platform

ETL

Data Stage

ログ解析システム

アクセス ログデータ

Digital Marketing Platform

アウトバウンドマーケティング

顧客抽出ツール(Seve)

ゴルフ場向 営業支援帳票

インバウンドマーケティング

統合レコメンドエンジン

GDOサイト

EC事業

MD分析 プラットフォーム

受注発注分析

在庫欠品分析

会員属性と連携した広告配信システム

広告配信システム

ECショッピングモール (Google Shopping)

会員分析

統計解析

IBM SPSS R

社外データ

システム構成(2013年11月13日時点)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

数字で見るDWH

J

データ量

6TBytes

DWHに格納されているデータ量は2013年11月現在で6TByteですSybase IQのデータ圧縮機能により約20に圧縮され保存されています

連携システム数

22システム

DWHは社内社外の21のシステムとデータ連携を行っています連携しているデータの種類(IF数)は300にものぼります

テーブル数

1400 テーブル

DWHが各種システムから取得したデータはETL処理により取込用途ごとに集計され1400のテーブルに格納されています

利用者数

BI 50ユーザ

ODBC 200ユーザ

全社員400人中50人が日々BIツールを業務で活用200人がODBC接続でExcelやAccessを活用しています

ジョブ数

1200ジョブ

DWHでは日々1200のバッチ処理が行われています全てのジョブがジョブ管理ツールにより制御されエラー発生時には即座にメールが送信されます

バッチ処理時間

10時間

日次のバッチ処理にかかる時間は約8時間ですバックアップにかかる時間はその中で1時間半を占めます

バッチ処理(JP1)

HP StorageWorks MSA2312fc x 4 (2009) HDD48 Size28TB

DWH Server(SybaseIQ)

HP ProLiant DL380 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM320GB HDD136GB OS Windows Server 2003 SE SP2 (x64)

HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM180GB HDD416GB OS Windows Server 2003 EE SP2(32bit)

ETL Server(DataStage)

HP ProLiant DL380 G6 (2009) CPU Intelreg Xeonreg Processor E5540 CPU2 Core8 MEM620GB HDD136GB OS Windows Server 2008 EE SP2 (x64)

BI Server(MicroStrategy)

本番環境

HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 of CPU1 of cores2 MEM320GB HDD694GB OS Windows Server 2003 SE SP2 (x64)

DWH Server(SybaseIQ)

開発環境

Strage

DWHBIを支えるインフラ

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Seve(メルマガターゲティングツール)

会員情報 times 購買履歴予約履歴 会員情報(性別年代)と過去の購買履歴からターゲティング

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Seve(メルマガターゲティングツール)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Phil(サイト来訪者分析ツール)

会員情報 times アクセスログ アクセスログ(サイト閲覧履歴)から会員情報(性別年代)を分析

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Phil(サイト来訪者分析ツール)

値下げお知らせメール

今日からセールになる商品を『直近1週間に閲覧』し『直近1ヶ月以内にその商品を購入していない』お客様に対してセールになった事を伝えるメールを配信

CTR(来訪率) 約25~30 レギュラーメール 2~25

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

サイト利用

マーケティングシステム連携

広告配信システム(DSP) (リターゲティング広告)

レコメンドエンジン (自社サイトパーソナライズ)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

データ活用を進めるための3つのポイント

進化のための安定

進化のための安定

進化のための安定

DWH起因 他システム起因 サービス停止

2012年1月 5 5 0

2012年2月 2 5 3

2012年3月 4 1 2

2012年4月 1 1 0

2012年5月 4 1 0

2012年6月 3 4 0

2012年7月 1 6 1

2012年8月 1 3 1

2012年9月 1 2 0

2012年10月 3 0 1

2012年11月 1 1 1

2012年12月 3 3 1

2013年1月 2 1 0

2013年2月 1 1 0

2013年3月 1 2 1

2013年4月 1 1 1

2013年5月 0 2 2

2013年6月 2 2 1

合計 36 41 15

DWH起因の障害原因 バグ

人的ミス

OSミドルウェア障害

他システム起因の障害原因

データ連携遅延

他システム連携エラー(API)

データ不備

東京都

千葉県 (33633) 神奈川県

(7422)

茨城県 (15654)

栃木県 (12026)

群馬県 (7124)

埼玉県 (15028)

静岡県

15800

16955

2990 19498

34817

8739

2058

38330

21772

21067

16634

自由研究(20ルール)①

会員居住地と予約されたゴルフ場の場所(関東地方編)

予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか

自由研究(20ルール)②

EC 商品ジャンル別のクラスタリング分析 (R)

自由研究(20ルール)③

マイクロストラテジー ビジュアルインサイト

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

自由研究(20ルール)④

Mahoutを利用したレコメンドエンジンの開発

データ活用推進を阻む大きな壁データ活用の需要と供給

供給 需要 < 供給 需要 >

システム データ活用リテラシー < システム データ活用リテラシー >

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

ビックデータ活用を支える基盤と今後の展開

E-Commerce

EC事業

ゴルフ場予約事業

OLAP分析

GBDP

ゴルフ場営業 サポート

会員分析

KPIマネジメント

予実管理

ゴルフ場向 営業支援帳票

BI Platform

MD分析 プラットフォーム

受注発注分析

在庫欠品分析

社外データ

ゴルフ場予約

連携システム

会員管理

ERP

スコア管理

ワークフロー

広告営業管理

GDOサイト

統合レコメンドエンジン

Digital Marketing Platform

統計解析

IBM SPSS R

DWH

DWH Platform

ETL

Data Stage

ログ解析システム

アクセス ログデータ

Hadoop Platform

HDFS

Hive

インバウンドマーケティング

アウトバウンドマーケティング

顧客抽出ツール(Seve)

キャンペーンマネージメントシステム

会員属性と連携した広告配信システム

広告配信システム

ECショッピングモール (Google Shopping)

マーケティングオートメーション(2013年11月14日時点)

Amazon Web Service Amazon VPC(Virtual Private Cloud)

プライベートサブネット

GDO社内

キャンペーン マネージメント

スレーブノード (m1large) times3(Datanode)

Amazon EC2

アクセス ログデータ

ログ解析 システム

マスターノード(m1large) times3台(ClientActiveStandby)

Standby (EC2)

NameNode JournalNode

HDFS (EBS) 500GB

HDFS (EBS) 500GB

DataNode TasKTracker

DataNode TaskTracker

(EC2)

HDFS (EBS) 500GB

DataNode TaskTracker

Active (EC2)

Client (EC2)

(EC2) (EC2)

Client JournalNode Hive

NameNode JournalNode

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

Hadoop システム構成

Hadoop + Hive

なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった

② タダ(無料)だから

③ 使ってみたかった

Hadoopを利用してみて分かったこと

意外と安定している

HiveQLには制限は少ない(SELECT)

開発生産性は高い

クラウドなのでスケールアウトはとっても簡単いろんな意味で

更新削除は出来ない

レスポンスは遅い

Hadoop + Hive のベストプラクティス

バッチ処理

R2AD Responsys Ignision One

DWH Seve

基幹システム

WEB ログシステム

Rtoaster

リスティングディスプレイリマーケティング メール レコメンド

LPO

顧客抽出

ログレスポンスデータ

トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある

DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)

お客様の行動に合わせた高度なマーケティングを実行するためには

Ad CRM

DWH

RI Rtoas

ter

R2AD iOne

基幹 システム

WEB ログシステム

データの集中と相互利用

今後のデジタルマーケティング時代に求められるDWH

製品選定

GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける

② 移行性を重視する

③ 当然ですが最小の費用で最大の効果を

ご清聴ありがとうございました

Page 18: [C11] ビックデータ×マーケティング 進化するディジタルマーケティングを支えるビックデータ活用基盤 by Takatomo Kamatsu

E-Commerce

ゴルフ場予約事業

OLAP分析

GBDP

ゴルフ場営業 サポート

KPIマネジメント

予実管理

BI Platform

ゴルフ場予約

連携システム

会員管理

ERP

スコア管理

ワークフロー

広告営業管理

DWH

DWH Platform

ETL

Data Stage

ログ解析システム

アクセス ログデータ

Digital Marketing Platform

アウトバウンドマーケティング

顧客抽出ツール(Seve)

ゴルフ場向 営業支援帳票

インバウンドマーケティング

統合レコメンドエンジン

GDOサイト

EC事業

MD分析 プラットフォーム

受注発注分析

在庫欠品分析

会員属性と連携した広告配信システム

広告配信システム

ECショッピングモール (Google Shopping)

会員分析

統計解析

IBM SPSS R

社外データ

システム構成(2013年11月13日時点)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

数字で見るDWH

J

データ量

6TBytes

DWHに格納されているデータ量は2013年11月現在で6TByteですSybase IQのデータ圧縮機能により約20に圧縮され保存されています

連携システム数

22システム

DWHは社内社外の21のシステムとデータ連携を行っています連携しているデータの種類(IF数)は300にものぼります

テーブル数

1400 テーブル

DWHが各種システムから取得したデータはETL処理により取込用途ごとに集計され1400のテーブルに格納されています

利用者数

BI 50ユーザ

ODBC 200ユーザ

全社員400人中50人が日々BIツールを業務で活用200人がODBC接続でExcelやAccessを活用しています

ジョブ数

1200ジョブ

DWHでは日々1200のバッチ処理が行われています全てのジョブがジョブ管理ツールにより制御されエラー発生時には即座にメールが送信されます

バッチ処理時間

10時間

日次のバッチ処理にかかる時間は約8時間ですバックアップにかかる時間はその中で1時間半を占めます

バッチ処理(JP1)

HP StorageWorks MSA2312fc x 4 (2009) HDD48 Size28TB

DWH Server(SybaseIQ)

HP ProLiant DL380 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM320GB HDD136GB OS Windows Server 2003 SE SP2 (x64)

HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM180GB HDD416GB OS Windows Server 2003 EE SP2(32bit)

ETL Server(DataStage)

HP ProLiant DL380 G6 (2009) CPU Intelreg Xeonreg Processor E5540 CPU2 Core8 MEM620GB HDD136GB OS Windows Server 2008 EE SP2 (x64)

BI Server(MicroStrategy)

本番環境

HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 of CPU1 of cores2 MEM320GB HDD694GB OS Windows Server 2003 SE SP2 (x64)

DWH Server(SybaseIQ)

開発環境

Strage

DWHBIを支えるインフラ

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Seve(メルマガターゲティングツール)

会員情報 times 購買履歴予約履歴 会員情報(性別年代)と過去の購買履歴からターゲティング

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Seve(メルマガターゲティングツール)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Phil(サイト来訪者分析ツール)

会員情報 times アクセスログ アクセスログ(サイト閲覧履歴)から会員情報(性別年代)を分析

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Phil(サイト来訪者分析ツール)

値下げお知らせメール

今日からセールになる商品を『直近1週間に閲覧』し『直近1ヶ月以内にその商品を購入していない』お客様に対してセールになった事を伝えるメールを配信

CTR(来訪率) 約25~30 レギュラーメール 2~25

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

サイト利用

マーケティングシステム連携

広告配信システム(DSP) (リターゲティング広告)

レコメンドエンジン (自社サイトパーソナライズ)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

データ活用を進めるための3つのポイント

進化のための安定

進化のための安定

進化のための安定

DWH起因 他システム起因 サービス停止

2012年1月 5 5 0

2012年2月 2 5 3

2012年3月 4 1 2

2012年4月 1 1 0

2012年5月 4 1 0

2012年6月 3 4 0

2012年7月 1 6 1

2012年8月 1 3 1

2012年9月 1 2 0

2012年10月 3 0 1

2012年11月 1 1 1

2012年12月 3 3 1

2013年1月 2 1 0

2013年2月 1 1 0

2013年3月 1 2 1

2013年4月 1 1 1

2013年5月 0 2 2

2013年6月 2 2 1

合計 36 41 15

DWH起因の障害原因 バグ

人的ミス

OSミドルウェア障害

他システム起因の障害原因

データ連携遅延

他システム連携エラー(API)

データ不備

東京都

千葉県 (33633) 神奈川県

(7422)

茨城県 (15654)

栃木県 (12026)

群馬県 (7124)

埼玉県 (15028)

静岡県

15800

16955

2990 19498

34817

8739

2058

38330

21772

21067

16634

自由研究(20ルール)①

会員居住地と予約されたゴルフ場の場所(関東地方編)

予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか

自由研究(20ルール)②

EC 商品ジャンル別のクラスタリング分析 (R)

自由研究(20ルール)③

マイクロストラテジー ビジュアルインサイト

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

自由研究(20ルール)④

Mahoutを利用したレコメンドエンジンの開発

データ活用推進を阻む大きな壁データ活用の需要と供給

供給 需要 < 供給 需要 >

システム データ活用リテラシー < システム データ活用リテラシー >

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

ビックデータ活用を支える基盤と今後の展開

E-Commerce

EC事業

ゴルフ場予約事業

OLAP分析

GBDP

ゴルフ場営業 サポート

会員分析

KPIマネジメント

予実管理

ゴルフ場向 営業支援帳票

BI Platform

MD分析 プラットフォーム

受注発注分析

在庫欠品分析

社外データ

ゴルフ場予約

連携システム

会員管理

ERP

スコア管理

ワークフロー

広告営業管理

GDOサイト

統合レコメンドエンジン

Digital Marketing Platform

統計解析

IBM SPSS R

DWH

DWH Platform

ETL

Data Stage

ログ解析システム

アクセス ログデータ

Hadoop Platform

HDFS

Hive

インバウンドマーケティング

アウトバウンドマーケティング

顧客抽出ツール(Seve)

キャンペーンマネージメントシステム

会員属性と連携した広告配信システム

広告配信システム

ECショッピングモール (Google Shopping)

マーケティングオートメーション(2013年11月14日時点)

Amazon Web Service Amazon VPC(Virtual Private Cloud)

プライベートサブネット

GDO社内

キャンペーン マネージメント

スレーブノード (m1large) times3(Datanode)

Amazon EC2

アクセス ログデータ

ログ解析 システム

マスターノード(m1large) times3台(ClientActiveStandby)

Standby (EC2)

NameNode JournalNode

HDFS (EBS) 500GB

HDFS (EBS) 500GB

DataNode TasKTracker

DataNode TaskTracker

(EC2)

HDFS (EBS) 500GB

DataNode TaskTracker

Active (EC2)

Client (EC2)

(EC2) (EC2)

Client JournalNode Hive

NameNode JournalNode

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

Hadoop システム構成

Hadoop + Hive

なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった

② タダ(無料)だから

③ 使ってみたかった

Hadoopを利用してみて分かったこと

意外と安定している

HiveQLには制限は少ない(SELECT)

開発生産性は高い

クラウドなのでスケールアウトはとっても簡単いろんな意味で

更新削除は出来ない

レスポンスは遅い

Hadoop + Hive のベストプラクティス

バッチ処理

R2AD Responsys Ignision One

DWH Seve

基幹システム

WEB ログシステム

Rtoaster

リスティングディスプレイリマーケティング メール レコメンド

LPO

顧客抽出

ログレスポンスデータ

トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある

DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)

お客様の行動に合わせた高度なマーケティングを実行するためには

Ad CRM

DWH

RI Rtoas

ter

R2AD iOne

基幹 システム

WEB ログシステム

データの集中と相互利用

今後のデジタルマーケティング時代に求められるDWH

製品選定

GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける

② 移行性を重視する

③ 当然ですが最小の費用で最大の効果を

ご清聴ありがとうございました

Page 19: [C11] ビックデータ×マーケティング 進化するディジタルマーケティングを支えるビックデータ活用基盤 by Takatomo Kamatsu

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

数字で見るDWH

J

データ量

6TBytes

DWHに格納されているデータ量は2013年11月現在で6TByteですSybase IQのデータ圧縮機能により約20に圧縮され保存されています

連携システム数

22システム

DWHは社内社外の21のシステムとデータ連携を行っています連携しているデータの種類(IF数)は300にものぼります

テーブル数

1400 テーブル

DWHが各種システムから取得したデータはETL処理により取込用途ごとに集計され1400のテーブルに格納されています

利用者数

BI 50ユーザ

ODBC 200ユーザ

全社員400人中50人が日々BIツールを業務で活用200人がODBC接続でExcelやAccessを活用しています

ジョブ数

1200ジョブ

DWHでは日々1200のバッチ処理が行われています全てのジョブがジョブ管理ツールにより制御されエラー発生時には即座にメールが送信されます

バッチ処理時間

10時間

日次のバッチ処理にかかる時間は約8時間ですバックアップにかかる時間はその中で1時間半を占めます

バッチ処理(JP1)

HP StorageWorks MSA2312fc x 4 (2009) HDD48 Size28TB

DWH Server(SybaseIQ)

HP ProLiant DL380 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM320GB HDD136GB OS Windows Server 2003 SE SP2 (x64)

HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM180GB HDD416GB OS Windows Server 2003 EE SP2(32bit)

ETL Server(DataStage)

HP ProLiant DL380 G6 (2009) CPU Intelreg Xeonreg Processor E5540 CPU2 Core8 MEM620GB HDD136GB OS Windows Server 2008 EE SP2 (x64)

BI Server(MicroStrategy)

本番環境

HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 of CPU1 of cores2 MEM320GB HDD694GB OS Windows Server 2003 SE SP2 (x64)

DWH Server(SybaseIQ)

開発環境

Strage

DWHBIを支えるインフラ

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Seve(メルマガターゲティングツール)

会員情報 times 購買履歴予約履歴 会員情報(性別年代)と過去の購買履歴からターゲティング

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Seve(メルマガターゲティングツール)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Phil(サイト来訪者分析ツール)

会員情報 times アクセスログ アクセスログ(サイト閲覧履歴)から会員情報(性別年代)を分析

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Phil(サイト来訪者分析ツール)

値下げお知らせメール

今日からセールになる商品を『直近1週間に閲覧』し『直近1ヶ月以内にその商品を購入していない』お客様に対してセールになった事を伝えるメールを配信

CTR(来訪率) 約25~30 レギュラーメール 2~25

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

サイト利用

マーケティングシステム連携

広告配信システム(DSP) (リターゲティング広告)

レコメンドエンジン (自社サイトパーソナライズ)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

データ活用を進めるための3つのポイント

進化のための安定

進化のための安定

進化のための安定

DWH起因 他システム起因 サービス停止

2012年1月 5 5 0

2012年2月 2 5 3

2012年3月 4 1 2

2012年4月 1 1 0

2012年5月 4 1 0

2012年6月 3 4 0

2012年7月 1 6 1

2012年8月 1 3 1

2012年9月 1 2 0

2012年10月 3 0 1

2012年11月 1 1 1

2012年12月 3 3 1

2013年1月 2 1 0

2013年2月 1 1 0

2013年3月 1 2 1

2013年4月 1 1 1

2013年5月 0 2 2

2013年6月 2 2 1

合計 36 41 15

DWH起因の障害原因 バグ

人的ミス

OSミドルウェア障害

他システム起因の障害原因

データ連携遅延

他システム連携エラー(API)

データ不備

東京都

千葉県 (33633) 神奈川県

(7422)

茨城県 (15654)

栃木県 (12026)

群馬県 (7124)

埼玉県 (15028)

静岡県

15800

16955

2990 19498

34817

8739

2058

38330

21772

21067

16634

自由研究(20ルール)①

会員居住地と予約されたゴルフ場の場所(関東地方編)

予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか

自由研究(20ルール)②

EC 商品ジャンル別のクラスタリング分析 (R)

自由研究(20ルール)③

マイクロストラテジー ビジュアルインサイト

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

自由研究(20ルール)④

Mahoutを利用したレコメンドエンジンの開発

データ活用推進を阻む大きな壁データ活用の需要と供給

供給 需要 < 供給 需要 >

システム データ活用リテラシー < システム データ活用リテラシー >

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

ビックデータ活用を支える基盤と今後の展開

E-Commerce

EC事業

ゴルフ場予約事業

OLAP分析

GBDP

ゴルフ場営業 サポート

会員分析

KPIマネジメント

予実管理

ゴルフ場向 営業支援帳票

BI Platform

MD分析 プラットフォーム

受注発注分析

在庫欠品分析

社外データ

ゴルフ場予約

連携システム

会員管理

ERP

スコア管理

ワークフロー

広告営業管理

GDOサイト

統合レコメンドエンジン

Digital Marketing Platform

統計解析

IBM SPSS R

DWH

DWH Platform

ETL

Data Stage

ログ解析システム

アクセス ログデータ

Hadoop Platform

HDFS

Hive

インバウンドマーケティング

アウトバウンドマーケティング

顧客抽出ツール(Seve)

キャンペーンマネージメントシステム

会員属性と連携した広告配信システム

広告配信システム

ECショッピングモール (Google Shopping)

マーケティングオートメーション(2013年11月14日時点)

Amazon Web Service Amazon VPC(Virtual Private Cloud)

プライベートサブネット

GDO社内

キャンペーン マネージメント

スレーブノード (m1large) times3(Datanode)

Amazon EC2

アクセス ログデータ

ログ解析 システム

マスターノード(m1large) times3台(ClientActiveStandby)

Standby (EC2)

NameNode JournalNode

HDFS (EBS) 500GB

HDFS (EBS) 500GB

DataNode TasKTracker

DataNode TaskTracker

(EC2)

HDFS (EBS) 500GB

DataNode TaskTracker

Active (EC2)

Client (EC2)

(EC2) (EC2)

Client JournalNode Hive

NameNode JournalNode

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

Hadoop システム構成

Hadoop + Hive

なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった

② タダ(無料)だから

③ 使ってみたかった

Hadoopを利用してみて分かったこと

意外と安定している

HiveQLには制限は少ない(SELECT)

開発生産性は高い

クラウドなのでスケールアウトはとっても簡単いろんな意味で

更新削除は出来ない

レスポンスは遅い

Hadoop + Hive のベストプラクティス

バッチ処理

R2AD Responsys Ignision One

DWH Seve

基幹システム

WEB ログシステム

Rtoaster

リスティングディスプレイリマーケティング メール レコメンド

LPO

顧客抽出

ログレスポンスデータ

トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある

DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)

お客様の行動に合わせた高度なマーケティングを実行するためには

Ad CRM

DWH

RI Rtoas

ter

R2AD iOne

基幹 システム

WEB ログシステム

データの集中と相互利用

今後のデジタルマーケティング時代に求められるDWH

製品選定

GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける

② 移行性を重視する

③ 当然ですが最小の費用で最大の効果を

ご清聴ありがとうございました

Page 20: [C11] ビックデータ×マーケティング 進化するディジタルマーケティングを支えるビックデータ活用基盤 by Takatomo Kamatsu

バッチ処理(JP1)

HP StorageWorks MSA2312fc x 4 (2009) HDD48 Size28TB

DWH Server(SybaseIQ)

HP ProLiant DL380 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM320GB HDD136GB OS Windows Server 2003 SE SP2 (x64)

HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM180GB HDD416GB OS Windows Server 2003 EE SP2(32bit)

ETL Server(DataStage)

HP ProLiant DL380 G6 (2009) CPU Intelreg Xeonreg Processor E5540 CPU2 Core8 MEM620GB HDD136GB OS Windows Server 2008 EE SP2 (x64)

BI Server(MicroStrategy)

本番環境

HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 of CPU1 of cores2 MEM320GB HDD694GB OS Windows Server 2003 SE SP2 (x64)

DWH Server(SybaseIQ)

開発環境

Strage

DWHBIを支えるインフラ

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Seve(メルマガターゲティングツール)

会員情報 times 購買履歴予約履歴 会員情報(性別年代)と過去の購買履歴からターゲティング

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Seve(メルマガターゲティングツール)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Phil(サイト来訪者分析ツール)

会員情報 times アクセスログ アクセスログ(サイト閲覧履歴)から会員情報(性別年代)を分析

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Phil(サイト来訪者分析ツール)

値下げお知らせメール

今日からセールになる商品を『直近1週間に閲覧』し『直近1ヶ月以内にその商品を購入していない』お客様に対してセールになった事を伝えるメールを配信

CTR(来訪率) 約25~30 レギュラーメール 2~25

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

サイト利用

マーケティングシステム連携

広告配信システム(DSP) (リターゲティング広告)

レコメンドエンジン (自社サイトパーソナライズ)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

データ活用を進めるための3つのポイント

進化のための安定

進化のための安定

進化のための安定

DWH起因 他システム起因 サービス停止

2012年1月 5 5 0

2012年2月 2 5 3

2012年3月 4 1 2

2012年4月 1 1 0

2012年5月 4 1 0

2012年6月 3 4 0

2012年7月 1 6 1

2012年8月 1 3 1

2012年9月 1 2 0

2012年10月 3 0 1

2012年11月 1 1 1

2012年12月 3 3 1

2013年1月 2 1 0

2013年2月 1 1 0

2013年3月 1 2 1

2013年4月 1 1 1

2013年5月 0 2 2

2013年6月 2 2 1

合計 36 41 15

DWH起因の障害原因 バグ

人的ミス

OSミドルウェア障害

他システム起因の障害原因

データ連携遅延

他システム連携エラー(API)

データ不備

東京都

千葉県 (33633) 神奈川県

(7422)

茨城県 (15654)

栃木県 (12026)

群馬県 (7124)

埼玉県 (15028)

静岡県

15800

16955

2990 19498

34817

8739

2058

38330

21772

21067

16634

自由研究(20ルール)①

会員居住地と予約されたゴルフ場の場所(関東地方編)

予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか

自由研究(20ルール)②

EC 商品ジャンル別のクラスタリング分析 (R)

自由研究(20ルール)③

マイクロストラテジー ビジュアルインサイト

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

自由研究(20ルール)④

Mahoutを利用したレコメンドエンジンの開発

データ活用推進を阻む大きな壁データ活用の需要と供給

供給 需要 < 供給 需要 >

システム データ活用リテラシー < システム データ活用リテラシー >

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

ビックデータ活用を支える基盤と今後の展開

E-Commerce

EC事業

ゴルフ場予約事業

OLAP分析

GBDP

ゴルフ場営業 サポート

会員分析

KPIマネジメント

予実管理

ゴルフ場向 営業支援帳票

BI Platform

MD分析 プラットフォーム

受注発注分析

在庫欠品分析

社外データ

ゴルフ場予約

連携システム

会員管理

ERP

スコア管理

ワークフロー

広告営業管理

GDOサイト

統合レコメンドエンジン

Digital Marketing Platform

統計解析

IBM SPSS R

DWH

DWH Platform

ETL

Data Stage

ログ解析システム

アクセス ログデータ

Hadoop Platform

HDFS

Hive

インバウンドマーケティング

アウトバウンドマーケティング

顧客抽出ツール(Seve)

キャンペーンマネージメントシステム

会員属性と連携した広告配信システム

広告配信システム

ECショッピングモール (Google Shopping)

マーケティングオートメーション(2013年11月14日時点)

Amazon Web Service Amazon VPC(Virtual Private Cloud)

プライベートサブネット

GDO社内

キャンペーン マネージメント

スレーブノード (m1large) times3(Datanode)

Amazon EC2

アクセス ログデータ

ログ解析 システム

マスターノード(m1large) times3台(ClientActiveStandby)

Standby (EC2)

NameNode JournalNode

HDFS (EBS) 500GB

HDFS (EBS) 500GB

DataNode TasKTracker

DataNode TaskTracker

(EC2)

HDFS (EBS) 500GB

DataNode TaskTracker

Active (EC2)

Client (EC2)

(EC2) (EC2)

Client JournalNode Hive

NameNode JournalNode

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

Hadoop システム構成

Hadoop + Hive

なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった

② タダ(無料)だから

③ 使ってみたかった

Hadoopを利用してみて分かったこと

意外と安定している

HiveQLには制限は少ない(SELECT)

開発生産性は高い

クラウドなのでスケールアウトはとっても簡単いろんな意味で

更新削除は出来ない

レスポンスは遅い

Hadoop + Hive のベストプラクティス

バッチ処理

R2AD Responsys Ignision One

DWH Seve

基幹システム

WEB ログシステム

Rtoaster

リスティングディスプレイリマーケティング メール レコメンド

LPO

顧客抽出

ログレスポンスデータ

トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある

DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)

お客様の行動に合わせた高度なマーケティングを実行するためには

Ad CRM

DWH

RI Rtoas

ter

R2AD iOne

基幹 システム

WEB ログシステム

データの集中と相互利用

今後のデジタルマーケティング時代に求められるDWH

製品選定

GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける

② 移行性を重視する

③ 当然ですが最小の費用で最大の効果を

ご清聴ありがとうございました

Page 21: [C11] ビックデータ×マーケティング 進化するディジタルマーケティングを支えるビックデータ活用基盤 by Takatomo Kamatsu

HP StorageWorks MSA2312fc x 4 (2009) HDD48 Size28TB

DWH Server(SybaseIQ)

HP ProLiant DL380 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM320GB HDD136GB OS Windows Server 2003 SE SP2 (x64)

HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 CPU1 Core2 MEM180GB HDD416GB OS Windows Server 2003 EE SP2(32bit)

ETL Server(DataStage)

HP ProLiant DL380 G6 (2009) CPU Intelreg Xeonreg Processor E5540 CPU2 Core8 MEM620GB HDD136GB OS Windows Server 2008 EE SP2 (x64)

BI Server(MicroStrategy)

本番環境

HP ProLiant DL360 G5 (2006) CPU Intelreg Xeonreg Processor X5260 of CPU1 of cores2 MEM320GB HDD694GB OS Windows Server 2003 SE SP2 (x64)

DWH Server(SybaseIQ)

開発環境

Strage

DWHBIを支えるインフラ

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Seve(メルマガターゲティングツール)

会員情報 times 購買履歴予約履歴 会員情報(性別年代)と過去の購買履歴からターゲティング

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Seve(メルマガターゲティングツール)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Phil(サイト来訪者分析ツール)

会員情報 times アクセスログ アクセスログ(サイト閲覧履歴)から会員情報(性別年代)を分析

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Phil(サイト来訪者分析ツール)

値下げお知らせメール

今日からセールになる商品を『直近1週間に閲覧』し『直近1ヶ月以内にその商品を購入していない』お客様に対してセールになった事を伝えるメールを配信

CTR(来訪率) 約25~30 レギュラーメール 2~25

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

サイト利用

マーケティングシステム連携

広告配信システム(DSP) (リターゲティング広告)

レコメンドエンジン (自社サイトパーソナライズ)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

データ活用を進めるための3つのポイント

進化のための安定

進化のための安定

進化のための安定

DWH起因 他システム起因 サービス停止

2012年1月 5 5 0

2012年2月 2 5 3

2012年3月 4 1 2

2012年4月 1 1 0

2012年5月 4 1 0

2012年6月 3 4 0

2012年7月 1 6 1

2012年8月 1 3 1

2012年9月 1 2 0

2012年10月 3 0 1

2012年11月 1 1 1

2012年12月 3 3 1

2013年1月 2 1 0

2013年2月 1 1 0

2013年3月 1 2 1

2013年4月 1 1 1

2013年5月 0 2 2

2013年6月 2 2 1

合計 36 41 15

DWH起因の障害原因 バグ

人的ミス

OSミドルウェア障害

他システム起因の障害原因

データ連携遅延

他システム連携エラー(API)

データ不備

東京都

千葉県 (33633) 神奈川県

(7422)

茨城県 (15654)

栃木県 (12026)

群馬県 (7124)

埼玉県 (15028)

静岡県

15800

16955

2990 19498

34817

8739

2058

38330

21772

21067

16634

自由研究(20ルール)①

会員居住地と予約されたゴルフ場の場所(関東地方編)

予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか

自由研究(20ルール)②

EC 商品ジャンル別のクラスタリング分析 (R)

自由研究(20ルール)③

マイクロストラテジー ビジュアルインサイト

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

自由研究(20ルール)④

Mahoutを利用したレコメンドエンジンの開発

データ活用推進を阻む大きな壁データ活用の需要と供給

供給 需要 < 供給 需要 >

システム データ活用リテラシー < システム データ活用リテラシー >

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

ビックデータ活用を支える基盤と今後の展開

E-Commerce

EC事業

ゴルフ場予約事業

OLAP分析

GBDP

ゴルフ場営業 サポート

会員分析

KPIマネジメント

予実管理

ゴルフ場向 営業支援帳票

BI Platform

MD分析 プラットフォーム

受注発注分析

在庫欠品分析

社外データ

ゴルフ場予約

連携システム

会員管理

ERP

スコア管理

ワークフロー

広告営業管理

GDOサイト

統合レコメンドエンジン

Digital Marketing Platform

統計解析

IBM SPSS R

DWH

DWH Platform

ETL

Data Stage

ログ解析システム

アクセス ログデータ

Hadoop Platform

HDFS

Hive

インバウンドマーケティング

アウトバウンドマーケティング

顧客抽出ツール(Seve)

キャンペーンマネージメントシステム

会員属性と連携した広告配信システム

広告配信システム

ECショッピングモール (Google Shopping)

マーケティングオートメーション(2013年11月14日時点)

Amazon Web Service Amazon VPC(Virtual Private Cloud)

プライベートサブネット

GDO社内

キャンペーン マネージメント

スレーブノード (m1large) times3(Datanode)

Amazon EC2

アクセス ログデータ

ログ解析 システム

マスターノード(m1large) times3台(ClientActiveStandby)

Standby (EC2)

NameNode JournalNode

HDFS (EBS) 500GB

HDFS (EBS) 500GB

DataNode TasKTracker

DataNode TaskTracker

(EC2)

HDFS (EBS) 500GB

DataNode TaskTracker

Active (EC2)

Client (EC2)

(EC2) (EC2)

Client JournalNode Hive

NameNode JournalNode

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

Hadoop システム構成

Hadoop + Hive

なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった

② タダ(無料)だから

③ 使ってみたかった

Hadoopを利用してみて分かったこと

意外と安定している

HiveQLには制限は少ない(SELECT)

開発生産性は高い

クラウドなのでスケールアウトはとっても簡単いろんな意味で

更新削除は出来ない

レスポンスは遅い

Hadoop + Hive のベストプラクティス

バッチ処理

R2AD Responsys Ignision One

DWH Seve

基幹システム

WEB ログシステム

Rtoaster

リスティングディスプレイリマーケティング メール レコメンド

LPO

顧客抽出

ログレスポンスデータ

トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある

DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)

お客様の行動に合わせた高度なマーケティングを実行するためには

Ad CRM

DWH

RI Rtoas

ter

R2AD iOne

基幹 システム

WEB ログシステム

データの集中と相互利用

今後のデジタルマーケティング時代に求められるDWH

製品選定

GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける

② 移行性を重視する

③ 当然ですが最小の費用で最大の効果を

ご清聴ありがとうございました

Page 22: [C11] ビックデータ×マーケティング 進化するディジタルマーケティングを支えるビックデータ活用基盤 by Takatomo Kamatsu

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Seve(メルマガターゲティングツール)

会員情報 times 購買履歴予約履歴 会員情報(性別年代)と過去の購買履歴からターゲティング

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Seve(メルマガターゲティングツール)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Phil(サイト来訪者分析ツール)

会員情報 times アクセスログ アクセスログ(サイト閲覧履歴)から会員情報(性別年代)を分析

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Phil(サイト来訪者分析ツール)

値下げお知らせメール

今日からセールになる商品を『直近1週間に閲覧』し『直近1ヶ月以内にその商品を購入していない』お客様に対してセールになった事を伝えるメールを配信

CTR(来訪率) 約25~30 レギュラーメール 2~25

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

サイト利用

マーケティングシステム連携

広告配信システム(DSP) (リターゲティング広告)

レコメンドエンジン (自社サイトパーソナライズ)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

データ活用を進めるための3つのポイント

進化のための安定

進化のための安定

進化のための安定

DWH起因 他システム起因 サービス停止

2012年1月 5 5 0

2012年2月 2 5 3

2012年3月 4 1 2

2012年4月 1 1 0

2012年5月 4 1 0

2012年6月 3 4 0

2012年7月 1 6 1

2012年8月 1 3 1

2012年9月 1 2 0

2012年10月 3 0 1

2012年11月 1 1 1

2012年12月 3 3 1

2013年1月 2 1 0

2013年2月 1 1 0

2013年3月 1 2 1

2013年4月 1 1 1

2013年5月 0 2 2

2013年6月 2 2 1

合計 36 41 15

DWH起因の障害原因 バグ

人的ミス

OSミドルウェア障害

他システム起因の障害原因

データ連携遅延

他システム連携エラー(API)

データ不備

東京都

千葉県 (33633) 神奈川県

(7422)

茨城県 (15654)

栃木県 (12026)

群馬県 (7124)

埼玉県 (15028)

静岡県

15800

16955

2990 19498

34817

8739

2058

38330

21772

21067

16634

自由研究(20ルール)①

会員居住地と予約されたゴルフ場の場所(関東地方編)

予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか

自由研究(20ルール)②

EC 商品ジャンル別のクラスタリング分析 (R)

自由研究(20ルール)③

マイクロストラテジー ビジュアルインサイト

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

自由研究(20ルール)④

Mahoutを利用したレコメンドエンジンの開発

データ活用推進を阻む大きな壁データ活用の需要と供給

供給 需要 < 供給 需要 >

システム データ活用リテラシー < システム データ活用リテラシー >

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

ビックデータ活用を支える基盤と今後の展開

E-Commerce

EC事業

ゴルフ場予約事業

OLAP分析

GBDP

ゴルフ場営業 サポート

会員分析

KPIマネジメント

予実管理

ゴルフ場向 営業支援帳票

BI Platform

MD分析 プラットフォーム

受注発注分析

在庫欠品分析

社外データ

ゴルフ場予約

連携システム

会員管理

ERP

スコア管理

ワークフロー

広告営業管理

GDOサイト

統合レコメンドエンジン

Digital Marketing Platform

統計解析

IBM SPSS R

DWH

DWH Platform

ETL

Data Stage

ログ解析システム

アクセス ログデータ

Hadoop Platform

HDFS

Hive

インバウンドマーケティング

アウトバウンドマーケティング

顧客抽出ツール(Seve)

キャンペーンマネージメントシステム

会員属性と連携した広告配信システム

広告配信システム

ECショッピングモール (Google Shopping)

マーケティングオートメーション(2013年11月14日時点)

Amazon Web Service Amazon VPC(Virtual Private Cloud)

プライベートサブネット

GDO社内

キャンペーン マネージメント

スレーブノード (m1large) times3(Datanode)

Amazon EC2

アクセス ログデータ

ログ解析 システム

マスターノード(m1large) times3台(ClientActiveStandby)

Standby (EC2)

NameNode JournalNode

HDFS (EBS) 500GB

HDFS (EBS) 500GB

DataNode TasKTracker

DataNode TaskTracker

(EC2)

HDFS (EBS) 500GB

DataNode TaskTracker

Active (EC2)

Client (EC2)

(EC2) (EC2)

Client JournalNode Hive

NameNode JournalNode

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

Hadoop システム構成

Hadoop + Hive

なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった

② タダ(無料)だから

③ 使ってみたかった

Hadoopを利用してみて分かったこと

意外と安定している

HiveQLには制限は少ない(SELECT)

開発生産性は高い

クラウドなのでスケールアウトはとっても簡単いろんな意味で

更新削除は出来ない

レスポンスは遅い

Hadoop + Hive のベストプラクティス

バッチ処理

R2AD Responsys Ignision One

DWH Seve

基幹システム

WEB ログシステム

Rtoaster

リスティングディスプレイリマーケティング メール レコメンド

LPO

顧客抽出

ログレスポンスデータ

トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある

DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)

お客様の行動に合わせた高度なマーケティングを実行するためには

Ad CRM

DWH

RI Rtoas

ter

R2AD iOne

基幹 システム

WEB ログシステム

データの集中と相互利用

今後のデジタルマーケティング時代に求められるDWH

製品選定

GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける

② 移行性を重視する

③ 当然ですが最小の費用で最大の効果を

ご清聴ありがとうございました

Page 23: [C11] ビックデータ×マーケティング 進化するディジタルマーケティングを支えるビックデータ活用基盤 by Takatomo Kamatsu

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Seve(メルマガターゲティングツール)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Phil(サイト来訪者分析ツール)

会員情報 times アクセスログ アクセスログ(サイト閲覧履歴)から会員情報(性別年代)を分析

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Phil(サイト来訪者分析ツール)

値下げお知らせメール

今日からセールになる商品を『直近1週間に閲覧』し『直近1ヶ月以内にその商品を購入していない』お客様に対してセールになった事を伝えるメールを配信

CTR(来訪率) 約25~30 レギュラーメール 2~25

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

サイト利用

マーケティングシステム連携

広告配信システム(DSP) (リターゲティング広告)

レコメンドエンジン (自社サイトパーソナライズ)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

データ活用を進めるための3つのポイント

進化のための安定

進化のための安定

進化のための安定

DWH起因 他システム起因 サービス停止

2012年1月 5 5 0

2012年2月 2 5 3

2012年3月 4 1 2

2012年4月 1 1 0

2012年5月 4 1 0

2012年6月 3 4 0

2012年7月 1 6 1

2012年8月 1 3 1

2012年9月 1 2 0

2012年10月 3 0 1

2012年11月 1 1 1

2012年12月 3 3 1

2013年1月 2 1 0

2013年2月 1 1 0

2013年3月 1 2 1

2013年4月 1 1 1

2013年5月 0 2 2

2013年6月 2 2 1

合計 36 41 15

DWH起因の障害原因 バグ

人的ミス

OSミドルウェア障害

他システム起因の障害原因

データ連携遅延

他システム連携エラー(API)

データ不備

東京都

千葉県 (33633) 神奈川県

(7422)

茨城県 (15654)

栃木県 (12026)

群馬県 (7124)

埼玉県 (15028)

静岡県

15800

16955

2990 19498

34817

8739

2058

38330

21772

21067

16634

自由研究(20ルール)①

会員居住地と予約されたゴルフ場の場所(関東地方編)

予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか

自由研究(20ルール)②

EC 商品ジャンル別のクラスタリング分析 (R)

自由研究(20ルール)③

マイクロストラテジー ビジュアルインサイト

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

自由研究(20ルール)④

Mahoutを利用したレコメンドエンジンの開発

データ活用推進を阻む大きな壁データ活用の需要と供給

供給 需要 < 供給 需要 >

システム データ活用リテラシー < システム データ活用リテラシー >

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

ビックデータ活用を支える基盤と今後の展開

E-Commerce

EC事業

ゴルフ場予約事業

OLAP分析

GBDP

ゴルフ場営業 サポート

会員分析

KPIマネジメント

予実管理

ゴルフ場向 営業支援帳票

BI Platform

MD分析 プラットフォーム

受注発注分析

在庫欠品分析

社外データ

ゴルフ場予約

連携システム

会員管理

ERP

スコア管理

ワークフロー

広告営業管理

GDOサイト

統合レコメンドエンジン

Digital Marketing Platform

統計解析

IBM SPSS R

DWH

DWH Platform

ETL

Data Stage

ログ解析システム

アクセス ログデータ

Hadoop Platform

HDFS

Hive

インバウンドマーケティング

アウトバウンドマーケティング

顧客抽出ツール(Seve)

キャンペーンマネージメントシステム

会員属性と連携した広告配信システム

広告配信システム

ECショッピングモール (Google Shopping)

マーケティングオートメーション(2013年11月14日時点)

Amazon Web Service Amazon VPC(Virtual Private Cloud)

プライベートサブネット

GDO社内

キャンペーン マネージメント

スレーブノード (m1large) times3(Datanode)

Amazon EC2

アクセス ログデータ

ログ解析 システム

マスターノード(m1large) times3台(ClientActiveStandby)

Standby (EC2)

NameNode JournalNode

HDFS (EBS) 500GB

HDFS (EBS) 500GB

DataNode TasKTracker

DataNode TaskTracker

(EC2)

HDFS (EBS) 500GB

DataNode TaskTracker

Active (EC2)

Client (EC2)

(EC2) (EC2)

Client JournalNode Hive

NameNode JournalNode

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

Hadoop システム構成

Hadoop + Hive

なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった

② タダ(無料)だから

③ 使ってみたかった

Hadoopを利用してみて分かったこと

意外と安定している

HiveQLには制限は少ない(SELECT)

開発生産性は高い

クラウドなのでスケールアウトはとっても簡単いろんな意味で

更新削除は出来ない

レスポンスは遅い

Hadoop + Hive のベストプラクティス

バッチ処理

R2AD Responsys Ignision One

DWH Seve

基幹システム

WEB ログシステム

Rtoaster

リスティングディスプレイリマーケティング メール レコメンド

LPO

顧客抽出

ログレスポンスデータ

トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある

DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)

お客様の行動に合わせた高度なマーケティングを実行するためには

Ad CRM

DWH

RI Rtoas

ter

R2AD iOne

基幹 システム

WEB ログシステム

データの集中と相互利用

今後のデジタルマーケティング時代に求められるDWH

製品選定

GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける

② 移行性を重視する

③ 当然ですが最小の費用で最大の効果を

ご清聴ありがとうございました

Page 24: [C11] ビックデータ×マーケティング 進化するディジタルマーケティングを支えるビックデータ活用基盤 by Takatomo Kamatsu

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Phil(サイト来訪者分析ツール)

会員情報 times アクセスログ アクセスログ(サイト閲覧履歴)から会員情報(性別年代)を分析

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Phil(サイト来訪者分析ツール)

値下げお知らせメール

今日からセールになる商品を『直近1週間に閲覧』し『直近1ヶ月以内にその商品を購入していない』お客様に対してセールになった事を伝えるメールを配信

CTR(来訪率) 約25~30 レギュラーメール 2~25

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

サイト利用

マーケティングシステム連携

広告配信システム(DSP) (リターゲティング広告)

レコメンドエンジン (自社サイトパーソナライズ)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

データ活用を進めるための3つのポイント

進化のための安定

進化のための安定

進化のための安定

DWH起因 他システム起因 サービス停止

2012年1月 5 5 0

2012年2月 2 5 3

2012年3月 4 1 2

2012年4月 1 1 0

2012年5月 4 1 0

2012年6月 3 4 0

2012年7月 1 6 1

2012年8月 1 3 1

2012年9月 1 2 0

2012年10月 3 0 1

2012年11月 1 1 1

2012年12月 3 3 1

2013年1月 2 1 0

2013年2月 1 1 0

2013年3月 1 2 1

2013年4月 1 1 1

2013年5月 0 2 2

2013年6月 2 2 1

合計 36 41 15

DWH起因の障害原因 バグ

人的ミス

OSミドルウェア障害

他システム起因の障害原因

データ連携遅延

他システム連携エラー(API)

データ不備

東京都

千葉県 (33633) 神奈川県

(7422)

茨城県 (15654)

栃木県 (12026)

群馬県 (7124)

埼玉県 (15028)

静岡県

15800

16955

2990 19498

34817

8739

2058

38330

21772

21067

16634

自由研究(20ルール)①

会員居住地と予約されたゴルフ場の場所(関東地方編)

予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか

自由研究(20ルール)②

EC 商品ジャンル別のクラスタリング分析 (R)

自由研究(20ルール)③

マイクロストラテジー ビジュアルインサイト

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

自由研究(20ルール)④

Mahoutを利用したレコメンドエンジンの開発

データ活用推進を阻む大きな壁データ活用の需要と供給

供給 需要 < 供給 需要 >

システム データ活用リテラシー < システム データ活用リテラシー >

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

ビックデータ活用を支える基盤と今後の展開

E-Commerce

EC事業

ゴルフ場予約事業

OLAP分析

GBDP

ゴルフ場営業 サポート

会員分析

KPIマネジメント

予実管理

ゴルフ場向 営業支援帳票

BI Platform

MD分析 プラットフォーム

受注発注分析

在庫欠品分析

社外データ

ゴルフ場予約

連携システム

会員管理

ERP

スコア管理

ワークフロー

広告営業管理

GDOサイト

統合レコメンドエンジン

Digital Marketing Platform

統計解析

IBM SPSS R

DWH

DWH Platform

ETL

Data Stage

ログ解析システム

アクセス ログデータ

Hadoop Platform

HDFS

Hive

インバウンドマーケティング

アウトバウンドマーケティング

顧客抽出ツール(Seve)

キャンペーンマネージメントシステム

会員属性と連携した広告配信システム

広告配信システム

ECショッピングモール (Google Shopping)

マーケティングオートメーション(2013年11月14日時点)

Amazon Web Service Amazon VPC(Virtual Private Cloud)

プライベートサブネット

GDO社内

キャンペーン マネージメント

スレーブノード (m1large) times3(Datanode)

Amazon EC2

アクセス ログデータ

ログ解析 システム

マスターノード(m1large) times3台(ClientActiveStandby)

Standby (EC2)

NameNode JournalNode

HDFS (EBS) 500GB

HDFS (EBS) 500GB

DataNode TasKTracker

DataNode TaskTracker

(EC2)

HDFS (EBS) 500GB

DataNode TaskTracker

Active (EC2)

Client (EC2)

(EC2) (EC2)

Client JournalNode Hive

NameNode JournalNode

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

Hadoop システム構成

Hadoop + Hive

なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった

② タダ(無料)だから

③ 使ってみたかった

Hadoopを利用してみて分かったこと

意外と安定している

HiveQLには制限は少ない(SELECT)

開発生産性は高い

クラウドなのでスケールアウトはとっても簡単いろんな意味で

更新削除は出来ない

レスポンスは遅い

Hadoop + Hive のベストプラクティス

バッチ処理

R2AD Responsys Ignision One

DWH Seve

基幹システム

WEB ログシステム

Rtoaster

リスティングディスプレイリマーケティング メール レコメンド

LPO

顧客抽出

ログレスポンスデータ

トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある

DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)

お客様の行動に合わせた高度なマーケティングを実行するためには

Ad CRM

DWH

RI Rtoas

ter

R2AD iOne

基幹 システム

WEB ログシステム

データの集中と相互利用

今後のデジタルマーケティング時代に求められるDWH

製品選定

GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける

② 移行性を重視する

③ 当然ですが最小の費用で最大の効果を

ご清聴ありがとうございました

Page 25: [C11] ビックデータ×マーケティング 進化するディジタルマーケティングを支えるビックデータ活用基盤 by Takatomo Kamatsu

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

Phil(サイト来訪者分析ツール)

値下げお知らせメール

今日からセールになる商品を『直近1週間に閲覧』し『直近1ヶ月以内にその商品を購入していない』お客様に対してセールになった事を伝えるメールを配信

CTR(来訪率) 約25~30 レギュラーメール 2~25

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

サイト利用

マーケティングシステム連携

広告配信システム(DSP) (リターゲティング広告)

レコメンドエンジン (自社サイトパーソナライズ)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

データ活用を進めるための3つのポイント

進化のための安定

進化のための安定

進化のための安定

DWH起因 他システム起因 サービス停止

2012年1月 5 5 0

2012年2月 2 5 3

2012年3月 4 1 2

2012年4月 1 1 0

2012年5月 4 1 0

2012年6月 3 4 0

2012年7月 1 6 1

2012年8月 1 3 1

2012年9月 1 2 0

2012年10月 3 0 1

2012年11月 1 1 1

2012年12月 3 3 1

2013年1月 2 1 0

2013年2月 1 1 0

2013年3月 1 2 1

2013年4月 1 1 1

2013年5月 0 2 2

2013年6月 2 2 1

合計 36 41 15

DWH起因の障害原因 バグ

人的ミス

OSミドルウェア障害

他システム起因の障害原因

データ連携遅延

他システム連携エラー(API)

データ不備

東京都

千葉県 (33633) 神奈川県

(7422)

茨城県 (15654)

栃木県 (12026)

群馬県 (7124)

埼玉県 (15028)

静岡県

15800

16955

2990 19498

34817

8739

2058

38330

21772

21067

16634

自由研究(20ルール)①

会員居住地と予約されたゴルフ場の場所(関東地方編)

予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか

自由研究(20ルール)②

EC 商品ジャンル別のクラスタリング分析 (R)

自由研究(20ルール)③

マイクロストラテジー ビジュアルインサイト

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

自由研究(20ルール)④

Mahoutを利用したレコメンドエンジンの開発

データ活用推進を阻む大きな壁データ活用の需要と供給

供給 需要 < 供給 需要 >

システム データ活用リテラシー < システム データ活用リテラシー >

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

ビックデータ活用を支える基盤と今後の展開

E-Commerce

EC事業

ゴルフ場予約事業

OLAP分析

GBDP

ゴルフ場営業 サポート

会員分析

KPIマネジメント

予実管理

ゴルフ場向 営業支援帳票

BI Platform

MD分析 プラットフォーム

受注発注分析

在庫欠品分析

社外データ

ゴルフ場予約

連携システム

会員管理

ERP

スコア管理

ワークフロー

広告営業管理

GDOサイト

統合レコメンドエンジン

Digital Marketing Platform

統計解析

IBM SPSS R

DWH

DWH Platform

ETL

Data Stage

ログ解析システム

アクセス ログデータ

Hadoop Platform

HDFS

Hive

インバウンドマーケティング

アウトバウンドマーケティング

顧客抽出ツール(Seve)

キャンペーンマネージメントシステム

会員属性と連携した広告配信システム

広告配信システム

ECショッピングモール (Google Shopping)

マーケティングオートメーション(2013年11月14日時点)

Amazon Web Service Amazon VPC(Virtual Private Cloud)

プライベートサブネット

GDO社内

キャンペーン マネージメント

スレーブノード (m1large) times3(Datanode)

Amazon EC2

アクセス ログデータ

ログ解析 システム

マスターノード(m1large) times3台(ClientActiveStandby)

Standby (EC2)

NameNode JournalNode

HDFS (EBS) 500GB

HDFS (EBS) 500GB

DataNode TasKTracker

DataNode TaskTracker

(EC2)

HDFS (EBS) 500GB

DataNode TaskTracker

Active (EC2)

Client (EC2)

(EC2) (EC2)

Client JournalNode Hive

NameNode JournalNode

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

Hadoop システム構成

Hadoop + Hive

なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった

② タダ(無料)だから

③ 使ってみたかった

Hadoopを利用してみて分かったこと

意外と安定している

HiveQLには制限は少ない(SELECT)

開発生産性は高い

クラウドなのでスケールアウトはとっても簡単いろんな意味で

更新削除は出来ない

レスポンスは遅い

Hadoop + Hive のベストプラクティス

バッチ処理

R2AD Responsys Ignision One

DWH Seve

基幹システム

WEB ログシステム

Rtoaster

リスティングディスプレイリマーケティング メール レコメンド

LPO

顧客抽出

ログレスポンスデータ

トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある

DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)

お客様の行動に合わせた高度なマーケティングを実行するためには

Ad CRM

DWH

RI Rtoas

ter

R2AD iOne

基幹 システム

WEB ログシステム

データの集中と相互利用

今後のデジタルマーケティング時代に求められるDWH

製品選定

GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける

② 移行性を重視する

③ 当然ですが最小の費用で最大の効果を

ご清聴ありがとうございました

Page 26: [C11] ビックデータ×マーケティング 進化するディジタルマーケティングを支えるビックデータ活用基盤 by Takatomo Kamatsu

値下げお知らせメール

今日からセールになる商品を『直近1週間に閲覧』し『直近1ヶ月以内にその商品を購入していない』お客様に対してセールになった事を伝えるメールを配信

CTR(来訪率) 約25~30 レギュラーメール 2~25

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

サイト利用

マーケティングシステム連携

広告配信システム(DSP) (リターゲティング広告)

レコメンドエンジン (自社サイトパーソナライズ)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

データ活用を進めるための3つのポイント

進化のための安定

進化のための安定

進化のための安定

DWH起因 他システム起因 サービス停止

2012年1月 5 5 0

2012年2月 2 5 3

2012年3月 4 1 2

2012年4月 1 1 0

2012年5月 4 1 0

2012年6月 3 4 0

2012年7月 1 6 1

2012年8月 1 3 1

2012年9月 1 2 0

2012年10月 3 0 1

2012年11月 1 1 1

2012年12月 3 3 1

2013年1月 2 1 0

2013年2月 1 1 0

2013年3月 1 2 1

2013年4月 1 1 1

2013年5月 0 2 2

2013年6月 2 2 1

合計 36 41 15

DWH起因の障害原因 バグ

人的ミス

OSミドルウェア障害

他システム起因の障害原因

データ連携遅延

他システム連携エラー(API)

データ不備

東京都

千葉県 (33633) 神奈川県

(7422)

茨城県 (15654)

栃木県 (12026)

群馬県 (7124)

埼玉県 (15028)

静岡県

15800

16955

2990 19498

34817

8739

2058

38330

21772

21067

16634

自由研究(20ルール)①

会員居住地と予約されたゴルフ場の場所(関東地方編)

予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか

自由研究(20ルール)②

EC 商品ジャンル別のクラスタリング分析 (R)

自由研究(20ルール)③

マイクロストラテジー ビジュアルインサイト

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

自由研究(20ルール)④

Mahoutを利用したレコメンドエンジンの開発

データ活用推進を阻む大きな壁データ活用の需要と供給

供給 需要 < 供給 需要 >

システム データ活用リテラシー < システム データ活用リテラシー >

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

ビックデータ活用を支える基盤と今後の展開

E-Commerce

EC事業

ゴルフ場予約事業

OLAP分析

GBDP

ゴルフ場営業 サポート

会員分析

KPIマネジメント

予実管理

ゴルフ場向 営業支援帳票

BI Platform

MD分析 プラットフォーム

受注発注分析

在庫欠品分析

社外データ

ゴルフ場予約

連携システム

会員管理

ERP

スコア管理

ワークフロー

広告営業管理

GDOサイト

統合レコメンドエンジン

Digital Marketing Platform

統計解析

IBM SPSS R

DWH

DWH Platform

ETL

Data Stage

ログ解析システム

アクセス ログデータ

Hadoop Platform

HDFS

Hive

インバウンドマーケティング

アウトバウンドマーケティング

顧客抽出ツール(Seve)

キャンペーンマネージメントシステム

会員属性と連携した広告配信システム

広告配信システム

ECショッピングモール (Google Shopping)

マーケティングオートメーション(2013年11月14日時点)

Amazon Web Service Amazon VPC(Virtual Private Cloud)

プライベートサブネット

GDO社内

キャンペーン マネージメント

スレーブノード (m1large) times3(Datanode)

Amazon EC2

アクセス ログデータ

ログ解析 システム

マスターノード(m1large) times3台(ClientActiveStandby)

Standby (EC2)

NameNode JournalNode

HDFS (EBS) 500GB

HDFS (EBS) 500GB

DataNode TasKTracker

DataNode TaskTracker

(EC2)

HDFS (EBS) 500GB

DataNode TaskTracker

Active (EC2)

Client (EC2)

(EC2) (EC2)

Client JournalNode Hive

NameNode JournalNode

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

Hadoop システム構成

Hadoop + Hive

なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった

② タダ(無料)だから

③ 使ってみたかった

Hadoopを利用してみて分かったこと

意外と安定している

HiveQLには制限は少ない(SELECT)

開発生産性は高い

クラウドなのでスケールアウトはとっても簡単いろんな意味で

更新削除は出来ない

レスポンスは遅い

Hadoop + Hive のベストプラクティス

バッチ処理

R2AD Responsys Ignision One

DWH Seve

基幹システム

WEB ログシステム

Rtoaster

リスティングディスプレイリマーケティング メール レコメンド

LPO

顧客抽出

ログレスポンスデータ

トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある

DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)

お客様の行動に合わせた高度なマーケティングを実行するためには

Ad CRM

DWH

RI Rtoas

ter

R2AD iOne

基幹 システム

WEB ログシステム

データの集中と相互利用

今後のデジタルマーケティング時代に求められるDWH

製品選定

GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける

② 移行性を重視する

③ 当然ですが最小の費用で最大の効果を

ご清聴ありがとうございました

Page 27: [C11] ビックデータ×マーケティング 進化するディジタルマーケティングを支えるビックデータ活用基盤 by Takatomo Kamatsu

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

サイト利用

マーケティングシステム連携

広告配信システム(DSP) (リターゲティング広告)

レコメンドエンジン (自社サイトパーソナライズ)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

データ活用を進めるための3つのポイント

進化のための安定

進化のための安定

進化のための安定

DWH起因 他システム起因 サービス停止

2012年1月 5 5 0

2012年2月 2 5 3

2012年3月 4 1 2

2012年4月 1 1 0

2012年5月 4 1 0

2012年6月 3 4 0

2012年7月 1 6 1

2012年8月 1 3 1

2012年9月 1 2 0

2012年10月 3 0 1

2012年11月 1 1 1

2012年12月 3 3 1

2013年1月 2 1 0

2013年2月 1 1 0

2013年3月 1 2 1

2013年4月 1 1 1

2013年5月 0 2 2

2013年6月 2 2 1

合計 36 41 15

DWH起因の障害原因 バグ

人的ミス

OSミドルウェア障害

他システム起因の障害原因

データ連携遅延

他システム連携エラー(API)

データ不備

東京都

千葉県 (33633) 神奈川県

(7422)

茨城県 (15654)

栃木県 (12026)

群馬県 (7124)

埼玉県 (15028)

静岡県

15800

16955

2990 19498

34817

8739

2058

38330

21772

21067

16634

自由研究(20ルール)①

会員居住地と予約されたゴルフ場の場所(関東地方編)

予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか

自由研究(20ルール)②

EC 商品ジャンル別のクラスタリング分析 (R)

自由研究(20ルール)③

マイクロストラテジー ビジュアルインサイト

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

自由研究(20ルール)④

Mahoutを利用したレコメンドエンジンの開発

データ活用推進を阻む大きな壁データ活用の需要と供給

供給 需要 < 供給 需要 >

システム データ活用リテラシー < システム データ活用リテラシー >

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

ビックデータ活用を支える基盤と今後の展開

E-Commerce

EC事業

ゴルフ場予約事業

OLAP分析

GBDP

ゴルフ場営業 サポート

会員分析

KPIマネジメント

予実管理

ゴルフ場向 営業支援帳票

BI Platform

MD分析 プラットフォーム

受注発注分析

在庫欠品分析

社外データ

ゴルフ場予約

連携システム

会員管理

ERP

スコア管理

ワークフロー

広告営業管理

GDOサイト

統合レコメンドエンジン

Digital Marketing Platform

統計解析

IBM SPSS R

DWH

DWH Platform

ETL

Data Stage

ログ解析システム

アクセス ログデータ

Hadoop Platform

HDFS

Hive

インバウンドマーケティング

アウトバウンドマーケティング

顧客抽出ツール(Seve)

キャンペーンマネージメントシステム

会員属性と連携した広告配信システム

広告配信システム

ECショッピングモール (Google Shopping)

マーケティングオートメーション(2013年11月14日時点)

Amazon Web Service Amazon VPC(Virtual Private Cloud)

プライベートサブネット

GDO社内

キャンペーン マネージメント

スレーブノード (m1large) times3(Datanode)

Amazon EC2

アクセス ログデータ

ログ解析 システム

マスターノード(m1large) times3台(ClientActiveStandby)

Standby (EC2)

NameNode JournalNode

HDFS (EBS) 500GB

HDFS (EBS) 500GB

DataNode TasKTracker

DataNode TaskTracker

(EC2)

HDFS (EBS) 500GB

DataNode TaskTracker

Active (EC2)

Client (EC2)

(EC2) (EC2)

Client JournalNode Hive

NameNode JournalNode

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

Hadoop システム構成

Hadoop + Hive

なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった

② タダ(無料)だから

③ 使ってみたかった

Hadoopを利用してみて分かったこと

意外と安定している

HiveQLには制限は少ない(SELECT)

開発生産性は高い

クラウドなのでスケールアウトはとっても簡単いろんな意味で

更新削除は出来ない

レスポンスは遅い

Hadoop + Hive のベストプラクティス

バッチ処理

R2AD Responsys Ignision One

DWH Seve

基幹システム

WEB ログシステム

Rtoaster

リスティングディスプレイリマーケティング メール レコメンド

LPO

顧客抽出

ログレスポンスデータ

トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある

DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)

お客様の行動に合わせた高度なマーケティングを実行するためには

Ad CRM

DWH

RI Rtoas

ter

R2AD iOne

基幹 システム

WEB ログシステム

データの集中と相互利用

今後のデジタルマーケティング時代に求められるDWH

製品選定

GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける

② 移行性を重視する

③ 当然ですが最小の費用で最大の効果を

ご清聴ありがとうございました

Page 28: [C11] ビックデータ×マーケティング 進化するディジタルマーケティングを支えるビックデータ活用基盤 by Takatomo Kamatsu

マーケティングシステム連携

広告配信システム(DSP) (リターゲティング広告)

レコメンドエンジン (自社サイトパーソナライズ)

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

データ活用を進めるための3つのポイント

進化のための安定

進化のための安定

進化のための安定

DWH起因 他システム起因 サービス停止

2012年1月 5 5 0

2012年2月 2 5 3

2012年3月 4 1 2

2012年4月 1 1 0

2012年5月 4 1 0

2012年6月 3 4 0

2012年7月 1 6 1

2012年8月 1 3 1

2012年9月 1 2 0

2012年10月 3 0 1

2012年11月 1 1 1

2012年12月 3 3 1

2013年1月 2 1 0

2013年2月 1 1 0

2013年3月 1 2 1

2013年4月 1 1 1

2013年5月 0 2 2

2013年6月 2 2 1

合計 36 41 15

DWH起因の障害原因 バグ

人的ミス

OSミドルウェア障害

他システム起因の障害原因

データ連携遅延

他システム連携エラー(API)

データ不備

東京都

千葉県 (33633) 神奈川県

(7422)

茨城県 (15654)

栃木県 (12026)

群馬県 (7124)

埼玉県 (15028)

静岡県

15800

16955

2990 19498

34817

8739

2058

38330

21772

21067

16634

自由研究(20ルール)①

会員居住地と予約されたゴルフ場の場所(関東地方編)

予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか

自由研究(20ルール)②

EC 商品ジャンル別のクラスタリング分析 (R)

自由研究(20ルール)③

マイクロストラテジー ビジュアルインサイト

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

自由研究(20ルール)④

Mahoutを利用したレコメンドエンジンの開発

データ活用推進を阻む大きな壁データ活用の需要と供給

供給 需要 < 供給 需要 >

システム データ活用リテラシー < システム データ活用リテラシー >

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

ビックデータ活用を支える基盤と今後の展開

E-Commerce

EC事業

ゴルフ場予約事業

OLAP分析

GBDP

ゴルフ場営業 サポート

会員分析

KPIマネジメント

予実管理

ゴルフ場向 営業支援帳票

BI Platform

MD分析 プラットフォーム

受注発注分析

在庫欠品分析

社外データ

ゴルフ場予約

連携システム

会員管理

ERP

スコア管理

ワークフロー

広告営業管理

GDOサイト

統合レコメンドエンジン

Digital Marketing Platform

統計解析

IBM SPSS R

DWH

DWH Platform

ETL

Data Stage

ログ解析システム

アクセス ログデータ

Hadoop Platform

HDFS

Hive

インバウンドマーケティング

アウトバウンドマーケティング

顧客抽出ツール(Seve)

キャンペーンマネージメントシステム

会員属性と連携した広告配信システム

広告配信システム

ECショッピングモール (Google Shopping)

マーケティングオートメーション(2013年11月14日時点)

Amazon Web Service Amazon VPC(Virtual Private Cloud)

プライベートサブネット

GDO社内

キャンペーン マネージメント

スレーブノード (m1large) times3(Datanode)

Amazon EC2

アクセス ログデータ

ログ解析 システム

マスターノード(m1large) times3台(ClientActiveStandby)

Standby (EC2)

NameNode JournalNode

HDFS (EBS) 500GB

HDFS (EBS) 500GB

DataNode TasKTracker

DataNode TaskTracker

(EC2)

HDFS (EBS) 500GB

DataNode TaskTracker

Active (EC2)

Client (EC2)

(EC2) (EC2)

Client JournalNode Hive

NameNode JournalNode

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

Hadoop システム構成

Hadoop + Hive

なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった

② タダ(無料)だから

③ 使ってみたかった

Hadoopを利用してみて分かったこと

意外と安定している

HiveQLには制限は少ない(SELECT)

開発生産性は高い

クラウドなのでスケールアウトはとっても簡単いろんな意味で

更新削除は出来ない

レスポンスは遅い

Hadoop + Hive のベストプラクティス

バッチ処理

R2AD Responsys Ignision One

DWH Seve

基幹システム

WEB ログシステム

Rtoaster

リスティングディスプレイリマーケティング メール レコメンド

LPO

顧客抽出

ログレスポンスデータ

トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある

DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)

お客様の行動に合わせた高度なマーケティングを実行するためには

Ad CRM

DWH

RI Rtoas

ter

R2AD iOne

基幹 システム

WEB ログシステム

データの集中と相互利用

今後のデジタルマーケティング時代に求められるDWH

製品選定

GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける

② 移行性を重視する

③ 当然ですが最小の費用で最大の効果を

ご清聴ありがとうございました

Page 29: [C11] ビックデータ×マーケティング 進化するディジタルマーケティングを支えるビックデータ活用基盤 by Takatomo Kamatsu

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

データ活用を進めるための3つのポイント

進化のための安定

進化のための安定

進化のための安定

DWH起因 他システム起因 サービス停止

2012年1月 5 5 0

2012年2月 2 5 3

2012年3月 4 1 2

2012年4月 1 1 0

2012年5月 4 1 0

2012年6月 3 4 0

2012年7月 1 6 1

2012年8月 1 3 1

2012年9月 1 2 0

2012年10月 3 0 1

2012年11月 1 1 1

2012年12月 3 3 1

2013年1月 2 1 0

2013年2月 1 1 0

2013年3月 1 2 1

2013年4月 1 1 1

2013年5月 0 2 2

2013年6月 2 2 1

合計 36 41 15

DWH起因の障害原因 バグ

人的ミス

OSミドルウェア障害

他システム起因の障害原因

データ連携遅延

他システム連携エラー(API)

データ不備

東京都

千葉県 (33633) 神奈川県

(7422)

茨城県 (15654)

栃木県 (12026)

群馬県 (7124)

埼玉県 (15028)

静岡県

15800

16955

2990 19498

34817

8739

2058

38330

21772

21067

16634

自由研究(20ルール)①

会員居住地と予約されたゴルフ場の場所(関東地方編)

予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか

自由研究(20ルール)②

EC 商品ジャンル別のクラスタリング分析 (R)

自由研究(20ルール)③

マイクロストラテジー ビジュアルインサイト

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

自由研究(20ルール)④

Mahoutを利用したレコメンドエンジンの開発

データ活用推進を阻む大きな壁データ活用の需要と供給

供給 需要 < 供給 需要 >

システム データ活用リテラシー < システム データ活用リテラシー >

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

ビックデータ活用を支える基盤と今後の展開

E-Commerce

EC事業

ゴルフ場予約事業

OLAP分析

GBDP

ゴルフ場営業 サポート

会員分析

KPIマネジメント

予実管理

ゴルフ場向 営業支援帳票

BI Platform

MD分析 プラットフォーム

受注発注分析

在庫欠品分析

社外データ

ゴルフ場予約

連携システム

会員管理

ERP

スコア管理

ワークフロー

広告営業管理

GDOサイト

統合レコメンドエンジン

Digital Marketing Platform

統計解析

IBM SPSS R

DWH

DWH Platform

ETL

Data Stage

ログ解析システム

アクセス ログデータ

Hadoop Platform

HDFS

Hive

インバウンドマーケティング

アウトバウンドマーケティング

顧客抽出ツール(Seve)

キャンペーンマネージメントシステム

会員属性と連携した広告配信システム

広告配信システム

ECショッピングモール (Google Shopping)

マーケティングオートメーション(2013年11月14日時点)

Amazon Web Service Amazon VPC(Virtual Private Cloud)

プライベートサブネット

GDO社内

キャンペーン マネージメント

スレーブノード (m1large) times3(Datanode)

Amazon EC2

アクセス ログデータ

ログ解析 システム

マスターノード(m1large) times3台(ClientActiveStandby)

Standby (EC2)

NameNode JournalNode

HDFS (EBS) 500GB

HDFS (EBS) 500GB

DataNode TasKTracker

DataNode TaskTracker

(EC2)

HDFS (EBS) 500GB

DataNode TaskTracker

Active (EC2)

Client (EC2)

(EC2) (EC2)

Client JournalNode Hive

NameNode JournalNode

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

Hadoop システム構成

Hadoop + Hive

なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった

② タダ(無料)だから

③ 使ってみたかった

Hadoopを利用してみて分かったこと

意外と安定している

HiveQLには制限は少ない(SELECT)

開発生産性は高い

クラウドなのでスケールアウトはとっても簡単いろんな意味で

更新削除は出来ない

レスポンスは遅い

Hadoop + Hive のベストプラクティス

バッチ処理

R2AD Responsys Ignision One

DWH Seve

基幹システム

WEB ログシステム

Rtoaster

リスティングディスプレイリマーケティング メール レコメンド

LPO

顧客抽出

ログレスポンスデータ

トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある

DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)

お客様の行動に合わせた高度なマーケティングを実行するためには

Ad CRM

DWH

RI Rtoas

ter

R2AD iOne

基幹 システム

WEB ログシステム

データの集中と相互利用

今後のデジタルマーケティング時代に求められるDWH

製品選定

GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける

② 移行性を重視する

③ 当然ですが最小の費用で最大の効果を

ご清聴ありがとうございました

Page 30: [C11] ビックデータ×マーケティング 進化するディジタルマーケティングを支えるビックデータ活用基盤 by Takatomo Kamatsu

進化のための安定

進化のための安定

進化のための安定

DWH起因 他システム起因 サービス停止

2012年1月 5 5 0

2012年2月 2 5 3

2012年3月 4 1 2

2012年4月 1 1 0

2012年5月 4 1 0

2012年6月 3 4 0

2012年7月 1 6 1

2012年8月 1 3 1

2012年9月 1 2 0

2012年10月 3 0 1

2012年11月 1 1 1

2012年12月 3 3 1

2013年1月 2 1 0

2013年2月 1 1 0

2013年3月 1 2 1

2013年4月 1 1 1

2013年5月 0 2 2

2013年6月 2 2 1

合計 36 41 15

DWH起因の障害原因 バグ

人的ミス

OSミドルウェア障害

他システム起因の障害原因

データ連携遅延

他システム連携エラー(API)

データ不備

東京都

千葉県 (33633) 神奈川県

(7422)

茨城県 (15654)

栃木県 (12026)

群馬県 (7124)

埼玉県 (15028)

静岡県

15800

16955

2990 19498

34817

8739

2058

38330

21772

21067

16634

自由研究(20ルール)①

会員居住地と予約されたゴルフ場の場所(関東地方編)

予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか

自由研究(20ルール)②

EC 商品ジャンル別のクラスタリング分析 (R)

自由研究(20ルール)③

マイクロストラテジー ビジュアルインサイト

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

自由研究(20ルール)④

Mahoutを利用したレコメンドエンジンの開発

データ活用推進を阻む大きな壁データ活用の需要と供給

供給 需要 < 供給 需要 >

システム データ活用リテラシー < システム データ活用リテラシー >

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

ビックデータ活用を支える基盤と今後の展開

E-Commerce

EC事業

ゴルフ場予約事業

OLAP分析

GBDP

ゴルフ場営業 サポート

会員分析

KPIマネジメント

予実管理

ゴルフ場向 営業支援帳票

BI Platform

MD分析 プラットフォーム

受注発注分析

在庫欠品分析

社外データ

ゴルフ場予約

連携システム

会員管理

ERP

スコア管理

ワークフロー

広告営業管理

GDOサイト

統合レコメンドエンジン

Digital Marketing Platform

統計解析

IBM SPSS R

DWH

DWH Platform

ETL

Data Stage

ログ解析システム

アクセス ログデータ

Hadoop Platform

HDFS

Hive

インバウンドマーケティング

アウトバウンドマーケティング

顧客抽出ツール(Seve)

キャンペーンマネージメントシステム

会員属性と連携した広告配信システム

広告配信システム

ECショッピングモール (Google Shopping)

マーケティングオートメーション(2013年11月14日時点)

Amazon Web Service Amazon VPC(Virtual Private Cloud)

プライベートサブネット

GDO社内

キャンペーン マネージメント

スレーブノード (m1large) times3(Datanode)

Amazon EC2

アクセス ログデータ

ログ解析 システム

マスターノード(m1large) times3台(ClientActiveStandby)

Standby (EC2)

NameNode JournalNode

HDFS (EBS) 500GB

HDFS (EBS) 500GB

DataNode TasKTracker

DataNode TaskTracker

(EC2)

HDFS (EBS) 500GB

DataNode TaskTracker

Active (EC2)

Client (EC2)

(EC2) (EC2)

Client JournalNode Hive

NameNode JournalNode

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

Hadoop システム構成

Hadoop + Hive

なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった

② タダ(無料)だから

③ 使ってみたかった

Hadoopを利用してみて分かったこと

意外と安定している

HiveQLには制限は少ない(SELECT)

開発生産性は高い

クラウドなのでスケールアウトはとっても簡単いろんな意味で

更新削除は出来ない

レスポンスは遅い

Hadoop + Hive のベストプラクティス

バッチ処理

R2AD Responsys Ignision One

DWH Seve

基幹システム

WEB ログシステム

Rtoaster

リスティングディスプレイリマーケティング メール レコメンド

LPO

顧客抽出

ログレスポンスデータ

トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある

DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)

お客様の行動に合わせた高度なマーケティングを実行するためには

Ad CRM

DWH

RI Rtoas

ter

R2AD iOne

基幹 システム

WEB ログシステム

データの集中と相互利用

今後のデジタルマーケティング時代に求められるDWH

製品選定

GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける

② 移行性を重視する

③ 当然ですが最小の費用で最大の効果を

ご清聴ありがとうございました

Page 31: [C11] ビックデータ×マーケティング 進化するディジタルマーケティングを支えるビックデータ活用基盤 by Takatomo Kamatsu

進化のための安定

進化のための安定

DWH起因 他システム起因 サービス停止

2012年1月 5 5 0

2012年2月 2 5 3

2012年3月 4 1 2

2012年4月 1 1 0

2012年5月 4 1 0

2012年6月 3 4 0

2012年7月 1 6 1

2012年8月 1 3 1

2012年9月 1 2 0

2012年10月 3 0 1

2012年11月 1 1 1

2012年12月 3 3 1

2013年1月 2 1 0

2013年2月 1 1 0

2013年3月 1 2 1

2013年4月 1 1 1

2013年5月 0 2 2

2013年6月 2 2 1

合計 36 41 15

DWH起因の障害原因 バグ

人的ミス

OSミドルウェア障害

他システム起因の障害原因

データ連携遅延

他システム連携エラー(API)

データ不備

東京都

千葉県 (33633) 神奈川県

(7422)

茨城県 (15654)

栃木県 (12026)

群馬県 (7124)

埼玉県 (15028)

静岡県

15800

16955

2990 19498

34817

8739

2058

38330

21772

21067

16634

自由研究(20ルール)①

会員居住地と予約されたゴルフ場の場所(関東地方編)

予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか

自由研究(20ルール)②

EC 商品ジャンル別のクラスタリング分析 (R)

自由研究(20ルール)③

マイクロストラテジー ビジュアルインサイト

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

自由研究(20ルール)④

Mahoutを利用したレコメンドエンジンの開発

データ活用推進を阻む大きな壁データ活用の需要と供給

供給 需要 < 供給 需要 >

システム データ活用リテラシー < システム データ活用リテラシー >

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

ビックデータ活用を支える基盤と今後の展開

E-Commerce

EC事業

ゴルフ場予約事業

OLAP分析

GBDP

ゴルフ場営業 サポート

会員分析

KPIマネジメント

予実管理

ゴルフ場向 営業支援帳票

BI Platform

MD分析 プラットフォーム

受注発注分析

在庫欠品分析

社外データ

ゴルフ場予約

連携システム

会員管理

ERP

スコア管理

ワークフロー

広告営業管理

GDOサイト

統合レコメンドエンジン

Digital Marketing Platform

統計解析

IBM SPSS R

DWH

DWH Platform

ETL

Data Stage

ログ解析システム

アクセス ログデータ

Hadoop Platform

HDFS

Hive

インバウンドマーケティング

アウトバウンドマーケティング

顧客抽出ツール(Seve)

キャンペーンマネージメントシステム

会員属性と連携した広告配信システム

広告配信システム

ECショッピングモール (Google Shopping)

マーケティングオートメーション(2013年11月14日時点)

Amazon Web Service Amazon VPC(Virtual Private Cloud)

プライベートサブネット

GDO社内

キャンペーン マネージメント

スレーブノード (m1large) times3(Datanode)

Amazon EC2

アクセス ログデータ

ログ解析 システム

マスターノード(m1large) times3台(ClientActiveStandby)

Standby (EC2)

NameNode JournalNode

HDFS (EBS) 500GB

HDFS (EBS) 500GB

DataNode TasKTracker

DataNode TaskTracker

(EC2)

HDFS (EBS) 500GB

DataNode TaskTracker

Active (EC2)

Client (EC2)

(EC2) (EC2)

Client JournalNode Hive

NameNode JournalNode

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

Hadoop システム構成

Hadoop + Hive

なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった

② タダ(無料)だから

③ 使ってみたかった

Hadoopを利用してみて分かったこと

意外と安定している

HiveQLには制限は少ない(SELECT)

開発生産性は高い

クラウドなのでスケールアウトはとっても簡単いろんな意味で

更新削除は出来ない

レスポンスは遅い

Hadoop + Hive のベストプラクティス

バッチ処理

R2AD Responsys Ignision One

DWH Seve

基幹システム

WEB ログシステム

Rtoaster

リスティングディスプレイリマーケティング メール レコメンド

LPO

顧客抽出

ログレスポンスデータ

トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある

DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)

お客様の行動に合わせた高度なマーケティングを実行するためには

Ad CRM

DWH

RI Rtoas

ter

R2AD iOne

基幹 システム

WEB ログシステム

データの集中と相互利用

今後のデジタルマーケティング時代に求められるDWH

製品選定

GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける

② 移行性を重視する

③ 当然ですが最小の費用で最大の効果を

ご清聴ありがとうございました

Page 32: [C11] ビックデータ×マーケティング 進化するディジタルマーケティングを支えるビックデータ活用基盤 by Takatomo Kamatsu

進化のための安定

DWH起因 他システム起因 サービス停止

2012年1月 5 5 0

2012年2月 2 5 3

2012年3月 4 1 2

2012年4月 1 1 0

2012年5月 4 1 0

2012年6月 3 4 0

2012年7月 1 6 1

2012年8月 1 3 1

2012年9月 1 2 0

2012年10月 3 0 1

2012年11月 1 1 1

2012年12月 3 3 1

2013年1月 2 1 0

2013年2月 1 1 0

2013年3月 1 2 1

2013年4月 1 1 1

2013年5月 0 2 2

2013年6月 2 2 1

合計 36 41 15

DWH起因の障害原因 バグ

人的ミス

OSミドルウェア障害

他システム起因の障害原因

データ連携遅延

他システム連携エラー(API)

データ不備

東京都

千葉県 (33633) 神奈川県

(7422)

茨城県 (15654)

栃木県 (12026)

群馬県 (7124)

埼玉県 (15028)

静岡県

15800

16955

2990 19498

34817

8739

2058

38330

21772

21067

16634

自由研究(20ルール)①

会員居住地と予約されたゴルフ場の場所(関東地方編)

予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか

自由研究(20ルール)②

EC 商品ジャンル別のクラスタリング分析 (R)

自由研究(20ルール)③

マイクロストラテジー ビジュアルインサイト

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

自由研究(20ルール)④

Mahoutを利用したレコメンドエンジンの開発

データ活用推進を阻む大きな壁データ活用の需要と供給

供給 需要 < 供給 需要 >

システム データ活用リテラシー < システム データ活用リテラシー >

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

ビックデータ活用を支える基盤と今後の展開

E-Commerce

EC事業

ゴルフ場予約事業

OLAP分析

GBDP

ゴルフ場営業 サポート

会員分析

KPIマネジメント

予実管理

ゴルフ場向 営業支援帳票

BI Platform

MD分析 プラットフォーム

受注発注分析

在庫欠品分析

社外データ

ゴルフ場予約

連携システム

会員管理

ERP

スコア管理

ワークフロー

広告営業管理

GDOサイト

統合レコメンドエンジン

Digital Marketing Platform

統計解析

IBM SPSS R

DWH

DWH Platform

ETL

Data Stage

ログ解析システム

アクセス ログデータ

Hadoop Platform

HDFS

Hive

インバウンドマーケティング

アウトバウンドマーケティング

顧客抽出ツール(Seve)

キャンペーンマネージメントシステム

会員属性と連携した広告配信システム

広告配信システム

ECショッピングモール (Google Shopping)

マーケティングオートメーション(2013年11月14日時点)

Amazon Web Service Amazon VPC(Virtual Private Cloud)

プライベートサブネット

GDO社内

キャンペーン マネージメント

スレーブノード (m1large) times3(Datanode)

Amazon EC2

アクセス ログデータ

ログ解析 システム

マスターノード(m1large) times3台(ClientActiveStandby)

Standby (EC2)

NameNode JournalNode

HDFS (EBS) 500GB

HDFS (EBS) 500GB

DataNode TasKTracker

DataNode TaskTracker

(EC2)

HDFS (EBS) 500GB

DataNode TaskTracker

Active (EC2)

Client (EC2)

(EC2) (EC2)

Client JournalNode Hive

NameNode JournalNode

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

Hadoop システム構成

Hadoop + Hive

なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった

② タダ(無料)だから

③ 使ってみたかった

Hadoopを利用してみて分かったこと

意外と安定している

HiveQLには制限は少ない(SELECT)

開発生産性は高い

クラウドなのでスケールアウトはとっても簡単いろんな意味で

更新削除は出来ない

レスポンスは遅い

Hadoop + Hive のベストプラクティス

バッチ処理

R2AD Responsys Ignision One

DWH Seve

基幹システム

WEB ログシステム

Rtoaster

リスティングディスプレイリマーケティング メール レコメンド

LPO

顧客抽出

ログレスポンスデータ

トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある

DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)

お客様の行動に合わせた高度なマーケティングを実行するためには

Ad CRM

DWH

RI Rtoas

ter

R2AD iOne

基幹 システム

WEB ログシステム

データの集中と相互利用

今後のデジタルマーケティング時代に求められるDWH

製品選定

GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける

② 移行性を重視する

③ 当然ですが最小の費用で最大の効果を

ご清聴ありがとうございました

Page 33: [C11] ビックデータ×マーケティング 進化するディジタルマーケティングを支えるビックデータ活用基盤 by Takatomo Kamatsu

東京都

千葉県 (33633) 神奈川県

(7422)

茨城県 (15654)

栃木県 (12026)

群馬県 (7124)

埼玉県 (15028)

静岡県

15800

16955

2990 19498

34817

8739

2058

38330

21772

21067

16634

自由研究(20ルール)①

会員居住地と予約されたゴルフ場の場所(関東地方編)

予約確定件数上位の居住地に住んでいる会員はどんなゴルフ場を予約しているのか

自由研究(20ルール)②

EC 商品ジャンル別のクラスタリング分析 (R)

自由研究(20ルール)③

マイクロストラテジー ビジュアルインサイト

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

自由研究(20ルール)④

Mahoutを利用したレコメンドエンジンの開発

データ活用推進を阻む大きな壁データ活用の需要と供給

供給 需要 < 供給 需要 >

システム データ活用リテラシー < システム データ活用リテラシー >

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

ビックデータ活用を支える基盤と今後の展開

E-Commerce

EC事業

ゴルフ場予約事業

OLAP分析

GBDP

ゴルフ場営業 サポート

会員分析

KPIマネジメント

予実管理

ゴルフ場向 営業支援帳票

BI Platform

MD分析 プラットフォーム

受注発注分析

在庫欠品分析

社外データ

ゴルフ場予約

連携システム

会員管理

ERP

スコア管理

ワークフロー

広告営業管理

GDOサイト

統合レコメンドエンジン

Digital Marketing Platform

統計解析

IBM SPSS R

DWH

DWH Platform

ETL

Data Stage

ログ解析システム

アクセス ログデータ

Hadoop Platform

HDFS

Hive

インバウンドマーケティング

アウトバウンドマーケティング

顧客抽出ツール(Seve)

キャンペーンマネージメントシステム

会員属性と連携した広告配信システム

広告配信システム

ECショッピングモール (Google Shopping)

マーケティングオートメーション(2013年11月14日時点)

Amazon Web Service Amazon VPC(Virtual Private Cloud)

プライベートサブネット

GDO社内

キャンペーン マネージメント

スレーブノード (m1large) times3(Datanode)

Amazon EC2

アクセス ログデータ

ログ解析 システム

マスターノード(m1large) times3台(ClientActiveStandby)

Standby (EC2)

NameNode JournalNode

HDFS (EBS) 500GB

HDFS (EBS) 500GB

DataNode TasKTracker

DataNode TaskTracker

(EC2)

HDFS (EBS) 500GB

DataNode TaskTracker

Active (EC2)

Client (EC2)

(EC2) (EC2)

Client JournalNode Hive

NameNode JournalNode

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

Hadoop システム構成

Hadoop + Hive

なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった

② タダ(無料)だから

③ 使ってみたかった

Hadoopを利用してみて分かったこと

意外と安定している

HiveQLには制限は少ない(SELECT)

開発生産性は高い

クラウドなのでスケールアウトはとっても簡単いろんな意味で

更新削除は出来ない

レスポンスは遅い

Hadoop + Hive のベストプラクティス

バッチ処理

R2AD Responsys Ignision One

DWH Seve

基幹システム

WEB ログシステム

Rtoaster

リスティングディスプレイリマーケティング メール レコメンド

LPO

顧客抽出

ログレスポンスデータ

トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある

DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)

お客様の行動に合わせた高度なマーケティングを実行するためには

Ad CRM

DWH

RI Rtoas

ter

R2AD iOne

基幹 システム

WEB ログシステム

データの集中と相互利用

今後のデジタルマーケティング時代に求められるDWH

製品選定

GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける

② 移行性を重視する

③ 当然ですが最小の費用で最大の効果を

ご清聴ありがとうございました

Page 34: [C11] ビックデータ×マーケティング 進化するディジタルマーケティングを支えるビックデータ活用基盤 by Takatomo Kamatsu

自由研究(20ルール)②

EC 商品ジャンル別のクラスタリング分析 (R)

自由研究(20ルール)③

マイクロストラテジー ビジュアルインサイト

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

自由研究(20ルール)④

Mahoutを利用したレコメンドエンジンの開発

データ活用推進を阻む大きな壁データ活用の需要と供給

供給 需要 < 供給 需要 >

システム データ活用リテラシー < システム データ活用リテラシー >

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

ビックデータ活用を支える基盤と今後の展開

E-Commerce

EC事業

ゴルフ場予約事業

OLAP分析

GBDP

ゴルフ場営業 サポート

会員分析

KPIマネジメント

予実管理

ゴルフ場向 営業支援帳票

BI Platform

MD分析 プラットフォーム

受注発注分析

在庫欠品分析

社外データ

ゴルフ場予約

連携システム

会員管理

ERP

スコア管理

ワークフロー

広告営業管理

GDOサイト

統合レコメンドエンジン

Digital Marketing Platform

統計解析

IBM SPSS R

DWH

DWH Platform

ETL

Data Stage

ログ解析システム

アクセス ログデータ

Hadoop Platform

HDFS

Hive

インバウンドマーケティング

アウトバウンドマーケティング

顧客抽出ツール(Seve)

キャンペーンマネージメントシステム

会員属性と連携した広告配信システム

広告配信システム

ECショッピングモール (Google Shopping)

マーケティングオートメーション(2013年11月14日時点)

Amazon Web Service Amazon VPC(Virtual Private Cloud)

プライベートサブネット

GDO社内

キャンペーン マネージメント

スレーブノード (m1large) times3(Datanode)

Amazon EC2

アクセス ログデータ

ログ解析 システム

マスターノード(m1large) times3台(ClientActiveStandby)

Standby (EC2)

NameNode JournalNode

HDFS (EBS) 500GB

HDFS (EBS) 500GB

DataNode TasKTracker

DataNode TaskTracker

(EC2)

HDFS (EBS) 500GB

DataNode TaskTracker

Active (EC2)

Client (EC2)

(EC2) (EC2)

Client JournalNode Hive

NameNode JournalNode

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

Hadoop システム構成

Hadoop + Hive

なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった

② タダ(無料)だから

③ 使ってみたかった

Hadoopを利用してみて分かったこと

意外と安定している

HiveQLには制限は少ない(SELECT)

開発生産性は高い

クラウドなのでスケールアウトはとっても簡単いろんな意味で

更新削除は出来ない

レスポンスは遅い

Hadoop + Hive のベストプラクティス

バッチ処理

R2AD Responsys Ignision One

DWH Seve

基幹システム

WEB ログシステム

Rtoaster

リスティングディスプレイリマーケティング メール レコメンド

LPO

顧客抽出

ログレスポンスデータ

トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある

DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)

お客様の行動に合わせた高度なマーケティングを実行するためには

Ad CRM

DWH

RI Rtoas

ter

R2AD iOne

基幹 システム

WEB ログシステム

データの集中と相互利用

今後のデジタルマーケティング時代に求められるDWH

製品選定

GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける

② 移行性を重視する

③ 当然ですが最小の費用で最大の効果を

ご清聴ありがとうございました

Page 35: [C11] ビックデータ×マーケティング 進化するディジタルマーケティングを支えるビックデータ活用基盤 by Takatomo Kamatsu

自由研究(20ルール)③

マイクロストラテジー ビジュアルインサイト

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

自由研究(20ルール)④

Mahoutを利用したレコメンドエンジンの開発

データ活用推進を阻む大きな壁データ活用の需要と供給

供給 需要 < 供給 需要 >

システム データ活用リテラシー < システム データ活用リテラシー >

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

ビックデータ活用を支える基盤と今後の展開

E-Commerce

EC事業

ゴルフ場予約事業

OLAP分析

GBDP

ゴルフ場営業 サポート

会員分析

KPIマネジメント

予実管理

ゴルフ場向 営業支援帳票

BI Platform

MD分析 プラットフォーム

受注発注分析

在庫欠品分析

社外データ

ゴルフ場予約

連携システム

会員管理

ERP

スコア管理

ワークフロー

広告営業管理

GDOサイト

統合レコメンドエンジン

Digital Marketing Platform

統計解析

IBM SPSS R

DWH

DWH Platform

ETL

Data Stage

ログ解析システム

アクセス ログデータ

Hadoop Platform

HDFS

Hive

インバウンドマーケティング

アウトバウンドマーケティング

顧客抽出ツール(Seve)

キャンペーンマネージメントシステム

会員属性と連携した広告配信システム

広告配信システム

ECショッピングモール (Google Shopping)

マーケティングオートメーション(2013年11月14日時点)

Amazon Web Service Amazon VPC(Virtual Private Cloud)

プライベートサブネット

GDO社内

キャンペーン マネージメント

スレーブノード (m1large) times3(Datanode)

Amazon EC2

アクセス ログデータ

ログ解析 システム

マスターノード(m1large) times3台(ClientActiveStandby)

Standby (EC2)

NameNode JournalNode

HDFS (EBS) 500GB

HDFS (EBS) 500GB

DataNode TasKTracker

DataNode TaskTracker

(EC2)

HDFS (EBS) 500GB

DataNode TaskTracker

Active (EC2)

Client (EC2)

(EC2) (EC2)

Client JournalNode Hive

NameNode JournalNode

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

Hadoop システム構成

Hadoop + Hive

なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった

② タダ(無料)だから

③ 使ってみたかった

Hadoopを利用してみて分かったこと

意外と安定している

HiveQLには制限は少ない(SELECT)

開発生産性は高い

クラウドなのでスケールアウトはとっても簡単いろんな意味で

更新削除は出来ない

レスポンスは遅い

Hadoop + Hive のベストプラクティス

バッチ処理

R2AD Responsys Ignision One

DWH Seve

基幹システム

WEB ログシステム

Rtoaster

リスティングディスプレイリマーケティング メール レコメンド

LPO

顧客抽出

ログレスポンスデータ

トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある

DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)

お客様の行動に合わせた高度なマーケティングを実行するためには

Ad CRM

DWH

RI Rtoas

ter

R2AD iOne

基幹 システム

WEB ログシステム

データの集中と相互利用

今後のデジタルマーケティング時代に求められるDWH

製品選定

GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける

② 移行性を重視する

③ 当然ですが最小の費用で最大の効果を

ご清聴ありがとうございました

Page 36: [C11] ビックデータ×マーケティング 進化するディジタルマーケティングを支えるビックデータ活用基盤 by Takatomo Kamatsu

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

自由研究(20ルール)④

Mahoutを利用したレコメンドエンジンの開発

データ活用推進を阻む大きな壁データ活用の需要と供給

供給 需要 < 供給 需要 >

システム データ活用リテラシー < システム データ活用リテラシー >

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

ビックデータ活用を支える基盤と今後の展開

E-Commerce

EC事業

ゴルフ場予約事業

OLAP分析

GBDP

ゴルフ場営業 サポート

会員分析

KPIマネジメント

予実管理

ゴルフ場向 営業支援帳票

BI Platform

MD分析 プラットフォーム

受注発注分析

在庫欠品分析

社外データ

ゴルフ場予約

連携システム

会員管理

ERP

スコア管理

ワークフロー

広告営業管理

GDOサイト

統合レコメンドエンジン

Digital Marketing Platform

統計解析

IBM SPSS R

DWH

DWH Platform

ETL

Data Stage

ログ解析システム

アクセス ログデータ

Hadoop Platform

HDFS

Hive

インバウンドマーケティング

アウトバウンドマーケティング

顧客抽出ツール(Seve)

キャンペーンマネージメントシステム

会員属性と連携した広告配信システム

広告配信システム

ECショッピングモール (Google Shopping)

マーケティングオートメーション(2013年11月14日時点)

Amazon Web Service Amazon VPC(Virtual Private Cloud)

プライベートサブネット

GDO社内

キャンペーン マネージメント

スレーブノード (m1large) times3(Datanode)

Amazon EC2

アクセス ログデータ

ログ解析 システム

マスターノード(m1large) times3台(ClientActiveStandby)

Standby (EC2)

NameNode JournalNode

HDFS (EBS) 500GB

HDFS (EBS) 500GB

DataNode TasKTracker

DataNode TaskTracker

(EC2)

HDFS (EBS) 500GB

DataNode TaskTracker

Active (EC2)

Client (EC2)

(EC2) (EC2)

Client JournalNode Hive

NameNode JournalNode

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

Hadoop システム構成

Hadoop + Hive

なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった

② タダ(無料)だから

③ 使ってみたかった

Hadoopを利用してみて分かったこと

意外と安定している

HiveQLには制限は少ない(SELECT)

開発生産性は高い

クラウドなのでスケールアウトはとっても簡単いろんな意味で

更新削除は出来ない

レスポンスは遅い

Hadoop + Hive のベストプラクティス

バッチ処理

R2AD Responsys Ignision One

DWH Seve

基幹システム

WEB ログシステム

Rtoaster

リスティングディスプレイリマーケティング メール レコメンド

LPO

顧客抽出

ログレスポンスデータ

トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある

DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)

お客様の行動に合わせた高度なマーケティングを実行するためには

Ad CRM

DWH

RI Rtoas

ter

R2AD iOne

基幹 システム

WEB ログシステム

データの集中と相互利用

今後のデジタルマーケティング時代に求められるDWH

製品選定

GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける

② 移行性を重視する

③ 当然ですが最小の費用で最大の効果を

ご清聴ありがとうございました

Page 37: [C11] ビックデータ×マーケティング 進化するディジタルマーケティングを支えるビックデータ活用基盤 by Takatomo Kamatsu

データ活用推進を阻む大きな壁データ活用の需要と供給

供給 需要 < 供給 需要 >

システム データ活用リテラシー < システム データ活用リテラシー >

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

ビックデータ活用を支える基盤と今後の展開

E-Commerce

EC事業

ゴルフ場予約事業

OLAP分析

GBDP

ゴルフ場営業 サポート

会員分析

KPIマネジメント

予実管理

ゴルフ場向 営業支援帳票

BI Platform

MD分析 プラットフォーム

受注発注分析

在庫欠品分析

社外データ

ゴルフ場予約

連携システム

会員管理

ERP

スコア管理

ワークフロー

広告営業管理

GDOサイト

統合レコメンドエンジン

Digital Marketing Platform

統計解析

IBM SPSS R

DWH

DWH Platform

ETL

Data Stage

ログ解析システム

アクセス ログデータ

Hadoop Platform

HDFS

Hive

インバウンドマーケティング

アウトバウンドマーケティング

顧客抽出ツール(Seve)

キャンペーンマネージメントシステム

会員属性と連携した広告配信システム

広告配信システム

ECショッピングモール (Google Shopping)

マーケティングオートメーション(2013年11月14日時点)

Amazon Web Service Amazon VPC(Virtual Private Cloud)

プライベートサブネット

GDO社内

キャンペーン マネージメント

スレーブノード (m1large) times3(Datanode)

Amazon EC2

アクセス ログデータ

ログ解析 システム

マスターノード(m1large) times3台(ClientActiveStandby)

Standby (EC2)

NameNode JournalNode

HDFS (EBS) 500GB

HDFS (EBS) 500GB

DataNode TasKTracker

DataNode TaskTracker

(EC2)

HDFS (EBS) 500GB

DataNode TaskTracker

Active (EC2)

Client (EC2)

(EC2) (EC2)

Client JournalNode Hive

NameNode JournalNode

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

Hadoop システム構成

Hadoop + Hive

なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった

② タダ(無料)だから

③ 使ってみたかった

Hadoopを利用してみて分かったこと

意外と安定している

HiveQLには制限は少ない(SELECT)

開発生産性は高い

クラウドなのでスケールアウトはとっても簡単いろんな意味で

更新削除は出来ない

レスポンスは遅い

Hadoop + Hive のベストプラクティス

バッチ処理

R2AD Responsys Ignision One

DWH Seve

基幹システム

WEB ログシステム

Rtoaster

リスティングディスプレイリマーケティング メール レコメンド

LPO

顧客抽出

ログレスポンスデータ

トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある

DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)

お客様の行動に合わせた高度なマーケティングを実行するためには

Ad CRM

DWH

RI Rtoas

ter

R2AD iOne

基幹 システム

WEB ログシステム

データの集中と相互利用

今後のデジタルマーケティング時代に求められるDWH

製品選定

GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける

② 移行性を重視する

③ 当然ですが最小の費用で最大の効果を

ご清聴ありがとうございました

Page 38: [C11] ビックデータ×マーケティング 進化するディジタルマーケティングを支えるビックデータ活用基盤 by Takatomo Kamatsu

ゴルフダイジェストオンラインが挑んだ データ活用の軌跡教訓そして未来へ

ビックデータ活用を支える基盤と今後の展開

E-Commerce

EC事業

ゴルフ場予約事業

OLAP分析

GBDP

ゴルフ場営業 サポート

会員分析

KPIマネジメント

予実管理

ゴルフ場向 営業支援帳票

BI Platform

MD分析 プラットフォーム

受注発注分析

在庫欠品分析

社外データ

ゴルフ場予約

連携システム

会員管理

ERP

スコア管理

ワークフロー

広告営業管理

GDOサイト

統合レコメンドエンジン

Digital Marketing Platform

統計解析

IBM SPSS R

DWH

DWH Platform

ETL

Data Stage

ログ解析システム

アクセス ログデータ

Hadoop Platform

HDFS

Hive

インバウンドマーケティング

アウトバウンドマーケティング

顧客抽出ツール(Seve)

キャンペーンマネージメントシステム

会員属性と連携した広告配信システム

広告配信システム

ECショッピングモール (Google Shopping)

マーケティングオートメーション(2013年11月14日時点)

Amazon Web Service Amazon VPC(Virtual Private Cloud)

プライベートサブネット

GDO社内

キャンペーン マネージメント

スレーブノード (m1large) times3(Datanode)

Amazon EC2

アクセス ログデータ

ログ解析 システム

マスターノード(m1large) times3台(ClientActiveStandby)

Standby (EC2)

NameNode JournalNode

HDFS (EBS) 500GB

HDFS (EBS) 500GB

DataNode TasKTracker

DataNode TaskTracker

(EC2)

HDFS (EBS) 500GB

DataNode TaskTracker

Active (EC2)

Client (EC2)

(EC2) (EC2)

Client JournalNode Hive

NameNode JournalNode

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

Hadoop システム構成

Hadoop + Hive

なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった

② タダ(無料)だから

③ 使ってみたかった

Hadoopを利用してみて分かったこと

意外と安定している

HiveQLには制限は少ない(SELECT)

開発生産性は高い

クラウドなのでスケールアウトはとっても簡単いろんな意味で

更新削除は出来ない

レスポンスは遅い

Hadoop + Hive のベストプラクティス

バッチ処理

R2AD Responsys Ignision One

DWH Seve

基幹システム

WEB ログシステム

Rtoaster

リスティングディスプレイリマーケティング メール レコメンド

LPO

顧客抽出

ログレスポンスデータ

トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある

DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)

お客様の行動に合わせた高度なマーケティングを実行するためには

Ad CRM

DWH

RI Rtoas

ter

R2AD iOne

基幹 システム

WEB ログシステム

データの集中と相互利用

今後のデジタルマーケティング時代に求められるDWH

製品選定

GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける

② 移行性を重視する

③ 当然ですが最小の費用で最大の効果を

ご清聴ありがとうございました

Page 39: [C11] ビックデータ×マーケティング 進化するディジタルマーケティングを支えるビックデータ活用基盤 by Takatomo Kamatsu

E-Commerce

EC事業

ゴルフ場予約事業

OLAP分析

GBDP

ゴルフ場営業 サポート

会員分析

KPIマネジメント

予実管理

ゴルフ場向 営業支援帳票

BI Platform

MD分析 プラットフォーム

受注発注分析

在庫欠品分析

社外データ

ゴルフ場予約

連携システム

会員管理

ERP

スコア管理

ワークフロー

広告営業管理

GDOサイト

統合レコメンドエンジン

Digital Marketing Platform

統計解析

IBM SPSS R

DWH

DWH Platform

ETL

Data Stage

ログ解析システム

アクセス ログデータ

Hadoop Platform

HDFS

Hive

インバウンドマーケティング

アウトバウンドマーケティング

顧客抽出ツール(Seve)

キャンペーンマネージメントシステム

会員属性と連携した広告配信システム

広告配信システム

ECショッピングモール (Google Shopping)

マーケティングオートメーション(2013年11月14日時点)

Amazon Web Service Amazon VPC(Virtual Private Cloud)

プライベートサブネット

GDO社内

キャンペーン マネージメント

スレーブノード (m1large) times3(Datanode)

Amazon EC2

アクセス ログデータ

ログ解析 システム

マスターノード(m1large) times3台(ClientActiveStandby)

Standby (EC2)

NameNode JournalNode

HDFS (EBS) 500GB

HDFS (EBS) 500GB

DataNode TasKTracker

DataNode TaskTracker

(EC2)

HDFS (EBS) 500GB

DataNode TaskTracker

Active (EC2)

Client (EC2)

(EC2) (EC2)

Client JournalNode Hive

NameNode JournalNode

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

Hadoop システム構成

Hadoop + Hive

なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった

② タダ(無料)だから

③ 使ってみたかった

Hadoopを利用してみて分かったこと

意外と安定している

HiveQLには制限は少ない(SELECT)

開発生産性は高い

クラウドなのでスケールアウトはとっても簡単いろんな意味で

更新削除は出来ない

レスポンスは遅い

Hadoop + Hive のベストプラクティス

バッチ処理

R2AD Responsys Ignision One

DWH Seve

基幹システム

WEB ログシステム

Rtoaster

リスティングディスプレイリマーケティング メール レコメンド

LPO

顧客抽出

ログレスポンスデータ

トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある

DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)

お客様の行動に合わせた高度なマーケティングを実行するためには

Ad CRM

DWH

RI Rtoas

ter

R2AD iOne

基幹 システム

WEB ログシステム

データの集中と相互利用

今後のデジタルマーケティング時代に求められるDWH

製品選定

GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける

② 移行性を重視する

③ 当然ですが最小の費用で最大の効果を

ご清聴ありがとうございました

Page 40: [C11] ビックデータ×マーケティング 進化するディジタルマーケティングを支えるビックデータ活用基盤 by Takatomo Kamatsu

Amazon Web Service Amazon VPC(Virtual Private Cloud)

プライベートサブネット

GDO社内

キャンペーン マネージメント

スレーブノード (m1large) times3(Datanode)

Amazon EC2

アクセス ログデータ

ログ解析 システム

マスターノード(m1large) times3台(ClientActiveStandby)

Standby (EC2)

NameNode JournalNode

HDFS (EBS) 500GB

HDFS (EBS) 500GB

DataNode TasKTracker

DataNode TaskTracker

(EC2)

HDFS (EBS) 500GB

DataNode TaskTracker

Active (EC2)

Client (EC2)

(EC2) (EC2)

Client JournalNode Hive

NameNode JournalNode

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

CPU Intel(R) Xeon(R) CPU 266GHz x 2cores メモリ75GB

Hadoop システム構成

Hadoop + Hive

なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった

② タダ(無料)だから

③ 使ってみたかった

Hadoopを利用してみて分かったこと

意外と安定している

HiveQLには制限は少ない(SELECT)

開発生産性は高い

クラウドなのでスケールアウトはとっても簡単いろんな意味で

更新削除は出来ない

レスポンスは遅い

Hadoop + Hive のベストプラクティス

バッチ処理

R2AD Responsys Ignision One

DWH Seve

基幹システム

WEB ログシステム

Rtoaster

リスティングディスプレイリマーケティング メール レコメンド

LPO

顧客抽出

ログレスポンスデータ

トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある

DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)

お客様の行動に合わせた高度なマーケティングを実行するためには

Ad CRM

DWH

RI Rtoas

ter

R2AD iOne

基幹 システム

WEB ログシステム

データの集中と相互利用

今後のデジタルマーケティング時代に求められるDWH

製品選定

GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける

② 移行性を重視する

③ 当然ですが最小の費用で最大の効果を

ご清聴ありがとうございました

Page 41: [C11] ビックデータ×マーケティング 進化するディジタルマーケティングを支えるビックデータ活用基盤 by Takatomo Kamatsu

Hadoop + Hive

なぜGDOはHadoopを利用したのか ① 夜間バッチが夜間に終わらなくなった

② タダ(無料)だから

③ 使ってみたかった

Hadoopを利用してみて分かったこと

意外と安定している

HiveQLには制限は少ない(SELECT)

開発生産性は高い

クラウドなのでスケールアウトはとっても簡単いろんな意味で

更新削除は出来ない

レスポンスは遅い

Hadoop + Hive のベストプラクティス

バッチ処理

R2AD Responsys Ignision One

DWH Seve

基幹システム

WEB ログシステム

Rtoaster

リスティングディスプレイリマーケティング メール レコメンド

LPO

顧客抽出

ログレスポンスデータ

トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある

DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)

お客様の行動に合わせた高度なマーケティングを実行するためには

Ad CRM

DWH

RI Rtoas

ter

R2AD iOne

基幹 システム

WEB ログシステム

データの集中と相互利用

今後のデジタルマーケティング時代に求められるDWH

製品選定

GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける

② 移行性を重視する

③ 当然ですが最小の費用で最大の効果を

ご清聴ありがとうございました

Page 42: [C11] ビックデータ×マーケティング 進化するディジタルマーケティングを支えるビックデータ活用基盤 by Takatomo Kamatsu

R2AD Responsys Ignision One

DWH Seve

基幹システム

WEB ログシステム

Rtoaster

リスティングディスプレイリマーケティング メール レコメンド

LPO

顧客抽出

ログレスポンスデータ

トランザクションデータや顧客属性だけでなく お客様の行動をとらえる大量のログレスポンスデータを蓄積集計加工し デジタルマーケティングツールに提供する必要がある

DWHに求められる要件 bull 大量データを蓄積高速に処理できる bull リアルタイム性(半リアルタイム) bull 可用性が高い(落ちない)

お客様の行動に合わせた高度なマーケティングを実行するためには

Ad CRM

DWH

RI Rtoas

ter

R2AD iOne

基幹 システム

WEB ログシステム

データの集中と相互利用

今後のデジタルマーケティング時代に求められるDWH

製品選定

GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける

② 移行性を重視する

③ 当然ですが最小の費用で最大の効果を

ご清聴ありがとうございました

Page 43: [C11] ビックデータ×マーケティング 進化するディジタルマーケティングを支えるビックデータ活用基盤 by Takatomo Kamatsu

製品選定

GDOの製品選定の特徴 ① 検証(POC)に時間とお金を掛ける

② 移行性を重視する

③ 当然ですが最小の費用で最大の効果を

ご清聴ありがとうございました

Page 44: [C11] ビックデータ×マーケティング 進化するディジタルマーケティングを支えるビックデータ活用基盤 by Takatomo Kamatsu

ご清聴ありがとうございました