1

Big Data Tornado

2015 台灣Big Data 企業 經典應用案例分享

Eric Chen Etu COO & VP of BD

June 16, 2015

2

2015，台灣 Big Data 經典應用案例

3

應用案例 – 電商零售百貨�

CRM

Offline Analytics Cluster

Online Cluster for Recommendation Web 互動資料  

• 瀏覽、點擊  • 搜尋  • 購物車  • 結帳  • 跨網域用戶行為  

Mobile互動資料 • 瀏覽  • 點擊  • 搜尋  • 購物車  • 結帳  • 跨網域用戶行為  

�

流量分析 新客戶 vs. 回頭客�

來源網站/不同版位 訂單效益關聯分析�

Hive

HBase

關連性商品 效益分析�

再訪客戶� 特質與基因分析�

個人化推薦�

4

應用案例 – 數位媒體�

理財偏好�

股票�

基金�

保險�

房地產�

定存�

搜尋關鍵字�

內容偏好�

娛樂�

汽車� 野外�

財經�

釣魚�

行為模式�

瀏覽頻率�

上網時段�

停留時間�

上網裝置�

登入狀態�

來源網址�

廣告取向�

促銷優惠�

廣告類別�

廣告商品�

廣告品牌�

人口屬性� 性別�

年齡�

城市�

行業�

子女�

Customer Behavior Data Lake  

5

應用案例 – 金控銀行�

個人化的行銷體驗�

FPS理財規劃�

SFA銷售自動化�

CRM客戶管理�

互動記錄

客戶留言

網路爬文

理專日誌

聯徵資料

第三方支付

Data

Warehouse

Customer Behavior Data Lake  

3600

Customer View

到府服務�

一般理財服務�

電話訪問�

互動式電子帳單�

個人化EDM�

Next Best Offer

一客一市場�

6

應用案例 – 製造生產 (工業 4.0)�

SPC� Recipe� SPI/AOI� SFC� AOI Images�

Root Cause Analysis� 自動診斷�

Process Control� 線上預警�

Optimization� 動態配方調整�

資料處理� 錯誤判斷� 模式� 探勘、確認�

系統建構� 告警調教�

獨立控管，資料分散� 整合控管，資料集中� 透過(經驗法則)進行摸索學習� 透過(智慧分析)進行早期預警�

7

應用案例 – 醫療�

HIS PACS

Oracle

MS SQL

Informix Enterprise Data Pool

Sqoop

Web Service API

l  解決大量資料載入效率不佳與資料查詢速度太慢的問題� l  成為醫院資訊系統的 data pool，所有資料先進行格式統一，錯誤

資料清洗等轉置工作，� l  EDW / DM 或應用系統所有資料需求，皆統一由 Hadoop 提供，

解決跨來源資料整合問題。�

DW

8

2015，我們看到企業導入 Big Data的技術挑戰

9

企業導入 Big Data 的技術挑戰

•  資料來源眾多� •  資料類型不同� •  資料大小不一� •  資料格式繁多� •  資料接取的時效

性差異大�

資料繁雜�

•  資料處理的目的，決定資料可以如何被運用；�

•  或運用後，才發現資料應該如何被處理�

•  如何設計自動化的資料處理流程?�

� �

資料處理困難�

•  什麼樣的資料應用應該用Hive ? or HBase ? or Impala ?

•  現有工具如何駕馭Big Data�

不知如何運用� 資料� 資料架構陌生�

•  不同類型的資料如何對應到適合的資料架構設計?

10

2015，我們提出的解決方案�

11

12

Etu Data Lake 探索資料的廣度

整合資料孤島，還原商業全貌�

13

From Database to Data Lake

Data Lake Data Warehouse

Database

ü  應用服務的 資料儲存

ü  短期資料 分析查詢

ü  企業決策分析 資料儲存

ü  結構化、多構面、長期的資料分析

ü  企業的資料整合的儲存平台 ü  多樣性、龐雜的資料，

做為企業資料分析素材 ü  資料的萃取、轉換、讀取，

以及資料分析的工作

14

Etu Data Lake�

Stru

ctur

ed D

ata

Uns

truct

ured

Dat

a

ERP

CRM

LOB

Apps

3rd  Party

RDB/EDW

� � � � � � � � � � � � � � � � � � � � � �

Business Analytics

� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � �

15

Etu Data Lake 從資料的盤點、儲存、處理、入庫到運用�

•  評估商業需求� •  盤點資料�

•  分析不同資料格式規範�

資料運用 (

分析

視覺化

解讀)�

•  規範檔案系統架構�

Etu

顧問服務�

• ETL整合� • 規範自動化流程�

• 資料模型規劃� • Ready for

Query, Analysis & Discovery

16

整合資料孤島，還原客戶資料全貌

ü 每個獨立的系統，形成個別的資料庫孤島 (silo)

ü 眾多不同資料格式，例如日常處理的掃描檔、 客服紀錄、CRM、績效管理等

ü 大量無法處理的非結構資料

ü 以及分散的資料倉儲系統

17

歷史資料歸檔後的靈活運用�

ü 例如大量的交易紀錄，需要經常性備份和定期

歸檔，以利後續業務應用，或因應監管機關的

查詢。

ü 過期的歸檔後的歷史資料必須能 被靈活的查詢應用，做為長期趨勢分析 和規劃的基礎。

18

問題的先期資料蒐集以利後續探勘

企業面臨的最大挑戰，在於許多商業問題從 使用者需求確認、資料模型建立，到資料導入

及驗證，曠日廢時，並且很多時候在蒐集資料

的當下，並不確定資料模型該如何建立……

Schema On Write

Schema On Read

19

Etu Data Lake 價值主張� �

應用開發更容易� 資料探勘和架構設計更容易� � 毋需經過特殊資料整理，沒有特殊目的的資料蒐集。資料先蒐集進來，讓應用層的資料轉換和取用，如同使用自來水一樣容易。�

�

20 20

Etu Data Lake Agile Exploration for Out of the Box Possibility�

商業問題的資料探勘和再運用� 更好的客戶體驗，更敏捷的商業決策�

資料的永續，知識的共享

企業 Big Data 的基石�

21

Thank You