1

Big Data 101 一 一個充滿意圖與關聯世界的具體實現

精誠資訊 雲中心

Etu 副總經理 蔣居裕

2

大綱

• 我從 Etu 品牌影片學到的事

• Big Data 101 – 今日須知

• Big Data Ecosystem – 今日看盡生態系

• 一個充滿意圖與關聯的世界

• Etu - 意圖與關聯世界的具體呈現者

• 結論

3

我從 Etu 品牌影片學到的事

1. 了解客戶是商業服務的根本需求

2. 找出商品間的關聯不是新鮮事，但從 Big Data 來找，

面向更廣，機會更大，挑戰也更大

3. 藉由分析沈默大眾的行為資料 (Big Data)，找出不存在

結構化資料庫裡的意圖與關聯

4. 要知意圖，要得關聯，可透過 Etu 專業團隊的協助，

做得更快更好

4

今日須知

Big Data 101

5

Big Data 要處理的資料量級

• Kilobyte

• Megabyte

• Zettabyte

• Yottabyte

• Gigabyte

• 1.8 ZB World Wide created in 2011

• 7.9 ZB World Wide created by 2015

source: The readwriteweb, Nov. 2011

6

Big Data 時代來臨 – 新量級、新處理模式、新企業智慧

Structured (結構化)

•Relational Database

• File in record format

Semi-structured (半結構化)

• XML

• Logs

•Click-stream

• Equipment / Device

•RFID tag

Unstructured (非結構化)

•Web Pages

• E-mail

•Multimedia

• Instant Messages

•More Binary Files

行動/網際網路 Mobile/Internet

物聯網 Internet of Things

7

Big Data 要處理的三個面向：3V

Volume 資料量

Velocity 處理時效

Variety 資料格式

8

很多的非/半結構化資料

要在一定的時間內處理完

而且成本不能太高

30字箴言

Volume Variety

Velocity

9

CIO Survey 2012

Source: Gartner, 2012

年度科技優先順序 (Technology Priorities)

Number: 2,335

同樣是第一名，在不同年代有不同內涵

10 10 image credit: David Fierstein

BI in 2008/2009

BI from 2012

變遷中的 Business Intelligence

11

2020 前的 10 大趨勢主軸

Source: “Top Ten Trend in CRM for 2020”, Gartner, 2012

沒有一項趨勢是獨自發展的！我們正被一個大生態系推著走

12

Big Data 對企業的價值

Source: GigaOM Pro, March 2012 Survey of IT Decision Makers from 304

companies

預估未來

競爭策略

客戶滿意

13

今日看盡生態系

Big Data Ecosystem

14

Big Data 主流基礎平台：Hadoop

• 處理半/非結構化巨量資料

• 儲存與運算單點(本地)解決

• 分散式橫向擴充架構 (Scale-out)

• 以開源的 Apache Hadoop 為標準版本

15

Hadoop 平台競爭要素

Hadoop Disruption Vectors

Source: GigaOM Pro, 2012

整合

部署

存取

16

Big Data Taiwan 2012 活動要義

• 一個主題：Big Data Integration

• 兩個特邀：

• 三個軸向：Cloud．Mobility．Enterprise

• 九家廠商

17

整合：從 Big Data 到 Total Data

聲音檔案

影片檔案

圖形檔案

文件檔案

文字資料

XML檔案

Web Logs

點擊事件

社交網路

關聯圖譜

新聞 Feeds

感應器

嵌入設備

RFID Tags

地理資訊

GPS 點位

事件

其他

Big Data

精煉處理場

NewSQL NoSQL SQL

NewSQL MPP EDW

商業智慧

與

線上分析

Web, Mobile, CRM,

ERP, SCM, …

Dashboard,

Report,

Visualization, …

商務交易

與

行為互動

Original source: http://hortonworks.com/blog/big-data-refinery-fuels-next-generation-data-architecture

傳統 ETL

預處理

回饋/歷史資料

回饋/歷史資料

多結構資料

儲存/彙整/轉換/運算

OLTP

OLAP

18

聲音檔案

影片檔案

圖形檔案

文件檔案

文字資料

XML檔案

Web Logs

點擊事件

社交網路

關聯圖譜

新聞 Feeds

感應器

嵌入設備

RFID Tags

地理資訊

GPS 點位

事件

其他

Big Data

精煉處理場

NewSQL NoSQL SQL

NewSQL MPP EDW

商業智慧

與

線上分析

Web, Mobile, CRM,

ERP, SCM, …

Dashboard,

Report,

Visualization, …

商務交易

與

行為互動

Original source: http://hortonworks.com/blog/big-data-refinery-fuels-next-generation-data-architecture

傳統 ETL

預處理

回饋/歷史資料

回饋/歷史資料

多結構資料

儲存/彙整/轉換/運算

Big Data Taiwan 2012 整合大全

OLTP

OLAP

19

三種溫度資料的整合：Hot / Warm / Cold

Hot Data

在線結構化資料

在線半/非結構化資料

Warm Data

在線半/非結構化資料

Cold Data

離線資料

Hadoop-based Solution

SAN / NAS / Scale-out NAS

OLTP OLAP

20

及時分析．價值接力

Total Data 整合舉例: Etu + Splunk

巨量．可加掛．什貨皆拉

敏捷．漂亮．高貴

21

Big Data Taiwan 2012 整合大全

• 半/非結構化與結構化資料共構

– Etu (Hadoop) 與 SQL 整合 (Track 1-2)

– Etu (Hadoop) 與 MPP DB/DW 整合 (Track 1-2)

• 半/非結構化與半/非結構化資料共構

– Etu (Hadoop) 與 Splunk 整合 (Track 1-1 / 3-2)

– Etu (Hadoop) 與 Stream Computing 整合 (Track 2-2)

• Warm Data 與 Cold Data 串接

– Etu (Hadoop) 與 NAS/SAN 整合 (Keynote 4)

22

一個充滿意圖與關聯的世界

23

何謂意圖？

• 明示 (直接的意圖)

– 直接表達於言語、文字、或動作

• 默示 (間接的意圖)

– 透過特定行為去推知

Big Data 要處理分析的，一般為默示意圖

24

反意圖：因為不了解意圖，所以浪費

您還在做促銷網頁與頻發電子報嗎？

25

正意圖

• 強化熱點

• 個人化郵件

• 關聯式推薦

26

有哪些關聯？

• 商品與商品

• 人與人

然後把人與商品關聯起來，創造更大的價值

更多的關聯維度：

• 時間

• 地點

• 事件

27

關聯推薦的完美實踐 I – Netflix

用戶租看的影片 60% 來自系統的自動推薦

比你的枕邊人還要了解你對影片的喜好

預測用戶對一部影片的評等 誤差不會超過半顆星

28

關聯推薦的完美實踐 II – Amazon

每秒賣出 72.9 項商品 (Oct. 2010)

以小書商體貼的初衷，長成地球上最大的個人化零售商

想方設法，讓客戶與商品配對

29

Amazon 每秒賣出 72.9 項商品的秘訣

訂單積累 (基本) 的關聯推薦

30

Amazon 每秒賣出 72.9 項商品的秘訣

完美 (無所不用其極) 的個人化關聯推薦

31

Amazon 每秒賣出 72.9 項商品的秘訣

用戶對一項商品下評論、標籤、討論、評等 (顆星)，

都將影響自己與他人的個人化關聯推薦

32

萬事皆搜尋

智慧回應每日億級瀏覽行為

百萬商品關聯推薦

9 億人際關係多維度分享

企業可以向超級雲端公司學習的意圖與關聯智慧

33

Etu –

意圖與關聯世界的具體呈現者

34

VISIONING THE

BIG DATA FLOWS INTO BUSINESS VALUE

taipei . beijing

Etu 讓您擁有國際等級的意圖與關聯智慧

35

企業採用 Hadoop 技術架構的挑戰

•技術/人才缺口

1. 企業對 Hadoop 架構普遍陌生

2. Hadoop 叢集規劃、部署、管理與系統調校的技術門檻高

•專業服務資源缺口

1. 缺乏在地、專業、有實務經驗的 Hadoop 顧問服務

2. 缺乏能夠提供完整 Big Data 解

決方案設計、導入、與維護的專業廠商

還處於市場早期

助您跨越 Big Data 鴻溝

36

Etu，世界級的 Big Data 專業團隊

37

Etu - Big Data Conqueror

大數據征服者聯盟

圖像版權屬 Marvel Studios 與各人頭主人所擁有

3 位 Cloudera Certified Developer for Apache Hadoop

1 位 Cloudera Certified Administrator for Apache Hadoop

擁有累計超過 30 年 Big Data 處理經驗

全球性資訊安全服務運營，規模超過 500 個節點，日處理超過 350 億筆數據

線上服務 IDC 自動化管理，規模超過 10,000 台伺服器

Big Data 行業應用經驗，含括電信業務、行動加值服務、

互動多媒體、電力、網路服務、資訊安全等範疇

商業與科技顧問並俱

38

• 延展：公有雲等級的運算架構

• 可靠：電信等級的系統品質

• 效能：企業等級的創新績效

Etu Appliance Big Data End-to-End Solution in a Box

儲存與運算一體，簡化與最佳化的優勢機種：

• 10 分鐘內可部署 100+ 節點

• 資料擷取能力 1U 勝過 8U

• Big Data 運算處理最適化

• 單節點可處理 4~40 TB 資料

39

One Service

顧問服務

One Application

分析應用系統

One Platform

處理平台

Etu Consulting 商業暨科技顧問

Etu Recommender 精準推薦應用

Etu Appliance 巨量資料處理解決方案

40

Etu 的「7 是 7 不是」

Etu 是 Etu 不是

1 非結構化 Big Data 解決方案供應商 結構化資料庫/資料倉儲供應商

2 同時具備儲存與運算能力的軟硬一體 一種單純的儲存設備

3 帶有公有雲血統的分散式運算 傳統的 IT 架構

4 強調為客戶提高營收獲利 只強調為客戶節省成本

5 商業顧問+方案實踐者 只有平台與工具的廠商

6 亞洲自主技術，瞄準亞洲市場 只看台灣市場的代理商

7 Big Data Ecosystem 的一份子，Partner-friendly

單打獨鬥的原廠

41

關聯推薦舉例 – 人為

• 參加過 Big Data Taiwan 2012 也看過這本書：

“The Filter Bubble: What The

Internet Is Hiding From You”

《搜尋引擎沒告訴你的事》

by Eli Pariser (March, 2012)

42

關聯推薦舉例 – 人為

• 聽過「Big Data 101 — 一個充滿意圖與關聯世界的具體實現」的人，

同時也報名了：

– 「Hadoop 與 SQL 的甜蜜連結 — 非結構與結構資料共構的企業策略」

– 「活用您的 Big Data，實現線上服務行銷的精準推薦」

– 「行動智慧將巨量資料成為營收利器」

– 「資安分析在維運智慧的成效」

• 聽過「Big Data 101 — 一個充滿意圖與關聯世界的具體實現」的人，

同時也參觀了：

– C1 (Etu) 攤位

– A2 (M Factory/Splunk) 攤位

43

關聯推薦舉例 – 行為

• 參觀過「 C1 (Etu) 」攤位的人，同時也參觀了：

– A2 (M Factory/Splunk) 攤位

– C2 (Microsoft) 攤位

– D1 (Fujitsu) 攤位

– D3 (IBM) 攤位

– E1 (EMC Isilon) 攤位

行為資料從 RFID Tag 來

44

結論

意圖與關聯充滿的 Big Data 世界

Etu 幫您具體整合來呈現

台灣第一個專注服務企業客戶的 Hadoop-based 顧問與解決方案品牌

45

www.etusolution.com

46

Follow Us: 歡迎加入 Etu Taiwan Facebook 粉絲專頁

http://www.facebook.com/etusolution