巨量資料分析介紹與案例分享

財團法人資訊工業策進會財團法人資訊工業策進會前瞻所

ARI, Institute for Information Industry

1

巨量資料簡介

巨量資料特徵與趨勢

2

經濟可負擔的處理大量成長的資料Volume ( 大量 )

建立巨量資料來源的可信性Veracity( 真實性 )

不確定與不準確的資料 1 in 3 企業領導者不信任他們用來作為企業決策的資訊真實性關鍵 – 資料的可信性

50x 35 ZB

20202010

整合性收集與分析更多元的資料 Variety ( 種類多 )

能夠反應不斷且更快速到達的資料 Velocity ( 快速 )

超過 300億RFID 感測裝置

全球 80% 資料為非結構性

資料來源： IBM

急遽成長的巨量資料帶來結構性變革預估至 2015 年， 80% 的可用資料有不確定性

企業可用特定方案改善客戶、產品和地址等資料的品質，但這些資料只占整體企業資料的一小部分

2015 年時，聯網的設備將比全球總人口多一倍，感應器所產生的資料都有不確定性

社群媒體帳戶數超過全球人口總量，這些資料的內容和表達都充滿不確定性

資料來源 : IBM, 2012

善用巨量資料可大幅提升競爭力與經濟效益巨量資料 硬體 / 軟體 / 服務商機• 全球市場： IDC 估計巨量資料將會貢獻

40% 的複合年成長率 (CAGR)– 2012 年全球市場價值估計為 $6.8 B USD;

預期在 2016 達到 $50.7 B USD • 大陸市場： IDC 預測 大陸巨量資料市場

在未來 5 年內的將以 51.4% CAGR 成長– 從 2011 到 2016 年預測巨量資料市場價值

從 77.6 成長到 617 million USD.

單位：百萬美元

巨量資料產業應用價值 Services Software Storage Servers Networking0

1,000

2,000

3,000

4,000

5,000

6,000

7,000

201020112012201320142015

資料來源： IDC

4

政府以巨量資料打擊與預防犯罪，強化國安

5

曼菲斯警局

即時且大量資料分析　　　　精準預防犯罪

降低 30% 犯罪率 重案結案率提升 54%

聯邦調查局

結合群眾外包快速偵破波士頓爆炸案

監視影像• 拿起又放下背包• 來回徘迴• 明顯不關注賽事…

現場照片

• 表情差異顯著• 特徵吻合• 出現頻繁…

2 日內成功確認嫌犯身分，並於 4 日內逮捕歸案

社群討論 通聯記錄

巡邏報告

即時監控影像犯罪紀錄

• 即時監控犯罪高風險區域

• 即時反應犯罪移動軌跡

• 表情緊張• 無目標性行走• 刻意低頭…

動態犯罪預警熱圖

監視影像

顧客意見

銷售紀錄

零售業如何透過巨量資料創造獨特競爭以巨量資料創造創新商業模式，打造快速時尚王國

6

「 Zara 是快速時尚 (fast fashion) 的先驅，從此改變了時尚世界的遊戲規則。」 　 - 紐約時報 「全球最創新、具破壞性的零售商，非 Zara 莫

屬。」 　 -LVMH 集團時尚總監皮耶特 (Daniel Piette)

23.6% 毛利率高於 LVMH 等精品集團

平均 2 週可推出一新品約為其他品牌的 6 倍快

一年 12,000 款時裝且每天可賣出 110 萬件產品

實體店面 (Off-line) 線上商店 (On-line)

每日資料回報

分眾快速鋪貨

新品上市前測

即時資料回報

點擊紀錄

線上討論

試賣紀錄 流行趨勢分析 分眾偏好掌握 快速設計打版

西班牙時尚服飾品牌分店橫跨 74 國超越 2 千家

2013 市值最高成衣品牌 ($20B)

整合虛實商店銷售、討論與行為資訊，掌握時尚趨勢，快速生產鋪貨

電子商務以巨量資料驅動服務差異性與競爭力• 全球最大的線上市場集團，包含阿里巴巴 B2B 、淘寶

網、天貓、一淘網、阿里雲計算及支付寶等，具備完整電子商務生態體系

單日 RMB350 億營業額2013光棍節創下世界紀錄

超過 5 億會員數每日訪客數為台灣人口三倍

每分賣 4.8 萬件商品總商品數超過 8 億件

7

淘寶指數

數據魔方

iSPI指數

數據地圖

• 消費者數據研究平台，了解市場購物趨勢

• 提供商家數據化營運支援

• 綜合反映網絡零售商品 / 服務的一般價格水平

• 圍繞地圖視角呈現的可視化在線交互產品

以巨量資料分析為商業核心驅動力，打造以消費者為導向之電商系統

電子 商務大量交易資料(交易量、點擊紀錄、分眾偏好… )

巨量資料整合與分析

天氣 股價 健康

過去 60 年天氣資訊820 億次分析即時天氣比對

成功預測未來 40 天氣象

上億條社群推特 / 討論語意與情感分析

準確率達 87.6%15% 投資報酬率

槓桿社群與公開性資料提升預測準確性

提前 2 週掌握流感爆發關鍵

和美國疾病控制及預防中心合作，以關鍵字搜尋次數掌握流感

8

輔以巨量資料的創新事業模式創造高價值 $3M 和 $200M收購值的差別在哪裡?

• Groupon 以 $3M美元收購地圖日記– 百萬網友團購網 - 數位時代 2010 年 12 月

• APP致富！ LINE母公司以 $17.7M美元併購「走著瞧」– 陌生號碼辨識與簡訊封鎖 APP– gogolook開發的 whoscall ，目前已累積了超過 500 萬用戶，每

日活躍用戶高達一百萬人 - 2013 年 12 月

• 蘋果以 $200M美元收購社交分析服務公司 Topsy– 提供社交分析服務 – 分析 Twitter 5 億用戶所產生每日 5 億個推文資訊

資料量與分析決定了企業價值 !!

機會與挑戰：跨領域整合與人才培育10

運用視覺化技術，詮釋由資料而得的洞悉，進一步協助決策的形成

硬體( 電機領域 )

軟體( 資訊領

域 )

決策( 商管領

域 )

分析( 數學領

域 )

資料管理 分析探索 視覺呈現巨量資料價值實現

領域專門知識

分析應用技能

資料管理技能

需要跨領域組合商業領域專家、模型與分析 ( 資料科學 )專家以及資料工程專家成為巨量資料分析研究團隊，協同合作從事分析模型及解決方案

2015 全球巨量資料分析專業職位將達 440 萬人，人才將短缺將達280 萬人 (Gartner, 2013)運用分散式系統運算，收集、處理、整合管理多元性資料

運 用 統 計 、 機 器學 習 技 術 ， 找 出資 料 中 的 隱 藏 模式關聯性

資策會巨量資料分析發展願景

11

透過開放平台營運，提供知識整合與加值應用及測試環境，使產學研研發可快速整合介接，領域應用知識可快速累積，持續巨量資料相關技術深化 !

軟硬整合提升差異化價值，結合創新服務與商業模式，以硬帶軟進軍國際市場，以軟帶硬彰顯競爭力，帶動智慧產業發展 !

學研研發整合加速 BDA技術整合與應用能量

產業實務整合擴充 BDA智慧產業應用多元性

Big Data / Open Data Application Platform

硬體 (Commodity Server, Storage)以硬帶軟 以軟帶硬

零售批發業• 佔台灣 GDP 19.3%• 服務型態發展靈活多元化，超

商、購物中心密度世界第一製造業• 佔台灣 GDP 25.6%• PC製造佔全球 90% ，前五大

PC製造商產值皆超過台幣三仟億

媒體與觀光 – 新興機會• 傳統媒體客群急速流失，

行動化、雲端多螢服務成為主流

• 我國觀光產值僅佔 GDP4% ，相較國際平均 9%有大幅成長空間

Individual/Smart LIving/Smart CIty

資策會重點發展領域

‹#›

SmartInfrastructure/platform

健康照護• 美國醫療照護每年將可達到 3 千億應用成效，其中 2/3 來自每年減少 8% 不要的醫療支出 (MGI)

• 台灣健保具龐大的健康醫療資訊，善加運用應可創造顯著成效• 　能源服務

• 台灣依賴進口能源• 節能省碳日益重要• 技術與產業急待發展

　教育與人力資源• 國際競爭與人口結構改變使人

力素質為台灣發展之關鍵• 教學與學習效能的提升、 教育

資源應用優化為發展機會

巨量資料管理平台• 80%鉅量資料分析工作耗費於

資料擷取與準備，技術門檻高

雲端儲存與運算• 鉅量資料大且快的特性，促使雲端儲存與運算的重要性共伴相生

SmartBusiness

SmartGovernment

政府與社會關注議題智慧產業發展

共通平台

資訊安全 • 網際網路資安威脅日新月異，種類多、量大、速度快• 政府與企業難以拼湊資安威脅之全貌，急需提升防禦能力

Thank you!

13