Embed Size (px)
DESCRIPTION
商業智慧 (BI). 謝邦昌 教授 輔仁大學統計資訊系教授 中華資料採礦協會 理事長 [email protected] WWW.CDMS.ORG.TW. 商業智慧. 讓資料為您開啟智識大門. KDD 過程 ---. 資料轉換到可採取行動結果上. 根據結果 採取行動. 評估結果. 資料採礦流程. 識別商業問題. Decision Trees. Clustering. Time Series. Naïve Bayes. Association. 完整與強大的演算法. 資料來源 :Microsoft Taiwan. - PowerPoint PPT Presentation
Citation preview
商業智慧
讓資料為您開啟智識大門
KDD 過程 ---KDD 過程 ---
資料採礦流程資料採礦流程
識別商業問題
資料轉換到可採取行動
結果上
根據結果 採取行動
評估結果
完整與強大的演算法完整與強大的演算法
Decision TreesDecision Trees ClusteringClustering Time SeriesTime Series
Sequence ClusteringSequence Clustering AssociationAssociation Naïve BayesNaïve Bayes
Neural NetNeural NetLogistic RegressionLogistic Regression Linear RegressionLinear Regression
資料來源 :Microsoft Taiwan
Text MiningText Mining 有 90% 地資訊以非結構性文件儲存 Text Mining 主要是用來處理這些非結構化資訊，以找出規則與結構
可應用在專利文件、病例、論文研究、文件分類、知識管理、信用評等… .
市場上工具： SQL 2005 SSIS/ AS IBM Intelligent Miner for Text SAS Enterprise Miner for Text SPSS Clementine for Text 資料來源 :Microsoft Taiwan
PMML (Predictive Mark-up Language)PMML (Predictive Mark-up Language)
Data Mining Group 推出之資料採礦模型產業XML 標準
1998 年十一月芝加哥伊利諾大學的國家資料採礦中心推出了 PMML 0.9 版本
1999 年正式推出 1.0 版本 微軟於 2000 年正式加入會員 會員包括 IBM (Intelligent Miner) 、 KXEN 、 Magnify 、
Microsoft 、 MicroStrategy 、 Oracle 、 Prudential Systems Software 、 Salford Systems 、 SAS (Enterprise Miner) 、 SPSS (Clementine) 、 StatSoft 資料來源 :Microsoft Taiwan
使用方法論的同時必須注意事項
使用方法論的同時必須注意事項
(1) 演算法之基本假設（ Hypothesis ） (2) 每個方法論中所隱藏的偏差（ Bias ） (3) 資料變數之間的關連性（ Dependency/ I
ndependency ） (4) 資料分佈狀況（ Distribution ） (5) 資料型態及其所代表的含意。
It’s Hot !!! It’s Hot !!!
Data mining didn't exist as a field until he helped pioneer it.--Usama M. Fayyad
林共進 教授 提供
It is NewIt is New
資源與資訊共享 Information Delivery Data mining （ DM ）是一個當紅的專題， 也是蠻新的一個專題 多半的人，並不知道它能做甚麼。 但是不能太晚上車。 ( 中研院 趙民德 )
瞎子摸象 ? 找 Pattern? Trend? Relationship?
Business Understanding (Domain)Business Understanding (Domain)
找問題－確定商業目標 對現有資源的評估 確定問題是否能夠通過資料採礦來解決 確定資料採礦的目標 制定資料採礦計畫
Data Mining 的應用Data Mining 的應用
0 20 40 60 80
% of Respondents
Customer profiling
Targeted marketing
Market basket analysis
Attrition management
Fraud detection
Credit risk analysis
Typ
e of
Ap
pli
cati
on
實際應用
美國國防財務部需要從每年上百萬比的軍火交易中發現可能存在的欺詐現象。
發現可能存在欺詐的交易，進行深入調查，節約了大量的調查成本
英國電信需要發佈一種新的產品，需要通過 DM 的方式向客戶推薦這種產品。
使 DM 的回應率提高了 100 ％
GUS 日用品零售商店需要準確的預測未來的商品銷售量，降低庫存成本。
通過資料採礦的方法使庫存成本比原來減少了 3.8%
滙豐銀行需要對不斷增長的客戶群進行分類，對每種產品找出最有價值的客戶。
行銷費用減少了 30 ％
美國國內稅務局需要提高對納稅人的服務水平。
合理安排稅務官的工作，為納稅人提供更迅捷、更準確的服務
CRM ePlatform 應用組合CRM ePlatform 應用組合
提供分析人員觀察或驗證資料的各種特性或模式提供分析人員觀察或驗證資料的各種特性或模式。。應用特性應用特性 : : 資料具多維度資料具多維度、、可鑽取可鑽取、、可動態操控可動態操控。。應用項目 : 客戶落差分析、期間貢獻度分析
提供分析人員觀察或驗證資料的各種特性或模式提供分析人員觀察或驗證資料的各種特性或模式。。應用特性應用特性 : : 資料具多維度資料具多維度、、可鑽取可鑽取、、可動態操控可動態操控。。應用項目 : 客戶落差分析、期間貢獻度分析
迅速提供高階管理決策者視覺化的摘要資訊迅速提供高階管理決策者視覺化的摘要資訊。。
應用特性應用特性 : : 資料具歷史性資料具歷史性、、彙總依業務或主題彙總依業務或主題。。
應用項目 : 高貢獻度重點客戶查詢、集團客戶管理
迅速提供高階管理決策者視覺化的摘要資訊迅速提供高階管理決策者視覺化的摘要資訊。。
應用特性應用特性 : : 資料具歷史性資料具歷史性、、彙總依業務或主題彙總依業務或主題。。
應用項目 : 高貢獻度重點客戶查詢、集團客戶管理
提供專員或客服人員己完成的數據資訊查詢提供專員或客服人員己完成的數據資訊查詢。。應用特性 應用特性 :: 固定樣版固定樣版、、依業務主題依業務主題。。應用項目 : 產品交叉分析、分行重點客戶管理
提供專員或客服人員己完成的數據資訊查詢提供專員或客服人員己完成的數據資訊查詢。。應用特性 應用特性 :: 固定樣版固定樣版、、依業務主題依業務主題。。應用項目 : 產品交叉分析、分行重點客戶管理
分析者
依最佳化 BI 範本定義 業務價值及發展策略 定義企業資訊流程規劃 定義技術架構 開發計畫之擬定 固定資料模型設計
BI 範本與資料來源的對照 原始資料評估、資料品質分析 資料來源規劃、強化動態資料 資料轉製流程設計 設計資料倉儲架構 評估資料量對系統效能的影響 問題需求評估分析
應用模組建立 統計雛型系統建立 決策支援雛型系統建立 單元功能測試 功能修正強化 整體整合與上線測試 下階段建構評估
整合客戶資料倉儲
客製 AP
分析模組建立 資料超市系統建立 決策支援雛型建立 資料轉製流程與整合 程序設計 下階段建構評估
主題資料超市
多維度資料結構
Data Mining
EIS /OLAP/
Reporting
主題資料採礦
Internet
B2C 平台
Business Discovery
Business Discovery
AnalyticServicesAnalyticServices
Value-added BI& Presentation Value-added BI& Presentation
Information Preparation & Storage
Information Preparation & Storage
資料品質稽核資料品質稽核
資料容量規劃資料容量規劃
系統效能調整系統效能調整
工具規劃設計工具規劃設計資料清洗轉換資料清洗轉換
API
線上交易資料會計科子目數據
企業問題探討
商業模型設計
系統架構設計
行銷名單
CRMSFA
Intranet
客戶、 營運資訊智庫 業務
交易資料Single UserSingle User
Single View!!Single View!!
管理會計帳務資料
客戶基本資料
各業務資料超市
資料批次處理匯入作業 交易資料、
會計檔
營業管理單位
BI 整合平台
BI 管理應用功能模組
業務圖表模版
智慧分析模版
Ad hoq Q
uery經理人資訊版
關係戶客戶
分析
企業集團客戶分
析 單一客戶分析
重點客戶管理分析
客戶行銷名單產
出(X-Sell)
客戶往來產品與
通路分析
損益管理分析
行銷績效分析
營運管理分析
星狀結構圖
CRM
SFA
績效管理
活動管理
客戶信用卡評等
資料採礦
BI 管理應用模版
財會 投資信託 逾放 信用卡 分行 行銷企劃 徵信 資訊室 其它業務
Portal SecurityPortal SecuritySingle Sign onSingle Sign on
客戶歸戶綜合剖析
營運績效分析
損益趨勢分析
交叉銷售 /通路分析
信用卡評等
其它多維度分析
資料前置衍生處理資料彙整檔
客戶價值區隔
資料採礦對電子商務的重要性資料採礦對電子商務的重要性 專家預測在今後十年中，“資料採礦”將是具有革命性進展的舉措之一，是提供“個性化網路”的關鍵，即通過採集資訊、識別有用結構並進行即時分析，從而滿足用戶個性化選擇。
無論這種技術複雜與否，近年來各公司都在進行各種各樣的資料採礦研究，以期讓那些近年來急速堆積增長的原始資料，變得有意義。
電子商務現在是最新和最炙手可熱的一個行業，無論在哪都有歷史資料，用這些資料可以得到用眼睛無法看到的模式結論。
資料採礦能為電子商務做什麼？資料採礦能為電子商務做什麼？
通過資料採礦，市場商人可以瞄準目標客戶，採用個人股票行市、最新資訊、特殊的市場推廣活動或其他一些特殊的資訊手段，從而極大地減少廣告預算和增加收入。
百貨商場、超市和一些老字型大小的零售店也在進行資料採礦，以便猜測這些年來顧客的消費習慣。
資料採礦的挑戰資料採礦的挑戰
資料採礦軟體繁多軟體商正在為非統計學專業人士們開發一些更加自動化的資料採礦應用軟體，讓科學技術更加實用化。
迎合市場需求，資料採礦簡單化操作 過分簡單將會使結果出現偏差，使執行者基於錯誤的推理作出定價和盤貨決定。
結語結語
目前，神經網路技術提出了對傳統統計技術的攻擊檢測方法的改進方向，但尚不十分成熟，所以傳統的統計方法仍將繼續發揮作用，也仍然能為發現用戶的異常行為提供相當有參考價值的資訊。
Data Mining 軟體—找解決方案 而非工具Data Mining 軟體—找解決方案 而非工具 MicroSfot SQL Server 2005 UNICA (ZENII) INDEX MINER Kepler (rp) Clementine (cp) DataMind DataCruncher (cp) Darwin (cp) Intelligent Miner (cp) INSPECT (cp) NeoVista Solutions (cp) Nuggets (cp) Partek (cp) Polyanalyst (cp) SAS Data Mining (cp) Statiatica
SGI MindSet (cp) Knowledge Explorer (cp) DataEngine (cp) Delta Miner (cp) S-PLUS (cp) MATLAB (cp) Mathematica (cp) XGOBI (pd) Crystal Vision neé ExplorN sphinxVision Graf-FX IRIS Spotfire Netmap Visible Decisions Inc. Visual Mine
Data Mining- 各個領域的好幫手 Useful Analysis ToolData Mining- 各個領域的好幫手 Useful Analysis Tool
現象 = 模型 + 誤差現象 = 模型 + 誤差Data Mining -- Find the MODEL
法身無去無來
住寂光而不動
德相非空非有
應隨機以恆周
做的好不如做的早 Data Mining It’s New ! It’s Hot !
What are you waiting for ?
