141-653 Data Warehousing and Data Mining

141-653 Data Warehousing and Data

Mining

ดร . วิ�ภาดา เวิทย์�ประสิ�ทธิ์��ภาควิ�ชาวิ�ทย์าการคอมพิ�วิเตอร� มหาวิ�ทย์าลั�ย์

สิงขลัานคร�นทร�ห�อง CS 320 E-mail : [email protected]

Website : http://staff.cs.psu.ac.th/wiphada

Chapter 12141-653 Data Warehousing and Data Mining

วิ�ตถุ ประสิงค�วิ�ตถุ ประสิงค�1. ให้�นั�กศึ�กษามี�ความีรู้� �ความีเข้�าใจเก��ยวก�บการู้

จ�ดการู้เห้มี�องข้�อมี�ลได�2. ให้�นั�กศึ�กษาสามีารู้ถทำ าเห้มี�องข้�อมี�ลได�3. ให้�นั�กศึ�กษาสามีารู้ถศึ�กษาค�นัคว�าด�วยตนัเอง

เก��ยวก�บการู้ทำ า เห้มี�องข้�อมี�ลได�


การวิ�ดผลัสอบกลางภาค 35%

สอบปลายภาค40% Assignment 15%

ส�มีมีนัา 10%

เวลาเรู้�ยนั อาทำ$ตย% 13.00 – 16.00

ห้�อง S104


เน"#อหาChapter 1 : IntroductionChapter 1 : IntroductionChapter 2 : Data WarehouseChapter 2 : Data WarehouseChapter 3 : Data MiningChapter 3 : Data Mining Chapter 4 : Basic Data Mining Chapter 4 : Basic Data Mining

TechniquesTechniquesChapter 5Chapter 5 : Decision Tree: Decision TreeChapter 6Chapter 6 : Association Rules: Association RulesChapter 7Chapter 7 : The K- Means Algorithm: The K- Means AlgorithmChapter 8Chapter 8 : Neural Networks: Neural NetworksChapter 9 : Statistical TechniquesChapter 9 : Statistical TechniquesChapter 10 : Rule-Based SystemsChapter 10 : Rule-Based Systems


เอกสิารประกอบการสิอน 1. Data Mining A tutorial-Based Primer, Richard J. Roiger and Michael W. Geatz, Pearson Education Inc., 2003. 2. Mining Very Large Databases with Parallel Processing, Alex A. Freitas and Simon H. Lavington, Kluwer Academic Publishers, 1998. 3. การู้ออกแบบและพั�ฒนัาคล�งข้�อมี�ล (Data Warehouse), ก$ตต$ ภ�กด�ว�ฒนัะก+ล, บรู้$ษ�ทำเคทำ�พั� คอมีพั% แอนัด% คอนัซั�ลทำ%, 2546 4. ค�มีภ�รู้%รู้ะบบสนั�บสนั+นัการู้ต�ดส$นัใจ และรู้ะบบผู้��เชี่��ยวชี่าญ (Decision Support Systems and Expert Systems), ก$ตต$พังษ% กลมีกล0อมี, บรู้$ษ�ทำ เคทำ�พั� คอมีพั% แอนัด% คอนัซั�ลทำ%, 2546

Chapter 1

Introduction


Content

• Data Warehouse (คล�งข้�อมี�ล)• Data Warehousing (การู้คล�งข้�อมี�ล)• Data Mining (เห้มี�องข้�อมี�ล)


ป1ญห้าข้องการู้นั าฐานัข้�อมี�ลห้ลายแบบมีารู้วมีก�นั• 1. H/W S/W ห้ลายชี่นั$ด• 2. Data Redundancy เก$ดความีซั 3าซั�อนัข้องข้�อมี�ล• 3. Data Inconsistency ข้�อมี�ลไมี0สอดคล�องก�นั• 4. Coding System รู้ะบบการู้ให้�รู้ห้�สเก$ดป1ญห้า

มีาตรู้าฐานัซั�อนั (Multiple Standard)

• การู้พั�ฒนัารู้ะบบแบบย+�งฉาง (Silo-based System)– งานัใครู้งานัมี�นั


ทำ��มีาข้องคล�งข้�อมี�ล• Business Integration

– ต�องการู้มี�มีาตรู้าฐานัเด�ยวในัการู้เก5บข้�อมี�ลข้ององค%กรู้

• มี� 2 แบบ• 1. Partial Business Integration

– Point to Point Business Integration– Middleware Business Integration

• 2. Overall Business Integration


ทำ��มีาข้องคล�งข้�อมี�ล• 1. Partial Business Integration

– Point to Point Business Integration• เชี่��อมีโยงรู้ะห้ว0างรู้ะบบ 2 รู้ะบบให้�ต$ดต0อก�นัได�• แต0ละรู้ะบบงานัทำ างานัทำดแทำนัก�นัไมี0ได�• มี�ป1ญห้า Spaghetti Phenomenon

– Middleware Business Integration• มี�กล+0มี H/W S/W ทำ��เป7นัต�วกลางในัการู้แปลงและแลกเปล��ยนั

ข้�อมี�ลรู้ะห้ว0างรู้ะบบงานัต0างๆ • มี�ปรู้ะส$ทำธิ$ภาพัมีากข้�3นั


Point to Point Business Integration


ทำ��มีาข้องคล�งข้�อมี�ล• 2. Overall Business Integration

• ออกแบบและพั�ฒนัารู้ะบบให้มี0 โดยรู้วมีเอาเนั�3อห้าข้องข้�อมี�ลทำ�3งห้มีดในัองค%กรู้ให้�เป7นัห้นั��งเด�ยว ไมี0แยกออกเป7นัส0วนัๆ

• ห้ลายองค%กรู้เป7นัรู้ะบบเด�ยว เนั�3อห้าเด�ยวก�นั• Unified Standard• Maximize data consistency• Minimize data redundancy


Data Warehouse (คล�งข้�อมี�ล)

• คล�งข้�อมี�ล ห้มีายถ�ง .... ห้ล�กการู้ห้รู้�อว$ธิ�การู้ เพั��อรู้วมีรู้ะบบ สารู้สเทำศึเพั��อ การู้ปรู้ะมีวลผู้ลรู้ายการู้ข้�อมี�ลทำ��เก$ดข้�3นั ในัแต0ละว�นัแต0ละสายงานั มีารู้วมีเป7นัห้นั0วยเด�ยวก�นั

เพั��อสนั�บสนั+นัการู้ต�ดส$นัใจให้�มี�ปรู้ะส$ทำธิ$ภาพัมีากย$�งข้�3นั

• คล�งข้�อมี�ล ห้มีายถ�ง.... ข้�อมี�ลในัแห้ล0งข้�อมี�ลห้ลายๆแห้ล0ง เพั��อปรู้ะกอบการู้ต�ดส$นัใจให้�มี�ปรู้ะส$ทำธิ$ภาพัมีากย$�งข้�3นั

• คล�งข้�อมี�ล ไมี0ใชี่0ผู้ล$ตภ�ณฑ์% ห้รู้�อรู้ะบบส าเรู้5จรู้�ป• คล�งข้�อมี�ล มี�ความีเป7นัส0วนัต�วข้องแต0ละองค%กรู้ (Organization Customized System)


ค+ณล�กษณะข้องคล�งข้�อมี�ล

• 1. Subject-Oriented • 2. Integrated • 3. Time-Variant• 4. Non-Volatile


ค+ณล�กษณะข้องคล�งข้�อมี�ล

• 1. Subject-Oriented – ข้�อมี�ลถ�กจ�ดกล+0มีให้�เห้มีาะสมีก�บการู้ส�บค�นั จ�ดตามีปรู้ะเด5นัห้ล�กข้อง

องค%กรู้ เชี่0นั• ล�กค�า ส$นัค�า ยอดข้าย

– ข้�อมี�ลจะ....ไมี0ถ�กจ�ดตามีห้นั�าทำ��การู้งานั....ข้องโปรู้แกรู้มีใดโปรู้แกรู้มีห้นั��ง เชี่0นั

• การู้ควบค+มีคล�งส$นัค�า การู้ออกใบก าก�บภาษ�

• 2. Integrated – จ�ดข้�อมี�ลให้�อย�0ในัรู้�ปแบบเด�ยวก�นั จากแห้ล0งข้�อมี�ลห้ลายแห้ล0ง


ค+ณล�กษณะข้องคล�งข้�อมี�ล• 3. Time-Variant

– ข้�อมี�ลต�องมี�ความีถ�กต�อง เพัรู้าะเก5บไว�ใชี่�นัานั - 510 ป=

• 4. Non-Volatile– การู้ปรู้�บปรู้+งข้�อมี�ลเป7นัการู้เพั$�มีข้�อมี�ลให้มี0เข้�าไปเรู้��อยๆ ไมี0ใชี่0การู้แทำนัทำ��

ข้�อมี�ลเก0า– ข้�อมี�ลในัคล�งข้�อมี�ล....ไมี0จ าเป7นั...ต�องทำ าการู้ Normalize เห้มี�อนัในั

ฐานัข้�อมี�ล (Data based)


ข้�อด�ข้องคล�งข้�อมี�ล• 1. ให้�ผู้ลตอบแทำนัในัการู้ลงทำ+นัส�ง• 2. ได�เปรู้�ยบค�0แข้0ง ว$เครู้าะห้%ข้�อมี�ลเพั��อก าห้นัดเป7นั

แผู้นักลย+ทำธิ%ได�ก0อนัค�0แข้0ง เชี่0นัพัฤต$กรู้รู้มีผู้��บรู้$โภค• 3 . เพั$�มีปรู้ะส$ทำธิ$ภาพัในัการู้ต�ดส$นัใจ มี�ข้�อมี�ลครู้บ

ถ�วนัจากอด�ตจนัถ�งป1จจ+บ�นั


ข้�อเส�ยข้องคล�งข้�อมี�ล• 1. ข้�3นัตอนัการู้กรู้องข้�อมี�ลใชี่�เวลานัานั ต�องอาศึ�ยผู้��

ทำ��มี�ความีชี่ านัาญในัการู้กรู้องข้�อมี�ล• 2. แนัวโนั�มีในัการู้กรู้องข้�อมี�ลเพั$�มีมีากข้�3นัเรู้��อยๆ

เพั$�มีความีซั�บซั�อนัให้�กรู้ะบวนัการู้ทำ างานั • 3.ใชี่�เวลานัานัในัการู้พั�ฒนัาคล�งข้�อมี�ล• 4 .รู้ะบบคล�งข้�อมี�ลมี�ความีซั�บซั�อนัส�ง


Data Warehousing (การู้คล�งข้�อมี�ล)

• การู้คล�งข้�อมี�ล ค�อ การู้ออกแบบ และสรู้�างโครู้งสรู้�างข้องข้�อมี�ลในัคล�งข้�อมี�ล รู้วมีถ�ง– ว$ธิ�การู้ได�มีาข้องข้�อมี�ล– ว$ธิ�การู้สรู้�างผู้ลล�พัธิ%จากข้�อมี�ลทำ��มี�– ว$ธิ�การู้ด�แลรู้�กษา และว$ธิ�การู้ปรู้�บปรู้+งปรู้ะส$ทำธิ$ภาพั


สถาป1ตยกรู้รู้มีข้องคล�งข้�อมี�ล

• 1. Data Acquisition System

• 2. Data Staging Area

• 3. Data Warehouse Database /Data Store

• 4. Data Provisioning Area /Data Mart

• 5. End User Terminal

• 6. Metadata Repository





• 1. Data Acquisition System – รู้�บข้�อมี�ลจากภายนัอก

• 2. Data Staging Area – Data Cleansing ลดความีซั 3าซั�อนัข้องข้�อมี�ล– Filtering เล�อกเฉพัาะข้�อมี�ลทำ��มี�ปรู้ะโยชี่นั%

• 3. Data Warehouse Database /Data Store– Data Model การู้ออกแบบจ าลองข้�อมี�ล – การู้จ�ดเก5บข้�อมี�ล


สถาป1ตยกรู้รู้มีข้องคล�งข้�อมี�ล• 4. Data Provisioning Area / Data Mart

– การู้รู้ายงานัผู้ลล�พัธิ%ต0างๆทำ��จ าเป7นัส าห้รู้�บการู้ว$เครู้าะห้%ข้�อมี�ล• 5. End User Terminal

– Simple Report Tool

– Multi Dimensional Tools

– Data Mining Tools

• 6. Metadata Repository – ใชี่�เก5บข้�อมี�ลทำ��ใชี่�ควบค+มีการู้ทำ างานัในัคล�งข้�อมี�ล


การู้ว$เครู้าะห้%ข้�อมี�ลในัคล�งข้�อมี�ล

• 1. Query and Report Generator• 2. Multidimensional Data Analysis• 3. Online Analysis Processing (OLAP)• 4. Data Mining Tools






Online Analysis Processing (OLAP)• กรู้ะบวนัการู้ปรู้ะมีวลผู้ลข้�อมี�ลทำางคอมีพั$วเตอรู้% ทำ��ชี่0วยให้�ว$เครู้าะห้%ข้�อมี�ลในัมี$ต$ต0างๆ

(Multidimensional Data Analysis)

• การู้ด าเนั$นัการู้ก�บ OLAP– 1. Roll up / Consolidation

• การู้ปรู้�บรู้ะด�บความีละเอ�ยดข้องข้�อมี�ล จากรู้ะด�บทำ��ละเอ�ยด...มีาส�0ทำ��..ห้ยาบข้�3นั– 2. Drill Down

• การู้ปรู้�บรู้ะด�บความีละเอ�ยดข้องข้�อมี�ล จากรู้ะด�บทำ��ห้ยาบ...ไปส�0ทำ��.. ละเอ�ยดมีากข้�3นั– 3. Slice

• การู้เล�อกพั$จารู้ณาผู้ลล�พัธิ%บางส0วนัทำ��เรู้าสนัใจ โดยเล�อกเฉพัาะค0าทำ��ถ�กก าก�บด�วยข้�อมี�ลบางค0าข้องแต0ละมี$ต$เทำ0านั�3นั

– 4. Dice • กรู้ะบวนัการู้พัล$กแกนัห้รู้�อมี$ต$ข้องข้�อมี�ล ให้�ตรู้งตามีความีต�องการู้ข้องผู้��ใชี่�งานั

•


Data Mining (เห้มี�องข้�อมี�ล)

• เห้มี�องข้�อมี�ล เป7นัเครู้��องมี�อทำ��ชี่0วยให้�ผู้��ใชี่�เข้�าถ�งข้�อมี�ลได�โดยตรู้งจากฐานัข้�อมี�ลข้นัาดให้ญ0

• เห้มี�องข้�อมี�ล เป7นัเครู้��องมี�อ และ Application ทำ��สามีารู้ถแสดงผู้ลการู้ว$เครู้าะห้%ข้�อมี�ลทำางสถ$ต$ได�

• เห้มี�องข้�อมี�ล ห้มีายถ�งการู้ว$เครู้าะห้%ข้�อมี�ล เพั��อแยกปรู้ะเภทำ จ าแนักรู้�ปแบบและความีส�มีพั�นัธิ%ข้องข้�อมี�ลจากคล�งข้�อมี�ลห้รู้�อฐานัข้�อมี�ลข้นัาดให้ญ0 นั าสารู้สนัเทำศึไปใชี่�ในัการู้ต�ดส$นัใจธิ+รู้ก$จ

• ได�องค%ความีรู้� �ให้มี0 (Knowledge Discovery)

• อาจอย�0ในัรู้�ปแบบข้องกฎเกณฑ์% (Rule)


เทำคนั$คการู้ทำ าเห้มี�องข้�อมี�ล• 1. Classification • 2. Clustering• 3. Association• 4. Visualization


เทำคนั$คการู้ทำ าเห้มี�องข้�อมี�ล• 1. Classification : เทำคนั$คในัการู้จ าแนักกล+0มีข้�อมี�ลด�วยค+ณล�กษณะต0างๆทำ��

ได�มี�การู้ก าห้นัดไว�แล�ว– สรู้�างแบบจ าลองเพั��อการู้พัยากรู้ณ%ค0าข้�อมี�ล (Predictive Model) ในั

อนัาคต เรู้�ยกว0า ......Supervised Learning

– มี� 2 รู้�ปแบบ• Tree Induction

• Neural Network

• 2. Clustering : เทำคนั$คในัการู้จ าแนักกล+0มีข้�อมี�ลให้มี0ทำ��มี�ล�กษณะคล�ายก�นัไว�กล+0มีเด�ยวก�นั โดยไมี0มี�การู้จ�ดกล+0มีข้�อมี�ลต�วอย0างไว�ล0วงห้นั�า เรู้�ยกว0า .......Unsupervised Learning

• 3. Association : เทำคนั$คในัการู้ค�นัพับองค%ความีรู้� �ให้มี0 ด�วยการู้เชี่��อมีโยงกล+0มีข้องข้�อมี�ลทำ��เก$ดข้�3นัในัเห้ต+การู้ณ%เด�ยวก�นัไว�ด�วยก�นั

• 4. Visualization :เทำคนั$คทำ��ใชี่�ในัการู้แสดงผู้ลในัรู้�ปแบบกรู้าฟิAกห้รู้�อ ข้�อมี�ลห้ลายมี$ต$

p.85


ค+ณล�กษณะข้องเห้มี�องข้�อมี�ล• 1. ชี่�3แนัวทำางการู้ต�ดส$นัใจและคาดการู้ณ%ผู้ลล�พัธิ%• 2. เพั$�มีความีเรู้5วในัการู้ว$เครู้าะห้%ข้�อมี�ล จากฐานัข้�อมี�ลข้นัาดให้ญ0• 3. ค�นัห้าส0วนัปรู้ะกอบทำ��ซั0อนัอย�0ในัเอกสารู้ รู้วมีถ�งความีส�มีพั�นัธิ%

รู้ะห้ว0างส0วนัปรู้ะกอบต0างๆ• 4. จ�ดกล+0มีเอกสารู้ตามีห้�วข้�อต0างๆตามีนัโยบายบรู้$ษ�ทำ


ต�วอย0างการู้นั าเห้มี�องข้�อมี�ลมีาใชี่�งานั• 1. การู้ตลาด

– ทำ านัายยอดข้ายเมี��อมี�การู้ลดจ านัวนัส$นัค�าลง• 2. การู้เง$นัการู้ธินัาคารู้

– คาดการู้ณ%โอกาสในัการู้ชี่ ารู้ะห้นั�3ข้องล�กค�า• 3. การู้ค�าข้าย• 4. โรู้งงานั การู้ผู้ล$ต• 5. ตลาดห้ล�กทำรู้�พัย%• 6. ธิ+รู้ก$จการู้ปรู้ะก�นั• 7. H/W S/W คอมีพั$วเตอรู้%• 8. กรู้ะทำรู้วงกลาโห้มี• 9. โรู้งพัยาบาล


ปรู้ะโยชี่นั%ข้องเห้มี�องข้�อมี�ล• 1. ค�นัห้าข้�อมี�ลโดยอาศึ�ยเทำคโนัโลย�ข้องเห้มี�องข้�อมี�ล• 2. ใชี่�สถาป1ตยกรู้รู้มีแบบ Client/Server

• 3. ผู้��ใชี่�รู้ะบบไมี0จ าเป7นัต�องทำ�กษะในัการู้เข้�ยนัโปรู้แกรู้มี• 4. ผู้��ใชี่�ต�องก าห้นัดข้อบเข้ตและเปBาห้มีายข้องรู้ะบบให้�ชี่�ดเจนั เพั��อ

ความีรู้วดเรู้5วและถ�กต�องตามีความีต�องการู้• 5. การู้ปรู้ะมีวลผู้ลแบบข้นัานัจะชี่0วยเพั$�มีปรู้ะส$ทำธิ$ภาพัและ

ความีเรู้5วในัการู้ค�นัห้าข้�อมี�ล


Homework 1• 1. จงห้าความีห้มีายข้องค านั$ยามีต0อไปนั�3 มีาอย0างนั�อย 2 แห้ล0ง อ�างอ$งพัรู้�อมีบอกทำ��มีาข้องแห้ล0งอ�างอ$งด�วย

– Data Warehouse (คล�งข้�อมี�ล)– Data Mining (เห้มี�องข้�อมี�ล)

• 2. จงห้าว0า Data Mining Tool มี�อะไรู้บ�าง พัรู้�อมีทำ�3งอธิ$บายมีาพัอส�งเข้ป สิ%ง ราย์งาน (next week in class)

» Hard Copy » File» Presentation 2 min (no slide)

Jim Miller

Documents

141-653 Data Warehousing and Data Mining