Upload
raywadee-sakdulyatham
View
219
Download
3
Embed Size (px)
DESCRIPTION
การรวบรวมข้อมูล
Citation preview
Data Warehousing
LOGO
Data Warehousing
บทท� 6 การออกแบบระบบการรบขอมลในคลงขอมล
(Data Acquisition)
www.themegallery.com LOGO
Contents
ความหมายของ Data Acquisition1
ขอควรคานงในการออกแบบระบบ Data Acquisition2 ขอควรคานงในการออกแบบระบบ Data Acquisition2
การรกษาความปลอดภยในการสงขอมล3
www.themegallery.com LOGO
ระบบ Data Warehouse มหลายดานท�คลายคลงกบระบบสารสนเทศท�วๆ ไป ท�มการรบขอมลจากภายใน, ภายนอกเขาสระบบ และสามารถผลตผลลพธใหแกผใชงานได
Data Acquisition
Input Process Output
โดยในสวนของการรบขอมลในระบบคลงขอมล เปนหนาท�ของระบบยอยของคลงขอมล ท�เรยกวา ระบบรบขอมล (Data Acquisition)
Input Process Output
www.themegallery.com LOGO
Data Acquisition
Data Acquisition System
Data Staging Area
Data Warehouse Database
Data Provisioning Area
Data Data DataData
Metadata Repository
Meta
data
Meta
data
Meta
data
Meta
data
Terminal
www.themegallery.com LOGO
ในระบบ Data Warehouse ท�ตองการขอมลนาเขาสระบบ ตองมระบบ Data Acquisition เพ�อทาหนาท�ในการรบขอมลและเตรยมขอมลในเบ�องตน เพ�อใหพรอมสาหรบการนาไปใชใน Data Staging Area
คาวา “เตรยมขอมล” ของระบบ Data Acquisition ท�กลาวไวน�น มขอบเขตท�คอนขางกวาง เพราะน�นหมายถงวา ระบบ Data Acquisition จะตองมหนาท�ในการ
Data Acquisition
กวาง เพราะน�นหมายถงวา ระบบ Data Acquisition จะตองมหนาท�ในการ
(1) ตรวจสอบและแกไขขอมลท�มขอผดพลาดในเบ�องตน
เชน ขอมลท�เปนตวเลข กตองเปนตวเลข
ขอมลท�เปนตวอกขระ กตองไมเปนตวเลข
ขอมลบางตวท�ไมสามารถเปนจานวนลบได กตองไมเปนลบ
www.themegallery.com LOGO
(2) ทาใหขอมลไมมส�งแปลกปลอม ท�อาจจะทาใหระบบคลงขอมลเกดความผดพลาด
ในการทางาน
เชน ไวรสคอมพวเตอร หรอไฟลท�ถกเตรยมอยางไมถกตอง จนทาใหระบบไมสามารถอานและนาไปใชงานได เปนตน
Data Acquisition
อานและนาไปใชงานได เปนตน
(3) ระบไดวาใครเปนผท�สงขอมลเขามายงระบบ รวมถง วนและเวลาท�ขอมลเขามาส
ระบบ
(4) ในกรณท�เน�อหาของขอมลมความผดพลาดอยางใดอยางหน�ง ตองสามารถแจง
กลบไปยงผสงขอมลได
เชน เน�อหาไมครบถวน หรอเปนขอมลท�ระบบไมตองการ Data Acquisition
www.themegallery.com LOGO
Data Acquisition
เร�มตน
(1)รบขอมลจากภายนอก
(2)ตรวจสอบผสงขอมล
(6)แจงกลบไปยงผสงให
ตรวจสอบสถานะของตนเอง Yes
No
No
จบ
(3)ตรวจสอบขอมลท�ไดรบมา
(4)ตรวจสอบความถกตองของขอมล
(5)สงขอมลไปยง Staging Area
(7)ใหสงขอมลกลบมาใหม
Yes
Yes
No
No
www.themegallery.com LOGO
เน�องจาก Data Acquisition คอระบบท�ทาหนาท�เช�อมการส�อสารกบบคคลภายนอก
ดงน�น Data Acquisition ตองไดรบการออกแบบใหสามารถรองรบกบแหลงขอมลทกๆ
ประเภท หรอมากประเภทท�สดเทาท�จะเปนไปได
ซ�งคณลกษณะของ Data Acquisition ตอไปน� เปนประเดนท�ควรพจารณาในการ
ขอควรคานงถงในการออกแบบ Data Acquisition
ซ�งคณลกษณะของ Data Acquisition ตอไปน� เปนประเดนท�ควรพจารณาในการ
ออกแบบ Data Acquisition
(1) วธการสงขอมล
(2) ข�นตอนในการสงขอมล
(3) การตรวจสอบความถกตองของขอมลท�ไดรบ ดวย Validation Rules
(4) ระบบการส�อสารโตตอบกบผสงขอมล
www.themegallery.com LOGO
(1) วธการสงขอมล
วธการสงขอมลจากจดหน�งไปยงอกจดหน�งน�น สามารถทาได 2 วธ ดงน�
1.1 การสงขอมลจากตนทางเปนกระดาษ เพ�อใหเจาหนาท�ท�ปลายทาง สามารถนา
ขอมลเขาไปยงระบบดวยวธการกรอกขอมลผานเคร�องคอมพวเตอร เรยกวา การสงขอมล
แบบ Off Line “Off-line Submission System”
ขอควรคานงถงในการออกแบบ Data Acquisition
แบบ Off Line “Off-line Submission System”
Data
Data
Data Warehouse
Move
MoveSave Data Warehouse
Key-in
Key-in System
Load
www.themegallery.com LOGO
1.2 การสงขอมลโดยไมจาเปนตองอาศยการเคล�อนท�ของส�อบนทกขอมล เพราะขอมล
จะถกแปลงเปนสญญาณ Analog ผานไปยงส�อสญญาณ เชน สายโทรศพท หรอ Optical
Fiber (ระบบ Internet) เพ�อสงขอมลไปยงคลงขอมล เราจะเรยกการสงขอมลในลกษณะน�
วา “การสงขอมลแบบ On-Line (On-line Submission System)”
ขอควรคานงถงในการออกแบบ Data Acquisition
วา “การสงขอมลแบบ On-Line (On-line Submission System)”
การสงขอมลในรปแบบ On-Line น�น มหลายแนวทาง ซ�งแบงออกเปน 2 แนวทาง
หลกๆ คอ
การสงขอมลผานระบบปด (Closed Loop Submission System)
การสงขอมลผานทางระบบเปด (Open Loop Submission System)
www.themegallery.com LOGO
การสงขอมลผานระบบปด (Closed Loop Submission System)
คอการสงขอมลไปยงระบบท�ประกอบไปดวย โครงสรางพ�นฐานทางการส�อสารท�
เปนสวนตวสาหรบผสงและผรบเทาน�น เชน Leased Line, VPN เปนสญญาณท�ไมได
เปดโอกาสใหบคคล หรอองคกรอ�นๆ เขามารวมใช
ขอควรคานงถงในการออกแบบ Data Acquisition
เปดโอกาสใหบคคล หรอองคกรอ�นๆ เขามารวมใช
ขอด - การรกษาความลบของขอมล
- ตองการความรวดเรวและความคลองตวในการสงขอมล
ขอเสย - การลงทนสง
- การขยายระบบใหมขอบเขตใหญข�น เปนไปไดยาก
www.themegallery.com LOGO
การสงขอมลผานระบบเปด (Open Loop Submission System)
คอการสงขอมลไปยงระบบท�เปดสสาธารณะ เพ�อใชทรพยากรตางๆ ในระบบ
สาธารณะรวมกบระบบอ�นๆ เชน การใชระบบ Internet หรอ ISDN (Integrated
Service Digital Network)
ขอควรคานงถงในการออกแบบ Data Acquisition
Service Digital Network)
ขอด - การสงขอมลท�มความยดหยน งายตอการปรบเขากบระบบตางๆ
- การลงทนต�า
ขอเสย - การรกษาความปลอดภยของขอมล
www.themegallery.com LOGO
(2) ข�นตอนในการสงขอมล
หนาท�หน�งของ Data Acquisition System จะทาหนาท�ในการตรวจสอบสทธในการสงขอมล ซ�งในการเขาสระบบน�น ผสงตองแสดงตนกอนท�จะสงขอมลทกคร�ง เชน การใส Username และ Password เปนตน
ขอควรคานงถงในการออกแบบ Data Acquisition
การใส Username และ Password เปนตน
เน�องจากผสงขอมล 1 คนอาจตองการสงขอมลมากกวา 1 คร�งในแตละวน ทาใหเกดความไมคลองตวในการใชงาน ดงน�น Data Acquisition System ควรเปนระบบท�มคณสมบตยนยอมใหผสงขอมลสามารถแสดงตนเพยงคร�งเดยว แลวสงขอมลไดมากกวา 1 คร�ง จนกวาจะออก เราเรยกระบบสงขอมลแบบน�วา “Single Sign On System”
www.themegallery.com LOGO
(3) การตรวจสอบความถกตองของขอมลท�ไดรบ ดวย Validation Rules
ความถกตองของขอมลน�นจาแนกไดเปน 2 แบบ คอ
- ความถกตองในแงขอจากดตางๆ (Data Constraint Correctness) คอ ขอมลท�ไดรบมาตองมคาไมเกนเลยกวาความเปนจรงท�สามารถเปนไปได เชน ในขอมลท�แสดง
ขอควรคานงถงในการออกแบบ Data Acquisition
รบมาตองมคาไมเกนเลยกวาความเปนจรงท�สามารถเปนไปได เชน ในขอมลท�แสดงอายของบคคล ตองมคาเปนจานวนจรงบวกเทาน�น ไมใชจานวนจรงลบ และไมควรมคาเกนกวา 180 ป เปนตน
- ความถกตองในแงของเน�อหาขอมล (Data Content Correctness) คอ ขอมลท�ไดรบมาตองสามารถนามาใชงานในระบบได โดยไมกอใหเกดความผดพลาดในการวเคราะหขอมล เชน ในระบบคลงขอมลตองการวเคราะหขอมลการซ�อขายเงนตราตางประเทศในเขตประเทศยโรป ระบบกควรจะรบเฉพาะขอมลท�เก�ยวของเทาน�น
www.themegallery.com LOGO
ซ�งใน Data Acquisition System ตองสามารถตรวจสอบความถกตองของขอมลไดใน
ระดบหน�ง คอ อยางนอยท�สด ตองสามารถตรวจสอบวา ขอมลมความถกตองในแงขอ
จากดตางๆ ได (อาจจะตรวจสอบความถกตองในแงของเน�อหาได หรออาจจะยกหนาท�
ใหกบ Data Staging Area)
ขอควรคานงถงในการออกแบบ Data Acquisition
ใหกบ Data Staging Area)
Validation Rules ตางๆ ท�ใชในการตรวจสอบความถกตอง จะถกเกบไวใน Metadata
Repository โดย Validation Rules จะมลกษณะเปนเง�อนไขท�กาหนดใหกระทาอยางใด
อยางหน�ง เม�อเกดขอผดพลาดกบขอมลท�สนใจ โดยเม�อใดท�ขอมลถกสงมาถง Validation
Rules ท�เก�ยวของกบขอมลน�น จะถกเรยกมาใชงานโดยอตโนมต
www.themegallery.com LOGO
ขอควรคานงถงในการออกแบบ Data Acquisition
Sales
ประเภทสนคา
Validation Rule 1 Validation Rule 3
ประเภทสนคาวนท�ยอดขายประจาวนยอดขายสะสม Validation Rule 4Validation Rule 2
www.themegallery.com LOGO
(4) ระบบการส�อสารโตตอบกบผสงขอมล
- ในกรณท�การสงขอมลมความถกตองปกต ระบบควรจะมการส�อสารใหผสงขอมลทราบดวย เพ�อยนยนวาไดรบขอมลท�ถกตองแลว
- ถาขอมลมขอผดพลาด ระบบตองสามารถส�อสารใหผสงขอมลทราบได เพ�อ
ขอควรคานงถงในการออกแบบ Data Acquisition
- ถาขอมลมขอผดพลาด ระบบตองสามารถส�อสารใหผสงขอมลทราบได เพ�อตรวจสอบขอมล และสงขอมลกลบมาใหม
นอกจากน�การส�อสารของระบบ Data Acquisition ยงตองมความยดหยนในการส�อสารดวย เชน การเปล�ยนระบบการสงขอมล จาก On-Line เปน Off-Line
www.themegallery.com LOGO
การรกษาความปลอดภยในการสงขอมล สามารถแบงไดเปน 2 ประเดน คอ การ
รกษาความปลอดภยของระบบการสงขอมล และ การรกษาความปลอดภยของขอมล
โดยมรายละเอยด ดงน�
การรกษาความปลอดภยของระบบการสงขอมล
การรกษาความปลอดภยในการสงขอมล
การรกษาความปลอดภยของระบบการสงขอมล
คอ การปองกนภยตางๆ ท�เกดจากการโจรกรรมขอมล จากอาชญากรรมคอมพวเตอร รวมถงการปองกนอนตรายจากไวรสคอมพวเตอร
ในปจจบนมเทคโนโลยคางๆ มากมายท�นามาใช เชน CA (Certificate Authority) มหนาท�ในการตรวจสอบวา ผสงขอมลน�นมตวตนจรง ไมใชบคคลอ�นท�แอบอางมา เชน เทคโนโลย Public Key , Private Key
www.themegallery.com LOGO
การรกษาความปลอดภยของขอมล
ถาหากเปนการสงขอมลแบบ Off-Line หรอแบบ On-Line ท�มการโจรกรรมขอมลได (เนนตวขอมล ไมเก�ยวกบการสง)
การรกษาความปลอดภยในการสงขอมล
ขอมลได (เนนตวขอมล ไมเก�ยวกบการสง)
เพ�อความปลอดภยของขอมล ควรจะแปลงขอมลใหอยในรปแบบท�ไมสามารถเขาใจไดกอนท�จะสง เรยกวา “การเขารหส (Encrypt)” และแปลงขอมลกลบมาใหอยในรปแบบท�เขาใจได เม�อถงปลายทาง เรยกวา “การถอดรหส (Decrypt)”