Data Acquisition

Data Warehousing

LOGO

Data Warehousing

บทท� 6 การออกแบบระบบการรบขอมลในคลงขอมล

(Data Acquisition)

www.themegallery.com LOGO

Contents

ความหมายของ Data Acquisition1

ขอควรคานงในการออกแบบระบบ Data Acquisition2 ขอควรคานงในการออกแบบระบบ Data Acquisition2

การรกษาความปลอดภยในการสงขอมล3

www.themegallery.com LOGO

ระบบ Data Warehouse มหลายดานท�คลายคลงกบระบบสารสนเทศท�วๆ ไป ท�มการรบขอมลจากภายใน, ภายนอกเขาสระบบ และสามารถผลตผลลพธใหแกผใชงานได

Data Acquisition

Input Process Output

โดยในสวนของการรบขอมลในระบบคลงขอมล เปนหนาท�ของระบบยอยของคลงขอมล ท�เรยกวา ระบบรบขอมล (Data Acquisition)

Input Process Output

www.themegallery.com LOGO

Data Acquisition

Data Acquisition System

Data Staging Area

Data Warehouse Database

Data Provisioning Area

Data Data DataData

Metadata Repository

Meta

data

Meta

data

Meta

data

Meta

data

Terminal

www.themegallery.com LOGO

ในระบบ Data Warehouse ท�ตองการขอมลนาเขาสระบบ ตองมระบบ Data Acquisition เพ�อทาหนาท�ในการรบขอมลและเตรยมขอมลในเบ�องตน เพ�อใหพรอมสาหรบการนาไปใชใน Data Staging Area

คาวา “เตรยมขอมล” ของระบบ Data Acquisition ท�กลาวไวน�น มขอบเขตท�คอนขางกวาง เพราะน�นหมายถงวา ระบบ Data Acquisition จะตองมหนาท�ในการ

Data Acquisition

กวาง เพราะน�นหมายถงวา ระบบ Data Acquisition จะตองมหนาท�ในการ

(1) ตรวจสอบและแกไขขอมลท�มขอผดพลาดในเบ�องตน

เชน ขอมลท�เปนตวเลข กตองเปนตวเลข

ขอมลท�เปนตวอกขระ กตองไมเปนตวเลข

ขอมลบางตวท�ไมสามารถเปนจานวนลบได กตองไมเปนลบ

www.themegallery.com LOGO

(2) ทาใหขอมลไมมส�งแปลกปลอม ท�อาจจะทาใหระบบคลงขอมลเกดความผดพลาด

ในการทางาน

เชน ไวรสคอมพวเตอร หรอไฟลท�ถกเตรยมอยางไมถกตอง จนทาใหระบบไมสามารถอานและนาไปใชงานได เปนตน

Data Acquisition

อานและนาไปใชงานได เปนตน

(3) ระบไดวาใครเปนผท�สงขอมลเขามายงระบบ รวมถง วนและเวลาท�ขอมลเขามาส

ระบบ

(4) ในกรณท�เน�อหาของขอมลมความผดพลาดอยางใดอยางหน�ง ตองสามารถแจง

กลบไปยงผสงขอมลได

เชน เน�อหาไมครบถวน หรอเปนขอมลท�ระบบไมตองการ Data Acquisition

www.themegallery.com LOGO

Data Acquisition

เร�มตน

(1)รบขอมลจากภายนอก

(2)ตรวจสอบผสงขอมล

(6)แจงกลบไปยงผสงให

ตรวจสอบสถานะของตนเอง Yes

No

No

จบ

(3)ตรวจสอบขอมลท�ไดรบมา

(4)ตรวจสอบความถกตองของขอมล

(5)สงขอมลไปยง Staging Area

(7)ใหสงขอมลกลบมาใหม

Yes

Yes

No

No

www.themegallery.com LOGO

เน�องจาก Data Acquisition คอระบบท�ทาหนาท�เช�อมการส�อสารกบบคคลภายนอก

ดงน�น Data Acquisition ตองไดรบการออกแบบใหสามารถรองรบกบแหลงขอมลทกๆ

ประเภท หรอมากประเภทท�สดเทาท�จะเปนไปได

ซ�งคณลกษณะของ Data Acquisition ตอไปน� เปนประเดนท�ควรพจารณาในการ

ขอควรคานงถงในการออกแบบ Data Acquisition

ซ�งคณลกษณะของ Data Acquisition ตอไปน� เปนประเดนท�ควรพจารณาในการ

ออกแบบ Data Acquisition

(1) วธการสงขอมล

(2) ข�นตอนในการสงขอมล

(3) การตรวจสอบความถกตองของขอมลท�ไดรบ ดวย Validation Rules

(4) ระบบการส�อสารโตตอบกบผสงขอมล

www.themegallery.com LOGO

(1) วธการสงขอมล

วธการสงขอมลจากจดหน�งไปยงอกจดหน�งน�น สามารถทาได 2 วธ ดงน�

1.1 การสงขอมลจากตนทางเปนกระดาษ เพ�อใหเจาหนาท�ท�ปลายทาง สามารถนา

ขอมลเขาไปยงระบบดวยวธการกรอกขอมลผานเคร�องคอมพวเตอร เรยกวา การสงขอมล

แบบ Off Line “Off-line Submission System”

ขอควรคานงถงในการออกแบบ Data Acquisition

แบบ Off Line “Off-line Submission System”

Data

Data

Data Warehouse

Move

MoveSave Data Warehouse

Key-in

Key-in System

Load

www.themegallery.com LOGO

1.2 การสงขอมลโดยไมจาเปนตองอาศยการเคล�อนท�ของส�อบนทกขอมล เพราะขอมล

จะถกแปลงเปนสญญาณ Analog ผานไปยงส�อสญญาณ เชน สายโทรศพท หรอ Optical

Fiber (ระบบ Internet) เพ�อสงขอมลไปยงคลงขอมล เราจะเรยกการสงขอมลในลกษณะน�

วา “การสงขอมลแบบ On-Line (On-line Submission System)”

ขอควรคานงถงในการออกแบบ Data Acquisition

วา “การสงขอมลแบบ On-Line (On-line Submission System)”

การสงขอมลในรปแบบ On-Line น�น มหลายแนวทาง ซ�งแบงออกเปน 2 แนวทาง

หลกๆ คอ

การสงขอมลผานระบบปด (Closed Loop Submission System)

การสงขอมลผานทางระบบเปด (Open Loop Submission System)

www.themegallery.com LOGO

การสงขอมลผานระบบปด (Closed Loop Submission System)

คอการสงขอมลไปยงระบบท�ประกอบไปดวย โครงสรางพ�นฐานทางการส�อสารท�

เปนสวนตวสาหรบผสงและผรบเทาน�น เชน Leased Line, VPN เปนสญญาณท�ไมได

เปดโอกาสใหบคคล หรอองคกรอ�นๆ เขามารวมใช

ขอควรคานงถงในการออกแบบ Data Acquisition

เปดโอกาสใหบคคล หรอองคกรอ�นๆ เขามารวมใช

ขอด - การรกษาความลบของขอมล

- ตองการความรวดเรวและความคลองตวในการสงขอมล

ขอเสย - การลงทนสง

- การขยายระบบใหมขอบเขตใหญข�น เปนไปไดยาก

www.themegallery.com LOGO

การสงขอมลผานระบบเปด (Open Loop Submission System)

คอการสงขอมลไปยงระบบท�เปดสสาธารณะ เพ�อใชทรพยากรตางๆ ในระบบ

สาธารณะรวมกบระบบอ�นๆ เชน การใชระบบ Internet หรอ ISDN (Integrated

Service Digital Network)

ขอควรคานงถงในการออกแบบ Data Acquisition

Service Digital Network)

ขอด - การสงขอมลท�มความยดหยน งายตอการปรบเขากบระบบตางๆ

- การลงทนต�า

ขอเสย - การรกษาความปลอดภยของขอมล

www.themegallery.com LOGO

(2) ข�นตอนในการสงขอมล

หนาท�หน�งของ Data Acquisition System จะทาหนาท�ในการตรวจสอบสทธในการสงขอมล ซ�งในการเขาสระบบน�น ผสงตองแสดงตนกอนท�จะสงขอมลทกคร�ง เชน การใส Username และ Password เปนตน

ขอควรคานงถงในการออกแบบ Data Acquisition

การใส Username และ Password เปนตน

เน�องจากผสงขอมล 1 คนอาจตองการสงขอมลมากกวา 1 คร�งในแตละวน ทาใหเกดความไมคลองตวในการใชงาน ดงน�น Data Acquisition System ควรเปนระบบท�มคณสมบตยนยอมใหผสงขอมลสามารถแสดงตนเพยงคร�งเดยว แลวสงขอมลไดมากกวา 1 คร�ง จนกวาจะออก เราเรยกระบบสงขอมลแบบน�วา “Single Sign On System”

www.themegallery.com LOGO

(3) การตรวจสอบความถกตองของขอมลท�ไดรบ ดวย Validation Rules

ความถกตองของขอมลน�นจาแนกไดเปน 2 แบบ คอ

- ความถกตองในแงขอจากดตางๆ (Data Constraint Correctness) คอ ขอมลท�ไดรบมาตองมคาไมเกนเลยกวาความเปนจรงท�สามารถเปนไปได เชน ในขอมลท�แสดง

ขอควรคานงถงในการออกแบบ Data Acquisition

รบมาตองมคาไมเกนเลยกวาความเปนจรงท�สามารถเปนไปได เชน ในขอมลท�แสดงอายของบคคล ตองมคาเปนจานวนจรงบวกเทาน�น ไมใชจานวนจรงลบ และไมควรมคาเกนกวา 180 ป เปนตน

- ความถกตองในแงของเน�อหาขอมล (Data Content Correctness) คอ ขอมลท�ไดรบมาตองสามารถนามาใชงานในระบบได โดยไมกอใหเกดความผดพลาดในการวเคราะหขอมล เชน ในระบบคลงขอมลตองการวเคราะหขอมลการซ�อขายเงนตราตางประเทศในเขตประเทศยโรป ระบบกควรจะรบเฉพาะขอมลท�เก�ยวของเทาน�น

www.themegallery.com LOGO

ซ�งใน Data Acquisition System ตองสามารถตรวจสอบความถกตองของขอมลไดใน

ระดบหน�ง คอ อยางนอยท�สด ตองสามารถตรวจสอบวา ขอมลมความถกตองในแงขอ

จากดตางๆ ได (อาจจะตรวจสอบความถกตองในแงของเน�อหาได หรออาจจะยกหนาท�

ใหกบ Data Staging Area)

ขอควรคานงถงในการออกแบบ Data Acquisition

ใหกบ Data Staging Area)

Validation Rules ตางๆ ท�ใชในการตรวจสอบความถกตอง จะถกเกบไวใน Metadata

Repository โดย Validation Rules จะมลกษณะเปนเง�อนไขท�กาหนดใหกระทาอยางใด

อยางหน�ง เม�อเกดขอผดพลาดกบขอมลท�สนใจ โดยเม�อใดท�ขอมลถกสงมาถง Validation

Rules ท�เก�ยวของกบขอมลน�น จะถกเรยกมาใชงานโดยอตโนมต

www.themegallery.com LOGO

ขอควรคานงถงในการออกแบบ Data Acquisition

Sales

ประเภทสนคา

Validation Rule 1 Validation Rule 3

ประเภทสนคาวนท�ยอดขายประจาวนยอดขายสะสม Validation Rule 4Validation Rule 2

www.themegallery.com LOGO

(4) ระบบการส�อสารโตตอบกบผสงขอมล

- ในกรณท�การสงขอมลมความถกตองปกต ระบบควรจะมการส�อสารใหผสงขอมลทราบดวย เพ�อยนยนวาไดรบขอมลท�ถกตองแลว

- ถาขอมลมขอผดพลาด ระบบตองสามารถส�อสารใหผสงขอมลทราบได เพ�อ

ขอควรคานงถงในการออกแบบ Data Acquisition

- ถาขอมลมขอผดพลาด ระบบตองสามารถส�อสารใหผสงขอมลทราบได เพ�อตรวจสอบขอมล และสงขอมลกลบมาใหม

นอกจากน�การส�อสารของระบบ Data Acquisition ยงตองมความยดหยนในการส�อสารดวย เชน การเปล�ยนระบบการสงขอมล จาก On-Line เปน Off-Line

www.themegallery.com LOGO

การรกษาความปลอดภยในการสงขอมล สามารถแบงไดเปน 2 ประเดน คอ การ

รกษาความปลอดภยของระบบการสงขอมล และ การรกษาความปลอดภยของขอมล

โดยมรายละเอยด ดงน�

การรกษาความปลอดภยของระบบการสงขอมล

การรกษาความปลอดภยในการสงขอมล

การรกษาความปลอดภยของระบบการสงขอมล

คอ การปองกนภยตางๆ ท�เกดจากการโจรกรรมขอมล จากอาชญากรรมคอมพวเตอร รวมถงการปองกนอนตรายจากไวรสคอมพวเตอร

ในปจจบนมเทคโนโลยคางๆ มากมายท�นามาใช เชน CA (Certificate Authority) มหนาท�ในการตรวจสอบวา ผสงขอมลน�นมตวตนจรง ไมใชบคคลอ�นท�แอบอางมา เชน เทคโนโลย Public Key , Private Key

www.themegallery.com LOGO

การรกษาความปลอดภยของขอมล

ถาหากเปนการสงขอมลแบบ Off-Line หรอแบบ On-Line ท�มการโจรกรรมขอมลได (เนนตวขอมล ไมเก�ยวกบการสง)

การรกษาความปลอดภยในการสงขอมล

ขอมลได (เนนตวขอมล ไมเก�ยวกบการสง)

เพ�อความปลอดภยของขอมล ควรจะแปลงขอมลใหอยในรปแบบท�ไมสามารถเขาใจไดกอนท�จะสง เรยกวา “การเขารหส (Encrypt)” และแปลงขอมลกลบมาใหอยในรปแบบท�เขาใจได เม�อถงปลายทาง เรยกวา “การถอดรหส (Decrypt)”