Ứng dụng Data Warehouse xây dựng CSDL KTXH cho các Bộ, Ngành

Trình bày: Chu Kỳ Quang

Huế - 30/8/2013

Nội dung trình bày

I. DW và OLAP trong hệ thống hỗ trợ ra quyết định

II. Một trường hợp ứng dụng

III.Một vài nhận xét

I. DW&OLAP trong hệ thống hỗ trợ ra quyết định

Nhu cầu thông tin1. Phân biệt 2 loại thông tin:• Thông tin dữ liệu nhằm phục vụ tính hợp pháp

của các quyết định hành chính • Thông tin dữ liệu phục vụ tính hợp lý của các

quyết định hành chính2. Xây dựng DW&OLAP là một trong các giải

pháp đáp ứng thông tin phục vụ tính hợp lý của các quyết định hành chính

I. Những câu hỏi của nhà quản lý

1. “Chúng tôi có hàng núi dữ liệu, nhưng chúng ta không thể truy cập được”

2. “Chúng tôi cần lát mỏng (slicing) và cắt miếng (dicing) dữ liệu theo cách tùy ý”

3. “Các anh làm công nghệ thông tin phải làm sao cho người nghiệp vụ trực tiếp lấy được dữ liệu”

4. “Tôi cần biết điều gì là quan trọng”

5. “Tôi phát điên lên là tại cuộc họp có hai người đưa ra hai con số khác nhau của cùng một chỉ tiêu nghiệp vụ”

6. “Chúng tôi muốn mọi người phải sử dụng nhiều thông tin hơn để hỗ trợ việc ra quyết định”

I.Kiến trúc hệ thống DW&OLAP

I.Kiến trúc hệ thống DW&OLAP

• Lớp đáy là nguồn dữ liệu bên ngoài• Lớp tiếp theo là DW. Nó luôn là một hệ thống CSDL

quan hệ. Lược đồ CSDL của nó thường là hình sao, hình bông tuyết và hình chòm sao.

• Lớp giữa là OLAP server, thường được cài đặt bởi hoặc

(1) Mô hình ROLAP

(2) Mô hình MOLAP

(3) Mô hình lai HOLAP• Lớp đỉnh là một client, nó bao gồm các công cụ hỏi, báo

cáo, phân tích và các công cụ phân tích dự báo

I.So sánh các k/n cơ bản của DW & OLAP

  DW OLAP Hệ thống DBMS quan hệ (SQL,

Oracle…) OLAP engine (SSAS, …)

Mô hình dữ liệu

- Theo mô hình quan hệ - Lược đồ hình sao, bông tuyết, chòm sao

- Mô hình đa chiều - Các cube dữ liệu

Phép toán Các phép chiếu, chọn, nối với cú pháp SELECT FROM WHERE thực hiện trên các table và cho kết quả cũng là table (bảng phẳng)

Các phép drill down/up, dice, slice, pivot trên các cube và cho kết quả là các cube, hiển thị bảng làm tổ

I.So sánh… Mô hình dữ liệu DM (hình sao)

I.So sánh… Mô hình dữ liệu CUBE

I.So sánh… Các phép toán DM (SQL)SELECT TG.THANG, DP.TEN, SP.TEN, BH.DS

FROM TG, DP, SAN_PHAM SP, BAN_HANG.

WHERE TG.TG=BH.TG AND DP.DP=BH.DP AND SP.SP=SP.SP

THANG DP SP DS 2/2012 HN P2 12/2012 SG P1 22/2012 SG P2 33/2012 HN P1 43/2012 HN P2 53/2012 SG P1 63/2012 SG P2 74/2012 HN P1 84/2012 HN P2 94/2012 SG P1 104/2012 SG P2 11

I.So sánh… Các phép toán CUBE (MDX)SELECT

{([DIA_PHUONG].[TEN], [SAN_PHAM].[TEN])} ON COLUMNS

[THOI_GIAN].[THANG] ON ROWS

FROM BAN_HANG

HN SG

All P1 P2 All P1 P2

2/2012 1   1 5 2 3

3/2012 9 4 5 13 6 7

4/2012 17 8 9 21 10 11

II. Một trường hợp ứng dụng

Mục tiêu dự án

1. Xây dựng mô hình phân tích dự báo KTXH trung và dài hạn

2. Xây dựng mô hình phân tích dự báo KTXH ngắn hạn

II.Quy trình phân tích dự báo

1. Xác định và định nghĩa vấn đề cần phân tích, dự báo

2. Hiểu dữ liệu

3. Chuẩn bị dữ liệu

4. Xây dựng hoặc lựa chọn mô hình dự báo và dự báo

5. Phân tích và đánh giá kết quả dự báo

6. Sử dụng kết quả dự báo, thông tin, tri thức mới rút ra từ mô hình dự báo.

II. Một số phương pháp phân tích dự báo

1. Khai phá dữ liệu: mô tả lớp, luật kết hợp, phân tích cụm…

2. Phương pháp ngoại suy

3. Mô hình tăng trưởng kinh tế

4. Mô hình chuỗi thời gian

5. Mô hình kinh tế lượng

6. Mô hình cân bằng tổng quát tính toán được

7. Mô hình đầu vào, đầu ra (Bảng I/O)

II.Giải pháp của HIPTXây dựng DW&OLAP là platform dữ liệu cho quá trình phân tích dự báo

II. Giải pháp của HIPT

Hệ thống chỉ tiêu1. Nhóm chỉ tiêu đô thị hóa

2. Nhóm chỉ tiêu chất lượng nguồn nhân lực

3. Nhóm chỉ tiêu chuyển dịch Cơ cấu kinh tế

4. Nhóm chỉ tiêu Cơ sở hạ tầng

5. Nhóm chỉ tiêu cán cân thanh toán quốc tế

6. Nhóm chỉ tiêu Nông lâm nghiệp và thuỷ sản

7. Nhóm chỉ tiêu Công nghiệp

8. .v.v.

II. Giải pháp của HIPT

Phân tổ1. Khu vực kinh tế

2. Thành phần kinh tế

3. Ngành kinh tế

4. Mục đích sử dụng

5. Loại hình doanh nghiệp

6. .v.v.

II. Giải pháp của HIPT

Địa danh phân cấp1. Vùng lãnh thổ (Âu. Á, Các nước Đông Nam Á…)

2. Nước

3. Vùng miền• Trung du và miền núi phía Bắc • Đồng bằng sông Hồng • Bắc Trung Bộ và Duyên hải miền Trung• Đông Nam Bộ• Đồng bằng sông Cửu Long• Tây Nguyên

4. Tỉnh/Thành phố

II. Giải pháp của HIPT

Thời gian phân cấp1. Năm (số liệu từ 1995 đến 2012)

2. Quý

3. Tháng

II. HỆ THỐNG PHẦN MỀM

1. Sử dụng SSAS tạo cube online từ DM

2. Chương trình của HIPT tạo cube offline lưu trong file .CUB

3. Chương trình quản lý DM (cập nhật các bảng chiều, tải bảng FACT), khai thác CUBEvà DM

4. Chương trình khai thác CUBE (webbase)

5. Sử dụng SSAS viết câu lệnh MDX

II. Nhận xét: chức năng của DW&OLAP• Làm cho thông tin của tổ chức truy cập được: dễ hiểu, mềm

dẻo (navigable) và nhanh• Làm cho thông tin của tổ chức thống nhất: nếu 2 số liệu của

tổ chức có cùng tên, thì chúng phải đồng nghĩa; ngược lại nếu 2 số liệu khác nghĩa thì chúng phải khác tên

• Nguồn thông tin thích nghi với sự thay đổi: khi thêm câu hỏi mới và dữ liệu mới, dữ liệu và công nghệ đang sử dụng không thay đổi và không mắc lỗi

• DW phải là pháo đài an ninh bảo vệ tài sản thông tin của tổ chức

• DW là cơ sở để ra quyết định: dữ liệu lịch sử và chân thực của DW là cơ sở để hỗ trợ việc ra quyết định

II. Nhận xét: Trách nhiệm của QT DW&OLAP

1. Hiểu được lĩnh vực nghiệp vụ, trách nhiệm công việc của người sử dụng.

2. Xác định rõ các quyết định mà người nghiệp vụ muốn ban hành với sự trợ giúp của DW&OLAP.

3. Chỉ ra người sử dụng tốt nhất, người sẽ ra quyết định có sử dụng DW&OLAP.

4. Tìm ra người sử dụng mới tiềm năng và làm cho họ biết tới DW&OLAP.

5. Chọn ra một tập con dữ liệu tích cực và hiệu quả nhất từ một núi dữ liệu trong tổ chức để đưa vào DW&OLAP.

II. Nhận xét: Trách nhiệm của QT DW&OLAP

6. Tạo ra các giao diện ứng dụng đơn giản, phù hợp với kinh nghiệm của người sử dụng.

7. Bảo đảm dữ liệu là chính xác và tin cậy, gắn nhãn cho nó một cách nhất quán trong toàn bộ tổ chức.

8. Liên tục giám sát tính chính xác của dữ liệu và nội dung của các báo cáo được phát hành.

9. Tìm kiếm các nguồn dữ liệu mới, làm DW&OLAP liên tục thích nghi với sự thay đổi của dữ liệu, các yêu cầu báo cáo và các ưu tiên nghiệp vụ.

10. Trên cơ sở thành công của các quyết định nghiệp vụ có sử dụng DW&OLAP, điều chỉnh nhân sự, phần mềm và phần cứng.

II. Nhận xét: Trách nhiệm của QT DW&OLAP

11. Phát hành dữ liệu đều đặn

12. Duy trì sự tin cậy của người sử dụng

13. Giữ được người sử dụng nghiệp vụ, sự hỗ trợ của người điều hành và sự hài lòng của lãnh đạo

II. NX: Những cạm bẫy phải tránh khi xây dựng DW

1. Quá quan tâm đến công nghệ và dữ liệu hơn là tập trung vào yêu cầu và mục đích của nghiệp vụ

2. Không có được người bảo trợ cho DW&OLAP, người có tầm nhìn quản lý hợp lý, có ảnh hưởng

3. Triển khai dự án 1 lần mà không nỗ lực phát triển dần dần, có quản lý và hấp dẫn người dùng

4. Phân bổ quá nhiều nguồn lực để xây dựng vùng chuẩn bị dữ liệu dẫn đến hết tiền trước khi xây dựng vùng trình bày có giá trị trên cơ sở mô hình chiều

5. Chú ý quá nhiều vào hiệu quả xử lý hậu trường hơn là chú ý đến hiệu quả xử lý câu hỏi và tính dễ sử dụng cho người nghiệp vụ

II. NX: Những cạm bẫy phải tránh khi xây dựng DW

6. Làm cho dữ liệu được hỏi trong vùng trình bày trở nên quá phức tạp

7. Triển khai các mô hình đa chiều một cách cô lập mà không xem xét đến kiến trúc dữ liệu cho phép chia sẻ các chiều tương thích

8. Chỉ tải dữ liệu tổng vào vùng trình bày

9. Cho rằng yêu cầu nghiệp vụ, dữ liệu đang có và công nghệ là tĩnh

10. Không coi trọng sự chấp nhận của người dùng là thành công của DW&OLAP

CÂU HỎI THẢO LuẬN