BÀI GIẢNG MỘT SỐ CHỦ ĐỀ HIỆN ĐẠI VỀ KHAI PHÁ DỮ LIỆU:KHAI PHÁ QUÁ TRÌNH

CHƯƠNG 1. GIỚI THIỆU CHUNG VỀ HỆ THỐNG THÔNG TIN VÀ KHAI PHÁ QUÁ TRÌNH

PGS. TS. HÀ QUANG THỤYHÀ NỘI 01-2015

TRƯỜNG ĐẠI HỌC CÔNG NGHỆĐẠI HỌC QUỐC GIA HÀ NỘI

1

Nội dung1. Giới thiệu chung về hệ thống thông tin2. Giới thiệu sơ bộ về khai phá quá trình

2

Phần 1. Giới thiệu chung về Hệ thống thông tin

3

Dữ liệu, thông tin, tri thức Khái niệm dữ liệu Dữ liệu: sự kiện thô

chỉ số nhân viên, tên mặt hàng, số lượng hàng trong một đơn hàng.. “Thô”: thu được từ ghi chép sự kiện từ thế giới thực Các kiểu dữ liệu: chữ-số (Alphanumeric), ảnh (image), âm thanh (tiếng nói, tiếng động,

Video (hình/ảnh chuyển động) Dạng tự nhiên và số hóa

Khái niệm thông tin Dữ liệu được tổ chức dựa theo mang thêm một ý nghĩa thông tin Thông tin: tập dữ liệu được tổ chức theo cách (các quy tắc và các mỗi quan hệ) tạo ra một

giá trị gia tăng ngoài tập giá trị của các dữ liệu riêng. So sánh khái niệm mẫu (pattern) trong khai phá dữ liệu. Tổng doanh thu bán hàng trong tháng <> số lượng bán hàng của từng ngày, từng đại lý.

Minh họa: Dữ liêu Thanh tà vẹt, thanh ray. Thông tin đường sắt (trái), đường sắt phức hợp (phải).

Từ dữ liệu thông tin cần qua một quá trình (Một tập các nhiệm vụ có liên quan loogic được thực hiện để đạt được một kết quả xác định)

4

Tri thức

Khái niệm tri thức Các dự báo và hiểu biết về một tập các thông tin và các cách thức mà thông tin trở

nên hữu ích để hỗ trợ một nhiệm vụ cụ thể hoặc đưa ra một quyết định. So sánh khái niệm tri thức trong Khai phá dữ liệu.

Có tri thức hiểu biết mối quan hệ trong thông tin Nhân công tri thức (knowledge worker): người tạo, sử dụng, phổ biến tri thức, thường

là chuyên gia về khoa học, kỹ thuật, kinh doanh, miền ỨD. Hệ thống quản lý tri thức (knowledge management system): một tập được tổ chức

gồm con người, thủ tục, phần mềm, CSDL và các thiết bị để tạo ra, lưu trữ và sử dụng tri thức và kinh nghiệm của tổ chức.

Xử lý dữ liệu theo bộ óc hoặc thủ công hoặc bằng máy tính.

5

Các đặc trưng của thông tin có giá trị Thông tin có giá trị Cho người quản lý và người ra quyết định (“quản lý” và “lãnh đạo”). Nhìn chung “chính xác,

đúng người, đúng thời điểm” Các đặc trưng: truy nhập được (Accessible), chính xác (Accurate), đầy đủ (Complete), kinh tế

(Economical), linh hoạt (Flexible), có liên quan (Relevant), tin cậy (Reliable), An toàn (Secure), đơn giản (Simple), kịp thời (Timely), kiểm chứng được (Verifiable).

Truy nhập được Người sử dụng có thẩm quyền dễ dàng nhận được, ở dạng phù hợp, đúng thời điểm theo yêu

cầu. Chính xác Thông tin chính xác là không bị lỗi. Trong nhiều trường hợp, thông tin không chính xác do dữ

liệu không chính xác trong quá trình chuyển đổi (được gọi là “nhập rác, xuất rác”: garbage in, garbage out: GIGO).

Đầy đủ Thông tin cần bao gồm các yếu tố quan trọng. Phản ví dụ: Một báo cáo đầu tư không nói về chi

phí quan trọng.

6

Thông tin có giá trị (tiếp) Tính kinh tế

Tính kinh tế liên quan tới chi phí tạo thông tin. Người ra quyết định cần cân bằng giá trị của thông tin với chi phí tạo ra nó.

Tính linh hoạt Thông tin được sử dụng linh hoạt cho nhiều mục đích. Ví dụ, thông tin

lượng hàng tồn kho cho người bán hàng, cho người quản lý tài chính… Có liên quan

Có liên quan là quan trọng cho người ra quyết định. Tính tin cậy

Theo sự tín nhiệm của người dùng. Tính tin cậy phụ thuộc vào tính tin cậy của phương pháp thu thập thông tin / tính tin cậy của nguồn thông tin.

Tính an toàn Tránh được sự truy nhập trái phép.

Tính đơn giản Cần đơn giản, không quá phức tạp. Thông tin phức tạp và chi tiết có thể

không cần thiết.

7

Thông tin có giá trị (tiếp) Tính kịp thời

Được cung cấp khi cần đến nó: “Biết thời tiết cuối tuần trước không giúp gì cho chọn áo khoác mặc thứ Năm”.

Tính kiểm chứng được Thông tin cần kiểm chứng được: kiểm tra được tính đúng đắn có thể

bằng nhiều nguồn khác nhau. Lưu ý

Độ quan trọng các đặc trưng tùy thuộc vào kiểu dữ liệu cần đến: (i) Với dữ liệu thông minh thị trường: tính kịp thời > tính chính xác / tính đầy đủ (chẳng hạn, các đối thủ cạnh tranh có thể tạo ra giảm giá lớn…); (ii) tính chính xác, đầy đủ và kiểm chứng được là quan trọng

8

Khái niệm hệ thống

Khái niệm hệ thống Một tập các phần tử / các thành phần tương tác để hoàn thành mục tiêu Các phần tử và các quan hệ giữa chúng xác định cách hoạt động của hệ thống. Hệ thống có các thành phần input, các cơ chế xử lý, output và cơ chế phản hồi Ví dụ, hệ thống rửa ô tô:

Bao gồm các phần tử độc lập hoặc thành phần (phun chất lỏng, chổi bọt, sấy không khí…) Cơ chế xử lý tùy theo lựa chọn khách hàng: chỉ làm sạch / làm sạch & đánh bóng / làm sạch &

đánh bóng & làm khô) Cơ chế phản hồi: đánh giá của khách hàng về chất lượng rửa xe.

9

Các kiểu hệ thống Các kiểu hệ thống phức tạp Hệ thống tự nhiên Hệ thống sản xuất Hệ thống xã hội – công nghệ

10

Hệ thống xã hội – công nghệ

Hệ thống xã hội – công nghệ Một lượng tùy ý các phần tử, các liên kết, các thuộc tính và các tác

nhân tương tác đáp ứng các yêu cầu của một khách hàng đã biết và khởi tạo giá trị.

Tổ hợp của hệ thống tự nhiên và hệ thống sản xuất Con người, quá trình và hàng hóa

Các phần tử tương tác giữa các phương diện xã hội và cơ khí

Hoạt động hướng khách hàng Tương tác đồng sản xuất giữa nhà cung cấp và khách hàng Giao dịch kinh tế và tạo giá trị

11

Các loại hệ thống

12

Hệ thống: Hiệu năng và các chuẩn Độ đo hiệu năng hệ thống Tồn tại một số độ đo về hiệu năng hệ thống Hiệu suất (efficiency): Độ đo tỷ số giữa cái được sản suất ra chia cho cái tiêu

thụ để sản xuất (0-100%). Ví dụ, hiệu suất của một động cơ là tỷ số giữa năng lượng được sinh ra (công việc được

thực hiện) với số năng lượng cần tiêu thụ (theo điện năng hoặc nhiên liệu). Được dùng để so sánh các hệ thống.

Hiệu lực (effectiveness): Độ đo mức độ hệ thống đạt được mục tiêu, là tỷ số các mục tiêu thực sự đạt được trên tổng các mục tiêu đặt ra.

Ví dụ, một công ty muốn một lợi nhuận 100 tỷ đồng/1 năm sử dụng HTTT và lợi nhuận đạt được thực sự là 85 tỷ đồng hiệu lực 85%.

Một chuẩn hiệu năng (perfomance standard) là một mục tiêu cụ thể của hệ thống.

Ví dụ, một chuẩn hiệu năng cho một chiến dịch tiếp thị là mỗi đại lý bán hàng 100 tỷ đồng cho mỗi loại sản phẩm/năm (Hình trên). Một chuẩn hiệu năng cho một quá trình sản xuất là có không quá 1% sản phẩm lỗi (Hình dưới). Hệ thống thực hiện và so sánh với chuẩn.

13

Hệ thống: Hiệu năng và các chuẩn

14

Ví dụ các chuẩn hiệu năng: mục tiêu tăng bán hàng (a, trên)mục tiêu giảm lỗi sản phẩm (b, dưới)

Mô hình hóa hệ thống

15

Mô hình hóa một hệ thống: tường thuật (từ, nói, viết), vật lý (hình tượng), sơ đồ (đồ họa), toán học

Khái niệm hệ thống thông tin

Khái niệm hệ thống thông tin (information system: IS) Một tập các phần tử hoặc thành phần liên quan nhau cung cấp

thông tin tạo lợi thế cạnh tranh cho tổ chức thực hiện thu thập (input), thao tác (xử lý), lưu trữ và kết xuất

(output) dữ liệu và thông tin, và cung cấp một phản ứng hiệu chỉnh (cơ chế phản hồi: feedback mechanism) đạt được một mục tiêu (objective).

Cơ chế phản hồi là thành phần giúp các tổ chức đạt được các mục đích (goals), chẳng hạn như tăng lợi nhuận /cải thiện quan hệ khách hàng. Phản hồi là thành phần chủ chốt cho thành công của hệ thống.

16

Khái niệm hệ thống thông tin Các khái niệm liên quan trong định nghĩa Bộ vào (input): Hoạt động thu thập và đạt được dữ liệu thô. Ví dụ, (i) trước khi lập và in

bảng lương, số giờ làm việc của mọi nhân viên cần được thu thập; (ii) Trong hệ thống tín điểm đại học, các giảng viên phải nộp đầy đủ kết quả thi mọi môn học

Xử lý (processing): Biến đổi hoặc chuyển dạng dữ liệu thành các kết quả ra hữu ích. Tính toán, so sánh dữ liệu, hoạt động khác, và lưu trữ dữ liệu để dùng về sau. Bằng tay, bằng máy tính.

Bộ ra (output): Việc kết xuất ra các thông tin hữu dụng, thường là văn bản hoặc báo cáo. Bộ ra hệ thống này có thể bộ vào hệ thống kế tiếp.

Phản hồi (feedback): Các kết quả ra được sử dụng để thay đổi input hoặc hành động xử lý.

Hệ thống thông tin thủ công và dựa trên máy tính Vẽ các sơ đồ, bảng biểu, đường xu hướng để ra quyết định Hiện tại, hầu hết hệ thống dựa trên mày tính

17

Khung tổng thể các hệ thống thông tin

18

[SJB09] John W. Satzinger, Robert B. Jackson, Stephen D. Burd (2009). Systems Analysis and Design in a Changing World, Course Technology, Cengage Learning

Các kiểu hệ thống thông tin

19

[SJB09] John W. Satzinger, Robert B. Jackson, Stephen D. Burd (2009). Systems Analysis and Design in a Changing World, Course Technology, Cengage Learning

HTTT dựa trên máy tính (CBIS)

Computer- Based Information System (CBIS), CBIS: một tập đơn nhất các phần tử/thành phần: phần cứng, phần mềm,

CSDL, viễn thông-mạng-internet, con người, các thủ tục procedures (chiến lược: strategics, chính sách: polities, phương pháp: methods, quy tắc: rules) được cấu hình để thu thập, chế biến, lưu trữ, và xử lý dữ liệu thành thông tin.

Hạ tầng công nghệ (cho kinh doanh): Mọi thành phần phần cứng, phần mềm, CSDL, viễn thông-mạng-internet, con người, thủ tục để thu thập, chế biến, lưu trữ, và xử lý dữ liệu thành thông tin.

20

Các thành phần của CBIS Phần cứng Thiết bị máy tính để thi hành các hành động của bộ vào, xử lý và bộ ra. Tiến bộ nhanh theo

định luật Moore (xem môn KPDL).

Phần mềm Các chương trình máy tính điều phối vận hành của máy tính, cho phép xử lý bảng lương, gửi hóa đơn tới khách hàng, cung cấp cho nhà quản lý các thông tin để tăng lợi nhuận, giảm chi phí, cung cấp dịch vụ tốt

nhất tới khách hàng… Phần mềm hệ thống và phần mềm ứng dụng

CSDL Một tập có tổ chức gồm dữ liệu và thông tin. Thường bao gồm nhiều tệp dữ liệu liên quan. CDSL một tổ chức: chứa sự kiện và thông tin về khách hàng, nhân viên, hàng tồn kho, bán

hàng của đối thủ, mua hàng trực tuyến… Hầu hết nhà quản lý: HTTT là một trong các thành phần giá trị nhất

21

Các thành phần của CBIS Mạng Truyền thông (telecommunication): Truyền tải điện tử các tín hiệu truyền thông, cho phép các

tổ chức thực hiện các quy trình và nhiệm vụ của tổ chức một cách hiệu quả thông qua mạng, Mạng: Các máy tính và các thiết bị được kết nối trong tòa nhà, khắp đất nước, khắp thế giới

cho phép truyền thông điện tử Internet: Mạng lớn nhất thế giới.

Con người thành phần quan trọng nhất ở hầu hết các CBIS, tạo ra sự khác biệt giữa thành công và thất

bại của hầu hết các tổ chức. Gồm người quản lý, chạy chương trình, lập chương trình và duy trì HTTT. Người dùng gồm

giám đốc tài chính, đại lý tiếp thị, thao tác viên sản xuất … cũng thuộc thành phần con người

Thủ tục Các chiến lược, chính sách, phương pháp, và các quy tắc sử dụng CBIS, Thủ tục tốt giúp công ty tận dụng lợi thế từ cơ hội mới và tránh được thảm họa

22

HTTT kinh doanh

23

HTTT trong các tổ chức kinh doanh theo ba mức:Mức trên: Hệ thống quản lý tri thức và hệ thống thông tin kinh doanh

chuyên ngànhMức giữa: Hệ thống thông tin quản lý và hệ thống hỗ trợ quyết địnhMức dưới: Thương mại điện tử và thương mại không dây (M-commerce:

Mobile-commerce)

Thương mại điện tử - thương mại di động

24

Thương mại điện tử Mọi giao dich kinh doanh được thực hiện bằng điện tử giữa

các công ty (B2B: business-to-business): PayPal hệ thống thanh toán thương mại điện tử khoảng 1,5 tỷ US$ hàng năm,

công ty –khách hàng (B2C: business-to- consumer). TMĐT cho công ty nhỏ cơ hội tiếp thị và bán hàng với giá thành thấp trên toàn cầu,

giữa các khách hàng (C2C: consumer-to- consumer), công ty – chính quyền (B2G: business and the public sector), Khách hàng – chính quyền (C2G: consumers and the public sector).

Thương mại di động Giao dịch được thực hiện ở mọi nơi, mọi thời điểm. Dùng điện thoại di động để thanh toán hàng hóa và dịch vụ Tại Hàn Quốc: 70 % phí điện thoại di động chi trả cho nội dung

số, như âm nhạc số.

An toàn thông tin và an ninh mạng Cải thiện an ninh Internet và Web nhanh hơn.

TMĐT đơn giản hóa quá trình giao dịch

25

Thanh toán truyền thống và thanh toán điện tử

Thương mại điện tử

26

Khái niệm electronic business (e-business) còn được gọi “tác nghiệp điện tử” Sử dụng HTTT và Internet thực hiện mọi bài toán và chức năng liên

quan kinh doanh, ví dụ, kế toán-tài chính- tiếp thị- sản xuất – quản lý nguồn lực…

với khách hàng, nhà cung cấp, đối tác chiến lược, các bên liên quan Chiến lược e-business là mềm dẻo và thích ứng cao

Tiến hóa HTTT doanh nghiệp

Tiến hóa HTTT doanh nghiệp Như sơ đồ bên trái: TPS HTTT quản lý (ERP và các MIS khác) DSS

Hệ thống xử lý giao dịch Giao dịch: Mọi trao đổi liên quan tới kinh doanh, ví dụ như trả lương cho nhân viên, bán hàng cho khách hàng,

thanh toán cho nhà cung cấp… Hệ xử lý giao dịch TPS (Transaction Processing Systems): Một tập có tổ chức gồm con người, thủ tục, phần

mềm, CSDL, thiết bị được dùng để ghi các giao dịch kinh doanh hoàn thành. Ví dụ TPS ban đầu là hệ thống xử lý lương. Rất nhiều TPS tại các doanh nghiệp. Hệ thống doanh nghiệp (Enterprise systems): hỗ trợ hiệu năng tổ chức và tích hợp nhiều bài toán quan trọng

như trả tiền nhân viên & nhà cung cấp, kiểm soát hàng tồn kho, gửi hóa đơn, đặt hàng nhà cung cấp…

27

Hệ thống ERP Hệ thống hoạch định nguồn lực tổ chức Hệ thống hoạch định nguồn lực doanh nghiệp ERP (Enterprise Resource Planning System) Một tập các chương trình được tích hợp có đủ năng lực quản lý các hoạt động kinh doanh của một tổ chức đa diện toàn bộ, toàn cầu hóa. ERPS thay thể nhiều chương trình ứng dụng bằng một tập thống nhất các chương trình, làm cho hệ thống dễ sử dụng và hiệu quả hơn. Hầu hết các ERPS cung cấp phần mềm tích hợp để hỗ trợ sản xuất và tài chính. Một vài hệ thống con chi trả đơn đặt hàng cần thiết. Lợi ích chính là dễ dàng quá trình làm việc cải tiến và tăng cường truy nhập dữ liệu kịp thời để ra

quyết định.

Công cụ hệ thống ERP SAP là công ty hàng đầu

cung cấp sản phẩm ERPS. 34 nghìn nhân viên ở trên

50 quốc gia.

28

HTTT quản lý

Hệ thống thông tin quản lý Management information system (MIS) Một tập có tổ chức con người, thủ tục, phần mềm, CSDL, thiết bị cung

cấp thông tin thường xuyên tới các nhà quản lý và người ra quyết định. Tập trung vào tính hiệu quả của điều hành. Tiếp thị, sản xuất, tài chính và

vùng chức năng khác được MIS hố trợ và kết nối vào một CSDL chung. Sinh ra bào cáo chuẩn từ dữ liệu/thông tin từ TPS.

29

Hệ hỗ trợ quyết định

Hệ hỗ trợ quyết định Decision Support Systems (DSS) Một tập có tổ chức con người, thủ tục, phần mềm, CSDL, thiết bị được dùng để hỗ trợ

việc tạo quyết định bài toán cụ thể. MIS giúp các tổ chức làm các điều đúng (“do things right”) còn DSS giúp nhà quản lý

làm các điều được coi là đúng (“do the right thing”). MIS không được dùng để hỗ trợ hướng bài toán còn DSS gợi ý các lựa chọn thay thế và hỗ trợ ra quyết định cuối cùng.

Ví dụ, DSS giúp khách hàng đáp ứng nhanh truy vấn về điện thoại và email của họ. DSS điển hình: MMS (Model Management System), DBMS

30

Một số HTTT doanh nghiệp đặc biệt Trí tuệ nhân tạo

artificial intelligence (AI) lĩnh vực làm cho hệ thống máy tính có những đặc trưng của thông minh

con người. Các thành phần điển hình: Người máy (Robotics), thị giác máy (Vision

systems), Xử lý ngôn ngữ tự nhiên (Natural language processing: NLP), học máy (Machine learning / Learning system), mạng nơron nhân tạo (neural networks)… expert system: Hệ thống cung cấp cho máy tính khả năng đưa ra các đề xuất và chức năng như một chuyên gia miền ứng dụng. Cơ sở tri thức (knowledge base): một tập gồm dữ liệu, luật, thủ tục và quan hệ mà buộc theo đuổi nhằm đạt được giá trị hoặc kết quả thích hợp.

Thực tại ảo virtual reality: Mô phỏng một môi trường thực hay tưởng tượng được biểu

diễn trực quan hóa theo không gian ba chiều.

31

Các thành phần của Trí tuệ nhân tạo

32

Phần 2. Giới thiệu chung về khai phá quy trình

33

Khái niệm và triết lý khai phá quy trình

April 24, 2023

34

- Khái niệm khai phá quy trình Process Mining: chiết xuất thông tin có giá trị, liên quan đến quy trình từ các bản ghi sự

kiện, bổ sung vào các tiếp cận hiện có để quản lý quy trình tác nghiệp (Business Process Management : BPM).

Kết hợp giữa khai phá dữ liệu và quản lý quy trình tác nghiệp- Triết lý “đường mòn” của khai phá quy trình Đường mòn (desire line) / đường xã hội (the social trail) Là con đường được hình thành do sự xói mòn bởi bước chân của con người hoặc động vật Chiều rộng và độ xói mòn thể hiện độ thường xuyên sử dụng “Đường mòn là ngắn nhất/thuận tiện nhất giữa hai điểm Xói mòn càng cao Sử dụng càng thường xuyên Hành động trong kinh doanh hình thành đường mòn kinh doanh ~ nhật ký sự kiện phản ánh

quy trình tốt/thuận tiện

[Aalst11] WMP Van der Aalst (2011). Process Mining: Discovery, Conformance and Enhancement of Business Processes, Springer, 2011.

Cơ bản về Khai phá quy trình- Khái niệm

KPQT: phát hiện, theo dõi, cải thiện quy trình kinh doanh dựa trên trích xuất tri thức từ nhật ký sự kiện NKSK (event log)

NKSK={trường hợp (case) “thể hiện” quy trình}: “xuất phát điểm của KPQT”

Case: dãy có thứ từ các hành động (activity), hành động được “xác định tốt”

NKSK = {hành vi quan sát được} {hành vi}

- Cộng đồng KPQT Quan tâm KPQT: Tuyên ngôn KPQT (Process Mining Manifesto) do

the IEEE Task Force on Process Mining công bố 53 tổ chức, 77 chuyên gia KPQT (người dùng, cung cấp công cụ, tư

vấn, phân tích, nghiên cứu):KPDL KPQT mô hình hóa BM (quy trình kinh doanh)

[Aalst13] Wil M. P. van der Aalst (2013). Decomposing Petri nets for process mining: A generic approach. Distributed and Parallel Databases 31(4): 471-507

35

Vị trí của Khai phá quy trình [Aalst13]

<PT mô hình quy trình><KPQT> <PT dựa trên DL> PT dựa trên DL (KPDL, học máy, TMKD): PT hướng đến quyết

định & mẫu riêng lẻ, không toàn bộ QT (từ đầu đến cuối: E2E) PTMHQT (Business Process Management: BPM và Workflow

Management: WFM) phân tích và tăng cường QT E2E sử dụng tri thức từ CNTT và khoa học quản lý lấy mô hình QT trung tâm

KPQT tích hợp hai “vũ trụ” trả lời câu hỏi hiệu năng và tuân thủ Kỳ vọng thông minh QTKD Business Process Intelligence liên

kết DL và QT. Gần đây, kỹ thuật và phần mềm có sẵn liên kết tự động mô hình QT và DL sự kiện

36

Sự tăng trưởng dữ liệu

37

- Tăng trưởng DL T: nhiều doanh nghiệp có hơn 1PB DL (Nguồn IDC). Manyika, J., Chui, M.,

Brown, B., Bughin, J., Dobbs, R., Roxburgh, C., Byers, A.: Big Data: the Next Frontier for Innovation, Competition, and Productivity. McKinsey Global Institute, San Francisco (2011)

P: Ba tháo tác thông tin cơ bản và các công nghệ nổi bật nhất. Hilbert, M., Lopez, P.: TheWorld’s technological capacity to store, communicate, and compute information. Science 332(6025), 60–65 (2011) 37

Nhu cầu phân tích khai phá quá trình

38

- Xu thế Philips Healthcare kết nối Internet hơn 1500 hệ thống Cardio Vascular

(CV, như máy chiếu X-quang) ghi nhận, duy trì và hội thoại từ xa; Mỗi CV tạo 15.000 SK/ngày 22,5 triệu SK/ngày.

ASML có nhật ký lỗi HT in thạch bản khoảng 15.000 SK/máy/ngày. Dữ liệu SK của tổ chức hàng TB

- Thác thức và giải pháp Kỹ thuật KPQT cần hướng tới tính chính xác cao kỹ thuật KPQT phải hiệu quả hơn và khả cỡ cao Dòng DL sự kiện cần phân tán trên các CSDL phức và các bài toán

KPQT lớn phải phân tán trên mạng máy tính lớn Thách thức về hiệu năng (thời gian đáp ứng), về sức chứa (không gian

lưu trữ), về giải thích (mô hình quá trình với hàng ngàn hành động) Phân tách các bài toán phát hiện quy trình và kiểm tra phù hợp

[Aalst13] Wil M. P. van der Aalst (2013). Decomposing Petri nets for process mining: A generic approach. Distributed and Parallel Databases 31(4): 471-507

38

39

Cycle DiagramContents

Dữ liệu đầu vào cho khai phá quá trình là nhật ký sự kiện. Ngầm định dữ liệu chuẩn: Một nhật ký sự kiện bao gồm nhiều trường hợp

(cases). Một trường hợp chứa nhiều sự kiện (events) được

sắp xếp theo trình tự. Một trường hợp là “một lần thi hành mô hình quá trình trong thực tiễn”

Mỗi sự kiện chứa các thuộc tính (attributes).

Nhật ký sự kiện

40

Cycle DiagramContentsNhật ký sự kiện

Nhật ký sự kiện

41

a=register request; b=examine thoroughly; c=examine casually; d=check ticket; e-decide; f=reinititate request; g=pay compensasion, và h=reject request

Dạng đơn giản: dãy hành động {<a,b,c,d>, <a,c,b,d>,…}. <x1, x2,..,xn> là một “vết” (trace)

Tập bội (multi-set): mở rộng tập thông thường, một phần tử xuất hiện nhiều lần: Gộp {<a,b,c,d>112, <a,c,b,d>99,…}

Cho tập X: tập mọi tập bội trong X ký hiệu B(X) Định nghĩa: Cho A tập hành động, một vết của A là A* là dãy các hành

động, Một LB(A*) là một nhật ký dự kiện (trên A)[AD13] Wil M. P. van der Aalst, Boudewijn F. van Dongen (2013). Discovering Petri Nets from Event

Logs. T. Petri Nets and Other Models of Concurrency 7: 372-422.

41

Nhật ký sự kiện: khía cạnh bổ sung

Ba khía cạnh bổ sung điển hình Tổ chức: Con người, đơn vị, tổ chức… Thời gian: Tem thời gian, thời gian thực hiện, thời gian chờ, … Tài nguyên: Chi phí. Quy trình chung: Phát hiện mô hình quy trình từ NKSK đơn

giản, tiến hành khai phá dữ liệu các khía cạnh bổ sung

[AD13] Wil M. P. van der Aalst, Boudewijn F. van Dongen (2013). Discovering Petri Nets from Event Logs. T. Petri Nets and Other Models of Concurrency 7: 372-422.

42

43

Cycle DiagramContents Mô hình quá trình [3]

- Mô hình quy trình được biểu diễn bằng một ngôn ngữ mô hình hóa.

- Có nhiều loại ngôn ngữ mô hình hóa khác nhau như: BPMN, BPEL, UML, Petri-net,…

- Petri-net là mô hình thường được sử dụng để mô hình hóa quy trình và có thể chuyển đổi sang các mô hình BPMN, PBEL, UML,…

Mô hình quy trình

Lưới Petri: Một dạng mô hình quy trình- Giới thiệu

Một dạng máy trạng thái hữu hạn- Dạng đơn giản

Bộ ba N = (P,T,F) trong đó P là tập hữu hạn các vị trí (places) T là tập hữu hạn các thanh chuyển, P T = Ø. Thành phần

PT được gọi là các nút (nodes) F (PT)(TP) là tập các cung trực tiếp, gọi là luồng quan

hệ- Lưới Petri mô hình quy trình

T: Thanh chuyển hành động P: Vị trí kết nối các hành động, nơi “công việc” chuẩn bị được

xử lý Ví dụ:Trang tiếp theo

44

Ví dụ mô hình quy trình bằng lưới Petri

Lưới Petri mô hình hóa quy trình giải quyết yêu cầu bồi thường từ khách hàng của một hãng hàng không

45

Petri net: một biểu diễn khác

Ví dụ: P={start,c1,c2,c3,c4,c5,c6,end} T={a,b,c,d,e,f,g,h} F={(start,a), (a,c1), (a,c2), (c1,b), (c1,c), (c2,d), (b,c3), (c,c3),

(d,c4), (c3,e), (c4,e), (e,c5), (c5,f), (f,c1), (f,c2), (c5,g), (c5,h), (g,end), (h,end)}

46

Lưới Petri tổng quát- Định nghĩa

Lưới Petri là bộ năm PN=(P, T, F, W, Mo): P={p1, p2, ..., pm} là tập hữu hạn các trạng thái T={t1, t2, ..., tn} là tập hữu hạn các thanh chuyển F (PT)(TP) là tập các cung (quan hệ tiếp sau) W: F{0, 1, 2, ...} là hàm trọng số (trên các cung) Mo: P{0, 1, 2, ...} là đánh dấu ban đầu P T = Ø, PT Ø Lưới Petri như trên bỏ qua đánh dấu ban đầu (P, T, F, W) được ký

hiệu N. Như vậy PN=(N, Mo) tT: t={pP: (p,t) F} và t ={pP: (t,p) F}. Tương tự, có thể định

nghĩa cho pP. Kí hiệu W(p,t)::=W((p,t)), W(t,p)::=W((t,p));- Nhận xét dạng tổng quát

W: Trọng số cung, Mo : Trọng số vị trí Đánh dấu M: P{0, 1, 2, ...}, M={M(p1), M(p2), ..., M(pm)}. (N, M) Tính đồng thời rộng hơn lưới Petri trong KPQT tT: được gọi là nguồn nếu t=, được gọi là kết nếu t=. Nguồn

cháy vô điều kiện, kết tiêu thụ không sinh thẻ.47

Hoạt động của lưới Petri- Cháy được và quy tắc cháy

Cho (N, M): Một thanh chuyển t “cháy được” p t thì M(p) W((p,t))

Một thanh chuyển t cháy được có thể “cháy” hoặc “không cháy” Quy tắc cháy: Cho (N, M) và t là “cháy được”. Quy tắc “cháy” t : (N, M)

(N,M’) với p t t: M’(p)=M(p) p t : M’(p)=M(p)-W(p,t) p t : M’(p)=M(p)+W(t,p) M’ được gọi “đạt được trực tiếp” từ M: MtM’ M được gọi là đạt được từ Mo nếu t1, t2, ..., tk để cho

Mo t1M1 t2M2... tkMk=M

- Tự chu trình Cặp (p,t) được gọi là “tự chu trình” nếu như ptt Lưới Petri N “thuần túy” (pure) nếu không có bất kỳ tự chu trình Lưới Petri N là “thông thường” nếu mọi trọng số cung là 1 (lúc đó

không ghi trọng số cung). Lưới Petri trong KPQT: (i) thông thường; (ii) Mo=(1,0,...,0) với p1 là vị trí

khởi đầu 48

Ví dụ 1

- Ví dụ 1: cháy thanh chuyển t (a) Trước khi cháy: Mo=(2, 2, 0) (b) Sau khi cháy : M’= (0, 1, 2)

- Lưới chứa vô hạn, lưới chứa hữu hạn Định nghĩa cháy không hạn chế số thẻ tại mỗi vị trí: Lưới chứa vô hạn Thực tiễn: hạn chế số thẻ trong mỗi vị trí: Lưới chứa hữu hạn hay ngắn

gọn là “lưới hữu hạn” Trong lưới hữu hạn: K(p) là số cực đại vị trí p có thể lưu giữ Điều kiện cháy bổ sung: “cháy được” (quy tắc chuyển chặt)

pt thì M(p) + W(t,p) K(p). Nếu bỏ qua bổ sung “yếu”.

49

Ví dụ 2

- Biến đổi lưới thuần túy qua quy tắc không chặt (a) pP: P=P{p’} với Mo(p’)=K(p)-Mo(p) (b) tT: p t thì F=F(t,p’) với W(t,p’)=W(p,t)

tT: p t thì F=F(p’,t) với W(p’,t)=W(t,p)- Ví dụ 2

(a) Lưới hạn chế (b) Lưới bổ sung không hạn chế (c) Đồ thị “đạt được” theo lưới bổ sung không hạn chế

- Định lý Lưới chứa hữu hạn thuần khiết và lưới bổ sung theo hai bước trên là

tương đương theo nghĩa tạo cùng một tập dãy cháy. 50

Ứng dụng lưới Petri: máy trạng thái HH

51

Máy bán kẹo 15 xu và 20 xu 51

Lưới Petri: hành động đồng thời

52

Trái: Hoạt động song song xác định Phải: Tính lộn xộn

(a) lộn xộn đối xứng: t1, t2 cháy đồng thời và xung đột với t3

(b) lộn xộn không đối xứng: t1 và t3 chỉ đồng thời khi t2 cháy trước t1.

52

Lưới Petri: Dòng dữ liệu tính toán

53

Lưới Petri mô tả dòng dữ liệu tính toán x=(a+b)/(a-b)

53

Lưới Petri: Mô tả giao thức truyền thông

54

Một giao thức truyền thông liên quá trình đơn giản 54

Lưới Petri: Hệ thống đọc-ghi

55

Đọc đồng thời, ghi độc quyền55

Lưới Petri: Hệ thống sản xuất-tiêu dùngthụ

56

Người tiêu dùng A ưu tiên hơn người tiêu dùng B và nhiều ứng dụng khác [Takao89] Murata Tadao (1989). Petri Nets: Properties, Analysis and

Applications. Proceedings of the IEEE, 77(4): 541-580, April 1989.56

Lưới Petri trong KPDL

57

- Định nghĩa Lưới Petri N=(P, T, F) Trọng số cung và trọng số vị trí là 1 Đánh dấu M là hàm bội: MB(A) Tập vào: x và tập ra x : x PT Thanh chuyển “cháy được” Chuyển dịch đánh dấu Dãy cháy: t1, t2, …, tk như đã nói ở lưới Petri tổng quát Hàm chuyển dịch > từ đánh dấu M sang đánh dấu M’

57

Triết lý đường mòn trong KPQT

58

Ví dụ triết lý đường mòn- Xây dựng lối đi trong ĐH Columbia

Tác giả: Dwight Eisenhower, Chủ tịch ĐH Columbia (sau này là Tổng thống Mỹ đời thứ 34)

Bài toán: xây lối đi tốt nhất nối các nhà trong khu trường Lời giải:

Cho cỏ mọc giữa các tòa nhà và trì hoãn tạo vỉa hè Mọi người đi: Hình thành dần lối mòn giữa các nhà Xây vỉa hè theo các lối mòn đó

59

Mô hình vòng đời quản lý QT tác nghiệp

Mô hình vòng đời BPM Khai phá quy trình: học máy & khai phá dữ liệu ~ mô hình hóa

& phân tích quá trình (quá trình kinh doanh). Mục tiêu chính của khai phá quy trình là phát hiện, theo dõi và

cải tiến quy trình thực tế, bằng cách lấy tri thức từ nhật ký sự kiện có sẵn trong các hệ thống hiện nay

60

Ba bài toán khai phá quy trình

Khai phá quy trình: thiết lập mối liên kết quy trình thực tế và dữ liệu mô hình quy trình.

Khai phá quy trình gồm 3 bài toán: Phát hiện mô hình quy trình. Kiểm tra sự phù hợp của mô hình. Tăng cường mô hình.

61

62

Cycle DiagramContents Các bài toán trong khai phá quá trình

a) Phát hiện b) Kiểm tra phù hợp c) Tăng cường

Ba bài toán khai phá quy trình

Diễn giải quá trình từ DL tới kết quả KPQT

63

Phát hiện mô hình quá trình

Là bài toán thứ nhất trong khai phá quá trình Input: Nhật ký sự kiện. Output: Mô hình quá trình.

Bài toán thực hiện phát hiện mô hình quá trình dựa vào thông tin trong nhật ký sự kiện mà không sử dụng bất kỳ thông tin tiền nghiệm nào.

Mô hình quá trình được biểu diễn bằng một ngôn ngữ mô hình hóa

Có nhiều loại ngôn ngữ mô hình hóa khác nhau (BPMN, BPEL, UML, Petri-net,…)

Petri-net thường được sử dụng để mô hình hóa quá trình và có thể chuyển đổi sang các mô hình BPMN, PBEL, UML,… khác.

64

65

Cycle DiagramContents BÀI TOÁN KIỂM TRA SỰ PHÙ HỢP

Input: - Nhật ký sự kiện (Event Log) - Mô hình quá trình (Model) Output: Các độ đo phù hợp. Ứng dụng:• Xem xét chất lượng của một mô hình quá trình.• Để xác định những trường hợp chệch hướng và hiểu

chúng có hành vi chung gì.• Để xác định các đoạn quá trình mà ở đó hầu hết xảy ra

lệch hướng.• Cho mục đích kiểm toán, …

Kiểm tra phù hợp

Trực quan mô hình quy trình

[Aalst11] WMP Van der Aalst (2011). Process Mining: Discovery, Conformance and Enhancement of Business Processes, Springer, 2011.

[Aalst12] Wil M. P. van der Aalst: Process Mining: Overview and Opportunities. ACM Trans. Management Inf. Syst. 3(2): 7 (2012)

Mở rộng mô hình khi bổ sung các khía cạnh: khía cạnh tổ chức (organizational perspective, “What are the organizational roles and which resources are performing particular activities?”), khía cạnh trường hợp (case perspective, “Which characteristics of a case influence a particular decision?”) và khía cạnh thời gian (time perspective, “Where are the bottlenecks in my process?”)

66

Tuyên ngôn Khai phá quy trình [IE3-TFPM12]

[IEEE-TFPM] The IEEE Task Force on Process Mining (2012). Process Mining Manifesto, http://www.win.tue.nl/ieeetfpm/downloads/Process%20Mining%20Manifesto.pdf 67

Nhật ký sự kiện mô hình quy trình

Ba thao tác liên quan nhật ký sự kiện (hoặc các nguồn thông tin chứa mẫu hành vi khác) và mô hình quy trình: Play-in, Play-out, và Phát lại [Aalst11]

68