Data manipulation with RapidMiner Studio 7

การจดการขอมลจากฐานขอมลดวย RapidMiner Studio 7 (ตอนท 1)

(data)3 base|warehouse|mininghttp://www.dataminingtrend.com

http://facebook.com/datacube.th

ดร. เอกสทธ พชรวงศศกดา

เอกสารนเปนสวนหนงของวชา BD514 การจดการขอมลขนาดใหญ

สาขาวชาวศวกรรมขอมลขนาดใหญ (Big Data Engineering) มหาวทยาลยธรกจบณฑตย

(data)3 base|warehouse|mining

http://dataminingtrend.com http://facebook.com/datacube.th

Introduction RapidMiner• RapidMiner

• ในตอนแรกใชชอบรษทวา Rapid-I กอตงขนเมอป 2006

• ในชวงแรกบรษทตงอยทประเทศเยอรมน

• ป 2013 ไดเปลยนชอบรษทเปน RapidMiner หลงจากไดรบเงนลงทนจำนวน 5 ลานเหรยญสหรฐ

• และยายบรษทมาอยทบอสตน ประเทศสหรฐอเมรกา

• ผลตภณฑหลกของบรษทคอ RapidMiner Studio 6

• บรษทชนนำตางๆ เชน PayPal ใชซอฟตแวร RapidMiner Studio 6

2

Ingo Mierswa

Ralf Klinkenberg

source: http://techcrunch.com/2013/11/04/german-predictive-analytics-startup-rapid-i-rebrands-as-rapidminer-takes-5m-from-open-ocean- earlybird-to-tackle-the-u-s-market/



Why RapidMiner?• ผลการสำรวจจากเวบไซต KDnuggets ในป 2014 พบวาผรวมตอบ

แบบสำรวจใช RapidMiner ในการวเคราะหขอมลมากเปนอนดบ 1

• Gartner ไดจดให RapidMiner อยในกลม Leaders สำหรบซอฟตแวร ในการวเคราะหขอมล (2015)

• SAS

• IBM

• KNIME

• RapidMiner

3source: http://www.kdnuggets.com/2014/06/kdnuggets-annual-software-poll-rapidminer-continues-lead.html http://rapidminer.com/leader-gartners-magic-quadrant-advanced-analytics/



RapidMiner Studio 7• download ไดจาก http://rapidminer.com

4

คลกทเมนน



RapidMiner Studio 7• เลอกดาวนโหลด version ทเหมาะสมกบระบบปฏบตการของเรา

5



RapidMiner Studio 7• License ของ RapidMiner Studio 7

6

ฟงกชนการวเคราะหขอมลเหมอนกบ license อนๆ



RapidMiner Academia

7

source: https://rapidminer.com/academia/



RapidMiner Academia

8



RapidMiner Professional License

9



• พบกบหนาตาง Home Screen

RapidMiner Studio 7

10

1 แนะนำการใขงานเบองตน

4

3

เปด process ทมอย

สราง process ใหม

2 ดตวอยางทเตรยมไว



RapidMiner Studio 7 • องคประกอบของ RapidMiner Studio 7

11

Repository

Operators

Process

Parameter

help

1

2

34

5



RapidMiner Studio 7• เมนใน RapidMiner Studio 7

12

ใชสราง process ใหม

โหลด process เดม

บนทก process

undo หรอ redo

สงให process ทำงาน (run)

ยกเลก process (stop)

เมนสำหรบปรบเปลยนมมมองของ

RapidMiner Studio 7

เมนสำหรบแสดงวธการใชงานในรปแบบตางๆ

ba

a

b

หนา Design แสดงหนาสำหรบการสรางโพรเซส

หนา Results แสดงหนาผลลพธการทำงาน



Data management• Repository

• เปนทเกบขอมลและ process เพอใชงานใน RapidMiner Studio 7

• ทำใหไมตองโหลดขอมลจากไฟลใหมทกครง

• องคประกอบในสวน Repository

• สวนท • สำหรบสราง Repository ใหม

• โหลดไฟลประเภทตางๆ เขาไปไวใน Repository

• สรางโฟลเดอรใหม

• สวนท • ขอมลและ process Sample ท RapidMiner Studio 7 เตรยมไวให

• ขอมลทเกบอยในแตละ Repository

13

1

2

1

2



Data management• สราง Repository ใหม

• คลกท

• หลงจากนนเลอกเมน Create repository

14

2

1

2



Data management• สราง Repository ใหม (ตอ)

• เลอก New local repository

• กดปม Next

15

3

4



• สราง Repository ใหม (ตอ)

• เปลยนชอ Alias เปน RapidMinerTraining

• กดปม Finish

Data management

16

6

5



Data management• จะปรากฏ repository RapidMinerTraining แสดงขนมาในสวนของ

Repository

17

repository ทสรางขนมาใหม



Data management• สรางโฟลเดอรใน RapidMinerTraining

• data สำหรบเกบขอมล

18

7

8

9 10



Data management• สรางโฟลเดอรใน RapidMinerTraining

• data สำหรบเกบขอมล

• process สำหรบเกบโพรเซสทสรางขน

19

11

12

13 14



Data Manipulation• ใชตารางทสรางขนในสปดาหท 2 ซงม 3 ตาราง

20

ID First Last

S103 John Smith

S104 Mary Jones

S105 Jane Brown

S106 Mark Jones

S107 John Brown

Student

Code Title

DBS Database Systems

PR1 Programming 1

PR2 Programming 2

IAI Intro to AI

Course

ID Code Mark

S103 DBS 72

S103 IAI 58

S104 PR1 68

S104 IAI 65

S106 PR2 43

S107 PR1 76

S107 PR2 60

S107 IAI 35

Grade



Data Manipulation• การจดการขอมลจากฐานขอมลโดยใช RapidMiner Studio 7 แทนการ

เขยนคำสง SQL

• แสดงขอมลทงหมดของนกศกษาจากตาราง Student

• แสดงขอมลชอ (First) ของนกศกษาจากตาราง Student

• แสดงขอมลนามสกล (Last) ของนกศกษาจากตาราง Student

• แสดงขอมลชอ (First) และ นามสกล (Last) ของนกศกษาจากตาราง Student

• แสดงขอมลนามสกล (Last) ของนกศกษาทแตกตางกนจากตาราง Student

• แสดงขอมลทงหมดของนกศกษาจากตาราง Student ซงมชอวา John

• แสดงขอมลทงหมดของนกศกษาจากตาราง Student ยกเวนนกศกษาทชอ John

• แสดงขอมลทงหมดของนกศกษาจากตาราง Grade ทมคะแนนมากกวาหรอเทากบ 60 คะแนน

• แสดงขอมลชอ (First) นามสกล (Last) และคะแนน (Mark) จากตาราง Grade ทมคะแนนนอยกวาหรอเทากบ 60 คะแนน

21





• แสดงเฉพาะขอมลชอ (First) นามสกล (Last) คะแนน (Mark) และชอวชา (Title) จากตาราง Grade ทมคะแนนระหวาง 40-60 คะแนน

• แสดงขอมลคะแนน (Mark) จากตาราง Grade โดยเรยงลำดบคะแนนจากนอยไปมาก

• แสดงขอมลคะแนน (Mark) จากตาราง Grade โดยเรยงลำดบจากมากไปนอย

• แสดงขอมลชอ (First) นามสกล (Last) และคะแนน (Mark) ของนกศกษาทมสนามสกลวา Jones

• แสดงขอมลชอ (First) นามสกล (Last) และคะแนน (Mark) ของนกศกษาทไมมสนามสกลวา Jones

• นกศกษาทลงทะเบยนเรยนวชา Intro to AI มคะแนนนอยสดเทาไร

• นกศกษาทลงทะเบยนเรยนวชา Intro to AI มคะแนนมากสดเทาไร

• แสดงขอมลชอ (First) นามสกล (Last) และคะแนน (Mark) ของนกศกษาทลงทะเบยนเรยนวชา

Programming (รวมทง 1 และ 2)

• นกศกษาทลงทะเบยนเรยนวชา Programming 2 มคะแนนมากสดเทาไร

22



Data Manipulation• การจดการขอมลจากฐานขอมลโดยใช RapidMiner Studio 7

แทนการเขยนคำสง SQL

• แสดงขอมลคะแนนของนกศกษาใหอยในรปแบบดานลางน

23

ID DBS PR1 PR2 IAI

S103 72 0 0 58

S104 0 68 0 65

S106 0 0 43 0

S107 0 76 60 35













• แสดงเฉพาะขอมลชอ (First) นามสกล (Last) และคะแนน (Mark) จากตาราง Grade ทมคะแนนนอยกวาหรอเทากบ 60 คะแนน

24



Data Manipulation• แสดงขอมลทงหมดของนกศกษาจากตาราง Student

• เลอกโอเปอเรเตอร Read Database จากในสวน Operator

• ลากมาวางไวในสวน Process

• ในสวน connection คลกทไอคอน

25

1

2

3

4

www.dataminingtrend.com



Data Manipulation• เพมขอมลลงในสวนตางๆ ของหนาจอ Manage Database

Connections

• Name: สำหรบใชเปนชอ connection

• Database system: เลอกประเภทของฐานขอมลทตองการ connect

• Host: ชอ/IP ของ database server

• Port: port ท database server ระบไว

• Database scheme: ชอของฐานขอมลทตองการดงขอมล

• User/Password: username และ password ทใชสำหรบ connect ไปยง database server

• ใชในการทดสอบวาสามารถ connect ไปยง database server ไดหรอไม

26




• กำหนดคาตางๆ ของ database server (ในตวอยางนใช MySQL)

27

5

6

7 8

9

10

12

13

14





• คลกทโอเปอเรเตอร Read Database ในสวน Process

• ในสวน connection เลอกเปน BD514

• ในสวน define query เลอกเปน table name

• ในสวน table name เลอกเปน student

2815

16

17





29















30



Data Manipulation• แสดงขอมลชอ (First) ของนกศกษาจากตาราง Student

• กลบมาหนา Design

• เลอกโอเปอเรเตอร Select Attributes มาวางตอโอเปอเรเตอร Read Database

• เลอก attribute filter type เปน single และ attribute เปน first

31

1

3

4

2




Data Manipulation• แสดงขอมลชอ (First) ของนกศกษาจากตาราง Student

32















33



Data Manipulation• แสดงขอมลนามสกล (Last) ของนกศกษาจากตาราง Student


• คลกโอเปอเรเตอร Select Attributes เลอก attribute filter type เปน single และ attribute เปน last

34

1

2




Data Manipulation• แสดงขอมลนามสกล (Last) ของนกศกษาจากตาราง Student

35















36



Data Manipulation• แสดงขอมลชอ (First) และ นามสกล (Last) ของนกศกษาจาก

ตาราง Student

• คลกโอเปอเรเตอร Select Attributes เลอก attribute filter type เปน subset

• คลกท Select Attributes เพอเลอกแอตทรบวต First และ Last

37

1

2

3






• เลอกแอตทรบวต First และ Last

38

4






39















40



Data Manipulation• แสดงขอมลนามสกล (Last) ของนกศกษาทแตกตางกนจากตาราง

Student

• คลกโอเปอเรเตอร Select Attributes เลอก attribute filter type เปน single และ attribute เปน last

41

1

2





Student

• เลอกโอเปอเรเตอร Aggregate มาวางตอโอเปอเรเตอร Select Attributes

• คลกทปม Select Attributes ในสวน group by attributes

42

1

3

4

2





Student

• เลอกแอตทรบวต Last

43

5





Student

44















45



Data Manipulation• แสดงขอมลทงหมดของนกศกษาจากตาราง Student ซงมชอวา

John

• เลอกโอเปอเรเตอร Filter Examples มาวางตอโอเปอเรเตอร Read Database

• คลกทปม Add Filters ในสวน filters

46

1

3

4

2 www.dataminingtrend.com




John

• เลอกแอตทรบวต First และกำหนดเงอนไขเปน John

47

5 6www.dataminingtrend.com




John

48















49



Data Manipulation• แสดงขอมลทงหมดของนกศกษาจากตาราง Student ยกเวน

นกศกษาทชอ John


• คลกโอเปอเรเตอร Filter Examples และคลกทปม Add Filters ในสวน filters

50

1

2





• เลอกแอตทรบวต First และกำหนดเงอนไขเปน does not equal John

Data Manipulation

51

3 54




Data Manipulation• แสดงขอมลทงหมดของนกศกษาจากตาราง Student ยกเวน

นกศกษาทชอ John

52















53



Data Manipulation• แสดงขอมลทงหมดของนกศกษาจากตาราง Grade ทมคะแนน

มากกวาหรอเทากบ 60 คะแนน

• คลกทโอเปอเรเตอร Read Database ในสวน Process

• ในสวน table name เลอกเปน grade

54

1 2






• เลอกแอตทรบวต Mark และกำหนดเงอนไขเปน > 60

Data Manipulation

55

3 54




Data Manipulation• แสดงขอมลทงหมดของนกศกษาจากตาราง Grade ทมคะแนน

มากกวาหรอเทากบ 60 คะแนน

56















57



Data Manipulation• แสดงขอมลชอ (First) นามสกล (Last) และคะแนน (Mark) จาก

ตาราง Grade ทมคะแนนนอยกวาหรอเทากบ 60 คะแนน

• เลอกโอเปอเรเตอร Read Database มาใสใน Process

• ในสวน table name เลอกเปน student

58

1

3

42

1

2






• เลอกโอเปอเรเตอร Join มาใสใน Process

• โยง output จากโอเปอเรเตอร Read Database ทงสองอนมาทโอเปอเรเตอร Join

59

3

4

1

2

5






• uncheck เมน use id attribute as key

• คลกทปม Edit List (0)... ในสวน key attributes

• ใสเงอนไขใหเชอมโยง (join) โดยใชแอตทรบวต ID จากทงใน 2 ตาราง

60






• เลอกแอตทรบวต Mark และกำหนดเงอนไขเปน > 60

Data Manipulation

61

8 109






62








• แสดงขอมลชอ (First) นามสกล (Last) คะแนน (Mark) และชอวชา (Title) จากตาราง Grade ทมคะแนนระหวาง 40-60 คะแนน








63



Data Manipulation• แสดงขอมลคะแนน (Mark) จากตาราง Grade โดยเรยงลำดบ

คะแนนจากนอยไปมาก

• เลอกโอเปอเรเตอร Sort และเลอก attribute name เปน Mark และ sorting direction เปน increasing

64

41

2

3




Data Manipulation• แสดงขอมลคะแนน (Mark) จากตาราง Grade โดยเรยงลำดบ

คะแนนจากนอยไปมาก

65
















66



Data Manipulation• แสดงขอมลคะแนน (Mark) จากตาราง Grade โดยเรยงลำดบจาก

มากไปนอย

• เลอกโอเปอเรเตอร Sort และเลอก attribute name เปน Mark และ sorting direction เปน decreasing

67

1

2

3

4www.dataminingtrend.com



Data Manipulation• แสดงขอมลคะแนน (Mark) จากตาราง Grade โดยเรยงลำดบจาก

มากไปนอย

68
















69



Data Manipulation• แสดงขอมลชอ (First) นามสกล (Last) คะแนน (Mark) และชอ

วชา (Title) จากตาราง Grade ทมคะแนนระหวาง 40-60 คะแนน

• เลอกโอเปอเรเตอร Read Database มาใสใน Process

• ในสวน table name เลอกเปน course

70

41

2

3






• uncheck เมน use id attribute as key

• คลกทปม Edit List (0)... ในสวน key attributes

• ใสเงอนไขใหเชอมโยง (join) โดยใชแอตทรบวต Code จากทงใน 2 ตาราง

71

5 6






• เลอกแอตทรบวต Mark และกำหนดเงอนไขเปน > 40 และ Mark < 60

Data Manipulation

72

7 98






• เลอกโอเปอเรเตอร Select Attributes มาตอกบ Filter Example ใน Process

• เลอก attribute filter type เปน subset และคลกทปม Select Attributes...

73

41

2

3





• เลอกแอตทรบวต First, Last, Mark และ Title

Data Manipulation

74






75
















76





• เลอกแอตทรบวต Last และกำหนดเงอนไขเปน Jones

Data Manipulation

77





• คลกทโอเปอเรเตอร Select Attributes เลอกแอตทรบวต First, Last และ Mark

Data Manipulation

78




Data Manipulation• แสดงขอมลชอ (First) นามสกล (Last) และคะแนน (Mark) ของ

นกศกษาทมสนามสกลวา Jones

79
















80





• เลอกแอตทรบวต Last และกำหนดเงอนไขเปน does not equal Jones

Data Manipulation

81





นกศกษาทไมมสนามสกลวา Jones

82
















83



• นกศกษาทลงทะเบยนเรยนวชา Intro to AI มคะแนนนอยสดเทาไร • คลกโอเปอเรเตอร Filter Examples และคลกทปม Add Filters ในสวน filters

• เลอกแอตทรบวต Title และกำหนดเงอนไขเปน equal Intro to AI

Data Manipulation

84




Data Manipulation• นกศกษาทลงทะเบยนเรยนวชา Intro to AI มคะแนนนอยสด

เทาไร • เลอกโอเปอเรเตอร Sort และเลอก attribute name เปน Mark และ sorting

direction เปน increasing

85

74

56





เทาไร • เลอกโอเปอเรเตอร Filter Example Range และเลอก first example และ last

example เปน 1 ทงค

86

48

9

3

10

11





เทาไร

87
















88



Data Manipulation• นกศกษาทลงทะเบยนเรยนวชา Intro to AI มคะแนนมากสด


direction เปน decreasing

89

2

1




Data Manipulation• นกศกษาทลงทะเบยนเรยนวชา Intro to AI มคะแนนมากสด

เทาไร

90













• แสดงขอมลชอ (First) นามสกล (Last) และคะแนน (Mark) ของนกศกษาทลงทะเบยนเรยนวชา Programming (รวมทง 1 และ 2)


91





• เลอกแอตทรบวต Title และกำหนดเงอนไขเปน contains Programming

Data Manipulation

92

1 32





• เลอกแอตทรบวต First, Last, Mark และ Title

Data Manipulation

93





นกศกษาทลงทะเบยนเรยนวชา Programming (รวมทง 1 และ 2)

94
















95



• นกศกษาทลงทะเบยนเรยนวชา Programming 2 มคะแนนมากสดเทาไร • คลกโอเปอเรเตอร Filter Examples และคลกทปม Add Filters ในสวน filters

• เลอกแอตทรบวต Title และกำหนดเงอนไขเปน contains Programming2

Data Manipulation

96




Data Manipulation• นกศกษาทลงทะเบยนเรยนวชา Programming 2 มคะแนนมากสด


direction เปน decreasing

97

2

1




Data Manipulation• นกศกษาทลงทะเบยนเรยนวชา Programming 2 มคะแนนมากสด

เทาไร

98




Data Manipulation• การจดการขอมลจากฐานขอมลโดยใช RapidMiner Studio 7

แทนการเขยนคำสง SQL

• แสดงขอมลคะแนนของนกศกษาใหอยในรปแบบดานลางน

99

ID DBS PR1 PR2 IAI

S103 72 0 0 58

S104 0 68 0 65

S106 0 0 43 0

S107 0 76 60 35



Data Manipulation• แสดงขอมลคะแนนของนกศกษาใหอยในรปแบบ pivot table

• เลอกโอเปอเรเตอร Select Attributes มาตอกบ Join และเลอก attribute filter type เปนแบบ subset และกดปม Select Attributes

100

1

2

3

4




• แสดงแสดงขอมลคะแนนของนกศกษาใหอยในรปแบบ pivot

table

• เลอกแอตทรบวต Code, ID, และ Mark

Data Manipulation

101





• เลอกโอเปอเรเตอร Pivot มาตอกบ Select Attributes

102

1

2

3

4

6

7





103


Data & Analytics

Data manipulation with RapidMiner Studio 7