80
ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ ΗΛΙΑΣ Θ. ΚΑΛΑΠΑΝΙΔΑΣ ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ 2003

ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Embed Size (px)

DESCRIPTION

ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ. ΗΛΙΑΣ Θ. ΚΑΛΑΠΑΝΙΔΑΣ ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ 2003. Η διάρθρωση της παρουσίασης. Μηχανική Μάθηση Περιβαλλοντική Πληροφορική Προ-επεξεργασία Μείωση των διαστάσεων Εφαρμογή των αλγορίθμων Κατανεμημένη υλοποίηση - PowerPoint PPT Presentation

Citation preview

Page 1: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ

ΜΑΘΗΣΗΣ

ΗΛΙΑΣ Θ ΚΑΛΑΠΑΝΙΔΑΣ

ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ2003

Η διάρθρωση της παρουσίασης

1 Μηχανική Μάθηση2 Περιβαλλοντική Πληροφορική3 Προ-επεξεργασία4 Μείωση των διαστάσεων5 Εφαρμογή των αλγορίθμων6 Κατανεμημένη υλοποίηση7 Προς ένα ολοκληρωμένο σύστημα8 Συμπεράσματα

1 ΜΗΧΑΝΙΚΗ ΜΑΘΗΣΗ

bull Ορισμός

bull Μορφοποίηση συνόλου δεδομένων

bull Εφαρμογές

bull Αλγόριθμοι

1Μηχανική Μάθηση1Μηχανική Μάθηση

ΜΗΧΑΝΙΚΗ ΜΑΘΗΣΗ

Ορισμός

laquoΗ αναζήτηση σε ένα χώρο πιθανών υποθέσεων εκείνης της υπόθεσης που ταιριάζει καλύτερα στα υπό εξέταση δεδομένα και στην πιθανώς προϋπάρχουσα γνώσηraquo

1Μηχανική Μάθηση1Μηχανική Μάθηση

Ένα παράδειγμα

bull Αναγνώριση του λουλουδιού της ίριδαςbull Πιθανές κλάσεις που αυτό ανήκει

ndash Iris Setosandash Iris Virginicandash Iris Versicolour

bull 4 ιδιότητεςndash Μήκος πετάλουndash Πλάτος πετάλουndash Μήκος σεπάλουndash Πλάτος σεπάλου

1Μηχανική Μάθηση1Μηχανική Μάθηση

Μορφοποιημένο σύνολο δεδομένων

57 44 15 04 Iris-setosa

54 39 13 04 Iris-setosa

51 35 14 03 Iris-setosa

51 35 14 02 Iris-setosa

49 3 14 02 Iris-setosa

hellip hellip hellip hellip hellip

7 32 47 14 Iris-versicolor

64 32 45 15 Iris-versicolor

hellip hellip hellip hellip hellip

63 33 6 25 Iris-virginica

58 27 51 19 Iris-virginica

1Μηχανική Μάθηση1Μηχανική Μάθηση

Ιδιότητες Μεταβλητή κλάσης

Παράδειγμα

Μήκος σεπάλου

Πλάτος σεπάλου

Πλάτος πετάλου

Μήκος πετάλου

Εκπαίδευση του αλγόριθμου

57 44 15 04 Iris-setosa

54 39 13 04 Iris-setosa

hellip hellip hellip hellip hellip

58 27 51 19 Iris-virginica

1Μηχανική Μάθηση1Μηχανική Μάθηση

Σύνολο εκπαίδευσης

Αλγόριθμος

Εκπαιδευμένο μοντέλο

αλγορίθμου

Υrsquo = f(X) + ε

TSE
Η μανιβέλα είναι δυνατόν να γυρίζει γύρω-γύρω με animation

Αξιολόγηση του αλγόριθμου

57 44 15 04 Iris-setosa

54 39 13 04 Iris-setosa

hellip hellip hellip hellip hellip

58 27 51 19 Iris-virginica

Σύνολο αξιολόγησης

Υrsquo = f(X) + ε

Αλγόριθμος

Μέτρα Απόδοσης Εκπαιδευμένου Μοντέλου

1Μηχανική Μάθηση1Μηχανική Μάθηση

Νέο παράδειγμα

Εφαρμογή του αλγόριθμου57 44 15 04

Iris-setosa

Υrsquo = f(X) + ε

Αλγόριθμος

Πρόβλεψη

1Μηχανική Μάθηση1Μηχανική Μάθηση

Εφαρμογές

bull Χρηματιστήριο

bull Βιομηχανία

bull Περιβάλλον

bull Βιοτεχνολογία Γενετική

bull Τραπεζικός Ασφαλιστικός τομέας

1Μηχανική Μάθηση1Μηχανική Μάθηση

Αλγόριθμοι

bull Είδη ΜηχΜάθησηςndash Υπό επίβλεψηndash Χωρίς επίβλεψη

bull Τύποι προβλημάτων υπό επίβλεψηndash Παλινδρόμησηςndash Ταξινόμησης

1Μηχανική Μάθηση1Μηχανική Μάθηση

Αλγόριθμοι

bull K-κοντινότεροι γείτονεςbull Παλινδρόμησηbull Τεχνητά Νευρωνικά Δίκτυαbull Περιπτωσιακός Λογισμόςbull Δέντρα Απόφασηςbull Δίκτυα Bayesbull Γενετικοί Αλγόριθμοι

1Μηχανική Μάθηση1Μηχανική Μάθηση

Κ-κοντινότεροι γείτονες

1Μηχανική Μάθηση1Μηχανική Μάθηση

R

Κ-κοντινότεροι γείτονες

bull Πλεονεκτήματαndash Απλή υλοποίησηndash Αποδεκτά αποτελέσματα σε μεγάλο πεδίο

εφαρμογώνndash Πολύχρονη εμπειρία χρήσης

bull Μειονεκτήματαndash Χρονοβόρος σε μεγάλα σύνολα δεδομένων

1Μηχανική Μάθηση1Μηχανική Μάθηση

Παλινδρόμηση

1Μηχανική Μάθηση1Μηχανική Μάθηση

Τεχνητά Νευρωνικά Δίκτυα

1Μηχανική Μάθηση1Μηχανική Μάθηση

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Είσοδος 3Είσοδος 1Είσοδος 2 Είσοδος 4

Είσοδος 5Είσοδος 6

Είσοδος 7

Είσοδος 8

Είσοδος 9

Είσοδος 10

Έξοδος

Τεχνητά Νευρωνικά Δίκτυα

bull Πλεονεκτήματαndash Ανοχή στον θόρυβοndash Ικανότητα γενίκευσης

bull Μειονεκτήματαndash Δυσνόητο μοντέλο (μαύρο κουτί)ndash Δυσανάλογος χρόνος εκπαίδευσης

1Μηχανική Μάθηση1Μηχανική Μάθηση

Περιπτωσιακός Λογισμός

1Μηχανική Μάθηση1Μηχανική Μάθηση

Νέα περίπτωση

Πρόβλημα

Παλαιά περίπτωσηΝέα

περίπτωση

Λυμένη περίπτωση

Δοκιμασμένη διορθωμένη

λύση

Διδαχθείσα περίπτωση

Ανάκληση περιπτώσεων

Επαναχρησιμοποίηση παλιών λύσεων

Προσαρμογή λύσης

Αιτιολόγηση λύσης

Γενική Γνώση

Παλαιά περίπτωσηΠαλαιά περίπτωσηΠαλαιά

περίπτωση

Παλαιές περιπτώσεις

Προτεινόμενη λύσηΕγκεκριμένη λύση

Δέντρα Απόφασης

1Μηχανική Μάθηση1Μηχανική Μάθηση

Δίκτυα Bayes

1Μηχανική Μάθηση1Μηχανική Μάθηση

Χ1 Χ2

Χ3

Χ4

Χ5

Υ

P(X1 X2 X3 X4 X5 Y) = P(X1)P(X2)P(X3|X1 X2)P(Y|X1 X2 X3)P(X4|Y) P(X5|X4 Y)

Γενετικοί Αλγόριθμοι

1Μηχανική Μάθηση1Μηχανική Μάθηση

Αρχικός πληθυσμός

Αξιολόγηση συνάρτησης

προσαρμογής

Επιλογή

Διασταύρωση

Μετάλλαξη

Γέννηση νέου πληθυσμού

Επιτεύχθηκαν τα κριτήρια

βελτιστοποίησης

Εξαγωγή λύσης

Ναι

Όχι

Περιβαλλοντική Πληροφορική

bull Θέματαndash Ολοκληρωμένες πλατφόρμες αξιολόγησης και μελέτες

περιπτώσεωνndash Ανάλυση περιβαλλοντικών συστημάτωνndash Πρόβλεψη περιβαλλοντικών αλλαγώνndash Παρακολούθηση του περιβάλλοντος σε πραγματικό χρόνοndash Πιστοποίηση ποιότητας περιβαλλοντικών μοντέλωνndash Εφαρμογές μοντελοποίησης με agents και εξομοίωσης σε

περιβαλλοντικά συστήματα

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Περιβαλλοντική Πληροφορική

bull Πεδία Εφαρμογήςndash Ποιότητα Αέραndash Ποιότητα Εδάφουςndash Ποιότητα Υδάτωνndash Διαχείριση Αποβλήτων

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Αέρια Ρύπανση

bull Παρακολούθηση και πρόβλεψη των επιβλαβών ρύπωνndash Ο3

ndash ΝΟx

ndash PM10 Σωματίδιαndash Καπνός

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Τα προβλήματα του ΠΕΡΠΑ

bull Πρόβλεψη της μέγιστης συγκέντρωσης για τους ρύπουςndash ΝΟ2

ndash Ο3

bull Για τις χρονικές περιόδουςndash Ίδια ημέρα μετά τις 10 πμndash Επόμενη ημέρα

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Π1Π2 Πρόβλεψη την ίδια ημέρα

0

50

100

150

200

250

300

350

400

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

Hour

pp

b

0

20

40

60

80

100

120

140

pp

b

NO2 NO SO2 CO O3

ΠρόβλεψηΣυλλογή δεδομένων

O3 m

ax

NO

2 max

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Π3Π4 Πρόβλεψη για την επόμενη ημέρα

0

100

200

300

400

500

600

700

800

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

Hour

pp

b

0

5

10

15

20

25

30

35

40

pp

b

NO2 NO SO2 CO O3

ΠρόβλεψηΣυλλογή δεδομένων

O3 m

axNO

2 max

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Προ-επεξεργασία των δεδομένων

bull Αντιμετώπιση θορύβου

bull Αντικατάσταση ελλιπών τιμών

3Προ-επεξεργασία3Προ-επεξεργασία

Μελέτη θορύβου

bull 2 μοντέλα θορύβουndash Ύπαρξη θορύβου μόνο στις ιδιότητεςndash Ύπαρξη θορύβου και στις ιδιότητες και

στην εξαρτημένη μεταβλητή

bull Εκτίμηση απόκλισης τιμής ιδιότητας λόγω θορύβου

3Προ-επεξεργασία3Προ-επεξεργασία

piii zxx

Αποτελέσματα μελέτης θορύβου- 1ο μοντέλο

-2

-1

0

1

2

3

4

5

6

7

8

0 005 01 02 03 04 05

IB1 - Attribute IBk -K 9 - Attribute LinearRegression - Attribute M5Prime - Attribute NeuralNetwork - Attribute ZeroR - Attribute

Drop Page Fields Here

Average of Root mean squared error (diff)

Noise Level

Scheme

Noise Model

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα μελέτης θορύβου- 2ο μοντέλο

0

5

10

15

20

25

30

0 005 01 02 03 04 05

IB1 - AttributeClassVar IBk -K 9 - AttributeClassVar LinearRegression - AttributeClassVar

M5Prime - AttributeClassVar NeuralNetwork - AttributeClassVar ZeroR - AttributeClassVar

Drop Page Fields Here

Average of Root mean squared error (diff)

Noise Level

Scheme

Noise Model

3Προ-επεξεργασία3Προ-επεξεργασία

Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών

bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj

1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα

παραδείγματα που ανήκουν στην κλάση Υj

3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)

4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμών-RMSE

-012

-01

-008

-006

-004

-002

0

002

004

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Root mean squared error (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου

-25

-2

-15

-1

-05

0

05

1

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Time taken to build model (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Μείωση των διαστάσεων

bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Επιλογή των ιδιοτήτων57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

15

13

14

14

14

47

45

6

51

bull 2ν πιθανοί συνδυασμοί

bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Πως ορίζεται η ιδιότητα

bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό

μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης

του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Λόγοι επιλογής ιδιοτήτων

bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων

bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή

bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)

bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδοι Αντιμετώπισης

bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδος φιλτραρίσματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Υπολογισμός μέτρωνποιότητας των ιδιοτήτων

Επαύξηση ή μείωση των ιδιοτήτων

Είναι αποδεκτό τοαξιολογημένουποσύνολο

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Επιλογή νέου υποσυνόλουιδιοτήτων

Μέθοδοςφιλτραρίσματος

Γενετικός Αλγόριθμος

Μέθοδος περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Εκπαιδευμένο Μοντέλο

Σύνολοδεδομένων

Κατασκευή συνόλου δεδομένων

Αξιολογημένο Μοντέλο

Εκπαίδευση Αλγορίθμου

Αξιολόγηση Αλγορίθμου

Είναι αποδεκτό τοαξιολογημένο

μοντέλο

Επιλογή νέου υποσυνόλουιδιοτήτων

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Κ-κοντινότεροι γείτονες

Περιτύλιξη με Γενετικό Αλγόριθμο

bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων

bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου

ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων

ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας

γενετικούς τελεστές

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

11 22 33 4400

B1B1 B2B2 B3B3 B4B4 B5B5

Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων

Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με

κωδικό 104 (Γεωπονική) στις 5 μμ

000000 00110011 000000 1000010000 0001000010 0000000000 00

P = ΝΟ2 S = 104

F = αδιάφορο

H1 = 1700 O = 0

H2 = αδιάφορο

ΣημαίαΣυγκεντρωτικής ιδιότητας = 0

Επέλεξε τη μέση συγκέντρωση του

SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ

100100 01110111 000000 0001100011 1010010100 0001000010 11

P = ΝΟ2 S = 108

F = Μέση τιμή-Avg

H1 = 400 O = -2

H2 = 2100

ΣημαίαΣυγκεντρωτικής ιδιότητας = 1

Η Κωδικοποίηση του γενότυπου

Η συνάρτηση προσαρμογής

bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του

αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο

υποσύνολο ιδιοτήτων της λύσης

nA

iAb

nE

iEa

iAiEF

max

)(

max

)(1

))()((

a lt= 1 b lt= 1 a + b = 1

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Οι παράμετροι της συνάρτησης προσαρμογής a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE

bull et = Xt ndash Ft

bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής

bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

n

e

RMSE

n

tt

1

2

n

tt

n

ttt

X

Xe

WSE

1

2

1

2

Ρύθμιση του μεγέθους πληθυσμού

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Population Sizes

0

05

1

15

2

25

3

35

4

5 10 20 30 40 50 100

Population Size

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση συντελεστών a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Coefficient pairs

0

5

10

15

20

25

30

35

01 09 03 07 05 05 07 03 08 02 09 01 095 005

ab pairs

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage

0

05

1

15

2

25

3

35

10 30 40 50 60 70 80 90

Mutation rate ()

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers

0

05

1

15

2

25

3

35

4

1 2 3 4 5 8 10 15

Elite members

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeatures

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Η μέθοδος CFS

bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την

εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις

ιδιότητες του υποσυνόλου

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

)1( ii

cis

rkkk

rkG

Σύγκριση των δύο μεθόδων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

000

1000

2000

3000

4000

5000

6000

7000

8000

9000

ZeroR DecisionStump

DecisionTable

IB1 IB3 IB9 LinearRegression

M5Prime

GA Mean absolute error GA Root mean squared error

CFS Mean absolute error CFS Root mean squared error

Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης

bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης

ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART

bull Συνδυασμένος ταξινομητής

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το σύστημα ΠΛ ΝΕΜΟ (1)

Όμοιες περιπτώσεις

Επιλογέας κοντινών περιπτώσεων

Φίλτρο κοντινών περιπτώσεων

Προσαρμογέας κοντινών περιπτώσεων

Προβλέπτης λύσης

Προτεινόμενη λύση

ΝΕΜΟ

Βάση περιπτώσεων

Κοντινέςπεριπτώσεις

Βάση Γνώσης

Νέα περίπτωση

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία

αναστροφή

βροχόπτωση

άνεμος

NO στις 10 πμ

NO στις 9 πμ

NO στις 8 πμ

NO2 στις 10 πμ

NO2 στις 9 πμ

NO2 στις 8 πμ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Έξοδος

Το δέντρο απόφασης (1)NOat10

NOat10

NOat10

NOat10

Wind

NOat9

Rain

Inversion

NOat9

NO2at8 Wind

Radiation

1(26518)

1(235)

2(4412)

1(83) 2(104) 1(100)

2(101) 1(101)

2(10035)

3(5313)

4(80)

4(124)3(91)

lt=027 gt027

lt=021

gt067

gt021

lt=067

lt=04 gt04

lt=057 gt057

lt=066 gt066

lt=047 gt047

lt=021 gt021

=0 =1

lt=021 gt021 lt=08 gt08

lt=036 gt036

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το δέντρο απόφασης (2)

0

021

025

04 057

105 075

027

12

1 2 3

4

34

066

0

1

02

04

06

08

ΝΟ στις10πμ

Θερ

μο

κρα

σια

κή α

νασ

τρο

φή

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Ο συνδυασμένος ταξινομητής

bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (1)

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

134

38

522

122

93

8

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΝΕΜΟ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

Αποτελέσματα Πίνακες Σύγχυσης (2)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

40

4221

8 317

8

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΔΑ CART

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (3)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

42

8216

8 69

4 4

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΤΝΔ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (4)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

138

38

4124

122

13

2

6

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Στατιστικά για τους 4 αλγόριθμους

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

CART NeuralNet NEMO ML Ensemble

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 2: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Η διάρθρωση της παρουσίασης

1 Μηχανική Μάθηση2 Περιβαλλοντική Πληροφορική3 Προ-επεξεργασία4 Μείωση των διαστάσεων5 Εφαρμογή των αλγορίθμων6 Κατανεμημένη υλοποίηση7 Προς ένα ολοκληρωμένο σύστημα8 Συμπεράσματα

1 ΜΗΧΑΝΙΚΗ ΜΑΘΗΣΗ

bull Ορισμός

bull Μορφοποίηση συνόλου δεδομένων

bull Εφαρμογές

bull Αλγόριθμοι

1Μηχανική Μάθηση1Μηχανική Μάθηση

ΜΗΧΑΝΙΚΗ ΜΑΘΗΣΗ

Ορισμός

laquoΗ αναζήτηση σε ένα χώρο πιθανών υποθέσεων εκείνης της υπόθεσης που ταιριάζει καλύτερα στα υπό εξέταση δεδομένα και στην πιθανώς προϋπάρχουσα γνώσηraquo

1Μηχανική Μάθηση1Μηχανική Μάθηση

Ένα παράδειγμα

bull Αναγνώριση του λουλουδιού της ίριδαςbull Πιθανές κλάσεις που αυτό ανήκει

ndash Iris Setosandash Iris Virginicandash Iris Versicolour

bull 4 ιδιότητεςndash Μήκος πετάλουndash Πλάτος πετάλουndash Μήκος σεπάλουndash Πλάτος σεπάλου

1Μηχανική Μάθηση1Μηχανική Μάθηση

Μορφοποιημένο σύνολο δεδομένων

57 44 15 04 Iris-setosa

54 39 13 04 Iris-setosa

51 35 14 03 Iris-setosa

51 35 14 02 Iris-setosa

49 3 14 02 Iris-setosa

hellip hellip hellip hellip hellip

7 32 47 14 Iris-versicolor

64 32 45 15 Iris-versicolor

hellip hellip hellip hellip hellip

63 33 6 25 Iris-virginica

58 27 51 19 Iris-virginica

1Μηχανική Μάθηση1Μηχανική Μάθηση

Ιδιότητες Μεταβλητή κλάσης

Παράδειγμα

Μήκος σεπάλου

Πλάτος σεπάλου

Πλάτος πετάλου

Μήκος πετάλου

Εκπαίδευση του αλγόριθμου

57 44 15 04 Iris-setosa

54 39 13 04 Iris-setosa

hellip hellip hellip hellip hellip

58 27 51 19 Iris-virginica

1Μηχανική Μάθηση1Μηχανική Μάθηση

Σύνολο εκπαίδευσης

Αλγόριθμος

Εκπαιδευμένο μοντέλο

αλγορίθμου

Υrsquo = f(X) + ε

TSE
Η μανιβέλα είναι δυνατόν να γυρίζει γύρω-γύρω με animation

Αξιολόγηση του αλγόριθμου

57 44 15 04 Iris-setosa

54 39 13 04 Iris-setosa

hellip hellip hellip hellip hellip

58 27 51 19 Iris-virginica

Σύνολο αξιολόγησης

Υrsquo = f(X) + ε

Αλγόριθμος

Μέτρα Απόδοσης Εκπαιδευμένου Μοντέλου

1Μηχανική Μάθηση1Μηχανική Μάθηση

Νέο παράδειγμα

Εφαρμογή του αλγόριθμου57 44 15 04

Iris-setosa

Υrsquo = f(X) + ε

Αλγόριθμος

Πρόβλεψη

1Μηχανική Μάθηση1Μηχανική Μάθηση

Εφαρμογές

bull Χρηματιστήριο

bull Βιομηχανία

bull Περιβάλλον

bull Βιοτεχνολογία Γενετική

bull Τραπεζικός Ασφαλιστικός τομέας

1Μηχανική Μάθηση1Μηχανική Μάθηση

Αλγόριθμοι

bull Είδη ΜηχΜάθησηςndash Υπό επίβλεψηndash Χωρίς επίβλεψη

bull Τύποι προβλημάτων υπό επίβλεψηndash Παλινδρόμησηςndash Ταξινόμησης

1Μηχανική Μάθηση1Μηχανική Μάθηση

Αλγόριθμοι

bull K-κοντινότεροι γείτονεςbull Παλινδρόμησηbull Τεχνητά Νευρωνικά Δίκτυαbull Περιπτωσιακός Λογισμόςbull Δέντρα Απόφασηςbull Δίκτυα Bayesbull Γενετικοί Αλγόριθμοι

1Μηχανική Μάθηση1Μηχανική Μάθηση

Κ-κοντινότεροι γείτονες

1Μηχανική Μάθηση1Μηχανική Μάθηση

R

Κ-κοντινότεροι γείτονες

bull Πλεονεκτήματαndash Απλή υλοποίησηndash Αποδεκτά αποτελέσματα σε μεγάλο πεδίο

εφαρμογώνndash Πολύχρονη εμπειρία χρήσης

bull Μειονεκτήματαndash Χρονοβόρος σε μεγάλα σύνολα δεδομένων

1Μηχανική Μάθηση1Μηχανική Μάθηση

Παλινδρόμηση

1Μηχανική Μάθηση1Μηχανική Μάθηση

Τεχνητά Νευρωνικά Δίκτυα

1Μηχανική Μάθηση1Μηχανική Μάθηση

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Είσοδος 3Είσοδος 1Είσοδος 2 Είσοδος 4

Είσοδος 5Είσοδος 6

Είσοδος 7

Είσοδος 8

Είσοδος 9

Είσοδος 10

Έξοδος

Τεχνητά Νευρωνικά Δίκτυα

bull Πλεονεκτήματαndash Ανοχή στον θόρυβοndash Ικανότητα γενίκευσης

bull Μειονεκτήματαndash Δυσνόητο μοντέλο (μαύρο κουτί)ndash Δυσανάλογος χρόνος εκπαίδευσης

1Μηχανική Μάθηση1Μηχανική Μάθηση

Περιπτωσιακός Λογισμός

1Μηχανική Μάθηση1Μηχανική Μάθηση

Νέα περίπτωση

Πρόβλημα

Παλαιά περίπτωσηΝέα

περίπτωση

Λυμένη περίπτωση

Δοκιμασμένη διορθωμένη

λύση

Διδαχθείσα περίπτωση

Ανάκληση περιπτώσεων

Επαναχρησιμοποίηση παλιών λύσεων

Προσαρμογή λύσης

Αιτιολόγηση λύσης

Γενική Γνώση

Παλαιά περίπτωσηΠαλαιά περίπτωσηΠαλαιά

περίπτωση

Παλαιές περιπτώσεις

Προτεινόμενη λύσηΕγκεκριμένη λύση

Δέντρα Απόφασης

1Μηχανική Μάθηση1Μηχανική Μάθηση

Δίκτυα Bayes

1Μηχανική Μάθηση1Μηχανική Μάθηση

Χ1 Χ2

Χ3

Χ4

Χ5

Υ

P(X1 X2 X3 X4 X5 Y) = P(X1)P(X2)P(X3|X1 X2)P(Y|X1 X2 X3)P(X4|Y) P(X5|X4 Y)

Γενετικοί Αλγόριθμοι

1Μηχανική Μάθηση1Μηχανική Μάθηση

Αρχικός πληθυσμός

Αξιολόγηση συνάρτησης

προσαρμογής

Επιλογή

Διασταύρωση

Μετάλλαξη

Γέννηση νέου πληθυσμού

Επιτεύχθηκαν τα κριτήρια

βελτιστοποίησης

Εξαγωγή λύσης

Ναι

Όχι

Περιβαλλοντική Πληροφορική

bull Θέματαndash Ολοκληρωμένες πλατφόρμες αξιολόγησης και μελέτες

περιπτώσεωνndash Ανάλυση περιβαλλοντικών συστημάτωνndash Πρόβλεψη περιβαλλοντικών αλλαγώνndash Παρακολούθηση του περιβάλλοντος σε πραγματικό χρόνοndash Πιστοποίηση ποιότητας περιβαλλοντικών μοντέλωνndash Εφαρμογές μοντελοποίησης με agents και εξομοίωσης σε

περιβαλλοντικά συστήματα

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Περιβαλλοντική Πληροφορική

bull Πεδία Εφαρμογήςndash Ποιότητα Αέραndash Ποιότητα Εδάφουςndash Ποιότητα Υδάτωνndash Διαχείριση Αποβλήτων

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Αέρια Ρύπανση

bull Παρακολούθηση και πρόβλεψη των επιβλαβών ρύπωνndash Ο3

ndash ΝΟx

ndash PM10 Σωματίδιαndash Καπνός

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Τα προβλήματα του ΠΕΡΠΑ

bull Πρόβλεψη της μέγιστης συγκέντρωσης για τους ρύπουςndash ΝΟ2

ndash Ο3

bull Για τις χρονικές περιόδουςndash Ίδια ημέρα μετά τις 10 πμndash Επόμενη ημέρα

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Π1Π2 Πρόβλεψη την ίδια ημέρα

0

50

100

150

200

250

300

350

400

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

Hour

pp

b

0

20

40

60

80

100

120

140

pp

b

NO2 NO SO2 CO O3

ΠρόβλεψηΣυλλογή δεδομένων

O3 m

ax

NO

2 max

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Π3Π4 Πρόβλεψη για την επόμενη ημέρα

0

100

200

300

400

500

600

700

800

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

Hour

pp

b

0

5

10

15

20

25

30

35

40

pp

b

NO2 NO SO2 CO O3

ΠρόβλεψηΣυλλογή δεδομένων

O3 m

axNO

2 max

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Προ-επεξεργασία των δεδομένων

bull Αντιμετώπιση θορύβου

bull Αντικατάσταση ελλιπών τιμών

3Προ-επεξεργασία3Προ-επεξεργασία

Μελέτη θορύβου

bull 2 μοντέλα θορύβουndash Ύπαρξη θορύβου μόνο στις ιδιότητεςndash Ύπαρξη θορύβου και στις ιδιότητες και

στην εξαρτημένη μεταβλητή

bull Εκτίμηση απόκλισης τιμής ιδιότητας λόγω θορύβου

3Προ-επεξεργασία3Προ-επεξεργασία

piii zxx

Αποτελέσματα μελέτης θορύβου- 1ο μοντέλο

-2

-1

0

1

2

3

4

5

6

7

8

0 005 01 02 03 04 05

IB1 - Attribute IBk -K 9 - Attribute LinearRegression - Attribute M5Prime - Attribute NeuralNetwork - Attribute ZeroR - Attribute

Drop Page Fields Here

Average of Root mean squared error (diff)

Noise Level

Scheme

Noise Model

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα μελέτης θορύβου- 2ο μοντέλο

0

5

10

15

20

25

30

0 005 01 02 03 04 05

IB1 - AttributeClassVar IBk -K 9 - AttributeClassVar LinearRegression - AttributeClassVar

M5Prime - AttributeClassVar NeuralNetwork - AttributeClassVar ZeroR - AttributeClassVar

Drop Page Fields Here

Average of Root mean squared error (diff)

Noise Level

Scheme

Noise Model

3Προ-επεξεργασία3Προ-επεξεργασία

Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών

bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj

1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα

παραδείγματα που ανήκουν στην κλάση Υj

3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)

4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμών-RMSE

-012

-01

-008

-006

-004

-002

0

002

004

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Root mean squared error (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου

-25

-2

-15

-1

-05

0

05

1

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Time taken to build model (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Μείωση των διαστάσεων

bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Επιλογή των ιδιοτήτων57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

15

13

14

14

14

47

45

6

51

bull 2ν πιθανοί συνδυασμοί

bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Πως ορίζεται η ιδιότητα

bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό

μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης

του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Λόγοι επιλογής ιδιοτήτων

bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων

bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή

bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)

bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδοι Αντιμετώπισης

bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδος φιλτραρίσματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Υπολογισμός μέτρωνποιότητας των ιδιοτήτων

Επαύξηση ή μείωση των ιδιοτήτων

Είναι αποδεκτό τοαξιολογημένουποσύνολο

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Επιλογή νέου υποσυνόλουιδιοτήτων

Μέθοδοςφιλτραρίσματος

Γενετικός Αλγόριθμος

Μέθοδος περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Εκπαιδευμένο Μοντέλο

Σύνολοδεδομένων

Κατασκευή συνόλου δεδομένων

Αξιολογημένο Μοντέλο

Εκπαίδευση Αλγορίθμου

Αξιολόγηση Αλγορίθμου

Είναι αποδεκτό τοαξιολογημένο

μοντέλο

Επιλογή νέου υποσυνόλουιδιοτήτων

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Κ-κοντινότεροι γείτονες

Περιτύλιξη με Γενετικό Αλγόριθμο

bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων

bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου

ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων

ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας

γενετικούς τελεστές

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

11 22 33 4400

B1B1 B2B2 B3B3 B4B4 B5B5

Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων

Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με

κωδικό 104 (Γεωπονική) στις 5 μμ

000000 00110011 000000 1000010000 0001000010 0000000000 00

P = ΝΟ2 S = 104

F = αδιάφορο

H1 = 1700 O = 0

H2 = αδιάφορο

ΣημαίαΣυγκεντρωτικής ιδιότητας = 0

Επέλεξε τη μέση συγκέντρωση του

SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ

100100 01110111 000000 0001100011 1010010100 0001000010 11

P = ΝΟ2 S = 108

F = Μέση τιμή-Avg

H1 = 400 O = -2

H2 = 2100

ΣημαίαΣυγκεντρωτικής ιδιότητας = 1

Η Κωδικοποίηση του γενότυπου

Η συνάρτηση προσαρμογής

bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του

αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο

υποσύνολο ιδιοτήτων της λύσης

nA

iAb

nE

iEa

iAiEF

max

)(

max

)(1

))()((

a lt= 1 b lt= 1 a + b = 1

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Οι παράμετροι της συνάρτησης προσαρμογής a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE

bull et = Xt ndash Ft

bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής

bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

n

e

RMSE

n

tt

1

2

n

tt

n

ttt

X

Xe

WSE

1

2

1

2

Ρύθμιση του μεγέθους πληθυσμού

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Population Sizes

0

05

1

15

2

25

3

35

4

5 10 20 30 40 50 100

Population Size

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση συντελεστών a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Coefficient pairs

0

5

10

15

20

25

30

35

01 09 03 07 05 05 07 03 08 02 09 01 095 005

ab pairs

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage

0

05

1

15

2

25

3

35

10 30 40 50 60 70 80 90

Mutation rate ()

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers

0

05

1

15

2

25

3

35

4

1 2 3 4 5 8 10 15

Elite members

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeatures

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Η μέθοδος CFS

bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την

εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις

ιδιότητες του υποσυνόλου

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

)1( ii

cis

rkkk

rkG

Σύγκριση των δύο μεθόδων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

000

1000

2000

3000

4000

5000

6000

7000

8000

9000

ZeroR DecisionStump

DecisionTable

IB1 IB3 IB9 LinearRegression

M5Prime

GA Mean absolute error GA Root mean squared error

CFS Mean absolute error CFS Root mean squared error

Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης

bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης

ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART

bull Συνδυασμένος ταξινομητής

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το σύστημα ΠΛ ΝΕΜΟ (1)

Όμοιες περιπτώσεις

Επιλογέας κοντινών περιπτώσεων

Φίλτρο κοντινών περιπτώσεων

Προσαρμογέας κοντινών περιπτώσεων

Προβλέπτης λύσης

Προτεινόμενη λύση

ΝΕΜΟ

Βάση περιπτώσεων

Κοντινέςπεριπτώσεις

Βάση Γνώσης

Νέα περίπτωση

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία

αναστροφή

βροχόπτωση

άνεμος

NO στις 10 πμ

NO στις 9 πμ

NO στις 8 πμ

NO2 στις 10 πμ

NO2 στις 9 πμ

NO2 στις 8 πμ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Έξοδος

Το δέντρο απόφασης (1)NOat10

NOat10

NOat10

NOat10

Wind

NOat9

Rain

Inversion

NOat9

NO2at8 Wind

Radiation

1(26518)

1(235)

2(4412)

1(83) 2(104) 1(100)

2(101) 1(101)

2(10035)

3(5313)

4(80)

4(124)3(91)

lt=027 gt027

lt=021

gt067

gt021

lt=067

lt=04 gt04

lt=057 gt057

lt=066 gt066

lt=047 gt047

lt=021 gt021

=0 =1

lt=021 gt021 lt=08 gt08

lt=036 gt036

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το δέντρο απόφασης (2)

0

021

025

04 057

105 075

027

12

1 2 3

4

34

066

0

1

02

04

06

08

ΝΟ στις10πμ

Θερ

μο

κρα

σια

κή α

νασ

τρο

φή

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Ο συνδυασμένος ταξινομητής

bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (1)

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

134

38

522

122

93

8

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΝΕΜΟ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

Αποτελέσματα Πίνακες Σύγχυσης (2)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

40

4221

8 317

8

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΔΑ CART

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (3)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

42

8216

8 69

4 4

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΤΝΔ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (4)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

138

38

4124

122

13

2

6

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Στατιστικά για τους 4 αλγόριθμους

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

CART NeuralNet NEMO ML Ensemble

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 3: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

1 ΜΗΧΑΝΙΚΗ ΜΑΘΗΣΗ

bull Ορισμός

bull Μορφοποίηση συνόλου δεδομένων

bull Εφαρμογές

bull Αλγόριθμοι

1Μηχανική Μάθηση1Μηχανική Μάθηση

ΜΗΧΑΝΙΚΗ ΜΑΘΗΣΗ

Ορισμός

laquoΗ αναζήτηση σε ένα χώρο πιθανών υποθέσεων εκείνης της υπόθεσης που ταιριάζει καλύτερα στα υπό εξέταση δεδομένα και στην πιθανώς προϋπάρχουσα γνώσηraquo

1Μηχανική Μάθηση1Μηχανική Μάθηση

Ένα παράδειγμα

bull Αναγνώριση του λουλουδιού της ίριδαςbull Πιθανές κλάσεις που αυτό ανήκει

ndash Iris Setosandash Iris Virginicandash Iris Versicolour

bull 4 ιδιότητεςndash Μήκος πετάλουndash Πλάτος πετάλουndash Μήκος σεπάλουndash Πλάτος σεπάλου

1Μηχανική Μάθηση1Μηχανική Μάθηση

Μορφοποιημένο σύνολο δεδομένων

57 44 15 04 Iris-setosa

54 39 13 04 Iris-setosa

51 35 14 03 Iris-setosa

51 35 14 02 Iris-setosa

49 3 14 02 Iris-setosa

hellip hellip hellip hellip hellip

7 32 47 14 Iris-versicolor

64 32 45 15 Iris-versicolor

hellip hellip hellip hellip hellip

63 33 6 25 Iris-virginica

58 27 51 19 Iris-virginica

1Μηχανική Μάθηση1Μηχανική Μάθηση

Ιδιότητες Μεταβλητή κλάσης

Παράδειγμα

Μήκος σεπάλου

Πλάτος σεπάλου

Πλάτος πετάλου

Μήκος πετάλου

Εκπαίδευση του αλγόριθμου

57 44 15 04 Iris-setosa

54 39 13 04 Iris-setosa

hellip hellip hellip hellip hellip

58 27 51 19 Iris-virginica

1Μηχανική Μάθηση1Μηχανική Μάθηση

Σύνολο εκπαίδευσης

Αλγόριθμος

Εκπαιδευμένο μοντέλο

αλγορίθμου

Υrsquo = f(X) + ε

TSE
Η μανιβέλα είναι δυνατόν να γυρίζει γύρω-γύρω με animation

Αξιολόγηση του αλγόριθμου

57 44 15 04 Iris-setosa

54 39 13 04 Iris-setosa

hellip hellip hellip hellip hellip

58 27 51 19 Iris-virginica

Σύνολο αξιολόγησης

Υrsquo = f(X) + ε

Αλγόριθμος

Μέτρα Απόδοσης Εκπαιδευμένου Μοντέλου

1Μηχανική Μάθηση1Μηχανική Μάθηση

Νέο παράδειγμα

Εφαρμογή του αλγόριθμου57 44 15 04

Iris-setosa

Υrsquo = f(X) + ε

Αλγόριθμος

Πρόβλεψη

1Μηχανική Μάθηση1Μηχανική Μάθηση

Εφαρμογές

bull Χρηματιστήριο

bull Βιομηχανία

bull Περιβάλλον

bull Βιοτεχνολογία Γενετική

bull Τραπεζικός Ασφαλιστικός τομέας

1Μηχανική Μάθηση1Μηχανική Μάθηση

Αλγόριθμοι

bull Είδη ΜηχΜάθησηςndash Υπό επίβλεψηndash Χωρίς επίβλεψη

bull Τύποι προβλημάτων υπό επίβλεψηndash Παλινδρόμησηςndash Ταξινόμησης

1Μηχανική Μάθηση1Μηχανική Μάθηση

Αλγόριθμοι

bull K-κοντινότεροι γείτονεςbull Παλινδρόμησηbull Τεχνητά Νευρωνικά Δίκτυαbull Περιπτωσιακός Λογισμόςbull Δέντρα Απόφασηςbull Δίκτυα Bayesbull Γενετικοί Αλγόριθμοι

1Μηχανική Μάθηση1Μηχανική Μάθηση

Κ-κοντινότεροι γείτονες

1Μηχανική Μάθηση1Μηχανική Μάθηση

R

Κ-κοντινότεροι γείτονες

bull Πλεονεκτήματαndash Απλή υλοποίησηndash Αποδεκτά αποτελέσματα σε μεγάλο πεδίο

εφαρμογώνndash Πολύχρονη εμπειρία χρήσης

bull Μειονεκτήματαndash Χρονοβόρος σε μεγάλα σύνολα δεδομένων

1Μηχανική Μάθηση1Μηχανική Μάθηση

Παλινδρόμηση

1Μηχανική Μάθηση1Μηχανική Μάθηση

Τεχνητά Νευρωνικά Δίκτυα

1Μηχανική Μάθηση1Μηχανική Μάθηση

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Είσοδος 3Είσοδος 1Είσοδος 2 Είσοδος 4

Είσοδος 5Είσοδος 6

Είσοδος 7

Είσοδος 8

Είσοδος 9

Είσοδος 10

Έξοδος

Τεχνητά Νευρωνικά Δίκτυα

bull Πλεονεκτήματαndash Ανοχή στον θόρυβοndash Ικανότητα γενίκευσης

bull Μειονεκτήματαndash Δυσνόητο μοντέλο (μαύρο κουτί)ndash Δυσανάλογος χρόνος εκπαίδευσης

1Μηχανική Μάθηση1Μηχανική Μάθηση

Περιπτωσιακός Λογισμός

1Μηχανική Μάθηση1Μηχανική Μάθηση

Νέα περίπτωση

Πρόβλημα

Παλαιά περίπτωσηΝέα

περίπτωση

Λυμένη περίπτωση

Δοκιμασμένη διορθωμένη

λύση

Διδαχθείσα περίπτωση

Ανάκληση περιπτώσεων

Επαναχρησιμοποίηση παλιών λύσεων

Προσαρμογή λύσης

Αιτιολόγηση λύσης

Γενική Γνώση

Παλαιά περίπτωσηΠαλαιά περίπτωσηΠαλαιά

περίπτωση

Παλαιές περιπτώσεις

Προτεινόμενη λύσηΕγκεκριμένη λύση

Δέντρα Απόφασης

1Μηχανική Μάθηση1Μηχανική Μάθηση

Δίκτυα Bayes

1Μηχανική Μάθηση1Μηχανική Μάθηση

Χ1 Χ2

Χ3

Χ4

Χ5

Υ

P(X1 X2 X3 X4 X5 Y) = P(X1)P(X2)P(X3|X1 X2)P(Y|X1 X2 X3)P(X4|Y) P(X5|X4 Y)

Γενετικοί Αλγόριθμοι

1Μηχανική Μάθηση1Μηχανική Μάθηση

Αρχικός πληθυσμός

Αξιολόγηση συνάρτησης

προσαρμογής

Επιλογή

Διασταύρωση

Μετάλλαξη

Γέννηση νέου πληθυσμού

Επιτεύχθηκαν τα κριτήρια

βελτιστοποίησης

Εξαγωγή λύσης

Ναι

Όχι

Περιβαλλοντική Πληροφορική

bull Θέματαndash Ολοκληρωμένες πλατφόρμες αξιολόγησης και μελέτες

περιπτώσεωνndash Ανάλυση περιβαλλοντικών συστημάτωνndash Πρόβλεψη περιβαλλοντικών αλλαγώνndash Παρακολούθηση του περιβάλλοντος σε πραγματικό χρόνοndash Πιστοποίηση ποιότητας περιβαλλοντικών μοντέλωνndash Εφαρμογές μοντελοποίησης με agents και εξομοίωσης σε

περιβαλλοντικά συστήματα

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Περιβαλλοντική Πληροφορική

bull Πεδία Εφαρμογήςndash Ποιότητα Αέραndash Ποιότητα Εδάφουςndash Ποιότητα Υδάτωνndash Διαχείριση Αποβλήτων

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Αέρια Ρύπανση

bull Παρακολούθηση και πρόβλεψη των επιβλαβών ρύπωνndash Ο3

ndash ΝΟx

ndash PM10 Σωματίδιαndash Καπνός

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Τα προβλήματα του ΠΕΡΠΑ

bull Πρόβλεψη της μέγιστης συγκέντρωσης για τους ρύπουςndash ΝΟ2

ndash Ο3

bull Για τις χρονικές περιόδουςndash Ίδια ημέρα μετά τις 10 πμndash Επόμενη ημέρα

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Π1Π2 Πρόβλεψη την ίδια ημέρα

0

50

100

150

200

250

300

350

400

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

Hour

pp

b

0

20

40

60

80

100

120

140

pp

b

NO2 NO SO2 CO O3

ΠρόβλεψηΣυλλογή δεδομένων

O3 m

ax

NO

2 max

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Π3Π4 Πρόβλεψη για την επόμενη ημέρα

0

100

200

300

400

500

600

700

800

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

Hour

pp

b

0

5

10

15

20

25

30

35

40

pp

b

NO2 NO SO2 CO O3

ΠρόβλεψηΣυλλογή δεδομένων

O3 m

axNO

2 max

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Προ-επεξεργασία των δεδομένων

bull Αντιμετώπιση θορύβου

bull Αντικατάσταση ελλιπών τιμών

3Προ-επεξεργασία3Προ-επεξεργασία

Μελέτη θορύβου

bull 2 μοντέλα θορύβουndash Ύπαρξη θορύβου μόνο στις ιδιότητεςndash Ύπαρξη θορύβου και στις ιδιότητες και

στην εξαρτημένη μεταβλητή

bull Εκτίμηση απόκλισης τιμής ιδιότητας λόγω θορύβου

3Προ-επεξεργασία3Προ-επεξεργασία

piii zxx

Αποτελέσματα μελέτης θορύβου- 1ο μοντέλο

-2

-1

0

1

2

3

4

5

6

7

8

0 005 01 02 03 04 05

IB1 - Attribute IBk -K 9 - Attribute LinearRegression - Attribute M5Prime - Attribute NeuralNetwork - Attribute ZeroR - Attribute

Drop Page Fields Here

Average of Root mean squared error (diff)

Noise Level

Scheme

Noise Model

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα μελέτης θορύβου- 2ο μοντέλο

0

5

10

15

20

25

30

0 005 01 02 03 04 05

IB1 - AttributeClassVar IBk -K 9 - AttributeClassVar LinearRegression - AttributeClassVar

M5Prime - AttributeClassVar NeuralNetwork - AttributeClassVar ZeroR - AttributeClassVar

Drop Page Fields Here

Average of Root mean squared error (diff)

Noise Level

Scheme

Noise Model

3Προ-επεξεργασία3Προ-επεξεργασία

Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών

bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj

1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα

παραδείγματα που ανήκουν στην κλάση Υj

3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)

4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμών-RMSE

-012

-01

-008

-006

-004

-002

0

002

004

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Root mean squared error (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου

-25

-2

-15

-1

-05

0

05

1

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Time taken to build model (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Μείωση των διαστάσεων

bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Επιλογή των ιδιοτήτων57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

15

13

14

14

14

47

45

6

51

bull 2ν πιθανοί συνδυασμοί

bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Πως ορίζεται η ιδιότητα

bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό

μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης

του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Λόγοι επιλογής ιδιοτήτων

bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων

bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή

bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)

bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδοι Αντιμετώπισης

bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδος φιλτραρίσματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Υπολογισμός μέτρωνποιότητας των ιδιοτήτων

Επαύξηση ή μείωση των ιδιοτήτων

Είναι αποδεκτό τοαξιολογημένουποσύνολο

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Επιλογή νέου υποσυνόλουιδιοτήτων

Μέθοδοςφιλτραρίσματος

Γενετικός Αλγόριθμος

Μέθοδος περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Εκπαιδευμένο Μοντέλο

Σύνολοδεδομένων

Κατασκευή συνόλου δεδομένων

Αξιολογημένο Μοντέλο

Εκπαίδευση Αλγορίθμου

Αξιολόγηση Αλγορίθμου

Είναι αποδεκτό τοαξιολογημένο

μοντέλο

Επιλογή νέου υποσυνόλουιδιοτήτων

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Κ-κοντινότεροι γείτονες

Περιτύλιξη με Γενετικό Αλγόριθμο

bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων

bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου

ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων

ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας

γενετικούς τελεστές

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

11 22 33 4400

B1B1 B2B2 B3B3 B4B4 B5B5

Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων

Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με

κωδικό 104 (Γεωπονική) στις 5 μμ

000000 00110011 000000 1000010000 0001000010 0000000000 00

P = ΝΟ2 S = 104

F = αδιάφορο

H1 = 1700 O = 0

H2 = αδιάφορο

ΣημαίαΣυγκεντρωτικής ιδιότητας = 0

Επέλεξε τη μέση συγκέντρωση του

SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ

100100 01110111 000000 0001100011 1010010100 0001000010 11

P = ΝΟ2 S = 108

F = Μέση τιμή-Avg

H1 = 400 O = -2

H2 = 2100

ΣημαίαΣυγκεντρωτικής ιδιότητας = 1

Η Κωδικοποίηση του γενότυπου

Η συνάρτηση προσαρμογής

bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του

αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο

υποσύνολο ιδιοτήτων της λύσης

nA

iAb

nE

iEa

iAiEF

max

)(

max

)(1

))()((

a lt= 1 b lt= 1 a + b = 1

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Οι παράμετροι της συνάρτησης προσαρμογής a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE

bull et = Xt ndash Ft

bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής

bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

n

e

RMSE

n

tt

1

2

n

tt

n

ttt

X

Xe

WSE

1

2

1

2

Ρύθμιση του μεγέθους πληθυσμού

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Population Sizes

0

05

1

15

2

25

3

35

4

5 10 20 30 40 50 100

Population Size

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση συντελεστών a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Coefficient pairs

0

5

10

15

20

25

30

35

01 09 03 07 05 05 07 03 08 02 09 01 095 005

ab pairs

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage

0

05

1

15

2

25

3

35

10 30 40 50 60 70 80 90

Mutation rate ()

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers

0

05

1

15

2

25

3

35

4

1 2 3 4 5 8 10 15

Elite members

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeatures

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Η μέθοδος CFS

bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την

εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις

ιδιότητες του υποσυνόλου

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

)1( ii

cis

rkkk

rkG

Σύγκριση των δύο μεθόδων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

000

1000

2000

3000

4000

5000

6000

7000

8000

9000

ZeroR DecisionStump

DecisionTable

IB1 IB3 IB9 LinearRegression

M5Prime

GA Mean absolute error GA Root mean squared error

CFS Mean absolute error CFS Root mean squared error

Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης

bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης

ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART

bull Συνδυασμένος ταξινομητής

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το σύστημα ΠΛ ΝΕΜΟ (1)

Όμοιες περιπτώσεις

Επιλογέας κοντινών περιπτώσεων

Φίλτρο κοντινών περιπτώσεων

Προσαρμογέας κοντινών περιπτώσεων

Προβλέπτης λύσης

Προτεινόμενη λύση

ΝΕΜΟ

Βάση περιπτώσεων

Κοντινέςπεριπτώσεις

Βάση Γνώσης

Νέα περίπτωση

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία

αναστροφή

βροχόπτωση

άνεμος

NO στις 10 πμ

NO στις 9 πμ

NO στις 8 πμ

NO2 στις 10 πμ

NO2 στις 9 πμ

NO2 στις 8 πμ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Έξοδος

Το δέντρο απόφασης (1)NOat10

NOat10

NOat10

NOat10

Wind

NOat9

Rain

Inversion

NOat9

NO2at8 Wind

Radiation

1(26518)

1(235)

2(4412)

1(83) 2(104) 1(100)

2(101) 1(101)

2(10035)

3(5313)

4(80)

4(124)3(91)

lt=027 gt027

lt=021

gt067

gt021

lt=067

lt=04 gt04

lt=057 gt057

lt=066 gt066

lt=047 gt047

lt=021 gt021

=0 =1

lt=021 gt021 lt=08 gt08

lt=036 gt036

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το δέντρο απόφασης (2)

0

021

025

04 057

105 075

027

12

1 2 3

4

34

066

0

1

02

04

06

08

ΝΟ στις10πμ

Θερ

μο

κρα

σια

κή α

νασ

τρο

φή

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Ο συνδυασμένος ταξινομητής

bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (1)

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

134

38

522

122

93

8

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΝΕΜΟ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

Αποτελέσματα Πίνακες Σύγχυσης (2)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

40

4221

8 317

8

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΔΑ CART

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (3)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

42

8216

8 69

4 4

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΤΝΔ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (4)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

138

38

4124

122

13

2

6

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Στατιστικά για τους 4 αλγόριθμους

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

CART NeuralNet NEMO ML Ensemble

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 4: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

ΜΗΧΑΝΙΚΗ ΜΑΘΗΣΗ

Ορισμός

laquoΗ αναζήτηση σε ένα χώρο πιθανών υποθέσεων εκείνης της υπόθεσης που ταιριάζει καλύτερα στα υπό εξέταση δεδομένα και στην πιθανώς προϋπάρχουσα γνώσηraquo

1Μηχανική Μάθηση1Μηχανική Μάθηση

Ένα παράδειγμα

bull Αναγνώριση του λουλουδιού της ίριδαςbull Πιθανές κλάσεις που αυτό ανήκει

ndash Iris Setosandash Iris Virginicandash Iris Versicolour

bull 4 ιδιότητεςndash Μήκος πετάλουndash Πλάτος πετάλουndash Μήκος σεπάλουndash Πλάτος σεπάλου

1Μηχανική Μάθηση1Μηχανική Μάθηση

Μορφοποιημένο σύνολο δεδομένων

57 44 15 04 Iris-setosa

54 39 13 04 Iris-setosa

51 35 14 03 Iris-setosa

51 35 14 02 Iris-setosa

49 3 14 02 Iris-setosa

hellip hellip hellip hellip hellip

7 32 47 14 Iris-versicolor

64 32 45 15 Iris-versicolor

hellip hellip hellip hellip hellip

63 33 6 25 Iris-virginica

58 27 51 19 Iris-virginica

1Μηχανική Μάθηση1Μηχανική Μάθηση

Ιδιότητες Μεταβλητή κλάσης

Παράδειγμα

Μήκος σεπάλου

Πλάτος σεπάλου

Πλάτος πετάλου

Μήκος πετάλου

Εκπαίδευση του αλγόριθμου

57 44 15 04 Iris-setosa

54 39 13 04 Iris-setosa

hellip hellip hellip hellip hellip

58 27 51 19 Iris-virginica

1Μηχανική Μάθηση1Μηχανική Μάθηση

Σύνολο εκπαίδευσης

Αλγόριθμος

Εκπαιδευμένο μοντέλο

αλγορίθμου

Υrsquo = f(X) + ε

TSE
Η μανιβέλα είναι δυνατόν να γυρίζει γύρω-γύρω με animation

Αξιολόγηση του αλγόριθμου

57 44 15 04 Iris-setosa

54 39 13 04 Iris-setosa

hellip hellip hellip hellip hellip

58 27 51 19 Iris-virginica

Σύνολο αξιολόγησης

Υrsquo = f(X) + ε

Αλγόριθμος

Μέτρα Απόδοσης Εκπαιδευμένου Μοντέλου

1Μηχανική Μάθηση1Μηχανική Μάθηση

Νέο παράδειγμα

Εφαρμογή του αλγόριθμου57 44 15 04

Iris-setosa

Υrsquo = f(X) + ε

Αλγόριθμος

Πρόβλεψη

1Μηχανική Μάθηση1Μηχανική Μάθηση

Εφαρμογές

bull Χρηματιστήριο

bull Βιομηχανία

bull Περιβάλλον

bull Βιοτεχνολογία Γενετική

bull Τραπεζικός Ασφαλιστικός τομέας

1Μηχανική Μάθηση1Μηχανική Μάθηση

Αλγόριθμοι

bull Είδη ΜηχΜάθησηςndash Υπό επίβλεψηndash Χωρίς επίβλεψη

bull Τύποι προβλημάτων υπό επίβλεψηndash Παλινδρόμησηςndash Ταξινόμησης

1Μηχανική Μάθηση1Μηχανική Μάθηση

Αλγόριθμοι

bull K-κοντινότεροι γείτονεςbull Παλινδρόμησηbull Τεχνητά Νευρωνικά Δίκτυαbull Περιπτωσιακός Λογισμόςbull Δέντρα Απόφασηςbull Δίκτυα Bayesbull Γενετικοί Αλγόριθμοι

1Μηχανική Μάθηση1Μηχανική Μάθηση

Κ-κοντινότεροι γείτονες

1Μηχανική Μάθηση1Μηχανική Μάθηση

R

Κ-κοντινότεροι γείτονες

bull Πλεονεκτήματαndash Απλή υλοποίησηndash Αποδεκτά αποτελέσματα σε μεγάλο πεδίο

εφαρμογώνndash Πολύχρονη εμπειρία χρήσης

bull Μειονεκτήματαndash Χρονοβόρος σε μεγάλα σύνολα δεδομένων

1Μηχανική Μάθηση1Μηχανική Μάθηση

Παλινδρόμηση

1Μηχανική Μάθηση1Μηχανική Μάθηση

Τεχνητά Νευρωνικά Δίκτυα

1Μηχανική Μάθηση1Μηχανική Μάθηση

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Είσοδος 3Είσοδος 1Είσοδος 2 Είσοδος 4

Είσοδος 5Είσοδος 6

Είσοδος 7

Είσοδος 8

Είσοδος 9

Είσοδος 10

Έξοδος

Τεχνητά Νευρωνικά Δίκτυα

bull Πλεονεκτήματαndash Ανοχή στον θόρυβοndash Ικανότητα γενίκευσης

bull Μειονεκτήματαndash Δυσνόητο μοντέλο (μαύρο κουτί)ndash Δυσανάλογος χρόνος εκπαίδευσης

1Μηχανική Μάθηση1Μηχανική Μάθηση

Περιπτωσιακός Λογισμός

1Μηχανική Μάθηση1Μηχανική Μάθηση

Νέα περίπτωση

Πρόβλημα

Παλαιά περίπτωσηΝέα

περίπτωση

Λυμένη περίπτωση

Δοκιμασμένη διορθωμένη

λύση

Διδαχθείσα περίπτωση

Ανάκληση περιπτώσεων

Επαναχρησιμοποίηση παλιών λύσεων

Προσαρμογή λύσης

Αιτιολόγηση λύσης

Γενική Γνώση

Παλαιά περίπτωσηΠαλαιά περίπτωσηΠαλαιά

περίπτωση

Παλαιές περιπτώσεις

Προτεινόμενη λύσηΕγκεκριμένη λύση

Δέντρα Απόφασης

1Μηχανική Μάθηση1Μηχανική Μάθηση

Δίκτυα Bayes

1Μηχανική Μάθηση1Μηχανική Μάθηση

Χ1 Χ2

Χ3

Χ4

Χ5

Υ

P(X1 X2 X3 X4 X5 Y) = P(X1)P(X2)P(X3|X1 X2)P(Y|X1 X2 X3)P(X4|Y) P(X5|X4 Y)

Γενετικοί Αλγόριθμοι

1Μηχανική Μάθηση1Μηχανική Μάθηση

Αρχικός πληθυσμός

Αξιολόγηση συνάρτησης

προσαρμογής

Επιλογή

Διασταύρωση

Μετάλλαξη

Γέννηση νέου πληθυσμού

Επιτεύχθηκαν τα κριτήρια

βελτιστοποίησης

Εξαγωγή λύσης

Ναι

Όχι

Περιβαλλοντική Πληροφορική

bull Θέματαndash Ολοκληρωμένες πλατφόρμες αξιολόγησης και μελέτες

περιπτώσεωνndash Ανάλυση περιβαλλοντικών συστημάτωνndash Πρόβλεψη περιβαλλοντικών αλλαγώνndash Παρακολούθηση του περιβάλλοντος σε πραγματικό χρόνοndash Πιστοποίηση ποιότητας περιβαλλοντικών μοντέλωνndash Εφαρμογές μοντελοποίησης με agents και εξομοίωσης σε

περιβαλλοντικά συστήματα

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Περιβαλλοντική Πληροφορική

bull Πεδία Εφαρμογήςndash Ποιότητα Αέραndash Ποιότητα Εδάφουςndash Ποιότητα Υδάτωνndash Διαχείριση Αποβλήτων

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Αέρια Ρύπανση

bull Παρακολούθηση και πρόβλεψη των επιβλαβών ρύπωνndash Ο3

ndash ΝΟx

ndash PM10 Σωματίδιαndash Καπνός

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Τα προβλήματα του ΠΕΡΠΑ

bull Πρόβλεψη της μέγιστης συγκέντρωσης για τους ρύπουςndash ΝΟ2

ndash Ο3

bull Για τις χρονικές περιόδουςndash Ίδια ημέρα μετά τις 10 πμndash Επόμενη ημέρα

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Π1Π2 Πρόβλεψη την ίδια ημέρα

0

50

100

150

200

250

300

350

400

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

Hour

pp

b

0

20

40

60

80

100

120

140

pp

b

NO2 NO SO2 CO O3

ΠρόβλεψηΣυλλογή δεδομένων

O3 m

ax

NO

2 max

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Π3Π4 Πρόβλεψη για την επόμενη ημέρα

0

100

200

300

400

500

600

700

800

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

Hour

pp

b

0

5

10

15

20

25

30

35

40

pp

b

NO2 NO SO2 CO O3

ΠρόβλεψηΣυλλογή δεδομένων

O3 m

axNO

2 max

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Προ-επεξεργασία των δεδομένων

bull Αντιμετώπιση θορύβου

bull Αντικατάσταση ελλιπών τιμών

3Προ-επεξεργασία3Προ-επεξεργασία

Μελέτη θορύβου

bull 2 μοντέλα θορύβουndash Ύπαρξη θορύβου μόνο στις ιδιότητεςndash Ύπαρξη θορύβου και στις ιδιότητες και

στην εξαρτημένη μεταβλητή

bull Εκτίμηση απόκλισης τιμής ιδιότητας λόγω θορύβου

3Προ-επεξεργασία3Προ-επεξεργασία

piii zxx

Αποτελέσματα μελέτης θορύβου- 1ο μοντέλο

-2

-1

0

1

2

3

4

5

6

7

8

0 005 01 02 03 04 05

IB1 - Attribute IBk -K 9 - Attribute LinearRegression - Attribute M5Prime - Attribute NeuralNetwork - Attribute ZeroR - Attribute

Drop Page Fields Here

Average of Root mean squared error (diff)

Noise Level

Scheme

Noise Model

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα μελέτης θορύβου- 2ο μοντέλο

0

5

10

15

20

25

30

0 005 01 02 03 04 05

IB1 - AttributeClassVar IBk -K 9 - AttributeClassVar LinearRegression - AttributeClassVar

M5Prime - AttributeClassVar NeuralNetwork - AttributeClassVar ZeroR - AttributeClassVar

Drop Page Fields Here

Average of Root mean squared error (diff)

Noise Level

Scheme

Noise Model

3Προ-επεξεργασία3Προ-επεξεργασία

Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών

bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj

1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα

παραδείγματα που ανήκουν στην κλάση Υj

3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)

4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμών-RMSE

-012

-01

-008

-006

-004

-002

0

002

004

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Root mean squared error (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου

-25

-2

-15

-1

-05

0

05

1

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Time taken to build model (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Μείωση των διαστάσεων

bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Επιλογή των ιδιοτήτων57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

15

13

14

14

14

47

45

6

51

bull 2ν πιθανοί συνδυασμοί

bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Πως ορίζεται η ιδιότητα

bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό

μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης

του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Λόγοι επιλογής ιδιοτήτων

bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων

bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή

bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)

bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδοι Αντιμετώπισης

bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδος φιλτραρίσματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Υπολογισμός μέτρωνποιότητας των ιδιοτήτων

Επαύξηση ή μείωση των ιδιοτήτων

Είναι αποδεκτό τοαξιολογημένουποσύνολο

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Επιλογή νέου υποσυνόλουιδιοτήτων

Μέθοδοςφιλτραρίσματος

Γενετικός Αλγόριθμος

Μέθοδος περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Εκπαιδευμένο Μοντέλο

Σύνολοδεδομένων

Κατασκευή συνόλου δεδομένων

Αξιολογημένο Μοντέλο

Εκπαίδευση Αλγορίθμου

Αξιολόγηση Αλγορίθμου

Είναι αποδεκτό τοαξιολογημένο

μοντέλο

Επιλογή νέου υποσυνόλουιδιοτήτων

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Κ-κοντινότεροι γείτονες

Περιτύλιξη με Γενετικό Αλγόριθμο

bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων

bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου

ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων

ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας

γενετικούς τελεστές

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

11 22 33 4400

B1B1 B2B2 B3B3 B4B4 B5B5

Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων

Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με

κωδικό 104 (Γεωπονική) στις 5 μμ

000000 00110011 000000 1000010000 0001000010 0000000000 00

P = ΝΟ2 S = 104

F = αδιάφορο

H1 = 1700 O = 0

H2 = αδιάφορο

ΣημαίαΣυγκεντρωτικής ιδιότητας = 0

Επέλεξε τη μέση συγκέντρωση του

SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ

100100 01110111 000000 0001100011 1010010100 0001000010 11

P = ΝΟ2 S = 108

F = Μέση τιμή-Avg

H1 = 400 O = -2

H2 = 2100

ΣημαίαΣυγκεντρωτικής ιδιότητας = 1

Η Κωδικοποίηση του γενότυπου

Η συνάρτηση προσαρμογής

bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του

αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο

υποσύνολο ιδιοτήτων της λύσης

nA

iAb

nE

iEa

iAiEF

max

)(

max

)(1

))()((

a lt= 1 b lt= 1 a + b = 1

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Οι παράμετροι της συνάρτησης προσαρμογής a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE

bull et = Xt ndash Ft

bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής

bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

n

e

RMSE

n

tt

1

2

n

tt

n

ttt

X

Xe

WSE

1

2

1

2

Ρύθμιση του μεγέθους πληθυσμού

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Population Sizes

0

05

1

15

2

25

3

35

4

5 10 20 30 40 50 100

Population Size

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση συντελεστών a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Coefficient pairs

0

5

10

15

20

25

30

35

01 09 03 07 05 05 07 03 08 02 09 01 095 005

ab pairs

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage

0

05

1

15

2

25

3

35

10 30 40 50 60 70 80 90

Mutation rate ()

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers

0

05

1

15

2

25

3

35

4

1 2 3 4 5 8 10 15

Elite members

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeatures

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Η μέθοδος CFS

bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την

εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις

ιδιότητες του υποσυνόλου

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

)1( ii

cis

rkkk

rkG

Σύγκριση των δύο μεθόδων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

000

1000

2000

3000

4000

5000

6000

7000

8000

9000

ZeroR DecisionStump

DecisionTable

IB1 IB3 IB9 LinearRegression

M5Prime

GA Mean absolute error GA Root mean squared error

CFS Mean absolute error CFS Root mean squared error

Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης

bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης

ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART

bull Συνδυασμένος ταξινομητής

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το σύστημα ΠΛ ΝΕΜΟ (1)

Όμοιες περιπτώσεις

Επιλογέας κοντινών περιπτώσεων

Φίλτρο κοντινών περιπτώσεων

Προσαρμογέας κοντινών περιπτώσεων

Προβλέπτης λύσης

Προτεινόμενη λύση

ΝΕΜΟ

Βάση περιπτώσεων

Κοντινέςπεριπτώσεις

Βάση Γνώσης

Νέα περίπτωση

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία

αναστροφή

βροχόπτωση

άνεμος

NO στις 10 πμ

NO στις 9 πμ

NO στις 8 πμ

NO2 στις 10 πμ

NO2 στις 9 πμ

NO2 στις 8 πμ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Έξοδος

Το δέντρο απόφασης (1)NOat10

NOat10

NOat10

NOat10

Wind

NOat9

Rain

Inversion

NOat9

NO2at8 Wind

Radiation

1(26518)

1(235)

2(4412)

1(83) 2(104) 1(100)

2(101) 1(101)

2(10035)

3(5313)

4(80)

4(124)3(91)

lt=027 gt027

lt=021

gt067

gt021

lt=067

lt=04 gt04

lt=057 gt057

lt=066 gt066

lt=047 gt047

lt=021 gt021

=0 =1

lt=021 gt021 lt=08 gt08

lt=036 gt036

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το δέντρο απόφασης (2)

0

021

025

04 057

105 075

027

12

1 2 3

4

34

066

0

1

02

04

06

08

ΝΟ στις10πμ

Θερ

μο

κρα

σια

κή α

νασ

τρο

φή

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Ο συνδυασμένος ταξινομητής

bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (1)

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

134

38

522

122

93

8

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΝΕΜΟ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

Αποτελέσματα Πίνακες Σύγχυσης (2)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

40

4221

8 317

8

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΔΑ CART

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (3)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

42

8216

8 69

4 4

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΤΝΔ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (4)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

138

38

4124

122

13

2

6

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Στατιστικά για τους 4 αλγόριθμους

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

CART NeuralNet NEMO ML Ensemble

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 5: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Ένα παράδειγμα

bull Αναγνώριση του λουλουδιού της ίριδαςbull Πιθανές κλάσεις που αυτό ανήκει

ndash Iris Setosandash Iris Virginicandash Iris Versicolour

bull 4 ιδιότητεςndash Μήκος πετάλουndash Πλάτος πετάλουndash Μήκος σεπάλουndash Πλάτος σεπάλου

1Μηχανική Μάθηση1Μηχανική Μάθηση

Μορφοποιημένο σύνολο δεδομένων

57 44 15 04 Iris-setosa

54 39 13 04 Iris-setosa

51 35 14 03 Iris-setosa

51 35 14 02 Iris-setosa

49 3 14 02 Iris-setosa

hellip hellip hellip hellip hellip

7 32 47 14 Iris-versicolor

64 32 45 15 Iris-versicolor

hellip hellip hellip hellip hellip

63 33 6 25 Iris-virginica

58 27 51 19 Iris-virginica

1Μηχανική Μάθηση1Μηχανική Μάθηση

Ιδιότητες Μεταβλητή κλάσης

Παράδειγμα

Μήκος σεπάλου

Πλάτος σεπάλου

Πλάτος πετάλου

Μήκος πετάλου

Εκπαίδευση του αλγόριθμου

57 44 15 04 Iris-setosa

54 39 13 04 Iris-setosa

hellip hellip hellip hellip hellip

58 27 51 19 Iris-virginica

1Μηχανική Μάθηση1Μηχανική Μάθηση

Σύνολο εκπαίδευσης

Αλγόριθμος

Εκπαιδευμένο μοντέλο

αλγορίθμου

Υrsquo = f(X) + ε

TSE
Η μανιβέλα είναι δυνατόν να γυρίζει γύρω-γύρω με animation

Αξιολόγηση του αλγόριθμου

57 44 15 04 Iris-setosa

54 39 13 04 Iris-setosa

hellip hellip hellip hellip hellip

58 27 51 19 Iris-virginica

Σύνολο αξιολόγησης

Υrsquo = f(X) + ε

Αλγόριθμος

Μέτρα Απόδοσης Εκπαιδευμένου Μοντέλου

1Μηχανική Μάθηση1Μηχανική Μάθηση

Νέο παράδειγμα

Εφαρμογή του αλγόριθμου57 44 15 04

Iris-setosa

Υrsquo = f(X) + ε

Αλγόριθμος

Πρόβλεψη

1Μηχανική Μάθηση1Μηχανική Μάθηση

Εφαρμογές

bull Χρηματιστήριο

bull Βιομηχανία

bull Περιβάλλον

bull Βιοτεχνολογία Γενετική

bull Τραπεζικός Ασφαλιστικός τομέας

1Μηχανική Μάθηση1Μηχανική Μάθηση

Αλγόριθμοι

bull Είδη ΜηχΜάθησηςndash Υπό επίβλεψηndash Χωρίς επίβλεψη

bull Τύποι προβλημάτων υπό επίβλεψηndash Παλινδρόμησηςndash Ταξινόμησης

1Μηχανική Μάθηση1Μηχανική Μάθηση

Αλγόριθμοι

bull K-κοντινότεροι γείτονεςbull Παλινδρόμησηbull Τεχνητά Νευρωνικά Δίκτυαbull Περιπτωσιακός Λογισμόςbull Δέντρα Απόφασηςbull Δίκτυα Bayesbull Γενετικοί Αλγόριθμοι

1Μηχανική Μάθηση1Μηχανική Μάθηση

Κ-κοντινότεροι γείτονες

1Μηχανική Μάθηση1Μηχανική Μάθηση

R

Κ-κοντινότεροι γείτονες

bull Πλεονεκτήματαndash Απλή υλοποίησηndash Αποδεκτά αποτελέσματα σε μεγάλο πεδίο

εφαρμογώνndash Πολύχρονη εμπειρία χρήσης

bull Μειονεκτήματαndash Χρονοβόρος σε μεγάλα σύνολα δεδομένων

1Μηχανική Μάθηση1Μηχανική Μάθηση

Παλινδρόμηση

1Μηχανική Μάθηση1Μηχανική Μάθηση

Τεχνητά Νευρωνικά Δίκτυα

1Μηχανική Μάθηση1Μηχανική Μάθηση

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Είσοδος 3Είσοδος 1Είσοδος 2 Είσοδος 4

Είσοδος 5Είσοδος 6

Είσοδος 7

Είσοδος 8

Είσοδος 9

Είσοδος 10

Έξοδος

Τεχνητά Νευρωνικά Δίκτυα

bull Πλεονεκτήματαndash Ανοχή στον θόρυβοndash Ικανότητα γενίκευσης

bull Μειονεκτήματαndash Δυσνόητο μοντέλο (μαύρο κουτί)ndash Δυσανάλογος χρόνος εκπαίδευσης

1Μηχανική Μάθηση1Μηχανική Μάθηση

Περιπτωσιακός Λογισμός

1Μηχανική Μάθηση1Μηχανική Μάθηση

Νέα περίπτωση

Πρόβλημα

Παλαιά περίπτωσηΝέα

περίπτωση

Λυμένη περίπτωση

Δοκιμασμένη διορθωμένη

λύση

Διδαχθείσα περίπτωση

Ανάκληση περιπτώσεων

Επαναχρησιμοποίηση παλιών λύσεων

Προσαρμογή λύσης

Αιτιολόγηση λύσης

Γενική Γνώση

Παλαιά περίπτωσηΠαλαιά περίπτωσηΠαλαιά

περίπτωση

Παλαιές περιπτώσεις

Προτεινόμενη λύσηΕγκεκριμένη λύση

Δέντρα Απόφασης

1Μηχανική Μάθηση1Μηχανική Μάθηση

Δίκτυα Bayes

1Μηχανική Μάθηση1Μηχανική Μάθηση

Χ1 Χ2

Χ3

Χ4

Χ5

Υ

P(X1 X2 X3 X4 X5 Y) = P(X1)P(X2)P(X3|X1 X2)P(Y|X1 X2 X3)P(X4|Y) P(X5|X4 Y)

Γενετικοί Αλγόριθμοι

1Μηχανική Μάθηση1Μηχανική Μάθηση

Αρχικός πληθυσμός

Αξιολόγηση συνάρτησης

προσαρμογής

Επιλογή

Διασταύρωση

Μετάλλαξη

Γέννηση νέου πληθυσμού

Επιτεύχθηκαν τα κριτήρια

βελτιστοποίησης

Εξαγωγή λύσης

Ναι

Όχι

Περιβαλλοντική Πληροφορική

bull Θέματαndash Ολοκληρωμένες πλατφόρμες αξιολόγησης και μελέτες

περιπτώσεωνndash Ανάλυση περιβαλλοντικών συστημάτωνndash Πρόβλεψη περιβαλλοντικών αλλαγώνndash Παρακολούθηση του περιβάλλοντος σε πραγματικό χρόνοndash Πιστοποίηση ποιότητας περιβαλλοντικών μοντέλωνndash Εφαρμογές μοντελοποίησης με agents και εξομοίωσης σε

περιβαλλοντικά συστήματα

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Περιβαλλοντική Πληροφορική

bull Πεδία Εφαρμογήςndash Ποιότητα Αέραndash Ποιότητα Εδάφουςndash Ποιότητα Υδάτωνndash Διαχείριση Αποβλήτων

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Αέρια Ρύπανση

bull Παρακολούθηση και πρόβλεψη των επιβλαβών ρύπωνndash Ο3

ndash ΝΟx

ndash PM10 Σωματίδιαndash Καπνός

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Τα προβλήματα του ΠΕΡΠΑ

bull Πρόβλεψη της μέγιστης συγκέντρωσης για τους ρύπουςndash ΝΟ2

ndash Ο3

bull Για τις χρονικές περιόδουςndash Ίδια ημέρα μετά τις 10 πμndash Επόμενη ημέρα

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Π1Π2 Πρόβλεψη την ίδια ημέρα

0

50

100

150

200

250

300

350

400

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

Hour

pp

b

0

20

40

60

80

100

120

140

pp

b

NO2 NO SO2 CO O3

ΠρόβλεψηΣυλλογή δεδομένων

O3 m

ax

NO

2 max

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Π3Π4 Πρόβλεψη για την επόμενη ημέρα

0

100

200

300

400

500

600

700

800

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

Hour

pp

b

0

5

10

15

20

25

30

35

40

pp

b

NO2 NO SO2 CO O3

ΠρόβλεψηΣυλλογή δεδομένων

O3 m

axNO

2 max

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Προ-επεξεργασία των δεδομένων

bull Αντιμετώπιση θορύβου

bull Αντικατάσταση ελλιπών τιμών

3Προ-επεξεργασία3Προ-επεξεργασία

Μελέτη θορύβου

bull 2 μοντέλα θορύβουndash Ύπαρξη θορύβου μόνο στις ιδιότητεςndash Ύπαρξη θορύβου και στις ιδιότητες και

στην εξαρτημένη μεταβλητή

bull Εκτίμηση απόκλισης τιμής ιδιότητας λόγω θορύβου

3Προ-επεξεργασία3Προ-επεξεργασία

piii zxx

Αποτελέσματα μελέτης θορύβου- 1ο μοντέλο

-2

-1

0

1

2

3

4

5

6

7

8

0 005 01 02 03 04 05

IB1 - Attribute IBk -K 9 - Attribute LinearRegression - Attribute M5Prime - Attribute NeuralNetwork - Attribute ZeroR - Attribute

Drop Page Fields Here

Average of Root mean squared error (diff)

Noise Level

Scheme

Noise Model

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα μελέτης θορύβου- 2ο μοντέλο

0

5

10

15

20

25

30

0 005 01 02 03 04 05

IB1 - AttributeClassVar IBk -K 9 - AttributeClassVar LinearRegression - AttributeClassVar

M5Prime - AttributeClassVar NeuralNetwork - AttributeClassVar ZeroR - AttributeClassVar

Drop Page Fields Here

Average of Root mean squared error (diff)

Noise Level

Scheme

Noise Model

3Προ-επεξεργασία3Προ-επεξεργασία

Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών

bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj

1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα

παραδείγματα που ανήκουν στην κλάση Υj

3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)

4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμών-RMSE

-012

-01

-008

-006

-004

-002

0

002

004

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Root mean squared error (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου

-25

-2

-15

-1

-05

0

05

1

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Time taken to build model (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Μείωση των διαστάσεων

bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Επιλογή των ιδιοτήτων57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

15

13

14

14

14

47

45

6

51

bull 2ν πιθανοί συνδυασμοί

bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Πως ορίζεται η ιδιότητα

bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό

μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης

του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Λόγοι επιλογής ιδιοτήτων

bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων

bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή

bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)

bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδοι Αντιμετώπισης

bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδος φιλτραρίσματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Υπολογισμός μέτρωνποιότητας των ιδιοτήτων

Επαύξηση ή μείωση των ιδιοτήτων

Είναι αποδεκτό τοαξιολογημένουποσύνολο

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Επιλογή νέου υποσυνόλουιδιοτήτων

Μέθοδοςφιλτραρίσματος

Γενετικός Αλγόριθμος

Μέθοδος περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Εκπαιδευμένο Μοντέλο

Σύνολοδεδομένων

Κατασκευή συνόλου δεδομένων

Αξιολογημένο Μοντέλο

Εκπαίδευση Αλγορίθμου

Αξιολόγηση Αλγορίθμου

Είναι αποδεκτό τοαξιολογημένο

μοντέλο

Επιλογή νέου υποσυνόλουιδιοτήτων

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Κ-κοντινότεροι γείτονες

Περιτύλιξη με Γενετικό Αλγόριθμο

bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων

bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου

ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων

ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας

γενετικούς τελεστές

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

11 22 33 4400

B1B1 B2B2 B3B3 B4B4 B5B5

Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων

Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με

κωδικό 104 (Γεωπονική) στις 5 μμ

000000 00110011 000000 1000010000 0001000010 0000000000 00

P = ΝΟ2 S = 104

F = αδιάφορο

H1 = 1700 O = 0

H2 = αδιάφορο

ΣημαίαΣυγκεντρωτικής ιδιότητας = 0

Επέλεξε τη μέση συγκέντρωση του

SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ

100100 01110111 000000 0001100011 1010010100 0001000010 11

P = ΝΟ2 S = 108

F = Μέση τιμή-Avg

H1 = 400 O = -2

H2 = 2100

ΣημαίαΣυγκεντρωτικής ιδιότητας = 1

Η Κωδικοποίηση του γενότυπου

Η συνάρτηση προσαρμογής

bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του

αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο

υποσύνολο ιδιοτήτων της λύσης

nA

iAb

nE

iEa

iAiEF

max

)(

max

)(1

))()((

a lt= 1 b lt= 1 a + b = 1

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Οι παράμετροι της συνάρτησης προσαρμογής a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE

bull et = Xt ndash Ft

bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής

bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

n

e

RMSE

n

tt

1

2

n

tt

n

ttt

X

Xe

WSE

1

2

1

2

Ρύθμιση του μεγέθους πληθυσμού

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Population Sizes

0

05

1

15

2

25

3

35

4

5 10 20 30 40 50 100

Population Size

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση συντελεστών a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Coefficient pairs

0

5

10

15

20

25

30

35

01 09 03 07 05 05 07 03 08 02 09 01 095 005

ab pairs

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage

0

05

1

15

2

25

3

35

10 30 40 50 60 70 80 90

Mutation rate ()

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers

0

05

1

15

2

25

3

35

4

1 2 3 4 5 8 10 15

Elite members

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeatures

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Η μέθοδος CFS

bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την

εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις

ιδιότητες του υποσυνόλου

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

)1( ii

cis

rkkk

rkG

Σύγκριση των δύο μεθόδων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

000

1000

2000

3000

4000

5000

6000

7000

8000

9000

ZeroR DecisionStump

DecisionTable

IB1 IB3 IB9 LinearRegression

M5Prime

GA Mean absolute error GA Root mean squared error

CFS Mean absolute error CFS Root mean squared error

Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης

bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης

ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART

bull Συνδυασμένος ταξινομητής

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το σύστημα ΠΛ ΝΕΜΟ (1)

Όμοιες περιπτώσεις

Επιλογέας κοντινών περιπτώσεων

Φίλτρο κοντινών περιπτώσεων

Προσαρμογέας κοντινών περιπτώσεων

Προβλέπτης λύσης

Προτεινόμενη λύση

ΝΕΜΟ

Βάση περιπτώσεων

Κοντινέςπεριπτώσεις

Βάση Γνώσης

Νέα περίπτωση

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία

αναστροφή

βροχόπτωση

άνεμος

NO στις 10 πμ

NO στις 9 πμ

NO στις 8 πμ

NO2 στις 10 πμ

NO2 στις 9 πμ

NO2 στις 8 πμ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Έξοδος

Το δέντρο απόφασης (1)NOat10

NOat10

NOat10

NOat10

Wind

NOat9

Rain

Inversion

NOat9

NO2at8 Wind

Radiation

1(26518)

1(235)

2(4412)

1(83) 2(104) 1(100)

2(101) 1(101)

2(10035)

3(5313)

4(80)

4(124)3(91)

lt=027 gt027

lt=021

gt067

gt021

lt=067

lt=04 gt04

lt=057 gt057

lt=066 gt066

lt=047 gt047

lt=021 gt021

=0 =1

lt=021 gt021 lt=08 gt08

lt=036 gt036

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το δέντρο απόφασης (2)

0

021

025

04 057

105 075

027

12

1 2 3

4

34

066

0

1

02

04

06

08

ΝΟ στις10πμ

Θερ

μο

κρα

σια

κή α

νασ

τρο

φή

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Ο συνδυασμένος ταξινομητής

bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (1)

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

134

38

522

122

93

8

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΝΕΜΟ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

Αποτελέσματα Πίνακες Σύγχυσης (2)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

40

4221

8 317

8

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΔΑ CART

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (3)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

42

8216

8 69

4 4

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΤΝΔ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (4)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

138

38

4124

122

13

2

6

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Στατιστικά για τους 4 αλγόριθμους

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

CART NeuralNet NEMO ML Ensemble

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 6: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Μορφοποιημένο σύνολο δεδομένων

57 44 15 04 Iris-setosa

54 39 13 04 Iris-setosa

51 35 14 03 Iris-setosa

51 35 14 02 Iris-setosa

49 3 14 02 Iris-setosa

hellip hellip hellip hellip hellip

7 32 47 14 Iris-versicolor

64 32 45 15 Iris-versicolor

hellip hellip hellip hellip hellip

63 33 6 25 Iris-virginica

58 27 51 19 Iris-virginica

1Μηχανική Μάθηση1Μηχανική Μάθηση

Ιδιότητες Μεταβλητή κλάσης

Παράδειγμα

Μήκος σεπάλου

Πλάτος σεπάλου

Πλάτος πετάλου

Μήκος πετάλου

Εκπαίδευση του αλγόριθμου

57 44 15 04 Iris-setosa

54 39 13 04 Iris-setosa

hellip hellip hellip hellip hellip

58 27 51 19 Iris-virginica

1Μηχανική Μάθηση1Μηχανική Μάθηση

Σύνολο εκπαίδευσης

Αλγόριθμος

Εκπαιδευμένο μοντέλο

αλγορίθμου

Υrsquo = f(X) + ε

TSE
Η μανιβέλα είναι δυνατόν να γυρίζει γύρω-γύρω με animation

Αξιολόγηση του αλγόριθμου

57 44 15 04 Iris-setosa

54 39 13 04 Iris-setosa

hellip hellip hellip hellip hellip

58 27 51 19 Iris-virginica

Σύνολο αξιολόγησης

Υrsquo = f(X) + ε

Αλγόριθμος

Μέτρα Απόδοσης Εκπαιδευμένου Μοντέλου

1Μηχανική Μάθηση1Μηχανική Μάθηση

Νέο παράδειγμα

Εφαρμογή του αλγόριθμου57 44 15 04

Iris-setosa

Υrsquo = f(X) + ε

Αλγόριθμος

Πρόβλεψη

1Μηχανική Μάθηση1Μηχανική Μάθηση

Εφαρμογές

bull Χρηματιστήριο

bull Βιομηχανία

bull Περιβάλλον

bull Βιοτεχνολογία Γενετική

bull Τραπεζικός Ασφαλιστικός τομέας

1Μηχανική Μάθηση1Μηχανική Μάθηση

Αλγόριθμοι

bull Είδη ΜηχΜάθησηςndash Υπό επίβλεψηndash Χωρίς επίβλεψη

bull Τύποι προβλημάτων υπό επίβλεψηndash Παλινδρόμησηςndash Ταξινόμησης

1Μηχανική Μάθηση1Μηχανική Μάθηση

Αλγόριθμοι

bull K-κοντινότεροι γείτονεςbull Παλινδρόμησηbull Τεχνητά Νευρωνικά Δίκτυαbull Περιπτωσιακός Λογισμόςbull Δέντρα Απόφασηςbull Δίκτυα Bayesbull Γενετικοί Αλγόριθμοι

1Μηχανική Μάθηση1Μηχανική Μάθηση

Κ-κοντινότεροι γείτονες

1Μηχανική Μάθηση1Μηχανική Μάθηση

R

Κ-κοντινότεροι γείτονες

bull Πλεονεκτήματαndash Απλή υλοποίησηndash Αποδεκτά αποτελέσματα σε μεγάλο πεδίο

εφαρμογώνndash Πολύχρονη εμπειρία χρήσης

bull Μειονεκτήματαndash Χρονοβόρος σε μεγάλα σύνολα δεδομένων

1Μηχανική Μάθηση1Μηχανική Μάθηση

Παλινδρόμηση

1Μηχανική Μάθηση1Μηχανική Μάθηση

Τεχνητά Νευρωνικά Δίκτυα

1Μηχανική Μάθηση1Μηχανική Μάθηση

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Είσοδος 3Είσοδος 1Είσοδος 2 Είσοδος 4

Είσοδος 5Είσοδος 6

Είσοδος 7

Είσοδος 8

Είσοδος 9

Είσοδος 10

Έξοδος

Τεχνητά Νευρωνικά Δίκτυα

bull Πλεονεκτήματαndash Ανοχή στον θόρυβοndash Ικανότητα γενίκευσης

bull Μειονεκτήματαndash Δυσνόητο μοντέλο (μαύρο κουτί)ndash Δυσανάλογος χρόνος εκπαίδευσης

1Μηχανική Μάθηση1Μηχανική Μάθηση

Περιπτωσιακός Λογισμός

1Μηχανική Μάθηση1Μηχανική Μάθηση

Νέα περίπτωση

Πρόβλημα

Παλαιά περίπτωσηΝέα

περίπτωση

Λυμένη περίπτωση

Δοκιμασμένη διορθωμένη

λύση

Διδαχθείσα περίπτωση

Ανάκληση περιπτώσεων

Επαναχρησιμοποίηση παλιών λύσεων

Προσαρμογή λύσης

Αιτιολόγηση λύσης

Γενική Γνώση

Παλαιά περίπτωσηΠαλαιά περίπτωσηΠαλαιά

περίπτωση

Παλαιές περιπτώσεις

Προτεινόμενη λύσηΕγκεκριμένη λύση

Δέντρα Απόφασης

1Μηχανική Μάθηση1Μηχανική Μάθηση

Δίκτυα Bayes

1Μηχανική Μάθηση1Μηχανική Μάθηση

Χ1 Χ2

Χ3

Χ4

Χ5

Υ

P(X1 X2 X3 X4 X5 Y) = P(X1)P(X2)P(X3|X1 X2)P(Y|X1 X2 X3)P(X4|Y) P(X5|X4 Y)

Γενετικοί Αλγόριθμοι

1Μηχανική Μάθηση1Μηχανική Μάθηση

Αρχικός πληθυσμός

Αξιολόγηση συνάρτησης

προσαρμογής

Επιλογή

Διασταύρωση

Μετάλλαξη

Γέννηση νέου πληθυσμού

Επιτεύχθηκαν τα κριτήρια

βελτιστοποίησης

Εξαγωγή λύσης

Ναι

Όχι

Περιβαλλοντική Πληροφορική

bull Θέματαndash Ολοκληρωμένες πλατφόρμες αξιολόγησης και μελέτες

περιπτώσεωνndash Ανάλυση περιβαλλοντικών συστημάτωνndash Πρόβλεψη περιβαλλοντικών αλλαγώνndash Παρακολούθηση του περιβάλλοντος σε πραγματικό χρόνοndash Πιστοποίηση ποιότητας περιβαλλοντικών μοντέλωνndash Εφαρμογές μοντελοποίησης με agents και εξομοίωσης σε

περιβαλλοντικά συστήματα

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Περιβαλλοντική Πληροφορική

bull Πεδία Εφαρμογήςndash Ποιότητα Αέραndash Ποιότητα Εδάφουςndash Ποιότητα Υδάτωνndash Διαχείριση Αποβλήτων

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Αέρια Ρύπανση

bull Παρακολούθηση και πρόβλεψη των επιβλαβών ρύπωνndash Ο3

ndash ΝΟx

ndash PM10 Σωματίδιαndash Καπνός

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Τα προβλήματα του ΠΕΡΠΑ

bull Πρόβλεψη της μέγιστης συγκέντρωσης για τους ρύπουςndash ΝΟ2

ndash Ο3

bull Για τις χρονικές περιόδουςndash Ίδια ημέρα μετά τις 10 πμndash Επόμενη ημέρα

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Π1Π2 Πρόβλεψη την ίδια ημέρα

0

50

100

150

200

250

300

350

400

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

Hour

pp

b

0

20

40

60

80

100

120

140

pp

b

NO2 NO SO2 CO O3

ΠρόβλεψηΣυλλογή δεδομένων

O3 m

ax

NO

2 max

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Π3Π4 Πρόβλεψη για την επόμενη ημέρα

0

100

200

300

400

500

600

700

800

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

Hour

pp

b

0

5

10

15

20

25

30

35

40

pp

b

NO2 NO SO2 CO O3

ΠρόβλεψηΣυλλογή δεδομένων

O3 m

axNO

2 max

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Προ-επεξεργασία των δεδομένων

bull Αντιμετώπιση θορύβου

bull Αντικατάσταση ελλιπών τιμών

3Προ-επεξεργασία3Προ-επεξεργασία

Μελέτη θορύβου

bull 2 μοντέλα θορύβουndash Ύπαρξη θορύβου μόνο στις ιδιότητεςndash Ύπαρξη θορύβου και στις ιδιότητες και

στην εξαρτημένη μεταβλητή

bull Εκτίμηση απόκλισης τιμής ιδιότητας λόγω θορύβου

3Προ-επεξεργασία3Προ-επεξεργασία

piii zxx

Αποτελέσματα μελέτης θορύβου- 1ο μοντέλο

-2

-1

0

1

2

3

4

5

6

7

8

0 005 01 02 03 04 05

IB1 - Attribute IBk -K 9 - Attribute LinearRegression - Attribute M5Prime - Attribute NeuralNetwork - Attribute ZeroR - Attribute

Drop Page Fields Here

Average of Root mean squared error (diff)

Noise Level

Scheme

Noise Model

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα μελέτης θορύβου- 2ο μοντέλο

0

5

10

15

20

25

30

0 005 01 02 03 04 05

IB1 - AttributeClassVar IBk -K 9 - AttributeClassVar LinearRegression - AttributeClassVar

M5Prime - AttributeClassVar NeuralNetwork - AttributeClassVar ZeroR - AttributeClassVar

Drop Page Fields Here

Average of Root mean squared error (diff)

Noise Level

Scheme

Noise Model

3Προ-επεξεργασία3Προ-επεξεργασία

Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών

bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj

1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα

παραδείγματα που ανήκουν στην κλάση Υj

3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)

4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμών-RMSE

-012

-01

-008

-006

-004

-002

0

002

004

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Root mean squared error (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου

-25

-2

-15

-1

-05

0

05

1

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Time taken to build model (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Μείωση των διαστάσεων

bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Επιλογή των ιδιοτήτων57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

15

13

14

14

14

47

45

6

51

bull 2ν πιθανοί συνδυασμοί

bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Πως ορίζεται η ιδιότητα

bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό

μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης

του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Λόγοι επιλογής ιδιοτήτων

bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων

bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή

bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)

bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδοι Αντιμετώπισης

bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδος φιλτραρίσματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Υπολογισμός μέτρωνποιότητας των ιδιοτήτων

Επαύξηση ή μείωση των ιδιοτήτων

Είναι αποδεκτό τοαξιολογημένουποσύνολο

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Επιλογή νέου υποσυνόλουιδιοτήτων

Μέθοδοςφιλτραρίσματος

Γενετικός Αλγόριθμος

Μέθοδος περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Εκπαιδευμένο Μοντέλο

Σύνολοδεδομένων

Κατασκευή συνόλου δεδομένων

Αξιολογημένο Μοντέλο

Εκπαίδευση Αλγορίθμου

Αξιολόγηση Αλγορίθμου

Είναι αποδεκτό τοαξιολογημένο

μοντέλο

Επιλογή νέου υποσυνόλουιδιοτήτων

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Κ-κοντινότεροι γείτονες

Περιτύλιξη με Γενετικό Αλγόριθμο

bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων

bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου

ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων

ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας

γενετικούς τελεστές

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

11 22 33 4400

B1B1 B2B2 B3B3 B4B4 B5B5

Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων

Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με

κωδικό 104 (Γεωπονική) στις 5 μμ

000000 00110011 000000 1000010000 0001000010 0000000000 00

P = ΝΟ2 S = 104

F = αδιάφορο

H1 = 1700 O = 0

H2 = αδιάφορο

ΣημαίαΣυγκεντρωτικής ιδιότητας = 0

Επέλεξε τη μέση συγκέντρωση του

SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ

100100 01110111 000000 0001100011 1010010100 0001000010 11

P = ΝΟ2 S = 108

F = Μέση τιμή-Avg

H1 = 400 O = -2

H2 = 2100

ΣημαίαΣυγκεντρωτικής ιδιότητας = 1

Η Κωδικοποίηση του γενότυπου

Η συνάρτηση προσαρμογής

bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του

αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο

υποσύνολο ιδιοτήτων της λύσης

nA

iAb

nE

iEa

iAiEF

max

)(

max

)(1

))()((

a lt= 1 b lt= 1 a + b = 1

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Οι παράμετροι της συνάρτησης προσαρμογής a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE

bull et = Xt ndash Ft

bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής

bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

n

e

RMSE

n

tt

1

2

n

tt

n

ttt

X

Xe

WSE

1

2

1

2

Ρύθμιση του μεγέθους πληθυσμού

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Population Sizes

0

05

1

15

2

25

3

35

4

5 10 20 30 40 50 100

Population Size

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση συντελεστών a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Coefficient pairs

0

5

10

15

20

25

30

35

01 09 03 07 05 05 07 03 08 02 09 01 095 005

ab pairs

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage

0

05

1

15

2

25

3

35

10 30 40 50 60 70 80 90

Mutation rate ()

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers

0

05

1

15

2

25

3

35

4

1 2 3 4 5 8 10 15

Elite members

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeatures

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Η μέθοδος CFS

bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την

εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις

ιδιότητες του υποσυνόλου

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

)1( ii

cis

rkkk

rkG

Σύγκριση των δύο μεθόδων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

000

1000

2000

3000

4000

5000

6000

7000

8000

9000

ZeroR DecisionStump

DecisionTable

IB1 IB3 IB9 LinearRegression

M5Prime

GA Mean absolute error GA Root mean squared error

CFS Mean absolute error CFS Root mean squared error

Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης

bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης

ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART

bull Συνδυασμένος ταξινομητής

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το σύστημα ΠΛ ΝΕΜΟ (1)

Όμοιες περιπτώσεις

Επιλογέας κοντινών περιπτώσεων

Φίλτρο κοντινών περιπτώσεων

Προσαρμογέας κοντινών περιπτώσεων

Προβλέπτης λύσης

Προτεινόμενη λύση

ΝΕΜΟ

Βάση περιπτώσεων

Κοντινέςπεριπτώσεις

Βάση Γνώσης

Νέα περίπτωση

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία

αναστροφή

βροχόπτωση

άνεμος

NO στις 10 πμ

NO στις 9 πμ

NO στις 8 πμ

NO2 στις 10 πμ

NO2 στις 9 πμ

NO2 στις 8 πμ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Έξοδος

Το δέντρο απόφασης (1)NOat10

NOat10

NOat10

NOat10

Wind

NOat9

Rain

Inversion

NOat9

NO2at8 Wind

Radiation

1(26518)

1(235)

2(4412)

1(83) 2(104) 1(100)

2(101) 1(101)

2(10035)

3(5313)

4(80)

4(124)3(91)

lt=027 gt027

lt=021

gt067

gt021

lt=067

lt=04 gt04

lt=057 gt057

lt=066 gt066

lt=047 gt047

lt=021 gt021

=0 =1

lt=021 gt021 lt=08 gt08

lt=036 gt036

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το δέντρο απόφασης (2)

0

021

025

04 057

105 075

027

12

1 2 3

4

34

066

0

1

02

04

06

08

ΝΟ στις10πμ

Θερ

μο

κρα

σια

κή α

νασ

τρο

φή

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Ο συνδυασμένος ταξινομητής

bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (1)

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

134

38

522

122

93

8

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΝΕΜΟ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

Αποτελέσματα Πίνακες Σύγχυσης (2)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

40

4221

8 317

8

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΔΑ CART

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (3)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

42

8216

8 69

4 4

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΤΝΔ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (4)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

138

38

4124

122

13

2

6

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Στατιστικά για τους 4 αλγόριθμους

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

CART NeuralNet NEMO ML Ensemble

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 7: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Εκπαίδευση του αλγόριθμου

57 44 15 04 Iris-setosa

54 39 13 04 Iris-setosa

hellip hellip hellip hellip hellip

58 27 51 19 Iris-virginica

1Μηχανική Μάθηση1Μηχανική Μάθηση

Σύνολο εκπαίδευσης

Αλγόριθμος

Εκπαιδευμένο μοντέλο

αλγορίθμου

Υrsquo = f(X) + ε

TSE
Η μανιβέλα είναι δυνατόν να γυρίζει γύρω-γύρω με animation

Αξιολόγηση του αλγόριθμου

57 44 15 04 Iris-setosa

54 39 13 04 Iris-setosa

hellip hellip hellip hellip hellip

58 27 51 19 Iris-virginica

Σύνολο αξιολόγησης

Υrsquo = f(X) + ε

Αλγόριθμος

Μέτρα Απόδοσης Εκπαιδευμένου Μοντέλου

1Μηχανική Μάθηση1Μηχανική Μάθηση

Νέο παράδειγμα

Εφαρμογή του αλγόριθμου57 44 15 04

Iris-setosa

Υrsquo = f(X) + ε

Αλγόριθμος

Πρόβλεψη

1Μηχανική Μάθηση1Μηχανική Μάθηση

Εφαρμογές

bull Χρηματιστήριο

bull Βιομηχανία

bull Περιβάλλον

bull Βιοτεχνολογία Γενετική

bull Τραπεζικός Ασφαλιστικός τομέας

1Μηχανική Μάθηση1Μηχανική Μάθηση

Αλγόριθμοι

bull Είδη ΜηχΜάθησηςndash Υπό επίβλεψηndash Χωρίς επίβλεψη

bull Τύποι προβλημάτων υπό επίβλεψηndash Παλινδρόμησηςndash Ταξινόμησης

1Μηχανική Μάθηση1Μηχανική Μάθηση

Αλγόριθμοι

bull K-κοντινότεροι γείτονεςbull Παλινδρόμησηbull Τεχνητά Νευρωνικά Δίκτυαbull Περιπτωσιακός Λογισμόςbull Δέντρα Απόφασηςbull Δίκτυα Bayesbull Γενετικοί Αλγόριθμοι

1Μηχανική Μάθηση1Μηχανική Μάθηση

Κ-κοντινότεροι γείτονες

1Μηχανική Μάθηση1Μηχανική Μάθηση

R

Κ-κοντινότεροι γείτονες

bull Πλεονεκτήματαndash Απλή υλοποίησηndash Αποδεκτά αποτελέσματα σε μεγάλο πεδίο

εφαρμογώνndash Πολύχρονη εμπειρία χρήσης

bull Μειονεκτήματαndash Χρονοβόρος σε μεγάλα σύνολα δεδομένων

1Μηχανική Μάθηση1Μηχανική Μάθηση

Παλινδρόμηση

1Μηχανική Μάθηση1Μηχανική Μάθηση

Τεχνητά Νευρωνικά Δίκτυα

1Μηχανική Μάθηση1Μηχανική Μάθηση

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Είσοδος 3Είσοδος 1Είσοδος 2 Είσοδος 4

Είσοδος 5Είσοδος 6

Είσοδος 7

Είσοδος 8

Είσοδος 9

Είσοδος 10

Έξοδος

Τεχνητά Νευρωνικά Δίκτυα

bull Πλεονεκτήματαndash Ανοχή στον θόρυβοndash Ικανότητα γενίκευσης

bull Μειονεκτήματαndash Δυσνόητο μοντέλο (μαύρο κουτί)ndash Δυσανάλογος χρόνος εκπαίδευσης

1Μηχανική Μάθηση1Μηχανική Μάθηση

Περιπτωσιακός Λογισμός

1Μηχανική Μάθηση1Μηχανική Μάθηση

Νέα περίπτωση

Πρόβλημα

Παλαιά περίπτωσηΝέα

περίπτωση

Λυμένη περίπτωση

Δοκιμασμένη διορθωμένη

λύση

Διδαχθείσα περίπτωση

Ανάκληση περιπτώσεων

Επαναχρησιμοποίηση παλιών λύσεων

Προσαρμογή λύσης

Αιτιολόγηση λύσης

Γενική Γνώση

Παλαιά περίπτωσηΠαλαιά περίπτωσηΠαλαιά

περίπτωση

Παλαιές περιπτώσεις

Προτεινόμενη λύσηΕγκεκριμένη λύση

Δέντρα Απόφασης

1Μηχανική Μάθηση1Μηχανική Μάθηση

Δίκτυα Bayes

1Μηχανική Μάθηση1Μηχανική Μάθηση

Χ1 Χ2

Χ3

Χ4

Χ5

Υ

P(X1 X2 X3 X4 X5 Y) = P(X1)P(X2)P(X3|X1 X2)P(Y|X1 X2 X3)P(X4|Y) P(X5|X4 Y)

Γενετικοί Αλγόριθμοι

1Μηχανική Μάθηση1Μηχανική Μάθηση

Αρχικός πληθυσμός

Αξιολόγηση συνάρτησης

προσαρμογής

Επιλογή

Διασταύρωση

Μετάλλαξη

Γέννηση νέου πληθυσμού

Επιτεύχθηκαν τα κριτήρια

βελτιστοποίησης

Εξαγωγή λύσης

Ναι

Όχι

Περιβαλλοντική Πληροφορική

bull Θέματαndash Ολοκληρωμένες πλατφόρμες αξιολόγησης και μελέτες

περιπτώσεωνndash Ανάλυση περιβαλλοντικών συστημάτωνndash Πρόβλεψη περιβαλλοντικών αλλαγώνndash Παρακολούθηση του περιβάλλοντος σε πραγματικό χρόνοndash Πιστοποίηση ποιότητας περιβαλλοντικών μοντέλωνndash Εφαρμογές μοντελοποίησης με agents και εξομοίωσης σε

περιβαλλοντικά συστήματα

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Περιβαλλοντική Πληροφορική

bull Πεδία Εφαρμογήςndash Ποιότητα Αέραndash Ποιότητα Εδάφουςndash Ποιότητα Υδάτωνndash Διαχείριση Αποβλήτων

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Αέρια Ρύπανση

bull Παρακολούθηση και πρόβλεψη των επιβλαβών ρύπωνndash Ο3

ndash ΝΟx

ndash PM10 Σωματίδιαndash Καπνός

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Τα προβλήματα του ΠΕΡΠΑ

bull Πρόβλεψη της μέγιστης συγκέντρωσης για τους ρύπουςndash ΝΟ2

ndash Ο3

bull Για τις χρονικές περιόδουςndash Ίδια ημέρα μετά τις 10 πμndash Επόμενη ημέρα

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Π1Π2 Πρόβλεψη την ίδια ημέρα

0

50

100

150

200

250

300

350

400

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

Hour

pp

b

0

20

40

60

80

100

120

140

pp

b

NO2 NO SO2 CO O3

ΠρόβλεψηΣυλλογή δεδομένων

O3 m

ax

NO

2 max

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Π3Π4 Πρόβλεψη για την επόμενη ημέρα

0

100

200

300

400

500

600

700

800

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

Hour

pp

b

0

5

10

15

20

25

30

35

40

pp

b

NO2 NO SO2 CO O3

ΠρόβλεψηΣυλλογή δεδομένων

O3 m

axNO

2 max

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Προ-επεξεργασία των δεδομένων

bull Αντιμετώπιση θορύβου

bull Αντικατάσταση ελλιπών τιμών

3Προ-επεξεργασία3Προ-επεξεργασία

Μελέτη θορύβου

bull 2 μοντέλα θορύβουndash Ύπαρξη θορύβου μόνο στις ιδιότητεςndash Ύπαρξη θορύβου και στις ιδιότητες και

στην εξαρτημένη μεταβλητή

bull Εκτίμηση απόκλισης τιμής ιδιότητας λόγω θορύβου

3Προ-επεξεργασία3Προ-επεξεργασία

piii zxx

Αποτελέσματα μελέτης θορύβου- 1ο μοντέλο

-2

-1

0

1

2

3

4

5

6

7

8

0 005 01 02 03 04 05

IB1 - Attribute IBk -K 9 - Attribute LinearRegression - Attribute M5Prime - Attribute NeuralNetwork - Attribute ZeroR - Attribute

Drop Page Fields Here

Average of Root mean squared error (diff)

Noise Level

Scheme

Noise Model

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα μελέτης θορύβου- 2ο μοντέλο

0

5

10

15

20

25

30

0 005 01 02 03 04 05

IB1 - AttributeClassVar IBk -K 9 - AttributeClassVar LinearRegression - AttributeClassVar

M5Prime - AttributeClassVar NeuralNetwork - AttributeClassVar ZeroR - AttributeClassVar

Drop Page Fields Here

Average of Root mean squared error (diff)

Noise Level

Scheme

Noise Model

3Προ-επεξεργασία3Προ-επεξεργασία

Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών

bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj

1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα

παραδείγματα που ανήκουν στην κλάση Υj

3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)

4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμών-RMSE

-012

-01

-008

-006

-004

-002

0

002

004

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Root mean squared error (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου

-25

-2

-15

-1

-05

0

05

1

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Time taken to build model (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Μείωση των διαστάσεων

bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Επιλογή των ιδιοτήτων57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

15

13

14

14

14

47

45

6

51

bull 2ν πιθανοί συνδυασμοί

bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Πως ορίζεται η ιδιότητα

bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό

μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης

του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Λόγοι επιλογής ιδιοτήτων

bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων

bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή

bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)

bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδοι Αντιμετώπισης

bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδος φιλτραρίσματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Υπολογισμός μέτρωνποιότητας των ιδιοτήτων

Επαύξηση ή μείωση των ιδιοτήτων

Είναι αποδεκτό τοαξιολογημένουποσύνολο

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Επιλογή νέου υποσυνόλουιδιοτήτων

Μέθοδοςφιλτραρίσματος

Γενετικός Αλγόριθμος

Μέθοδος περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Εκπαιδευμένο Μοντέλο

Σύνολοδεδομένων

Κατασκευή συνόλου δεδομένων

Αξιολογημένο Μοντέλο

Εκπαίδευση Αλγορίθμου

Αξιολόγηση Αλγορίθμου

Είναι αποδεκτό τοαξιολογημένο

μοντέλο

Επιλογή νέου υποσυνόλουιδιοτήτων

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Κ-κοντινότεροι γείτονες

Περιτύλιξη με Γενετικό Αλγόριθμο

bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων

bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου

ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων

ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας

γενετικούς τελεστές

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

11 22 33 4400

B1B1 B2B2 B3B3 B4B4 B5B5

Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων

Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με

κωδικό 104 (Γεωπονική) στις 5 μμ

000000 00110011 000000 1000010000 0001000010 0000000000 00

P = ΝΟ2 S = 104

F = αδιάφορο

H1 = 1700 O = 0

H2 = αδιάφορο

ΣημαίαΣυγκεντρωτικής ιδιότητας = 0

Επέλεξε τη μέση συγκέντρωση του

SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ

100100 01110111 000000 0001100011 1010010100 0001000010 11

P = ΝΟ2 S = 108

F = Μέση τιμή-Avg

H1 = 400 O = -2

H2 = 2100

ΣημαίαΣυγκεντρωτικής ιδιότητας = 1

Η Κωδικοποίηση του γενότυπου

Η συνάρτηση προσαρμογής

bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του

αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο

υποσύνολο ιδιοτήτων της λύσης

nA

iAb

nE

iEa

iAiEF

max

)(

max

)(1

))()((

a lt= 1 b lt= 1 a + b = 1

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Οι παράμετροι της συνάρτησης προσαρμογής a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE

bull et = Xt ndash Ft

bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής

bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

n

e

RMSE

n

tt

1

2

n

tt

n

ttt

X

Xe

WSE

1

2

1

2

Ρύθμιση του μεγέθους πληθυσμού

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Population Sizes

0

05

1

15

2

25

3

35

4

5 10 20 30 40 50 100

Population Size

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση συντελεστών a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Coefficient pairs

0

5

10

15

20

25

30

35

01 09 03 07 05 05 07 03 08 02 09 01 095 005

ab pairs

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage

0

05

1

15

2

25

3

35

10 30 40 50 60 70 80 90

Mutation rate ()

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers

0

05

1

15

2

25

3

35

4

1 2 3 4 5 8 10 15

Elite members

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeatures

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Η μέθοδος CFS

bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την

εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις

ιδιότητες του υποσυνόλου

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

)1( ii

cis

rkkk

rkG

Σύγκριση των δύο μεθόδων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

000

1000

2000

3000

4000

5000

6000

7000

8000

9000

ZeroR DecisionStump

DecisionTable

IB1 IB3 IB9 LinearRegression

M5Prime

GA Mean absolute error GA Root mean squared error

CFS Mean absolute error CFS Root mean squared error

Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης

bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης

ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART

bull Συνδυασμένος ταξινομητής

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το σύστημα ΠΛ ΝΕΜΟ (1)

Όμοιες περιπτώσεις

Επιλογέας κοντινών περιπτώσεων

Φίλτρο κοντινών περιπτώσεων

Προσαρμογέας κοντινών περιπτώσεων

Προβλέπτης λύσης

Προτεινόμενη λύση

ΝΕΜΟ

Βάση περιπτώσεων

Κοντινέςπεριπτώσεις

Βάση Γνώσης

Νέα περίπτωση

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία

αναστροφή

βροχόπτωση

άνεμος

NO στις 10 πμ

NO στις 9 πμ

NO στις 8 πμ

NO2 στις 10 πμ

NO2 στις 9 πμ

NO2 στις 8 πμ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Έξοδος

Το δέντρο απόφασης (1)NOat10

NOat10

NOat10

NOat10

Wind

NOat9

Rain

Inversion

NOat9

NO2at8 Wind

Radiation

1(26518)

1(235)

2(4412)

1(83) 2(104) 1(100)

2(101) 1(101)

2(10035)

3(5313)

4(80)

4(124)3(91)

lt=027 gt027

lt=021

gt067

gt021

lt=067

lt=04 gt04

lt=057 gt057

lt=066 gt066

lt=047 gt047

lt=021 gt021

=0 =1

lt=021 gt021 lt=08 gt08

lt=036 gt036

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το δέντρο απόφασης (2)

0

021

025

04 057

105 075

027

12

1 2 3

4

34

066

0

1

02

04

06

08

ΝΟ στις10πμ

Θερ

μο

κρα

σια

κή α

νασ

τρο

φή

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Ο συνδυασμένος ταξινομητής

bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (1)

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

134

38

522

122

93

8

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΝΕΜΟ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

Αποτελέσματα Πίνακες Σύγχυσης (2)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

40

4221

8 317

8

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΔΑ CART

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (3)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

42

8216

8 69

4 4

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΤΝΔ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (4)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

138

38

4124

122

13

2

6

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Στατιστικά για τους 4 αλγόριθμους

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

CART NeuralNet NEMO ML Ensemble

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 8: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Αξιολόγηση του αλγόριθμου

57 44 15 04 Iris-setosa

54 39 13 04 Iris-setosa

hellip hellip hellip hellip hellip

58 27 51 19 Iris-virginica

Σύνολο αξιολόγησης

Υrsquo = f(X) + ε

Αλγόριθμος

Μέτρα Απόδοσης Εκπαιδευμένου Μοντέλου

1Μηχανική Μάθηση1Μηχανική Μάθηση

Νέο παράδειγμα

Εφαρμογή του αλγόριθμου57 44 15 04

Iris-setosa

Υrsquo = f(X) + ε

Αλγόριθμος

Πρόβλεψη

1Μηχανική Μάθηση1Μηχανική Μάθηση

Εφαρμογές

bull Χρηματιστήριο

bull Βιομηχανία

bull Περιβάλλον

bull Βιοτεχνολογία Γενετική

bull Τραπεζικός Ασφαλιστικός τομέας

1Μηχανική Μάθηση1Μηχανική Μάθηση

Αλγόριθμοι

bull Είδη ΜηχΜάθησηςndash Υπό επίβλεψηndash Χωρίς επίβλεψη

bull Τύποι προβλημάτων υπό επίβλεψηndash Παλινδρόμησηςndash Ταξινόμησης

1Μηχανική Μάθηση1Μηχανική Μάθηση

Αλγόριθμοι

bull K-κοντινότεροι γείτονεςbull Παλινδρόμησηbull Τεχνητά Νευρωνικά Δίκτυαbull Περιπτωσιακός Λογισμόςbull Δέντρα Απόφασηςbull Δίκτυα Bayesbull Γενετικοί Αλγόριθμοι

1Μηχανική Μάθηση1Μηχανική Μάθηση

Κ-κοντινότεροι γείτονες

1Μηχανική Μάθηση1Μηχανική Μάθηση

R

Κ-κοντινότεροι γείτονες

bull Πλεονεκτήματαndash Απλή υλοποίησηndash Αποδεκτά αποτελέσματα σε μεγάλο πεδίο

εφαρμογώνndash Πολύχρονη εμπειρία χρήσης

bull Μειονεκτήματαndash Χρονοβόρος σε μεγάλα σύνολα δεδομένων

1Μηχανική Μάθηση1Μηχανική Μάθηση

Παλινδρόμηση

1Μηχανική Μάθηση1Μηχανική Μάθηση

Τεχνητά Νευρωνικά Δίκτυα

1Μηχανική Μάθηση1Μηχανική Μάθηση

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Είσοδος 3Είσοδος 1Είσοδος 2 Είσοδος 4

Είσοδος 5Είσοδος 6

Είσοδος 7

Είσοδος 8

Είσοδος 9

Είσοδος 10

Έξοδος

Τεχνητά Νευρωνικά Δίκτυα

bull Πλεονεκτήματαndash Ανοχή στον θόρυβοndash Ικανότητα γενίκευσης

bull Μειονεκτήματαndash Δυσνόητο μοντέλο (μαύρο κουτί)ndash Δυσανάλογος χρόνος εκπαίδευσης

1Μηχανική Μάθηση1Μηχανική Μάθηση

Περιπτωσιακός Λογισμός

1Μηχανική Μάθηση1Μηχανική Μάθηση

Νέα περίπτωση

Πρόβλημα

Παλαιά περίπτωσηΝέα

περίπτωση

Λυμένη περίπτωση

Δοκιμασμένη διορθωμένη

λύση

Διδαχθείσα περίπτωση

Ανάκληση περιπτώσεων

Επαναχρησιμοποίηση παλιών λύσεων

Προσαρμογή λύσης

Αιτιολόγηση λύσης

Γενική Γνώση

Παλαιά περίπτωσηΠαλαιά περίπτωσηΠαλαιά

περίπτωση

Παλαιές περιπτώσεις

Προτεινόμενη λύσηΕγκεκριμένη λύση

Δέντρα Απόφασης

1Μηχανική Μάθηση1Μηχανική Μάθηση

Δίκτυα Bayes

1Μηχανική Μάθηση1Μηχανική Μάθηση

Χ1 Χ2

Χ3

Χ4

Χ5

Υ

P(X1 X2 X3 X4 X5 Y) = P(X1)P(X2)P(X3|X1 X2)P(Y|X1 X2 X3)P(X4|Y) P(X5|X4 Y)

Γενετικοί Αλγόριθμοι

1Μηχανική Μάθηση1Μηχανική Μάθηση

Αρχικός πληθυσμός

Αξιολόγηση συνάρτησης

προσαρμογής

Επιλογή

Διασταύρωση

Μετάλλαξη

Γέννηση νέου πληθυσμού

Επιτεύχθηκαν τα κριτήρια

βελτιστοποίησης

Εξαγωγή λύσης

Ναι

Όχι

Περιβαλλοντική Πληροφορική

bull Θέματαndash Ολοκληρωμένες πλατφόρμες αξιολόγησης και μελέτες

περιπτώσεωνndash Ανάλυση περιβαλλοντικών συστημάτωνndash Πρόβλεψη περιβαλλοντικών αλλαγώνndash Παρακολούθηση του περιβάλλοντος σε πραγματικό χρόνοndash Πιστοποίηση ποιότητας περιβαλλοντικών μοντέλωνndash Εφαρμογές μοντελοποίησης με agents και εξομοίωσης σε

περιβαλλοντικά συστήματα

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Περιβαλλοντική Πληροφορική

bull Πεδία Εφαρμογήςndash Ποιότητα Αέραndash Ποιότητα Εδάφουςndash Ποιότητα Υδάτωνndash Διαχείριση Αποβλήτων

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Αέρια Ρύπανση

bull Παρακολούθηση και πρόβλεψη των επιβλαβών ρύπωνndash Ο3

ndash ΝΟx

ndash PM10 Σωματίδιαndash Καπνός

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Τα προβλήματα του ΠΕΡΠΑ

bull Πρόβλεψη της μέγιστης συγκέντρωσης για τους ρύπουςndash ΝΟ2

ndash Ο3

bull Για τις χρονικές περιόδουςndash Ίδια ημέρα μετά τις 10 πμndash Επόμενη ημέρα

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Π1Π2 Πρόβλεψη την ίδια ημέρα

0

50

100

150

200

250

300

350

400

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

Hour

pp

b

0

20

40

60

80

100

120

140

pp

b

NO2 NO SO2 CO O3

ΠρόβλεψηΣυλλογή δεδομένων

O3 m

ax

NO

2 max

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Π3Π4 Πρόβλεψη για την επόμενη ημέρα

0

100

200

300

400

500

600

700

800

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

Hour

pp

b

0

5

10

15

20

25

30

35

40

pp

b

NO2 NO SO2 CO O3

ΠρόβλεψηΣυλλογή δεδομένων

O3 m

axNO

2 max

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Προ-επεξεργασία των δεδομένων

bull Αντιμετώπιση θορύβου

bull Αντικατάσταση ελλιπών τιμών

3Προ-επεξεργασία3Προ-επεξεργασία

Μελέτη θορύβου

bull 2 μοντέλα θορύβουndash Ύπαρξη θορύβου μόνο στις ιδιότητεςndash Ύπαρξη θορύβου και στις ιδιότητες και

στην εξαρτημένη μεταβλητή

bull Εκτίμηση απόκλισης τιμής ιδιότητας λόγω θορύβου

3Προ-επεξεργασία3Προ-επεξεργασία

piii zxx

Αποτελέσματα μελέτης θορύβου- 1ο μοντέλο

-2

-1

0

1

2

3

4

5

6

7

8

0 005 01 02 03 04 05

IB1 - Attribute IBk -K 9 - Attribute LinearRegression - Attribute M5Prime - Attribute NeuralNetwork - Attribute ZeroR - Attribute

Drop Page Fields Here

Average of Root mean squared error (diff)

Noise Level

Scheme

Noise Model

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα μελέτης θορύβου- 2ο μοντέλο

0

5

10

15

20

25

30

0 005 01 02 03 04 05

IB1 - AttributeClassVar IBk -K 9 - AttributeClassVar LinearRegression - AttributeClassVar

M5Prime - AttributeClassVar NeuralNetwork - AttributeClassVar ZeroR - AttributeClassVar

Drop Page Fields Here

Average of Root mean squared error (diff)

Noise Level

Scheme

Noise Model

3Προ-επεξεργασία3Προ-επεξεργασία

Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών

bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj

1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα

παραδείγματα που ανήκουν στην κλάση Υj

3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)

4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμών-RMSE

-012

-01

-008

-006

-004

-002

0

002

004

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Root mean squared error (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου

-25

-2

-15

-1

-05

0

05

1

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Time taken to build model (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Μείωση των διαστάσεων

bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Επιλογή των ιδιοτήτων57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

15

13

14

14

14

47

45

6

51

bull 2ν πιθανοί συνδυασμοί

bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Πως ορίζεται η ιδιότητα

bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό

μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης

του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Λόγοι επιλογής ιδιοτήτων

bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων

bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή

bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)

bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδοι Αντιμετώπισης

bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδος φιλτραρίσματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Υπολογισμός μέτρωνποιότητας των ιδιοτήτων

Επαύξηση ή μείωση των ιδιοτήτων

Είναι αποδεκτό τοαξιολογημένουποσύνολο

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Επιλογή νέου υποσυνόλουιδιοτήτων

Μέθοδοςφιλτραρίσματος

Γενετικός Αλγόριθμος

Μέθοδος περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Εκπαιδευμένο Μοντέλο

Σύνολοδεδομένων

Κατασκευή συνόλου δεδομένων

Αξιολογημένο Μοντέλο

Εκπαίδευση Αλγορίθμου

Αξιολόγηση Αλγορίθμου

Είναι αποδεκτό τοαξιολογημένο

μοντέλο

Επιλογή νέου υποσυνόλουιδιοτήτων

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Κ-κοντινότεροι γείτονες

Περιτύλιξη με Γενετικό Αλγόριθμο

bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων

bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου

ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων

ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας

γενετικούς τελεστές

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

11 22 33 4400

B1B1 B2B2 B3B3 B4B4 B5B5

Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων

Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με

κωδικό 104 (Γεωπονική) στις 5 μμ

000000 00110011 000000 1000010000 0001000010 0000000000 00

P = ΝΟ2 S = 104

F = αδιάφορο

H1 = 1700 O = 0

H2 = αδιάφορο

ΣημαίαΣυγκεντρωτικής ιδιότητας = 0

Επέλεξε τη μέση συγκέντρωση του

SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ

100100 01110111 000000 0001100011 1010010100 0001000010 11

P = ΝΟ2 S = 108

F = Μέση τιμή-Avg

H1 = 400 O = -2

H2 = 2100

ΣημαίαΣυγκεντρωτικής ιδιότητας = 1

Η Κωδικοποίηση του γενότυπου

Η συνάρτηση προσαρμογής

bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του

αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο

υποσύνολο ιδιοτήτων της λύσης

nA

iAb

nE

iEa

iAiEF

max

)(

max

)(1

))()((

a lt= 1 b lt= 1 a + b = 1

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Οι παράμετροι της συνάρτησης προσαρμογής a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE

bull et = Xt ndash Ft

bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής

bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

n

e

RMSE

n

tt

1

2

n

tt

n

ttt

X

Xe

WSE

1

2

1

2

Ρύθμιση του μεγέθους πληθυσμού

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Population Sizes

0

05

1

15

2

25

3

35

4

5 10 20 30 40 50 100

Population Size

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση συντελεστών a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Coefficient pairs

0

5

10

15

20

25

30

35

01 09 03 07 05 05 07 03 08 02 09 01 095 005

ab pairs

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage

0

05

1

15

2

25

3

35

10 30 40 50 60 70 80 90

Mutation rate ()

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers

0

05

1

15

2

25

3

35

4

1 2 3 4 5 8 10 15

Elite members

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeatures

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Η μέθοδος CFS

bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την

εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις

ιδιότητες του υποσυνόλου

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

)1( ii

cis

rkkk

rkG

Σύγκριση των δύο μεθόδων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

000

1000

2000

3000

4000

5000

6000

7000

8000

9000

ZeroR DecisionStump

DecisionTable

IB1 IB3 IB9 LinearRegression

M5Prime

GA Mean absolute error GA Root mean squared error

CFS Mean absolute error CFS Root mean squared error

Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης

bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης

ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART

bull Συνδυασμένος ταξινομητής

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το σύστημα ΠΛ ΝΕΜΟ (1)

Όμοιες περιπτώσεις

Επιλογέας κοντινών περιπτώσεων

Φίλτρο κοντινών περιπτώσεων

Προσαρμογέας κοντινών περιπτώσεων

Προβλέπτης λύσης

Προτεινόμενη λύση

ΝΕΜΟ

Βάση περιπτώσεων

Κοντινέςπεριπτώσεις

Βάση Γνώσης

Νέα περίπτωση

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία

αναστροφή

βροχόπτωση

άνεμος

NO στις 10 πμ

NO στις 9 πμ

NO στις 8 πμ

NO2 στις 10 πμ

NO2 στις 9 πμ

NO2 στις 8 πμ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Έξοδος

Το δέντρο απόφασης (1)NOat10

NOat10

NOat10

NOat10

Wind

NOat9

Rain

Inversion

NOat9

NO2at8 Wind

Radiation

1(26518)

1(235)

2(4412)

1(83) 2(104) 1(100)

2(101) 1(101)

2(10035)

3(5313)

4(80)

4(124)3(91)

lt=027 gt027

lt=021

gt067

gt021

lt=067

lt=04 gt04

lt=057 gt057

lt=066 gt066

lt=047 gt047

lt=021 gt021

=0 =1

lt=021 gt021 lt=08 gt08

lt=036 gt036

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το δέντρο απόφασης (2)

0

021

025

04 057

105 075

027

12

1 2 3

4

34

066

0

1

02

04

06

08

ΝΟ στις10πμ

Θερ

μο

κρα

σια

κή α

νασ

τρο

φή

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Ο συνδυασμένος ταξινομητής

bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (1)

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

134

38

522

122

93

8

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΝΕΜΟ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

Αποτελέσματα Πίνακες Σύγχυσης (2)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

40

4221

8 317

8

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΔΑ CART

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (3)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

42

8216

8 69

4 4

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΤΝΔ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (4)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

138

38

4124

122

13

2

6

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Στατιστικά για τους 4 αλγόριθμους

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

CART NeuralNet NEMO ML Ensemble

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 9: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Νέο παράδειγμα

Εφαρμογή του αλγόριθμου57 44 15 04

Iris-setosa

Υrsquo = f(X) + ε

Αλγόριθμος

Πρόβλεψη

1Μηχανική Μάθηση1Μηχανική Μάθηση

Εφαρμογές

bull Χρηματιστήριο

bull Βιομηχανία

bull Περιβάλλον

bull Βιοτεχνολογία Γενετική

bull Τραπεζικός Ασφαλιστικός τομέας

1Μηχανική Μάθηση1Μηχανική Μάθηση

Αλγόριθμοι

bull Είδη ΜηχΜάθησηςndash Υπό επίβλεψηndash Χωρίς επίβλεψη

bull Τύποι προβλημάτων υπό επίβλεψηndash Παλινδρόμησηςndash Ταξινόμησης

1Μηχανική Μάθηση1Μηχανική Μάθηση

Αλγόριθμοι

bull K-κοντινότεροι γείτονεςbull Παλινδρόμησηbull Τεχνητά Νευρωνικά Δίκτυαbull Περιπτωσιακός Λογισμόςbull Δέντρα Απόφασηςbull Δίκτυα Bayesbull Γενετικοί Αλγόριθμοι

1Μηχανική Μάθηση1Μηχανική Μάθηση

Κ-κοντινότεροι γείτονες

1Μηχανική Μάθηση1Μηχανική Μάθηση

R

Κ-κοντινότεροι γείτονες

bull Πλεονεκτήματαndash Απλή υλοποίησηndash Αποδεκτά αποτελέσματα σε μεγάλο πεδίο

εφαρμογώνndash Πολύχρονη εμπειρία χρήσης

bull Μειονεκτήματαndash Χρονοβόρος σε μεγάλα σύνολα δεδομένων

1Μηχανική Μάθηση1Μηχανική Μάθηση

Παλινδρόμηση

1Μηχανική Μάθηση1Μηχανική Μάθηση

Τεχνητά Νευρωνικά Δίκτυα

1Μηχανική Μάθηση1Μηχανική Μάθηση

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Είσοδος 3Είσοδος 1Είσοδος 2 Είσοδος 4

Είσοδος 5Είσοδος 6

Είσοδος 7

Είσοδος 8

Είσοδος 9

Είσοδος 10

Έξοδος

Τεχνητά Νευρωνικά Δίκτυα

bull Πλεονεκτήματαndash Ανοχή στον θόρυβοndash Ικανότητα γενίκευσης

bull Μειονεκτήματαndash Δυσνόητο μοντέλο (μαύρο κουτί)ndash Δυσανάλογος χρόνος εκπαίδευσης

1Μηχανική Μάθηση1Μηχανική Μάθηση

Περιπτωσιακός Λογισμός

1Μηχανική Μάθηση1Μηχανική Μάθηση

Νέα περίπτωση

Πρόβλημα

Παλαιά περίπτωσηΝέα

περίπτωση

Λυμένη περίπτωση

Δοκιμασμένη διορθωμένη

λύση

Διδαχθείσα περίπτωση

Ανάκληση περιπτώσεων

Επαναχρησιμοποίηση παλιών λύσεων

Προσαρμογή λύσης

Αιτιολόγηση λύσης

Γενική Γνώση

Παλαιά περίπτωσηΠαλαιά περίπτωσηΠαλαιά

περίπτωση

Παλαιές περιπτώσεις

Προτεινόμενη λύσηΕγκεκριμένη λύση

Δέντρα Απόφασης

1Μηχανική Μάθηση1Μηχανική Μάθηση

Δίκτυα Bayes

1Μηχανική Μάθηση1Μηχανική Μάθηση

Χ1 Χ2

Χ3

Χ4

Χ5

Υ

P(X1 X2 X3 X4 X5 Y) = P(X1)P(X2)P(X3|X1 X2)P(Y|X1 X2 X3)P(X4|Y) P(X5|X4 Y)

Γενετικοί Αλγόριθμοι

1Μηχανική Μάθηση1Μηχανική Μάθηση

Αρχικός πληθυσμός

Αξιολόγηση συνάρτησης

προσαρμογής

Επιλογή

Διασταύρωση

Μετάλλαξη

Γέννηση νέου πληθυσμού

Επιτεύχθηκαν τα κριτήρια

βελτιστοποίησης

Εξαγωγή λύσης

Ναι

Όχι

Περιβαλλοντική Πληροφορική

bull Θέματαndash Ολοκληρωμένες πλατφόρμες αξιολόγησης και μελέτες

περιπτώσεωνndash Ανάλυση περιβαλλοντικών συστημάτωνndash Πρόβλεψη περιβαλλοντικών αλλαγώνndash Παρακολούθηση του περιβάλλοντος σε πραγματικό χρόνοndash Πιστοποίηση ποιότητας περιβαλλοντικών μοντέλωνndash Εφαρμογές μοντελοποίησης με agents και εξομοίωσης σε

περιβαλλοντικά συστήματα

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Περιβαλλοντική Πληροφορική

bull Πεδία Εφαρμογήςndash Ποιότητα Αέραndash Ποιότητα Εδάφουςndash Ποιότητα Υδάτωνndash Διαχείριση Αποβλήτων

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Αέρια Ρύπανση

bull Παρακολούθηση και πρόβλεψη των επιβλαβών ρύπωνndash Ο3

ndash ΝΟx

ndash PM10 Σωματίδιαndash Καπνός

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Τα προβλήματα του ΠΕΡΠΑ

bull Πρόβλεψη της μέγιστης συγκέντρωσης για τους ρύπουςndash ΝΟ2

ndash Ο3

bull Για τις χρονικές περιόδουςndash Ίδια ημέρα μετά τις 10 πμndash Επόμενη ημέρα

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Π1Π2 Πρόβλεψη την ίδια ημέρα

0

50

100

150

200

250

300

350

400

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

Hour

pp

b

0

20

40

60

80

100

120

140

pp

b

NO2 NO SO2 CO O3

ΠρόβλεψηΣυλλογή δεδομένων

O3 m

ax

NO

2 max

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Π3Π4 Πρόβλεψη για την επόμενη ημέρα

0

100

200

300

400

500

600

700

800

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

Hour

pp

b

0

5

10

15

20

25

30

35

40

pp

b

NO2 NO SO2 CO O3

ΠρόβλεψηΣυλλογή δεδομένων

O3 m

axNO

2 max

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Προ-επεξεργασία των δεδομένων

bull Αντιμετώπιση θορύβου

bull Αντικατάσταση ελλιπών τιμών

3Προ-επεξεργασία3Προ-επεξεργασία

Μελέτη θορύβου

bull 2 μοντέλα θορύβουndash Ύπαρξη θορύβου μόνο στις ιδιότητεςndash Ύπαρξη θορύβου και στις ιδιότητες και

στην εξαρτημένη μεταβλητή

bull Εκτίμηση απόκλισης τιμής ιδιότητας λόγω θορύβου

3Προ-επεξεργασία3Προ-επεξεργασία

piii zxx

Αποτελέσματα μελέτης θορύβου- 1ο μοντέλο

-2

-1

0

1

2

3

4

5

6

7

8

0 005 01 02 03 04 05

IB1 - Attribute IBk -K 9 - Attribute LinearRegression - Attribute M5Prime - Attribute NeuralNetwork - Attribute ZeroR - Attribute

Drop Page Fields Here

Average of Root mean squared error (diff)

Noise Level

Scheme

Noise Model

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα μελέτης θορύβου- 2ο μοντέλο

0

5

10

15

20

25

30

0 005 01 02 03 04 05

IB1 - AttributeClassVar IBk -K 9 - AttributeClassVar LinearRegression - AttributeClassVar

M5Prime - AttributeClassVar NeuralNetwork - AttributeClassVar ZeroR - AttributeClassVar

Drop Page Fields Here

Average of Root mean squared error (diff)

Noise Level

Scheme

Noise Model

3Προ-επεξεργασία3Προ-επεξεργασία

Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών

bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj

1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα

παραδείγματα που ανήκουν στην κλάση Υj

3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)

4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμών-RMSE

-012

-01

-008

-006

-004

-002

0

002

004

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Root mean squared error (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου

-25

-2

-15

-1

-05

0

05

1

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Time taken to build model (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Μείωση των διαστάσεων

bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Επιλογή των ιδιοτήτων57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

15

13

14

14

14

47

45

6

51

bull 2ν πιθανοί συνδυασμοί

bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Πως ορίζεται η ιδιότητα

bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό

μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης

του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Λόγοι επιλογής ιδιοτήτων

bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων

bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή

bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)

bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδοι Αντιμετώπισης

bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδος φιλτραρίσματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Υπολογισμός μέτρωνποιότητας των ιδιοτήτων

Επαύξηση ή μείωση των ιδιοτήτων

Είναι αποδεκτό τοαξιολογημένουποσύνολο

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Επιλογή νέου υποσυνόλουιδιοτήτων

Μέθοδοςφιλτραρίσματος

Γενετικός Αλγόριθμος

Μέθοδος περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Εκπαιδευμένο Μοντέλο

Σύνολοδεδομένων

Κατασκευή συνόλου δεδομένων

Αξιολογημένο Μοντέλο

Εκπαίδευση Αλγορίθμου

Αξιολόγηση Αλγορίθμου

Είναι αποδεκτό τοαξιολογημένο

μοντέλο

Επιλογή νέου υποσυνόλουιδιοτήτων

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Κ-κοντινότεροι γείτονες

Περιτύλιξη με Γενετικό Αλγόριθμο

bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων

bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου

ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων

ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας

γενετικούς τελεστές

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

11 22 33 4400

B1B1 B2B2 B3B3 B4B4 B5B5

Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων

Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με

κωδικό 104 (Γεωπονική) στις 5 μμ

000000 00110011 000000 1000010000 0001000010 0000000000 00

P = ΝΟ2 S = 104

F = αδιάφορο

H1 = 1700 O = 0

H2 = αδιάφορο

ΣημαίαΣυγκεντρωτικής ιδιότητας = 0

Επέλεξε τη μέση συγκέντρωση του

SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ

100100 01110111 000000 0001100011 1010010100 0001000010 11

P = ΝΟ2 S = 108

F = Μέση τιμή-Avg

H1 = 400 O = -2

H2 = 2100

ΣημαίαΣυγκεντρωτικής ιδιότητας = 1

Η Κωδικοποίηση του γενότυπου

Η συνάρτηση προσαρμογής

bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του

αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο

υποσύνολο ιδιοτήτων της λύσης

nA

iAb

nE

iEa

iAiEF

max

)(

max

)(1

))()((

a lt= 1 b lt= 1 a + b = 1

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Οι παράμετροι της συνάρτησης προσαρμογής a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE

bull et = Xt ndash Ft

bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής

bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

n

e

RMSE

n

tt

1

2

n

tt

n

ttt

X

Xe

WSE

1

2

1

2

Ρύθμιση του μεγέθους πληθυσμού

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Population Sizes

0

05

1

15

2

25

3

35

4

5 10 20 30 40 50 100

Population Size

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση συντελεστών a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Coefficient pairs

0

5

10

15

20

25

30

35

01 09 03 07 05 05 07 03 08 02 09 01 095 005

ab pairs

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage

0

05

1

15

2

25

3

35

10 30 40 50 60 70 80 90

Mutation rate ()

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers

0

05

1

15

2

25

3

35

4

1 2 3 4 5 8 10 15

Elite members

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeatures

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Η μέθοδος CFS

bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την

εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις

ιδιότητες του υποσυνόλου

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

)1( ii

cis

rkkk

rkG

Σύγκριση των δύο μεθόδων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

000

1000

2000

3000

4000

5000

6000

7000

8000

9000

ZeroR DecisionStump

DecisionTable

IB1 IB3 IB9 LinearRegression

M5Prime

GA Mean absolute error GA Root mean squared error

CFS Mean absolute error CFS Root mean squared error

Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης

bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης

ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART

bull Συνδυασμένος ταξινομητής

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το σύστημα ΠΛ ΝΕΜΟ (1)

Όμοιες περιπτώσεις

Επιλογέας κοντινών περιπτώσεων

Φίλτρο κοντινών περιπτώσεων

Προσαρμογέας κοντινών περιπτώσεων

Προβλέπτης λύσης

Προτεινόμενη λύση

ΝΕΜΟ

Βάση περιπτώσεων

Κοντινέςπεριπτώσεις

Βάση Γνώσης

Νέα περίπτωση

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία

αναστροφή

βροχόπτωση

άνεμος

NO στις 10 πμ

NO στις 9 πμ

NO στις 8 πμ

NO2 στις 10 πμ

NO2 στις 9 πμ

NO2 στις 8 πμ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Έξοδος

Το δέντρο απόφασης (1)NOat10

NOat10

NOat10

NOat10

Wind

NOat9

Rain

Inversion

NOat9

NO2at8 Wind

Radiation

1(26518)

1(235)

2(4412)

1(83) 2(104) 1(100)

2(101) 1(101)

2(10035)

3(5313)

4(80)

4(124)3(91)

lt=027 gt027

lt=021

gt067

gt021

lt=067

lt=04 gt04

lt=057 gt057

lt=066 gt066

lt=047 gt047

lt=021 gt021

=0 =1

lt=021 gt021 lt=08 gt08

lt=036 gt036

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το δέντρο απόφασης (2)

0

021

025

04 057

105 075

027

12

1 2 3

4

34

066

0

1

02

04

06

08

ΝΟ στις10πμ

Θερ

μο

κρα

σια

κή α

νασ

τρο

φή

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Ο συνδυασμένος ταξινομητής

bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (1)

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

134

38

522

122

93

8

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΝΕΜΟ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

Αποτελέσματα Πίνακες Σύγχυσης (2)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

40

4221

8 317

8

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΔΑ CART

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (3)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

42

8216

8 69

4 4

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΤΝΔ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (4)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

138

38

4124

122

13

2

6

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Στατιστικά για τους 4 αλγόριθμους

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

CART NeuralNet NEMO ML Ensemble

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 10: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Εφαρμογές

bull Χρηματιστήριο

bull Βιομηχανία

bull Περιβάλλον

bull Βιοτεχνολογία Γενετική

bull Τραπεζικός Ασφαλιστικός τομέας

1Μηχανική Μάθηση1Μηχανική Μάθηση

Αλγόριθμοι

bull Είδη ΜηχΜάθησηςndash Υπό επίβλεψηndash Χωρίς επίβλεψη

bull Τύποι προβλημάτων υπό επίβλεψηndash Παλινδρόμησηςndash Ταξινόμησης

1Μηχανική Μάθηση1Μηχανική Μάθηση

Αλγόριθμοι

bull K-κοντινότεροι γείτονεςbull Παλινδρόμησηbull Τεχνητά Νευρωνικά Δίκτυαbull Περιπτωσιακός Λογισμόςbull Δέντρα Απόφασηςbull Δίκτυα Bayesbull Γενετικοί Αλγόριθμοι

1Μηχανική Μάθηση1Μηχανική Μάθηση

Κ-κοντινότεροι γείτονες

1Μηχανική Μάθηση1Μηχανική Μάθηση

R

Κ-κοντινότεροι γείτονες

bull Πλεονεκτήματαndash Απλή υλοποίησηndash Αποδεκτά αποτελέσματα σε μεγάλο πεδίο

εφαρμογώνndash Πολύχρονη εμπειρία χρήσης

bull Μειονεκτήματαndash Χρονοβόρος σε μεγάλα σύνολα δεδομένων

1Μηχανική Μάθηση1Μηχανική Μάθηση

Παλινδρόμηση

1Μηχανική Μάθηση1Μηχανική Μάθηση

Τεχνητά Νευρωνικά Δίκτυα

1Μηχανική Μάθηση1Μηχανική Μάθηση

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Είσοδος 3Είσοδος 1Είσοδος 2 Είσοδος 4

Είσοδος 5Είσοδος 6

Είσοδος 7

Είσοδος 8

Είσοδος 9

Είσοδος 10

Έξοδος

Τεχνητά Νευρωνικά Δίκτυα

bull Πλεονεκτήματαndash Ανοχή στον θόρυβοndash Ικανότητα γενίκευσης

bull Μειονεκτήματαndash Δυσνόητο μοντέλο (μαύρο κουτί)ndash Δυσανάλογος χρόνος εκπαίδευσης

1Μηχανική Μάθηση1Μηχανική Μάθηση

Περιπτωσιακός Λογισμός

1Μηχανική Μάθηση1Μηχανική Μάθηση

Νέα περίπτωση

Πρόβλημα

Παλαιά περίπτωσηΝέα

περίπτωση

Λυμένη περίπτωση

Δοκιμασμένη διορθωμένη

λύση

Διδαχθείσα περίπτωση

Ανάκληση περιπτώσεων

Επαναχρησιμοποίηση παλιών λύσεων

Προσαρμογή λύσης

Αιτιολόγηση λύσης

Γενική Γνώση

Παλαιά περίπτωσηΠαλαιά περίπτωσηΠαλαιά

περίπτωση

Παλαιές περιπτώσεις

Προτεινόμενη λύσηΕγκεκριμένη λύση

Δέντρα Απόφασης

1Μηχανική Μάθηση1Μηχανική Μάθηση

Δίκτυα Bayes

1Μηχανική Μάθηση1Μηχανική Μάθηση

Χ1 Χ2

Χ3

Χ4

Χ5

Υ

P(X1 X2 X3 X4 X5 Y) = P(X1)P(X2)P(X3|X1 X2)P(Y|X1 X2 X3)P(X4|Y) P(X5|X4 Y)

Γενετικοί Αλγόριθμοι

1Μηχανική Μάθηση1Μηχανική Μάθηση

Αρχικός πληθυσμός

Αξιολόγηση συνάρτησης

προσαρμογής

Επιλογή

Διασταύρωση

Μετάλλαξη

Γέννηση νέου πληθυσμού

Επιτεύχθηκαν τα κριτήρια

βελτιστοποίησης

Εξαγωγή λύσης

Ναι

Όχι

Περιβαλλοντική Πληροφορική

bull Θέματαndash Ολοκληρωμένες πλατφόρμες αξιολόγησης και μελέτες

περιπτώσεωνndash Ανάλυση περιβαλλοντικών συστημάτωνndash Πρόβλεψη περιβαλλοντικών αλλαγώνndash Παρακολούθηση του περιβάλλοντος σε πραγματικό χρόνοndash Πιστοποίηση ποιότητας περιβαλλοντικών μοντέλωνndash Εφαρμογές μοντελοποίησης με agents και εξομοίωσης σε

περιβαλλοντικά συστήματα

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Περιβαλλοντική Πληροφορική

bull Πεδία Εφαρμογήςndash Ποιότητα Αέραndash Ποιότητα Εδάφουςndash Ποιότητα Υδάτωνndash Διαχείριση Αποβλήτων

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Αέρια Ρύπανση

bull Παρακολούθηση και πρόβλεψη των επιβλαβών ρύπωνndash Ο3

ndash ΝΟx

ndash PM10 Σωματίδιαndash Καπνός

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Τα προβλήματα του ΠΕΡΠΑ

bull Πρόβλεψη της μέγιστης συγκέντρωσης για τους ρύπουςndash ΝΟ2

ndash Ο3

bull Για τις χρονικές περιόδουςndash Ίδια ημέρα μετά τις 10 πμndash Επόμενη ημέρα

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Π1Π2 Πρόβλεψη την ίδια ημέρα

0

50

100

150

200

250

300

350

400

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

Hour

pp

b

0

20

40

60

80

100

120

140

pp

b

NO2 NO SO2 CO O3

ΠρόβλεψηΣυλλογή δεδομένων

O3 m

ax

NO

2 max

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Π3Π4 Πρόβλεψη για την επόμενη ημέρα

0

100

200

300

400

500

600

700

800

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

Hour

pp

b

0

5

10

15

20

25

30

35

40

pp

b

NO2 NO SO2 CO O3

ΠρόβλεψηΣυλλογή δεδομένων

O3 m

axNO

2 max

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Προ-επεξεργασία των δεδομένων

bull Αντιμετώπιση θορύβου

bull Αντικατάσταση ελλιπών τιμών

3Προ-επεξεργασία3Προ-επεξεργασία

Μελέτη θορύβου

bull 2 μοντέλα θορύβουndash Ύπαρξη θορύβου μόνο στις ιδιότητεςndash Ύπαρξη θορύβου και στις ιδιότητες και

στην εξαρτημένη μεταβλητή

bull Εκτίμηση απόκλισης τιμής ιδιότητας λόγω θορύβου

3Προ-επεξεργασία3Προ-επεξεργασία

piii zxx

Αποτελέσματα μελέτης θορύβου- 1ο μοντέλο

-2

-1

0

1

2

3

4

5

6

7

8

0 005 01 02 03 04 05

IB1 - Attribute IBk -K 9 - Attribute LinearRegression - Attribute M5Prime - Attribute NeuralNetwork - Attribute ZeroR - Attribute

Drop Page Fields Here

Average of Root mean squared error (diff)

Noise Level

Scheme

Noise Model

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα μελέτης θορύβου- 2ο μοντέλο

0

5

10

15

20

25

30

0 005 01 02 03 04 05

IB1 - AttributeClassVar IBk -K 9 - AttributeClassVar LinearRegression - AttributeClassVar

M5Prime - AttributeClassVar NeuralNetwork - AttributeClassVar ZeroR - AttributeClassVar

Drop Page Fields Here

Average of Root mean squared error (diff)

Noise Level

Scheme

Noise Model

3Προ-επεξεργασία3Προ-επεξεργασία

Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών

bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj

1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα

παραδείγματα που ανήκουν στην κλάση Υj

3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)

4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμών-RMSE

-012

-01

-008

-006

-004

-002

0

002

004

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Root mean squared error (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου

-25

-2

-15

-1

-05

0

05

1

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Time taken to build model (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Μείωση των διαστάσεων

bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Επιλογή των ιδιοτήτων57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

15

13

14

14

14

47

45

6

51

bull 2ν πιθανοί συνδυασμοί

bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Πως ορίζεται η ιδιότητα

bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό

μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης

του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Λόγοι επιλογής ιδιοτήτων

bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων

bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή

bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)

bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδοι Αντιμετώπισης

bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδος φιλτραρίσματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Υπολογισμός μέτρωνποιότητας των ιδιοτήτων

Επαύξηση ή μείωση των ιδιοτήτων

Είναι αποδεκτό τοαξιολογημένουποσύνολο

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Επιλογή νέου υποσυνόλουιδιοτήτων

Μέθοδοςφιλτραρίσματος

Γενετικός Αλγόριθμος

Μέθοδος περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Εκπαιδευμένο Μοντέλο

Σύνολοδεδομένων

Κατασκευή συνόλου δεδομένων

Αξιολογημένο Μοντέλο

Εκπαίδευση Αλγορίθμου

Αξιολόγηση Αλγορίθμου

Είναι αποδεκτό τοαξιολογημένο

μοντέλο

Επιλογή νέου υποσυνόλουιδιοτήτων

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Κ-κοντινότεροι γείτονες

Περιτύλιξη με Γενετικό Αλγόριθμο

bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων

bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου

ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων

ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας

γενετικούς τελεστές

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

11 22 33 4400

B1B1 B2B2 B3B3 B4B4 B5B5

Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων

Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με

κωδικό 104 (Γεωπονική) στις 5 μμ

000000 00110011 000000 1000010000 0001000010 0000000000 00

P = ΝΟ2 S = 104

F = αδιάφορο

H1 = 1700 O = 0

H2 = αδιάφορο

ΣημαίαΣυγκεντρωτικής ιδιότητας = 0

Επέλεξε τη μέση συγκέντρωση του

SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ

100100 01110111 000000 0001100011 1010010100 0001000010 11

P = ΝΟ2 S = 108

F = Μέση τιμή-Avg

H1 = 400 O = -2

H2 = 2100

ΣημαίαΣυγκεντρωτικής ιδιότητας = 1

Η Κωδικοποίηση του γενότυπου

Η συνάρτηση προσαρμογής

bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του

αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο

υποσύνολο ιδιοτήτων της λύσης

nA

iAb

nE

iEa

iAiEF

max

)(

max

)(1

))()((

a lt= 1 b lt= 1 a + b = 1

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Οι παράμετροι της συνάρτησης προσαρμογής a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE

bull et = Xt ndash Ft

bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής

bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

n

e

RMSE

n

tt

1

2

n

tt

n

ttt

X

Xe

WSE

1

2

1

2

Ρύθμιση του μεγέθους πληθυσμού

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Population Sizes

0

05

1

15

2

25

3

35

4

5 10 20 30 40 50 100

Population Size

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση συντελεστών a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Coefficient pairs

0

5

10

15

20

25

30

35

01 09 03 07 05 05 07 03 08 02 09 01 095 005

ab pairs

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage

0

05

1

15

2

25

3

35

10 30 40 50 60 70 80 90

Mutation rate ()

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers

0

05

1

15

2

25

3

35

4

1 2 3 4 5 8 10 15

Elite members

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeatures

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Η μέθοδος CFS

bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την

εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις

ιδιότητες του υποσυνόλου

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

)1( ii

cis

rkkk

rkG

Σύγκριση των δύο μεθόδων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

000

1000

2000

3000

4000

5000

6000

7000

8000

9000

ZeroR DecisionStump

DecisionTable

IB1 IB3 IB9 LinearRegression

M5Prime

GA Mean absolute error GA Root mean squared error

CFS Mean absolute error CFS Root mean squared error

Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης

bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης

ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART

bull Συνδυασμένος ταξινομητής

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το σύστημα ΠΛ ΝΕΜΟ (1)

Όμοιες περιπτώσεις

Επιλογέας κοντινών περιπτώσεων

Φίλτρο κοντινών περιπτώσεων

Προσαρμογέας κοντινών περιπτώσεων

Προβλέπτης λύσης

Προτεινόμενη λύση

ΝΕΜΟ

Βάση περιπτώσεων

Κοντινέςπεριπτώσεις

Βάση Γνώσης

Νέα περίπτωση

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία

αναστροφή

βροχόπτωση

άνεμος

NO στις 10 πμ

NO στις 9 πμ

NO στις 8 πμ

NO2 στις 10 πμ

NO2 στις 9 πμ

NO2 στις 8 πμ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Έξοδος

Το δέντρο απόφασης (1)NOat10

NOat10

NOat10

NOat10

Wind

NOat9

Rain

Inversion

NOat9

NO2at8 Wind

Radiation

1(26518)

1(235)

2(4412)

1(83) 2(104) 1(100)

2(101) 1(101)

2(10035)

3(5313)

4(80)

4(124)3(91)

lt=027 gt027

lt=021

gt067

gt021

lt=067

lt=04 gt04

lt=057 gt057

lt=066 gt066

lt=047 gt047

lt=021 gt021

=0 =1

lt=021 gt021 lt=08 gt08

lt=036 gt036

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το δέντρο απόφασης (2)

0

021

025

04 057

105 075

027

12

1 2 3

4

34

066

0

1

02

04

06

08

ΝΟ στις10πμ

Θερ

μο

κρα

σια

κή α

νασ

τρο

φή

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Ο συνδυασμένος ταξινομητής

bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (1)

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

134

38

522

122

93

8

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΝΕΜΟ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

Αποτελέσματα Πίνακες Σύγχυσης (2)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

40

4221

8 317

8

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΔΑ CART

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (3)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

42

8216

8 69

4 4

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΤΝΔ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (4)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

138

38

4124

122

13

2

6

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Στατιστικά για τους 4 αλγόριθμους

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

CART NeuralNet NEMO ML Ensemble

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 11: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Αλγόριθμοι

bull Είδη ΜηχΜάθησηςndash Υπό επίβλεψηndash Χωρίς επίβλεψη

bull Τύποι προβλημάτων υπό επίβλεψηndash Παλινδρόμησηςndash Ταξινόμησης

1Μηχανική Μάθηση1Μηχανική Μάθηση

Αλγόριθμοι

bull K-κοντινότεροι γείτονεςbull Παλινδρόμησηbull Τεχνητά Νευρωνικά Δίκτυαbull Περιπτωσιακός Λογισμόςbull Δέντρα Απόφασηςbull Δίκτυα Bayesbull Γενετικοί Αλγόριθμοι

1Μηχανική Μάθηση1Μηχανική Μάθηση

Κ-κοντινότεροι γείτονες

1Μηχανική Μάθηση1Μηχανική Μάθηση

R

Κ-κοντινότεροι γείτονες

bull Πλεονεκτήματαndash Απλή υλοποίησηndash Αποδεκτά αποτελέσματα σε μεγάλο πεδίο

εφαρμογώνndash Πολύχρονη εμπειρία χρήσης

bull Μειονεκτήματαndash Χρονοβόρος σε μεγάλα σύνολα δεδομένων

1Μηχανική Μάθηση1Μηχανική Μάθηση

Παλινδρόμηση

1Μηχανική Μάθηση1Μηχανική Μάθηση

Τεχνητά Νευρωνικά Δίκτυα

1Μηχανική Μάθηση1Μηχανική Μάθηση

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Είσοδος 3Είσοδος 1Είσοδος 2 Είσοδος 4

Είσοδος 5Είσοδος 6

Είσοδος 7

Είσοδος 8

Είσοδος 9

Είσοδος 10

Έξοδος

Τεχνητά Νευρωνικά Δίκτυα

bull Πλεονεκτήματαndash Ανοχή στον θόρυβοndash Ικανότητα γενίκευσης

bull Μειονεκτήματαndash Δυσνόητο μοντέλο (μαύρο κουτί)ndash Δυσανάλογος χρόνος εκπαίδευσης

1Μηχανική Μάθηση1Μηχανική Μάθηση

Περιπτωσιακός Λογισμός

1Μηχανική Μάθηση1Μηχανική Μάθηση

Νέα περίπτωση

Πρόβλημα

Παλαιά περίπτωσηΝέα

περίπτωση

Λυμένη περίπτωση

Δοκιμασμένη διορθωμένη

λύση

Διδαχθείσα περίπτωση

Ανάκληση περιπτώσεων

Επαναχρησιμοποίηση παλιών λύσεων

Προσαρμογή λύσης

Αιτιολόγηση λύσης

Γενική Γνώση

Παλαιά περίπτωσηΠαλαιά περίπτωσηΠαλαιά

περίπτωση

Παλαιές περιπτώσεις

Προτεινόμενη λύσηΕγκεκριμένη λύση

Δέντρα Απόφασης

1Μηχανική Μάθηση1Μηχανική Μάθηση

Δίκτυα Bayes

1Μηχανική Μάθηση1Μηχανική Μάθηση

Χ1 Χ2

Χ3

Χ4

Χ5

Υ

P(X1 X2 X3 X4 X5 Y) = P(X1)P(X2)P(X3|X1 X2)P(Y|X1 X2 X3)P(X4|Y) P(X5|X4 Y)

Γενετικοί Αλγόριθμοι

1Μηχανική Μάθηση1Μηχανική Μάθηση

Αρχικός πληθυσμός

Αξιολόγηση συνάρτησης

προσαρμογής

Επιλογή

Διασταύρωση

Μετάλλαξη

Γέννηση νέου πληθυσμού

Επιτεύχθηκαν τα κριτήρια

βελτιστοποίησης

Εξαγωγή λύσης

Ναι

Όχι

Περιβαλλοντική Πληροφορική

bull Θέματαndash Ολοκληρωμένες πλατφόρμες αξιολόγησης και μελέτες

περιπτώσεωνndash Ανάλυση περιβαλλοντικών συστημάτωνndash Πρόβλεψη περιβαλλοντικών αλλαγώνndash Παρακολούθηση του περιβάλλοντος σε πραγματικό χρόνοndash Πιστοποίηση ποιότητας περιβαλλοντικών μοντέλωνndash Εφαρμογές μοντελοποίησης με agents και εξομοίωσης σε

περιβαλλοντικά συστήματα

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Περιβαλλοντική Πληροφορική

bull Πεδία Εφαρμογήςndash Ποιότητα Αέραndash Ποιότητα Εδάφουςndash Ποιότητα Υδάτωνndash Διαχείριση Αποβλήτων

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Αέρια Ρύπανση

bull Παρακολούθηση και πρόβλεψη των επιβλαβών ρύπωνndash Ο3

ndash ΝΟx

ndash PM10 Σωματίδιαndash Καπνός

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Τα προβλήματα του ΠΕΡΠΑ

bull Πρόβλεψη της μέγιστης συγκέντρωσης για τους ρύπουςndash ΝΟ2

ndash Ο3

bull Για τις χρονικές περιόδουςndash Ίδια ημέρα μετά τις 10 πμndash Επόμενη ημέρα

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Π1Π2 Πρόβλεψη την ίδια ημέρα

0

50

100

150

200

250

300

350

400

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

Hour

pp

b

0

20

40

60

80

100

120

140

pp

b

NO2 NO SO2 CO O3

ΠρόβλεψηΣυλλογή δεδομένων

O3 m

ax

NO

2 max

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Π3Π4 Πρόβλεψη για την επόμενη ημέρα

0

100

200

300

400

500

600

700

800

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

Hour

pp

b

0

5

10

15

20

25

30

35

40

pp

b

NO2 NO SO2 CO O3

ΠρόβλεψηΣυλλογή δεδομένων

O3 m

axNO

2 max

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Προ-επεξεργασία των δεδομένων

bull Αντιμετώπιση θορύβου

bull Αντικατάσταση ελλιπών τιμών

3Προ-επεξεργασία3Προ-επεξεργασία

Μελέτη θορύβου

bull 2 μοντέλα θορύβουndash Ύπαρξη θορύβου μόνο στις ιδιότητεςndash Ύπαρξη θορύβου και στις ιδιότητες και

στην εξαρτημένη μεταβλητή

bull Εκτίμηση απόκλισης τιμής ιδιότητας λόγω θορύβου

3Προ-επεξεργασία3Προ-επεξεργασία

piii zxx

Αποτελέσματα μελέτης θορύβου- 1ο μοντέλο

-2

-1

0

1

2

3

4

5

6

7

8

0 005 01 02 03 04 05

IB1 - Attribute IBk -K 9 - Attribute LinearRegression - Attribute M5Prime - Attribute NeuralNetwork - Attribute ZeroR - Attribute

Drop Page Fields Here

Average of Root mean squared error (diff)

Noise Level

Scheme

Noise Model

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα μελέτης θορύβου- 2ο μοντέλο

0

5

10

15

20

25

30

0 005 01 02 03 04 05

IB1 - AttributeClassVar IBk -K 9 - AttributeClassVar LinearRegression - AttributeClassVar

M5Prime - AttributeClassVar NeuralNetwork - AttributeClassVar ZeroR - AttributeClassVar

Drop Page Fields Here

Average of Root mean squared error (diff)

Noise Level

Scheme

Noise Model

3Προ-επεξεργασία3Προ-επεξεργασία

Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών

bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj

1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα

παραδείγματα που ανήκουν στην κλάση Υj

3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)

4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμών-RMSE

-012

-01

-008

-006

-004

-002

0

002

004

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Root mean squared error (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου

-25

-2

-15

-1

-05

0

05

1

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Time taken to build model (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Μείωση των διαστάσεων

bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Επιλογή των ιδιοτήτων57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

15

13

14

14

14

47

45

6

51

bull 2ν πιθανοί συνδυασμοί

bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Πως ορίζεται η ιδιότητα

bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό

μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης

του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Λόγοι επιλογής ιδιοτήτων

bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων

bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή

bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)

bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδοι Αντιμετώπισης

bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδος φιλτραρίσματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Υπολογισμός μέτρωνποιότητας των ιδιοτήτων

Επαύξηση ή μείωση των ιδιοτήτων

Είναι αποδεκτό τοαξιολογημένουποσύνολο

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Επιλογή νέου υποσυνόλουιδιοτήτων

Μέθοδοςφιλτραρίσματος

Γενετικός Αλγόριθμος

Μέθοδος περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Εκπαιδευμένο Μοντέλο

Σύνολοδεδομένων

Κατασκευή συνόλου δεδομένων

Αξιολογημένο Μοντέλο

Εκπαίδευση Αλγορίθμου

Αξιολόγηση Αλγορίθμου

Είναι αποδεκτό τοαξιολογημένο

μοντέλο

Επιλογή νέου υποσυνόλουιδιοτήτων

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Κ-κοντινότεροι γείτονες

Περιτύλιξη με Γενετικό Αλγόριθμο

bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων

bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου

ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων

ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας

γενετικούς τελεστές

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

11 22 33 4400

B1B1 B2B2 B3B3 B4B4 B5B5

Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων

Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με

κωδικό 104 (Γεωπονική) στις 5 μμ

000000 00110011 000000 1000010000 0001000010 0000000000 00

P = ΝΟ2 S = 104

F = αδιάφορο

H1 = 1700 O = 0

H2 = αδιάφορο

ΣημαίαΣυγκεντρωτικής ιδιότητας = 0

Επέλεξε τη μέση συγκέντρωση του

SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ

100100 01110111 000000 0001100011 1010010100 0001000010 11

P = ΝΟ2 S = 108

F = Μέση τιμή-Avg

H1 = 400 O = -2

H2 = 2100

ΣημαίαΣυγκεντρωτικής ιδιότητας = 1

Η Κωδικοποίηση του γενότυπου

Η συνάρτηση προσαρμογής

bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του

αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο

υποσύνολο ιδιοτήτων της λύσης

nA

iAb

nE

iEa

iAiEF

max

)(

max

)(1

))()((

a lt= 1 b lt= 1 a + b = 1

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Οι παράμετροι της συνάρτησης προσαρμογής a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE

bull et = Xt ndash Ft

bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής

bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

n

e

RMSE

n

tt

1

2

n

tt

n

ttt

X

Xe

WSE

1

2

1

2

Ρύθμιση του μεγέθους πληθυσμού

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Population Sizes

0

05

1

15

2

25

3

35

4

5 10 20 30 40 50 100

Population Size

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση συντελεστών a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Coefficient pairs

0

5

10

15

20

25

30

35

01 09 03 07 05 05 07 03 08 02 09 01 095 005

ab pairs

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage

0

05

1

15

2

25

3

35

10 30 40 50 60 70 80 90

Mutation rate ()

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers

0

05

1

15

2

25

3

35

4

1 2 3 4 5 8 10 15

Elite members

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeatures

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Η μέθοδος CFS

bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την

εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις

ιδιότητες του υποσυνόλου

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

)1( ii

cis

rkkk

rkG

Σύγκριση των δύο μεθόδων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

000

1000

2000

3000

4000

5000

6000

7000

8000

9000

ZeroR DecisionStump

DecisionTable

IB1 IB3 IB9 LinearRegression

M5Prime

GA Mean absolute error GA Root mean squared error

CFS Mean absolute error CFS Root mean squared error

Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης

bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης

ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART

bull Συνδυασμένος ταξινομητής

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το σύστημα ΠΛ ΝΕΜΟ (1)

Όμοιες περιπτώσεις

Επιλογέας κοντινών περιπτώσεων

Φίλτρο κοντινών περιπτώσεων

Προσαρμογέας κοντινών περιπτώσεων

Προβλέπτης λύσης

Προτεινόμενη λύση

ΝΕΜΟ

Βάση περιπτώσεων

Κοντινέςπεριπτώσεις

Βάση Γνώσης

Νέα περίπτωση

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία

αναστροφή

βροχόπτωση

άνεμος

NO στις 10 πμ

NO στις 9 πμ

NO στις 8 πμ

NO2 στις 10 πμ

NO2 στις 9 πμ

NO2 στις 8 πμ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Έξοδος

Το δέντρο απόφασης (1)NOat10

NOat10

NOat10

NOat10

Wind

NOat9

Rain

Inversion

NOat9

NO2at8 Wind

Radiation

1(26518)

1(235)

2(4412)

1(83) 2(104) 1(100)

2(101) 1(101)

2(10035)

3(5313)

4(80)

4(124)3(91)

lt=027 gt027

lt=021

gt067

gt021

lt=067

lt=04 gt04

lt=057 gt057

lt=066 gt066

lt=047 gt047

lt=021 gt021

=0 =1

lt=021 gt021 lt=08 gt08

lt=036 gt036

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το δέντρο απόφασης (2)

0

021

025

04 057

105 075

027

12

1 2 3

4

34

066

0

1

02

04

06

08

ΝΟ στις10πμ

Θερ

μο

κρα

σια

κή α

νασ

τρο

φή

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Ο συνδυασμένος ταξινομητής

bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (1)

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

134

38

522

122

93

8

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΝΕΜΟ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

Αποτελέσματα Πίνακες Σύγχυσης (2)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

40

4221

8 317

8

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΔΑ CART

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (3)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

42

8216

8 69

4 4

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΤΝΔ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (4)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

138

38

4124

122

13

2

6

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Στατιστικά για τους 4 αλγόριθμους

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

CART NeuralNet NEMO ML Ensemble

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 12: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Αλγόριθμοι

bull K-κοντινότεροι γείτονεςbull Παλινδρόμησηbull Τεχνητά Νευρωνικά Δίκτυαbull Περιπτωσιακός Λογισμόςbull Δέντρα Απόφασηςbull Δίκτυα Bayesbull Γενετικοί Αλγόριθμοι

1Μηχανική Μάθηση1Μηχανική Μάθηση

Κ-κοντινότεροι γείτονες

1Μηχανική Μάθηση1Μηχανική Μάθηση

R

Κ-κοντινότεροι γείτονες

bull Πλεονεκτήματαndash Απλή υλοποίησηndash Αποδεκτά αποτελέσματα σε μεγάλο πεδίο

εφαρμογώνndash Πολύχρονη εμπειρία χρήσης

bull Μειονεκτήματαndash Χρονοβόρος σε μεγάλα σύνολα δεδομένων

1Μηχανική Μάθηση1Μηχανική Μάθηση

Παλινδρόμηση

1Μηχανική Μάθηση1Μηχανική Μάθηση

Τεχνητά Νευρωνικά Δίκτυα

1Μηχανική Μάθηση1Μηχανική Μάθηση

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Είσοδος 3Είσοδος 1Είσοδος 2 Είσοδος 4

Είσοδος 5Είσοδος 6

Είσοδος 7

Είσοδος 8

Είσοδος 9

Είσοδος 10

Έξοδος

Τεχνητά Νευρωνικά Δίκτυα

bull Πλεονεκτήματαndash Ανοχή στον θόρυβοndash Ικανότητα γενίκευσης

bull Μειονεκτήματαndash Δυσνόητο μοντέλο (μαύρο κουτί)ndash Δυσανάλογος χρόνος εκπαίδευσης

1Μηχανική Μάθηση1Μηχανική Μάθηση

Περιπτωσιακός Λογισμός

1Μηχανική Μάθηση1Μηχανική Μάθηση

Νέα περίπτωση

Πρόβλημα

Παλαιά περίπτωσηΝέα

περίπτωση

Λυμένη περίπτωση

Δοκιμασμένη διορθωμένη

λύση

Διδαχθείσα περίπτωση

Ανάκληση περιπτώσεων

Επαναχρησιμοποίηση παλιών λύσεων

Προσαρμογή λύσης

Αιτιολόγηση λύσης

Γενική Γνώση

Παλαιά περίπτωσηΠαλαιά περίπτωσηΠαλαιά

περίπτωση

Παλαιές περιπτώσεις

Προτεινόμενη λύσηΕγκεκριμένη λύση

Δέντρα Απόφασης

1Μηχανική Μάθηση1Μηχανική Μάθηση

Δίκτυα Bayes

1Μηχανική Μάθηση1Μηχανική Μάθηση

Χ1 Χ2

Χ3

Χ4

Χ5

Υ

P(X1 X2 X3 X4 X5 Y) = P(X1)P(X2)P(X3|X1 X2)P(Y|X1 X2 X3)P(X4|Y) P(X5|X4 Y)

Γενετικοί Αλγόριθμοι

1Μηχανική Μάθηση1Μηχανική Μάθηση

Αρχικός πληθυσμός

Αξιολόγηση συνάρτησης

προσαρμογής

Επιλογή

Διασταύρωση

Μετάλλαξη

Γέννηση νέου πληθυσμού

Επιτεύχθηκαν τα κριτήρια

βελτιστοποίησης

Εξαγωγή λύσης

Ναι

Όχι

Περιβαλλοντική Πληροφορική

bull Θέματαndash Ολοκληρωμένες πλατφόρμες αξιολόγησης και μελέτες

περιπτώσεωνndash Ανάλυση περιβαλλοντικών συστημάτωνndash Πρόβλεψη περιβαλλοντικών αλλαγώνndash Παρακολούθηση του περιβάλλοντος σε πραγματικό χρόνοndash Πιστοποίηση ποιότητας περιβαλλοντικών μοντέλωνndash Εφαρμογές μοντελοποίησης με agents και εξομοίωσης σε

περιβαλλοντικά συστήματα

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Περιβαλλοντική Πληροφορική

bull Πεδία Εφαρμογήςndash Ποιότητα Αέραndash Ποιότητα Εδάφουςndash Ποιότητα Υδάτωνndash Διαχείριση Αποβλήτων

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Αέρια Ρύπανση

bull Παρακολούθηση και πρόβλεψη των επιβλαβών ρύπωνndash Ο3

ndash ΝΟx

ndash PM10 Σωματίδιαndash Καπνός

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Τα προβλήματα του ΠΕΡΠΑ

bull Πρόβλεψη της μέγιστης συγκέντρωσης για τους ρύπουςndash ΝΟ2

ndash Ο3

bull Για τις χρονικές περιόδουςndash Ίδια ημέρα μετά τις 10 πμndash Επόμενη ημέρα

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Π1Π2 Πρόβλεψη την ίδια ημέρα

0

50

100

150

200

250

300

350

400

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

Hour

pp

b

0

20

40

60

80

100

120

140

pp

b

NO2 NO SO2 CO O3

ΠρόβλεψηΣυλλογή δεδομένων

O3 m

ax

NO

2 max

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Π3Π4 Πρόβλεψη για την επόμενη ημέρα

0

100

200

300

400

500

600

700

800

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

Hour

pp

b

0

5

10

15

20

25

30

35

40

pp

b

NO2 NO SO2 CO O3

ΠρόβλεψηΣυλλογή δεδομένων

O3 m

axNO

2 max

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Προ-επεξεργασία των δεδομένων

bull Αντιμετώπιση θορύβου

bull Αντικατάσταση ελλιπών τιμών

3Προ-επεξεργασία3Προ-επεξεργασία

Μελέτη θορύβου

bull 2 μοντέλα θορύβουndash Ύπαρξη θορύβου μόνο στις ιδιότητεςndash Ύπαρξη θορύβου και στις ιδιότητες και

στην εξαρτημένη μεταβλητή

bull Εκτίμηση απόκλισης τιμής ιδιότητας λόγω θορύβου

3Προ-επεξεργασία3Προ-επεξεργασία

piii zxx

Αποτελέσματα μελέτης θορύβου- 1ο μοντέλο

-2

-1

0

1

2

3

4

5

6

7

8

0 005 01 02 03 04 05

IB1 - Attribute IBk -K 9 - Attribute LinearRegression - Attribute M5Prime - Attribute NeuralNetwork - Attribute ZeroR - Attribute

Drop Page Fields Here

Average of Root mean squared error (diff)

Noise Level

Scheme

Noise Model

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα μελέτης θορύβου- 2ο μοντέλο

0

5

10

15

20

25

30

0 005 01 02 03 04 05

IB1 - AttributeClassVar IBk -K 9 - AttributeClassVar LinearRegression - AttributeClassVar

M5Prime - AttributeClassVar NeuralNetwork - AttributeClassVar ZeroR - AttributeClassVar

Drop Page Fields Here

Average of Root mean squared error (diff)

Noise Level

Scheme

Noise Model

3Προ-επεξεργασία3Προ-επεξεργασία

Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών

bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj

1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα

παραδείγματα που ανήκουν στην κλάση Υj

3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)

4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμών-RMSE

-012

-01

-008

-006

-004

-002

0

002

004

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Root mean squared error (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου

-25

-2

-15

-1

-05

0

05

1

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Time taken to build model (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Μείωση των διαστάσεων

bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Επιλογή των ιδιοτήτων57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

15

13

14

14

14

47

45

6

51

bull 2ν πιθανοί συνδυασμοί

bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Πως ορίζεται η ιδιότητα

bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό

μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης

του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Λόγοι επιλογής ιδιοτήτων

bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων

bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή

bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)

bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδοι Αντιμετώπισης

bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδος φιλτραρίσματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Υπολογισμός μέτρωνποιότητας των ιδιοτήτων

Επαύξηση ή μείωση των ιδιοτήτων

Είναι αποδεκτό τοαξιολογημένουποσύνολο

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Επιλογή νέου υποσυνόλουιδιοτήτων

Μέθοδοςφιλτραρίσματος

Γενετικός Αλγόριθμος

Μέθοδος περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Εκπαιδευμένο Μοντέλο

Σύνολοδεδομένων

Κατασκευή συνόλου δεδομένων

Αξιολογημένο Μοντέλο

Εκπαίδευση Αλγορίθμου

Αξιολόγηση Αλγορίθμου

Είναι αποδεκτό τοαξιολογημένο

μοντέλο

Επιλογή νέου υποσυνόλουιδιοτήτων

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Κ-κοντινότεροι γείτονες

Περιτύλιξη με Γενετικό Αλγόριθμο

bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων

bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου

ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων

ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας

γενετικούς τελεστές

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

11 22 33 4400

B1B1 B2B2 B3B3 B4B4 B5B5

Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων

Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με

κωδικό 104 (Γεωπονική) στις 5 μμ

000000 00110011 000000 1000010000 0001000010 0000000000 00

P = ΝΟ2 S = 104

F = αδιάφορο

H1 = 1700 O = 0

H2 = αδιάφορο

ΣημαίαΣυγκεντρωτικής ιδιότητας = 0

Επέλεξε τη μέση συγκέντρωση του

SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ

100100 01110111 000000 0001100011 1010010100 0001000010 11

P = ΝΟ2 S = 108

F = Μέση τιμή-Avg

H1 = 400 O = -2

H2 = 2100

ΣημαίαΣυγκεντρωτικής ιδιότητας = 1

Η Κωδικοποίηση του γενότυπου

Η συνάρτηση προσαρμογής

bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του

αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο

υποσύνολο ιδιοτήτων της λύσης

nA

iAb

nE

iEa

iAiEF

max

)(

max

)(1

))()((

a lt= 1 b lt= 1 a + b = 1

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Οι παράμετροι της συνάρτησης προσαρμογής a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE

bull et = Xt ndash Ft

bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής

bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

n

e

RMSE

n

tt

1

2

n

tt

n

ttt

X

Xe

WSE

1

2

1

2

Ρύθμιση του μεγέθους πληθυσμού

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Population Sizes

0

05

1

15

2

25

3

35

4

5 10 20 30 40 50 100

Population Size

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση συντελεστών a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Coefficient pairs

0

5

10

15

20

25

30

35

01 09 03 07 05 05 07 03 08 02 09 01 095 005

ab pairs

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage

0

05

1

15

2

25

3

35

10 30 40 50 60 70 80 90

Mutation rate ()

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers

0

05

1

15

2

25

3

35

4

1 2 3 4 5 8 10 15

Elite members

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeatures

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Η μέθοδος CFS

bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την

εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις

ιδιότητες του υποσυνόλου

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

)1( ii

cis

rkkk

rkG

Σύγκριση των δύο μεθόδων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

000

1000

2000

3000

4000

5000

6000

7000

8000

9000

ZeroR DecisionStump

DecisionTable

IB1 IB3 IB9 LinearRegression

M5Prime

GA Mean absolute error GA Root mean squared error

CFS Mean absolute error CFS Root mean squared error

Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης

bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης

ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART

bull Συνδυασμένος ταξινομητής

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το σύστημα ΠΛ ΝΕΜΟ (1)

Όμοιες περιπτώσεις

Επιλογέας κοντινών περιπτώσεων

Φίλτρο κοντινών περιπτώσεων

Προσαρμογέας κοντινών περιπτώσεων

Προβλέπτης λύσης

Προτεινόμενη λύση

ΝΕΜΟ

Βάση περιπτώσεων

Κοντινέςπεριπτώσεις

Βάση Γνώσης

Νέα περίπτωση

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία

αναστροφή

βροχόπτωση

άνεμος

NO στις 10 πμ

NO στις 9 πμ

NO στις 8 πμ

NO2 στις 10 πμ

NO2 στις 9 πμ

NO2 στις 8 πμ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Έξοδος

Το δέντρο απόφασης (1)NOat10

NOat10

NOat10

NOat10

Wind

NOat9

Rain

Inversion

NOat9

NO2at8 Wind

Radiation

1(26518)

1(235)

2(4412)

1(83) 2(104) 1(100)

2(101) 1(101)

2(10035)

3(5313)

4(80)

4(124)3(91)

lt=027 gt027

lt=021

gt067

gt021

lt=067

lt=04 gt04

lt=057 gt057

lt=066 gt066

lt=047 gt047

lt=021 gt021

=0 =1

lt=021 gt021 lt=08 gt08

lt=036 gt036

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το δέντρο απόφασης (2)

0

021

025

04 057

105 075

027

12

1 2 3

4

34

066

0

1

02

04

06

08

ΝΟ στις10πμ

Θερ

μο

κρα

σια

κή α

νασ

τρο

φή

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Ο συνδυασμένος ταξινομητής

bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (1)

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

134

38

522

122

93

8

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΝΕΜΟ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

Αποτελέσματα Πίνακες Σύγχυσης (2)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

40

4221

8 317

8

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΔΑ CART

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (3)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

42

8216

8 69

4 4

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΤΝΔ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (4)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

138

38

4124

122

13

2

6

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Στατιστικά για τους 4 αλγόριθμους

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

CART NeuralNet NEMO ML Ensemble

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 13: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Κ-κοντινότεροι γείτονες

1Μηχανική Μάθηση1Μηχανική Μάθηση

R

Κ-κοντινότεροι γείτονες

bull Πλεονεκτήματαndash Απλή υλοποίησηndash Αποδεκτά αποτελέσματα σε μεγάλο πεδίο

εφαρμογώνndash Πολύχρονη εμπειρία χρήσης

bull Μειονεκτήματαndash Χρονοβόρος σε μεγάλα σύνολα δεδομένων

1Μηχανική Μάθηση1Μηχανική Μάθηση

Παλινδρόμηση

1Μηχανική Μάθηση1Μηχανική Μάθηση

Τεχνητά Νευρωνικά Δίκτυα

1Μηχανική Μάθηση1Μηχανική Μάθηση

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Είσοδος 3Είσοδος 1Είσοδος 2 Είσοδος 4

Είσοδος 5Είσοδος 6

Είσοδος 7

Είσοδος 8

Είσοδος 9

Είσοδος 10

Έξοδος

Τεχνητά Νευρωνικά Δίκτυα

bull Πλεονεκτήματαndash Ανοχή στον θόρυβοndash Ικανότητα γενίκευσης

bull Μειονεκτήματαndash Δυσνόητο μοντέλο (μαύρο κουτί)ndash Δυσανάλογος χρόνος εκπαίδευσης

1Μηχανική Μάθηση1Μηχανική Μάθηση

Περιπτωσιακός Λογισμός

1Μηχανική Μάθηση1Μηχανική Μάθηση

Νέα περίπτωση

Πρόβλημα

Παλαιά περίπτωσηΝέα

περίπτωση

Λυμένη περίπτωση

Δοκιμασμένη διορθωμένη

λύση

Διδαχθείσα περίπτωση

Ανάκληση περιπτώσεων

Επαναχρησιμοποίηση παλιών λύσεων

Προσαρμογή λύσης

Αιτιολόγηση λύσης

Γενική Γνώση

Παλαιά περίπτωσηΠαλαιά περίπτωσηΠαλαιά

περίπτωση

Παλαιές περιπτώσεις

Προτεινόμενη λύσηΕγκεκριμένη λύση

Δέντρα Απόφασης

1Μηχανική Μάθηση1Μηχανική Μάθηση

Δίκτυα Bayes

1Μηχανική Μάθηση1Μηχανική Μάθηση

Χ1 Χ2

Χ3

Χ4

Χ5

Υ

P(X1 X2 X3 X4 X5 Y) = P(X1)P(X2)P(X3|X1 X2)P(Y|X1 X2 X3)P(X4|Y) P(X5|X4 Y)

Γενετικοί Αλγόριθμοι

1Μηχανική Μάθηση1Μηχανική Μάθηση

Αρχικός πληθυσμός

Αξιολόγηση συνάρτησης

προσαρμογής

Επιλογή

Διασταύρωση

Μετάλλαξη

Γέννηση νέου πληθυσμού

Επιτεύχθηκαν τα κριτήρια

βελτιστοποίησης

Εξαγωγή λύσης

Ναι

Όχι

Περιβαλλοντική Πληροφορική

bull Θέματαndash Ολοκληρωμένες πλατφόρμες αξιολόγησης και μελέτες

περιπτώσεωνndash Ανάλυση περιβαλλοντικών συστημάτωνndash Πρόβλεψη περιβαλλοντικών αλλαγώνndash Παρακολούθηση του περιβάλλοντος σε πραγματικό χρόνοndash Πιστοποίηση ποιότητας περιβαλλοντικών μοντέλωνndash Εφαρμογές μοντελοποίησης με agents και εξομοίωσης σε

περιβαλλοντικά συστήματα

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Περιβαλλοντική Πληροφορική

bull Πεδία Εφαρμογήςndash Ποιότητα Αέραndash Ποιότητα Εδάφουςndash Ποιότητα Υδάτωνndash Διαχείριση Αποβλήτων

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Αέρια Ρύπανση

bull Παρακολούθηση και πρόβλεψη των επιβλαβών ρύπωνndash Ο3

ndash ΝΟx

ndash PM10 Σωματίδιαndash Καπνός

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Τα προβλήματα του ΠΕΡΠΑ

bull Πρόβλεψη της μέγιστης συγκέντρωσης για τους ρύπουςndash ΝΟ2

ndash Ο3

bull Για τις χρονικές περιόδουςndash Ίδια ημέρα μετά τις 10 πμndash Επόμενη ημέρα

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Π1Π2 Πρόβλεψη την ίδια ημέρα

0

50

100

150

200

250

300

350

400

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

Hour

pp

b

0

20

40

60

80

100

120

140

pp

b

NO2 NO SO2 CO O3

ΠρόβλεψηΣυλλογή δεδομένων

O3 m

ax

NO

2 max

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Π3Π4 Πρόβλεψη για την επόμενη ημέρα

0

100

200

300

400

500

600

700

800

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

Hour

pp

b

0

5

10

15

20

25

30

35

40

pp

b

NO2 NO SO2 CO O3

ΠρόβλεψηΣυλλογή δεδομένων

O3 m

axNO

2 max

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Προ-επεξεργασία των δεδομένων

bull Αντιμετώπιση θορύβου

bull Αντικατάσταση ελλιπών τιμών

3Προ-επεξεργασία3Προ-επεξεργασία

Μελέτη θορύβου

bull 2 μοντέλα θορύβουndash Ύπαρξη θορύβου μόνο στις ιδιότητεςndash Ύπαρξη θορύβου και στις ιδιότητες και

στην εξαρτημένη μεταβλητή

bull Εκτίμηση απόκλισης τιμής ιδιότητας λόγω θορύβου

3Προ-επεξεργασία3Προ-επεξεργασία

piii zxx

Αποτελέσματα μελέτης θορύβου- 1ο μοντέλο

-2

-1

0

1

2

3

4

5

6

7

8

0 005 01 02 03 04 05

IB1 - Attribute IBk -K 9 - Attribute LinearRegression - Attribute M5Prime - Attribute NeuralNetwork - Attribute ZeroR - Attribute

Drop Page Fields Here

Average of Root mean squared error (diff)

Noise Level

Scheme

Noise Model

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα μελέτης θορύβου- 2ο μοντέλο

0

5

10

15

20

25

30

0 005 01 02 03 04 05

IB1 - AttributeClassVar IBk -K 9 - AttributeClassVar LinearRegression - AttributeClassVar

M5Prime - AttributeClassVar NeuralNetwork - AttributeClassVar ZeroR - AttributeClassVar

Drop Page Fields Here

Average of Root mean squared error (diff)

Noise Level

Scheme

Noise Model

3Προ-επεξεργασία3Προ-επεξεργασία

Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών

bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj

1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα

παραδείγματα που ανήκουν στην κλάση Υj

3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)

4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμών-RMSE

-012

-01

-008

-006

-004

-002

0

002

004

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Root mean squared error (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου

-25

-2

-15

-1

-05

0

05

1

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Time taken to build model (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Μείωση των διαστάσεων

bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Επιλογή των ιδιοτήτων57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

15

13

14

14

14

47

45

6

51

bull 2ν πιθανοί συνδυασμοί

bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Πως ορίζεται η ιδιότητα

bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό

μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης

του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Λόγοι επιλογής ιδιοτήτων

bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων

bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή

bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)

bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδοι Αντιμετώπισης

bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδος φιλτραρίσματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Υπολογισμός μέτρωνποιότητας των ιδιοτήτων

Επαύξηση ή μείωση των ιδιοτήτων

Είναι αποδεκτό τοαξιολογημένουποσύνολο

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Επιλογή νέου υποσυνόλουιδιοτήτων

Μέθοδοςφιλτραρίσματος

Γενετικός Αλγόριθμος

Μέθοδος περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Εκπαιδευμένο Μοντέλο

Σύνολοδεδομένων

Κατασκευή συνόλου δεδομένων

Αξιολογημένο Μοντέλο

Εκπαίδευση Αλγορίθμου

Αξιολόγηση Αλγορίθμου

Είναι αποδεκτό τοαξιολογημένο

μοντέλο

Επιλογή νέου υποσυνόλουιδιοτήτων

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Κ-κοντινότεροι γείτονες

Περιτύλιξη με Γενετικό Αλγόριθμο

bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων

bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου

ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων

ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας

γενετικούς τελεστές

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

11 22 33 4400

B1B1 B2B2 B3B3 B4B4 B5B5

Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων

Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με

κωδικό 104 (Γεωπονική) στις 5 μμ

000000 00110011 000000 1000010000 0001000010 0000000000 00

P = ΝΟ2 S = 104

F = αδιάφορο

H1 = 1700 O = 0

H2 = αδιάφορο

ΣημαίαΣυγκεντρωτικής ιδιότητας = 0

Επέλεξε τη μέση συγκέντρωση του

SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ

100100 01110111 000000 0001100011 1010010100 0001000010 11

P = ΝΟ2 S = 108

F = Μέση τιμή-Avg

H1 = 400 O = -2

H2 = 2100

ΣημαίαΣυγκεντρωτικής ιδιότητας = 1

Η Κωδικοποίηση του γενότυπου

Η συνάρτηση προσαρμογής

bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του

αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο

υποσύνολο ιδιοτήτων της λύσης

nA

iAb

nE

iEa

iAiEF

max

)(

max

)(1

))()((

a lt= 1 b lt= 1 a + b = 1

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Οι παράμετροι της συνάρτησης προσαρμογής a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE

bull et = Xt ndash Ft

bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής

bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

n

e

RMSE

n

tt

1

2

n

tt

n

ttt

X

Xe

WSE

1

2

1

2

Ρύθμιση του μεγέθους πληθυσμού

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Population Sizes

0

05

1

15

2

25

3

35

4

5 10 20 30 40 50 100

Population Size

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση συντελεστών a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Coefficient pairs

0

5

10

15

20

25

30

35

01 09 03 07 05 05 07 03 08 02 09 01 095 005

ab pairs

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage

0

05

1

15

2

25

3

35

10 30 40 50 60 70 80 90

Mutation rate ()

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers

0

05

1

15

2

25

3

35

4

1 2 3 4 5 8 10 15

Elite members

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeatures

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Η μέθοδος CFS

bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την

εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις

ιδιότητες του υποσυνόλου

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

)1( ii

cis

rkkk

rkG

Σύγκριση των δύο μεθόδων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

000

1000

2000

3000

4000

5000

6000

7000

8000

9000

ZeroR DecisionStump

DecisionTable

IB1 IB3 IB9 LinearRegression

M5Prime

GA Mean absolute error GA Root mean squared error

CFS Mean absolute error CFS Root mean squared error

Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης

bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης

ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART

bull Συνδυασμένος ταξινομητής

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το σύστημα ΠΛ ΝΕΜΟ (1)

Όμοιες περιπτώσεις

Επιλογέας κοντινών περιπτώσεων

Φίλτρο κοντινών περιπτώσεων

Προσαρμογέας κοντινών περιπτώσεων

Προβλέπτης λύσης

Προτεινόμενη λύση

ΝΕΜΟ

Βάση περιπτώσεων

Κοντινέςπεριπτώσεις

Βάση Γνώσης

Νέα περίπτωση

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία

αναστροφή

βροχόπτωση

άνεμος

NO στις 10 πμ

NO στις 9 πμ

NO στις 8 πμ

NO2 στις 10 πμ

NO2 στις 9 πμ

NO2 στις 8 πμ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Έξοδος

Το δέντρο απόφασης (1)NOat10

NOat10

NOat10

NOat10

Wind

NOat9

Rain

Inversion

NOat9

NO2at8 Wind

Radiation

1(26518)

1(235)

2(4412)

1(83) 2(104) 1(100)

2(101) 1(101)

2(10035)

3(5313)

4(80)

4(124)3(91)

lt=027 gt027

lt=021

gt067

gt021

lt=067

lt=04 gt04

lt=057 gt057

lt=066 gt066

lt=047 gt047

lt=021 gt021

=0 =1

lt=021 gt021 lt=08 gt08

lt=036 gt036

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το δέντρο απόφασης (2)

0

021

025

04 057

105 075

027

12

1 2 3

4

34

066

0

1

02

04

06

08

ΝΟ στις10πμ

Θερ

μο

κρα

σια

κή α

νασ

τρο

φή

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Ο συνδυασμένος ταξινομητής

bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (1)

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

134

38

522

122

93

8

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΝΕΜΟ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

Αποτελέσματα Πίνακες Σύγχυσης (2)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

40

4221

8 317

8

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΔΑ CART

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (3)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

42

8216

8 69

4 4

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΤΝΔ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (4)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

138

38

4124

122

13

2

6

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Στατιστικά για τους 4 αλγόριθμους

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

CART NeuralNet NEMO ML Ensemble

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 14: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Κ-κοντινότεροι γείτονες

bull Πλεονεκτήματαndash Απλή υλοποίησηndash Αποδεκτά αποτελέσματα σε μεγάλο πεδίο

εφαρμογώνndash Πολύχρονη εμπειρία χρήσης

bull Μειονεκτήματαndash Χρονοβόρος σε μεγάλα σύνολα δεδομένων

1Μηχανική Μάθηση1Μηχανική Μάθηση

Παλινδρόμηση

1Μηχανική Μάθηση1Μηχανική Μάθηση

Τεχνητά Νευρωνικά Δίκτυα

1Μηχανική Μάθηση1Μηχανική Μάθηση

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Είσοδος 3Είσοδος 1Είσοδος 2 Είσοδος 4

Είσοδος 5Είσοδος 6

Είσοδος 7

Είσοδος 8

Είσοδος 9

Είσοδος 10

Έξοδος

Τεχνητά Νευρωνικά Δίκτυα

bull Πλεονεκτήματαndash Ανοχή στον θόρυβοndash Ικανότητα γενίκευσης

bull Μειονεκτήματαndash Δυσνόητο μοντέλο (μαύρο κουτί)ndash Δυσανάλογος χρόνος εκπαίδευσης

1Μηχανική Μάθηση1Μηχανική Μάθηση

Περιπτωσιακός Λογισμός

1Μηχανική Μάθηση1Μηχανική Μάθηση

Νέα περίπτωση

Πρόβλημα

Παλαιά περίπτωσηΝέα

περίπτωση

Λυμένη περίπτωση

Δοκιμασμένη διορθωμένη

λύση

Διδαχθείσα περίπτωση

Ανάκληση περιπτώσεων

Επαναχρησιμοποίηση παλιών λύσεων

Προσαρμογή λύσης

Αιτιολόγηση λύσης

Γενική Γνώση

Παλαιά περίπτωσηΠαλαιά περίπτωσηΠαλαιά

περίπτωση

Παλαιές περιπτώσεις

Προτεινόμενη λύσηΕγκεκριμένη λύση

Δέντρα Απόφασης

1Μηχανική Μάθηση1Μηχανική Μάθηση

Δίκτυα Bayes

1Μηχανική Μάθηση1Μηχανική Μάθηση

Χ1 Χ2

Χ3

Χ4

Χ5

Υ

P(X1 X2 X3 X4 X5 Y) = P(X1)P(X2)P(X3|X1 X2)P(Y|X1 X2 X3)P(X4|Y) P(X5|X4 Y)

Γενετικοί Αλγόριθμοι

1Μηχανική Μάθηση1Μηχανική Μάθηση

Αρχικός πληθυσμός

Αξιολόγηση συνάρτησης

προσαρμογής

Επιλογή

Διασταύρωση

Μετάλλαξη

Γέννηση νέου πληθυσμού

Επιτεύχθηκαν τα κριτήρια

βελτιστοποίησης

Εξαγωγή λύσης

Ναι

Όχι

Περιβαλλοντική Πληροφορική

bull Θέματαndash Ολοκληρωμένες πλατφόρμες αξιολόγησης και μελέτες

περιπτώσεωνndash Ανάλυση περιβαλλοντικών συστημάτωνndash Πρόβλεψη περιβαλλοντικών αλλαγώνndash Παρακολούθηση του περιβάλλοντος σε πραγματικό χρόνοndash Πιστοποίηση ποιότητας περιβαλλοντικών μοντέλωνndash Εφαρμογές μοντελοποίησης με agents και εξομοίωσης σε

περιβαλλοντικά συστήματα

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Περιβαλλοντική Πληροφορική

bull Πεδία Εφαρμογήςndash Ποιότητα Αέραndash Ποιότητα Εδάφουςndash Ποιότητα Υδάτωνndash Διαχείριση Αποβλήτων

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Αέρια Ρύπανση

bull Παρακολούθηση και πρόβλεψη των επιβλαβών ρύπωνndash Ο3

ndash ΝΟx

ndash PM10 Σωματίδιαndash Καπνός

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Τα προβλήματα του ΠΕΡΠΑ

bull Πρόβλεψη της μέγιστης συγκέντρωσης για τους ρύπουςndash ΝΟ2

ndash Ο3

bull Για τις χρονικές περιόδουςndash Ίδια ημέρα μετά τις 10 πμndash Επόμενη ημέρα

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Π1Π2 Πρόβλεψη την ίδια ημέρα

0

50

100

150

200

250

300

350

400

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

Hour

pp

b

0

20

40

60

80

100

120

140

pp

b

NO2 NO SO2 CO O3

ΠρόβλεψηΣυλλογή δεδομένων

O3 m

ax

NO

2 max

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Π3Π4 Πρόβλεψη για την επόμενη ημέρα

0

100

200

300

400

500

600

700

800

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

Hour

pp

b

0

5

10

15

20

25

30

35

40

pp

b

NO2 NO SO2 CO O3

ΠρόβλεψηΣυλλογή δεδομένων

O3 m

axNO

2 max

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Προ-επεξεργασία των δεδομένων

bull Αντιμετώπιση θορύβου

bull Αντικατάσταση ελλιπών τιμών

3Προ-επεξεργασία3Προ-επεξεργασία

Μελέτη θορύβου

bull 2 μοντέλα θορύβουndash Ύπαρξη θορύβου μόνο στις ιδιότητεςndash Ύπαρξη θορύβου και στις ιδιότητες και

στην εξαρτημένη μεταβλητή

bull Εκτίμηση απόκλισης τιμής ιδιότητας λόγω θορύβου

3Προ-επεξεργασία3Προ-επεξεργασία

piii zxx

Αποτελέσματα μελέτης θορύβου- 1ο μοντέλο

-2

-1

0

1

2

3

4

5

6

7

8

0 005 01 02 03 04 05

IB1 - Attribute IBk -K 9 - Attribute LinearRegression - Attribute M5Prime - Attribute NeuralNetwork - Attribute ZeroR - Attribute

Drop Page Fields Here

Average of Root mean squared error (diff)

Noise Level

Scheme

Noise Model

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα μελέτης θορύβου- 2ο μοντέλο

0

5

10

15

20

25

30

0 005 01 02 03 04 05

IB1 - AttributeClassVar IBk -K 9 - AttributeClassVar LinearRegression - AttributeClassVar

M5Prime - AttributeClassVar NeuralNetwork - AttributeClassVar ZeroR - AttributeClassVar

Drop Page Fields Here

Average of Root mean squared error (diff)

Noise Level

Scheme

Noise Model

3Προ-επεξεργασία3Προ-επεξεργασία

Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών

bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj

1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα

παραδείγματα που ανήκουν στην κλάση Υj

3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)

4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμών-RMSE

-012

-01

-008

-006

-004

-002

0

002

004

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Root mean squared error (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου

-25

-2

-15

-1

-05

0

05

1

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Time taken to build model (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Μείωση των διαστάσεων

bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Επιλογή των ιδιοτήτων57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

15

13

14

14

14

47

45

6

51

bull 2ν πιθανοί συνδυασμοί

bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Πως ορίζεται η ιδιότητα

bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό

μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης

του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Λόγοι επιλογής ιδιοτήτων

bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων

bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή

bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)

bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδοι Αντιμετώπισης

bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδος φιλτραρίσματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Υπολογισμός μέτρωνποιότητας των ιδιοτήτων

Επαύξηση ή μείωση των ιδιοτήτων

Είναι αποδεκτό τοαξιολογημένουποσύνολο

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Επιλογή νέου υποσυνόλουιδιοτήτων

Μέθοδοςφιλτραρίσματος

Γενετικός Αλγόριθμος

Μέθοδος περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Εκπαιδευμένο Μοντέλο

Σύνολοδεδομένων

Κατασκευή συνόλου δεδομένων

Αξιολογημένο Μοντέλο

Εκπαίδευση Αλγορίθμου

Αξιολόγηση Αλγορίθμου

Είναι αποδεκτό τοαξιολογημένο

μοντέλο

Επιλογή νέου υποσυνόλουιδιοτήτων

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Κ-κοντινότεροι γείτονες

Περιτύλιξη με Γενετικό Αλγόριθμο

bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων

bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου

ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων

ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας

γενετικούς τελεστές

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

11 22 33 4400

B1B1 B2B2 B3B3 B4B4 B5B5

Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων

Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με

κωδικό 104 (Γεωπονική) στις 5 μμ

000000 00110011 000000 1000010000 0001000010 0000000000 00

P = ΝΟ2 S = 104

F = αδιάφορο

H1 = 1700 O = 0

H2 = αδιάφορο

ΣημαίαΣυγκεντρωτικής ιδιότητας = 0

Επέλεξε τη μέση συγκέντρωση του

SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ

100100 01110111 000000 0001100011 1010010100 0001000010 11

P = ΝΟ2 S = 108

F = Μέση τιμή-Avg

H1 = 400 O = -2

H2 = 2100

ΣημαίαΣυγκεντρωτικής ιδιότητας = 1

Η Κωδικοποίηση του γενότυπου

Η συνάρτηση προσαρμογής

bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του

αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο

υποσύνολο ιδιοτήτων της λύσης

nA

iAb

nE

iEa

iAiEF

max

)(

max

)(1

))()((

a lt= 1 b lt= 1 a + b = 1

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Οι παράμετροι της συνάρτησης προσαρμογής a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE

bull et = Xt ndash Ft

bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής

bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

n

e

RMSE

n

tt

1

2

n

tt

n

ttt

X

Xe

WSE

1

2

1

2

Ρύθμιση του μεγέθους πληθυσμού

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Population Sizes

0

05

1

15

2

25

3

35

4

5 10 20 30 40 50 100

Population Size

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση συντελεστών a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Coefficient pairs

0

5

10

15

20

25

30

35

01 09 03 07 05 05 07 03 08 02 09 01 095 005

ab pairs

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage

0

05

1

15

2

25

3

35

10 30 40 50 60 70 80 90

Mutation rate ()

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers

0

05

1

15

2

25

3

35

4

1 2 3 4 5 8 10 15

Elite members

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeatures

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Η μέθοδος CFS

bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την

εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις

ιδιότητες του υποσυνόλου

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

)1( ii

cis

rkkk

rkG

Σύγκριση των δύο μεθόδων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

000

1000

2000

3000

4000

5000

6000

7000

8000

9000

ZeroR DecisionStump

DecisionTable

IB1 IB3 IB9 LinearRegression

M5Prime

GA Mean absolute error GA Root mean squared error

CFS Mean absolute error CFS Root mean squared error

Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης

bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης

ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART

bull Συνδυασμένος ταξινομητής

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το σύστημα ΠΛ ΝΕΜΟ (1)

Όμοιες περιπτώσεις

Επιλογέας κοντινών περιπτώσεων

Φίλτρο κοντινών περιπτώσεων

Προσαρμογέας κοντινών περιπτώσεων

Προβλέπτης λύσης

Προτεινόμενη λύση

ΝΕΜΟ

Βάση περιπτώσεων

Κοντινέςπεριπτώσεις

Βάση Γνώσης

Νέα περίπτωση

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία

αναστροφή

βροχόπτωση

άνεμος

NO στις 10 πμ

NO στις 9 πμ

NO στις 8 πμ

NO2 στις 10 πμ

NO2 στις 9 πμ

NO2 στις 8 πμ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Έξοδος

Το δέντρο απόφασης (1)NOat10

NOat10

NOat10

NOat10

Wind

NOat9

Rain

Inversion

NOat9

NO2at8 Wind

Radiation

1(26518)

1(235)

2(4412)

1(83) 2(104) 1(100)

2(101) 1(101)

2(10035)

3(5313)

4(80)

4(124)3(91)

lt=027 gt027

lt=021

gt067

gt021

lt=067

lt=04 gt04

lt=057 gt057

lt=066 gt066

lt=047 gt047

lt=021 gt021

=0 =1

lt=021 gt021 lt=08 gt08

lt=036 gt036

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το δέντρο απόφασης (2)

0

021

025

04 057

105 075

027

12

1 2 3

4

34

066

0

1

02

04

06

08

ΝΟ στις10πμ

Θερ

μο

κρα

σια

κή α

νασ

τρο

φή

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Ο συνδυασμένος ταξινομητής

bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (1)

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

134

38

522

122

93

8

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΝΕΜΟ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

Αποτελέσματα Πίνακες Σύγχυσης (2)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

40

4221

8 317

8

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΔΑ CART

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (3)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

42

8216

8 69

4 4

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΤΝΔ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (4)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

138

38

4124

122

13

2

6

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Στατιστικά για τους 4 αλγόριθμους

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

CART NeuralNet NEMO ML Ensemble

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 15: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Παλινδρόμηση

1Μηχανική Μάθηση1Μηχανική Μάθηση

Τεχνητά Νευρωνικά Δίκτυα

1Μηχανική Μάθηση1Μηχανική Μάθηση

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Είσοδος 3Είσοδος 1Είσοδος 2 Είσοδος 4

Είσοδος 5Είσοδος 6

Είσοδος 7

Είσοδος 8

Είσοδος 9

Είσοδος 10

Έξοδος

Τεχνητά Νευρωνικά Δίκτυα

bull Πλεονεκτήματαndash Ανοχή στον θόρυβοndash Ικανότητα γενίκευσης

bull Μειονεκτήματαndash Δυσνόητο μοντέλο (μαύρο κουτί)ndash Δυσανάλογος χρόνος εκπαίδευσης

1Μηχανική Μάθηση1Μηχανική Μάθηση

Περιπτωσιακός Λογισμός

1Μηχανική Μάθηση1Μηχανική Μάθηση

Νέα περίπτωση

Πρόβλημα

Παλαιά περίπτωσηΝέα

περίπτωση

Λυμένη περίπτωση

Δοκιμασμένη διορθωμένη

λύση

Διδαχθείσα περίπτωση

Ανάκληση περιπτώσεων

Επαναχρησιμοποίηση παλιών λύσεων

Προσαρμογή λύσης

Αιτιολόγηση λύσης

Γενική Γνώση

Παλαιά περίπτωσηΠαλαιά περίπτωσηΠαλαιά

περίπτωση

Παλαιές περιπτώσεις

Προτεινόμενη λύσηΕγκεκριμένη λύση

Δέντρα Απόφασης

1Μηχανική Μάθηση1Μηχανική Μάθηση

Δίκτυα Bayes

1Μηχανική Μάθηση1Μηχανική Μάθηση

Χ1 Χ2

Χ3

Χ4

Χ5

Υ

P(X1 X2 X3 X4 X5 Y) = P(X1)P(X2)P(X3|X1 X2)P(Y|X1 X2 X3)P(X4|Y) P(X5|X4 Y)

Γενετικοί Αλγόριθμοι

1Μηχανική Μάθηση1Μηχανική Μάθηση

Αρχικός πληθυσμός

Αξιολόγηση συνάρτησης

προσαρμογής

Επιλογή

Διασταύρωση

Μετάλλαξη

Γέννηση νέου πληθυσμού

Επιτεύχθηκαν τα κριτήρια

βελτιστοποίησης

Εξαγωγή λύσης

Ναι

Όχι

Περιβαλλοντική Πληροφορική

bull Θέματαndash Ολοκληρωμένες πλατφόρμες αξιολόγησης και μελέτες

περιπτώσεωνndash Ανάλυση περιβαλλοντικών συστημάτωνndash Πρόβλεψη περιβαλλοντικών αλλαγώνndash Παρακολούθηση του περιβάλλοντος σε πραγματικό χρόνοndash Πιστοποίηση ποιότητας περιβαλλοντικών μοντέλωνndash Εφαρμογές μοντελοποίησης με agents και εξομοίωσης σε

περιβαλλοντικά συστήματα

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Περιβαλλοντική Πληροφορική

bull Πεδία Εφαρμογήςndash Ποιότητα Αέραndash Ποιότητα Εδάφουςndash Ποιότητα Υδάτωνndash Διαχείριση Αποβλήτων

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Αέρια Ρύπανση

bull Παρακολούθηση και πρόβλεψη των επιβλαβών ρύπωνndash Ο3

ndash ΝΟx

ndash PM10 Σωματίδιαndash Καπνός

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Τα προβλήματα του ΠΕΡΠΑ

bull Πρόβλεψη της μέγιστης συγκέντρωσης για τους ρύπουςndash ΝΟ2

ndash Ο3

bull Για τις χρονικές περιόδουςndash Ίδια ημέρα μετά τις 10 πμndash Επόμενη ημέρα

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Π1Π2 Πρόβλεψη την ίδια ημέρα

0

50

100

150

200

250

300

350

400

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

Hour

pp

b

0

20

40

60

80

100

120

140

pp

b

NO2 NO SO2 CO O3

ΠρόβλεψηΣυλλογή δεδομένων

O3 m

ax

NO

2 max

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Π3Π4 Πρόβλεψη για την επόμενη ημέρα

0

100

200

300

400

500

600

700

800

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

Hour

pp

b

0

5

10

15

20

25

30

35

40

pp

b

NO2 NO SO2 CO O3

ΠρόβλεψηΣυλλογή δεδομένων

O3 m

axNO

2 max

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Προ-επεξεργασία των δεδομένων

bull Αντιμετώπιση θορύβου

bull Αντικατάσταση ελλιπών τιμών

3Προ-επεξεργασία3Προ-επεξεργασία

Μελέτη θορύβου

bull 2 μοντέλα θορύβουndash Ύπαρξη θορύβου μόνο στις ιδιότητεςndash Ύπαρξη θορύβου και στις ιδιότητες και

στην εξαρτημένη μεταβλητή

bull Εκτίμηση απόκλισης τιμής ιδιότητας λόγω θορύβου

3Προ-επεξεργασία3Προ-επεξεργασία

piii zxx

Αποτελέσματα μελέτης θορύβου- 1ο μοντέλο

-2

-1

0

1

2

3

4

5

6

7

8

0 005 01 02 03 04 05

IB1 - Attribute IBk -K 9 - Attribute LinearRegression - Attribute M5Prime - Attribute NeuralNetwork - Attribute ZeroR - Attribute

Drop Page Fields Here

Average of Root mean squared error (diff)

Noise Level

Scheme

Noise Model

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα μελέτης θορύβου- 2ο μοντέλο

0

5

10

15

20

25

30

0 005 01 02 03 04 05

IB1 - AttributeClassVar IBk -K 9 - AttributeClassVar LinearRegression - AttributeClassVar

M5Prime - AttributeClassVar NeuralNetwork - AttributeClassVar ZeroR - AttributeClassVar

Drop Page Fields Here

Average of Root mean squared error (diff)

Noise Level

Scheme

Noise Model

3Προ-επεξεργασία3Προ-επεξεργασία

Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών

bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj

1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα

παραδείγματα που ανήκουν στην κλάση Υj

3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)

4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμών-RMSE

-012

-01

-008

-006

-004

-002

0

002

004

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Root mean squared error (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου

-25

-2

-15

-1

-05

0

05

1

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Time taken to build model (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Μείωση των διαστάσεων

bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Επιλογή των ιδιοτήτων57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

15

13

14

14

14

47

45

6

51

bull 2ν πιθανοί συνδυασμοί

bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Πως ορίζεται η ιδιότητα

bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό

μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης

του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Λόγοι επιλογής ιδιοτήτων

bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων

bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή

bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)

bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδοι Αντιμετώπισης

bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδος φιλτραρίσματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Υπολογισμός μέτρωνποιότητας των ιδιοτήτων

Επαύξηση ή μείωση των ιδιοτήτων

Είναι αποδεκτό τοαξιολογημένουποσύνολο

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Επιλογή νέου υποσυνόλουιδιοτήτων

Μέθοδοςφιλτραρίσματος

Γενετικός Αλγόριθμος

Μέθοδος περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Εκπαιδευμένο Μοντέλο

Σύνολοδεδομένων

Κατασκευή συνόλου δεδομένων

Αξιολογημένο Μοντέλο

Εκπαίδευση Αλγορίθμου

Αξιολόγηση Αλγορίθμου

Είναι αποδεκτό τοαξιολογημένο

μοντέλο

Επιλογή νέου υποσυνόλουιδιοτήτων

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Κ-κοντινότεροι γείτονες

Περιτύλιξη με Γενετικό Αλγόριθμο

bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων

bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου

ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων

ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας

γενετικούς τελεστές

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

11 22 33 4400

B1B1 B2B2 B3B3 B4B4 B5B5

Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων

Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με

κωδικό 104 (Γεωπονική) στις 5 μμ

000000 00110011 000000 1000010000 0001000010 0000000000 00

P = ΝΟ2 S = 104

F = αδιάφορο

H1 = 1700 O = 0

H2 = αδιάφορο

ΣημαίαΣυγκεντρωτικής ιδιότητας = 0

Επέλεξε τη μέση συγκέντρωση του

SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ

100100 01110111 000000 0001100011 1010010100 0001000010 11

P = ΝΟ2 S = 108

F = Μέση τιμή-Avg

H1 = 400 O = -2

H2 = 2100

ΣημαίαΣυγκεντρωτικής ιδιότητας = 1

Η Κωδικοποίηση του γενότυπου

Η συνάρτηση προσαρμογής

bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του

αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο

υποσύνολο ιδιοτήτων της λύσης

nA

iAb

nE

iEa

iAiEF

max

)(

max

)(1

))()((

a lt= 1 b lt= 1 a + b = 1

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Οι παράμετροι της συνάρτησης προσαρμογής a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE

bull et = Xt ndash Ft

bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής

bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

n

e

RMSE

n

tt

1

2

n

tt

n

ttt

X

Xe

WSE

1

2

1

2

Ρύθμιση του μεγέθους πληθυσμού

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Population Sizes

0

05

1

15

2

25

3

35

4

5 10 20 30 40 50 100

Population Size

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση συντελεστών a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Coefficient pairs

0

5

10

15

20

25

30

35

01 09 03 07 05 05 07 03 08 02 09 01 095 005

ab pairs

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage

0

05

1

15

2

25

3

35

10 30 40 50 60 70 80 90

Mutation rate ()

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers

0

05

1

15

2

25

3

35

4

1 2 3 4 5 8 10 15

Elite members

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeatures

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Η μέθοδος CFS

bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την

εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις

ιδιότητες του υποσυνόλου

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

)1( ii

cis

rkkk

rkG

Σύγκριση των δύο μεθόδων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

000

1000

2000

3000

4000

5000

6000

7000

8000

9000

ZeroR DecisionStump

DecisionTable

IB1 IB3 IB9 LinearRegression

M5Prime

GA Mean absolute error GA Root mean squared error

CFS Mean absolute error CFS Root mean squared error

Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης

bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης

ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART

bull Συνδυασμένος ταξινομητής

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το σύστημα ΠΛ ΝΕΜΟ (1)

Όμοιες περιπτώσεις

Επιλογέας κοντινών περιπτώσεων

Φίλτρο κοντινών περιπτώσεων

Προσαρμογέας κοντινών περιπτώσεων

Προβλέπτης λύσης

Προτεινόμενη λύση

ΝΕΜΟ

Βάση περιπτώσεων

Κοντινέςπεριπτώσεις

Βάση Γνώσης

Νέα περίπτωση

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία

αναστροφή

βροχόπτωση

άνεμος

NO στις 10 πμ

NO στις 9 πμ

NO στις 8 πμ

NO2 στις 10 πμ

NO2 στις 9 πμ

NO2 στις 8 πμ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Έξοδος

Το δέντρο απόφασης (1)NOat10

NOat10

NOat10

NOat10

Wind

NOat9

Rain

Inversion

NOat9

NO2at8 Wind

Radiation

1(26518)

1(235)

2(4412)

1(83) 2(104) 1(100)

2(101) 1(101)

2(10035)

3(5313)

4(80)

4(124)3(91)

lt=027 gt027

lt=021

gt067

gt021

lt=067

lt=04 gt04

lt=057 gt057

lt=066 gt066

lt=047 gt047

lt=021 gt021

=0 =1

lt=021 gt021 lt=08 gt08

lt=036 gt036

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το δέντρο απόφασης (2)

0

021

025

04 057

105 075

027

12

1 2 3

4

34

066

0

1

02

04

06

08

ΝΟ στις10πμ

Θερ

μο

κρα

σια

κή α

νασ

τρο

φή

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Ο συνδυασμένος ταξινομητής

bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (1)

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

134

38

522

122

93

8

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΝΕΜΟ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

Αποτελέσματα Πίνακες Σύγχυσης (2)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

40

4221

8 317

8

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΔΑ CART

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (3)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

42

8216

8 69

4 4

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΤΝΔ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (4)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

138

38

4124

122

13

2

6

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Στατιστικά για τους 4 αλγόριθμους

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

CART NeuralNet NEMO ML Ensemble

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 16: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Τεχνητά Νευρωνικά Δίκτυα

1Μηχανική Μάθηση1Μηχανική Μάθηση

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Είσοδος 3Είσοδος 1Είσοδος 2 Είσοδος 4

Είσοδος 5Είσοδος 6

Είσοδος 7

Είσοδος 8

Είσοδος 9

Είσοδος 10

Έξοδος

Τεχνητά Νευρωνικά Δίκτυα

bull Πλεονεκτήματαndash Ανοχή στον θόρυβοndash Ικανότητα γενίκευσης

bull Μειονεκτήματαndash Δυσνόητο μοντέλο (μαύρο κουτί)ndash Δυσανάλογος χρόνος εκπαίδευσης

1Μηχανική Μάθηση1Μηχανική Μάθηση

Περιπτωσιακός Λογισμός

1Μηχανική Μάθηση1Μηχανική Μάθηση

Νέα περίπτωση

Πρόβλημα

Παλαιά περίπτωσηΝέα

περίπτωση

Λυμένη περίπτωση

Δοκιμασμένη διορθωμένη

λύση

Διδαχθείσα περίπτωση

Ανάκληση περιπτώσεων

Επαναχρησιμοποίηση παλιών λύσεων

Προσαρμογή λύσης

Αιτιολόγηση λύσης

Γενική Γνώση

Παλαιά περίπτωσηΠαλαιά περίπτωσηΠαλαιά

περίπτωση

Παλαιές περιπτώσεις

Προτεινόμενη λύσηΕγκεκριμένη λύση

Δέντρα Απόφασης

1Μηχανική Μάθηση1Μηχανική Μάθηση

Δίκτυα Bayes

1Μηχανική Μάθηση1Μηχανική Μάθηση

Χ1 Χ2

Χ3

Χ4

Χ5

Υ

P(X1 X2 X3 X4 X5 Y) = P(X1)P(X2)P(X3|X1 X2)P(Y|X1 X2 X3)P(X4|Y) P(X5|X4 Y)

Γενετικοί Αλγόριθμοι

1Μηχανική Μάθηση1Μηχανική Μάθηση

Αρχικός πληθυσμός

Αξιολόγηση συνάρτησης

προσαρμογής

Επιλογή

Διασταύρωση

Μετάλλαξη

Γέννηση νέου πληθυσμού

Επιτεύχθηκαν τα κριτήρια

βελτιστοποίησης

Εξαγωγή λύσης

Ναι

Όχι

Περιβαλλοντική Πληροφορική

bull Θέματαndash Ολοκληρωμένες πλατφόρμες αξιολόγησης και μελέτες

περιπτώσεωνndash Ανάλυση περιβαλλοντικών συστημάτωνndash Πρόβλεψη περιβαλλοντικών αλλαγώνndash Παρακολούθηση του περιβάλλοντος σε πραγματικό χρόνοndash Πιστοποίηση ποιότητας περιβαλλοντικών μοντέλωνndash Εφαρμογές μοντελοποίησης με agents και εξομοίωσης σε

περιβαλλοντικά συστήματα

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Περιβαλλοντική Πληροφορική

bull Πεδία Εφαρμογήςndash Ποιότητα Αέραndash Ποιότητα Εδάφουςndash Ποιότητα Υδάτωνndash Διαχείριση Αποβλήτων

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Αέρια Ρύπανση

bull Παρακολούθηση και πρόβλεψη των επιβλαβών ρύπωνndash Ο3

ndash ΝΟx

ndash PM10 Σωματίδιαndash Καπνός

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Τα προβλήματα του ΠΕΡΠΑ

bull Πρόβλεψη της μέγιστης συγκέντρωσης για τους ρύπουςndash ΝΟ2

ndash Ο3

bull Για τις χρονικές περιόδουςndash Ίδια ημέρα μετά τις 10 πμndash Επόμενη ημέρα

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Π1Π2 Πρόβλεψη την ίδια ημέρα

0

50

100

150

200

250

300

350

400

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

Hour

pp

b

0

20

40

60

80

100

120

140

pp

b

NO2 NO SO2 CO O3

ΠρόβλεψηΣυλλογή δεδομένων

O3 m

ax

NO

2 max

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Π3Π4 Πρόβλεψη για την επόμενη ημέρα

0

100

200

300

400

500

600

700

800

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

Hour

pp

b

0

5

10

15

20

25

30

35

40

pp

b

NO2 NO SO2 CO O3

ΠρόβλεψηΣυλλογή δεδομένων

O3 m

axNO

2 max

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Προ-επεξεργασία των δεδομένων

bull Αντιμετώπιση θορύβου

bull Αντικατάσταση ελλιπών τιμών

3Προ-επεξεργασία3Προ-επεξεργασία

Μελέτη θορύβου

bull 2 μοντέλα θορύβουndash Ύπαρξη θορύβου μόνο στις ιδιότητεςndash Ύπαρξη θορύβου και στις ιδιότητες και

στην εξαρτημένη μεταβλητή

bull Εκτίμηση απόκλισης τιμής ιδιότητας λόγω θορύβου

3Προ-επεξεργασία3Προ-επεξεργασία

piii zxx

Αποτελέσματα μελέτης θορύβου- 1ο μοντέλο

-2

-1

0

1

2

3

4

5

6

7

8

0 005 01 02 03 04 05

IB1 - Attribute IBk -K 9 - Attribute LinearRegression - Attribute M5Prime - Attribute NeuralNetwork - Attribute ZeroR - Attribute

Drop Page Fields Here

Average of Root mean squared error (diff)

Noise Level

Scheme

Noise Model

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα μελέτης θορύβου- 2ο μοντέλο

0

5

10

15

20

25

30

0 005 01 02 03 04 05

IB1 - AttributeClassVar IBk -K 9 - AttributeClassVar LinearRegression - AttributeClassVar

M5Prime - AttributeClassVar NeuralNetwork - AttributeClassVar ZeroR - AttributeClassVar

Drop Page Fields Here

Average of Root mean squared error (diff)

Noise Level

Scheme

Noise Model

3Προ-επεξεργασία3Προ-επεξεργασία

Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών

bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj

1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα

παραδείγματα που ανήκουν στην κλάση Υj

3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)

4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμών-RMSE

-012

-01

-008

-006

-004

-002

0

002

004

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Root mean squared error (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου

-25

-2

-15

-1

-05

0

05

1

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Time taken to build model (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Μείωση των διαστάσεων

bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Επιλογή των ιδιοτήτων57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

15

13

14

14

14

47

45

6

51

bull 2ν πιθανοί συνδυασμοί

bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Πως ορίζεται η ιδιότητα

bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό

μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης

του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Λόγοι επιλογής ιδιοτήτων

bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων

bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή

bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)

bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδοι Αντιμετώπισης

bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδος φιλτραρίσματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Υπολογισμός μέτρωνποιότητας των ιδιοτήτων

Επαύξηση ή μείωση των ιδιοτήτων

Είναι αποδεκτό τοαξιολογημένουποσύνολο

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Επιλογή νέου υποσυνόλουιδιοτήτων

Μέθοδοςφιλτραρίσματος

Γενετικός Αλγόριθμος

Μέθοδος περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Εκπαιδευμένο Μοντέλο

Σύνολοδεδομένων

Κατασκευή συνόλου δεδομένων

Αξιολογημένο Μοντέλο

Εκπαίδευση Αλγορίθμου

Αξιολόγηση Αλγορίθμου

Είναι αποδεκτό τοαξιολογημένο

μοντέλο

Επιλογή νέου υποσυνόλουιδιοτήτων

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Κ-κοντινότεροι γείτονες

Περιτύλιξη με Γενετικό Αλγόριθμο

bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων

bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου

ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων

ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας

γενετικούς τελεστές

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

11 22 33 4400

B1B1 B2B2 B3B3 B4B4 B5B5

Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων

Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με

κωδικό 104 (Γεωπονική) στις 5 μμ

000000 00110011 000000 1000010000 0001000010 0000000000 00

P = ΝΟ2 S = 104

F = αδιάφορο

H1 = 1700 O = 0

H2 = αδιάφορο

ΣημαίαΣυγκεντρωτικής ιδιότητας = 0

Επέλεξε τη μέση συγκέντρωση του

SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ

100100 01110111 000000 0001100011 1010010100 0001000010 11

P = ΝΟ2 S = 108

F = Μέση τιμή-Avg

H1 = 400 O = -2

H2 = 2100

ΣημαίαΣυγκεντρωτικής ιδιότητας = 1

Η Κωδικοποίηση του γενότυπου

Η συνάρτηση προσαρμογής

bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του

αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο

υποσύνολο ιδιοτήτων της λύσης

nA

iAb

nE

iEa

iAiEF

max

)(

max

)(1

))()((

a lt= 1 b lt= 1 a + b = 1

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Οι παράμετροι της συνάρτησης προσαρμογής a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE

bull et = Xt ndash Ft

bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής

bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

n

e

RMSE

n

tt

1

2

n

tt

n

ttt

X

Xe

WSE

1

2

1

2

Ρύθμιση του μεγέθους πληθυσμού

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Population Sizes

0

05

1

15

2

25

3

35

4

5 10 20 30 40 50 100

Population Size

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση συντελεστών a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Coefficient pairs

0

5

10

15

20

25

30

35

01 09 03 07 05 05 07 03 08 02 09 01 095 005

ab pairs

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage

0

05

1

15

2

25

3

35

10 30 40 50 60 70 80 90

Mutation rate ()

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers

0

05

1

15

2

25

3

35

4

1 2 3 4 5 8 10 15

Elite members

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeatures

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Η μέθοδος CFS

bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την

εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις

ιδιότητες του υποσυνόλου

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

)1( ii

cis

rkkk

rkG

Σύγκριση των δύο μεθόδων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

000

1000

2000

3000

4000

5000

6000

7000

8000

9000

ZeroR DecisionStump

DecisionTable

IB1 IB3 IB9 LinearRegression

M5Prime

GA Mean absolute error GA Root mean squared error

CFS Mean absolute error CFS Root mean squared error

Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης

bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης

ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART

bull Συνδυασμένος ταξινομητής

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το σύστημα ΠΛ ΝΕΜΟ (1)

Όμοιες περιπτώσεις

Επιλογέας κοντινών περιπτώσεων

Φίλτρο κοντινών περιπτώσεων

Προσαρμογέας κοντινών περιπτώσεων

Προβλέπτης λύσης

Προτεινόμενη λύση

ΝΕΜΟ

Βάση περιπτώσεων

Κοντινέςπεριπτώσεις

Βάση Γνώσης

Νέα περίπτωση

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία

αναστροφή

βροχόπτωση

άνεμος

NO στις 10 πμ

NO στις 9 πμ

NO στις 8 πμ

NO2 στις 10 πμ

NO2 στις 9 πμ

NO2 στις 8 πμ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Έξοδος

Το δέντρο απόφασης (1)NOat10

NOat10

NOat10

NOat10

Wind

NOat9

Rain

Inversion

NOat9

NO2at8 Wind

Radiation

1(26518)

1(235)

2(4412)

1(83) 2(104) 1(100)

2(101) 1(101)

2(10035)

3(5313)

4(80)

4(124)3(91)

lt=027 gt027

lt=021

gt067

gt021

lt=067

lt=04 gt04

lt=057 gt057

lt=066 gt066

lt=047 gt047

lt=021 gt021

=0 =1

lt=021 gt021 lt=08 gt08

lt=036 gt036

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το δέντρο απόφασης (2)

0

021

025

04 057

105 075

027

12

1 2 3

4

34

066

0

1

02

04

06

08

ΝΟ στις10πμ

Θερ

μο

κρα

σια

κή α

νασ

τρο

φή

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Ο συνδυασμένος ταξινομητής

bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (1)

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

134

38

522

122

93

8

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΝΕΜΟ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

Αποτελέσματα Πίνακες Σύγχυσης (2)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

40

4221

8 317

8

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΔΑ CART

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (3)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

42

8216

8 69

4 4

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΤΝΔ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (4)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

138

38

4124

122

13

2

6

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Στατιστικά για τους 4 αλγόριθμους

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

CART NeuralNet NEMO ML Ensemble

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 17: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Τεχνητά Νευρωνικά Δίκτυα

bull Πλεονεκτήματαndash Ανοχή στον θόρυβοndash Ικανότητα γενίκευσης

bull Μειονεκτήματαndash Δυσνόητο μοντέλο (μαύρο κουτί)ndash Δυσανάλογος χρόνος εκπαίδευσης

1Μηχανική Μάθηση1Μηχανική Μάθηση

Περιπτωσιακός Λογισμός

1Μηχανική Μάθηση1Μηχανική Μάθηση

Νέα περίπτωση

Πρόβλημα

Παλαιά περίπτωσηΝέα

περίπτωση

Λυμένη περίπτωση

Δοκιμασμένη διορθωμένη

λύση

Διδαχθείσα περίπτωση

Ανάκληση περιπτώσεων

Επαναχρησιμοποίηση παλιών λύσεων

Προσαρμογή λύσης

Αιτιολόγηση λύσης

Γενική Γνώση

Παλαιά περίπτωσηΠαλαιά περίπτωσηΠαλαιά

περίπτωση

Παλαιές περιπτώσεις

Προτεινόμενη λύσηΕγκεκριμένη λύση

Δέντρα Απόφασης

1Μηχανική Μάθηση1Μηχανική Μάθηση

Δίκτυα Bayes

1Μηχανική Μάθηση1Μηχανική Μάθηση

Χ1 Χ2

Χ3

Χ4

Χ5

Υ

P(X1 X2 X3 X4 X5 Y) = P(X1)P(X2)P(X3|X1 X2)P(Y|X1 X2 X3)P(X4|Y) P(X5|X4 Y)

Γενετικοί Αλγόριθμοι

1Μηχανική Μάθηση1Μηχανική Μάθηση

Αρχικός πληθυσμός

Αξιολόγηση συνάρτησης

προσαρμογής

Επιλογή

Διασταύρωση

Μετάλλαξη

Γέννηση νέου πληθυσμού

Επιτεύχθηκαν τα κριτήρια

βελτιστοποίησης

Εξαγωγή λύσης

Ναι

Όχι

Περιβαλλοντική Πληροφορική

bull Θέματαndash Ολοκληρωμένες πλατφόρμες αξιολόγησης και μελέτες

περιπτώσεωνndash Ανάλυση περιβαλλοντικών συστημάτωνndash Πρόβλεψη περιβαλλοντικών αλλαγώνndash Παρακολούθηση του περιβάλλοντος σε πραγματικό χρόνοndash Πιστοποίηση ποιότητας περιβαλλοντικών μοντέλωνndash Εφαρμογές μοντελοποίησης με agents και εξομοίωσης σε

περιβαλλοντικά συστήματα

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Περιβαλλοντική Πληροφορική

bull Πεδία Εφαρμογήςndash Ποιότητα Αέραndash Ποιότητα Εδάφουςndash Ποιότητα Υδάτωνndash Διαχείριση Αποβλήτων

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Αέρια Ρύπανση

bull Παρακολούθηση και πρόβλεψη των επιβλαβών ρύπωνndash Ο3

ndash ΝΟx

ndash PM10 Σωματίδιαndash Καπνός

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Τα προβλήματα του ΠΕΡΠΑ

bull Πρόβλεψη της μέγιστης συγκέντρωσης για τους ρύπουςndash ΝΟ2

ndash Ο3

bull Για τις χρονικές περιόδουςndash Ίδια ημέρα μετά τις 10 πμndash Επόμενη ημέρα

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Π1Π2 Πρόβλεψη την ίδια ημέρα

0

50

100

150

200

250

300

350

400

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

Hour

pp

b

0

20

40

60

80

100

120

140

pp

b

NO2 NO SO2 CO O3

ΠρόβλεψηΣυλλογή δεδομένων

O3 m

ax

NO

2 max

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Π3Π4 Πρόβλεψη για την επόμενη ημέρα

0

100

200

300

400

500

600

700

800

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

Hour

pp

b

0

5

10

15

20

25

30

35

40

pp

b

NO2 NO SO2 CO O3

ΠρόβλεψηΣυλλογή δεδομένων

O3 m

axNO

2 max

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Προ-επεξεργασία των δεδομένων

bull Αντιμετώπιση θορύβου

bull Αντικατάσταση ελλιπών τιμών

3Προ-επεξεργασία3Προ-επεξεργασία

Μελέτη θορύβου

bull 2 μοντέλα θορύβουndash Ύπαρξη θορύβου μόνο στις ιδιότητεςndash Ύπαρξη θορύβου και στις ιδιότητες και

στην εξαρτημένη μεταβλητή

bull Εκτίμηση απόκλισης τιμής ιδιότητας λόγω θορύβου

3Προ-επεξεργασία3Προ-επεξεργασία

piii zxx

Αποτελέσματα μελέτης θορύβου- 1ο μοντέλο

-2

-1

0

1

2

3

4

5

6

7

8

0 005 01 02 03 04 05

IB1 - Attribute IBk -K 9 - Attribute LinearRegression - Attribute M5Prime - Attribute NeuralNetwork - Attribute ZeroR - Attribute

Drop Page Fields Here

Average of Root mean squared error (diff)

Noise Level

Scheme

Noise Model

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα μελέτης θορύβου- 2ο μοντέλο

0

5

10

15

20

25

30

0 005 01 02 03 04 05

IB1 - AttributeClassVar IBk -K 9 - AttributeClassVar LinearRegression - AttributeClassVar

M5Prime - AttributeClassVar NeuralNetwork - AttributeClassVar ZeroR - AttributeClassVar

Drop Page Fields Here

Average of Root mean squared error (diff)

Noise Level

Scheme

Noise Model

3Προ-επεξεργασία3Προ-επεξεργασία

Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών

bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj

1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα

παραδείγματα που ανήκουν στην κλάση Υj

3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)

4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμών-RMSE

-012

-01

-008

-006

-004

-002

0

002

004

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Root mean squared error (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου

-25

-2

-15

-1

-05

0

05

1

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Time taken to build model (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Μείωση των διαστάσεων

bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Επιλογή των ιδιοτήτων57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

15

13

14

14

14

47

45

6

51

bull 2ν πιθανοί συνδυασμοί

bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Πως ορίζεται η ιδιότητα

bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό

μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης

του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Λόγοι επιλογής ιδιοτήτων

bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων

bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή

bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)

bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδοι Αντιμετώπισης

bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδος φιλτραρίσματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Υπολογισμός μέτρωνποιότητας των ιδιοτήτων

Επαύξηση ή μείωση των ιδιοτήτων

Είναι αποδεκτό τοαξιολογημένουποσύνολο

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Επιλογή νέου υποσυνόλουιδιοτήτων

Μέθοδοςφιλτραρίσματος

Γενετικός Αλγόριθμος

Μέθοδος περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Εκπαιδευμένο Μοντέλο

Σύνολοδεδομένων

Κατασκευή συνόλου δεδομένων

Αξιολογημένο Μοντέλο

Εκπαίδευση Αλγορίθμου

Αξιολόγηση Αλγορίθμου

Είναι αποδεκτό τοαξιολογημένο

μοντέλο

Επιλογή νέου υποσυνόλουιδιοτήτων

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Κ-κοντινότεροι γείτονες

Περιτύλιξη με Γενετικό Αλγόριθμο

bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων

bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου

ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων

ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας

γενετικούς τελεστές

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

11 22 33 4400

B1B1 B2B2 B3B3 B4B4 B5B5

Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων

Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με

κωδικό 104 (Γεωπονική) στις 5 μμ

000000 00110011 000000 1000010000 0001000010 0000000000 00

P = ΝΟ2 S = 104

F = αδιάφορο

H1 = 1700 O = 0

H2 = αδιάφορο

ΣημαίαΣυγκεντρωτικής ιδιότητας = 0

Επέλεξε τη μέση συγκέντρωση του

SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ

100100 01110111 000000 0001100011 1010010100 0001000010 11

P = ΝΟ2 S = 108

F = Μέση τιμή-Avg

H1 = 400 O = -2

H2 = 2100

ΣημαίαΣυγκεντρωτικής ιδιότητας = 1

Η Κωδικοποίηση του γενότυπου

Η συνάρτηση προσαρμογής

bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του

αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο

υποσύνολο ιδιοτήτων της λύσης

nA

iAb

nE

iEa

iAiEF

max

)(

max

)(1

))()((

a lt= 1 b lt= 1 a + b = 1

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Οι παράμετροι της συνάρτησης προσαρμογής a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE

bull et = Xt ndash Ft

bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής

bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

n

e

RMSE

n

tt

1

2

n

tt

n

ttt

X

Xe

WSE

1

2

1

2

Ρύθμιση του μεγέθους πληθυσμού

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Population Sizes

0

05

1

15

2

25

3

35

4

5 10 20 30 40 50 100

Population Size

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση συντελεστών a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Coefficient pairs

0

5

10

15

20

25

30

35

01 09 03 07 05 05 07 03 08 02 09 01 095 005

ab pairs

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage

0

05

1

15

2

25

3

35

10 30 40 50 60 70 80 90

Mutation rate ()

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers

0

05

1

15

2

25

3

35

4

1 2 3 4 5 8 10 15

Elite members

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeatures

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Η μέθοδος CFS

bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την

εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις

ιδιότητες του υποσυνόλου

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

)1( ii

cis

rkkk

rkG

Σύγκριση των δύο μεθόδων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

000

1000

2000

3000

4000

5000

6000

7000

8000

9000

ZeroR DecisionStump

DecisionTable

IB1 IB3 IB9 LinearRegression

M5Prime

GA Mean absolute error GA Root mean squared error

CFS Mean absolute error CFS Root mean squared error

Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης

bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης

ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART

bull Συνδυασμένος ταξινομητής

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το σύστημα ΠΛ ΝΕΜΟ (1)

Όμοιες περιπτώσεις

Επιλογέας κοντινών περιπτώσεων

Φίλτρο κοντινών περιπτώσεων

Προσαρμογέας κοντινών περιπτώσεων

Προβλέπτης λύσης

Προτεινόμενη λύση

ΝΕΜΟ

Βάση περιπτώσεων

Κοντινέςπεριπτώσεις

Βάση Γνώσης

Νέα περίπτωση

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία

αναστροφή

βροχόπτωση

άνεμος

NO στις 10 πμ

NO στις 9 πμ

NO στις 8 πμ

NO2 στις 10 πμ

NO2 στις 9 πμ

NO2 στις 8 πμ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Έξοδος

Το δέντρο απόφασης (1)NOat10

NOat10

NOat10

NOat10

Wind

NOat9

Rain

Inversion

NOat9

NO2at8 Wind

Radiation

1(26518)

1(235)

2(4412)

1(83) 2(104) 1(100)

2(101) 1(101)

2(10035)

3(5313)

4(80)

4(124)3(91)

lt=027 gt027

lt=021

gt067

gt021

lt=067

lt=04 gt04

lt=057 gt057

lt=066 gt066

lt=047 gt047

lt=021 gt021

=0 =1

lt=021 gt021 lt=08 gt08

lt=036 gt036

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το δέντρο απόφασης (2)

0

021

025

04 057

105 075

027

12

1 2 3

4

34

066

0

1

02

04

06

08

ΝΟ στις10πμ

Θερ

μο

κρα

σια

κή α

νασ

τρο

φή

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Ο συνδυασμένος ταξινομητής

bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (1)

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

134

38

522

122

93

8

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΝΕΜΟ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

Αποτελέσματα Πίνακες Σύγχυσης (2)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

40

4221

8 317

8

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΔΑ CART

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (3)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

42

8216

8 69

4 4

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΤΝΔ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (4)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

138

38

4124

122

13

2

6

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Στατιστικά για τους 4 αλγόριθμους

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

CART NeuralNet NEMO ML Ensemble

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 18: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Περιπτωσιακός Λογισμός

1Μηχανική Μάθηση1Μηχανική Μάθηση

Νέα περίπτωση

Πρόβλημα

Παλαιά περίπτωσηΝέα

περίπτωση

Λυμένη περίπτωση

Δοκιμασμένη διορθωμένη

λύση

Διδαχθείσα περίπτωση

Ανάκληση περιπτώσεων

Επαναχρησιμοποίηση παλιών λύσεων

Προσαρμογή λύσης

Αιτιολόγηση λύσης

Γενική Γνώση

Παλαιά περίπτωσηΠαλαιά περίπτωσηΠαλαιά

περίπτωση

Παλαιές περιπτώσεις

Προτεινόμενη λύσηΕγκεκριμένη λύση

Δέντρα Απόφασης

1Μηχανική Μάθηση1Μηχανική Μάθηση

Δίκτυα Bayes

1Μηχανική Μάθηση1Μηχανική Μάθηση

Χ1 Χ2

Χ3

Χ4

Χ5

Υ

P(X1 X2 X3 X4 X5 Y) = P(X1)P(X2)P(X3|X1 X2)P(Y|X1 X2 X3)P(X4|Y) P(X5|X4 Y)

Γενετικοί Αλγόριθμοι

1Μηχανική Μάθηση1Μηχανική Μάθηση

Αρχικός πληθυσμός

Αξιολόγηση συνάρτησης

προσαρμογής

Επιλογή

Διασταύρωση

Μετάλλαξη

Γέννηση νέου πληθυσμού

Επιτεύχθηκαν τα κριτήρια

βελτιστοποίησης

Εξαγωγή λύσης

Ναι

Όχι

Περιβαλλοντική Πληροφορική

bull Θέματαndash Ολοκληρωμένες πλατφόρμες αξιολόγησης και μελέτες

περιπτώσεωνndash Ανάλυση περιβαλλοντικών συστημάτωνndash Πρόβλεψη περιβαλλοντικών αλλαγώνndash Παρακολούθηση του περιβάλλοντος σε πραγματικό χρόνοndash Πιστοποίηση ποιότητας περιβαλλοντικών μοντέλωνndash Εφαρμογές μοντελοποίησης με agents και εξομοίωσης σε

περιβαλλοντικά συστήματα

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Περιβαλλοντική Πληροφορική

bull Πεδία Εφαρμογήςndash Ποιότητα Αέραndash Ποιότητα Εδάφουςndash Ποιότητα Υδάτωνndash Διαχείριση Αποβλήτων

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Αέρια Ρύπανση

bull Παρακολούθηση και πρόβλεψη των επιβλαβών ρύπωνndash Ο3

ndash ΝΟx

ndash PM10 Σωματίδιαndash Καπνός

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Τα προβλήματα του ΠΕΡΠΑ

bull Πρόβλεψη της μέγιστης συγκέντρωσης για τους ρύπουςndash ΝΟ2

ndash Ο3

bull Για τις χρονικές περιόδουςndash Ίδια ημέρα μετά τις 10 πμndash Επόμενη ημέρα

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Π1Π2 Πρόβλεψη την ίδια ημέρα

0

50

100

150

200

250

300

350

400

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

Hour

pp

b

0

20

40

60

80

100

120

140

pp

b

NO2 NO SO2 CO O3

ΠρόβλεψηΣυλλογή δεδομένων

O3 m

ax

NO

2 max

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Π3Π4 Πρόβλεψη για την επόμενη ημέρα

0

100

200

300

400

500

600

700

800

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

Hour

pp

b

0

5

10

15

20

25

30

35

40

pp

b

NO2 NO SO2 CO O3

ΠρόβλεψηΣυλλογή δεδομένων

O3 m

axNO

2 max

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Προ-επεξεργασία των δεδομένων

bull Αντιμετώπιση θορύβου

bull Αντικατάσταση ελλιπών τιμών

3Προ-επεξεργασία3Προ-επεξεργασία

Μελέτη θορύβου

bull 2 μοντέλα θορύβουndash Ύπαρξη θορύβου μόνο στις ιδιότητεςndash Ύπαρξη θορύβου και στις ιδιότητες και

στην εξαρτημένη μεταβλητή

bull Εκτίμηση απόκλισης τιμής ιδιότητας λόγω θορύβου

3Προ-επεξεργασία3Προ-επεξεργασία

piii zxx

Αποτελέσματα μελέτης θορύβου- 1ο μοντέλο

-2

-1

0

1

2

3

4

5

6

7

8

0 005 01 02 03 04 05

IB1 - Attribute IBk -K 9 - Attribute LinearRegression - Attribute M5Prime - Attribute NeuralNetwork - Attribute ZeroR - Attribute

Drop Page Fields Here

Average of Root mean squared error (diff)

Noise Level

Scheme

Noise Model

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα μελέτης θορύβου- 2ο μοντέλο

0

5

10

15

20

25

30

0 005 01 02 03 04 05

IB1 - AttributeClassVar IBk -K 9 - AttributeClassVar LinearRegression - AttributeClassVar

M5Prime - AttributeClassVar NeuralNetwork - AttributeClassVar ZeroR - AttributeClassVar

Drop Page Fields Here

Average of Root mean squared error (diff)

Noise Level

Scheme

Noise Model

3Προ-επεξεργασία3Προ-επεξεργασία

Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών

bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj

1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα

παραδείγματα που ανήκουν στην κλάση Υj

3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)

4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμών-RMSE

-012

-01

-008

-006

-004

-002

0

002

004

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Root mean squared error (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου

-25

-2

-15

-1

-05

0

05

1

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Time taken to build model (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Μείωση των διαστάσεων

bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Επιλογή των ιδιοτήτων57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

15

13

14

14

14

47

45

6

51

bull 2ν πιθανοί συνδυασμοί

bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Πως ορίζεται η ιδιότητα

bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό

μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης

του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Λόγοι επιλογής ιδιοτήτων

bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων

bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή

bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)

bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδοι Αντιμετώπισης

bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδος φιλτραρίσματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Υπολογισμός μέτρωνποιότητας των ιδιοτήτων

Επαύξηση ή μείωση των ιδιοτήτων

Είναι αποδεκτό τοαξιολογημένουποσύνολο

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Επιλογή νέου υποσυνόλουιδιοτήτων

Μέθοδοςφιλτραρίσματος

Γενετικός Αλγόριθμος

Μέθοδος περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Εκπαιδευμένο Μοντέλο

Σύνολοδεδομένων

Κατασκευή συνόλου δεδομένων

Αξιολογημένο Μοντέλο

Εκπαίδευση Αλγορίθμου

Αξιολόγηση Αλγορίθμου

Είναι αποδεκτό τοαξιολογημένο

μοντέλο

Επιλογή νέου υποσυνόλουιδιοτήτων

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Κ-κοντινότεροι γείτονες

Περιτύλιξη με Γενετικό Αλγόριθμο

bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων

bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου

ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων

ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας

γενετικούς τελεστές

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

11 22 33 4400

B1B1 B2B2 B3B3 B4B4 B5B5

Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων

Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με

κωδικό 104 (Γεωπονική) στις 5 μμ

000000 00110011 000000 1000010000 0001000010 0000000000 00

P = ΝΟ2 S = 104

F = αδιάφορο

H1 = 1700 O = 0

H2 = αδιάφορο

ΣημαίαΣυγκεντρωτικής ιδιότητας = 0

Επέλεξε τη μέση συγκέντρωση του

SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ

100100 01110111 000000 0001100011 1010010100 0001000010 11

P = ΝΟ2 S = 108

F = Μέση τιμή-Avg

H1 = 400 O = -2

H2 = 2100

ΣημαίαΣυγκεντρωτικής ιδιότητας = 1

Η Κωδικοποίηση του γενότυπου

Η συνάρτηση προσαρμογής

bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του

αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο

υποσύνολο ιδιοτήτων της λύσης

nA

iAb

nE

iEa

iAiEF

max

)(

max

)(1

))()((

a lt= 1 b lt= 1 a + b = 1

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Οι παράμετροι της συνάρτησης προσαρμογής a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE

bull et = Xt ndash Ft

bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής

bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

n

e

RMSE

n

tt

1

2

n

tt

n

ttt

X

Xe

WSE

1

2

1

2

Ρύθμιση του μεγέθους πληθυσμού

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Population Sizes

0

05

1

15

2

25

3

35

4

5 10 20 30 40 50 100

Population Size

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση συντελεστών a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Coefficient pairs

0

5

10

15

20

25

30

35

01 09 03 07 05 05 07 03 08 02 09 01 095 005

ab pairs

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage

0

05

1

15

2

25

3

35

10 30 40 50 60 70 80 90

Mutation rate ()

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers

0

05

1

15

2

25

3

35

4

1 2 3 4 5 8 10 15

Elite members

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeatures

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Η μέθοδος CFS

bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την

εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις

ιδιότητες του υποσυνόλου

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

)1( ii

cis

rkkk

rkG

Σύγκριση των δύο μεθόδων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

000

1000

2000

3000

4000

5000

6000

7000

8000

9000

ZeroR DecisionStump

DecisionTable

IB1 IB3 IB9 LinearRegression

M5Prime

GA Mean absolute error GA Root mean squared error

CFS Mean absolute error CFS Root mean squared error

Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης

bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης

ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART

bull Συνδυασμένος ταξινομητής

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το σύστημα ΠΛ ΝΕΜΟ (1)

Όμοιες περιπτώσεις

Επιλογέας κοντινών περιπτώσεων

Φίλτρο κοντινών περιπτώσεων

Προσαρμογέας κοντινών περιπτώσεων

Προβλέπτης λύσης

Προτεινόμενη λύση

ΝΕΜΟ

Βάση περιπτώσεων

Κοντινέςπεριπτώσεις

Βάση Γνώσης

Νέα περίπτωση

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία

αναστροφή

βροχόπτωση

άνεμος

NO στις 10 πμ

NO στις 9 πμ

NO στις 8 πμ

NO2 στις 10 πμ

NO2 στις 9 πμ

NO2 στις 8 πμ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Έξοδος

Το δέντρο απόφασης (1)NOat10

NOat10

NOat10

NOat10

Wind

NOat9

Rain

Inversion

NOat9

NO2at8 Wind

Radiation

1(26518)

1(235)

2(4412)

1(83) 2(104) 1(100)

2(101) 1(101)

2(10035)

3(5313)

4(80)

4(124)3(91)

lt=027 gt027

lt=021

gt067

gt021

lt=067

lt=04 gt04

lt=057 gt057

lt=066 gt066

lt=047 gt047

lt=021 gt021

=0 =1

lt=021 gt021 lt=08 gt08

lt=036 gt036

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το δέντρο απόφασης (2)

0

021

025

04 057

105 075

027

12

1 2 3

4

34

066

0

1

02

04

06

08

ΝΟ στις10πμ

Θερ

μο

κρα

σια

κή α

νασ

τρο

φή

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Ο συνδυασμένος ταξινομητής

bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (1)

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

134

38

522

122

93

8

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΝΕΜΟ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

Αποτελέσματα Πίνακες Σύγχυσης (2)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

40

4221

8 317

8

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΔΑ CART

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (3)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

42

8216

8 69

4 4

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΤΝΔ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (4)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

138

38

4124

122

13

2

6

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Στατιστικά για τους 4 αλγόριθμους

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

CART NeuralNet NEMO ML Ensemble

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 19: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Δέντρα Απόφασης

1Μηχανική Μάθηση1Μηχανική Μάθηση

Δίκτυα Bayes

1Μηχανική Μάθηση1Μηχανική Μάθηση

Χ1 Χ2

Χ3

Χ4

Χ5

Υ

P(X1 X2 X3 X4 X5 Y) = P(X1)P(X2)P(X3|X1 X2)P(Y|X1 X2 X3)P(X4|Y) P(X5|X4 Y)

Γενετικοί Αλγόριθμοι

1Μηχανική Μάθηση1Μηχανική Μάθηση

Αρχικός πληθυσμός

Αξιολόγηση συνάρτησης

προσαρμογής

Επιλογή

Διασταύρωση

Μετάλλαξη

Γέννηση νέου πληθυσμού

Επιτεύχθηκαν τα κριτήρια

βελτιστοποίησης

Εξαγωγή λύσης

Ναι

Όχι

Περιβαλλοντική Πληροφορική

bull Θέματαndash Ολοκληρωμένες πλατφόρμες αξιολόγησης και μελέτες

περιπτώσεωνndash Ανάλυση περιβαλλοντικών συστημάτωνndash Πρόβλεψη περιβαλλοντικών αλλαγώνndash Παρακολούθηση του περιβάλλοντος σε πραγματικό χρόνοndash Πιστοποίηση ποιότητας περιβαλλοντικών μοντέλωνndash Εφαρμογές μοντελοποίησης με agents και εξομοίωσης σε

περιβαλλοντικά συστήματα

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Περιβαλλοντική Πληροφορική

bull Πεδία Εφαρμογήςndash Ποιότητα Αέραndash Ποιότητα Εδάφουςndash Ποιότητα Υδάτωνndash Διαχείριση Αποβλήτων

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Αέρια Ρύπανση

bull Παρακολούθηση και πρόβλεψη των επιβλαβών ρύπωνndash Ο3

ndash ΝΟx

ndash PM10 Σωματίδιαndash Καπνός

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Τα προβλήματα του ΠΕΡΠΑ

bull Πρόβλεψη της μέγιστης συγκέντρωσης για τους ρύπουςndash ΝΟ2

ndash Ο3

bull Για τις χρονικές περιόδουςndash Ίδια ημέρα μετά τις 10 πμndash Επόμενη ημέρα

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Π1Π2 Πρόβλεψη την ίδια ημέρα

0

50

100

150

200

250

300

350

400

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

Hour

pp

b

0

20

40

60

80

100

120

140

pp

b

NO2 NO SO2 CO O3

ΠρόβλεψηΣυλλογή δεδομένων

O3 m

ax

NO

2 max

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Π3Π4 Πρόβλεψη για την επόμενη ημέρα

0

100

200

300

400

500

600

700

800

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

Hour

pp

b

0

5

10

15

20

25

30

35

40

pp

b

NO2 NO SO2 CO O3

ΠρόβλεψηΣυλλογή δεδομένων

O3 m

axNO

2 max

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Προ-επεξεργασία των δεδομένων

bull Αντιμετώπιση θορύβου

bull Αντικατάσταση ελλιπών τιμών

3Προ-επεξεργασία3Προ-επεξεργασία

Μελέτη θορύβου

bull 2 μοντέλα θορύβουndash Ύπαρξη θορύβου μόνο στις ιδιότητεςndash Ύπαρξη θορύβου και στις ιδιότητες και

στην εξαρτημένη μεταβλητή

bull Εκτίμηση απόκλισης τιμής ιδιότητας λόγω θορύβου

3Προ-επεξεργασία3Προ-επεξεργασία

piii zxx

Αποτελέσματα μελέτης θορύβου- 1ο μοντέλο

-2

-1

0

1

2

3

4

5

6

7

8

0 005 01 02 03 04 05

IB1 - Attribute IBk -K 9 - Attribute LinearRegression - Attribute M5Prime - Attribute NeuralNetwork - Attribute ZeroR - Attribute

Drop Page Fields Here

Average of Root mean squared error (diff)

Noise Level

Scheme

Noise Model

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα μελέτης θορύβου- 2ο μοντέλο

0

5

10

15

20

25

30

0 005 01 02 03 04 05

IB1 - AttributeClassVar IBk -K 9 - AttributeClassVar LinearRegression - AttributeClassVar

M5Prime - AttributeClassVar NeuralNetwork - AttributeClassVar ZeroR - AttributeClassVar

Drop Page Fields Here

Average of Root mean squared error (diff)

Noise Level

Scheme

Noise Model

3Προ-επεξεργασία3Προ-επεξεργασία

Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών

bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj

1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα

παραδείγματα που ανήκουν στην κλάση Υj

3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)

4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμών-RMSE

-012

-01

-008

-006

-004

-002

0

002

004

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Root mean squared error (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου

-25

-2

-15

-1

-05

0

05

1

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Time taken to build model (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Μείωση των διαστάσεων

bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Επιλογή των ιδιοτήτων57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

15

13

14

14

14

47

45

6

51

bull 2ν πιθανοί συνδυασμοί

bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Πως ορίζεται η ιδιότητα

bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό

μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης

του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Λόγοι επιλογής ιδιοτήτων

bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων

bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή

bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)

bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδοι Αντιμετώπισης

bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδος φιλτραρίσματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Υπολογισμός μέτρωνποιότητας των ιδιοτήτων

Επαύξηση ή μείωση των ιδιοτήτων

Είναι αποδεκτό τοαξιολογημένουποσύνολο

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Επιλογή νέου υποσυνόλουιδιοτήτων

Μέθοδοςφιλτραρίσματος

Γενετικός Αλγόριθμος

Μέθοδος περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Εκπαιδευμένο Μοντέλο

Σύνολοδεδομένων

Κατασκευή συνόλου δεδομένων

Αξιολογημένο Μοντέλο

Εκπαίδευση Αλγορίθμου

Αξιολόγηση Αλγορίθμου

Είναι αποδεκτό τοαξιολογημένο

μοντέλο

Επιλογή νέου υποσυνόλουιδιοτήτων

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Κ-κοντινότεροι γείτονες

Περιτύλιξη με Γενετικό Αλγόριθμο

bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων

bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου

ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων

ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας

γενετικούς τελεστές

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

11 22 33 4400

B1B1 B2B2 B3B3 B4B4 B5B5

Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων

Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με

κωδικό 104 (Γεωπονική) στις 5 μμ

000000 00110011 000000 1000010000 0001000010 0000000000 00

P = ΝΟ2 S = 104

F = αδιάφορο

H1 = 1700 O = 0

H2 = αδιάφορο

ΣημαίαΣυγκεντρωτικής ιδιότητας = 0

Επέλεξε τη μέση συγκέντρωση του

SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ

100100 01110111 000000 0001100011 1010010100 0001000010 11

P = ΝΟ2 S = 108

F = Μέση τιμή-Avg

H1 = 400 O = -2

H2 = 2100

ΣημαίαΣυγκεντρωτικής ιδιότητας = 1

Η Κωδικοποίηση του γενότυπου

Η συνάρτηση προσαρμογής

bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του

αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο

υποσύνολο ιδιοτήτων της λύσης

nA

iAb

nE

iEa

iAiEF

max

)(

max

)(1

))()((

a lt= 1 b lt= 1 a + b = 1

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Οι παράμετροι της συνάρτησης προσαρμογής a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE

bull et = Xt ndash Ft

bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής

bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

n

e

RMSE

n

tt

1

2

n

tt

n

ttt

X

Xe

WSE

1

2

1

2

Ρύθμιση του μεγέθους πληθυσμού

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Population Sizes

0

05

1

15

2

25

3

35

4

5 10 20 30 40 50 100

Population Size

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση συντελεστών a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Coefficient pairs

0

5

10

15

20

25

30

35

01 09 03 07 05 05 07 03 08 02 09 01 095 005

ab pairs

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage

0

05

1

15

2

25

3

35

10 30 40 50 60 70 80 90

Mutation rate ()

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers

0

05

1

15

2

25

3

35

4

1 2 3 4 5 8 10 15

Elite members

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeatures

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Η μέθοδος CFS

bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την

εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις

ιδιότητες του υποσυνόλου

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

)1( ii

cis

rkkk

rkG

Σύγκριση των δύο μεθόδων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

000

1000

2000

3000

4000

5000

6000

7000

8000

9000

ZeroR DecisionStump

DecisionTable

IB1 IB3 IB9 LinearRegression

M5Prime

GA Mean absolute error GA Root mean squared error

CFS Mean absolute error CFS Root mean squared error

Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης

bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης

ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART

bull Συνδυασμένος ταξινομητής

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το σύστημα ΠΛ ΝΕΜΟ (1)

Όμοιες περιπτώσεις

Επιλογέας κοντινών περιπτώσεων

Φίλτρο κοντινών περιπτώσεων

Προσαρμογέας κοντινών περιπτώσεων

Προβλέπτης λύσης

Προτεινόμενη λύση

ΝΕΜΟ

Βάση περιπτώσεων

Κοντινέςπεριπτώσεις

Βάση Γνώσης

Νέα περίπτωση

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία

αναστροφή

βροχόπτωση

άνεμος

NO στις 10 πμ

NO στις 9 πμ

NO στις 8 πμ

NO2 στις 10 πμ

NO2 στις 9 πμ

NO2 στις 8 πμ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Έξοδος

Το δέντρο απόφασης (1)NOat10

NOat10

NOat10

NOat10

Wind

NOat9

Rain

Inversion

NOat9

NO2at8 Wind

Radiation

1(26518)

1(235)

2(4412)

1(83) 2(104) 1(100)

2(101) 1(101)

2(10035)

3(5313)

4(80)

4(124)3(91)

lt=027 gt027

lt=021

gt067

gt021

lt=067

lt=04 gt04

lt=057 gt057

lt=066 gt066

lt=047 gt047

lt=021 gt021

=0 =1

lt=021 gt021 lt=08 gt08

lt=036 gt036

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το δέντρο απόφασης (2)

0

021

025

04 057

105 075

027

12

1 2 3

4

34

066

0

1

02

04

06

08

ΝΟ στις10πμ

Θερ

μο

κρα

σια

κή α

νασ

τρο

φή

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Ο συνδυασμένος ταξινομητής

bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (1)

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

134

38

522

122

93

8

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΝΕΜΟ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

Αποτελέσματα Πίνακες Σύγχυσης (2)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

40

4221

8 317

8

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΔΑ CART

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (3)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

42

8216

8 69

4 4

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΤΝΔ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (4)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

138

38

4124

122

13

2

6

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Στατιστικά για τους 4 αλγόριθμους

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

CART NeuralNet NEMO ML Ensemble

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 20: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Δίκτυα Bayes

1Μηχανική Μάθηση1Μηχανική Μάθηση

Χ1 Χ2

Χ3

Χ4

Χ5

Υ

P(X1 X2 X3 X4 X5 Y) = P(X1)P(X2)P(X3|X1 X2)P(Y|X1 X2 X3)P(X4|Y) P(X5|X4 Y)

Γενετικοί Αλγόριθμοι

1Μηχανική Μάθηση1Μηχανική Μάθηση

Αρχικός πληθυσμός

Αξιολόγηση συνάρτησης

προσαρμογής

Επιλογή

Διασταύρωση

Μετάλλαξη

Γέννηση νέου πληθυσμού

Επιτεύχθηκαν τα κριτήρια

βελτιστοποίησης

Εξαγωγή λύσης

Ναι

Όχι

Περιβαλλοντική Πληροφορική

bull Θέματαndash Ολοκληρωμένες πλατφόρμες αξιολόγησης και μελέτες

περιπτώσεωνndash Ανάλυση περιβαλλοντικών συστημάτωνndash Πρόβλεψη περιβαλλοντικών αλλαγώνndash Παρακολούθηση του περιβάλλοντος σε πραγματικό χρόνοndash Πιστοποίηση ποιότητας περιβαλλοντικών μοντέλωνndash Εφαρμογές μοντελοποίησης με agents και εξομοίωσης σε

περιβαλλοντικά συστήματα

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Περιβαλλοντική Πληροφορική

bull Πεδία Εφαρμογήςndash Ποιότητα Αέραndash Ποιότητα Εδάφουςndash Ποιότητα Υδάτωνndash Διαχείριση Αποβλήτων

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Αέρια Ρύπανση

bull Παρακολούθηση και πρόβλεψη των επιβλαβών ρύπωνndash Ο3

ndash ΝΟx

ndash PM10 Σωματίδιαndash Καπνός

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Τα προβλήματα του ΠΕΡΠΑ

bull Πρόβλεψη της μέγιστης συγκέντρωσης για τους ρύπουςndash ΝΟ2

ndash Ο3

bull Για τις χρονικές περιόδουςndash Ίδια ημέρα μετά τις 10 πμndash Επόμενη ημέρα

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Π1Π2 Πρόβλεψη την ίδια ημέρα

0

50

100

150

200

250

300

350

400

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

Hour

pp

b

0

20

40

60

80

100

120

140

pp

b

NO2 NO SO2 CO O3

ΠρόβλεψηΣυλλογή δεδομένων

O3 m

ax

NO

2 max

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Π3Π4 Πρόβλεψη για την επόμενη ημέρα

0

100

200

300

400

500

600

700

800

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

Hour

pp

b

0

5

10

15

20

25

30

35

40

pp

b

NO2 NO SO2 CO O3

ΠρόβλεψηΣυλλογή δεδομένων

O3 m

axNO

2 max

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Προ-επεξεργασία των δεδομένων

bull Αντιμετώπιση θορύβου

bull Αντικατάσταση ελλιπών τιμών

3Προ-επεξεργασία3Προ-επεξεργασία

Μελέτη θορύβου

bull 2 μοντέλα θορύβουndash Ύπαρξη θορύβου μόνο στις ιδιότητεςndash Ύπαρξη θορύβου και στις ιδιότητες και

στην εξαρτημένη μεταβλητή

bull Εκτίμηση απόκλισης τιμής ιδιότητας λόγω θορύβου

3Προ-επεξεργασία3Προ-επεξεργασία

piii zxx

Αποτελέσματα μελέτης θορύβου- 1ο μοντέλο

-2

-1

0

1

2

3

4

5

6

7

8

0 005 01 02 03 04 05

IB1 - Attribute IBk -K 9 - Attribute LinearRegression - Attribute M5Prime - Attribute NeuralNetwork - Attribute ZeroR - Attribute

Drop Page Fields Here

Average of Root mean squared error (diff)

Noise Level

Scheme

Noise Model

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα μελέτης θορύβου- 2ο μοντέλο

0

5

10

15

20

25

30

0 005 01 02 03 04 05

IB1 - AttributeClassVar IBk -K 9 - AttributeClassVar LinearRegression - AttributeClassVar

M5Prime - AttributeClassVar NeuralNetwork - AttributeClassVar ZeroR - AttributeClassVar

Drop Page Fields Here

Average of Root mean squared error (diff)

Noise Level

Scheme

Noise Model

3Προ-επεξεργασία3Προ-επεξεργασία

Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών

bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj

1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα

παραδείγματα που ανήκουν στην κλάση Υj

3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)

4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμών-RMSE

-012

-01

-008

-006

-004

-002

0

002

004

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Root mean squared error (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου

-25

-2

-15

-1

-05

0

05

1

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Time taken to build model (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Μείωση των διαστάσεων

bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Επιλογή των ιδιοτήτων57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

15

13

14

14

14

47

45

6

51

bull 2ν πιθανοί συνδυασμοί

bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Πως ορίζεται η ιδιότητα

bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό

μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης

του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Λόγοι επιλογής ιδιοτήτων

bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων

bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή

bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)

bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδοι Αντιμετώπισης

bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδος φιλτραρίσματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Υπολογισμός μέτρωνποιότητας των ιδιοτήτων

Επαύξηση ή μείωση των ιδιοτήτων

Είναι αποδεκτό τοαξιολογημένουποσύνολο

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Επιλογή νέου υποσυνόλουιδιοτήτων

Μέθοδοςφιλτραρίσματος

Γενετικός Αλγόριθμος

Μέθοδος περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Εκπαιδευμένο Μοντέλο

Σύνολοδεδομένων

Κατασκευή συνόλου δεδομένων

Αξιολογημένο Μοντέλο

Εκπαίδευση Αλγορίθμου

Αξιολόγηση Αλγορίθμου

Είναι αποδεκτό τοαξιολογημένο

μοντέλο

Επιλογή νέου υποσυνόλουιδιοτήτων

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Κ-κοντινότεροι γείτονες

Περιτύλιξη με Γενετικό Αλγόριθμο

bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων

bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου

ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων

ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας

γενετικούς τελεστές

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

11 22 33 4400

B1B1 B2B2 B3B3 B4B4 B5B5

Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων

Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με

κωδικό 104 (Γεωπονική) στις 5 μμ

000000 00110011 000000 1000010000 0001000010 0000000000 00

P = ΝΟ2 S = 104

F = αδιάφορο

H1 = 1700 O = 0

H2 = αδιάφορο

ΣημαίαΣυγκεντρωτικής ιδιότητας = 0

Επέλεξε τη μέση συγκέντρωση του

SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ

100100 01110111 000000 0001100011 1010010100 0001000010 11

P = ΝΟ2 S = 108

F = Μέση τιμή-Avg

H1 = 400 O = -2

H2 = 2100

ΣημαίαΣυγκεντρωτικής ιδιότητας = 1

Η Κωδικοποίηση του γενότυπου

Η συνάρτηση προσαρμογής

bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του

αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο

υποσύνολο ιδιοτήτων της λύσης

nA

iAb

nE

iEa

iAiEF

max

)(

max

)(1

))()((

a lt= 1 b lt= 1 a + b = 1

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Οι παράμετροι της συνάρτησης προσαρμογής a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE

bull et = Xt ndash Ft

bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής

bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

n

e

RMSE

n

tt

1

2

n

tt

n

ttt

X

Xe

WSE

1

2

1

2

Ρύθμιση του μεγέθους πληθυσμού

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Population Sizes

0

05

1

15

2

25

3

35

4

5 10 20 30 40 50 100

Population Size

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση συντελεστών a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Coefficient pairs

0

5

10

15

20

25

30

35

01 09 03 07 05 05 07 03 08 02 09 01 095 005

ab pairs

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage

0

05

1

15

2

25

3

35

10 30 40 50 60 70 80 90

Mutation rate ()

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers

0

05

1

15

2

25

3

35

4

1 2 3 4 5 8 10 15

Elite members

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeatures

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Η μέθοδος CFS

bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την

εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις

ιδιότητες του υποσυνόλου

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

)1( ii

cis

rkkk

rkG

Σύγκριση των δύο μεθόδων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

000

1000

2000

3000

4000

5000

6000

7000

8000

9000

ZeroR DecisionStump

DecisionTable

IB1 IB3 IB9 LinearRegression

M5Prime

GA Mean absolute error GA Root mean squared error

CFS Mean absolute error CFS Root mean squared error

Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης

bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης

ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART

bull Συνδυασμένος ταξινομητής

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το σύστημα ΠΛ ΝΕΜΟ (1)

Όμοιες περιπτώσεις

Επιλογέας κοντινών περιπτώσεων

Φίλτρο κοντινών περιπτώσεων

Προσαρμογέας κοντινών περιπτώσεων

Προβλέπτης λύσης

Προτεινόμενη λύση

ΝΕΜΟ

Βάση περιπτώσεων

Κοντινέςπεριπτώσεις

Βάση Γνώσης

Νέα περίπτωση

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία

αναστροφή

βροχόπτωση

άνεμος

NO στις 10 πμ

NO στις 9 πμ

NO στις 8 πμ

NO2 στις 10 πμ

NO2 στις 9 πμ

NO2 στις 8 πμ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Έξοδος

Το δέντρο απόφασης (1)NOat10

NOat10

NOat10

NOat10

Wind

NOat9

Rain

Inversion

NOat9

NO2at8 Wind

Radiation

1(26518)

1(235)

2(4412)

1(83) 2(104) 1(100)

2(101) 1(101)

2(10035)

3(5313)

4(80)

4(124)3(91)

lt=027 gt027

lt=021

gt067

gt021

lt=067

lt=04 gt04

lt=057 gt057

lt=066 gt066

lt=047 gt047

lt=021 gt021

=0 =1

lt=021 gt021 lt=08 gt08

lt=036 gt036

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το δέντρο απόφασης (2)

0

021

025

04 057

105 075

027

12

1 2 3

4

34

066

0

1

02

04

06

08

ΝΟ στις10πμ

Θερ

μο

κρα

σια

κή α

νασ

τρο

φή

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Ο συνδυασμένος ταξινομητής

bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (1)

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

134

38

522

122

93

8

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΝΕΜΟ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

Αποτελέσματα Πίνακες Σύγχυσης (2)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

40

4221

8 317

8

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΔΑ CART

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (3)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

42

8216

8 69

4 4

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΤΝΔ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (4)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

138

38

4124

122

13

2

6

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Στατιστικά για τους 4 αλγόριθμους

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

CART NeuralNet NEMO ML Ensemble

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 21: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Γενετικοί Αλγόριθμοι

1Μηχανική Μάθηση1Μηχανική Μάθηση

Αρχικός πληθυσμός

Αξιολόγηση συνάρτησης

προσαρμογής

Επιλογή

Διασταύρωση

Μετάλλαξη

Γέννηση νέου πληθυσμού

Επιτεύχθηκαν τα κριτήρια

βελτιστοποίησης

Εξαγωγή λύσης

Ναι

Όχι

Περιβαλλοντική Πληροφορική

bull Θέματαndash Ολοκληρωμένες πλατφόρμες αξιολόγησης και μελέτες

περιπτώσεωνndash Ανάλυση περιβαλλοντικών συστημάτωνndash Πρόβλεψη περιβαλλοντικών αλλαγώνndash Παρακολούθηση του περιβάλλοντος σε πραγματικό χρόνοndash Πιστοποίηση ποιότητας περιβαλλοντικών μοντέλωνndash Εφαρμογές μοντελοποίησης με agents και εξομοίωσης σε

περιβαλλοντικά συστήματα

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Περιβαλλοντική Πληροφορική

bull Πεδία Εφαρμογήςndash Ποιότητα Αέραndash Ποιότητα Εδάφουςndash Ποιότητα Υδάτωνndash Διαχείριση Αποβλήτων

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Αέρια Ρύπανση

bull Παρακολούθηση και πρόβλεψη των επιβλαβών ρύπωνndash Ο3

ndash ΝΟx

ndash PM10 Σωματίδιαndash Καπνός

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Τα προβλήματα του ΠΕΡΠΑ

bull Πρόβλεψη της μέγιστης συγκέντρωσης για τους ρύπουςndash ΝΟ2

ndash Ο3

bull Για τις χρονικές περιόδουςndash Ίδια ημέρα μετά τις 10 πμndash Επόμενη ημέρα

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Π1Π2 Πρόβλεψη την ίδια ημέρα

0

50

100

150

200

250

300

350

400

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

Hour

pp

b

0

20

40

60

80

100

120

140

pp

b

NO2 NO SO2 CO O3

ΠρόβλεψηΣυλλογή δεδομένων

O3 m

ax

NO

2 max

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Π3Π4 Πρόβλεψη για την επόμενη ημέρα

0

100

200

300

400

500

600

700

800

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

Hour

pp

b

0

5

10

15

20

25

30

35

40

pp

b

NO2 NO SO2 CO O3

ΠρόβλεψηΣυλλογή δεδομένων

O3 m

axNO

2 max

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Προ-επεξεργασία των δεδομένων

bull Αντιμετώπιση θορύβου

bull Αντικατάσταση ελλιπών τιμών

3Προ-επεξεργασία3Προ-επεξεργασία

Μελέτη θορύβου

bull 2 μοντέλα θορύβουndash Ύπαρξη θορύβου μόνο στις ιδιότητεςndash Ύπαρξη θορύβου και στις ιδιότητες και

στην εξαρτημένη μεταβλητή

bull Εκτίμηση απόκλισης τιμής ιδιότητας λόγω θορύβου

3Προ-επεξεργασία3Προ-επεξεργασία

piii zxx

Αποτελέσματα μελέτης θορύβου- 1ο μοντέλο

-2

-1

0

1

2

3

4

5

6

7

8

0 005 01 02 03 04 05

IB1 - Attribute IBk -K 9 - Attribute LinearRegression - Attribute M5Prime - Attribute NeuralNetwork - Attribute ZeroR - Attribute

Drop Page Fields Here

Average of Root mean squared error (diff)

Noise Level

Scheme

Noise Model

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα μελέτης θορύβου- 2ο μοντέλο

0

5

10

15

20

25

30

0 005 01 02 03 04 05

IB1 - AttributeClassVar IBk -K 9 - AttributeClassVar LinearRegression - AttributeClassVar

M5Prime - AttributeClassVar NeuralNetwork - AttributeClassVar ZeroR - AttributeClassVar

Drop Page Fields Here

Average of Root mean squared error (diff)

Noise Level

Scheme

Noise Model

3Προ-επεξεργασία3Προ-επεξεργασία

Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών

bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj

1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα

παραδείγματα που ανήκουν στην κλάση Υj

3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)

4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμών-RMSE

-012

-01

-008

-006

-004

-002

0

002

004

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Root mean squared error (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου

-25

-2

-15

-1

-05

0

05

1

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Time taken to build model (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Μείωση των διαστάσεων

bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Επιλογή των ιδιοτήτων57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

15

13

14

14

14

47

45

6

51

bull 2ν πιθανοί συνδυασμοί

bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Πως ορίζεται η ιδιότητα

bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό

μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης

του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Λόγοι επιλογής ιδιοτήτων

bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων

bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή

bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)

bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδοι Αντιμετώπισης

bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδος φιλτραρίσματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Υπολογισμός μέτρωνποιότητας των ιδιοτήτων

Επαύξηση ή μείωση των ιδιοτήτων

Είναι αποδεκτό τοαξιολογημένουποσύνολο

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Επιλογή νέου υποσυνόλουιδιοτήτων

Μέθοδοςφιλτραρίσματος

Γενετικός Αλγόριθμος

Μέθοδος περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Εκπαιδευμένο Μοντέλο

Σύνολοδεδομένων

Κατασκευή συνόλου δεδομένων

Αξιολογημένο Μοντέλο

Εκπαίδευση Αλγορίθμου

Αξιολόγηση Αλγορίθμου

Είναι αποδεκτό τοαξιολογημένο

μοντέλο

Επιλογή νέου υποσυνόλουιδιοτήτων

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Κ-κοντινότεροι γείτονες

Περιτύλιξη με Γενετικό Αλγόριθμο

bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων

bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου

ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων

ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας

γενετικούς τελεστές

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

11 22 33 4400

B1B1 B2B2 B3B3 B4B4 B5B5

Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων

Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με

κωδικό 104 (Γεωπονική) στις 5 μμ

000000 00110011 000000 1000010000 0001000010 0000000000 00

P = ΝΟ2 S = 104

F = αδιάφορο

H1 = 1700 O = 0

H2 = αδιάφορο

ΣημαίαΣυγκεντρωτικής ιδιότητας = 0

Επέλεξε τη μέση συγκέντρωση του

SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ

100100 01110111 000000 0001100011 1010010100 0001000010 11

P = ΝΟ2 S = 108

F = Μέση τιμή-Avg

H1 = 400 O = -2

H2 = 2100

ΣημαίαΣυγκεντρωτικής ιδιότητας = 1

Η Κωδικοποίηση του γενότυπου

Η συνάρτηση προσαρμογής

bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του

αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο

υποσύνολο ιδιοτήτων της λύσης

nA

iAb

nE

iEa

iAiEF

max

)(

max

)(1

))()((

a lt= 1 b lt= 1 a + b = 1

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Οι παράμετροι της συνάρτησης προσαρμογής a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE

bull et = Xt ndash Ft

bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής

bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

n

e

RMSE

n

tt

1

2

n

tt

n

ttt

X

Xe

WSE

1

2

1

2

Ρύθμιση του μεγέθους πληθυσμού

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Population Sizes

0

05

1

15

2

25

3

35

4

5 10 20 30 40 50 100

Population Size

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση συντελεστών a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Coefficient pairs

0

5

10

15

20

25

30

35

01 09 03 07 05 05 07 03 08 02 09 01 095 005

ab pairs

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage

0

05

1

15

2

25

3

35

10 30 40 50 60 70 80 90

Mutation rate ()

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers

0

05

1

15

2

25

3

35

4

1 2 3 4 5 8 10 15

Elite members

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeatures

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Η μέθοδος CFS

bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την

εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις

ιδιότητες του υποσυνόλου

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

)1( ii

cis

rkkk

rkG

Σύγκριση των δύο μεθόδων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

000

1000

2000

3000

4000

5000

6000

7000

8000

9000

ZeroR DecisionStump

DecisionTable

IB1 IB3 IB9 LinearRegression

M5Prime

GA Mean absolute error GA Root mean squared error

CFS Mean absolute error CFS Root mean squared error

Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης

bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης

ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART

bull Συνδυασμένος ταξινομητής

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το σύστημα ΠΛ ΝΕΜΟ (1)

Όμοιες περιπτώσεις

Επιλογέας κοντινών περιπτώσεων

Φίλτρο κοντινών περιπτώσεων

Προσαρμογέας κοντινών περιπτώσεων

Προβλέπτης λύσης

Προτεινόμενη λύση

ΝΕΜΟ

Βάση περιπτώσεων

Κοντινέςπεριπτώσεις

Βάση Γνώσης

Νέα περίπτωση

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία

αναστροφή

βροχόπτωση

άνεμος

NO στις 10 πμ

NO στις 9 πμ

NO στις 8 πμ

NO2 στις 10 πμ

NO2 στις 9 πμ

NO2 στις 8 πμ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Έξοδος

Το δέντρο απόφασης (1)NOat10

NOat10

NOat10

NOat10

Wind

NOat9

Rain

Inversion

NOat9

NO2at8 Wind

Radiation

1(26518)

1(235)

2(4412)

1(83) 2(104) 1(100)

2(101) 1(101)

2(10035)

3(5313)

4(80)

4(124)3(91)

lt=027 gt027

lt=021

gt067

gt021

lt=067

lt=04 gt04

lt=057 gt057

lt=066 gt066

lt=047 gt047

lt=021 gt021

=0 =1

lt=021 gt021 lt=08 gt08

lt=036 gt036

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το δέντρο απόφασης (2)

0

021

025

04 057

105 075

027

12

1 2 3

4

34

066

0

1

02

04

06

08

ΝΟ στις10πμ

Θερ

μο

κρα

σια

κή α

νασ

τρο

φή

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Ο συνδυασμένος ταξινομητής

bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (1)

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

134

38

522

122

93

8

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΝΕΜΟ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

Αποτελέσματα Πίνακες Σύγχυσης (2)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

40

4221

8 317

8

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΔΑ CART

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (3)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

42

8216

8 69

4 4

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΤΝΔ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (4)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

138

38

4124

122

13

2

6

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Στατιστικά για τους 4 αλγόριθμους

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

CART NeuralNet NEMO ML Ensemble

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 22: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Περιβαλλοντική Πληροφορική

bull Θέματαndash Ολοκληρωμένες πλατφόρμες αξιολόγησης και μελέτες

περιπτώσεωνndash Ανάλυση περιβαλλοντικών συστημάτωνndash Πρόβλεψη περιβαλλοντικών αλλαγώνndash Παρακολούθηση του περιβάλλοντος σε πραγματικό χρόνοndash Πιστοποίηση ποιότητας περιβαλλοντικών μοντέλωνndash Εφαρμογές μοντελοποίησης με agents και εξομοίωσης σε

περιβαλλοντικά συστήματα

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Περιβαλλοντική Πληροφορική

bull Πεδία Εφαρμογήςndash Ποιότητα Αέραndash Ποιότητα Εδάφουςndash Ποιότητα Υδάτωνndash Διαχείριση Αποβλήτων

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Αέρια Ρύπανση

bull Παρακολούθηση και πρόβλεψη των επιβλαβών ρύπωνndash Ο3

ndash ΝΟx

ndash PM10 Σωματίδιαndash Καπνός

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Τα προβλήματα του ΠΕΡΠΑ

bull Πρόβλεψη της μέγιστης συγκέντρωσης για τους ρύπουςndash ΝΟ2

ndash Ο3

bull Για τις χρονικές περιόδουςndash Ίδια ημέρα μετά τις 10 πμndash Επόμενη ημέρα

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Π1Π2 Πρόβλεψη την ίδια ημέρα

0

50

100

150

200

250

300

350

400

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

Hour

pp

b

0

20

40

60

80

100

120

140

pp

b

NO2 NO SO2 CO O3

ΠρόβλεψηΣυλλογή δεδομένων

O3 m

ax

NO

2 max

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Π3Π4 Πρόβλεψη για την επόμενη ημέρα

0

100

200

300

400

500

600

700

800

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

Hour

pp

b

0

5

10

15

20

25

30

35

40

pp

b

NO2 NO SO2 CO O3

ΠρόβλεψηΣυλλογή δεδομένων

O3 m

axNO

2 max

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Προ-επεξεργασία των δεδομένων

bull Αντιμετώπιση θορύβου

bull Αντικατάσταση ελλιπών τιμών

3Προ-επεξεργασία3Προ-επεξεργασία

Μελέτη θορύβου

bull 2 μοντέλα θορύβουndash Ύπαρξη θορύβου μόνο στις ιδιότητεςndash Ύπαρξη θορύβου και στις ιδιότητες και

στην εξαρτημένη μεταβλητή

bull Εκτίμηση απόκλισης τιμής ιδιότητας λόγω θορύβου

3Προ-επεξεργασία3Προ-επεξεργασία

piii zxx

Αποτελέσματα μελέτης θορύβου- 1ο μοντέλο

-2

-1

0

1

2

3

4

5

6

7

8

0 005 01 02 03 04 05

IB1 - Attribute IBk -K 9 - Attribute LinearRegression - Attribute M5Prime - Attribute NeuralNetwork - Attribute ZeroR - Attribute

Drop Page Fields Here

Average of Root mean squared error (diff)

Noise Level

Scheme

Noise Model

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα μελέτης θορύβου- 2ο μοντέλο

0

5

10

15

20

25

30

0 005 01 02 03 04 05

IB1 - AttributeClassVar IBk -K 9 - AttributeClassVar LinearRegression - AttributeClassVar

M5Prime - AttributeClassVar NeuralNetwork - AttributeClassVar ZeroR - AttributeClassVar

Drop Page Fields Here

Average of Root mean squared error (diff)

Noise Level

Scheme

Noise Model

3Προ-επεξεργασία3Προ-επεξεργασία

Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών

bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj

1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα

παραδείγματα που ανήκουν στην κλάση Υj

3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)

4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμών-RMSE

-012

-01

-008

-006

-004

-002

0

002

004

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Root mean squared error (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου

-25

-2

-15

-1

-05

0

05

1

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Time taken to build model (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Μείωση των διαστάσεων

bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Επιλογή των ιδιοτήτων57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

15

13

14

14

14

47

45

6

51

bull 2ν πιθανοί συνδυασμοί

bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Πως ορίζεται η ιδιότητα

bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό

μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης

του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Λόγοι επιλογής ιδιοτήτων

bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων

bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή

bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)

bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδοι Αντιμετώπισης

bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδος φιλτραρίσματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Υπολογισμός μέτρωνποιότητας των ιδιοτήτων

Επαύξηση ή μείωση των ιδιοτήτων

Είναι αποδεκτό τοαξιολογημένουποσύνολο

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Επιλογή νέου υποσυνόλουιδιοτήτων

Μέθοδοςφιλτραρίσματος

Γενετικός Αλγόριθμος

Μέθοδος περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Εκπαιδευμένο Μοντέλο

Σύνολοδεδομένων

Κατασκευή συνόλου δεδομένων

Αξιολογημένο Μοντέλο

Εκπαίδευση Αλγορίθμου

Αξιολόγηση Αλγορίθμου

Είναι αποδεκτό τοαξιολογημένο

μοντέλο

Επιλογή νέου υποσυνόλουιδιοτήτων

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Κ-κοντινότεροι γείτονες

Περιτύλιξη με Γενετικό Αλγόριθμο

bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων

bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου

ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων

ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας

γενετικούς τελεστές

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

11 22 33 4400

B1B1 B2B2 B3B3 B4B4 B5B5

Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων

Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με

κωδικό 104 (Γεωπονική) στις 5 μμ

000000 00110011 000000 1000010000 0001000010 0000000000 00

P = ΝΟ2 S = 104

F = αδιάφορο

H1 = 1700 O = 0

H2 = αδιάφορο

ΣημαίαΣυγκεντρωτικής ιδιότητας = 0

Επέλεξε τη μέση συγκέντρωση του

SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ

100100 01110111 000000 0001100011 1010010100 0001000010 11

P = ΝΟ2 S = 108

F = Μέση τιμή-Avg

H1 = 400 O = -2

H2 = 2100

ΣημαίαΣυγκεντρωτικής ιδιότητας = 1

Η Κωδικοποίηση του γενότυπου

Η συνάρτηση προσαρμογής

bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του

αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο

υποσύνολο ιδιοτήτων της λύσης

nA

iAb

nE

iEa

iAiEF

max

)(

max

)(1

))()((

a lt= 1 b lt= 1 a + b = 1

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Οι παράμετροι της συνάρτησης προσαρμογής a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE

bull et = Xt ndash Ft

bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής

bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

n

e

RMSE

n

tt

1

2

n

tt

n

ttt

X

Xe

WSE

1

2

1

2

Ρύθμιση του μεγέθους πληθυσμού

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Population Sizes

0

05

1

15

2

25

3

35

4

5 10 20 30 40 50 100

Population Size

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση συντελεστών a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Coefficient pairs

0

5

10

15

20

25

30

35

01 09 03 07 05 05 07 03 08 02 09 01 095 005

ab pairs

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage

0

05

1

15

2

25

3

35

10 30 40 50 60 70 80 90

Mutation rate ()

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers

0

05

1

15

2

25

3

35

4

1 2 3 4 5 8 10 15

Elite members

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeatures

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Η μέθοδος CFS

bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την

εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις

ιδιότητες του υποσυνόλου

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

)1( ii

cis

rkkk

rkG

Σύγκριση των δύο μεθόδων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

000

1000

2000

3000

4000

5000

6000

7000

8000

9000

ZeroR DecisionStump

DecisionTable

IB1 IB3 IB9 LinearRegression

M5Prime

GA Mean absolute error GA Root mean squared error

CFS Mean absolute error CFS Root mean squared error

Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης

bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης

ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART

bull Συνδυασμένος ταξινομητής

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το σύστημα ΠΛ ΝΕΜΟ (1)

Όμοιες περιπτώσεις

Επιλογέας κοντινών περιπτώσεων

Φίλτρο κοντινών περιπτώσεων

Προσαρμογέας κοντινών περιπτώσεων

Προβλέπτης λύσης

Προτεινόμενη λύση

ΝΕΜΟ

Βάση περιπτώσεων

Κοντινέςπεριπτώσεις

Βάση Γνώσης

Νέα περίπτωση

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία

αναστροφή

βροχόπτωση

άνεμος

NO στις 10 πμ

NO στις 9 πμ

NO στις 8 πμ

NO2 στις 10 πμ

NO2 στις 9 πμ

NO2 στις 8 πμ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Έξοδος

Το δέντρο απόφασης (1)NOat10

NOat10

NOat10

NOat10

Wind

NOat9

Rain

Inversion

NOat9

NO2at8 Wind

Radiation

1(26518)

1(235)

2(4412)

1(83) 2(104) 1(100)

2(101) 1(101)

2(10035)

3(5313)

4(80)

4(124)3(91)

lt=027 gt027

lt=021

gt067

gt021

lt=067

lt=04 gt04

lt=057 gt057

lt=066 gt066

lt=047 gt047

lt=021 gt021

=0 =1

lt=021 gt021 lt=08 gt08

lt=036 gt036

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το δέντρο απόφασης (2)

0

021

025

04 057

105 075

027

12

1 2 3

4

34

066

0

1

02

04

06

08

ΝΟ στις10πμ

Θερ

μο

κρα

σια

κή α

νασ

τρο

φή

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Ο συνδυασμένος ταξινομητής

bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (1)

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

134

38

522

122

93

8

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΝΕΜΟ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

Αποτελέσματα Πίνακες Σύγχυσης (2)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

40

4221

8 317

8

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΔΑ CART

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (3)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

42

8216

8 69

4 4

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΤΝΔ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (4)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

138

38

4124

122

13

2

6

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Στατιστικά για τους 4 αλγόριθμους

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

CART NeuralNet NEMO ML Ensemble

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 23: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Περιβαλλοντική Πληροφορική

bull Πεδία Εφαρμογήςndash Ποιότητα Αέραndash Ποιότητα Εδάφουςndash Ποιότητα Υδάτωνndash Διαχείριση Αποβλήτων

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Αέρια Ρύπανση

bull Παρακολούθηση και πρόβλεψη των επιβλαβών ρύπωνndash Ο3

ndash ΝΟx

ndash PM10 Σωματίδιαndash Καπνός

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Τα προβλήματα του ΠΕΡΠΑ

bull Πρόβλεψη της μέγιστης συγκέντρωσης για τους ρύπουςndash ΝΟ2

ndash Ο3

bull Για τις χρονικές περιόδουςndash Ίδια ημέρα μετά τις 10 πμndash Επόμενη ημέρα

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Π1Π2 Πρόβλεψη την ίδια ημέρα

0

50

100

150

200

250

300

350

400

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

Hour

pp

b

0

20

40

60

80

100

120

140

pp

b

NO2 NO SO2 CO O3

ΠρόβλεψηΣυλλογή δεδομένων

O3 m

ax

NO

2 max

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Π3Π4 Πρόβλεψη για την επόμενη ημέρα

0

100

200

300

400

500

600

700

800

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

Hour

pp

b

0

5

10

15

20

25

30

35

40

pp

b

NO2 NO SO2 CO O3

ΠρόβλεψηΣυλλογή δεδομένων

O3 m

axNO

2 max

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Προ-επεξεργασία των δεδομένων

bull Αντιμετώπιση θορύβου

bull Αντικατάσταση ελλιπών τιμών

3Προ-επεξεργασία3Προ-επεξεργασία

Μελέτη θορύβου

bull 2 μοντέλα θορύβουndash Ύπαρξη θορύβου μόνο στις ιδιότητεςndash Ύπαρξη θορύβου και στις ιδιότητες και

στην εξαρτημένη μεταβλητή

bull Εκτίμηση απόκλισης τιμής ιδιότητας λόγω θορύβου

3Προ-επεξεργασία3Προ-επεξεργασία

piii zxx

Αποτελέσματα μελέτης θορύβου- 1ο μοντέλο

-2

-1

0

1

2

3

4

5

6

7

8

0 005 01 02 03 04 05

IB1 - Attribute IBk -K 9 - Attribute LinearRegression - Attribute M5Prime - Attribute NeuralNetwork - Attribute ZeroR - Attribute

Drop Page Fields Here

Average of Root mean squared error (diff)

Noise Level

Scheme

Noise Model

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα μελέτης θορύβου- 2ο μοντέλο

0

5

10

15

20

25

30

0 005 01 02 03 04 05

IB1 - AttributeClassVar IBk -K 9 - AttributeClassVar LinearRegression - AttributeClassVar

M5Prime - AttributeClassVar NeuralNetwork - AttributeClassVar ZeroR - AttributeClassVar

Drop Page Fields Here

Average of Root mean squared error (diff)

Noise Level

Scheme

Noise Model

3Προ-επεξεργασία3Προ-επεξεργασία

Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών

bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj

1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα

παραδείγματα που ανήκουν στην κλάση Υj

3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)

4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμών-RMSE

-012

-01

-008

-006

-004

-002

0

002

004

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Root mean squared error (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου

-25

-2

-15

-1

-05

0

05

1

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Time taken to build model (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Μείωση των διαστάσεων

bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Επιλογή των ιδιοτήτων57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

15

13

14

14

14

47

45

6

51

bull 2ν πιθανοί συνδυασμοί

bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Πως ορίζεται η ιδιότητα

bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό

μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης

του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Λόγοι επιλογής ιδιοτήτων

bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων

bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή

bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)

bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδοι Αντιμετώπισης

bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδος φιλτραρίσματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Υπολογισμός μέτρωνποιότητας των ιδιοτήτων

Επαύξηση ή μείωση των ιδιοτήτων

Είναι αποδεκτό τοαξιολογημένουποσύνολο

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Επιλογή νέου υποσυνόλουιδιοτήτων

Μέθοδοςφιλτραρίσματος

Γενετικός Αλγόριθμος

Μέθοδος περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Εκπαιδευμένο Μοντέλο

Σύνολοδεδομένων

Κατασκευή συνόλου δεδομένων

Αξιολογημένο Μοντέλο

Εκπαίδευση Αλγορίθμου

Αξιολόγηση Αλγορίθμου

Είναι αποδεκτό τοαξιολογημένο

μοντέλο

Επιλογή νέου υποσυνόλουιδιοτήτων

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Κ-κοντινότεροι γείτονες

Περιτύλιξη με Γενετικό Αλγόριθμο

bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων

bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου

ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων

ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας

γενετικούς τελεστές

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

11 22 33 4400

B1B1 B2B2 B3B3 B4B4 B5B5

Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων

Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με

κωδικό 104 (Γεωπονική) στις 5 μμ

000000 00110011 000000 1000010000 0001000010 0000000000 00

P = ΝΟ2 S = 104

F = αδιάφορο

H1 = 1700 O = 0

H2 = αδιάφορο

ΣημαίαΣυγκεντρωτικής ιδιότητας = 0

Επέλεξε τη μέση συγκέντρωση του

SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ

100100 01110111 000000 0001100011 1010010100 0001000010 11

P = ΝΟ2 S = 108

F = Μέση τιμή-Avg

H1 = 400 O = -2

H2 = 2100

ΣημαίαΣυγκεντρωτικής ιδιότητας = 1

Η Κωδικοποίηση του γενότυπου

Η συνάρτηση προσαρμογής

bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του

αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο

υποσύνολο ιδιοτήτων της λύσης

nA

iAb

nE

iEa

iAiEF

max

)(

max

)(1

))()((

a lt= 1 b lt= 1 a + b = 1

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Οι παράμετροι της συνάρτησης προσαρμογής a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE

bull et = Xt ndash Ft

bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής

bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

n

e

RMSE

n

tt

1

2

n

tt

n

ttt

X

Xe

WSE

1

2

1

2

Ρύθμιση του μεγέθους πληθυσμού

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Population Sizes

0

05

1

15

2

25

3

35

4

5 10 20 30 40 50 100

Population Size

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση συντελεστών a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Coefficient pairs

0

5

10

15

20

25

30

35

01 09 03 07 05 05 07 03 08 02 09 01 095 005

ab pairs

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage

0

05

1

15

2

25

3

35

10 30 40 50 60 70 80 90

Mutation rate ()

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers

0

05

1

15

2

25

3

35

4

1 2 3 4 5 8 10 15

Elite members

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeatures

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Η μέθοδος CFS

bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την

εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις

ιδιότητες του υποσυνόλου

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

)1( ii

cis

rkkk

rkG

Σύγκριση των δύο μεθόδων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

000

1000

2000

3000

4000

5000

6000

7000

8000

9000

ZeroR DecisionStump

DecisionTable

IB1 IB3 IB9 LinearRegression

M5Prime

GA Mean absolute error GA Root mean squared error

CFS Mean absolute error CFS Root mean squared error

Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης

bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης

ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART

bull Συνδυασμένος ταξινομητής

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το σύστημα ΠΛ ΝΕΜΟ (1)

Όμοιες περιπτώσεις

Επιλογέας κοντινών περιπτώσεων

Φίλτρο κοντινών περιπτώσεων

Προσαρμογέας κοντινών περιπτώσεων

Προβλέπτης λύσης

Προτεινόμενη λύση

ΝΕΜΟ

Βάση περιπτώσεων

Κοντινέςπεριπτώσεις

Βάση Γνώσης

Νέα περίπτωση

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία

αναστροφή

βροχόπτωση

άνεμος

NO στις 10 πμ

NO στις 9 πμ

NO στις 8 πμ

NO2 στις 10 πμ

NO2 στις 9 πμ

NO2 στις 8 πμ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Έξοδος

Το δέντρο απόφασης (1)NOat10

NOat10

NOat10

NOat10

Wind

NOat9

Rain

Inversion

NOat9

NO2at8 Wind

Radiation

1(26518)

1(235)

2(4412)

1(83) 2(104) 1(100)

2(101) 1(101)

2(10035)

3(5313)

4(80)

4(124)3(91)

lt=027 gt027

lt=021

gt067

gt021

lt=067

lt=04 gt04

lt=057 gt057

lt=066 gt066

lt=047 gt047

lt=021 gt021

=0 =1

lt=021 gt021 lt=08 gt08

lt=036 gt036

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το δέντρο απόφασης (2)

0

021

025

04 057

105 075

027

12

1 2 3

4

34

066

0

1

02

04

06

08

ΝΟ στις10πμ

Θερ

μο

κρα

σια

κή α

νασ

τρο

φή

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Ο συνδυασμένος ταξινομητής

bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (1)

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

134

38

522

122

93

8

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΝΕΜΟ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

Αποτελέσματα Πίνακες Σύγχυσης (2)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

40

4221

8 317

8

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΔΑ CART

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (3)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

42

8216

8 69

4 4

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΤΝΔ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (4)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

138

38

4124

122

13

2

6

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Στατιστικά για τους 4 αλγόριθμους

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

CART NeuralNet NEMO ML Ensemble

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 24: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Αέρια Ρύπανση

bull Παρακολούθηση και πρόβλεψη των επιβλαβών ρύπωνndash Ο3

ndash ΝΟx

ndash PM10 Σωματίδιαndash Καπνός

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Τα προβλήματα του ΠΕΡΠΑ

bull Πρόβλεψη της μέγιστης συγκέντρωσης για τους ρύπουςndash ΝΟ2

ndash Ο3

bull Για τις χρονικές περιόδουςndash Ίδια ημέρα μετά τις 10 πμndash Επόμενη ημέρα

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Π1Π2 Πρόβλεψη την ίδια ημέρα

0

50

100

150

200

250

300

350

400

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

Hour

pp

b

0

20

40

60

80

100

120

140

pp

b

NO2 NO SO2 CO O3

ΠρόβλεψηΣυλλογή δεδομένων

O3 m

ax

NO

2 max

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Π3Π4 Πρόβλεψη για την επόμενη ημέρα

0

100

200

300

400

500

600

700

800

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

Hour

pp

b

0

5

10

15

20

25

30

35

40

pp

b

NO2 NO SO2 CO O3

ΠρόβλεψηΣυλλογή δεδομένων

O3 m

axNO

2 max

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Προ-επεξεργασία των δεδομένων

bull Αντιμετώπιση θορύβου

bull Αντικατάσταση ελλιπών τιμών

3Προ-επεξεργασία3Προ-επεξεργασία

Μελέτη θορύβου

bull 2 μοντέλα θορύβουndash Ύπαρξη θορύβου μόνο στις ιδιότητεςndash Ύπαρξη θορύβου και στις ιδιότητες και

στην εξαρτημένη μεταβλητή

bull Εκτίμηση απόκλισης τιμής ιδιότητας λόγω θορύβου

3Προ-επεξεργασία3Προ-επεξεργασία

piii zxx

Αποτελέσματα μελέτης θορύβου- 1ο μοντέλο

-2

-1

0

1

2

3

4

5

6

7

8

0 005 01 02 03 04 05

IB1 - Attribute IBk -K 9 - Attribute LinearRegression - Attribute M5Prime - Attribute NeuralNetwork - Attribute ZeroR - Attribute

Drop Page Fields Here

Average of Root mean squared error (diff)

Noise Level

Scheme

Noise Model

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα μελέτης θορύβου- 2ο μοντέλο

0

5

10

15

20

25

30

0 005 01 02 03 04 05

IB1 - AttributeClassVar IBk -K 9 - AttributeClassVar LinearRegression - AttributeClassVar

M5Prime - AttributeClassVar NeuralNetwork - AttributeClassVar ZeroR - AttributeClassVar

Drop Page Fields Here

Average of Root mean squared error (diff)

Noise Level

Scheme

Noise Model

3Προ-επεξεργασία3Προ-επεξεργασία

Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών

bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj

1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα

παραδείγματα που ανήκουν στην κλάση Υj

3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)

4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμών-RMSE

-012

-01

-008

-006

-004

-002

0

002

004

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Root mean squared error (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου

-25

-2

-15

-1

-05

0

05

1

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Time taken to build model (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Μείωση των διαστάσεων

bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Επιλογή των ιδιοτήτων57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

15

13

14

14

14

47

45

6

51

bull 2ν πιθανοί συνδυασμοί

bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Πως ορίζεται η ιδιότητα

bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό

μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης

του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Λόγοι επιλογής ιδιοτήτων

bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων

bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή

bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)

bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδοι Αντιμετώπισης

bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδος φιλτραρίσματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Υπολογισμός μέτρωνποιότητας των ιδιοτήτων

Επαύξηση ή μείωση των ιδιοτήτων

Είναι αποδεκτό τοαξιολογημένουποσύνολο

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Επιλογή νέου υποσυνόλουιδιοτήτων

Μέθοδοςφιλτραρίσματος

Γενετικός Αλγόριθμος

Μέθοδος περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Εκπαιδευμένο Μοντέλο

Σύνολοδεδομένων

Κατασκευή συνόλου δεδομένων

Αξιολογημένο Μοντέλο

Εκπαίδευση Αλγορίθμου

Αξιολόγηση Αλγορίθμου

Είναι αποδεκτό τοαξιολογημένο

μοντέλο

Επιλογή νέου υποσυνόλουιδιοτήτων

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Κ-κοντινότεροι γείτονες

Περιτύλιξη με Γενετικό Αλγόριθμο

bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων

bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου

ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων

ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας

γενετικούς τελεστές

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

11 22 33 4400

B1B1 B2B2 B3B3 B4B4 B5B5

Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων

Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με

κωδικό 104 (Γεωπονική) στις 5 μμ

000000 00110011 000000 1000010000 0001000010 0000000000 00

P = ΝΟ2 S = 104

F = αδιάφορο

H1 = 1700 O = 0

H2 = αδιάφορο

ΣημαίαΣυγκεντρωτικής ιδιότητας = 0

Επέλεξε τη μέση συγκέντρωση του

SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ

100100 01110111 000000 0001100011 1010010100 0001000010 11

P = ΝΟ2 S = 108

F = Μέση τιμή-Avg

H1 = 400 O = -2

H2 = 2100

ΣημαίαΣυγκεντρωτικής ιδιότητας = 1

Η Κωδικοποίηση του γενότυπου

Η συνάρτηση προσαρμογής

bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του

αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο

υποσύνολο ιδιοτήτων της λύσης

nA

iAb

nE

iEa

iAiEF

max

)(

max

)(1

))()((

a lt= 1 b lt= 1 a + b = 1

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Οι παράμετροι της συνάρτησης προσαρμογής a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE

bull et = Xt ndash Ft

bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής

bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

n

e

RMSE

n

tt

1

2

n

tt

n

ttt

X

Xe

WSE

1

2

1

2

Ρύθμιση του μεγέθους πληθυσμού

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Population Sizes

0

05

1

15

2

25

3

35

4

5 10 20 30 40 50 100

Population Size

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση συντελεστών a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Coefficient pairs

0

5

10

15

20

25

30

35

01 09 03 07 05 05 07 03 08 02 09 01 095 005

ab pairs

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage

0

05

1

15

2

25

3

35

10 30 40 50 60 70 80 90

Mutation rate ()

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers

0

05

1

15

2

25

3

35

4

1 2 3 4 5 8 10 15

Elite members

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeatures

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Η μέθοδος CFS

bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την

εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις

ιδιότητες του υποσυνόλου

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

)1( ii

cis

rkkk

rkG

Σύγκριση των δύο μεθόδων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

000

1000

2000

3000

4000

5000

6000

7000

8000

9000

ZeroR DecisionStump

DecisionTable

IB1 IB3 IB9 LinearRegression

M5Prime

GA Mean absolute error GA Root mean squared error

CFS Mean absolute error CFS Root mean squared error

Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης

bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης

ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART

bull Συνδυασμένος ταξινομητής

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το σύστημα ΠΛ ΝΕΜΟ (1)

Όμοιες περιπτώσεις

Επιλογέας κοντινών περιπτώσεων

Φίλτρο κοντινών περιπτώσεων

Προσαρμογέας κοντινών περιπτώσεων

Προβλέπτης λύσης

Προτεινόμενη λύση

ΝΕΜΟ

Βάση περιπτώσεων

Κοντινέςπεριπτώσεις

Βάση Γνώσης

Νέα περίπτωση

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία

αναστροφή

βροχόπτωση

άνεμος

NO στις 10 πμ

NO στις 9 πμ

NO στις 8 πμ

NO2 στις 10 πμ

NO2 στις 9 πμ

NO2 στις 8 πμ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Έξοδος

Το δέντρο απόφασης (1)NOat10

NOat10

NOat10

NOat10

Wind

NOat9

Rain

Inversion

NOat9

NO2at8 Wind

Radiation

1(26518)

1(235)

2(4412)

1(83) 2(104) 1(100)

2(101) 1(101)

2(10035)

3(5313)

4(80)

4(124)3(91)

lt=027 gt027

lt=021

gt067

gt021

lt=067

lt=04 gt04

lt=057 gt057

lt=066 gt066

lt=047 gt047

lt=021 gt021

=0 =1

lt=021 gt021 lt=08 gt08

lt=036 gt036

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το δέντρο απόφασης (2)

0

021

025

04 057

105 075

027

12

1 2 3

4

34

066

0

1

02

04

06

08

ΝΟ στις10πμ

Θερ

μο

κρα

σια

κή α

νασ

τρο

φή

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Ο συνδυασμένος ταξινομητής

bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (1)

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

134

38

522

122

93

8

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΝΕΜΟ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

Αποτελέσματα Πίνακες Σύγχυσης (2)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

40

4221

8 317

8

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΔΑ CART

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (3)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

42

8216

8 69

4 4

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΤΝΔ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (4)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

138

38

4124

122

13

2

6

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Στατιστικά για τους 4 αλγόριθμους

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

CART NeuralNet NEMO ML Ensemble

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 25: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Τα προβλήματα του ΠΕΡΠΑ

bull Πρόβλεψη της μέγιστης συγκέντρωσης για τους ρύπουςndash ΝΟ2

ndash Ο3

bull Για τις χρονικές περιόδουςndash Ίδια ημέρα μετά τις 10 πμndash Επόμενη ημέρα

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Π1Π2 Πρόβλεψη την ίδια ημέρα

0

50

100

150

200

250

300

350

400

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

Hour

pp

b

0

20

40

60

80

100

120

140

pp

b

NO2 NO SO2 CO O3

ΠρόβλεψηΣυλλογή δεδομένων

O3 m

ax

NO

2 max

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Π3Π4 Πρόβλεψη για την επόμενη ημέρα

0

100

200

300

400

500

600

700

800

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

Hour

pp

b

0

5

10

15

20

25

30

35

40

pp

b

NO2 NO SO2 CO O3

ΠρόβλεψηΣυλλογή δεδομένων

O3 m

axNO

2 max

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Προ-επεξεργασία των δεδομένων

bull Αντιμετώπιση θορύβου

bull Αντικατάσταση ελλιπών τιμών

3Προ-επεξεργασία3Προ-επεξεργασία

Μελέτη θορύβου

bull 2 μοντέλα θορύβουndash Ύπαρξη θορύβου μόνο στις ιδιότητεςndash Ύπαρξη θορύβου και στις ιδιότητες και

στην εξαρτημένη μεταβλητή

bull Εκτίμηση απόκλισης τιμής ιδιότητας λόγω θορύβου

3Προ-επεξεργασία3Προ-επεξεργασία

piii zxx

Αποτελέσματα μελέτης θορύβου- 1ο μοντέλο

-2

-1

0

1

2

3

4

5

6

7

8

0 005 01 02 03 04 05

IB1 - Attribute IBk -K 9 - Attribute LinearRegression - Attribute M5Prime - Attribute NeuralNetwork - Attribute ZeroR - Attribute

Drop Page Fields Here

Average of Root mean squared error (diff)

Noise Level

Scheme

Noise Model

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα μελέτης θορύβου- 2ο μοντέλο

0

5

10

15

20

25

30

0 005 01 02 03 04 05

IB1 - AttributeClassVar IBk -K 9 - AttributeClassVar LinearRegression - AttributeClassVar

M5Prime - AttributeClassVar NeuralNetwork - AttributeClassVar ZeroR - AttributeClassVar

Drop Page Fields Here

Average of Root mean squared error (diff)

Noise Level

Scheme

Noise Model

3Προ-επεξεργασία3Προ-επεξεργασία

Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών

bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj

1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα

παραδείγματα που ανήκουν στην κλάση Υj

3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)

4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμών-RMSE

-012

-01

-008

-006

-004

-002

0

002

004

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Root mean squared error (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου

-25

-2

-15

-1

-05

0

05

1

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Time taken to build model (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Μείωση των διαστάσεων

bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Επιλογή των ιδιοτήτων57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

15

13

14

14

14

47

45

6

51

bull 2ν πιθανοί συνδυασμοί

bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Πως ορίζεται η ιδιότητα

bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό

μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης

του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Λόγοι επιλογής ιδιοτήτων

bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων

bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή

bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)

bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδοι Αντιμετώπισης

bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδος φιλτραρίσματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Υπολογισμός μέτρωνποιότητας των ιδιοτήτων

Επαύξηση ή μείωση των ιδιοτήτων

Είναι αποδεκτό τοαξιολογημένουποσύνολο

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Επιλογή νέου υποσυνόλουιδιοτήτων

Μέθοδοςφιλτραρίσματος

Γενετικός Αλγόριθμος

Μέθοδος περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Εκπαιδευμένο Μοντέλο

Σύνολοδεδομένων

Κατασκευή συνόλου δεδομένων

Αξιολογημένο Μοντέλο

Εκπαίδευση Αλγορίθμου

Αξιολόγηση Αλγορίθμου

Είναι αποδεκτό τοαξιολογημένο

μοντέλο

Επιλογή νέου υποσυνόλουιδιοτήτων

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Κ-κοντινότεροι γείτονες

Περιτύλιξη με Γενετικό Αλγόριθμο

bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων

bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου

ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων

ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας

γενετικούς τελεστές

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

11 22 33 4400

B1B1 B2B2 B3B3 B4B4 B5B5

Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων

Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με

κωδικό 104 (Γεωπονική) στις 5 μμ

000000 00110011 000000 1000010000 0001000010 0000000000 00

P = ΝΟ2 S = 104

F = αδιάφορο

H1 = 1700 O = 0

H2 = αδιάφορο

ΣημαίαΣυγκεντρωτικής ιδιότητας = 0

Επέλεξε τη μέση συγκέντρωση του

SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ

100100 01110111 000000 0001100011 1010010100 0001000010 11

P = ΝΟ2 S = 108

F = Μέση τιμή-Avg

H1 = 400 O = -2

H2 = 2100

ΣημαίαΣυγκεντρωτικής ιδιότητας = 1

Η Κωδικοποίηση του γενότυπου

Η συνάρτηση προσαρμογής

bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του

αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο

υποσύνολο ιδιοτήτων της λύσης

nA

iAb

nE

iEa

iAiEF

max

)(

max

)(1

))()((

a lt= 1 b lt= 1 a + b = 1

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Οι παράμετροι της συνάρτησης προσαρμογής a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE

bull et = Xt ndash Ft

bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής

bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

n

e

RMSE

n

tt

1

2

n

tt

n

ttt

X

Xe

WSE

1

2

1

2

Ρύθμιση του μεγέθους πληθυσμού

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Population Sizes

0

05

1

15

2

25

3

35

4

5 10 20 30 40 50 100

Population Size

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση συντελεστών a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Coefficient pairs

0

5

10

15

20

25

30

35

01 09 03 07 05 05 07 03 08 02 09 01 095 005

ab pairs

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage

0

05

1

15

2

25

3

35

10 30 40 50 60 70 80 90

Mutation rate ()

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers

0

05

1

15

2

25

3

35

4

1 2 3 4 5 8 10 15

Elite members

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeatures

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Η μέθοδος CFS

bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την

εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις

ιδιότητες του υποσυνόλου

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

)1( ii

cis

rkkk

rkG

Σύγκριση των δύο μεθόδων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

000

1000

2000

3000

4000

5000

6000

7000

8000

9000

ZeroR DecisionStump

DecisionTable

IB1 IB3 IB9 LinearRegression

M5Prime

GA Mean absolute error GA Root mean squared error

CFS Mean absolute error CFS Root mean squared error

Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης

bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης

ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART

bull Συνδυασμένος ταξινομητής

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το σύστημα ΠΛ ΝΕΜΟ (1)

Όμοιες περιπτώσεις

Επιλογέας κοντινών περιπτώσεων

Φίλτρο κοντινών περιπτώσεων

Προσαρμογέας κοντινών περιπτώσεων

Προβλέπτης λύσης

Προτεινόμενη λύση

ΝΕΜΟ

Βάση περιπτώσεων

Κοντινέςπεριπτώσεις

Βάση Γνώσης

Νέα περίπτωση

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία

αναστροφή

βροχόπτωση

άνεμος

NO στις 10 πμ

NO στις 9 πμ

NO στις 8 πμ

NO2 στις 10 πμ

NO2 στις 9 πμ

NO2 στις 8 πμ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Έξοδος

Το δέντρο απόφασης (1)NOat10

NOat10

NOat10

NOat10

Wind

NOat9

Rain

Inversion

NOat9

NO2at8 Wind

Radiation

1(26518)

1(235)

2(4412)

1(83) 2(104) 1(100)

2(101) 1(101)

2(10035)

3(5313)

4(80)

4(124)3(91)

lt=027 gt027

lt=021

gt067

gt021

lt=067

lt=04 gt04

lt=057 gt057

lt=066 gt066

lt=047 gt047

lt=021 gt021

=0 =1

lt=021 gt021 lt=08 gt08

lt=036 gt036

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το δέντρο απόφασης (2)

0

021

025

04 057

105 075

027

12

1 2 3

4

34

066

0

1

02

04

06

08

ΝΟ στις10πμ

Θερ

μο

κρα

σια

κή α

νασ

τρο

φή

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Ο συνδυασμένος ταξινομητής

bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (1)

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

134

38

522

122

93

8

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΝΕΜΟ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

Αποτελέσματα Πίνακες Σύγχυσης (2)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

40

4221

8 317

8

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΔΑ CART

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (3)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

42

8216

8 69

4 4

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΤΝΔ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (4)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

138

38

4124

122

13

2

6

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Στατιστικά για τους 4 αλγόριθμους

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

CART NeuralNet NEMO ML Ensemble

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 26: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Π1Π2 Πρόβλεψη την ίδια ημέρα

0

50

100

150

200

250

300

350

400

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

Hour

pp

b

0

20

40

60

80

100

120

140

pp

b

NO2 NO SO2 CO O3

ΠρόβλεψηΣυλλογή δεδομένων

O3 m

ax

NO

2 max

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Π3Π4 Πρόβλεψη για την επόμενη ημέρα

0

100

200

300

400

500

600

700

800

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

Hour

pp

b

0

5

10

15

20

25

30

35

40

pp

b

NO2 NO SO2 CO O3

ΠρόβλεψηΣυλλογή δεδομένων

O3 m

axNO

2 max

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Προ-επεξεργασία των δεδομένων

bull Αντιμετώπιση θορύβου

bull Αντικατάσταση ελλιπών τιμών

3Προ-επεξεργασία3Προ-επεξεργασία

Μελέτη θορύβου

bull 2 μοντέλα θορύβουndash Ύπαρξη θορύβου μόνο στις ιδιότητεςndash Ύπαρξη θορύβου και στις ιδιότητες και

στην εξαρτημένη μεταβλητή

bull Εκτίμηση απόκλισης τιμής ιδιότητας λόγω θορύβου

3Προ-επεξεργασία3Προ-επεξεργασία

piii zxx

Αποτελέσματα μελέτης θορύβου- 1ο μοντέλο

-2

-1

0

1

2

3

4

5

6

7

8

0 005 01 02 03 04 05

IB1 - Attribute IBk -K 9 - Attribute LinearRegression - Attribute M5Prime - Attribute NeuralNetwork - Attribute ZeroR - Attribute

Drop Page Fields Here

Average of Root mean squared error (diff)

Noise Level

Scheme

Noise Model

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα μελέτης θορύβου- 2ο μοντέλο

0

5

10

15

20

25

30

0 005 01 02 03 04 05

IB1 - AttributeClassVar IBk -K 9 - AttributeClassVar LinearRegression - AttributeClassVar

M5Prime - AttributeClassVar NeuralNetwork - AttributeClassVar ZeroR - AttributeClassVar

Drop Page Fields Here

Average of Root mean squared error (diff)

Noise Level

Scheme

Noise Model

3Προ-επεξεργασία3Προ-επεξεργασία

Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών

bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj

1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα

παραδείγματα που ανήκουν στην κλάση Υj

3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)

4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμών-RMSE

-012

-01

-008

-006

-004

-002

0

002

004

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Root mean squared error (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου

-25

-2

-15

-1

-05

0

05

1

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Time taken to build model (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Μείωση των διαστάσεων

bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Επιλογή των ιδιοτήτων57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

15

13

14

14

14

47

45

6

51

bull 2ν πιθανοί συνδυασμοί

bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Πως ορίζεται η ιδιότητα

bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό

μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης

του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Λόγοι επιλογής ιδιοτήτων

bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων

bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή

bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)

bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδοι Αντιμετώπισης

bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδος φιλτραρίσματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Υπολογισμός μέτρωνποιότητας των ιδιοτήτων

Επαύξηση ή μείωση των ιδιοτήτων

Είναι αποδεκτό τοαξιολογημένουποσύνολο

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Επιλογή νέου υποσυνόλουιδιοτήτων

Μέθοδοςφιλτραρίσματος

Γενετικός Αλγόριθμος

Μέθοδος περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Εκπαιδευμένο Μοντέλο

Σύνολοδεδομένων

Κατασκευή συνόλου δεδομένων

Αξιολογημένο Μοντέλο

Εκπαίδευση Αλγορίθμου

Αξιολόγηση Αλγορίθμου

Είναι αποδεκτό τοαξιολογημένο

μοντέλο

Επιλογή νέου υποσυνόλουιδιοτήτων

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Κ-κοντινότεροι γείτονες

Περιτύλιξη με Γενετικό Αλγόριθμο

bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων

bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου

ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων

ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας

γενετικούς τελεστές

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

11 22 33 4400

B1B1 B2B2 B3B3 B4B4 B5B5

Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων

Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με

κωδικό 104 (Γεωπονική) στις 5 μμ

000000 00110011 000000 1000010000 0001000010 0000000000 00

P = ΝΟ2 S = 104

F = αδιάφορο

H1 = 1700 O = 0

H2 = αδιάφορο

ΣημαίαΣυγκεντρωτικής ιδιότητας = 0

Επέλεξε τη μέση συγκέντρωση του

SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ

100100 01110111 000000 0001100011 1010010100 0001000010 11

P = ΝΟ2 S = 108

F = Μέση τιμή-Avg

H1 = 400 O = -2

H2 = 2100

ΣημαίαΣυγκεντρωτικής ιδιότητας = 1

Η Κωδικοποίηση του γενότυπου

Η συνάρτηση προσαρμογής

bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του

αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο

υποσύνολο ιδιοτήτων της λύσης

nA

iAb

nE

iEa

iAiEF

max

)(

max

)(1

))()((

a lt= 1 b lt= 1 a + b = 1

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Οι παράμετροι της συνάρτησης προσαρμογής a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE

bull et = Xt ndash Ft

bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής

bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

n

e

RMSE

n

tt

1

2

n

tt

n

ttt

X

Xe

WSE

1

2

1

2

Ρύθμιση του μεγέθους πληθυσμού

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Population Sizes

0

05

1

15

2

25

3

35

4

5 10 20 30 40 50 100

Population Size

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση συντελεστών a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Coefficient pairs

0

5

10

15

20

25

30

35

01 09 03 07 05 05 07 03 08 02 09 01 095 005

ab pairs

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage

0

05

1

15

2

25

3

35

10 30 40 50 60 70 80 90

Mutation rate ()

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers

0

05

1

15

2

25

3

35

4

1 2 3 4 5 8 10 15

Elite members

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeatures

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Η μέθοδος CFS

bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την

εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις

ιδιότητες του υποσυνόλου

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

)1( ii

cis

rkkk

rkG

Σύγκριση των δύο μεθόδων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

000

1000

2000

3000

4000

5000

6000

7000

8000

9000

ZeroR DecisionStump

DecisionTable

IB1 IB3 IB9 LinearRegression

M5Prime

GA Mean absolute error GA Root mean squared error

CFS Mean absolute error CFS Root mean squared error

Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης

bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης

ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART

bull Συνδυασμένος ταξινομητής

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το σύστημα ΠΛ ΝΕΜΟ (1)

Όμοιες περιπτώσεις

Επιλογέας κοντινών περιπτώσεων

Φίλτρο κοντινών περιπτώσεων

Προσαρμογέας κοντινών περιπτώσεων

Προβλέπτης λύσης

Προτεινόμενη λύση

ΝΕΜΟ

Βάση περιπτώσεων

Κοντινέςπεριπτώσεις

Βάση Γνώσης

Νέα περίπτωση

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία

αναστροφή

βροχόπτωση

άνεμος

NO στις 10 πμ

NO στις 9 πμ

NO στις 8 πμ

NO2 στις 10 πμ

NO2 στις 9 πμ

NO2 στις 8 πμ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Έξοδος

Το δέντρο απόφασης (1)NOat10

NOat10

NOat10

NOat10

Wind

NOat9

Rain

Inversion

NOat9

NO2at8 Wind

Radiation

1(26518)

1(235)

2(4412)

1(83) 2(104) 1(100)

2(101) 1(101)

2(10035)

3(5313)

4(80)

4(124)3(91)

lt=027 gt027

lt=021

gt067

gt021

lt=067

lt=04 gt04

lt=057 gt057

lt=066 gt066

lt=047 gt047

lt=021 gt021

=0 =1

lt=021 gt021 lt=08 gt08

lt=036 gt036

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το δέντρο απόφασης (2)

0

021

025

04 057

105 075

027

12

1 2 3

4

34

066

0

1

02

04

06

08

ΝΟ στις10πμ

Θερ

μο

κρα

σια

κή α

νασ

τρο

φή

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Ο συνδυασμένος ταξινομητής

bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (1)

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

134

38

522

122

93

8

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΝΕΜΟ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

Αποτελέσματα Πίνακες Σύγχυσης (2)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

40

4221

8 317

8

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΔΑ CART

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (3)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

42

8216

8 69

4 4

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΤΝΔ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (4)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

138

38

4124

122

13

2

6

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Στατιστικά για τους 4 αλγόριθμους

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

CART NeuralNet NEMO ML Ensemble

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 27: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Π3Π4 Πρόβλεψη για την επόμενη ημέρα

0

100

200

300

400

500

600

700

800

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

Hour

pp

b

0

5

10

15

20

25

30

35

40

pp

b

NO2 NO SO2 CO O3

ΠρόβλεψηΣυλλογή δεδομένων

O3 m

axNO

2 max

2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική

Προ-επεξεργασία των δεδομένων

bull Αντιμετώπιση θορύβου

bull Αντικατάσταση ελλιπών τιμών

3Προ-επεξεργασία3Προ-επεξεργασία

Μελέτη θορύβου

bull 2 μοντέλα θορύβουndash Ύπαρξη θορύβου μόνο στις ιδιότητεςndash Ύπαρξη θορύβου και στις ιδιότητες και

στην εξαρτημένη μεταβλητή

bull Εκτίμηση απόκλισης τιμής ιδιότητας λόγω θορύβου

3Προ-επεξεργασία3Προ-επεξεργασία

piii zxx

Αποτελέσματα μελέτης θορύβου- 1ο μοντέλο

-2

-1

0

1

2

3

4

5

6

7

8

0 005 01 02 03 04 05

IB1 - Attribute IBk -K 9 - Attribute LinearRegression - Attribute M5Prime - Attribute NeuralNetwork - Attribute ZeroR - Attribute

Drop Page Fields Here

Average of Root mean squared error (diff)

Noise Level

Scheme

Noise Model

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα μελέτης θορύβου- 2ο μοντέλο

0

5

10

15

20

25

30

0 005 01 02 03 04 05

IB1 - AttributeClassVar IBk -K 9 - AttributeClassVar LinearRegression - AttributeClassVar

M5Prime - AttributeClassVar NeuralNetwork - AttributeClassVar ZeroR - AttributeClassVar

Drop Page Fields Here

Average of Root mean squared error (diff)

Noise Level

Scheme

Noise Model

3Προ-επεξεργασία3Προ-επεξεργασία

Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών

bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj

1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα

παραδείγματα που ανήκουν στην κλάση Υj

3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)

4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμών-RMSE

-012

-01

-008

-006

-004

-002

0

002

004

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Root mean squared error (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου

-25

-2

-15

-1

-05

0

05

1

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Time taken to build model (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Μείωση των διαστάσεων

bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Επιλογή των ιδιοτήτων57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

15

13

14

14

14

47

45

6

51

bull 2ν πιθανοί συνδυασμοί

bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Πως ορίζεται η ιδιότητα

bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό

μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης

του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Λόγοι επιλογής ιδιοτήτων

bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων

bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή

bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)

bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδοι Αντιμετώπισης

bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδος φιλτραρίσματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Υπολογισμός μέτρωνποιότητας των ιδιοτήτων

Επαύξηση ή μείωση των ιδιοτήτων

Είναι αποδεκτό τοαξιολογημένουποσύνολο

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Επιλογή νέου υποσυνόλουιδιοτήτων

Μέθοδοςφιλτραρίσματος

Γενετικός Αλγόριθμος

Μέθοδος περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Εκπαιδευμένο Μοντέλο

Σύνολοδεδομένων

Κατασκευή συνόλου δεδομένων

Αξιολογημένο Μοντέλο

Εκπαίδευση Αλγορίθμου

Αξιολόγηση Αλγορίθμου

Είναι αποδεκτό τοαξιολογημένο

μοντέλο

Επιλογή νέου υποσυνόλουιδιοτήτων

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Κ-κοντινότεροι γείτονες

Περιτύλιξη με Γενετικό Αλγόριθμο

bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων

bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου

ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων

ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας

γενετικούς τελεστές

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

11 22 33 4400

B1B1 B2B2 B3B3 B4B4 B5B5

Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων

Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με

κωδικό 104 (Γεωπονική) στις 5 μμ

000000 00110011 000000 1000010000 0001000010 0000000000 00

P = ΝΟ2 S = 104

F = αδιάφορο

H1 = 1700 O = 0

H2 = αδιάφορο

ΣημαίαΣυγκεντρωτικής ιδιότητας = 0

Επέλεξε τη μέση συγκέντρωση του

SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ

100100 01110111 000000 0001100011 1010010100 0001000010 11

P = ΝΟ2 S = 108

F = Μέση τιμή-Avg

H1 = 400 O = -2

H2 = 2100

ΣημαίαΣυγκεντρωτικής ιδιότητας = 1

Η Κωδικοποίηση του γενότυπου

Η συνάρτηση προσαρμογής

bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του

αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο

υποσύνολο ιδιοτήτων της λύσης

nA

iAb

nE

iEa

iAiEF

max

)(

max

)(1

))()((

a lt= 1 b lt= 1 a + b = 1

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Οι παράμετροι της συνάρτησης προσαρμογής a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE

bull et = Xt ndash Ft

bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής

bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

n

e

RMSE

n

tt

1

2

n

tt

n

ttt

X

Xe

WSE

1

2

1

2

Ρύθμιση του μεγέθους πληθυσμού

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Population Sizes

0

05

1

15

2

25

3

35

4

5 10 20 30 40 50 100

Population Size

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση συντελεστών a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Coefficient pairs

0

5

10

15

20

25

30

35

01 09 03 07 05 05 07 03 08 02 09 01 095 005

ab pairs

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage

0

05

1

15

2

25

3

35

10 30 40 50 60 70 80 90

Mutation rate ()

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers

0

05

1

15

2

25

3

35

4

1 2 3 4 5 8 10 15

Elite members

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeatures

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Η μέθοδος CFS

bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την

εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις

ιδιότητες του υποσυνόλου

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

)1( ii

cis

rkkk

rkG

Σύγκριση των δύο μεθόδων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

000

1000

2000

3000

4000

5000

6000

7000

8000

9000

ZeroR DecisionStump

DecisionTable

IB1 IB3 IB9 LinearRegression

M5Prime

GA Mean absolute error GA Root mean squared error

CFS Mean absolute error CFS Root mean squared error

Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης

bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης

ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART

bull Συνδυασμένος ταξινομητής

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το σύστημα ΠΛ ΝΕΜΟ (1)

Όμοιες περιπτώσεις

Επιλογέας κοντινών περιπτώσεων

Φίλτρο κοντινών περιπτώσεων

Προσαρμογέας κοντινών περιπτώσεων

Προβλέπτης λύσης

Προτεινόμενη λύση

ΝΕΜΟ

Βάση περιπτώσεων

Κοντινέςπεριπτώσεις

Βάση Γνώσης

Νέα περίπτωση

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία

αναστροφή

βροχόπτωση

άνεμος

NO στις 10 πμ

NO στις 9 πμ

NO στις 8 πμ

NO2 στις 10 πμ

NO2 στις 9 πμ

NO2 στις 8 πμ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Έξοδος

Το δέντρο απόφασης (1)NOat10

NOat10

NOat10

NOat10

Wind

NOat9

Rain

Inversion

NOat9

NO2at8 Wind

Radiation

1(26518)

1(235)

2(4412)

1(83) 2(104) 1(100)

2(101) 1(101)

2(10035)

3(5313)

4(80)

4(124)3(91)

lt=027 gt027

lt=021

gt067

gt021

lt=067

lt=04 gt04

lt=057 gt057

lt=066 gt066

lt=047 gt047

lt=021 gt021

=0 =1

lt=021 gt021 lt=08 gt08

lt=036 gt036

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το δέντρο απόφασης (2)

0

021

025

04 057

105 075

027

12

1 2 3

4

34

066

0

1

02

04

06

08

ΝΟ στις10πμ

Θερ

μο

κρα

σια

κή α

νασ

τρο

φή

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Ο συνδυασμένος ταξινομητής

bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (1)

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

134

38

522

122

93

8

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΝΕΜΟ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

Αποτελέσματα Πίνακες Σύγχυσης (2)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

40

4221

8 317

8

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΔΑ CART

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (3)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

42

8216

8 69

4 4

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΤΝΔ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (4)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

138

38

4124

122

13

2

6

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Στατιστικά για τους 4 αλγόριθμους

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

CART NeuralNet NEMO ML Ensemble

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 28: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Προ-επεξεργασία των δεδομένων

bull Αντιμετώπιση θορύβου

bull Αντικατάσταση ελλιπών τιμών

3Προ-επεξεργασία3Προ-επεξεργασία

Μελέτη θορύβου

bull 2 μοντέλα θορύβουndash Ύπαρξη θορύβου μόνο στις ιδιότητεςndash Ύπαρξη θορύβου και στις ιδιότητες και

στην εξαρτημένη μεταβλητή

bull Εκτίμηση απόκλισης τιμής ιδιότητας λόγω θορύβου

3Προ-επεξεργασία3Προ-επεξεργασία

piii zxx

Αποτελέσματα μελέτης θορύβου- 1ο μοντέλο

-2

-1

0

1

2

3

4

5

6

7

8

0 005 01 02 03 04 05

IB1 - Attribute IBk -K 9 - Attribute LinearRegression - Attribute M5Prime - Attribute NeuralNetwork - Attribute ZeroR - Attribute

Drop Page Fields Here

Average of Root mean squared error (diff)

Noise Level

Scheme

Noise Model

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα μελέτης θορύβου- 2ο μοντέλο

0

5

10

15

20

25

30

0 005 01 02 03 04 05

IB1 - AttributeClassVar IBk -K 9 - AttributeClassVar LinearRegression - AttributeClassVar

M5Prime - AttributeClassVar NeuralNetwork - AttributeClassVar ZeroR - AttributeClassVar

Drop Page Fields Here

Average of Root mean squared error (diff)

Noise Level

Scheme

Noise Model

3Προ-επεξεργασία3Προ-επεξεργασία

Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών

bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj

1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα

παραδείγματα που ανήκουν στην κλάση Υj

3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)

4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμών-RMSE

-012

-01

-008

-006

-004

-002

0

002

004

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Root mean squared error (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου

-25

-2

-15

-1

-05

0

05

1

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Time taken to build model (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Μείωση των διαστάσεων

bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Επιλογή των ιδιοτήτων57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

15

13

14

14

14

47

45

6

51

bull 2ν πιθανοί συνδυασμοί

bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Πως ορίζεται η ιδιότητα

bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό

μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης

του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Λόγοι επιλογής ιδιοτήτων

bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων

bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή

bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)

bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδοι Αντιμετώπισης

bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδος φιλτραρίσματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Υπολογισμός μέτρωνποιότητας των ιδιοτήτων

Επαύξηση ή μείωση των ιδιοτήτων

Είναι αποδεκτό τοαξιολογημένουποσύνολο

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Επιλογή νέου υποσυνόλουιδιοτήτων

Μέθοδοςφιλτραρίσματος

Γενετικός Αλγόριθμος

Μέθοδος περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Εκπαιδευμένο Μοντέλο

Σύνολοδεδομένων

Κατασκευή συνόλου δεδομένων

Αξιολογημένο Μοντέλο

Εκπαίδευση Αλγορίθμου

Αξιολόγηση Αλγορίθμου

Είναι αποδεκτό τοαξιολογημένο

μοντέλο

Επιλογή νέου υποσυνόλουιδιοτήτων

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Κ-κοντινότεροι γείτονες

Περιτύλιξη με Γενετικό Αλγόριθμο

bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων

bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου

ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων

ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας

γενετικούς τελεστές

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

11 22 33 4400

B1B1 B2B2 B3B3 B4B4 B5B5

Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων

Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με

κωδικό 104 (Γεωπονική) στις 5 μμ

000000 00110011 000000 1000010000 0001000010 0000000000 00

P = ΝΟ2 S = 104

F = αδιάφορο

H1 = 1700 O = 0

H2 = αδιάφορο

ΣημαίαΣυγκεντρωτικής ιδιότητας = 0

Επέλεξε τη μέση συγκέντρωση του

SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ

100100 01110111 000000 0001100011 1010010100 0001000010 11

P = ΝΟ2 S = 108

F = Μέση τιμή-Avg

H1 = 400 O = -2

H2 = 2100

ΣημαίαΣυγκεντρωτικής ιδιότητας = 1

Η Κωδικοποίηση του γενότυπου

Η συνάρτηση προσαρμογής

bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του

αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο

υποσύνολο ιδιοτήτων της λύσης

nA

iAb

nE

iEa

iAiEF

max

)(

max

)(1

))()((

a lt= 1 b lt= 1 a + b = 1

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Οι παράμετροι της συνάρτησης προσαρμογής a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE

bull et = Xt ndash Ft

bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής

bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

n

e

RMSE

n

tt

1

2

n

tt

n

ttt

X

Xe

WSE

1

2

1

2

Ρύθμιση του μεγέθους πληθυσμού

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Population Sizes

0

05

1

15

2

25

3

35

4

5 10 20 30 40 50 100

Population Size

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση συντελεστών a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Coefficient pairs

0

5

10

15

20

25

30

35

01 09 03 07 05 05 07 03 08 02 09 01 095 005

ab pairs

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage

0

05

1

15

2

25

3

35

10 30 40 50 60 70 80 90

Mutation rate ()

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers

0

05

1

15

2

25

3

35

4

1 2 3 4 5 8 10 15

Elite members

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeatures

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Η μέθοδος CFS

bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την

εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις

ιδιότητες του υποσυνόλου

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

)1( ii

cis

rkkk

rkG

Σύγκριση των δύο μεθόδων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

000

1000

2000

3000

4000

5000

6000

7000

8000

9000

ZeroR DecisionStump

DecisionTable

IB1 IB3 IB9 LinearRegression

M5Prime

GA Mean absolute error GA Root mean squared error

CFS Mean absolute error CFS Root mean squared error

Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης

bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης

ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART

bull Συνδυασμένος ταξινομητής

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το σύστημα ΠΛ ΝΕΜΟ (1)

Όμοιες περιπτώσεις

Επιλογέας κοντινών περιπτώσεων

Φίλτρο κοντινών περιπτώσεων

Προσαρμογέας κοντινών περιπτώσεων

Προβλέπτης λύσης

Προτεινόμενη λύση

ΝΕΜΟ

Βάση περιπτώσεων

Κοντινέςπεριπτώσεις

Βάση Γνώσης

Νέα περίπτωση

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία

αναστροφή

βροχόπτωση

άνεμος

NO στις 10 πμ

NO στις 9 πμ

NO στις 8 πμ

NO2 στις 10 πμ

NO2 στις 9 πμ

NO2 στις 8 πμ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Έξοδος

Το δέντρο απόφασης (1)NOat10

NOat10

NOat10

NOat10

Wind

NOat9

Rain

Inversion

NOat9

NO2at8 Wind

Radiation

1(26518)

1(235)

2(4412)

1(83) 2(104) 1(100)

2(101) 1(101)

2(10035)

3(5313)

4(80)

4(124)3(91)

lt=027 gt027

lt=021

gt067

gt021

lt=067

lt=04 gt04

lt=057 gt057

lt=066 gt066

lt=047 gt047

lt=021 gt021

=0 =1

lt=021 gt021 lt=08 gt08

lt=036 gt036

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το δέντρο απόφασης (2)

0

021

025

04 057

105 075

027

12

1 2 3

4

34

066

0

1

02

04

06

08

ΝΟ στις10πμ

Θερ

μο

κρα

σια

κή α

νασ

τρο

φή

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Ο συνδυασμένος ταξινομητής

bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (1)

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

134

38

522

122

93

8

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΝΕΜΟ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

Αποτελέσματα Πίνακες Σύγχυσης (2)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

40

4221

8 317

8

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΔΑ CART

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (3)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

42

8216

8 69

4 4

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΤΝΔ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (4)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

138

38

4124

122

13

2

6

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Στατιστικά για τους 4 αλγόριθμους

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

CART NeuralNet NEMO ML Ensemble

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 29: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Μελέτη θορύβου

bull 2 μοντέλα θορύβουndash Ύπαρξη θορύβου μόνο στις ιδιότητεςndash Ύπαρξη θορύβου και στις ιδιότητες και

στην εξαρτημένη μεταβλητή

bull Εκτίμηση απόκλισης τιμής ιδιότητας λόγω θορύβου

3Προ-επεξεργασία3Προ-επεξεργασία

piii zxx

Αποτελέσματα μελέτης θορύβου- 1ο μοντέλο

-2

-1

0

1

2

3

4

5

6

7

8

0 005 01 02 03 04 05

IB1 - Attribute IBk -K 9 - Attribute LinearRegression - Attribute M5Prime - Attribute NeuralNetwork - Attribute ZeroR - Attribute

Drop Page Fields Here

Average of Root mean squared error (diff)

Noise Level

Scheme

Noise Model

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα μελέτης θορύβου- 2ο μοντέλο

0

5

10

15

20

25

30

0 005 01 02 03 04 05

IB1 - AttributeClassVar IBk -K 9 - AttributeClassVar LinearRegression - AttributeClassVar

M5Prime - AttributeClassVar NeuralNetwork - AttributeClassVar ZeroR - AttributeClassVar

Drop Page Fields Here

Average of Root mean squared error (diff)

Noise Level

Scheme

Noise Model

3Προ-επεξεργασία3Προ-επεξεργασία

Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών

bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj

1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα

παραδείγματα που ανήκουν στην κλάση Υj

3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)

4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμών-RMSE

-012

-01

-008

-006

-004

-002

0

002

004

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Root mean squared error (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου

-25

-2

-15

-1

-05

0

05

1

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Time taken to build model (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Μείωση των διαστάσεων

bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Επιλογή των ιδιοτήτων57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

15

13

14

14

14

47

45

6

51

bull 2ν πιθανοί συνδυασμοί

bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Πως ορίζεται η ιδιότητα

bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό

μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης

του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Λόγοι επιλογής ιδιοτήτων

bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων

bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή

bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)

bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδοι Αντιμετώπισης

bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδος φιλτραρίσματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Υπολογισμός μέτρωνποιότητας των ιδιοτήτων

Επαύξηση ή μείωση των ιδιοτήτων

Είναι αποδεκτό τοαξιολογημένουποσύνολο

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Επιλογή νέου υποσυνόλουιδιοτήτων

Μέθοδοςφιλτραρίσματος

Γενετικός Αλγόριθμος

Μέθοδος περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Εκπαιδευμένο Μοντέλο

Σύνολοδεδομένων

Κατασκευή συνόλου δεδομένων

Αξιολογημένο Μοντέλο

Εκπαίδευση Αλγορίθμου

Αξιολόγηση Αλγορίθμου

Είναι αποδεκτό τοαξιολογημένο

μοντέλο

Επιλογή νέου υποσυνόλουιδιοτήτων

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Κ-κοντινότεροι γείτονες

Περιτύλιξη με Γενετικό Αλγόριθμο

bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων

bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου

ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων

ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας

γενετικούς τελεστές

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

11 22 33 4400

B1B1 B2B2 B3B3 B4B4 B5B5

Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων

Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με

κωδικό 104 (Γεωπονική) στις 5 μμ

000000 00110011 000000 1000010000 0001000010 0000000000 00

P = ΝΟ2 S = 104

F = αδιάφορο

H1 = 1700 O = 0

H2 = αδιάφορο

ΣημαίαΣυγκεντρωτικής ιδιότητας = 0

Επέλεξε τη μέση συγκέντρωση του

SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ

100100 01110111 000000 0001100011 1010010100 0001000010 11

P = ΝΟ2 S = 108

F = Μέση τιμή-Avg

H1 = 400 O = -2

H2 = 2100

ΣημαίαΣυγκεντρωτικής ιδιότητας = 1

Η Κωδικοποίηση του γενότυπου

Η συνάρτηση προσαρμογής

bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του

αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο

υποσύνολο ιδιοτήτων της λύσης

nA

iAb

nE

iEa

iAiEF

max

)(

max

)(1

))()((

a lt= 1 b lt= 1 a + b = 1

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Οι παράμετροι της συνάρτησης προσαρμογής a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE

bull et = Xt ndash Ft

bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής

bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

n

e

RMSE

n

tt

1

2

n

tt

n

ttt

X

Xe

WSE

1

2

1

2

Ρύθμιση του μεγέθους πληθυσμού

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Population Sizes

0

05

1

15

2

25

3

35

4

5 10 20 30 40 50 100

Population Size

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση συντελεστών a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Coefficient pairs

0

5

10

15

20

25

30

35

01 09 03 07 05 05 07 03 08 02 09 01 095 005

ab pairs

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage

0

05

1

15

2

25

3

35

10 30 40 50 60 70 80 90

Mutation rate ()

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers

0

05

1

15

2

25

3

35

4

1 2 3 4 5 8 10 15

Elite members

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeatures

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Η μέθοδος CFS

bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την

εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις

ιδιότητες του υποσυνόλου

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

)1( ii

cis

rkkk

rkG

Σύγκριση των δύο μεθόδων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

000

1000

2000

3000

4000

5000

6000

7000

8000

9000

ZeroR DecisionStump

DecisionTable

IB1 IB3 IB9 LinearRegression

M5Prime

GA Mean absolute error GA Root mean squared error

CFS Mean absolute error CFS Root mean squared error

Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης

bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης

ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART

bull Συνδυασμένος ταξινομητής

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το σύστημα ΠΛ ΝΕΜΟ (1)

Όμοιες περιπτώσεις

Επιλογέας κοντινών περιπτώσεων

Φίλτρο κοντινών περιπτώσεων

Προσαρμογέας κοντινών περιπτώσεων

Προβλέπτης λύσης

Προτεινόμενη λύση

ΝΕΜΟ

Βάση περιπτώσεων

Κοντινέςπεριπτώσεις

Βάση Γνώσης

Νέα περίπτωση

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία

αναστροφή

βροχόπτωση

άνεμος

NO στις 10 πμ

NO στις 9 πμ

NO στις 8 πμ

NO2 στις 10 πμ

NO2 στις 9 πμ

NO2 στις 8 πμ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Έξοδος

Το δέντρο απόφασης (1)NOat10

NOat10

NOat10

NOat10

Wind

NOat9

Rain

Inversion

NOat9

NO2at8 Wind

Radiation

1(26518)

1(235)

2(4412)

1(83) 2(104) 1(100)

2(101) 1(101)

2(10035)

3(5313)

4(80)

4(124)3(91)

lt=027 gt027

lt=021

gt067

gt021

lt=067

lt=04 gt04

lt=057 gt057

lt=066 gt066

lt=047 gt047

lt=021 gt021

=0 =1

lt=021 gt021 lt=08 gt08

lt=036 gt036

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το δέντρο απόφασης (2)

0

021

025

04 057

105 075

027

12

1 2 3

4

34

066

0

1

02

04

06

08

ΝΟ στις10πμ

Θερ

μο

κρα

σια

κή α

νασ

τρο

φή

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Ο συνδυασμένος ταξινομητής

bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (1)

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

134

38

522

122

93

8

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΝΕΜΟ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

Αποτελέσματα Πίνακες Σύγχυσης (2)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

40

4221

8 317

8

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΔΑ CART

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (3)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

42

8216

8 69

4 4

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΤΝΔ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (4)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

138

38

4124

122

13

2

6

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Στατιστικά για τους 4 αλγόριθμους

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

CART NeuralNet NEMO ML Ensemble

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 30: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Αποτελέσματα μελέτης θορύβου- 1ο μοντέλο

-2

-1

0

1

2

3

4

5

6

7

8

0 005 01 02 03 04 05

IB1 - Attribute IBk -K 9 - Attribute LinearRegression - Attribute M5Prime - Attribute NeuralNetwork - Attribute ZeroR - Attribute

Drop Page Fields Here

Average of Root mean squared error (diff)

Noise Level

Scheme

Noise Model

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα μελέτης θορύβου- 2ο μοντέλο

0

5

10

15

20

25

30

0 005 01 02 03 04 05

IB1 - AttributeClassVar IBk -K 9 - AttributeClassVar LinearRegression - AttributeClassVar

M5Prime - AttributeClassVar NeuralNetwork - AttributeClassVar ZeroR - AttributeClassVar

Drop Page Fields Here

Average of Root mean squared error (diff)

Noise Level

Scheme

Noise Model

3Προ-επεξεργασία3Προ-επεξεργασία

Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών

bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj

1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα

παραδείγματα που ανήκουν στην κλάση Υj

3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)

4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμών-RMSE

-012

-01

-008

-006

-004

-002

0

002

004

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Root mean squared error (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου

-25

-2

-15

-1

-05

0

05

1

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Time taken to build model (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Μείωση των διαστάσεων

bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Επιλογή των ιδιοτήτων57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

15

13

14

14

14

47

45

6

51

bull 2ν πιθανοί συνδυασμοί

bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Πως ορίζεται η ιδιότητα

bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό

μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης

του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Λόγοι επιλογής ιδιοτήτων

bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων

bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή

bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)

bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδοι Αντιμετώπισης

bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδος φιλτραρίσματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Υπολογισμός μέτρωνποιότητας των ιδιοτήτων

Επαύξηση ή μείωση των ιδιοτήτων

Είναι αποδεκτό τοαξιολογημένουποσύνολο

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Επιλογή νέου υποσυνόλουιδιοτήτων

Μέθοδοςφιλτραρίσματος

Γενετικός Αλγόριθμος

Μέθοδος περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Εκπαιδευμένο Μοντέλο

Σύνολοδεδομένων

Κατασκευή συνόλου δεδομένων

Αξιολογημένο Μοντέλο

Εκπαίδευση Αλγορίθμου

Αξιολόγηση Αλγορίθμου

Είναι αποδεκτό τοαξιολογημένο

μοντέλο

Επιλογή νέου υποσυνόλουιδιοτήτων

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Κ-κοντινότεροι γείτονες

Περιτύλιξη με Γενετικό Αλγόριθμο

bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων

bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου

ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων

ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας

γενετικούς τελεστές

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

11 22 33 4400

B1B1 B2B2 B3B3 B4B4 B5B5

Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων

Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με

κωδικό 104 (Γεωπονική) στις 5 μμ

000000 00110011 000000 1000010000 0001000010 0000000000 00

P = ΝΟ2 S = 104

F = αδιάφορο

H1 = 1700 O = 0

H2 = αδιάφορο

ΣημαίαΣυγκεντρωτικής ιδιότητας = 0

Επέλεξε τη μέση συγκέντρωση του

SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ

100100 01110111 000000 0001100011 1010010100 0001000010 11

P = ΝΟ2 S = 108

F = Μέση τιμή-Avg

H1 = 400 O = -2

H2 = 2100

ΣημαίαΣυγκεντρωτικής ιδιότητας = 1

Η Κωδικοποίηση του γενότυπου

Η συνάρτηση προσαρμογής

bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του

αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο

υποσύνολο ιδιοτήτων της λύσης

nA

iAb

nE

iEa

iAiEF

max

)(

max

)(1

))()((

a lt= 1 b lt= 1 a + b = 1

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Οι παράμετροι της συνάρτησης προσαρμογής a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE

bull et = Xt ndash Ft

bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής

bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

n

e

RMSE

n

tt

1

2

n

tt

n

ttt

X

Xe

WSE

1

2

1

2

Ρύθμιση του μεγέθους πληθυσμού

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Population Sizes

0

05

1

15

2

25

3

35

4

5 10 20 30 40 50 100

Population Size

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση συντελεστών a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Coefficient pairs

0

5

10

15

20

25

30

35

01 09 03 07 05 05 07 03 08 02 09 01 095 005

ab pairs

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage

0

05

1

15

2

25

3

35

10 30 40 50 60 70 80 90

Mutation rate ()

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers

0

05

1

15

2

25

3

35

4

1 2 3 4 5 8 10 15

Elite members

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeatures

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Η μέθοδος CFS

bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την

εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις

ιδιότητες του υποσυνόλου

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

)1( ii

cis

rkkk

rkG

Σύγκριση των δύο μεθόδων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

000

1000

2000

3000

4000

5000

6000

7000

8000

9000

ZeroR DecisionStump

DecisionTable

IB1 IB3 IB9 LinearRegression

M5Prime

GA Mean absolute error GA Root mean squared error

CFS Mean absolute error CFS Root mean squared error

Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης

bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης

ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART

bull Συνδυασμένος ταξινομητής

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το σύστημα ΠΛ ΝΕΜΟ (1)

Όμοιες περιπτώσεις

Επιλογέας κοντινών περιπτώσεων

Φίλτρο κοντινών περιπτώσεων

Προσαρμογέας κοντινών περιπτώσεων

Προβλέπτης λύσης

Προτεινόμενη λύση

ΝΕΜΟ

Βάση περιπτώσεων

Κοντινέςπεριπτώσεις

Βάση Γνώσης

Νέα περίπτωση

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία

αναστροφή

βροχόπτωση

άνεμος

NO στις 10 πμ

NO στις 9 πμ

NO στις 8 πμ

NO2 στις 10 πμ

NO2 στις 9 πμ

NO2 στις 8 πμ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Έξοδος

Το δέντρο απόφασης (1)NOat10

NOat10

NOat10

NOat10

Wind

NOat9

Rain

Inversion

NOat9

NO2at8 Wind

Radiation

1(26518)

1(235)

2(4412)

1(83) 2(104) 1(100)

2(101) 1(101)

2(10035)

3(5313)

4(80)

4(124)3(91)

lt=027 gt027

lt=021

gt067

gt021

lt=067

lt=04 gt04

lt=057 gt057

lt=066 gt066

lt=047 gt047

lt=021 gt021

=0 =1

lt=021 gt021 lt=08 gt08

lt=036 gt036

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το δέντρο απόφασης (2)

0

021

025

04 057

105 075

027

12

1 2 3

4

34

066

0

1

02

04

06

08

ΝΟ στις10πμ

Θερ

μο

κρα

σια

κή α

νασ

τρο

φή

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Ο συνδυασμένος ταξινομητής

bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (1)

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

134

38

522

122

93

8

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΝΕΜΟ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

Αποτελέσματα Πίνακες Σύγχυσης (2)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

40

4221

8 317

8

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΔΑ CART

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (3)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

42

8216

8 69

4 4

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΤΝΔ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (4)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

138

38

4124

122

13

2

6

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Στατιστικά για τους 4 αλγόριθμους

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

CART NeuralNet NEMO ML Ensemble

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 31: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Αποτελέσματα μελέτης θορύβου- 2ο μοντέλο

0

5

10

15

20

25

30

0 005 01 02 03 04 05

IB1 - AttributeClassVar IBk -K 9 - AttributeClassVar LinearRegression - AttributeClassVar

M5Prime - AttributeClassVar NeuralNetwork - AttributeClassVar ZeroR - AttributeClassVar

Drop Page Fields Here

Average of Root mean squared error (diff)

Noise Level

Scheme

Noise Model

3Προ-επεξεργασία3Προ-επεξεργασία

Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών

bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj

1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα

παραδείγματα που ανήκουν στην κλάση Υj

3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)

4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμών-RMSE

-012

-01

-008

-006

-004

-002

0

002

004

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Root mean squared error (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου

-25

-2

-15

-1

-05

0

05

1

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Time taken to build model (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Μείωση των διαστάσεων

bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Επιλογή των ιδιοτήτων57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

15

13

14

14

14

47

45

6

51

bull 2ν πιθανοί συνδυασμοί

bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Πως ορίζεται η ιδιότητα

bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό

μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης

του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Λόγοι επιλογής ιδιοτήτων

bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων

bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή

bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)

bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδοι Αντιμετώπισης

bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδος φιλτραρίσματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Υπολογισμός μέτρωνποιότητας των ιδιοτήτων

Επαύξηση ή μείωση των ιδιοτήτων

Είναι αποδεκτό τοαξιολογημένουποσύνολο

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Επιλογή νέου υποσυνόλουιδιοτήτων

Μέθοδοςφιλτραρίσματος

Γενετικός Αλγόριθμος

Μέθοδος περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Εκπαιδευμένο Μοντέλο

Σύνολοδεδομένων

Κατασκευή συνόλου δεδομένων

Αξιολογημένο Μοντέλο

Εκπαίδευση Αλγορίθμου

Αξιολόγηση Αλγορίθμου

Είναι αποδεκτό τοαξιολογημένο

μοντέλο

Επιλογή νέου υποσυνόλουιδιοτήτων

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Κ-κοντινότεροι γείτονες

Περιτύλιξη με Γενετικό Αλγόριθμο

bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων

bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου

ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων

ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας

γενετικούς τελεστές

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

11 22 33 4400

B1B1 B2B2 B3B3 B4B4 B5B5

Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων

Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με

κωδικό 104 (Γεωπονική) στις 5 μμ

000000 00110011 000000 1000010000 0001000010 0000000000 00

P = ΝΟ2 S = 104

F = αδιάφορο

H1 = 1700 O = 0

H2 = αδιάφορο

ΣημαίαΣυγκεντρωτικής ιδιότητας = 0

Επέλεξε τη μέση συγκέντρωση του

SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ

100100 01110111 000000 0001100011 1010010100 0001000010 11

P = ΝΟ2 S = 108

F = Μέση τιμή-Avg

H1 = 400 O = -2

H2 = 2100

ΣημαίαΣυγκεντρωτικής ιδιότητας = 1

Η Κωδικοποίηση του γενότυπου

Η συνάρτηση προσαρμογής

bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του

αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο

υποσύνολο ιδιοτήτων της λύσης

nA

iAb

nE

iEa

iAiEF

max

)(

max

)(1

))()((

a lt= 1 b lt= 1 a + b = 1

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Οι παράμετροι της συνάρτησης προσαρμογής a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE

bull et = Xt ndash Ft

bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής

bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

n

e

RMSE

n

tt

1

2

n

tt

n

ttt

X

Xe

WSE

1

2

1

2

Ρύθμιση του μεγέθους πληθυσμού

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Population Sizes

0

05

1

15

2

25

3

35

4

5 10 20 30 40 50 100

Population Size

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση συντελεστών a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Coefficient pairs

0

5

10

15

20

25

30

35

01 09 03 07 05 05 07 03 08 02 09 01 095 005

ab pairs

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage

0

05

1

15

2

25

3

35

10 30 40 50 60 70 80 90

Mutation rate ()

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers

0

05

1

15

2

25

3

35

4

1 2 3 4 5 8 10 15

Elite members

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeatures

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Η μέθοδος CFS

bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την

εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις

ιδιότητες του υποσυνόλου

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

)1( ii

cis

rkkk

rkG

Σύγκριση των δύο μεθόδων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

000

1000

2000

3000

4000

5000

6000

7000

8000

9000

ZeroR DecisionStump

DecisionTable

IB1 IB3 IB9 LinearRegression

M5Prime

GA Mean absolute error GA Root mean squared error

CFS Mean absolute error CFS Root mean squared error

Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης

bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης

ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART

bull Συνδυασμένος ταξινομητής

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το σύστημα ΠΛ ΝΕΜΟ (1)

Όμοιες περιπτώσεις

Επιλογέας κοντινών περιπτώσεων

Φίλτρο κοντινών περιπτώσεων

Προσαρμογέας κοντινών περιπτώσεων

Προβλέπτης λύσης

Προτεινόμενη λύση

ΝΕΜΟ

Βάση περιπτώσεων

Κοντινέςπεριπτώσεις

Βάση Γνώσης

Νέα περίπτωση

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία

αναστροφή

βροχόπτωση

άνεμος

NO στις 10 πμ

NO στις 9 πμ

NO στις 8 πμ

NO2 στις 10 πμ

NO2 στις 9 πμ

NO2 στις 8 πμ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Έξοδος

Το δέντρο απόφασης (1)NOat10

NOat10

NOat10

NOat10

Wind

NOat9

Rain

Inversion

NOat9

NO2at8 Wind

Radiation

1(26518)

1(235)

2(4412)

1(83) 2(104) 1(100)

2(101) 1(101)

2(10035)

3(5313)

4(80)

4(124)3(91)

lt=027 gt027

lt=021

gt067

gt021

lt=067

lt=04 gt04

lt=057 gt057

lt=066 gt066

lt=047 gt047

lt=021 gt021

=0 =1

lt=021 gt021 lt=08 gt08

lt=036 gt036

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το δέντρο απόφασης (2)

0

021

025

04 057

105 075

027

12

1 2 3

4

34

066

0

1

02

04

06

08

ΝΟ στις10πμ

Θερ

μο

κρα

σια

κή α

νασ

τρο

φή

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Ο συνδυασμένος ταξινομητής

bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (1)

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

134

38

522

122

93

8

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΝΕΜΟ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

Αποτελέσματα Πίνακες Σύγχυσης (2)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

40

4221

8 317

8

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΔΑ CART

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (3)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

42

8216

8 69

4 4

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΤΝΔ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (4)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

138

38

4124

122

13

2

6

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Στατιστικά για τους 4 αλγόριθμους

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

CART NeuralNet NEMO ML Ensemble

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 32: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών

bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj

1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα

παραδείγματα που ανήκουν στην κλάση Υj

3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)

4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμών-RMSE

-012

-01

-008

-006

-004

-002

0

002

004

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Root mean squared error (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου

-25

-2

-15

-1

-05

0

05

1

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Time taken to build model (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Μείωση των διαστάσεων

bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Επιλογή των ιδιοτήτων57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

15

13

14

14

14

47

45

6

51

bull 2ν πιθανοί συνδυασμοί

bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Πως ορίζεται η ιδιότητα

bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό

μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης

του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Λόγοι επιλογής ιδιοτήτων

bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων

bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή

bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)

bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδοι Αντιμετώπισης

bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδος φιλτραρίσματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Υπολογισμός μέτρωνποιότητας των ιδιοτήτων

Επαύξηση ή μείωση των ιδιοτήτων

Είναι αποδεκτό τοαξιολογημένουποσύνολο

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Επιλογή νέου υποσυνόλουιδιοτήτων

Μέθοδοςφιλτραρίσματος

Γενετικός Αλγόριθμος

Μέθοδος περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Εκπαιδευμένο Μοντέλο

Σύνολοδεδομένων

Κατασκευή συνόλου δεδομένων

Αξιολογημένο Μοντέλο

Εκπαίδευση Αλγορίθμου

Αξιολόγηση Αλγορίθμου

Είναι αποδεκτό τοαξιολογημένο

μοντέλο

Επιλογή νέου υποσυνόλουιδιοτήτων

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Κ-κοντινότεροι γείτονες

Περιτύλιξη με Γενετικό Αλγόριθμο

bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων

bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου

ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων

ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας

γενετικούς τελεστές

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

11 22 33 4400

B1B1 B2B2 B3B3 B4B4 B5B5

Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων

Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με

κωδικό 104 (Γεωπονική) στις 5 μμ

000000 00110011 000000 1000010000 0001000010 0000000000 00

P = ΝΟ2 S = 104

F = αδιάφορο

H1 = 1700 O = 0

H2 = αδιάφορο

ΣημαίαΣυγκεντρωτικής ιδιότητας = 0

Επέλεξε τη μέση συγκέντρωση του

SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ

100100 01110111 000000 0001100011 1010010100 0001000010 11

P = ΝΟ2 S = 108

F = Μέση τιμή-Avg

H1 = 400 O = -2

H2 = 2100

ΣημαίαΣυγκεντρωτικής ιδιότητας = 1

Η Κωδικοποίηση του γενότυπου

Η συνάρτηση προσαρμογής

bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του

αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο

υποσύνολο ιδιοτήτων της λύσης

nA

iAb

nE

iEa

iAiEF

max

)(

max

)(1

))()((

a lt= 1 b lt= 1 a + b = 1

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Οι παράμετροι της συνάρτησης προσαρμογής a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE

bull et = Xt ndash Ft

bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής

bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

n

e

RMSE

n

tt

1

2

n

tt

n

ttt

X

Xe

WSE

1

2

1

2

Ρύθμιση του μεγέθους πληθυσμού

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Population Sizes

0

05

1

15

2

25

3

35

4

5 10 20 30 40 50 100

Population Size

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση συντελεστών a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Coefficient pairs

0

5

10

15

20

25

30

35

01 09 03 07 05 05 07 03 08 02 09 01 095 005

ab pairs

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage

0

05

1

15

2

25

3

35

10 30 40 50 60 70 80 90

Mutation rate ()

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers

0

05

1

15

2

25

3

35

4

1 2 3 4 5 8 10 15

Elite members

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeatures

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Η μέθοδος CFS

bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την

εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις

ιδιότητες του υποσυνόλου

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

)1( ii

cis

rkkk

rkG

Σύγκριση των δύο μεθόδων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

000

1000

2000

3000

4000

5000

6000

7000

8000

9000

ZeroR DecisionStump

DecisionTable

IB1 IB3 IB9 LinearRegression

M5Prime

GA Mean absolute error GA Root mean squared error

CFS Mean absolute error CFS Root mean squared error

Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης

bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης

ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART

bull Συνδυασμένος ταξινομητής

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το σύστημα ΠΛ ΝΕΜΟ (1)

Όμοιες περιπτώσεις

Επιλογέας κοντινών περιπτώσεων

Φίλτρο κοντινών περιπτώσεων

Προσαρμογέας κοντινών περιπτώσεων

Προβλέπτης λύσης

Προτεινόμενη λύση

ΝΕΜΟ

Βάση περιπτώσεων

Κοντινέςπεριπτώσεις

Βάση Γνώσης

Νέα περίπτωση

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία

αναστροφή

βροχόπτωση

άνεμος

NO στις 10 πμ

NO στις 9 πμ

NO στις 8 πμ

NO2 στις 10 πμ

NO2 στις 9 πμ

NO2 στις 8 πμ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Έξοδος

Το δέντρο απόφασης (1)NOat10

NOat10

NOat10

NOat10

Wind

NOat9

Rain

Inversion

NOat9

NO2at8 Wind

Radiation

1(26518)

1(235)

2(4412)

1(83) 2(104) 1(100)

2(101) 1(101)

2(10035)

3(5313)

4(80)

4(124)3(91)

lt=027 gt027

lt=021

gt067

gt021

lt=067

lt=04 gt04

lt=057 gt057

lt=066 gt066

lt=047 gt047

lt=021 gt021

=0 =1

lt=021 gt021 lt=08 gt08

lt=036 gt036

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το δέντρο απόφασης (2)

0

021

025

04 057

105 075

027

12

1 2 3

4

34

066

0

1

02

04

06

08

ΝΟ στις10πμ

Θερ

μο

κρα

σια

κή α

νασ

τρο

φή

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Ο συνδυασμένος ταξινομητής

bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (1)

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

134

38

522

122

93

8

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΝΕΜΟ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

Αποτελέσματα Πίνακες Σύγχυσης (2)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

40

4221

8 317

8

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΔΑ CART

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (3)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

42

8216

8 69

4 4

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΤΝΔ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (4)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

138

38

4124

122

13

2

6

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Στατιστικά για τους 4 αλγόριθμους

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

CART NeuralNet NEMO ML Ensemble

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 33: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Αποτελέσματα ελλιπών τιμών-RMSE

-012

-01

-008

-006

-004

-002

0

002

004

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Root mean squared error (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου

-25

-2

-15

-1

-05

0

05

1

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Time taken to build model (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Μείωση των διαστάσεων

bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Επιλογή των ιδιοτήτων57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

15

13

14

14

14

47

45

6

51

bull 2ν πιθανοί συνδυασμοί

bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Πως ορίζεται η ιδιότητα

bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό

μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης

του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Λόγοι επιλογής ιδιοτήτων

bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων

bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή

bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)

bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδοι Αντιμετώπισης

bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδος φιλτραρίσματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Υπολογισμός μέτρωνποιότητας των ιδιοτήτων

Επαύξηση ή μείωση των ιδιοτήτων

Είναι αποδεκτό τοαξιολογημένουποσύνολο

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Επιλογή νέου υποσυνόλουιδιοτήτων

Μέθοδοςφιλτραρίσματος

Γενετικός Αλγόριθμος

Μέθοδος περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Εκπαιδευμένο Μοντέλο

Σύνολοδεδομένων

Κατασκευή συνόλου δεδομένων

Αξιολογημένο Μοντέλο

Εκπαίδευση Αλγορίθμου

Αξιολόγηση Αλγορίθμου

Είναι αποδεκτό τοαξιολογημένο

μοντέλο

Επιλογή νέου υποσυνόλουιδιοτήτων

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Κ-κοντινότεροι γείτονες

Περιτύλιξη με Γενετικό Αλγόριθμο

bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων

bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου

ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων

ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας

γενετικούς τελεστές

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

11 22 33 4400

B1B1 B2B2 B3B3 B4B4 B5B5

Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων

Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με

κωδικό 104 (Γεωπονική) στις 5 μμ

000000 00110011 000000 1000010000 0001000010 0000000000 00

P = ΝΟ2 S = 104

F = αδιάφορο

H1 = 1700 O = 0

H2 = αδιάφορο

ΣημαίαΣυγκεντρωτικής ιδιότητας = 0

Επέλεξε τη μέση συγκέντρωση του

SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ

100100 01110111 000000 0001100011 1010010100 0001000010 11

P = ΝΟ2 S = 108

F = Μέση τιμή-Avg

H1 = 400 O = -2

H2 = 2100

ΣημαίαΣυγκεντρωτικής ιδιότητας = 1

Η Κωδικοποίηση του γενότυπου

Η συνάρτηση προσαρμογής

bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του

αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο

υποσύνολο ιδιοτήτων της λύσης

nA

iAb

nE

iEa

iAiEF

max

)(

max

)(1

))()((

a lt= 1 b lt= 1 a + b = 1

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Οι παράμετροι της συνάρτησης προσαρμογής a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE

bull et = Xt ndash Ft

bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής

bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

n

e

RMSE

n

tt

1

2

n

tt

n

ttt

X

Xe

WSE

1

2

1

2

Ρύθμιση του μεγέθους πληθυσμού

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Population Sizes

0

05

1

15

2

25

3

35

4

5 10 20 30 40 50 100

Population Size

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση συντελεστών a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Coefficient pairs

0

5

10

15

20

25

30

35

01 09 03 07 05 05 07 03 08 02 09 01 095 005

ab pairs

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage

0

05

1

15

2

25

3

35

10 30 40 50 60 70 80 90

Mutation rate ()

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers

0

05

1

15

2

25

3

35

4

1 2 3 4 5 8 10 15

Elite members

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeatures

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Η μέθοδος CFS

bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την

εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις

ιδιότητες του υποσυνόλου

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

)1( ii

cis

rkkk

rkG

Σύγκριση των δύο μεθόδων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

000

1000

2000

3000

4000

5000

6000

7000

8000

9000

ZeroR DecisionStump

DecisionTable

IB1 IB3 IB9 LinearRegression

M5Prime

GA Mean absolute error GA Root mean squared error

CFS Mean absolute error CFS Root mean squared error

Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης

bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης

ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART

bull Συνδυασμένος ταξινομητής

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το σύστημα ΠΛ ΝΕΜΟ (1)

Όμοιες περιπτώσεις

Επιλογέας κοντινών περιπτώσεων

Φίλτρο κοντινών περιπτώσεων

Προσαρμογέας κοντινών περιπτώσεων

Προβλέπτης λύσης

Προτεινόμενη λύση

ΝΕΜΟ

Βάση περιπτώσεων

Κοντινέςπεριπτώσεις

Βάση Γνώσης

Νέα περίπτωση

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία

αναστροφή

βροχόπτωση

άνεμος

NO στις 10 πμ

NO στις 9 πμ

NO στις 8 πμ

NO2 στις 10 πμ

NO2 στις 9 πμ

NO2 στις 8 πμ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Έξοδος

Το δέντρο απόφασης (1)NOat10

NOat10

NOat10

NOat10

Wind

NOat9

Rain

Inversion

NOat9

NO2at8 Wind

Radiation

1(26518)

1(235)

2(4412)

1(83) 2(104) 1(100)

2(101) 1(101)

2(10035)

3(5313)

4(80)

4(124)3(91)

lt=027 gt027

lt=021

gt067

gt021

lt=067

lt=04 gt04

lt=057 gt057

lt=066 gt066

lt=047 gt047

lt=021 gt021

=0 =1

lt=021 gt021 lt=08 gt08

lt=036 gt036

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το δέντρο απόφασης (2)

0

021

025

04 057

105 075

027

12

1 2 3

4

34

066

0

1

02

04

06

08

ΝΟ στις10πμ

Θερ

μο

κρα

σια

κή α

νασ

τρο

φή

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Ο συνδυασμένος ταξινομητής

bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (1)

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

134

38

522

122

93

8

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΝΕΜΟ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

Αποτελέσματα Πίνακες Σύγχυσης (2)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

40

4221

8 317

8

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΔΑ CART

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (3)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

42

8216

8 69

4 4

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΤΝΔ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (4)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

138

38

4124

122

13

2

6

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Στατιστικά για τους 4 αλγόριθμους

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

CART NeuralNet NEMO ML Ensemble

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 34: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου

-25

-2

-15

-1

-05

0

05

1

0 005 01 02 03 05

1avg 3avg amelia mean meanclass

Average of Time taken to build model (diff)

MV Level

Replacement Method

3Προ-επεξεργασία3Προ-επεξεργασία

Μείωση των διαστάσεων

bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Επιλογή των ιδιοτήτων57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

15

13

14

14

14

47

45

6

51

bull 2ν πιθανοί συνδυασμοί

bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Πως ορίζεται η ιδιότητα

bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό

μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης

του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Λόγοι επιλογής ιδιοτήτων

bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων

bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή

bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)

bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδοι Αντιμετώπισης

bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδος φιλτραρίσματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Υπολογισμός μέτρωνποιότητας των ιδιοτήτων

Επαύξηση ή μείωση των ιδιοτήτων

Είναι αποδεκτό τοαξιολογημένουποσύνολο

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Επιλογή νέου υποσυνόλουιδιοτήτων

Μέθοδοςφιλτραρίσματος

Γενετικός Αλγόριθμος

Μέθοδος περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Εκπαιδευμένο Μοντέλο

Σύνολοδεδομένων

Κατασκευή συνόλου δεδομένων

Αξιολογημένο Μοντέλο

Εκπαίδευση Αλγορίθμου

Αξιολόγηση Αλγορίθμου

Είναι αποδεκτό τοαξιολογημένο

μοντέλο

Επιλογή νέου υποσυνόλουιδιοτήτων

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Κ-κοντινότεροι γείτονες

Περιτύλιξη με Γενετικό Αλγόριθμο

bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων

bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου

ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων

ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας

γενετικούς τελεστές

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

11 22 33 4400

B1B1 B2B2 B3B3 B4B4 B5B5

Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων

Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με

κωδικό 104 (Γεωπονική) στις 5 μμ

000000 00110011 000000 1000010000 0001000010 0000000000 00

P = ΝΟ2 S = 104

F = αδιάφορο

H1 = 1700 O = 0

H2 = αδιάφορο

ΣημαίαΣυγκεντρωτικής ιδιότητας = 0

Επέλεξε τη μέση συγκέντρωση του

SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ

100100 01110111 000000 0001100011 1010010100 0001000010 11

P = ΝΟ2 S = 108

F = Μέση τιμή-Avg

H1 = 400 O = -2

H2 = 2100

ΣημαίαΣυγκεντρωτικής ιδιότητας = 1

Η Κωδικοποίηση του γενότυπου

Η συνάρτηση προσαρμογής

bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του

αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο

υποσύνολο ιδιοτήτων της λύσης

nA

iAb

nE

iEa

iAiEF

max

)(

max

)(1

))()((

a lt= 1 b lt= 1 a + b = 1

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Οι παράμετροι της συνάρτησης προσαρμογής a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE

bull et = Xt ndash Ft

bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής

bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

n

e

RMSE

n

tt

1

2

n

tt

n

ttt

X

Xe

WSE

1

2

1

2

Ρύθμιση του μεγέθους πληθυσμού

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Population Sizes

0

05

1

15

2

25

3

35

4

5 10 20 30 40 50 100

Population Size

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση συντελεστών a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Coefficient pairs

0

5

10

15

20

25

30

35

01 09 03 07 05 05 07 03 08 02 09 01 095 005

ab pairs

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage

0

05

1

15

2

25

3

35

10 30 40 50 60 70 80 90

Mutation rate ()

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers

0

05

1

15

2

25

3

35

4

1 2 3 4 5 8 10 15

Elite members

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeatures

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Η μέθοδος CFS

bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την

εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις

ιδιότητες του υποσυνόλου

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

)1( ii

cis

rkkk

rkG

Σύγκριση των δύο μεθόδων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

000

1000

2000

3000

4000

5000

6000

7000

8000

9000

ZeroR DecisionStump

DecisionTable

IB1 IB3 IB9 LinearRegression

M5Prime

GA Mean absolute error GA Root mean squared error

CFS Mean absolute error CFS Root mean squared error

Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης

bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης

ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART

bull Συνδυασμένος ταξινομητής

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το σύστημα ΠΛ ΝΕΜΟ (1)

Όμοιες περιπτώσεις

Επιλογέας κοντινών περιπτώσεων

Φίλτρο κοντινών περιπτώσεων

Προσαρμογέας κοντινών περιπτώσεων

Προβλέπτης λύσης

Προτεινόμενη λύση

ΝΕΜΟ

Βάση περιπτώσεων

Κοντινέςπεριπτώσεις

Βάση Γνώσης

Νέα περίπτωση

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία

αναστροφή

βροχόπτωση

άνεμος

NO στις 10 πμ

NO στις 9 πμ

NO στις 8 πμ

NO2 στις 10 πμ

NO2 στις 9 πμ

NO2 στις 8 πμ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Έξοδος

Το δέντρο απόφασης (1)NOat10

NOat10

NOat10

NOat10

Wind

NOat9

Rain

Inversion

NOat9

NO2at8 Wind

Radiation

1(26518)

1(235)

2(4412)

1(83) 2(104) 1(100)

2(101) 1(101)

2(10035)

3(5313)

4(80)

4(124)3(91)

lt=027 gt027

lt=021

gt067

gt021

lt=067

lt=04 gt04

lt=057 gt057

lt=066 gt066

lt=047 gt047

lt=021 gt021

=0 =1

lt=021 gt021 lt=08 gt08

lt=036 gt036

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το δέντρο απόφασης (2)

0

021

025

04 057

105 075

027

12

1 2 3

4

34

066

0

1

02

04

06

08

ΝΟ στις10πμ

Θερ

μο

κρα

σια

κή α

νασ

τρο

φή

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Ο συνδυασμένος ταξινομητής

bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (1)

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

134

38

522

122

93

8

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΝΕΜΟ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

Αποτελέσματα Πίνακες Σύγχυσης (2)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

40

4221

8 317

8

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΔΑ CART

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (3)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

42

8216

8 69

4 4

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΤΝΔ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (4)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

138

38

4124

122

13

2

6

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Στατιστικά για τους 4 αλγόριθμους

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

CART NeuralNet NEMO ML Ensemble

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 35: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Μείωση των διαστάσεων

bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Επιλογή των ιδιοτήτων57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

15

13

14

14

14

47

45

6

51

bull 2ν πιθανοί συνδυασμοί

bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Πως ορίζεται η ιδιότητα

bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό

μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης

του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Λόγοι επιλογής ιδιοτήτων

bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων

bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή

bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)

bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδοι Αντιμετώπισης

bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδος φιλτραρίσματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Υπολογισμός μέτρωνποιότητας των ιδιοτήτων

Επαύξηση ή μείωση των ιδιοτήτων

Είναι αποδεκτό τοαξιολογημένουποσύνολο

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Επιλογή νέου υποσυνόλουιδιοτήτων

Μέθοδοςφιλτραρίσματος

Γενετικός Αλγόριθμος

Μέθοδος περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Εκπαιδευμένο Μοντέλο

Σύνολοδεδομένων

Κατασκευή συνόλου δεδομένων

Αξιολογημένο Μοντέλο

Εκπαίδευση Αλγορίθμου

Αξιολόγηση Αλγορίθμου

Είναι αποδεκτό τοαξιολογημένο

μοντέλο

Επιλογή νέου υποσυνόλουιδιοτήτων

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Κ-κοντινότεροι γείτονες

Περιτύλιξη με Γενετικό Αλγόριθμο

bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων

bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου

ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων

ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας

γενετικούς τελεστές

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

11 22 33 4400

B1B1 B2B2 B3B3 B4B4 B5B5

Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων

Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με

κωδικό 104 (Γεωπονική) στις 5 μμ

000000 00110011 000000 1000010000 0001000010 0000000000 00

P = ΝΟ2 S = 104

F = αδιάφορο

H1 = 1700 O = 0

H2 = αδιάφορο

ΣημαίαΣυγκεντρωτικής ιδιότητας = 0

Επέλεξε τη μέση συγκέντρωση του

SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ

100100 01110111 000000 0001100011 1010010100 0001000010 11

P = ΝΟ2 S = 108

F = Μέση τιμή-Avg

H1 = 400 O = -2

H2 = 2100

ΣημαίαΣυγκεντρωτικής ιδιότητας = 1

Η Κωδικοποίηση του γενότυπου

Η συνάρτηση προσαρμογής

bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του

αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο

υποσύνολο ιδιοτήτων της λύσης

nA

iAb

nE

iEa

iAiEF

max

)(

max

)(1

))()((

a lt= 1 b lt= 1 a + b = 1

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Οι παράμετροι της συνάρτησης προσαρμογής a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE

bull et = Xt ndash Ft

bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής

bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

n

e

RMSE

n

tt

1

2

n

tt

n

ttt

X

Xe

WSE

1

2

1

2

Ρύθμιση του μεγέθους πληθυσμού

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Population Sizes

0

05

1

15

2

25

3

35

4

5 10 20 30 40 50 100

Population Size

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση συντελεστών a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Coefficient pairs

0

5

10

15

20

25

30

35

01 09 03 07 05 05 07 03 08 02 09 01 095 005

ab pairs

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage

0

05

1

15

2

25

3

35

10 30 40 50 60 70 80 90

Mutation rate ()

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers

0

05

1

15

2

25

3

35

4

1 2 3 4 5 8 10 15

Elite members

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeatures

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Η μέθοδος CFS

bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την

εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις

ιδιότητες του υποσυνόλου

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

)1( ii

cis

rkkk

rkG

Σύγκριση των δύο μεθόδων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

000

1000

2000

3000

4000

5000

6000

7000

8000

9000

ZeroR DecisionStump

DecisionTable

IB1 IB3 IB9 LinearRegression

M5Prime

GA Mean absolute error GA Root mean squared error

CFS Mean absolute error CFS Root mean squared error

Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης

bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης

ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART

bull Συνδυασμένος ταξινομητής

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το σύστημα ΠΛ ΝΕΜΟ (1)

Όμοιες περιπτώσεις

Επιλογέας κοντινών περιπτώσεων

Φίλτρο κοντινών περιπτώσεων

Προσαρμογέας κοντινών περιπτώσεων

Προβλέπτης λύσης

Προτεινόμενη λύση

ΝΕΜΟ

Βάση περιπτώσεων

Κοντινέςπεριπτώσεις

Βάση Γνώσης

Νέα περίπτωση

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία

αναστροφή

βροχόπτωση

άνεμος

NO στις 10 πμ

NO στις 9 πμ

NO στις 8 πμ

NO2 στις 10 πμ

NO2 στις 9 πμ

NO2 στις 8 πμ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Έξοδος

Το δέντρο απόφασης (1)NOat10

NOat10

NOat10

NOat10

Wind

NOat9

Rain

Inversion

NOat9

NO2at8 Wind

Radiation

1(26518)

1(235)

2(4412)

1(83) 2(104) 1(100)

2(101) 1(101)

2(10035)

3(5313)

4(80)

4(124)3(91)

lt=027 gt027

lt=021

gt067

gt021

lt=067

lt=04 gt04

lt=057 gt057

lt=066 gt066

lt=047 gt047

lt=021 gt021

=0 =1

lt=021 gt021 lt=08 gt08

lt=036 gt036

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το δέντρο απόφασης (2)

0

021

025

04 057

105 075

027

12

1 2 3

4

34

066

0

1

02

04

06

08

ΝΟ στις10πμ

Θερ

μο

κρα

σια

κή α

νασ

τρο

φή

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Ο συνδυασμένος ταξινομητής

bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (1)

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

134

38

522

122

93

8

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΝΕΜΟ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

Αποτελέσματα Πίνακες Σύγχυσης (2)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

40

4221

8 317

8

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΔΑ CART

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (3)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

42

8216

8 69

4 4

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΤΝΔ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (4)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

138

38

4124

122

13

2

6

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Στατιστικά για τους 4 αλγόριθμους

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

CART NeuralNet NEMO ML Ensemble

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 36: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Επιλογή των ιδιοτήτων57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

57

54

51

51

49

7

64

63

58

44

39

35

35

3

32

32

33

27

15

13

14

14

14

47

45

6

51

04

04

03

02

02

14

15

25

19

15

13

14

14

14

47

45

6

51

bull 2ν πιθανοί συνδυασμοί

bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Πως ορίζεται η ιδιότητα

bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό

μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης

του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Λόγοι επιλογής ιδιοτήτων

bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων

bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή

bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)

bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδοι Αντιμετώπισης

bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδος φιλτραρίσματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Υπολογισμός μέτρωνποιότητας των ιδιοτήτων

Επαύξηση ή μείωση των ιδιοτήτων

Είναι αποδεκτό τοαξιολογημένουποσύνολο

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Επιλογή νέου υποσυνόλουιδιοτήτων

Μέθοδοςφιλτραρίσματος

Γενετικός Αλγόριθμος

Μέθοδος περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Εκπαιδευμένο Μοντέλο

Σύνολοδεδομένων

Κατασκευή συνόλου δεδομένων

Αξιολογημένο Μοντέλο

Εκπαίδευση Αλγορίθμου

Αξιολόγηση Αλγορίθμου

Είναι αποδεκτό τοαξιολογημένο

μοντέλο

Επιλογή νέου υποσυνόλουιδιοτήτων

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Κ-κοντινότεροι γείτονες

Περιτύλιξη με Γενετικό Αλγόριθμο

bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων

bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου

ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων

ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας

γενετικούς τελεστές

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

11 22 33 4400

B1B1 B2B2 B3B3 B4B4 B5B5

Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων

Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με

κωδικό 104 (Γεωπονική) στις 5 μμ

000000 00110011 000000 1000010000 0001000010 0000000000 00

P = ΝΟ2 S = 104

F = αδιάφορο

H1 = 1700 O = 0

H2 = αδιάφορο

ΣημαίαΣυγκεντρωτικής ιδιότητας = 0

Επέλεξε τη μέση συγκέντρωση του

SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ

100100 01110111 000000 0001100011 1010010100 0001000010 11

P = ΝΟ2 S = 108

F = Μέση τιμή-Avg

H1 = 400 O = -2

H2 = 2100

ΣημαίαΣυγκεντρωτικής ιδιότητας = 1

Η Κωδικοποίηση του γενότυπου

Η συνάρτηση προσαρμογής

bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του

αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο

υποσύνολο ιδιοτήτων της λύσης

nA

iAb

nE

iEa

iAiEF

max

)(

max

)(1

))()((

a lt= 1 b lt= 1 a + b = 1

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Οι παράμετροι της συνάρτησης προσαρμογής a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE

bull et = Xt ndash Ft

bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής

bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

n

e

RMSE

n

tt

1

2

n

tt

n

ttt

X

Xe

WSE

1

2

1

2

Ρύθμιση του μεγέθους πληθυσμού

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Population Sizes

0

05

1

15

2

25

3

35

4

5 10 20 30 40 50 100

Population Size

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση συντελεστών a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Coefficient pairs

0

5

10

15

20

25

30

35

01 09 03 07 05 05 07 03 08 02 09 01 095 005

ab pairs

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage

0

05

1

15

2

25

3

35

10 30 40 50 60 70 80 90

Mutation rate ()

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers

0

05

1

15

2

25

3

35

4

1 2 3 4 5 8 10 15

Elite members

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeatures

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Η μέθοδος CFS

bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την

εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις

ιδιότητες του υποσυνόλου

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

)1( ii

cis

rkkk

rkG

Σύγκριση των δύο μεθόδων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

000

1000

2000

3000

4000

5000

6000

7000

8000

9000

ZeroR DecisionStump

DecisionTable

IB1 IB3 IB9 LinearRegression

M5Prime

GA Mean absolute error GA Root mean squared error

CFS Mean absolute error CFS Root mean squared error

Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης

bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης

ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART

bull Συνδυασμένος ταξινομητής

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το σύστημα ΠΛ ΝΕΜΟ (1)

Όμοιες περιπτώσεις

Επιλογέας κοντινών περιπτώσεων

Φίλτρο κοντινών περιπτώσεων

Προσαρμογέας κοντινών περιπτώσεων

Προβλέπτης λύσης

Προτεινόμενη λύση

ΝΕΜΟ

Βάση περιπτώσεων

Κοντινέςπεριπτώσεις

Βάση Γνώσης

Νέα περίπτωση

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία

αναστροφή

βροχόπτωση

άνεμος

NO στις 10 πμ

NO στις 9 πμ

NO στις 8 πμ

NO2 στις 10 πμ

NO2 στις 9 πμ

NO2 στις 8 πμ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Έξοδος

Το δέντρο απόφασης (1)NOat10

NOat10

NOat10

NOat10

Wind

NOat9

Rain

Inversion

NOat9

NO2at8 Wind

Radiation

1(26518)

1(235)

2(4412)

1(83) 2(104) 1(100)

2(101) 1(101)

2(10035)

3(5313)

4(80)

4(124)3(91)

lt=027 gt027

lt=021

gt067

gt021

lt=067

lt=04 gt04

lt=057 gt057

lt=066 gt066

lt=047 gt047

lt=021 gt021

=0 =1

lt=021 gt021 lt=08 gt08

lt=036 gt036

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το δέντρο απόφασης (2)

0

021

025

04 057

105 075

027

12

1 2 3

4

34

066

0

1

02

04

06

08

ΝΟ στις10πμ

Θερ

μο

κρα

σια

κή α

νασ

τρο

φή

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Ο συνδυασμένος ταξινομητής

bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (1)

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

134

38

522

122

93

8

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΝΕΜΟ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

Αποτελέσματα Πίνακες Σύγχυσης (2)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

40

4221

8 317

8

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΔΑ CART

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (3)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

42

8216

8 69

4 4

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΤΝΔ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (4)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

138

38

4124

122

13

2

6

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Στατιστικά για τους 4 αλγόριθμους

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

CART NeuralNet NEMO ML Ensemble

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 37: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Πως ορίζεται η ιδιότητα

bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό

μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης

του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Λόγοι επιλογής ιδιοτήτων

bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων

bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή

bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)

bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδοι Αντιμετώπισης

bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδος φιλτραρίσματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Υπολογισμός μέτρωνποιότητας των ιδιοτήτων

Επαύξηση ή μείωση των ιδιοτήτων

Είναι αποδεκτό τοαξιολογημένουποσύνολο

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Επιλογή νέου υποσυνόλουιδιοτήτων

Μέθοδοςφιλτραρίσματος

Γενετικός Αλγόριθμος

Μέθοδος περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Εκπαιδευμένο Μοντέλο

Σύνολοδεδομένων

Κατασκευή συνόλου δεδομένων

Αξιολογημένο Μοντέλο

Εκπαίδευση Αλγορίθμου

Αξιολόγηση Αλγορίθμου

Είναι αποδεκτό τοαξιολογημένο

μοντέλο

Επιλογή νέου υποσυνόλουιδιοτήτων

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Κ-κοντινότεροι γείτονες

Περιτύλιξη με Γενετικό Αλγόριθμο

bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων

bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου

ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων

ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας

γενετικούς τελεστές

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

11 22 33 4400

B1B1 B2B2 B3B3 B4B4 B5B5

Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων

Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με

κωδικό 104 (Γεωπονική) στις 5 μμ

000000 00110011 000000 1000010000 0001000010 0000000000 00

P = ΝΟ2 S = 104

F = αδιάφορο

H1 = 1700 O = 0

H2 = αδιάφορο

ΣημαίαΣυγκεντρωτικής ιδιότητας = 0

Επέλεξε τη μέση συγκέντρωση του

SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ

100100 01110111 000000 0001100011 1010010100 0001000010 11

P = ΝΟ2 S = 108

F = Μέση τιμή-Avg

H1 = 400 O = -2

H2 = 2100

ΣημαίαΣυγκεντρωτικής ιδιότητας = 1

Η Κωδικοποίηση του γενότυπου

Η συνάρτηση προσαρμογής

bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του

αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο

υποσύνολο ιδιοτήτων της λύσης

nA

iAb

nE

iEa

iAiEF

max

)(

max

)(1

))()((

a lt= 1 b lt= 1 a + b = 1

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Οι παράμετροι της συνάρτησης προσαρμογής a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE

bull et = Xt ndash Ft

bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής

bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

n

e

RMSE

n

tt

1

2

n

tt

n

ttt

X

Xe

WSE

1

2

1

2

Ρύθμιση του μεγέθους πληθυσμού

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Population Sizes

0

05

1

15

2

25

3

35

4

5 10 20 30 40 50 100

Population Size

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση συντελεστών a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Coefficient pairs

0

5

10

15

20

25

30

35

01 09 03 07 05 05 07 03 08 02 09 01 095 005

ab pairs

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage

0

05

1

15

2

25

3

35

10 30 40 50 60 70 80 90

Mutation rate ()

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers

0

05

1

15

2

25

3

35

4

1 2 3 4 5 8 10 15

Elite members

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeatures

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Η μέθοδος CFS

bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την

εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις

ιδιότητες του υποσυνόλου

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

)1( ii

cis

rkkk

rkG

Σύγκριση των δύο μεθόδων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

000

1000

2000

3000

4000

5000

6000

7000

8000

9000

ZeroR DecisionStump

DecisionTable

IB1 IB3 IB9 LinearRegression

M5Prime

GA Mean absolute error GA Root mean squared error

CFS Mean absolute error CFS Root mean squared error

Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης

bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης

ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART

bull Συνδυασμένος ταξινομητής

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το σύστημα ΠΛ ΝΕΜΟ (1)

Όμοιες περιπτώσεις

Επιλογέας κοντινών περιπτώσεων

Φίλτρο κοντινών περιπτώσεων

Προσαρμογέας κοντινών περιπτώσεων

Προβλέπτης λύσης

Προτεινόμενη λύση

ΝΕΜΟ

Βάση περιπτώσεων

Κοντινέςπεριπτώσεις

Βάση Γνώσης

Νέα περίπτωση

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία

αναστροφή

βροχόπτωση

άνεμος

NO στις 10 πμ

NO στις 9 πμ

NO στις 8 πμ

NO2 στις 10 πμ

NO2 στις 9 πμ

NO2 στις 8 πμ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Έξοδος

Το δέντρο απόφασης (1)NOat10

NOat10

NOat10

NOat10

Wind

NOat9

Rain

Inversion

NOat9

NO2at8 Wind

Radiation

1(26518)

1(235)

2(4412)

1(83) 2(104) 1(100)

2(101) 1(101)

2(10035)

3(5313)

4(80)

4(124)3(91)

lt=027 gt027

lt=021

gt067

gt021

lt=067

lt=04 gt04

lt=057 gt057

lt=066 gt066

lt=047 gt047

lt=021 gt021

=0 =1

lt=021 gt021 lt=08 gt08

lt=036 gt036

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το δέντρο απόφασης (2)

0

021

025

04 057

105 075

027

12

1 2 3

4

34

066

0

1

02

04

06

08

ΝΟ στις10πμ

Θερ

μο

κρα

σια

κή α

νασ

τρο

φή

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Ο συνδυασμένος ταξινομητής

bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (1)

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

134

38

522

122

93

8

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΝΕΜΟ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

Αποτελέσματα Πίνακες Σύγχυσης (2)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

40

4221

8 317

8

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΔΑ CART

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (3)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

42

8216

8 69

4 4

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΤΝΔ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (4)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

138

38

4124

122

13

2

6

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Στατιστικά για τους 4 αλγόριθμους

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

CART NeuralNet NEMO ML Ensemble

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 38: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Λόγοι επιλογής ιδιοτήτων

bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων

bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή

bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)

bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδοι Αντιμετώπισης

bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδος φιλτραρίσματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Υπολογισμός μέτρωνποιότητας των ιδιοτήτων

Επαύξηση ή μείωση των ιδιοτήτων

Είναι αποδεκτό τοαξιολογημένουποσύνολο

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Επιλογή νέου υποσυνόλουιδιοτήτων

Μέθοδοςφιλτραρίσματος

Γενετικός Αλγόριθμος

Μέθοδος περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Εκπαιδευμένο Μοντέλο

Σύνολοδεδομένων

Κατασκευή συνόλου δεδομένων

Αξιολογημένο Μοντέλο

Εκπαίδευση Αλγορίθμου

Αξιολόγηση Αλγορίθμου

Είναι αποδεκτό τοαξιολογημένο

μοντέλο

Επιλογή νέου υποσυνόλουιδιοτήτων

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Κ-κοντινότεροι γείτονες

Περιτύλιξη με Γενετικό Αλγόριθμο

bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων

bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου

ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων

ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας

γενετικούς τελεστές

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

11 22 33 4400

B1B1 B2B2 B3B3 B4B4 B5B5

Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων

Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με

κωδικό 104 (Γεωπονική) στις 5 μμ

000000 00110011 000000 1000010000 0001000010 0000000000 00

P = ΝΟ2 S = 104

F = αδιάφορο

H1 = 1700 O = 0

H2 = αδιάφορο

ΣημαίαΣυγκεντρωτικής ιδιότητας = 0

Επέλεξε τη μέση συγκέντρωση του

SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ

100100 01110111 000000 0001100011 1010010100 0001000010 11

P = ΝΟ2 S = 108

F = Μέση τιμή-Avg

H1 = 400 O = -2

H2 = 2100

ΣημαίαΣυγκεντρωτικής ιδιότητας = 1

Η Κωδικοποίηση του γενότυπου

Η συνάρτηση προσαρμογής

bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του

αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο

υποσύνολο ιδιοτήτων της λύσης

nA

iAb

nE

iEa

iAiEF

max

)(

max

)(1

))()((

a lt= 1 b lt= 1 a + b = 1

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Οι παράμετροι της συνάρτησης προσαρμογής a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE

bull et = Xt ndash Ft

bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής

bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

n

e

RMSE

n

tt

1

2

n

tt

n

ttt

X

Xe

WSE

1

2

1

2

Ρύθμιση του μεγέθους πληθυσμού

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Population Sizes

0

05

1

15

2

25

3

35

4

5 10 20 30 40 50 100

Population Size

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση συντελεστών a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Coefficient pairs

0

5

10

15

20

25

30

35

01 09 03 07 05 05 07 03 08 02 09 01 095 005

ab pairs

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage

0

05

1

15

2

25

3

35

10 30 40 50 60 70 80 90

Mutation rate ()

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers

0

05

1

15

2

25

3

35

4

1 2 3 4 5 8 10 15

Elite members

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeatures

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Η μέθοδος CFS

bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την

εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις

ιδιότητες του υποσυνόλου

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

)1( ii

cis

rkkk

rkG

Σύγκριση των δύο μεθόδων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

000

1000

2000

3000

4000

5000

6000

7000

8000

9000

ZeroR DecisionStump

DecisionTable

IB1 IB3 IB9 LinearRegression

M5Prime

GA Mean absolute error GA Root mean squared error

CFS Mean absolute error CFS Root mean squared error

Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης

bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης

ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART

bull Συνδυασμένος ταξινομητής

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το σύστημα ΠΛ ΝΕΜΟ (1)

Όμοιες περιπτώσεις

Επιλογέας κοντινών περιπτώσεων

Φίλτρο κοντινών περιπτώσεων

Προσαρμογέας κοντινών περιπτώσεων

Προβλέπτης λύσης

Προτεινόμενη λύση

ΝΕΜΟ

Βάση περιπτώσεων

Κοντινέςπεριπτώσεις

Βάση Γνώσης

Νέα περίπτωση

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία

αναστροφή

βροχόπτωση

άνεμος

NO στις 10 πμ

NO στις 9 πμ

NO στις 8 πμ

NO2 στις 10 πμ

NO2 στις 9 πμ

NO2 στις 8 πμ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Έξοδος

Το δέντρο απόφασης (1)NOat10

NOat10

NOat10

NOat10

Wind

NOat9

Rain

Inversion

NOat9

NO2at8 Wind

Radiation

1(26518)

1(235)

2(4412)

1(83) 2(104) 1(100)

2(101) 1(101)

2(10035)

3(5313)

4(80)

4(124)3(91)

lt=027 gt027

lt=021

gt067

gt021

lt=067

lt=04 gt04

lt=057 gt057

lt=066 gt066

lt=047 gt047

lt=021 gt021

=0 =1

lt=021 gt021 lt=08 gt08

lt=036 gt036

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το δέντρο απόφασης (2)

0

021

025

04 057

105 075

027

12

1 2 3

4

34

066

0

1

02

04

06

08

ΝΟ στις10πμ

Θερ

μο

κρα

σια

κή α

νασ

τρο

φή

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Ο συνδυασμένος ταξινομητής

bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (1)

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

134

38

522

122

93

8

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΝΕΜΟ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

Αποτελέσματα Πίνακες Σύγχυσης (2)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

40

4221

8 317

8

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΔΑ CART

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (3)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

42

8216

8 69

4 4

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΤΝΔ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (4)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

138

38

4124

122

13

2

6

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Στατιστικά για τους 4 αλγόριθμους

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

CART NeuralNet NEMO ML Ensemble

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 39: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Μέθοδοι Αντιμετώπισης

bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Μέθοδος φιλτραρίσματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Υπολογισμός μέτρωνποιότητας των ιδιοτήτων

Επαύξηση ή μείωση των ιδιοτήτων

Είναι αποδεκτό τοαξιολογημένουποσύνολο

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Επιλογή νέου υποσυνόλουιδιοτήτων

Μέθοδοςφιλτραρίσματος

Γενετικός Αλγόριθμος

Μέθοδος περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Εκπαιδευμένο Μοντέλο

Σύνολοδεδομένων

Κατασκευή συνόλου δεδομένων

Αξιολογημένο Μοντέλο

Εκπαίδευση Αλγορίθμου

Αξιολόγηση Αλγορίθμου

Είναι αποδεκτό τοαξιολογημένο

μοντέλο

Επιλογή νέου υποσυνόλουιδιοτήτων

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Κ-κοντινότεροι γείτονες

Περιτύλιξη με Γενετικό Αλγόριθμο

bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων

bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου

ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων

ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας

γενετικούς τελεστές

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

11 22 33 4400

B1B1 B2B2 B3B3 B4B4 B5B5

Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων

Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με

κωδικό 104 (Γεωπονική) στις 5 μμ

000000 00110011 000000 1000010000 0001000010 0000000000 00

P = ΝΟ2 S = 104

F = αδιάφορο

H1 = 1700 O = 0

H2 = αδιάφορο

ΣημαίαΣυγκεντρωτικής ιδιότητας = 0

Επέλεξε τη μέση συγκέντρωση του

SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ

100100 01110111 000000 0001100011 1010010100 0001000010 11

P = ΝΟ2 S = 108

F = Μέση τιμή-Avg

H1 = 400 O = -2

H2 = 2100

ΣημαίαΣυγκεντρωτικής ιδιότητας = 1

Η Κωδικοποίηση του γενότυπου

Η συνάρτηση προσαρμογής

bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του

αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο

υποσύνολο ιδιοτήτων της λύσης

nA

iAb

nE

iEa

iAiEF

max

)(

max

)(1

))()((

a lt= 1 b lt= 1 a + b = 1

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Οι παράμετροι της συνάρτησης προσαρμογής a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE

bull et = Xt ndash Ft

bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής

bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

n

e

RMSE

n

tt

1

2

n

tt

n

ttt

X

Xe

WSE

1

2

1

2

Ρύθμιση του μεγέθους πληθυσμού

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Population Sizes

0

05

1

15

2

25

3

35

4

5 10 20 30 40 50 100

Population Size

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση συντελεστών a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Coefficient pairs

0

5

10

15

20

25

30

35

01 09 03 07 05 05 07 03 08 02 09 01 095 005

ab pairs

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage

0

05

1

15

2

25

3

35

10 30 40 50 60 70 80 90

Mutation rate ()

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers

0

05

1

15

2

25

3

35

4

1 2 3 4 5 8 10 15

Elite members

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeatures

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Η μέθοδος CFS

bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την

εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις

ιδιότητες του υποσυνόλου

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

)1( ii

cis

rkkk

rkG

Σύγκριση των δύο μεθόδων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

000

1000

2000

3000

4000

5000

6000

7000

8000

9000

ZeroR DecisionStump

DecisionTable

IB1 IB3 IB9 LinearRegression

M5Prime

GA Mean absolute error GA Root mean squared error

CFS Mean absolute error CFS Root mean squared error

Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης

bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης

ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART

bull Συνδυασμένος ταξινομητής

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το σύστημα ΠΛ ΝΕΜΟ (1)

Όμοιες περιπτώσεις

Επιλογέας κοντινών περιπτώσεων

Φίλτρο κοντινών περιπτώσεων

Προσαρμογέας κοντινών περιπτώσεων

Προβλέπτης λύσης

Προτεινόμενη λύση

ΝΕΜΟ

Βάση περιπτώσεων

Κοντινέςπεριπτώσεις

Βάση Γνώσης

Νέα περίπτωση

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία

αναστροφή

βροχόπτωση

άνεμος

NO στις 10 πμ

NO στις 9 πμ

NO στις 8 πμ

NO2 στις 10 πμ

NO2 στις 9 πμ

NO2 στις 8 πμ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Έξοδος

Το δέντρο απόφασης (1)NOat10

NOat10

NOat10

NOat10

Wind

NOat9

Rain

Inversion

NOat9

NO2at8 Wind

Radiation

1(26518)

1(235)

2(4412)

1(83) 2(104) 1(100)

2(101) 1(101)

2(10035)

3(5313)

4(80)

4(124)3(91)

lt=027 gt027

lt=021

gt067

gt021

lt=067

lt=04 gt04

lt=057 gt057

lt=066 gt066

lt=047 gt047

lt=021 gt021

=0 =1

lt=021 gt021 lt=08 gt08

lt=036 gt036

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το δέντρο απόφασης (2)

0

021

025

04 057

105 075

027

12

1 2 3

4

34

066

0

1

02

04

06

08

ΝΟ στις10πμ

Θερ

μο

κρα

σια

κή α

νασ

τρο

φή

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Ο συνδυασμένος ταξινομητής

bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (1)

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

134

38

522

122

93

8

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΝΕΜΟ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

Αποτελέσματα Πίνακες Σύγχυσης (2)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

40

4221

8 317

8

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΔΑ CART

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (3)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

42

8216

8 69

4 4

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΤΝΔ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (4)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

138

38

4124

122

13

2

6

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Στατιστικά για τους 4 αλγόριθμους

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

CART NeuralNet NEMO ML Ensemble

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 40: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Μέθοδος φιλτραρίσματος

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Υπολογισμός μέτρωνποιότητας των ιδιοτήτων

Επαύξηση ή μείωση των ιδιοτήτων

Είναι αποδεκτό τοαξιολογημένουποσύνολο

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Επιλογή νέου υποσυνόλουιδιοτήτων

Μέθοδοςφιλτραρίσματος

Γενετικός Αλγόριθμος

Μέθοδος περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Εκπαιδευμένο Μοντέλο

Σύνολοδεδομένων

Κατασκευή συνόλου δεδομένων

Αξιολογημένο Μοντέλο

Εκπαίδευση Αλγορίθμου

Αξιολόγηση Αλγορίθμου

Είναι αποδεκτό τοαξιολογημένο

μοντέλο

Επιλογή νέου υποσυνόλουιδιοτήτων

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Κ-κοντινότεροι γείτονες

Περιτύλιξη με Γενετικό Αλγόριθμο

bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων

bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου

ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων

ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας

γενετικούς τελεστές

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

11 22 33 4400

B1B1 B2B2 B3B3 B4B4 B5B5

Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων

Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με

κωδικό 104 (Γεωπονική) στις 5 μμ

000000 00110011 000000 1000010000 0001000010 0000000000 00

P = ΝΟ2 S = 104

F = αδιάφορο

H1 = 1700 O = 0

H2 = αδιάφορο

ΣημαίαΣυγκεντρωτικής ιδιότητας = 0

Επέλεξε τη μέση συγκέντρωση του

SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ

100100 01110111 000000 0001100011 1010010100 0001000010 11

P = ΝΟ2 S = 108

F = Μέση τιμή-Avg

H1 = 400 O = -2

H2 = 2100

ΣημαίαΣυγκεντρωτικής ιδιότητας = 1

Η Κωδικοποίηση του γενότυπου

Η συνάρτηση προσαρμογής

bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του

αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο

υποσύνολο ιδιοτήτων της λύσης

nA

iAb

nE

iEa

iAiEF

max

)(

max

)(1

))()((

a lt= 1 b lt= 1 a + b = 1

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Οι παράμετροι της συνάρτησης προσαρμογής a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE

bull et = Xt ndash Ft

bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής

bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

n

e

RMSE

n

tt

1

2

n

tt

n

ttt

X

Xe

WSE

1

2

1

2

Ρύθμιση του μεγέθους πληθυσμού

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Population Sizes

0

05

1

15

2

25

3

35

4

5 10 20 30 40 50 100

Population Size

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση συντελεστών a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Coefficient pairs

0

5

10

15

20

25

30

35

01 09 03 07 05 05 07 03 08 02 09 01 095 005

ab pairs

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage

0

05

1

15

2

25

3

35

10 30 40 50 60 70 80 90

Mutation rate ()

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers

0

05

1

15

2

25

3

35

4

1 2 3 4 5 8 10 15

Elite members

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeatures

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Η μέθοδος CFS

bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την

εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις

ιδιότητες του υποσυνόλου

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

)1( ii

cis

rkkk

rkG

Σύγκριση των δύο μεθόδων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

000

1000

2000

3000

4000

5000

6000

7000

8000

9000

ZeroR DecisionStump

DecisionTable

IB1 IB3 IB9 LinearRegression

M5Prime

GA Mean absolute error GA Root mean squared error

CFS Mean absolute error CFS Root mean squared error

Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης

bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης

ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART

bull Συνδυασμένος ταξινομητής

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το σύστημα ΠΛ ΝΕΜΟ (1)

Όμοιες περιπτώσεις

Επιλογέας κοντινών περιπτώσεων

Φίλτρο κοντινών περιπτώσεων

Προσαρμογέας κοντινών περιπτώσεων

Προβλέπτης λύσης

Προτεινόμενη λύση

ΝΕΜΟ

Βάση περιπτώσεων

Κοντινέςπεριπτώσεις

Βάση Γνώσης

Νέα περίπτωση

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία

αναστροφή

βροχόπτωση

άνεμος

NO στις 10 πμ

NO στις 9 πμ

NO στις 8 πμ

NO2 στις 10 πμ

NO2 στις 9 πμ

NO2 στις 8 πμ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Έξοδος

Το δέντρο απόφασης (1)NOat10

NOat10

NOat10

NOat10

Wind

NOat9

Rain

Inversion

NOat9

NO2at8 Wind

Radiation

1(26518)

1(235)

2(4412)

1(83) 2(104) 1(100)

2(101) 1(101)

2(10035)

3(5313)

4(80)

4(124)3(91)

lt=027 gt027

lt=021

gt067

gt021

lt=067

lt=04 gt04

lt=057 gt057

lt=066 gt066

lt=047 gt047

lt=021 gt021

=0 =1

lt=021 gt021 lt=08 gt08

lt=036 gt036

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το δέντρο απόφασης (2)

0

021

025

04 057

105 075

027

12

1 2 3

4

34

066

0

1

02

04

06

08

ΝΟ στις10πμ

Θερ

μο

κρα

σια

κή α

νασ

τρο

φή

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Ο συνδυασμένος ταξινομητής

bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (1)

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

134

38

522

122

93

8

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΝΕΜΟ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

Αποτελέσματα Πίνακες Σύγχυσης (2)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

40

4221

8 317

8

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΔΑ CART

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (3)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

42

8216

8 69

4 4

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΤΝΔ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (4)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

138

38

4124

122

13

2

6

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Στατιστικά για τους 4 αλγόριθμους

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

CART NeuralNet NEMO ML Ensemble

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 41: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Γενετικός Αλγόριθμος

Μέθοδος περιτύλιξης

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Αποθήκηιδιοτήτων

Υποσύνολοιδιοτήτων

υπό αξιολόγηση

Επιλογή υποσυνόλουιδιοτήτων

Εκπαιδευμένο Μοντέλο

Σύνολοδεδομένων

Κατασκευή συνόλου δεδομένων

Αξιολογημένο Μοντέλο

Εκπαίδευση Αλγορίθμου

Αξιολόγηση Αλγορίθμου

Είναι αποδεκτό τοαξιολογημένο

μοντέλο

Επιλογή νέου υποσυνόλουιδιοτήτων

ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων

Κ-κοντινότεροι γείτονες

Περιτύλιξη με Γενετικό Αλγόριθμο

bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων

bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου

ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων

ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας

γενετικούς τελεστές

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

11 22 33 4400

B1B1 B2B2 B3B3 B4B4 B5B5

Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων

Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με

κωδικό 104 (Γεωπονική) στις 5 μμ

000000 00110011 000000 1000010000 0001000010 0000000000 00

P = ΝΟ2 S = 104

F = αδιάφορο

H1 = 1700 O = 0

H2 = αδιάφορο

ΣημαίαΣυγκεντρωτικής ιδιότητας = 0

Επέλεξε τη μέση συγκέντρωση του

SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ

100100 01110111 000000 0001100011 1010010100 0001000010 11

P = ΝΟ2 S = 108

F = Μέση τιμή-Avg

H1 = 400 O = -2

H2 = 2100

ΣημαίαΣυγκεντρωτικής ιδιότητας = 1

Η Κωδικοποίηση του γενότυπου

Η συνάρτηση προσαρμογής

bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του

αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο

υποσύνολο ιδιοτήτων της λύσης

nA

iAb

nE

iEa

iAiEF

max

)(

max

)(1

))()((

a lt= 1 b lt= 1 a + b = 1

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Οι παράμετροι της συνάρτησης προσαρμογής a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE

bull et = Xt ndash Ft

bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής

bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

n

e

RMSE

n

tt

1

2

n

tt

n

ttt

X

Xe

WSE

1

2

1

2

Ρύθμιση του μεγέθους πληθυσμού

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Population Sizes

0

05

1

15

2

25

3

35

4

5 10 20 30 40 50 100

Population Size

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση συντελεστών a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Coefficient pairs

0

5

10

15

20

25

30

35

01 09 03 07 05 05 07 03 08 02 09 01 095 005

ab pairs

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage

0

05

1

15

2

25

3

35

10 30 40 50 60 70 80 90

Mutation rate ()

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers

0

05

1

15

2

25

3

35

4

1 2 3 4 5 8 10 15

Elite members

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeatures

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Η μέθοδος CFS

bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την

εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις

ιδιότητες του υποσυνόλου

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

)1( ii

cis

rkkk

rkG

Σύγκριση των δύο μεθόδων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

000

1000

2000

3000

4000

5000

6000

7000

8000

9000

ZeroR DecisionStump

DecisionTable

IB1 IB3 IB9 LinearRegression

M5Prime

GA Mean absolute error GA Root mean squared error

CFS Mean absolute error CFS Root mean squared error

Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης

bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης

ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART

bull Συνδυασμένος ταξινομητής

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το σύστημα ΠΛ ΝΕΜΟ (1)

Όμοιες περιπτώσεις

Επιλογέας κοντινών περιπτώσεων

Φίλτρο κοντινών περιπτώσεων

Προσαρμογέας κοντινών περιπτώσεων

Προβλέπτης λύσης

Προτεινόμενη λύση

ΝΕΜΟ

Βάση περιπτώσεων

Κοντινέςπεριπτώσεις

Βάση Γνώσης

Νέα περίπτωση

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία

αναστροφή

βροχόπτωση

άνεμος

NO στις 10 πμ

NO στις 9 πμ

NO στις 8 πμ

NO2 στις 10 πμ

NO2 στις 9 πμ

NO2 στις 8 πμ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Έξοδος

Το δέντρο απόφασης (1)NOat10

NOat10

NOat10

NOat10

Wind

NOat9

Rain

Inversion

NOat9

NO2at8 Wind

Radiation

1(26518)

1(235)

2(4412)

1(83) 2(104) 1(100)

2(101) 1(101)

2(10035)

3(5313)

4(80)

4(124)3(91)

lt=027 gt027

lt=021

gt067

gt021

lt=067

lt=04 gt04

lt=057 gt057

lt=066 gt066

lt=047 gt047

lt=021 gt021

=0 =1

lt=021 gt021 lt=08 gt08

lt=036 gt036

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το δέντρο απόφασης (2)

0

021

025

04 057

105 075

027

12

1 2 3

4

34

066

0

1

02

04

06

08

ΝΟ στις10πμ

Θερ

μο

κρα

σια

κή α

νασ

τρο

φή

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Ο συνδυασμένος ταξινομητής

bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (1)

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

134

38

522

122

93

8

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΝΕΜΟ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

Αποτελέσματα Πίνακες Σύγχυσης (2)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

40

4221

8 317

8

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΔΑ CART

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (3)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

42

8216

8 69

4 4

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΤΝΔ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (4)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

138

38

4124

122

13

2

6

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Στατιστικά για τους 4 αλγόριθμους

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

CART NeuralNet NEMO ML Ensemble

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 42: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Περιτύλιξη με Γενετικό Αλγόριθμο

bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων

bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου

ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων

ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας

γενετικούς τελεστές

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

11 22 33 4400

B1B1 B2B2 B3B3 B4B4 B5B5

Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων

Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με

κωδικό 104 (Γεωπονική) στις 5 μμ

000000 00110011 000000 1000010000 0001000010 0000000000 00

P = ΝΟ2 S = 104

F = αδιάφορο

H1 = 1700 O = 0

H2 = αδιάφορο

ΣημαίαΣυγκεντρωτικής ιδιότητας = 0

Επέλεξε τη μέση συγκέντρωση του

SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ

100100 01110111 000000 0001100011 1010010100 0001000010 11

P = ΝΟ2 S = 108

F = Μέση τιμή-Avg

H1 = 400 O = -2

H2 = 2100

ΣημαίαΣυγκεντρωτικής ιδιότητας = 1

Η Κωδικοποίηση του γενότυπου

Η συνάρτηση προσαρμογής

bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του

αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο

υποσύνολο ιδιοτήτων της λύσης

nA

iAb

nE

iEa

iAiEF

max

)(

max

)(1

))()((

a lt= 1 b lt= 1 a + b = 1

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Οι παράμετροι της συνάρτησης προσαρμογής a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE

bull et = Xt ndash Ft

bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής

bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

n

e

RMSE

n

tt

1

2

n

tt

n

ttt

X

Xe

WSE

1

2

1

2

Ρύθμιση του μεγέθους πληθυσμού

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Population Sizes

0

05

1

15

2

25

3

35

4

5 10 20 30 40 50 100

Population Size

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση συντελεστών a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Coefficient pairs

0

5

10

15

20

25

30

35

01 09 03 07 05 05 07 03 08 02 09 01 095 005

ab pairs

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage

0

05

1

15

2

25

3

35

10 30 40 50 60 70 80 90

Mutation rate ()

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers

0

05

1

15

2

25

3

35

4

1 2 3 4 5 8 10 15

Elite members

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeatures

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Η μέθοδος CFS

bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την

εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις

ιδιότητες του υποσυνόλου

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

)1( ii

cis

rkkk

rkG

Σύγκριση των δύο μεθόδων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

000

1000

2000

3000

4000

5000

6000

7000

8000

9000

ZeroR DecisionStump

DecisionTable

IB1 IB3 IB9 LinearRegression

M5Prime

GA Mean absolute error GA Root mean squared error

CFS Mean absolute error CFS Root mean squared error

Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης

bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης

ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART

bull Συνδυασμένος ταξινομητής

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το σύστημα ΠΛ ΝΕΜΟ (1)

Όμοιες περιπτώσεις

Επιλογέας κοντινών περιπτώσεων

Φίλτρο κοντινών περιπτώσεων

Προσαρμογέας κοντινών περιπτώσεων

Προβλέπτης λύσης

Προτεινόμενη λύση

ΝΕΜΟ

Βάση περιπτώσεων

Κοντινέςπεριπτώσεις

Βάση Γνώσης

Νέα περίπτωση

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία

αναστροφή

βροχόπτωση

άνεμος

NO στις 10 πμ

NO στις 9 πμ

NO στις 8 πμ

NO2 στις 10 πμ

NO2 στις 9 πμ

NO2 στις 8 πμ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Έξοδος

Το δέντρο απόφασης (1)NOat10

NOat10

NOat10

NOat10

Wind

NOat9

Rain

Inversion

NOat9

NO2at8 Wind

Radiation

1(26518)

1(235)

2(4412)

1(83) 2(104) 1(100)

2(101) 1(101)

2(10035)

3(5313)

4(80)

4(124)3(91)

lt=027 gt027

lt=021

gt067

gt021

lt=067

lt=04 gt04

lt=057 gt057

lt=066 gt066

lt=047 gt047

lt=021 gt021

=0 =1

lt=021 gt021 lt=08 gt08

lt=036 gt036

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το δέντρο απόφασης (2)

0

021

025

04 057

105 075

027

12

1 2 3

4

34

066

0

1

02

04

06

08

ΝΟ στις10πμ

Θερ

μο

κρα

σια

κή α

νασ

τρο

φή

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Ο συνδυασμένος ταξινομητής

bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (1)

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

134

38

522

122

93

8

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΝΕΜΟ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

Αποτελέσματα Πίνακες Σύγχυσης (2)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

40

4221

8 317

8

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΔΑ CART

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (3)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

42

8216

8 69

4 4

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΤΝΔ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (4)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

138

38

4124

122

13

2

6

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Στατιστικά για τους 4 αλγόριθμους

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

CART NeuralNet NEMO ML Ensemble

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 43: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

11 22 33 4400

B1B1 B2B2 B3B3 B4B4 B5B5

Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων

Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με

κωδικό 104 (Γεωπονική) στις 5 μμ

000000 00110011 000000 1000010000 0001000010 0000000000 00

P = ΝΟ2 S = 104

F = αδιάφορο

H1 = 1700 O = 0

H2 = αδιάφορο

ΣημαίαΣυγκεντρωτικής ιδιότητας = 0

Επέλεξε τη μέση συγκέντρωση του

SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ

100100 01110111 000000 0001100011 1010010100 0001000010 11

P = ΝΟ2 S = 108

F = Μέση τιμή-Avg

H1 = 400 O = -2

H2 = 2100

ΣημαίαΣυγκεντρωτικής ιδιότητας = 1

Η Κωδικοποίηση του γενότυπου

Η συνάρτηση προσαρμογής

bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του

αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο

υποσύνολο ιδιοτήτων της λύσης

nA

iAb

nE

iEa

iAiEF

max

)(

max

)(1

))()((

a lt= 1 b lt= 1 a + b = 1

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Οι παράμετροι της συνάρτησης προσαρμογής a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE

bull et = Xt ndash Ft

bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής

bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

n

e

RMSE

n

tt

1

2

n

tt

n

ttt

X

Xe

WSE

1

2

1

2

Ρύθμιση του μεγέθους πληθυσμού

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Population Sizes

0

05

1

15

2

25

3

35

4

5 10 20 30 40 50 100

Population Size

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση συντελεστών a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Coefficient pairs

0

5

10

15

20

25

30

35

01 09 03 07 05 05 07 03 08 02 09 01 095 005

ab pairs

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage

0

05

1

15

2

25

3

35

10 30 40 50 60 70 80 90

Mutation rate ()

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers

0

05

1

15

2

25

3

35

4

1 2 3 4 5 8 10 15

Elite members

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeatures

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Η μέθοδος CFS

bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την

εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις

ιδιότητες του υποσυνόλου

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

)1( ii

cis

rkkk

rkG

Σύγκριση των δύο μεθόδων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

000

1000

2000

3000

4000

5000

6000

7000

8000

9000

ZeroR DecisionStump

DecisionTable

IB1 IB3 IB9 LinearRegression

M5Prime

GA Mean absolute error GA Root mean squared error

CFS Mean absolute error CFS Root mean squared error

Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης

bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης

ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART

bull Συνδυασμένος ταξινομητής

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το σύστημα ΠΛ ΝΕΜΟ (1)

Όμοιες περιπτώσεις

Επιλογέας κοντινών περιπτώσεων

Φίλτρο κοντινών περιπτώσεων

Προσαρμογέας κοντινών περιπτώσεων

Προβλέπτης λύσης

Προτεινόμενη λύση

ΝΕΜΟ

Βάση περιπτώσεων

Κοντινέςπεριπτώσεις

Βάση Γνώσης

Νέα περίπτωση

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία

αναστροφή

βροχόπτωση

άνεμος

NO στις 10 πμ

NO στις 9 πμ

NO στις 8 πμ

NO2 στις 10 πμ

NO2 στις 9 πμ

NO2 στις 8 πμ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Έξοδος

Το δέντρο απόφασης (1)NOat10

NOat10

NOat10

NOat10

Wind

NOat9

Rain

Inversion

NOat9

NO2at8 Wind

Radiation

1(26518)

1(235)

2(4412)

1(83) 2(104) 1(100)

2(101) 1(101)

2(10035)

3(5313)

4(80)

4(124)3(91)

lt=027 gt027

lt=021

gt067

gt021

lt=067

lt=04 gt04

lt=057 gt057

lt=066 gt066

lt=047 gt047

lt=021 gt021

=0 =1

lt=021 gt021 lt=08 gt08

lt=036 gt036

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το δέντρο απόφασης (2)

0

021

025

04 057

105 075

027

12

1 2 3

4

34

066

0

1

02

04

06

08

ΝΟ στις10πμ

Θερ

μο

κρα

σια

κή α

νασ

τρο

φή

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Ο συνδυασμένος ταξινομητής

bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (1)

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

134

38

522

122

93

8

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΝΕΜΟ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

Αποτελέσματα Πίνακες Σύγχυσης (2)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

40

4221

8 317

8

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΔΑ CART

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (3)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

42

8216

8 69

4 4

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΤΝΔ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (4)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

138

38

4124

122

13

2

6

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Στατιστικά για τους 4 αλγόριθμους

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

CART NeuralNet NEMO ML Ensemble

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 44: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Η συνάρτηση προσαρμογής

bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του

αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο

υποσύνολο ιδιοτήτων της λύσης

nA

iAb

nE

iEa

iAiEF

max

)(

max

)(1

))()((

a lt= 1 b lt= 1 a + b = 1

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Οι παράμετροι της συνάρτησης προσαρμογής a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE

bull et = Xt ndash Ft

bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής

bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

n

e

RMSE

n

tt

1

2

n

tt

n

ttt

X

Xe

WSE

1

2

1

2

Ρύθμιση του μεγέθους πληθυσμού

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Population Sizes

0

05

1

15

2

25

3

35

4

5 10 20 30 40 50 100

Population Size

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση συντελεστών a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Coefficient pairs

0

5

10

15

20

25

30

35

01 09 03 07 05 05 07 03 08 02 09 01 095 005

ab pairs

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage

0

05

1

15

2

25

3

35

10 30 40 50 60 70 80 90

Mutation rate ()

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers

0

05

1

15

2

25

3

35

4

1 2 3 4 5 8 10 15

Elite members

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeatures

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Η μέθοδος CFS

bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την

εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις

ιδιότητες του υποσυνόλου

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

)1( ii

cis

rkkk

rkG

Σύγκριση των δύο μεθόδων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

000

1000

2000

3000

4000

5000

6000

7000

8000

9000

ZeroR DecisionStump

DecisionTable

IB1 IB3 IB9 LinearRegression

M5Prime

GA Mean absolute error GA Root mean squared error

CFS Mean absolute error CFS Root mean squared error

Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης

bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης

ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART

bull Συνδυασμένος ταξινομητής

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το σύστημα ΠΛ ΝΕΜΟ (1)

Όμοιες περιπτώσεις

Επιλογέας κοντινών περιπτώσεων

Φίλτρο κοντινών περιπτώσεων

Προσαρμογέας κοντινών περιπτώσεων

Προβλέπτης λύσης

Προτεινόμενη λύση

ΝΕΜΟ

Βάση περιπτώσεων

Κοντινέςπεριπτώσεις

Βάση Γνώσης

Νέα περίπτωση

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία

αναστροφή

βροχόπτωση

άνεμος

NO στις 10 πμ

NO στις 9 πμ

NO στις 8 πμ

NO2 στις 10 πμ

NO2 στις 9 πμ

NO2 στις 8 πμ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Έξοδος

Το δέντρο απόφασης (1)NOat10

NOat10

NOat10

NOat10

Wind

NOat9

Rain

Inversion

NOat9

NO2at8 Wind

Radiation

1(26518)

1(235)

2(4412)

1(83) 2(104) 1(100)

2(101) 1(101)

2(10035)

3(5313)

4(80)

4(124)3(91)

lt=027 gt027

lt=021

gt067

gt021

lt=067

lt=04 gt04

lt=057 gt057

lt=066 gt066

lt=047 gt047

lt=021 gt021

=0 =1

lt=021 gt021 lt=08 gt08

lt=036 gt036

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το δέντρο απόφασης (2)

0

021

025

04 057

105 075

027

12

1 2 3

4

34

066

0

1

02

04

06

08

ΝΟ στις10πμ

Θερ

μο

κρα

σια

κή α

νασ

τρο

φή

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Ο συνδυασμένος ταξινομητής

bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (1)

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

134

38

522

122

93

8

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΝΕΜΟ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

Αποτελέσματα Πίνακες Σύγχυσης (2)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

40

4221

8 317

8

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΔΑ CART

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (3)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

42

8216

8 69

4 4

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΤΝΔ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (4)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

138

38

4124

122

13

2

6

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Στατιστικά για τους 4 αλγόριθμους

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

CART NeuralNet NEMO ML Ensemble

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 45: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Οι παράμετροι της συνάρτησης προσαρμογής a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE

bull et = Xt ndash Ft

bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής

bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

n

e

RMSE

n

tt

1

2

n

tt

n

ttt

X

Xe

WSE

1

2

1

2

Ρύθμιση του μεγέθους πληθυσμού

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Population Sizes

0

05

1

15

2

25

3

35

4

5 10 20 30 40 50 100

Population Size

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση συντελεστών a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Coefficient pairs

0

5

10

15

20

25

30

35

01 09 03 07 05 05 07 03 08 02 09 01 095 005

ab pairs

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage

0

05

1

15

2

25

3

35

10 30 40 50 60 70 80 90

Mutation rate ()

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers

0

05

1

15

2

25

3

35

4

1 2 3 4 5 8 10 15

Elite members

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeatures

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Η μέθοδος CFS

bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την

εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις

ιδιότητες του υποσυνόλου

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

)1( ii

cis

rkkk

rkG

Σύγκριση των δύο μεθόδων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

000

1000

2000

3000

4000

5000

6000

7000

8000

9000

ZeroR DecisionStump

DecisionTable

IB1 IB3 IB9 LinearRegression

M5Prime

GA Mean absolute error GA Root mean squared error

CFS Mean absolute error CFS Root mean squared error

Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης

bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης

ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART

bull Συνδυασμένος ταξινομητής

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το σύστημα ΠΛ ΝΕΜΟ (1)

Όμοιες περιπτώσεις

Επιλογέας κοντινών περιπτώσεων

Φίλτρο κοντινών περιπτώσεων

Προσαρμογέας κοντινών περιπτώσεων

Προβλέπτης λύσης

Προτεινόμενη λύση

ΝΕΜΟ

Βάση περιπτώσεων

Κοντινέςπεριπτώσεις

Βάση Γνώσης

Νέα περίπτωση

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία

αναστροφή

βροχόπτωση

άνεμος

NO στις 10 πμ

NO στις 9 πμ

NO στις 8 πμ

NO2 στις 10 πμ

NO2 στις 9 πμ

NO2 στις 8 πμ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Έξοδος

Το δέντρο απόφασης (1)NOat10

NOat10

NOat10

NOat10

Wind

NOat9

Rain

Inversion

NOat9

NO2at8 Wind

Radiation

1(26518)

1(235)

2(4412)

1(83) 2(104) 1(100)

2(101) 1(101)

2(10035)

3(5313)

4(80)

4(124)3(91)

lt=027 gt027

lt=021

gt067

gt021

lt=067

lt=04 gt04

lt=057 gt057

lt=066 gt066

lt=047 gt047

lt=021 gt021

=0 =1

lt=021 gt021 lt=08 gt08

lt=036 gt036

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το δέντρο απόφασης (2)

0

021

025

04 057

105 075

027

12

1 2 3

4

34

066

0

1

02

04

06

08

ΝΟ στις10πμ

Θερ

μο

κρα

σια

κή α

νασ

τρο

φή

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Ο συνδυασμένος ταξινομητής

bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (1)

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

134

38

522

122

93

8

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΝΕΜΟ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

Αποτελέσματα Πίνακες Σύγχυσης (2)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

40

4221

8 317

8

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΔΑ CART

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (3)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

42

8216

8 69

4 4

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΤΝΔ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (4)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

138

38

4124

122

13

2

6

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Στατιστικά για τους 4 αλγόριθμους

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

CART NeuralNet NEMO ML Ensemble

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 46: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE

bull et = Xt ndash Ft

bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής

bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

n

e

RMSE

n

tt

1

2

n

tt

n

ttt

X

Xe

WSE

1

2

1

2

Ρύθμιση του μεγέθους πληθυσμού

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Population Sizes

0

05

1

15

2

25

3

35

4

5 10 20 30 40 50 100

Population Size

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση συντελεστών a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Coefficient pairs

0

5

10

15

20

25

30

35

01 09 03 07 05 05 07 03 08 02 09 01 095 005

ab pairs

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage

0

05

1

15

2

25

3

35

10 30 40 50 60 70 80 90

Mutation rate ()

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers

0

05

1

15

2

25

3

35

4

1 2 3 4 5 8 10 15

Elite members

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeatures

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Η μέθοδος CFS

bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την

εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις

ιδιότητες του υποσυνόλου

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

)1( ii

cis

rkkk

rkG

Σύγκριση των δύο μεθόδων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

000

1000

2000

3000

4000

5000

6000

7000

8000

9000

ZeroR DecisionStump

DecisionTable

IB1 IB3 IB9 LinearRegression

M5Prime

GA Mean absolute error GA Root mean squared error

CFS Mean absolute error CFS Root mean squared error

Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης

bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης

ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART

bull Συνδυασμένος ταξινομητής

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το σύστημα ΠΛ ΝΕΜΟ (1)

Όμοιες περιπτώσεις

Επιλογέας κοντινών περιπτώσεων

Φίλτρο κοντινών περιπτώσεων

Προσαρμογέας κοντινών περιπτώσεων

Προβλέπτης λύσης

Προτεινόμενη λύση

ΝΕΜΟ

Βάση περιπτώσεων

Κοντινέςπεριπτώσεις

Βάση Γνώσης

Νέα περίπτωση

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία

αναστροφή

βροχόπτωση

άνεμος

NO στις 10 πμ

NO στις 9 πμ

NO στις 8 πμ

NO2 στις 10 πμ

NO2 στις 9 πμ

NO2 στις 8 πμ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Έξοδος

Το δέντρο απόφασης (1)NOat10

NOat10

NOat10

NOat10

Wind

NOat9

Rain

Inversion

NOat9

NO2at8 Wind

Radiation

1(26518)

1(235)

2(4412)

1(83) 2(104) 1(100)

2(101) 1(101)

2(10035)

3(5313)

4(80)

4(124)3(91)

lt=027 gt027

lt=021

gt067

gt021

lt=067

lt=04 gt04

lt=057 gt057

lt=066 gt066

lt=047 gt047

lt=021 gt021

=0 =1

lt=021 gt021 lt=08 gt08

lt=036 gt036

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το δέντρο απόφασης (2)

0

021

025

04 057

105 075

027

12

1 2 3

4

34

066

0

1

02

04

06

08

ΝΟ στις10πμ

Θερ

μο

κρα

σια

κή α

νασ

τρο

φή

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Ο συνδυασμένος ταξινομητής

bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (1)

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

134

38

522

122

93

8

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΝΕΜΟ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

Αποτελέσματα Πίνακες Σύγχυσης (2)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

40

4221

8 317

8

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΔΑ CART

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (3)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

42

8216

8 69

4 4

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΤΝΔ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (4)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

138

38

4124

122

13

2

6

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Στατιστικά για τους 4 αλγόριθμους

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

CART NeuralNet NEMO ML Ensemble

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 47: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Ρύθμιση του μεγέθους πληθυσμού

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Population Sizes

0

05

1

15

2

25

3

35

4

5 10 20 30 40 50 100

Population Size

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση συντελεστών a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Coefficient pairs

0

5

10

15

20

25

30

35

01 09 03 07 05 05 07 03 08 02 09 01 095 005

ab pairs

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage

0

05

1

15

2

25

3

35

10 30 40 50 60 70 80 90

Mutation rate ()

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers

0

05

1

15

2

25

3

35

4

1 2 3 4 5 8 10 15

Elite members

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeatures

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Η μέθοδος CFS

bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την

εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις

ιδιότητες του υποσυνόλου

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

)1( ii

cis

rkkk

rkG

Σύγκριση των δύο μεθόδων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

000

1000

2000

3000

4000

5000

6000

7000

8000

9000

ZeroR DecisionStump

DecisionTable

IB1 IB3 IB9 LinearRegression

M5Prime

GA Mean absolute error GA Root mean squared error

CFS Mean absolute error CFS Root mean squared error

Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης

bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης

ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART

bull Συνδυασμένος ταξινομητής

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το σύστημα ΠΛ ΝΕΜΟ (1)

Όμοιες περιπτώσεις

Επιλογέας κοντινών περιπτώσεων

Φίλτρο κοντινών περιπτώσεων

Προσαρμογέας κοντινών περιπτώσεων

Προβλέπτης λύσης

Προτεινόμενη λύση

ΝΕΜΟ

Βάση περιπτώσεων

Κοντινέςπεριπτώσεις

Βάση Γνώσης

Νέα περίπτωση

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία

αναστροφή

βροχόπτωση

άνεμος

NO στις 10 πμ

NO στις 9 πμ

NO στις 8 πμ

NO2 στις 10 πμ

NO2 στις 9 πμ

NO2 στις 8 πμ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Έξοδος

Το δέντρο απόφασης (1)NOat10

NOat10

NOat10

NOat10

Wind

NOat9

Rain

Inversion

NOat9

NO2at8 Wind

Radiation

1(26518)

1(235)

2(4412)

1(83) 2(104) 1(100)

2(101) 1(101)

2(10035)

3(5313)

4(80)

4(124)3(91)

lt=027 gt027

lt=021

gt067

gt021

lt=067

lt=04 gt04

lt=057 gt057

lt=066 gt066

lt=047 gt047

lt=021 gt021

=0 =1

lt=021 gt021 lt=08 gt08

lt=036 gt036

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το δέντρο απόφασης (2)

0

021

025

04 057

105 075

027

12

1 2 3

4

34

066

0

1

02

04

06

08

ΝΟ στις10πμ

Θερ

μο

κρα

σια

κή α

νασ

τρο

φή

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Ο συνδυασμένος ταξινομητής

bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (1)

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

134

38

522

122

93

8

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΝΕΜΟ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

Αποτελέσματα Πίνακες Σύγχυσης (2)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

40

4221

8 317

8

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΔΑ CART

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (3)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

42

8216

8 69

4 4

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΤΝΔ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (4)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

138

38

4124

122

13

2

6

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Στατιστικά για τους 4 αλγόριθμους

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

CART NeuralNet NEMO ML Ensemble

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 48: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Ρύθμιση συντελεστών a b

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Best Solution for different Coefficient pairs

0

5

10

15

20

25

30

35

01 09 03 07 05 05 07 03 08 02 09 01 095 005

ab pairs

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage

0

05

1

15

2

25

3

35

10 30 40 50 60 70 80 90

Mutation rate ()

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers

0

05

1

15

2

25

3

35

4

1 2 3 4 5 8 10 15

Elite members

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeatures

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Η μέθοδος CFS

bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την

εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις

ιδιότητες του υποσυνόλου

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

)1( ii

cis

rkkk

rkG

Σύγκριση των δύο μεθόδων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

000

1000

2000

3000

4000

5000

6000

7000

8000

9000

ZeroR DecisionStump

DecisionTable

IB1 IB3 IB9 LinearRegression

M5Prime

GA Mean absolute error GA Root mean squared error

CFS Mean absolute error CFS Root mean squared error

Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης

bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης

ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART

bull Συνδυασμένος ταξινομητής

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το σύστημα ΠΛ ΝΕΜΟ (1)

Όμοιες περιπτώσεις

Επιλογέας κοντινών περιπτώσεων

Φίλτρο κοντινών περιπτώσεων

Προσαρμογέας κοντινών περιπτώσεων

Προβλέπτης λύσης

Προτεινόμενη λύση

ΝΕΜΟ

Βάση περιπτώσεων

Κοντινέςπεριπτώσεις

Βάση Γνώσης

Νέα περίπτωση

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία

αναστροφή

βροχόπτωση

άνεμος

NO στις 10 πμ

NO στις 9 πμ

NO στις 8 πμ

NO2 στις 10 πμ

NO2 στις 9 πμ

NO2 στις 8 πμ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Έξοδος

Το δέντρο απόφασης (1)NOat10

NOat10

NOat10

NOat10

Wind

NOat9

Rain

Inversion

NOat9

NO2at8 Wind

Radiation

1(26518)

1(235)

2(4412)

1(83) 2(104) 1(100)

2(101) 1(101)

2(10035)

3(5313)

4(80)

4(124)3(91)

lt=027 gt027

lt=021

gt067

gt021

lt=067

lt=04 gt04

lt=057 gt057

lt=066 gt066

lt=047 gt047

lt=021 gt021

=0 =1

lt=021 gt021 lt=08 gt08

lt=036 gt036

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το δέντρο απόφασης (2)

0

021

025

04 057

105 075

027

12

1 2 3

4

34

066

0

1

02

04

06

08

ΝΟ στις10πμ

Θερ

μο

κρα

σια

κή α

νασ

τρο

φή

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Ο συνδυασμένος ταξινομητής

bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (1)

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

134

38

522

122

93

8

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΝΕΜΟ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

Αποτελέσματα Πίνακες Σύγχυσης (2)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

40

4221

8 317

8

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΔΑ CART

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (3)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

42

8216

8 69

4 4

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΤΝΔ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (4)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

138

38

4124

122

13

2

6

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Στατιστικά για τους 4 αλγόριθμους

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

CART NeuralNet NEMO ML Ensemble

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 49: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage

0

05

1

15

2

25

3

35

10 30 40 50 60 70 80 90

Mutation rate ()

Fit

nes

s

0

10

20

30

40

50

60

70

80

MaxFitness AvgFitness MinFitness BestWSE BestFeature

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers

0

05

1

15

2

25

3

35

4

1 2 3 4 5 8 10 15

Elite members

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeatures

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Η μέθοδος CFS

bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την

εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις

ιδιότητες του υποσυνόλου

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

)1( ii

cis

rkkk

rkG

Σύγκριση των δύο μεθόδων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

000

1000

2000

3000

4000

5000

6000

7000

8000

9000

ZeroR DecisionStump

DecisionTable

IB1 IB3 IB9 LinearRegression

M5Prime

GA Mean absolute error GA Root mean squared error

CFS Mean absolute error CFS Root mean squared error

Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης

bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης

ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART

bull Συνδυασμένος ταξινομητής

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το σύστημα ΠΛ ΝΕΜΟ (1)

Όμοιες περιπτώσεις

Επιλογέας κοντινών περιπτώσεων

Φίλτρο κοντινών περιπτώσεων

Προσαρμογέας κοντινών περιπτώσεων

Προβλέπτης λύσης

Προτεινόμενη λύση

ΝΕΜΟ

Βάση περιπτώσεων

Κοντινέςπεριπτώσεις

Βάση Γνώσης

Νέα περίπτωση

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία

αναστροφή

βροχόπτωση

άνεμος

NO στις 10 πμ

NO στις 9 πμ

NO στις 8 πμ

NO2 στις 10 πμ

NO2 στις 9 πμ

NO2 στις 8 πμ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Έξοδος

Το δέντρο απόφασης (1)NOat10

NOat10

NOat10

NOat10

Wind

NOat9

Rain

Inversion

NOat9

NO2at8 Wind

Radiation

1(26518)

1(235)

2(4412)

1(83) 2(104) 1(100)

2(101) 1(101)

2(10035)

3(5313)

4(80)

4(124)3(91)

lt=027 gt027

lt=021

gt067

gt021

lt=067

lt=04 gt04

lt=057 gt057

lt=066 gt066

lt=047 gt047

lt=021 gt021

=0 =1

lt=021 gt021 lt=08 gt08

lt=036 gt036

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το δέντρο απόφασης (2)

0

021

025

04 057

105 075

027

12

1 2 3

4

34

066

0

1

02

04

06

08

ΝΟ στις10πμ

Θερ

μο

κρα

σια

κή α

νασ

τρο

φή

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Ο συνδυασμένος ταξινομητής

bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (1)

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

134

38

522

122

93

8

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΝΕΜΟ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

Αποτελέσματα Πίνακες Σύγχυσης (2)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

40

4221

8 317

8

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΔΑ CART

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (3)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

42

8216

8 69

4 4

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΤΝΔ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (4)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

138

38

4124

122

13

2

6

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Στατιστικά για τους 4 αλγόριθμους

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

CART NeuralNet NEMO ML Ensemble

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 50: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers

0

05

1

15

2

25

3

35

4

1 2 3 4 5 8 10 15

Elite members

Fit

nes

s

0

10

20

30

40

50

60

70

80

90

MaxFitness AvgFitness MinFitness BestWSE BestFeatures

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

Η μέθοδος CFS

bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την

εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις

ιδιότητες του υποσυνόλου

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

)1( ii

cis

rkkk

rkG

Σύγκριση των δύο μεθόδων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

000

1000

2000

3000

4000

5000

6000

7000

8000

9000

ZeroR DecisionStump

DecisionTable

IB1 IB3 IB9 LinearRegression

M5Prime

GA Mean absolute error GA Root mean squared error

CFS Mean absolute error CFS Root mean squared error

Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης

bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης

ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART

bull Συνδυασμένος ταξινομητής

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το σύστημα ΠΛ ΝΕΜΟ (1)

Όμοιες περιπτώσεις

Επιλογέας κοντινών περιπτώσεων

Φίλτρο κοντινών περιπτώσεων

Προσαρμογέας κοντινών περιπτώσεων

Προβλέπτης λύσης

Προτεινόμενη λύση

ΝΕΜΟ

Βάση περιπτώσεων

Κοντινέςπεριπτώσεις

Βάση Γνώσης

Νέα περίπτωση

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία

αναστροφή

βροχόπτωση

άνεμος

NO στις 10 πμ

NO στις 9 πμ

NO στις 8 πμ

NO2 στις 10 πμ

NO2 στις 9 πμ

NO2 στις 8 πμ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Έξοδος

Το δέντρο απόφασης (1)NOat10

NOat10

NOat10

NOat10

Wind

NOat9

Rain

Inversion

NOat9

NO2at8 Wind

Radiation

1(26518)

1(235)

2(4412)

1(83) 2(104) 1(100)

2(101) 1(101)

2(10035)

3(5313)

4(80)

4(124)3(91)

lt=027 gt027

lt=021

gt067

gt021

lt=067

lt=04 gt04

lt=057 gt057

lt=066 gt066

lt=047 gt047

lt=021 gt021

=0 =1

lt=021 gt021 lt=08 gt08

lt=036 gt036

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το δέντρο απόφασης (2)

0

021

025

04 057

105 075

027

12

1 2 3

4

34

066

0

1

02

04

06

08

ΝΟ στις10πμ

Θερ

μο

κρα

σια

κή α

νασ

τρο

φή

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Ο συνδυασμένος ταξινομητής

bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (1)

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

134

38

522

122

93

8

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΝΕΜΟ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

Αποτελέσματα Πίνακες Σύγχυσης (2)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

40

4221

8 317

8

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΔΑ CART

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (3)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

42

8216

8 69

4 4

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΤΝΔ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (4)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

138

38

4124

122

13

2

6

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Στατιστικά για τους 4 αλγόριθμους

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

CART NeuralNet NEMO ML Ensemble

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 51: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Η μέθοδος CFS

bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την

εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις

ιδιότητες του υποσυνόλου

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

)1( ii

cis

rkkk

rkG

Σύγκριση των δύο μεθόδων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

000

1000

2000

3000

4000

5000

6000

7000

8000

9000

ZeroR DecisionStump

DecisionTable

IB1 IB3 IB9 LinearRegression

M5Prime

GA Mean absolute error GA Root mean squared error

CFS Mean absolute error CFS Root mean squared error

Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης

bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης

ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART

bull Συνδυασμένος ταξινομητής

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το σύστημα ΠΛ ΝΕΜΟ (1)

Όμοιες περιπτώσεις

Επιλογέας κοντινών περιπτώσεων

Φίλτρο κοντινών περιπτώσεων

Προσαρμογέας κοντινών περιπτώσεων

Προβλέπτης λύσης

Προτεινόμενη λύση

ΝΕΜΟ

Βάση περιπτώσεων

Κοντινέςπεριπτώσεις

Βάση Γνώσης

Νέα περίπτωση

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία

αναστροφή

βροχόπτωση

άνεμος

NO στις 10 πμ

NO στις 9 πμ

NO στις 8 πμ

NO2 στις 10 πμ

NO2 στις 9 πμ

NO2 στις 8 πμ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Έξοδος

Το δέντρο απόφασης (1)NOat10

NOat10

NOat10

NOat10

Wind

NOat9

Rain

Inversion

NOat9

NO2at8 Wind

Radiation

1(26518)

1(235)

2(4412)

1(83) 2(104) 1(100)

2(101) 1(101)

2(10035)

3(5313)

4(80)

4(124)3(91)

lt=027 gt027

lt=021

gt067

gt021

lt=067

lt=04 gt04

lt=057 gt057

lt=066 gt066

lt=047 gt047

lt=021 gt021

=0 =1

lt=021 gt021 lt=08 gt08

lt=036 gt036

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το δέντρο απόφασης (2)

0

021

025

04 057

105 075

027

12

1 2 3

4

34

066

0

1

02

04

06

08

ΝΟ στις10πμ

Θερ

μο

κρα

σια

κή α

νασ

τρο

φή

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Ο συνδυασμένος ταξινομητής

bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (1)

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

134

38

522

122

93

8

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΝΕΜΟ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

Αποτελέσματα Πίνακες Σύγχυσης (2)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

40

4221

8 317

8

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΔΑ CART

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (3)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

42

8216

8 69

4 4

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΤΝΔ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (4)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

138

38

4124

122

13

2

6

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Στατιστικά για τους 4 αλγόριθμους

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

CART NeuralNet NEMO ML Ensemble

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 52: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Σύγκριση των δύο μεθόδων

4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων

000

1000

2000

3000

4000

5000

6000

7000

8000

9000

ZeroR DecisionStump

DecisionTable

IB1 IB3 IB9 LinearRegression

M5Prime

GA Mean absolute error GA Root mean squared error

CFS Mean absolute error CFS Root mean squared error

Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης

bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης

ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART

bull Συνδυασμένος ταξινομητής

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το σύστημα ΠΛ ΝΕΜΟ (1)

Όμοιες περιπτώσεις

Επιλογέας κοντινών περιπτώσεων

Φίλτρο κοντινών περιπτώσεων

Προσαρμογέας κοντινών περιπτώσεων

Προβλέπτης λύσης

Προτεινόμενη λύση

ΝΕΜΟ

Βάση περιπτώσεων

Κοντινέςπεριπτώσεις

Βάση Γνώσης

Νέα περίπτωση

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία

αναστροφή

βροχόπτωση

άνεμος

NO στις 10 πμ

NO στις 9 πμ

NO στις 8 πμ

NO2 στις 10 πμ

NO2 στις 9 πμ

NO2 στις 8 πμ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Έξοδος

Το δέντρο απόφασης (1)NOat10

NOat10

NOat10

NOat10

Wind

NOat9

Rain

Inversion

NOat9

NO2at8 Wind

Radiation

1(26518)

1(235)

2(4412)

1(83) 2(104) 1(100)

2(101) 1(101)

2(10035)

3(5313)

4(80)

4(124)3(91)

lt=027 gt027

lt=021

gt067

gt021

lt=067

lt=04 gt04

lt=057 gt057

lt=066 gt066

lt=047 gt047

lt=021 gt021

=0 =1

lt=021 gt021 lt=08 gt08

lt=036 gt036

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το δέντρο απόφασης (2)

0

021

025

04 057

105 075

027

12

1 2 3

4

34

066

0

1

02

04

06

08

ΝΟ στις10πμ

Θερ

μο

κρα

σια

κή α

νασ

τρο

φή

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Ο συνδυασμένος ταξινομητής

bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (1)

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

134

38

522

122

93

8

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΝΕΜΟ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

Αποτελέσματα Πίνακες Σύγχυσης (2)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

40

4221

8 317

8

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΔΑ CART

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (3)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

42

8216

8 69

4 4

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΤΝΔ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (4)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

138

38

4124

122

13

2

6

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Στατιστικά για τους 4 αλγόριθμους

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

CART NeuralNet NEMO ML Ensemble

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 53: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης

bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης

ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART

bull Συνδυασμένος ταξινομητής

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το σύστημα ΠΛ ΝΕΜΟ (1)

Όμοιες περιπτώσεις

Επιλογέας κοντινών περιπτώσεων

Φίλτρο κοντινών περιπτώσεων

Προσαρμογέας κοντινών περιπτώσεων

Προβλέπτης λύσης

Προτεινόμενη λύση

ΝΕΜΟ

Βάση περιπτώσεων

Κοντινέςπεριπτώσεις

Βάση Γνώσης

Νέα περίπτωση

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία

αναστροφή

βροχόπτωση

άνεμος

NO στις 10 πμ

NO στις 9 πμ

NO στις 8 πμ

NO2 στις 10 πμ

NO2 στις 9 πμ

NO2 στις 8 πμ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Έξοδος

Το δέντρο απόφασης (1)NOat10

NOat10

NOat10

NOat10

Wind

NOat9

Rain

Inversion

NOat9

NO2at8 Wind

Radiation

1(26518)

1(235)

2(4412)

1(83) 2(104) 1(100)

2(101) 1(101)

2(10035)

3(5313)

4(80)

4(124)3(91)

lt=027 gt027

lt=021

gt067

gt021

lt=067

lt=04 gt04

lt=057 gt057

lt=066 gt066

lt=047 gt047

lt=021 gt021

=0 =1

lt=021 gt021 lt=08 gt08

lt=036 gt036

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το δέντρο απόφασης (2)

0

021

025

04 057

105 075

027

12

1 2 3

4

34

066

0

1

02

04

06

08

ΝΟ στις10πμ

Θερ

μο

κρα

σια

κή α

νασ

τρο

φή

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Ο συνδυασμένος ταξινομητής

bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (1)

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

134

38

522

122

93

8

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΝΕΜΟ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

Αποτελέσματα Πίνακες Σύγχυσης (2)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

40

4221

8 317

8

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΔΑ CART

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (3)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

42

8216

8 69

4 4

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΤΝΔ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (4)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

138

38

4124

122

13

2

6

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Στατιστικά για τους 4 αλγόριθμους

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

CART NeuralNet NEMO ML Ensemble

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 54: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Το σύστημα ΠΛ ΝΕΜΟ (1)

Όμοιες περιπτώσεις

Επιλογέας κοντινών περιπτώσεων

Φίλτρο κοντινών περιπτώσεων

Προσαρμογέας κοντινών περιπτώσεων

Προβλέπτης λύσης

Προτεινόμενη λύση

ΝΕΜΟ

Βάση περιπτώσεων

Κοντινέςπεριπτώσεις

Βάση Γνώσης

Νέα περίπτωση

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία

αναστροφή

βροχόπτωση

άνεμος

NO στις 10 πμ

NO στις 9 πμ

NO στις 8 πμ

NO2 στις 10 πμ

NO2 στις 9 πμ

NO2 στις 8 πμ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Έξοδος

Το δέντρο απόφασης (1)NOat10

NOat10

NOat10

NOat10

Wind

NOat9

Rain

Inversion

NOat9

NO2at8 Wind

Radiation

1(26518)

1(235)

2(4412)

1(83) 2(104) 1(100)

2(101) 1(101)

2(10035)

3(5313)

4(80)

4(124)3(91)

lt=027 gt027

lt=021

gt067

gt021

lt=067

lt=04 gt04

lt=057 gt057

lt=066 gt066

lt=047 gt047

lt=021 gt021

=0 =1

lt=021 gt021 lt=08 gt08

lt=036 gt036

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το δέντρο απόφασης (2)

0

021

025

04 057

105 075

027

12

1 2 3

4

34

066

0

1

02

04

06

08

ΝΟ στις10πμ

Θερ

μο

κρα

σια

κή α

νασ

τρο

φή

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Ο συνδυασμένος ταξινομητής

bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (1)

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

134

38

522

122

93

8

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΝΕΜΟ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

Αποτελέσματα Πίνακες Σύγχυσης (2)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

40

4221

8 317

8

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΔΑ CART

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (3)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

42

8216

8 69

4 4

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΤΝΔ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (4)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

138

38

4124

122

13

2

6

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Στατιστικά για τους 4 αλγόριθμους

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

CART NeuralNet NEMO ML Ensemble

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 55: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία

αναστροφή

βροχόπτωση

άνεμος

NO στις 10 πμ

NO στις 9 πμ

NO στις 8 πμ

NO2 στις 10 πμ

NO2 στις 9 πμ

NO2 στις 8 πμ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Πρώτη κρυμμένη

ζώνη

Δεύτερη κρυμμένη

ζώνη

Έξοδος

Το δέντρο απόφασης (1)NOat10

NOat10

NOat10

NOat10

Wind

NOat9

Rain

Inversion

NOat9

NO2at8 Wind

Radiation

1(26518)

1(235)

2(4412)

1(83) 2(104) 1(100)

2(101) 1(101)

2(10035)

3(5313)

4(80)

4(124)3(91)

lt=027 gt027

lt=021

gt067

gt021

lt=067

lt=04 gt04

lt=057 gt057

lt=066 gt066

lt=047 gt047

lt=021 gt021

=0 =1

lt=021 gt021 lt=08 gt08

lt=036 gt036

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το δέντρο απόφασης (2)

0

021

025

04 057

105 075

027

12

1 2 3

4

34

066

0

1

02

04

06

08

ΝΟ στις10πμ

Θερ

μο

κρα

σια

κή α

νασ

τρο

φή

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Ο συνδυασμένος ταξινομητής

bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (1)

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

134

38

522

122

93

8

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΝΕΜΟ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

Αποτελέσματα Πίνακες Σύγχυσης (2)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

40

4221

8 317

8

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΔΑ CART

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (3)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

42

8216

8 69

4 4

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΤΝΔ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (4)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

138

38

4124

122

13

2

6

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Στατιστικά για τους 4 αλγόριθμους

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

CART NeuralNet NEMO ML Ensemble

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 56: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Το δέντρο απόφασης (1)NOat10

NOat10

NOat10

NOat10

Wind

NOat9

Rain

Inversion

NOat9

NO2at8 Wind

Radiation

1(26518)

1(235)

2(4412)

1(83) 2(104) 1(100)

2(101) 1(101)

2(10035)

3(5313)

4(80)

4(124)3(91)

lt=027 gt027

lt=021

gt067

gt021

lt=067

lt=04 gt04

lt=057 gt057

lt=066 gt066

lt=047 gt047

lt=021 gt021

=0 =1

lt=021 gt021 lt=08 gt08

lt=036 gt036

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Το δέντρο απόφασης (2)

0

021

025

04 057

105 075

027

12

1 2 3

4

34

066

0

1

02

04

06

08

ΝΟ στις10πμ

Θερ

μο

κρα

σια

κή α

νασ

τρο

φή

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Ο συνδυασμένος ταξινομητής

bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (1)

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

134

38

522

122

93

8

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΝΕΜΟ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

Αποτελέσματα Πίνακες Σύγχυσης (2)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

40

4221

8 317

8

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΔΑ CART

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (3)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

42

8216

8 69

4 4

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΤΝΔ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (4)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

138

38

4124

122

13

2

6

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Στατιστικά για τους 4 αλγόριθμους

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

CART NeuralNet NEMO ML Ensemble

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 57: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Το δέντρο απόφασης (2)

0

021

025

04 057

105 075

027

12

1 2 3

4

34

066

0

1

02

04

06

08

ΝΟ στις10πμ

Θερ

μο

κρα

σια

κή α

νασ

τρο

φή

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Ο συνδυασμένος ταξινομητής

bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (1)

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

134

38

522

122

93

8

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΝΕΜΟ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

Αποτελέσματα Πίνακες Σύγχυσης (2)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

40

4221

8 317

8

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΔΑ CART

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (3)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

42

8216

8 69

4 4

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΤΝΔ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (4)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

138

38

4124

122

13

2

6

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Στατιστικά για τους 4 αλγόριθμους

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

CART NeuralNet NEMO ML Ensemble

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 58: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Ο συνδυασμένος ταξινομητής

bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (1)

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

134

38

522

122

93

8

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΝΕΜΟ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

Αποτελέσματα Πίνακες Σύγχυσης (2)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

40

4221

8 317

8

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΔΑ CART

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (3)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

42

8216

8 69

4 4

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΤΝΔ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (4)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

138

38

4124

122

13

2

6

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Στατιστικά για τους 4 αλγόριθμους

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

CART NeuralNet NEMO ML Ensemble

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 59: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Αποτελέσματα Πίνακες Σύγχυσης (1)

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

134

38

522

122

93

8

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΝΕΜΟ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

Αποτελέσματα Πίνακες Σύγχυσης (2)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

40

4221

8 317

8

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΔΑ CART

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (3)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

42

8216

8 69

4 4

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΤΝΔ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (4)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

138

38

4124

122

13

2

6

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Στατιστικά για τους 4 αλγόριθμους

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

CART NeuralNet NEMO ML Ensemble

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 60: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Αποτελέσματα Πίνακες Σύγχυσης (2)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

40

4221

8 317

8

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΔΑ CART

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (3)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

42

8216

8 69

4 4

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΤΝΔ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (4)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

138

38

4124

122

13

2

6

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Στατιστικά για τους 4 αλγόριθμους

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

CART NeuralNet NEMO ML Ensemble

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 61: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Αποτελέσματα Πίνακες Σύγχυσης (3)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

137

42

8216

8 69

4 4

4

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης ΤΝΔ

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Αποτελέσματα Πίνακες Σύγχυσης (4)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

138

38

4124

122

13

2

6

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Στατιστικά για τους 4 αλγόριθμους

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

CART NeuralNet NEMO ML Ensemble

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 62: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Αποτελέσματα Πίνακες Σύγχυσης (4)

Επίπεδο 1Επίπεδο 2

Επίπεδο 3Επίπεδο 4

Εκτιμήθηκε ως επίπεδο 1

Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3

Εκτιμήθηκε ως επίπεδο 4

138

38

4124

122

13

2

6

0

20

40

60

80

100

120

140

Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής

Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2

Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Στατιστικά για τους 4 αλγόριθμους

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

CART NeuralNet NEMO ML Ensemble

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 63: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Στατιστικά για τους 4 αλγόριθμους

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

CART NeuralNet NEMO ML Ensemble

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 64: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Σύγκριση με συστήματα πρόβλεψης του εξωτερικού

5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1

0001000

2000300040005000

600070008000

900010000

Accur

acy

ClassE

rror

No

Episod

e P

recis

ion

No

Episod

e R

ecall

No

Episod

e F

Epis

ode

Pre

cision

Epis

ode

Rec

all

Epis

ode

F

London 1997 Sydney ML Ensemble

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 65: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Κατανεμημένη υλοποίηση Το σύστημα D-NEMO

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

bull Απαιτήσεις

bull Αρχιτεκτονική

bull Η πλατφόρμα Lalo

bull Η γλώσσα KQML

bull Συμπεριφορά των agents

bull Υποκύκλοι λειτουργίας

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 66: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Απαιτήσεις Περιπτώσεις χρήσηςDNEMO

Model Expert

Get New Data

Maintain Models

Predict for Day-0

Predict for Day+1

Data Source

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 67: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Αρχιτεκτονική

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

aStation StationAgent

dataFeeder dataAgentaModel ModelAgent

Timer TimeWatcher

48

bid

_off

er()

Controller ControllerAgent

11 maintenance_time()41 prediction_time()

42 prediction_time()12 maintenance_time()

43 return_bid()13 evaluate_models()

44 return_bid()

15 evaluate_model()

49 store_bid_offer()

410 store_winner_offer()

16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()

18 efficiency_failure()23 trainset_ok()

24 trainset_failure()46 testset_ok()

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 68: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Ο Lalo Agent

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Άλλοι agents

Περιβάλλον του agent

Επίπεδο Βάσεων Κανόνων

Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες

Επίπεδο Νοητικής Κατάστασης

Ικανότητες Πεποιθήσεις

Αποφάσεις Υποχρεώσεις

Ικανότητες συναναστροφών

Επίπεδο Συμπεριφοράς

Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων

Εκτέλεση ενέργειας Χρονοπαρακολούθηση

Επικοινωνιακό Επίπεδο

Διευθύνσεις συναναστροφών

Ενταμιευτής εισόδου

Δρομολογητής εισόδου

Δρομολογητής εξόδου

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 69: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Η γλώσσα KQML (1)

bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών

ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 70: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Η γλώσσα KQML (2)

bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 71: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Υποκύκλος πρωινής συντήρησης

every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent

11 maintenance_time()

12 maintenance_time()

13 evaluate_models()

15 evaluate_model()

[model trained] 16 return_efficiency()

17 efficiency_ok()

18 efficiency_failure() OR

19 efficiency()

14 update_tables()

[model NOT trained] 22 make_trainset()

23 trainset_ok()

24 trainset_failure() OR morning_update()

morning_update()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 72: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent

[needs retraining] 21 train_model()

22 make_trainset()

24 trainset_failure()

23 trainset_ok()OR

aStation StationAgent

12 maintenance_time()

wait 10 seconds

Timer TimeWatcher

query_trainset()

reform_models()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 73: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent

41 prediction_time()

42 prediction_time()

43 return_bid()

44 return_bid()

45 make_testset()

46 testset_ok()

47 testset_failure()

OR

48 bid_offer()

49 store_bid_offer()

410 store_winner_offer()

wait 10 seconds

Testset Requery Procedurefollows

gather all predictionoffers from every

correspodent modelagent

query_testset()

run_model()

store_offer()

store_final()

issue_prediction()

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 74: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Αποτελέσματα

6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 75: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης

της αέριας ρύπανσης

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 76: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Απαιτήσεις Περιπτώσεις χρήσης

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Air QualityManagement

Operational Centre

Gather Data fromData Sources

EMY

PERPA sensors

National Observatory

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

Air PollutionEpisodes Predictio

n

Control Strategyof Prevention

Meters

laquousesraquo

Clear and StoreData

laquousesraquo

Air Quality Expert

Public

Predictive Algorithms Expert

Data Source

laquoextendsraquo

laquoextendsraquo

laquoextendsraquo

User

Other Sources

laquoextendsraquo

Supervise and Control Operational Centre

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 77: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Σταθερότητα Βιωσιμότητα (1)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent

activity_query() activity_query() activity_query()

[agent is active] status_response()

[agent is active] status_response()

[agent is active] status_response()

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 78: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Σταθερότητα Βιωσιμότητα (2)

77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα

Watcher UIAgent nonUIAgent MachineAgent

activity_query()

[no response from nonUIAgent] activity_query()

x seconds delaywaiting for response

activity_query()

MachineAgent andnonUIAgent locatedin the same machine

if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy

else the delay is dueto the network channel or

the machine is unavailable

[MachineAgent responded] revive_agent()

nonUIAgentcreate_agent()

otherMachineAgent

[MachineAgent did not respond] revive_agent()

nonUIAgentcreate_agent()

status_response()

status_response()

Machine A Machine B

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 79: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Ολοκληρώνοντας

bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα

bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή

ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος

πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση

88ΣυμπεράσματαΣυμπεράσματα

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα

Page 80: ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Μελλοντικές Επεκτάσεις

bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4

bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης

bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα

88ΣυμπεράσματαΣυμπεράσματα