Upload
karyn-short
View
35
Download
2
Embed Size (px)
DESCRIPTION
ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ. ΗΛΙΑΣ Θ. ΚΑΛΑΠΑΝΙΔΑΣ ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ 2003. Η διάρθρωση της παρουσίασης. Μηχανική Μάθηση Περιβαλλοντική Πληροφορική Προ-επεξεργασία Μείωση των διαστάσεων Εφαρμογή των αλγορίθμων Κατανεμημένη υλοποίηση - PowerPoint PPT Presentation
Citation preview
ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ
ΜΑΘΗΣΗΣ
ΗΛΙΑΣ Θ ΚΑΛΑΠΑΝΙΔΑΣ
ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ2003
Η διάρθρωση της παρουσίασης
1 Μηχανική Μάθηση2 Περιβαλλοντική Πληροφορική3 Προ-επεξεργασία4 Μείωση των διαστάσεων5 Εφαρμογή των αλγορίθμων6 Κατανεμημένη υλοποίηση7 Προς ένα ολοκληρωμένο σύστημα8 Συμπεράσματα
1 ΜΗΧΑΝΙΚΗ ΜΑΘΗΣΗ
bull Ορισμός
bull Μορφοποίηση συνόλου δεδομένων
bull Εφαρμογές
bull Αλγόριθμοι
1Μηχανική Μάθηση1Μηχανική Μάθηση
ΜΗΧΑΝΙΚΗ ΜΑΘΗΣΗ
Ορισμός
laquoΗ αναζήτηση σε ένα χώρο πιθανών υποθέσεων εκείνης της υπόθεσης που ταιριάζει καλύτερα στα υπό εξέταση δεδομένα και στην πιθανώς προϋπάρχουσα γνώσηraquo
1Μηχανική Μάθηση1Μηχανική Μάθηση
Ένα παράδειγμα
bull Αναγνώριση του λουλουδιού της ίριδαςbull Πιθανές κλάσεις που αυτό ανήκει
ndash Iris Setosandash Iris Virginicandash Iris Versicolour
bull 4 ιδιότητεςndash Μήκος πετάλουndash Πλάτος πετάλουndash Μήκος σεπάλουndash Πλάτος σεπάλου
1Μηχανική Μάθηση1Μηχανική Μάθηση
Μορφοποιημένο σύνολο δεδομένων
57 44 15 04 Iris-setosa
54 39 13 04 Iris-setosa
51 35 14 03 Iris-setosa
51 35 14 02 Iris-setosa
49 3 14 02 Iris-setosa
hellip hellip hellip hellip hellip
7 32 47 14 Iris-versicolor
64 32 45 15 Iris-versicolor
hellip hellip hellip hellip hellip
63 33 6 25 Iris-virginica
58 27 51 19 Iris-virginica
1Μηχανική Μάθηση1Μηχανική Μάθηση
Ιδιότητες Μεταβλητή κλάσης
Παράδειγμα
Μήκος σεπάλου
Πλάτος σεπάλου
Πλάτος πετάλου
Μήκος πετάλου
Εκπαίδευση του αλγόριθμου
57 44 15 04 Iris-setosa
54 39 13 04 Iris-setosa
hellip hellip hellip hellip hellip
58 27 51 19 Iris-virginica
1Μηχανική Μάθηση1Μηχανική Μάθηση
Σύνολο εκπαίδευσης
Αλγόριθμος
Εκπαιδευμένο μοντέλο
αλγορίθμου
Υrsquo = f(X) + ε
Αξιολόγηση του αλγόριθμου
57 44 15 04 Iris-setosa
54 39 13 04 Iris-setosa
hellip hellip hellip hellip hellip
58 27 51 19 Iris-virginica
Σύνολο αξιολόγησης
Υrsquo = f(X) + ε
Αλγόριθμος
Μέτρα Απόδοσης Εκπαιδευμένου Μοντέλου
1Μηχανική Μάθηση1Μηχανική Μάθηση
Νέο παράδειγμα
Εφαρμογή του αλγόριθμου57 44 15 04
Iris-setosa
Υrsquo = f(X) + ε
Αλγόριθμος
Πρόβλεψη
1Μηχανική Μάθηση1Μηχανική Μάθηση
Εφαρμογές
bull Χρηματιστήριο
bull Βιομηχανία
bull Περιβάλλον
bull Βιοτεχνολογία Γενετική
bull Τραπεζικός Ασφαλιστικός τομέας
1Μηχανική Μάθηση1Μηχανική Μάθηση
Αλγόριθμοι
bull Είδη ΜηχΜάθησηςndash Υπό επίβλεψηndash Χωρίς επίβλεψη
bull Τύποι προβλημάτων υπό επίβλεψηndash Παλινδρόμησηςndash Ταξινόμησης
1Μηχανική Μάθηση1Μηχανική Μάθηση
Αλγόριθμοι
bull K-κοντινότεροι γείτονεςbull Παλινδρόμησηbull Τεχνητά Νευρωνικά Δίκτυαbull Περιπτωσιακός Λογισμόςbull Δέντρα Απόφασηςbull Δίκτυα Bayesbull Γενετικοί Αλγόριθμοι
1Μηχανική Μάθηση1Μηχανική Μάθηση
Κ-κοντινότεροι γείτονες
1Μηχανική Μάθηση1Μηχανική Μάθηση
R
Κ-κοντινότεροι γείτονες
bull Πλεονεκτήματαndash Απλή υλοποίησηndash Αποδεκτά αποτελέσματα σε μεγάλο πεδίο
εφαρμογώνndash Πολύχρονη εμπειρία χρήσης
bull Μειονεκτήματαndash Χρονοβόρος σε μεγάλα σύνολα δεδομένων
1Μηχανική Μάθηση1Μηχανική Μάθηση
Παλινδρόμηση
1Μηχανική Μάθηση1Μηχανική Μάθηση
Τεχνητά Νευρωνικά Δίκτυα
1Μηχανική Μάθηση1Μηχανική Μάθηση
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Είσοδος 3Είσοδος 1Είσοδος 2 Είσοδος 4
Είσοδος 5Είσοδος 6
Είσοδος 7
Είσοδος 8
Είσοδος 9
Είσοδος 10
Έξοδος
Τεχνητά Νευρωνικά Δίκτυα
bull Πλεονεκτήματαndash Ανοχή στον θόρυβοndash Ικανότητα γενίκευσης
bull Μειονεκτήματαndash Δυσνόητο μοντέλο (μαύρο κουτί)ndash Δυσανάλογος χρόνος εκπαίδευσης
1Μηχανική Μάθηση1Μηχανική Μάθηση
Περιπτωσιακός Λογισμός
1Μηχανική Μάθηση1Μηχανική Μάθηση
Νέα περίπτωση
Πρόβλημα
Παλαιά περίπτωσηΝέα
περίπτωση
Λυμένη περίπτωση
Δοκιμασμένη διορθωμένη
λύση
Διδαχθείσα περίπτωση
Ανάκληση περιπτώσεων
Επαναχρησιμοποίηση παλιών λύσεων
Προσαρμογή λύσης
Αιτιολόγηση λύσης
Γενική Γνώση
Παλαιά περίπτωσηΠαλαιά περίπτωσηΠαλαιά
περίπτωση
Παλαιές περιπτώσεις
Προτεινόμενη λύσηΕγκεκριμένη λύση
Δέντρα Απόφασης
1Μηχανική Μάθηση1Μηχανική Μάθηση
Δίκτυα Bayes
1Μηχανική Μάθηση1Μηχανική Μάθηση
Χ1 Χ2
Χ3
Χ4
Χ5
Υ
P(X1 X2 X3 X4 X5 Y) = P(X1)P(X2)P(X3|X1 X2)P(Y|X1 X2 X3)P(X4|Y) P(X5|X4 Y)
Γενετικοί Αλγόριθμοι
1Μηχανική Μάθηση1Μηχανική Μάθηση
Αρχικός πληθυσμός
Αξιολόγηση συνάρτησης
προσαρμογής
Επιλογή
Διασταύρωση
Μετάλλαξη
Γέννηση νέου πληθυσμού
Επιτεύχθηκαν τα κριτήρια
βελτιστοποίησης
Εξαγωγή λύσης
Ναι
Όχι
Περιβαλλοντική Πληροφορική
bull Θέματαndash Ολοκληρωμένες πλατφόρμες αξιολόγησης και μελέτες
περιπτώσεωνndash Ανάλυση περιβαλλοντικών συστημάτωνndash Πρόβλεψη περιβαλλοντικών αλλαγώνndash Παρακολούθηση του περιβάλλοντος σε πραγματικό χρόνοndash Πιστοποίηση ποιότητας περιβαλλοντικών μοντέλωνndash Εφαρμογές μοντελοποίησης με agents και εξομοίωσης σε
περιβαλλοντικά συστήματα
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Περιβαλλοντική Πληροφορική
bull Πεδία Εφαρμογήςndash Ποιότητα Αέραndash Ποιότητα Εδάφουςndash Ποιότητα Υδάτωνndash Διαχείριση Αποβλήτων
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Αέρια Ρύπανση
bull Παρακολούθηση και πρόβλεψη των επιβλαβών ρύπωνndash Ο3
ndash ΝΟx
ndash PM10 Σωματίδιαndash Καπνός
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Τα προβλήματα του ΠΕΡΠΑ
bull Πρόβλεψη της μέγιστης συγκέντρωσης για τους ρύπουςndash ΝΟ2
ndash Ο3
bull Για τις χρονικές περιόδουςndash Ίδια ημέρα μετά τις 10 πμndash Επόμενη ημέρα
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Π1Π2 Πρόβλεψη την ίδια ημέρα
0
50
100
150
200
250
300
350
400
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
Hour
pp
b
0
20
40
60
80
100
120
140
pp
b
NO2 NO SO2 CO O3
ΠρόβλεψηΣυλλογή δεδομένων
O3 m
ax
NO
2 max
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Π3Π4 Πρόβλεψη για την επόμενη ημέρα
0
100
200
300
400
500
600
700
800
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
Hour
pp
b
0
5
10
15
20
25
30
35
40
pp
b
NO2 NO SO2 CO O3
ΠρόβλεψηΣυλλογή δεδομένων
O3 m
axNO
2 max
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Προ-επεξεργασία των δεδομένων
bull Αντιμετώπιση θορύβου
bull Αντικατάσταση ελλιπών τιμών
3Προ-επεξεργασία3Προ-επεξεργασία
Μελέτη θορύβου
bull 2 μοντέλα θορύβουndash Ύπαρξη θορύβου μόνο στις ιδιότητεςndash Ύπαρξη θορύβου και στις ιδιότητες και
στην εξαρτημένη μεταβλητή
bull Εκτίμηση απόκλισης τιμής ιδιότητας λόγω θορύβου
3Προ-επεξεργασία3Προ-επεξεργασία
piii zxx
Αποτελέσματα μελέτης θορύβου- 1ο μοντέλο
-2
-1
0
1
2
3
4
5
6
7
8
0 005 01 02 03 04 05
IB1 - Attribute IBk -K 9 - Attribute LinearRegression - Attribute M5Prime - Attribute NeuralNetwork - Attribute ZeroR - Attribute
Drop Page Fields Here
Average of Root mean squared error (diff)
Noise Level
Scheme
Noise Model
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα μελέτης θορύβου- 2ο μοντέλο
0
5
10
15
20
25
30
0 005 01 02 03 04 05
IB1 - AttributeClassVar IBk -K 9 - AttributeClassVar LinearRegression - AttributeClassVar
M5Prime - AttributeClassVar NeuralNetwork - AttributeClassVar ZeroR - AttributeClassVar
Drop Page Fields Here
Average of Root mean squared error (diff)
Noise Level
Scheme
Noise Model
3Προ-επεξεργασία3Προ-επεξεργασία
Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών
bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj
1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα
παραδείγματα που ανήκουν στην κλάση Υj
3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)
4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμών-RMSE
-012
-01
-008
-006
-004
-002
0
002
004
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Root mean squared error (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου
-25
-2
-15
-1
-05
0
05
1
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Time taken to build model (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Μείωση των διαστάσεων
bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Επιλογή των ιδιοτήτων57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
15
13
14
14
14
47
45
6
51
bull 2ν πιθανοί συνδυασμοί
bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Πως ορίζεται η ιδιότητα
bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό
μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης
του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Λόγοι επιλογής ιδιοτήτων
bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων
bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή
bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)
bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδοι Αντιμετώπισης
bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδος φιλτραρίσματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Υπολογισμός μέτρωνποιότητας των ιδιοτήτων
Επαύξηση ή μείωση των ιδιοτήτων
Είναι αποδεκτό τοαξιολογημένουποσύνολο
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Επιλογή νέου υποσυνόλουιδιοτήτων
Μέθοδοςφιλτραρίσματος
Γενετικός Αλγόριθμος
Μέθοδος περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Εκπαιδευμένο Μοντέλο
Σύνολοδεδομένων
Κατασκευή συνόλου δεδομένων
Αξιολογημένο Μοντέλο
Εκπαίδευση Αλγορίθμου
Αξιολόγηση Αλγορίθμου
Είναι αποδεκτό τοαξιολογημένο
μοντέλο
Επιλογή νέου υποσυνόλουιδιοτήτων
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Κ-κοντινότεροι γείτονες
Περιτύλιξη με Γενετικό Αλγόριθμο
bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων
bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου
ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων
ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας
γενετικούς τελεστές
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
11 22 33 4400
B1B1 B2B2 B3B3 B4B4 B5B5
Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων
Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με
κωδικό 104 (Γεωπονική) στις 5 μμ
000000 00110011 000000 1000010000 0001000010 0000000000 00
P = ΝΟ2 S = 104
F = αδιάφορο
H1 = 1700 O = 0
H2 = αδιάφορο
ΣημαίαΣυγκεντρωτικής ιδιότητας = 0
Επέλεξε τη μέση συγκέντρωση του
SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ
100100 01110111 000000 0001100011 1010010100 0001000010 11
P = ΝΟ2 S = 108
F = Μέση τιμή-Avg
H1 = 400 O = -2
H2 = 2100
ΣημαίαΣυγκεντρωτικής ιδιότητας = 1
Η Κωδικοποίηση του γενότυπου
Η συνάρτηση προσαρμογής
bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του
αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο
υποσύνολο ιδιοτήτων της λύσης
nA
iAb
nE
iEa
iAiEF
max
)(
max
)(1
))()((
a lt= 1 b lt= 1 a + b = 1
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Οι παράμετροι της συνάρτησης προσαρμογής a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE
bull et = Xt ndash Ft
bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής
bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
n
e
RMSE
n
tt
1
2
n
tt
n
ttt
X
Xe
WSE
1
2
1
2
Ρύθμιση του μεγέθους πληθυσμού
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Population Sizes
0
05
1
15
2
25
3
35
4
5 10 20 30 40 50 100
Population Size
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση συντελεστών a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Coefficient pairs
0
5
10
15
20
25
30
35
01 09 03 07 05 05 07 03 08 02 09 01 095 005
ab pairs
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage
0
05
1
15
2
25
3
35
10 30 40 50 60 70 80 90
Mutation rate ()
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers
0
05
1
15
2
25
3
35
4
1 2 3 4 5 8 10 15
Elite members
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeatures
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Η μέθοδος CFS
bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την
εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις
ιδιότητες του υποσυνόλου
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
)1( ii
cis
rkkk
rkG
Σύγκριση των δύο μεθόδων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
000
1000
2000
3000
4000
5000
6000
7000
8000
9000
ZeroR DecisionStump
DecisionTable
IB1 IB3 IB9 LinearRegression
M5Prime
GA Mean absolute error GA Root mean squared error
CFS Mean absolute error CFS Root mean squared error
Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης
bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης
ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART
bull Συνδυασμένος ταξινομητής
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το σύστημα ΠΛ ΝΕΜΟ (1)
Όμοιες περιπτώσεις
Επιλογέας κοντινών περιπτώσεων
Φίλτρο κοντινών περιπτώσεων
Προσαρμογέας κοντινών περιπτώσεων
Προβλέπτης λύσης
Προτεινόμενη λύση
ΝΕΜΟ
Βάση περιπτώσεων
Κοντινέςπεριπτώσεις
Βάση Γνώσης
Νέα περίπτωση
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία
αναστροφή
βροχόπτωση
άνεμος
NO στις 10 πμ
NO στις 9 πμ
NO στις 8 πμ
NO2 στις 10 πμ
NO2 στις 9 πμ
NO2 στις 8 πμ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Έξοδος
Το δέντρο απόφασης (1)NOat10
NOat10
NOat10
NOat10
Wind
NOat9
Rain
Inversion
NOat9
NO2at8 Wind
Radiation
1(26518)
1(235)
2(4412)
1(83) 2(104) 1(100)
2(101) 1(101)
2(10035)
3(5313)
4(80)
4(124)3(91)
lt=027 gt027
lt=021
gt067
gt021
lt=067
lt=04 gt04
lt=057 gt057
lt=066 gt066
lt=047 gt047
lt=021 gt021
=0 =1
lt=021 gt021 lt=08 gt08
lt=036 gt036
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το δέντρο απόφασης (2)
0
021
025
04 057
105 075
027
12
1 2 3
4
34
066
0
1
02
04
06
08
ΝΟ στις10πμ
Θερ
μο
κρα
σια
κή α
νασ
τρο
φή
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Ο συνδυασμένος ταξινομητής
bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (1)
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
134
38
522
122
93
8
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΝΕΜΟ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
Αποτελέσματα Πίνακες Σύγχυσης (2)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
40
4221
8 317
8
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΔΑ CART
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (3)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
42
8216
8 69
4 4
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΤΝΔ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (4)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
138
38
4124
122
13
2
6
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Στατιστικά για τους 4 αλγόριθμους
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
CART NeuralNet NEMO ML Ensemble
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Η διάρθρωση της παρουσίασης
1 Μηχανική Μάθηση2 Περιβαλλοντική Πληροφορική3 Προ-επεξεργασία4 Μείωση των διαστάσεων5 Εφαρμογή των αλγορίθμων6 Κατανεμημένη υλοποίηση7 Προς ένα ολοκληρωμένο σύστημα8 Συμπεράσματα
1 ΜΗΧΑΝΙΚΗ ΜΑΘΗΣΗ
bull Ορισμός
bull Μορφοποίηση συνόλου δεδομένων
bull Εφαρμογές
bull Αλγόριθμοι
1Μηχανική Μάθηση1Μηχανική Μάθηση
ΜΗΧΑΝΙΚΗ ΜΑΘΗΣΗ
Ορισμός
laquoΗ αναζήτηση σε ένα χώρο πιθανών υποθέσεων εκείνης της υπόθεσης που ταιριάζει καλύτερα στα υπό εξέταση δεδομένα και στην πιθανώς προϋπάρχουσα γνώσηraquo
1Μηχανική Μάθηση1Μηχανική Μάθηση
Ένα παράδειγμα
bull Αναγνώριση του λουλουδιού της ίριδαςbull Πιθανές κλάσεις που αυτό ανήκει
ndash Iris Setosandash Iris Virginicandash Iris Versicolour
bull 4 ιδιότητεςndash Μήκος πετάλουndash Πλάτος πετάλουndash Μήκος σεπάλουndash Πλάτος σεπάλου
1Μηχανική Μάθηση1Μηχανική Μάθηση
Μορφοποιημένο σύνολο δεδομένων
57 44 15 04 Iris-setosa
54 39 13 04 Iris-setosa
51 35 14 03 Iris-setosa
51 35 14 02 Iris-setosa
49 3 14 02 Iris-setosa
hellip hellip hellip hellip hellip
7 32 47 14 Iris-versicolor
64 32 45 15 Iris-versicolor
hellip hellip hellip hellip hellip
63 33 6 25 Iris-virginica
58 27 51 19 Iris-virginica
1Μηχανική Μάθηση1Μηχανική Μάθηση
Ιδιότητες Μεταβλητή κλάσης
Παράδειγμα
Μήκος σεπάλου
Πλάτος σεπάλου
Πλάτος πετάλου
Μήκος πετάλου
Εκπαίδευση του αλγόριθμου
57 44 15 04 Iris-setosa
54 39 13 04 Iris-setosa
hellip hellip hellip hellip hellip
58 27 51 19 Iris-virginica
1Μηχανική Μάθηση1Μηχανική Μάθηση
Σύνολο εκπαίδευσης
Αλγόριθμος
Εκπαιδευμένο μοντέλο
αλγορίθμου
Υrsquo = f(X) + ε
Αξιολόγηση του αλγόριθμου
57 44 15 04 Iris-setosa
54 39 13 04 Iris-setosa
hellip hellip hellip hellip hellip
58 27 51 19 Iris-virginica
Σύνολο αξιολόγησης
Υrsquo = f(X) + ε
Αλγόριθμος
Μέτρα Απόδοσης Εκπαιδευμένου Μοντέλου
1Μηχανική Μάθηση1Μηχανική Μάθηση
Νέο παράδειγμα
Εφαρμογή του αλγόριθμου57 44 15 04
Iris-setosa
Υrsquo = f(X) + ε
Αλγόριθμος
Πρόβλεψη
1Μηχανική Μάθηση1Μηχανική Μάθηση
Εφαρμογές
bull Χρηματιστήριο
bull Βιομηχανία
bull Περιβάλλον
bull Βιοτεχνολογία Γενετική
bull Τραπεζικός Ασφαλιστικός τομέας
1Μηχανική Μάθηση1Μηχανική Μάθηση
Αλγόριθμοι
bull Είδη ΜηχΜάθησηςndash Υπό επίβλεψηndash Χωρίς επίβλεψη
bull Τύποι προβλημάτων υπό επίβλεψηndash Παλινδρόμησηςndash Ταξινόμησης
1Μηχανική Μάθηση1Μηχανική Μάθηση
Αλγόριθμοι
bull K-κοντινότεροι γείτονεςbull Παλινδρόμησηbull Τεχνητά Νευρωνικά Δίκτυαbull Περιπτωσιακός Λογισμόςbull Δέντρα Απόφασηςbull Δίκτυα Bayesbull Γενετικοί Αλγόριθμοι
1Μηχανική Μάθηση1Μηχανική Μάθηση
Κ-κοντινότεροι γείτονες
1Μηχανική Μάθηση1Μηχανική Μάθηση
R
Κ-κοντινότεροι γείτονες
bull Πλεονεκτήματαndash Απλή υλοποίησηndash Αποδεκτά αποτελέσματα σε μεγάλο πεδίο
εφαρμογώνndash Πολύχρονη εμπειρία χρήσης
bull Μειονεκτήματαndash Χρονοβόρος σε μεγάλα σύνολα δεδομένων
1Μηχανική Μάθηση1Μηχανική Μάθηση
Παλινδρόμηση
1Μηχανική Μάθηση1Μηχανική Μάθηση
Τεχνητά Νευρωνικά Δίκτυα
1Μηχανική Μάθηση1Μηχανική Μάθηση
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Είσοδος 3Είσοδος 1Είσοδος 2 Είσοδος 4
Είσοδος 5Είσοδος 6
Είσοδος 7
Είσοδος 8
Είσοδος 9
Είσοδος 10
Έξοδος
Τεχνητά Νευρωνικά Δίκτυα
bull Πλεονεκτήματαndash Ανοχή στον θόρυβοndash Ικανότητα γενίκευσης
bull Μειονεκτήματαndash Δυσνόητο μοντέλο (μαύρο κουτί)ndash Δυσανάλογος χρόνος εκπαίδευσης
1Μηχανική Μάθηση1Μηχανική Μάθηση
Περιπτωσιακός Λογισμός
1Μηχανική Μάθηση1Μηχανική Μάθηση
Νέα περίπτωση
Πρόβλημα
Παλαιά περίπτωσηΝέα
περίπτωση
Λυμένη περίπτωση
Δοκιμασμένη διορθωμένη
λύση
Διδαχθείσα περίπτωση
Ανάκληση περιπτώσεων
Επαναχρησιμοποίηση παλιών λύσεων
Προσαρμογή λύσης
Αιτιολόγηση λύσης
Γενική Γνώση
Παλαιά περίπτωσηΠαλαιά περίπτωσηΠαλαιά
περίπτωση
Παλαιές περιπτώσεις
Προτεινόμενη λύσηΕγκεκριμένη λύση
Δέντρα Απόφασης
1Μηχανική Μάθηση1Μηχανική Μάθηση
Δίκτυα Bayes
1Μηχανική Μάθηση1Μηχανική Μάθηση
Χ1 Χ2
Χ3
Χ4
Χ5
Υ
P(X1 X2 X3 X4 X5 Y) = P(X1)P(X2)P(X3|X1 X2)P(Y|X1 X2 X3)P(X4|Y) P(X5|X4 Y)
Γενετικοί Αλγόριθμοι
1Μηχανική Μάθηση1Μηχανική Μάθηση
Αρχικός πληθυσμός
Αξιολόγηση συνάρτησης
προσαρμογής
Επιλογή
Διασταύρωση
Μετάλλαξη
Γέννηση νέου πληθυσμού
Επιτεύχθηκαν τα κριτήρια
βελτιστοποίησης
Εξαγωγή λύσης
Ναι
Όχι
Περιβαλλοντική Πληροφορική
bull Θέματαndash Ολοκληρωμένες πλατφόρμες αξιολόγησης και μελέτες
περιπτώσεωνndash Ανάλυση περιβαλλοντικών συστημάτωνndash Πρόβλεψη περιβαλλοντικών αλλαγώνndash Παρακολούθηση του περιβάλλοντος σε πραγματικό χρόνοndash Πιστοποίηση ποιότητας περιβαλλοντικών μοντέλωνndash Εφαρμογές μοντελοποίησης με agents και εξομοίωσης σε
περιβαλλοντικά συστήματα
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Περιβαλλοντική Πληροφορική
bull Πεδία Εφαρμογήςndash Ποιότητα Αέραndash Ποιότητα Εδάφουςndash Ποιότητα Υδάτωνndash Διαχείριση Αποβλήτων
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Αέρια Ρύπανση
bull Παρακολούθηση και πρόβλεψη των επιβλαβών ρύπωνndash Ο3
ndash ΝΟx
ndash PM10 Σωματίδιαndash Καπνός
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Τα προβλήματα του ΠΕΡΠΑ
bull Πρόβλεψη της μέγιστης συγκέντρωσης για τους ρύπουςndash ΝΟ2
ndash Ο3
bull Για τις χρονικές περιόδουςndash Ίδια ημέρα μετά τις 10 πμndash Επόμενη ημέρα
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Π1Π2 Πρόβλεψη την ίδια ημέρα
0
50
100
150
200
250
300
350
400
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
Hour
pp
b
0
20
40
60
80
100
120
140
pp
b
NO2 NO SO2 CO O3
ΠρόβλεψηΣυλλογή δεδομένων
O3 m
ax
NO
2 max
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Π3Π4 Πρόβλεψη για την επόμενη ημέρα
0
100
200
300
400
500
600
700
800
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
Hour
pp
b
0
5
10
15
20
25
30
35
40
pp
b
NO2 NO SO2 CO O3
ΠρόβλεψηΣυλλογή δεδομένων
O3 m
axNO
2 max
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Προ-επεξεργασία των δεδομένων
bull Αντιμετώπιση θορύβου
bull Αντικατάσταση ελλιπών τιμών
3Προ-επεξεργασία3Προ-επεξεργασία
Μελέτη θορύβου
bull 2 μοντέλα θορύβουndash Ύπαρξη θορύβου μόνο στις ιδιότητεςndash Ύπαρξη θορύβου και στις ιδιότητες και
στην εξαρτημένη μεταβλητή
bull Εκτίμηση απόκλισης τιμής ιδιότητας λόγω θορύβου
3Προ-επεξεργασία3Προ-επεξεργασία
piii zxx
Αποτελέσματα μελέτης θορύβου- 1ο μοντέλο
-2
-1
0
1
2
3
4
5
6
7
8
0 005 01 02 03 04 05
IB1 - Attribute IBk -K 9 - Attribute LinearRegression - Attribute M5Prime - Attribute NeuralNetwork - Attribute ZeroR - Attribute
Drop Page Fields Here
Average of Root mean squared error (diff)
Noise Level
Scheme
Noise Model
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα μελέτης θορύβου- 2ο μοντέλο
0
5
10
15
20
25
30
0 005 01 02 03 04 05
IB1 - AttributeClassVar IBk -K 9 - AttributeClassVar LinearRegression - AttributeClassVar
M5Prime - AttributeClassVar NeuralNetwork - AttributeClassVar ZeroR - AttributeClassVar
Drop Page Fields Here
Average of Root mean squared error (diff)
Noise Level
Scheme
Noise Model
3Προ-επεξεργασία3Προ-επεξεργασία
Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών
bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj
1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα
παραδείγματα που ανήκουν στην κλάση Υj
3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)
4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμών-RMSE
-012
-01
-008
-006
-004
-002
0
002
004
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Root mean squared error (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου
-25
-2
-15
-1
-05
0
05
1
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Time taken to build model (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Μείωση των διαστάσεων
bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Επιλογή των ιδιοτήτων57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
15
13
14
14
14
47
45
6
51
bull 2ν πιθανοί συνδυασμοί
bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Πως ορίζεται η ιδιότητα
bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό
μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης
του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Λόγοι επιλογής ιδιοτήτων
bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων
bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή
bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)
bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδοι Αντιμετώπισης
bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδος φιλτραρίσματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Υπολογισμός μέτρωνποιότητας των ιδιοτήτων
Επαύξηση ή μείωση των ιδιοτήτων
Είναι αποδεκτό τοαξιολογημένουποσύνολο
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Επιλογή νέου υποσυνόλουιδιοτήτων
Μέθοδοςφιλτραρίσματος
Γενετικός Αλγόριθμος
Μέθοδος περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Εκπαιδευμένο Μοντέλο
Σύνολοδεδομένων
Κατασκευή συνόλου δεδομένων
Αξιολογημένο Μοντέλο
Εκπαίδευση Αλγορίθμου
Αξιολόγηση Αλγορίθμου
Είναι αποδεκτό τοαξιολογημένο
μοντέλο
Επιλογή νέου υποσυνόλουιδιοτήτων
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Κ-κοντινότεροι γείτονες
Περιτύλιξη με Γενετικό Αλγόριθμο
bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων
bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου
ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων
ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας
γενετικούς τελεστές
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
11 22 33 4400
B1B1 B2B2 B3B3 B4B4 B5B5
Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων
Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με
κωδικό 104 (Γεωπονική) στις 5 μμ
000000 00110011 000000 1000010000 0001000010 0000000000 00
P = ΝΟ2 S = 104
F = αδιάφορο
H1 = 1700 O = 0
H2 = αδιάφορο
ΣημαίαΣυγκεντρωτικής ιδιότητας = 0
Επέλεξε τη μέση συγκέντρωση του
SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ
100100 01110111 000000 0001100011 1010010100 0001000010 11
P = ΝΟ2 S = 108
F = Μέση τιμή-Avg
H1 = 400 O = -2
H2 = 2100
ΣημαίαΣυγκεντρωτικής ιδιότητας = 1
Η Κωδικοποίηση του γενότυπου
Η συνάρτηση προσαρμογής
bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του
αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο
υποσύνολο ιδιοτήτων της λύσης
nA
iAb
nE
iEa
iAiEF
max
)(
max
)(1
))()((
a lt= 1 b lt= 1 a + b = 1
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Οι παράμετροι της συνάρτησης προσαρμογής a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE
bull et = Xt ndash Ft
bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής
bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
n
e
RMSE
n
tt
1
2
n
tt
n
ttt
X
Xe
WSE
1
2
1
2
Ρύθμιση του μεγέθους πληθυσμού
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Population Sizes
0
05
1
15
2
25
3
35
4
5 10 20 30 40 50 100
Population Size
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση συντελεστών a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Coefficient pairs
0
5
10
15
20
25
30
35
01 09 03 07 05 05 07 03 08 02 09 01 095 005
ab pairs
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage
0
05
1
15
2
25
3
35
10 30 40 50 60 70 80 90
Mutation rate ()
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers
0
05
1
15
2
25
3
35
4
1 2 3 4 5 8 10 15
Elite members
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeatures
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Η μέθοδος CFS
bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την
εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις
ιδιότητες του υποσυνόλου
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
)1( ii
cis
rkkk
rkG
Σύγκριση των δύο μεθόδων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
000
1000
2000
3000
4000
5000
6000
7000
8000
9000
ZeroR DecisionStump
DecisionTable
IB1 IB3 IB9 LinearRegression
M5Prime
GA Mean absolute error GA Root mean squared error
CFS Mean absolute error CFS Root mean squared error
Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης
bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης
ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART
bull Συνδυασμένος ταξινομητής
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το σύστημα ΠΛ ΝΕΜΟ (1)
Όμοιες περιπτώσεις
Επιλογέας κοντινών περιπτώσεων
Φίλτρο κοντινών περιπτώσεων
Προσαρμογέας κοντινών περιπτώσεων
Προβλέπτης λύσης
Προτεινόμενη λύση
ΝΕΜΟ
Βάση περιπτώσεων
Κοντινέςπεριπτώσεις
Βάση Γνώσης
Νέα περίπτωση
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία
αναστροφή
βροχόπτωση
άνεμος
NO στις 10 πμ
NO στις 9 πμ
NO στις 8 πμ
NO2 στις 10 πμ
NO2 στις 9 πμ
NO2 στις 8 πμ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Έξοδος
Το δέντρο απόφασης (1)NOat10
NOat10
NOat10
NOat10
Wind
NOat9
Rain
Inversion
NOat9
NO2at8 Wind
Radiation
1(26518)
1(235)
2(4412)
1(83) 2(104) 1(100)
2(101) 1(101)
2(10035)
3(5313)
4(80)
4(124)3(91)
lt=027 gt027
lt=021
gt067
gt021
lt=067
lt=04 gt04
lt=057 gt057
lt=066 gt066
lt=047 gt047
lt=021 gt021
=0 =1
lt=021 gt021 lt=08 gt08
lt=036 gt036
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το δέντρο απόφασης (2)
0
021
025
04 057
105 075
027
12
1 2 3
4
34
066
0
1
02
04
06
08
ΝΟ στις10πμ
Θερ
μο
κρα
σια
κή α
νασ
τρο
φή
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Ο συνδυασμένος ταξινομητής
bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (1)
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
134
38
522
122
93
8
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΝΕΜΟ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
Αποτελέσματα Πίνακες Σύγχυσης (2)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
40
4221
8 317
8
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΔΑ CART
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (3)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
42
8216
8 69
4 4
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΤΝΔ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (4)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
138
38
4124
122
13
2
6
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Στατιστικά για τους 4 αλγόριθμους
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
CART NeuralNet NEMO ML Ensemble
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
1 ΜΗΧΑΝΙΚΗ ΜΑΘΗΣΗ
bull Ορισμός
bull Μορφοποίηση συνόλου δεδομένων
bull Εφαρμογές
bull Αλγόριθμοι
1Μηχανική Μάθηση1Μηχανική Μάθηση
ΜΗΧΑΝΙΚΗ ΜΑΘΗΣΗ
Ορισμός
laquoΗ αναζήτηση σε ένα χώρο πιθανών υποθέσεων εκείνης της υπόθεσης που ταιριάζει καλύτερα στα υπό εξέταση δεδομένα και στην πιθανώς προϋπάρχουσα γνώσηraquo
1Μηχανική Μάθηση1Μηχανική Μάθηση
Ένα παράδειγμα
bull Αναγνώριση του λουλουδιού της ίριδαςbull Πιθανές κλάσεις που αυτό ανήκει
ndash Iris Setosandash Iris Virginicandash Iris Versicolour
bull 4 ιδιότητεςndash Μήκος πετάλουndash Πλάτος πετάλουndash Μήκος σεπάλουndash Πλάτος σεπάλου
1Μηχανική Μάθηση1Μηχανική Μάθηση
Μορφοποιημένο σύνολο δεδομένων
57 44 15 04 Iris-setosa
54 39 13 04 Iris-setosa
51 35 14 03 Iris-setosa
51 35 14 02 Iris-setosa
49 3 14 02 Iris-setosa
hellip hellip hellip hellip hellip
7 32 47 14 Iris-versicolor
64 32 45 15 Iris-versicolor
hellip hellip hellip hellip hellip
63 33 6 25 Iris-virginica
58 27 51 19 Iris-virginica
1Μηχανική Μάθηση1Μηχανική Μάθηση
Ιδιότητες Μεταβλητή κλάσης
Παράδειγμα
Μήκος σεπάλου
Πλάτος σεπάλου
Πλάτος πετάλου
Μήκος πετάλου
Εκπαίδευση του αλγόριθμου
57 44 15 04 Iris-setosa
54 39 13 04 Iris-setosa
hellip hellip hellip hellip hellip
58 27 51 19 Iris-virginica
1Μηχανική Μάθηση1Μηχανική Μάθηση
Σύνολο εκπαίδευσης
Αλγόριθμος
Εκπαιδευμένο μοντέλο
αλγορίθμου
Υrsquo = f(X) + ε
Αξιολόγηση του αλγόριθμου
57 44 15 04 Iris-setosa
54 39 13 04 Iris-setosa
hellip hellip hellip hellip hellip
58 27 51 19 Iris-virginica
Σύνολο αξιολόγησης
Υrsquo = f(X) + ε
Αλγόριθμος
Μέτρα Απόδοσης Εκπαιδευμένου Μοντέλου
1Μηχανική Μάθηση1Μηχανική Μάθηση
Νέο παράδειγμα
Εφαρμογή του αλγόριθμου57 44 15 04
Iris-setosa
Υrsquo = f(X) + ε
Αλγόριθμος
Πρόβλεψη
1Μηχανική Μάθηση1Μηχανική Μάθηση
Εφαρμογές
bull Χρηματιστήριο
bull Βιομηχανία
bull Περιβάλλον
bull Βιοτεχνολογία Γενετική
bull Τραπεζικός Ασφαλιστικός τομέας
1Μηχανική Μάθηση1Μηχανική Μάθηση
Αλγόριθμοι
bull Είδη ΜηχΜάθησηςndash Υπό επίβλεψηndash Χωρίς επίβλεψη
bull Τύποι προβλημάτων υπό επίβλεψηndash Παλινδρόμησηςndash Ταξινόμησης
1Μηχανική Μάθηση1Μηχανική Μάθηση
Αλγόριθμοι
bull K-κοντινότεροι γείτονεςbull Παλινδρόμησηbull Τεχνητά Νευρωνικά Δίκτυαbull Περιπτωσιακός Λογισμόςbull Δέντρα Απόφασηςbull Δίκτυα Bayesbull Γενετικοί Αλγόριθμοι
1Μηχανική Μάθηση1Μηχανική Μάθηση
Κ-κοντινότεροι γείτονες
1Μηχανική Μάθηση1Μηχανική Μάθηση
R
Κ-κοντινότεροι γείτονες
bull Πλεονεκτήματαndash Απλή υλοποίησηndash Αποδεκτά αποτελέσματα σε μεγάλο πεδίο
εφαρμογώνndash Πολύχρονη εμπειρία χρήσης
bull Μειονεκτήματαndash Χρονοβόρος σε μεγάλα σύνολα δεδομένων
1Μηχανική Μάθηση1Μηχανική Μάθηση
Παλινδρόμηση
1Μηχανική Μάθηση1Μηχανική Μάθηση
Τεχνητά Νευρωνικά Δίκτυα
1Μηχανική Μάθηση1Μηχανική Μάθηση
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Είσοδος 3Είσοδος 1Είσοδος 2 Είσοδος 4
Είσοδος 5Είσοδος 6
Είσοδος 7
Είσοδος 8
Είσοδος 9
Είσοδος 10
Έξοδος
Τεχνητά Νευρωνικά Δίκτυα
bull Πλεονεκτήματαndash Ανοχή στον θόρυβοndash Ικανότητα γενίκευσης
bull Μειονεκτήματαndash Δυσνόητο μοντέλο (μαύρο κουτί)ndash Δυσανάλογος χρόνος εκπαίδευσης
1Μηχανική Μάθηση1Μηχανική Μάθηση
Περιπτωσιακός Λογισμός
1Μηχανική Μάθηση1Μηχανική Μάθηση
Νέα περίπτωση
Πρόβλημα
Παλαιά περίπτωσηΝέα
περίπτωση
Λυμένη περίπτωση
Δοκιμασμένη διορθωμένη
λύση
Διδαχθείσα περίπτωση
Ανάκληση περιπτώσεων
Επαναχρησιμοποίηση παλιών λύσεων
Προσαρμογή λύσης
Αιτιολόγηση λύσης
Γενική Γνώση
Παλαιά περίπτωσηΠαλαιά περίπτωσηΠαλαιά
περίπτωση
Παλαιές περιπτώσεις
Προτεινόμενη λύσηΕγκεκριμένη λύση
Δέντρα Απόφασης
1Μηχανική Μάθηση1Μηχανική Μάθηση
Δίκτυα Bayes
1Μηχανική Μάθηση1Μηχανική Μάθηση
Χ1 Χ2
Χ3
Χ4
Χ5
Υ
P(X1 X2 X3 X4 X5 Y) = P(X1)P(X2)P(X3|X1 X2)P(Y|X1 X2 X3)P(X4|Y) P(X5|X4 Y)
Γενετικοί Αλγόριθμοι
1Μηχανική Μάθηση1Μηχανική Μάθηση
Αρχικός πληθυσμός
Αξιολόγηση συνάρτησης
προσαρμογής
Επιλογή
Διασταύρωση
Μετάλλαξη
Γέννηση νέου πληθυσμού
Επιτεύχθηκαν τα κριτήρια
βελτιστοποίησης
Εξαγωγή λύσης
Ναι
Όχι
Περιβαλλοντική Πληροφορική
bull Θέματαndash Ολοκληρωμένες πλατφόρμες αξιολόγησης και μελέτες
περιπτώσεωνndash Ανάλυση περιβαλλοντικών συστημάτωνndash Πρόβλεψη περιβαλλοντικών αλλαγώνndash Παρακολούθηση του περιβάλλοντος σε πραγματικό χρόνοndash Πιστοποίηση ποιότητας περιβαλλοντικών μοντέλωνndash Εφαρμογές μοντελοποίησης με agents και εξομοίωσης σε
περιβαλλοντικά συστήματα
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Περιβαλλοντική Πληροφορική
bull Πεδία Εφαρμογήςndash Ποιότητα Αέραndash Ποιότητα Εδάφουςndash Ποιότητα Υδάτωνndash Διαχείριση Αποβλήτων
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Αέρια Ρύπανση
bull Παρακολούθηση και πρόβλεψη των επιβλαβών ρύπωνndash Ο3
ndash ΝΟx
ndash PM10 Σωματίδιαndash Καπνός
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Τα προβλήματα του ΠΕΡΠΑ
bull Πρόβλεψη της μέγιστης συγκέντρωσης για τους ρύπουςndash ΝΟ2
ndash Ο3
bull Για τις χρονικές περιόδουςndash Ίδια ημέρα μετά τις 10 πμndash Επόμενη ημέρα
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Π1Π2 Πρόβλεψη την ίδια ημέρα
0
50
100
150
200
250
300
350
400
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
Hour
pp
b
0
20
40
60
80
100
120
140
pp
b
NO2 NO SO2 CO O3
ΠρόβλεψηΣυλλογή δεδομένων
O3 m
ax
NO
2 max
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Π3Π4 Πρόβλεψη για την επόμενη ημέρα
0
100
200
300
400
500
600
700
800
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
Hour
pp
b
0
5
10
15
20
25
30
35
40
pp
b
NO2 NO SO2 CO O3
ΠρόβλεψηΣυλλογή δεδομένων
O3 m
axNO
2 max
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Προ-επεξεργασία των δεδομένων
bull Αντιμετώπιση θορύβου
bull Αντικατάσταση ελλιπών τιμών
3Προ-επεξεργασία3Προ-επεξεργασία
Μελέτη θορύβου
bull 2 μοντέλα θορύβουndash Ύπαρξη θορύβου μόνο στις ιδιότητεςndash Ύπαρξη θορύβου και στις ιδιότητες και
στην εξαρτημένη μεταβλητή
bull Εκτίμηση απόκλισης τιμής ιδιότητας λόγω θορύβου
3Προ-επεξεργασία3Προ-επεξεργασία
piii zxx
Αποτελέσματα μελέτης θορύβου- 1ο μοντέλο
-2
-1
0
1
2
3
4
5
6
7
8
0 005 01 02 03 04 05
IB1 - Attribute IBk -K 9 - Attribute LinearRegression - Attribute M5Prime - Attribute NeuralNetwork - Attribute ZeroR - Attribute
Drop Page Fields Here
Average of Root mean squared error (diff)
Noise Level
Scheme
Noise Model
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα μελέτης θορύβου- 2ο μοντέλο
0
5
10
15
20
25
30
0 005 01 02 03 04 05
IB1 - AttributeClassVar IBk -K 9 - AttributeClassVar LinearRegression - AttributeClassVar
M5Prime - AttributeClassVar NeuralNetwork - AttributeClassVar ZeroR - AttributeClassVar
Drop Page Fields Here
Average of Root mean squared error (diff)
Noise Level
Scheme
Noise Model
3Προ-επεξεργασία3Προ-επεξεργασία
Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών
bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj
1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα
παραδείγματα που ανήκουν στην κλάση Υj
3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)
4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμών-RMSE
-012
-01
-008
-006
-004
-002
0
002
004
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Root mean squared error (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου
-25
-2
-15
-1
-05
0
05
1
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Time taken to build model (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Μείωση των διαστάσεων
bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Επιλογή των ιδιοτήτων57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
15
13
14
14
14
47
45
6
51
bull 2ν πιθανοί συνδυασμοί
bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Πως ορίζεται η ιδιότητα
bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό
μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης
του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Λόγοι επιλογής ιδιοτήτων
bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων
bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή
bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)
bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδοι Αντιμετώπισης
bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδος φιλτραρίσματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Υπολογισμός μέτρωνποιότητας των ιδιοτήτων
Επαύξηση ή μείωση των ιδιοτήτων
Είναι αποδεκτό τοαξιολογημένουποσύνολο
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Επιλογή νέου υποσυνόλουιδιοτήτων
Μέθοδοςφιλτραρίσματος
Γενετικός Αλγόριθμος
Μέθοδος περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Εκπαιδευμένο Μοντέλο
Σύνολοδεδομένων
Κατασκευή συνόλου δεδομένων
Αξιολογημένο Μοντέλο
Εκπαίδευση Αλγορίθμου
Αξιολόγηση Αλγορίθμου
Είναι αποδεκτό τοαξιολογημένο
μοντέλο
Επιλογή νέου υποσυνόλουιδιοτήτων
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Κ-κοντινότεροι γείτονες
Περιτύλιξη με Γενετικό Αλγόριθμο
bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων
bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου
ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων
ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας
γενετικούς τελεστές
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
11 22 33 4400
B1B1 B2B2 B3B3 B4B4 B5B5
Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων
Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με
κωδικό 104 (Γεωπονική) στις 5 μμ
000000 00110011 000000 1000010000 0001000010 0000000000 00
P = ΝΟ2 S = 104
F = αδιάφορο
H1 = 1700 O = 0
H2 = αδιάφορο
ΣημαίαΣυγκεντρωτικής ιδιότητας = 0
Επέλεξε τη μέση συγκέντρωση του
SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ
100100 01110111 000000 0001100011 1010010100 0001000010 11
P = ΝΟ2 S = 108
F = Μέση τιμή-Avg
H1 = 400 O = -2
H2 = 2100
ΣημαίαΣυγκεντρωτικής ιδιότητας = 1
Η Κωδικοποίηση του γενότυπου
Η συνάρτηση προσαρμογής
bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του
αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο
υποσύνολο ιδιοτήτων της λύσης
nA
iAb
nE
iEa
iAiEF
max
)(
max
)(1
))()((
a lt= 1 b lt= 1 a + b = 1
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Οι παράμετροι της συνάρτησης προσαρμογής a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE
bull et = Xt ndash Ft
bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής
bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
n
e
RMSE
n
tt
1
2
n
tt
n
ttt
X
Xe
WSE
1
2
1
2
Ρύθμιση του μεγέθους πληθυσμού
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Population Sizes
0
05
1
15
2
25
3
35
4
5 10 20 30 40 50 100
Population Size
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση συντελεστών a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Coefficient pairs
0
5
10
15
20
25
30
35
01 09 03 07 05 05 07 03 08 02 09 01 095 005
ab pairs
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage
0
05
1
15
2
25
3
35
10 30 40 50 60 70 80 90
Mutation rate ()
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers
0
05
1
15
2
25
3
35
4
1 2 3 4 5 8 10 15
Elite members
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeatures
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Η μέθοδος CFS
bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την
εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις
ιδιότητες του υποσυνόλου
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
)1( ii
cis
rkkk
rkG
Σύγκριση των δύο μεθόδων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
000
1000
2000
3000
4000
5000
6000
7000
8000
9000
ZeroR DecisionStump
DecisionTable
IB1 IB3 IB9 LinearRegression
M5Prime
GA Mean absolute error GA Root mean squared error
CFS Mean absolute error CFS Root mean squared error
Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης
bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης
ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART
bull Συνδυασμένος ταξινομητής
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το σύστημα ΠΛ ΝΕΜΟ (1)
Όμοιες περιπτώσεις
Επιλογέας κοντινών περιπτώσεων
Φίλτρο κοντινών περιπτώσεων
Προσαρμογέας κοντινών περιπτώσεων
Προβλέπτης λύσης
Προτεινόμενη λύση
ΝΕΜΟ
Βάση περιπτώσεων
Κοντινέςπεριπτώσεις
Βάση Γνώσης
Νέα περίπτωση
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία
αναστροφή
βροχόπτωση
άνεμος
NO στις 10 πμ
NO στις 9 πμ
NO στις 8 πμ
NO2 στις 10 πμ
NO2 στις 9 πμ
NO2 στις 8 πμ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Έξοδος
Το δέντρο απόφασης (1)NOat10
NOat10
NOat10
NOat10
Wind
NOat9
Rain
Inversion
NOat9
NO2at8 Wind
Radiation
1(26518)
1(235)
2(4412)
1(83) 2(104) 1(100)
2(101) 1(101)
2(10035)
3(5313)
4(80)
4(124)3(91)
lt=027 gt027
lt=021
gt067
gt021
lt=067
lt=04 gt04
lt=057 gt057
lt=066 gt066
lt=047 gt047
lt=021 gt021
=0 =1
lt=021 gt021 lt=08 gt08
lt=036 gt036
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το δέντρο απόφασης (2)
0
021
025
04 057
105 075
027
12
1 2 3
4
34
066
0
1
02
04
06
08
ΝΟ στις10πμ
Θερ
μο
κρα
σια
κή α
νασ
τρο
φή
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Ο συνδυασμένος ταξινομητής
bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (1)
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
134
38
522
122
93
8
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΝΕΜΟ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
Αποτελέσματα Πίνακες Σύγχυσης (2)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
40
4221
8 317
8
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΔΑ CART
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (3)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
42
8216
8 69
4 4
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΤΝΔ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (4)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
138
38
4124
122
13
2
6
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Στατιστικά για τους 4 αλγόριθμους
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
CART NeuralNet NEMO ML Ensemble
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
ΜΗΧΑΝΙΚΗ ΜΑΘΗΣΗ
Ορισμός
laquoΗ αναζήτηση σε ένα χώρο πιθανών υποθέσεων εκείνης της υπόθεσης που ταιριάζει καλύτερα στα υπό εξέταση δεδομένα και στην πιθανώς προϋπάρχουσα γνώσηraquo
1Μηχανική Μάθηση1Μηχανική Μάθηση
Ένα παράδειγμα
bull Αναγνώριση του λουλουδιού της ίριδαςbull Πιθανές κλάσεις που αυτό ανήκει
ndash Iris Setosandash Iris Virginicandash Iris Versicolour
bull 4 ιδιότητεςndash Μήκος πετάλουndash Πλάτος πετάλουndash Μήκος σεπάλουndash Πλάτος σεπάλου
1Μηχανική Μάθηση1Μηχανική Μάθηση
Μορφοποιημένο σύνολο δεδομένων
57 44 15 04 Iris-setosa
54 39 13 04 Iris-setosa
51 35 14 03 Iris-setosa
51 35 14 02 Iris-setosa
49 3 14 02 Iris-setosa
hellip hellip hellip hellip hellip
7 32 47 14 Iris-versicolor
64 32 45 15 Iris-versicolor
hellip hellip hellip hellip hellip
63 33 6 25 Iris-virginica
58 27 51 19 Iris-virginica
1Μηχανική Μάθηση1Μηχανική Μάθηση
Ιδιότητες Μεταβλητή κλάσης
Παράδειγμα
Μήκος σεπάλου
Πλάτος σεπάλου
Πλάτος πετάλου
Μήκος πετάλου
Εκπαίδευση του αλγόριθμου
57 44 15 04 Iris-setosa
54 39 13 04 Iris-setosa
hellip hellip hellip hellip hellip
58 27 51 19 Iris-virginica
1Μηχανική Μάθηση1Μηχανική Μάθηση
Σύνολο εκπαίδευσης
Αλγόριθμος
Εκπαιδευμένο μοντέλο
αλγορίθμου
Υrsquo = f(X) + ε
Αξιολόγηση του αλγόριθμου
57 44 15 04 Iris-setosa
54 39 13 04 Iris-setosa
hellip hellip hellip hellip hellip
58 27 51 19 Iris-virginica
Σύνολο αξιολόγησης
Υrsquo = f(X) + ε
Αλγόριθμος
Μέτρα Απόδοσης Εκπαιδευμένου Μοντέλου
1Μηχανική Μάθηση1Μηχανική Μάθηση
Νέο παράδειγμα
Εφαρμογή του αλγόριθμου57 44 15 04
Iris-setosa
Υrsquo = f(X) + ε
Αλγόριθμος
Πρόβλεψη
1Μηχανική Μάθηση1Μηχανική Μάθηση
Εφαρμογές
bull Χρηματιστήριο
bull Βιομηχανία
bull Περιβάλλον
bull Βιοτεχνολογία Γενετική
bull Τραπεζικός Ασφαλιστικός τομέας
1Μηχανική Μάθηση1Μηχανική Μάθηση
Αλγόριθμοι
bull Είδη ΜηχΜάθησηςndash Υπό επίβλεψηndash Χωρίς επίβλεψη
bull Τύποι προβλημάτων υπό επίβλεψηndash Παλινδρόμησηςndash Ταξινόμησης
1Μηχανική Μάθηση1Μηχανική Μάθηση
Αλγόριθμοι
bull K-κοντινότεροι γείτονεςbull Παλινδρόμησηbull Τεχνητά Νευρωνικά Δίκτυαbull Περιπτωσιακός Λογισμόςbull Δέντρα Απόφασηςbull Δίκτυα Bayesbull Γενετικοί Αλγόριθμοι
1Μηχανική Μάθηση1Μηχανική Μάθηση
Κ-κοντινότεροι γείτονες
1Μηχανική Μάθηση1Μηχανική Μάθηση
R
Κ-κοντινότεροι γείτονες
bull Πλεονεκτήματαndash Απλή υλοποίησηndash Αποδεκτά αποτελέσματα σε μεγάλο πεδίο
εφαρμογώνndash Πολύχρονη εμπειρία χρήσης
bull Μειονεκτήματαndash Χρονοβόρος σε μεγάλα σύνολα δεδομένων
1Μηχανική Μάθηση1Μηχανική Μάθηση
Παλινδρόμηση
1Μηχανική Μάθηση1Μηχανική Μάθηση
Τεχνητά Νευρωνικά Δίκτυα
1Μηχανική Μάθηση1Μηχανική Μάθηση
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Είσοδος 3Είσοδος 1Είσοδος 2 Είσοδος 4
Είσοδος 5Είσοδος 6
Είσοδος 7
Είσοδος 8
Είσοδος 9
Είσοδος 10
Έξοδος
Τεχνητά Νευρωνικά Δίκτυα
bull Πλεονεκτήματαndash Ανοχή στον θόρυβοndash Ικανότητα γενίκευσης
bull Μειονεκτήματαndash Δυσνόητο μοντέλο (μαύρο κουτί)ndash Δυσανάλογος χρόνος εκπαίδευσης
1Μηχανική Μάθηση1Μηχανική Μάθηση
Περιπτωσιακός Λογισμός
1Μηχανική Μάθηση1Μηχανική Μάθηση
Νέα περίπτωση
Πρόβλημα
Παλαιά περίπτωσηΝέα
περίπτωση
Λυμένη περίπτωση
Δοκιμασμένη διορθωμένη
λύση
Διδαχθείσα περίπτωση
Ανάκληση περιπτώσεων
Επαναχρησιμοποίηση παλιών λύσεων
Προσαρμογή λύσης
Αιτιολόγηση λύσης
Γενική Γνώση
Παλαιά περίπτωσηΠαλαιά περίπτωσηΠαλαιά
περίπτωση
Παλαιές περιπτώσεις
Προτεινόμενη λύσηΕγκεκριμένη λύση
Δέντρα Απόφασης
1Μηχανική Μάθηση1Μηχανική Μάθηση
Δίκτυα Bayes
1Μηχανική Μάθηση1Μηχανική Μάθηση
Χ1 Χ2
Χ3
Χ4
Χ5
Υ
P(X1 X2 X3 X4 X5 Y) = P(X1)P(X2)P(X3|X1 X2)P(Y|X1 X2 X3)P(X4|Y) P(X5|X4 Y)
Γενετικοί Αλγόριθμοι
1Μηχανική Μάθηση1Μηχανική Μάθηση
Αρχικός πληθυσμός
Αξιολόγηση συνάρτησης
προσαρμογής
Επιλογή
Διασταύρωση
Μετάλλαξη
Γέννηση νέου πληθυσμού
Επιτεύχθηκαν τα κριτήρια
βελτιστοποίησης
Εξαγωγή λύσης
Ναι
Όχι
Περιβαλλοντική Πληροφορική
bull Θέματαndash Ολοκληρωμένες πλατφόρμες αξιολόγησης και μελέτες
περιπτώσεωνndash Ανάλυση περιβαλλοντικών συστημάτωνndash Πρόβλεψη περιβαλλοντικών αλλαγώνndash Παρακολούθηση του περιβάλλοντος σε πραγματικό χρόνοndash Πιστοποίηση ποιότητας περιβαλλοντικών μοντέλωνndash Εφαρμογές μοντελοποίησης με agents και εξομοίωσης σε
περιβαλλοντικά συστήματα
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Περιβαλλοντική Πληροφορική
bull Πεδία Εφαρμογήςndash Ποιότητα Αέραndash Ποιότητα Εδάφουςndash Ποιότητα Υδάτωνndash Διαχείριση Αποβλήτων
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Αέρια Ρύπανση
bull Παρακολούθηση και πρόβλεψη των επιβλαβών ρύπωνndash Ο3
ndash ΝΟx
ndash PM10 Σωματίδιαndash Καπνός
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Τα προβλήματα του ΠΕΡΠΑ
bull Πρόβλεψη της μέγιστης συγκέντρωσης για τους ρύπουςndash ΝΟ2
ndash Ο3
bull Για τις χρονικές περιόδουςndash Ίδια ημέρα μετά τις 10 πμndash Επόμενη ημέρα
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Π1Π2 Πρόβλεψη την ίδια ημέρα
0
50
100
150
200
250
300
350
400
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
Hour
pp
b
0
20
40
60
80
100
120
140
pp
b
NO2 NO SO2 CO O3
ΠρόβλεψηΣυλλογή δεδομένων
O3 m
ax
NO
2 max
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Π3Π4 Πρόβλεψη για την επόμενη ημέρα
0
100
200
300
400
500
600
700
800
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
Hour
pp
b
0
5
10
15
20
25
30
35
40
pp
b
NO2 NO SO2 CO O3
ΠρόβλεψηΣυλλογή δεδομένων
O3 m
axNO
2 max
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Προ-επεξεργασία των δεδομένων
bull Αντιμετώπιση θορύβου
bull Αντικατάσταση ελλιπών τιμών
3Προ-επεξεργασία3Προ-επεξεργασία
Μελέτη θορύβου
bull 2 μοντέλα θορύβουndash Ύπαρξη θορύβου μόνο στις ιδιότητεςndash Ύπαρξη θορύβου και στις ιδιότητες και
στην εξαρτημένη μεταβλητή
bull Εκτίμηση απόκλισης τιμής ιδιότητας λόγω θορύβου
3Προ-επεξεργασία3Προ-επεξεργασία
piii zxx
Αποτελέσματα μελέτης θορύβου- 1ο μοντέλο
-2
-1
0
1
2
3
4
5
6
7
8
0 005 01 02 03 04 05
IB1 - Attribute IBk -K 9 - Attribute LinearRegression - Attribute M5Prime - Attribute NeuralNetwork - Attribute ZeroR - Attribute
Drop Page Fields Here
Average of Root mean squared error (diff)
Noise Level
Scheme
Noise Model
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα μελέτης θορύβου- 2ο μοντέλο
0
5
10
15
20
25
30
0 005 01 02 03 04 05
IB1 - AttributeClassVar IBk -K 9 - AttributeClassVar LinearRegression - AttributeClassVar
M5Prime - AttributeClassVar NeuralNetwork - AttributeClassVar ZeroR - AttributeClassVar
Drop Page Fields Here
Average of Root mean squared error (diff)
Noise Level
Scheme
Noise Model
3Προ-επεξεργασία3Προ-επεξεργασία
Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών
bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj
1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα
παραδείγματα που ανήκουν στην κλάση Υj
3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)
4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμών-RMSE
-012
-01
-008
-006
-004
-002
0
002
004
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Root mean squared error (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου
-25
-2
-15
-1
-05
0
05
1
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Time taken to build model (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Μείωση των διαστάσεων
bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Επιλογή των ιδιοτήτων57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
15
13
14
14
14
47
45
6
51
bull 2ν πιθανοί συνδυασμοί
bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Πως ορίζεται η ιδιότητα
bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό
μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης
του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Λόγοι επιλογής ιδιοτήτων
bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων
bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή
bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)
bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδοι Αντιμετώπισης
bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδος φιλτραρίσματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Υπολογισμός μέτρωνποιότητας των ιδιοτήτων
Επαύξηση ή μείωση των ιδιοτήτων
Είναι αποδεκτό τοαξιολογημένουποσύνολο
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Επιλογή νέου υποσυνόλουιδιοτήτων
Μέθοδοςφιλτραρίσματος
Γενετικός Αλγόριθμος
Μέθοδος περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Εκπαιδευμένο Μοντέλο
Σύνολοδεδομένων
Κατασκευή συνόλου δεδομένων
Αξιολογημένο Μοντέλο
Εκπαίδευση Αλγορίθμου
Αξιολόγηση Αλγορίθμου
Είναι αποδεκτό τοαξιολογημένο
μοντέλο
Επιλογή νέου υποσυνόλουιδιοτήτων
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Κ-κοντινότεροι γείτονες
Περιτύλιξη με Γενετικό Αλγόριθμο
bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων
bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου
ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων
ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας
γενετικούς τελεστές
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
11 22 33 4400
B1B1 B2B2 B3B3 B4B4 B5B5
Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων
Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με
κωδικό 104 (Γεωπονική) στις 5 μμ
000000 00110011 000000 1000010000 0001000010 0000000000 00
P = ΝΟ2 S = 104
F = αδιάφορο
H1 = 1700 O = 0
H2 = αδιάφορο
ΣημαίαΣυγκεντρωτικής ιδιότητας = 0
Επέλεξε τη μέση συγκέντρωση του
SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ
100100 01110111 000000 0001100011 1010010100 0001000010 11
P = ΝΟ2 S = 108
F = Μέση τιμή-Avg
H1 = 400 O = -2
H2 = 2100
ΣημαίαΣυγκεντρωτικής ιδιότητας = 1
Η Κωδικοποίηση του γενότυπου
Η συνάρτηση προσαρμογής
bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του
αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο
υποσύνολο ιδιοτήτων της λύσης
nA
iAb
nE
iEa
iAiEF
max
)(
max
)(1
))()((
a lt= 1 b lt= 1 a + b = 1
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Οι παράμετροι της συνάρτησης προσαρμογής a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE
bull et = Xt ndash Ft
bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής
bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
n
e
RMSE
n
tt
1
2
n
tt
n
ttt
X
Xe
WSE
1
2
1
2
Ρύθμιση του μεγέθους πληθυσμού
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Population Sizes
0
05
1
15
2
25
3
35
4
5 10 20 30 40 50 100
Population Size
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση συντελεστών a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Coefficient pairs
0
5
10
15
20
25
30
35
01 09 03 07 05 05 07 03 08 02 09 01 095 005
ab pairs
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage
0
05
1
15
2
25
3
35
10 30 40 50 60 70 80 90
Mutation rate ()
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers
0
05
1
15
2
25
3
35
4
1 2 3 4 5 8 10 15
Elite members
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeatures
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Η μέθοδος CFS
bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την
εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις
ιδιότητες του υποσυνόλου
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
)1( ii
cis
rkkk
rkG
Σύγκριση των δύο μεθόδων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
000
1000
2000
3000
4000
5000
6000
7000
8000
9000
ZeroR DecisionStump
DecisionTable
IB1 IB3 IB9 LinearRegression
M5Prime
GA Mean absolute error GA Root mean squared error
CFS Mean absolute error CFS Root mean squared error
Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης
bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης
ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART
bull Συνδυασμένος ταξινομητής
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το σύστημα ΠΛ ΝΕΜΟ (1)
Όμοιες περιπτώσεις
Επιλογέας κοντινών περιπτώσεων
Φίλτρο κοντινών περιπτώσεων
Προσαρμογέας κοντινών περιπτώσεων
Προβλέπτης λύσης
Προτεινόμενη λύση
ΝΕΜΟ
Βάση περιπτώσεων
Κοντινέςπεριπτώσεις
Βάση Γνώσης
Νέα περίπτωση
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία
αναστροφή
βροχόπτωση
άνεμος
NO στις 10 πμ
NO στις 9 πμ
NO στις 8 πμ
NO2 στις 10 πμ
NO2 στις 9 πμ
NO2 στις 8 πμ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Έξοδος
Το δέντρο απόφασης (1)NOat10
NOat10
NOat10
NOat10
Wind
NOat9
Rain
Inversion
NOat9
NO2at8 Wind
Radiation
1(26518)
1(235)
2(4412)
1(83) 2(104) 1(100)
2(101) 1(101)
2(10035)
3(5313)
4(80)
4(124)3(91)
lt=027 gt027
lt=021
gt067
gt021
lt=067
lt=04 gt04
lt=057 gt057
lt=066 gt066
lt=047 gt047
lt=021 gt021
=0 =1
lt=021 gt021 lt=08 gt08
lt=036 gt036
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το δέντρο απόφασης (2)
0
021
025
04 057
105 075
027
12
1 2 3
4
34
066
0
1
02
04
06
08
ΝΟ στις10πμ
Θερ
μο
κρα
σια
κή α
νασ
τρο
φή
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Ο συνδυασμένος ταξινομητής
bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (1)
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
134
38
522
122
93
8
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΝΕΜΟ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
Αποτελέσματα Πίνακες Σύγχυσης (2)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
40
4221
8 317
8
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΔΑ CART
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (3)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
42
8216
8 69
4 4
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΤΝΔ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (4)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
138
38
4124
122
13
2
6
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Στατιστικά για τους 4 αλγόριθμους
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
CART NeuralNet NEMO ML Ensemble
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Ένα παράδειγμα
bull Αναγνώριση του λουλουδιού της ίριδαςbull Πιθανές κλάσεις που αυτό ανήκει
ndash Iris Setosandash Iris Virginicandash Iris Versicolour
bull 4 ιδιότητεςndash Μήκος πετάλουndash Πλάτος πετάλουndash Μήκος σεπάλουndash Πλάτος σεπάλου
1Μηχανική Μάθηση1Μηχανική Μάθηση
Μορφοποιημένο σύνολο δεδομένων
57 44 15 04 Iris-setosa
54 39 13 04 Iris-setosa
51 35 14 03 Iris-setosa
51 35 14 02 Iris-setosa
49 3 14 02 Iris-setosa
hellip hellip hellip hellip hellip
7 32 47 14 Iris-versicolor
64 32 45 15 Iris-versicolor
hellip hellip hellip hellip hellip
63 33 6 25 Iris-virginica
58 27 51 19 Iris-virginica
1Μηχανική Μάθηση1Μηχανική Μάθηση
Ιδιότητες Μεταβλητή κλάσης
Παράδειγμα
Μήκος σεπάλου
Πλάτος σεπάλου
Πλάτος πετάλου
Μήκος πετάλου
Εκπαίδευση του αλγόριθμου
57 44 15 04 Iris-setosa
54 39 13 04 Iris-setosa
hellip hellip hellip hellip hellip
58 27 51 19 Iris-virginica
1Μηχανική Μάθηση1Μηχανική Μάθηση
Σύνολο εκπαίδευσης
Αλγόριθμος
Εκπαιδευμένο μοντέλο
αλγορίθμου
Υrsquo = f(X) + ε
Αξιολόγηση του αλγόριθμου
57 44 15 04 Iris-setosa
54 39 13 04 Iris-setosa
hellip hellip hellip hellip hellip
58 27 51 19 Iris-virginica
Σύνολο αξιολόγησης
Υrsquo = f(X) + ε
Αλγόριθμος
Μέτρα Απόδοσης Εκπαιδευμένου Μοντέλου
1Μηχανική Μάθηση1Μηχανική Μάθηση
Νέο παράδειγμα
Εφαρμογή του αλγόριθμου57 44 15 04
Iris-setosa
Υrsquo = f(X) + ε
Αλγόριθμος
Πρόβλεψη
1Μηχανική Μάθηση1Μηχανική Μάθηση
Εφαρμογές
bull Χρηματιστήριο
bull Βιομηχανία
bull Περιβάλλον
bull Βιοτεχνολογία Γενετική
bull Τραπεζικός Ασφαλιστικός τομέας
1Μηχανική Μάθηση1Μηχανική Μάθηση
Αλγόριθμοι
bull Είδη ΜηχΜάθησηςndash Υπό επίβλεψηndash Χωρίς επίβλεψη
bull Τύποι προβλημάτων υπό επίβλεψηndash Παλινδρόμησηςndash Ταξινόμησης
1Μηχανική Μάθηση1Μηχανική Μάθηση
Αλγόριθμοι
bull K-κοντινότεροι γείτονεςbull Παλινδρόμησηbull Τεχνητά Νευρωνικά Δίκτυαbull Περιπτωσιακός Λογισμόςbull Δέντρα Απόφασηςbull Δίκτυα Bayesbull Γενετικοί Αλγόριθμοι
1Μηχανική Μάθηση1Μηχανική Μάθηση
Κ-κοντινότεροι γείτονες
1Μηχανική Μάθηση1Μηχανική Μάθηση
R
Κ-κοντινότεροι γείτονες
bull Πλεονεκτήματαndash Απλή υλοποίησηndash Αποδεκτά αποτελέσματα σε μεγάλο πεδίο
εφαρμογώνndash Πολύχρονη εμπειρία χρήσης
bull Μειονεκτήματαndash Χρονοβόρος σε μεγάλα σύνολα δεδομένων
1Μηχανική Μάθηση1Μηχανική Μάθηση
Παλινδρόμηση
1Μηχανική Μάθηση1Μηχανική Μάθηση
Τεχνητά Νευρωνικά Δίκτυα
1Μηχανική Μάθηση1Μηχανική Μάθηση
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Είσοδος 3Είσοδος 1Είσοδος 2 Είσοδος 4
Είσοδος 5Είσοδος 6
Είσοδος 7
Είσοδος 8
Είσοδος 9
Είσοδος 10
Έξοδος
Τεχνητά Νευρωνικά Δίκτυα
bull Πλεονεκτήματαndash Ανοχή στον θόρυβοndash Ικανότητα γενίκευσης
bull Μειονεκτήματαndash Δυσνόητο μοντέλο (μαύρο κουτί)ndash Δυσανάλογος χρόνος εκπαίδευσης
1Μηχανική Μάθηση1Μηχανική Μάθηση
Περιπτωσιακός Λογισμός
1Μηχανική Μάθηση1Μηχανική Μάθηση
Νέα περίπτωση
Πρόβλημα
Παλαιά περίπτωσηΝέα
περίπτωση
Λυμένη περίπτωση
Δοκιμασμένη διορθωμένη
λύση
Διδαχθείσα περίπτωση
Ανάκληση περιπτώσεων
Επαναχρησιμοποίηση παλιών λύσεων
Προσαρμογή λύσης
Αιτιολόγηση λύσης
Γενική Γνώση
Παλαιά περίπτωσηΠαλαιά περίπτωσηΠαλαιά
περίπτωση
Παλαιές περιπτώσεις
Προτεινόμενη λύσηΕγκεκριμένη λύση
Δέντρα Απόφασης
1Μηχανική Μάθηση1Μηχανική Μάθηση
Δίκτυα Bayes
1Μηχανική Μάθηση1Μηχανική Μάθηση
Χ1 Χ2
Χ3
Χ4
Χ5
Υ
P(X1 X2 X3 X4 X5 Y) = P(X1)P(X2)P(X3|X1 X2)P(Y|X1 X2 X3)P(X4|Y) P(X5|X4 Y)
Γενετικοί Αλγόριθμοι
1Μηχανική Μάθηση1Μηχανική Μάθηση
Αρχικός πληθυσμός
Αξιολόγηση συνάρτησης
προσαρμογής
Επιλογή
Διασταύρωση
Μετάλλαξη
Γέννηση νέου πληθυσμού
Επιτεύχθηκαν τα κριτήρια
βελτιστοποίησης
Εξαγωγή λύσης
Ναι
Όχι
Περιβαλλοντική Πληροφορική
bull Θέματαndash Ολοκληρωμένες πλατφόρμες αξιολόγησης και μελέτες
περιπτώσεωνndash Ανάλυση περιβαλλοντικών συστημάτωνndash Πρόβλεψη περιβαλλοντικών αλλαγώνndash Παρακολούθηση του περιβάλλοντος σε πραγματικό χρόνοndash Πιστοποίηση ποιότητας περιβαλλοντικών μοντέλωνndash Εφαρμογές μοντελοποίησης με agents και εξομοίωσης σε
περιβαλλοντικά συστήματα
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Περιβαλλοντική Πληροφορική
bull Πεδία Εφαρμογήςndash Ποιότητα Αέραndash Ποιότητα Εδάφουςndash Ποιότητα Υδάτωνndash Διαχείριση Αποβλήτων
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Αέρια Ρύπανση
bull Παρακολούθηση και πρόβλεψη των επιβλαβών ρύπωνndash Ο3
ndash ΝΟx
ndash PM10 Σωματίδιαndash Καπνός
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Τα προβλήματα του ΠΕΡΠΑ
bull Πρόβλεψη της μέγιστης συγκέντρωσης για τους ρύπουςndash ΝΟ2
ndash Ο3
bull Για τις χρονικές περιόδουςndash Ίδια ημέρα μετά τις 10 πμndash Επόμενη ημέρα
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Π1Π2 Πρόβλεψη την ίδια ημέρα
0
50
100
150
200
250
300
350
400
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
Hour
pp
b
0
20
40
60
80
100
120
140
pp
b
NO2 NO SO2 CO O3
ΠρόβλεψηΣυλλογή δεδομένων
O3 m
ax
NO
2 max
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Π3Π4 Πρόβλεψη για την επόμενη ημέρα
0
100
200
300
400
500
600
700
800
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
Hour
pp
b
0
5
10
15
20
25
30
35
40
pp
b
NO2 NO SO2 CO O3
ΠρόβλεψηΣυλλογή δεδομένων
O3 m
axNO
2 max
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Προ-επεξεργασία των δεδομένων
bull Αντιμετώπιση θορύβου
bull Αντικατάσταση ελλιπών τιμών
3Προ-επεξεργασία3Προ-επεξεργασία
Μελέτη θορύβου
bull 2 μοντέλα θορύβουndash Ύπαρξη θορύβου μόνο στις ιδιότητεςndash Ύπαρξη θορύβου και στις ιδιότητες και
στην εξαρτημένη μεταβλητή
bull Εκτίμηση απόκλισης τιμής ιδιότητας λόγω θορύβου
3Προ-επεξεργασία3Προ-επεξεργασία
piii zxx
Αποτελέσματα μελέτης θορύβου- 1ο μοντέλο
-2
-1
0
1
2
3
4
5
6
7
8
0 005 01 02 03 04 05
IB1 - Attribute IBk -K 9 - Attribute LinearRegression - Attribute M5Prime - Attribute NeuralNetwork - Attribute ZeroR - Attribute
Drop Page Fields Here
Average of Root mean squared error (diff)
Noise Level
Scheme
Noise Model
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα μελέτης θορύβου- 2ο μοντέλο
0
5
10
15
20
25
30
0 005 01 02 03 04 05
IB1 - AttributeClassVar IBk -K 9 - AttributeClassVar LinearRegression - AttributeClassVar
M5Prime - AttributeClassVar NeuralNetwork - AttributeClassVar ZeroR - AttributeClassVar
Drop Page Fields Here
Average of Root mean squared error (diff)
Noise Level
Scheme
Noise Model
3Προ-επεξεργασία3Προ-επεξεργασία
Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών
bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj
1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα
παραδείγματα που ανήκουν στην κλάση Υj
3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)
4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμών-RMSE
-012
-01
-008
-006
-004
-002
0
002
004
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Root mean squared error (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου
-25
-2
-15
-1
-05
0
05
1
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Time taken to build model (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Μείωση των διαστάσεων
bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Επιλογή των ιδιοτήτων57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
15
13
14
14
14
47
45
6
51
bull 2ν πιθανοί συνδυασμοί
bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Πως ορίζεται η ιδιότητα
bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό
μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης
του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Λόγοι επιλογής ιδιοτήτων
bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων
bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή
bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)
bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδοι Αντιμετώπισης
bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδος φιλτραρίσματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Υπολογισμός μέτρωνποιότητας των ιδιοτήτων
Επαύξηση ή μείωση των ιδιοτήτων
Είναι αποδεκτό τοαξιολογημένουποσύνολο
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Επιλογή νέου υποσυνόλουιδιοτήτων
Μέθοδοςφιλτραρίσματος
Γενετικός Αλγόριθμος
Μέθοδος περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Εκπαιδευμένο Μοντέλο
Σύνολοδεδομένων
Κατασκευή συνόλου δεδομένων
Αξιολογημένο Μοντέλο
Εκπαίδευση Αλγορίθμου
Αξιολόγηση Αλγορίθμου
Είναι αποδεκτό τοαξιολογημένο
μοντέλο
Επιλογή νέου υποσυνόλουιδιοτήτων
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Κ-κοντινότεροι γείτονες
Περιτύλιξη με Γενετικό Αλγόριθμο
bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων
bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου
ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων
ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας
γενετικούς τελεστές
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
11 22 33 4400
B1B1 B2B2 B3B3 B4B4 B5B5
Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων
Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με
κωδικό 104 (Γεωπονική) στις 5 μμ
000000 00110011 000000 1000010000 0001000010 0000000000 00
P = ΝΟ2 S = 104
F = αδιάφορο
H1 = 1700 O = 0
H2 = αδιάφορο
ΣημαίαΣυγκεντρωτικής ιδιότητας = 0
Επέλεξε τη μέση συγκέντρωση του
SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ
100100 01110111 000000 0001100011 1010010100 0001000010 11
P = ΝΟ2 S = 108
F = Μέση τιμή-Avg
H1 = 400 O = -2
H2 = 2100
ΣημαίαΣυγκεντρωτικής ιδιότητας = 1
Η Κωδικοποίηση του γενότυπου
Η συνάρτηση προσαρμογής
bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του
αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο
υποσύνολο ιδιοτήτων της λύσης
nA
iAb
nE
iEa
iAiEF
max
)(
max
)(1
))()((
a lt= 1 b lt= 1 a + b = 1
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Οι παράμετροι της συνάρτησης προσαρμογής a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE
bull et = Xt ndash Ft
bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής
bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
n
e
RMSE
n
tt
1
2
n
tt
n
ttt
X
Xe
WSE
1
2
1
2
Ρύθμιση του μεγέθους πληθυσμού
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Population Sizes
0
05
1
15
2
25
3
35
4
5 10 20 30 40 50 100
Population Size
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση συντελεστών a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Coefficient pairs
0
5
10
15
20
25
30
35
01 09 03 07 05 05 07 03 08 02 09 01 095 005
ab pairs
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage
0
05
1
15
2
25
3
35
10 30 40 50 60 70 80 90
Mutation rate ()
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers
0
05
1
15
2
25
3
35
4
1 2 3 4 5 8 10 15
Elite members
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeatures
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Η μέθοδος CFS
bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την
εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις
ιδιότητες του υποσυνόλου
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
)1( ii
cis
rkkk
rkG
Σύγκριση των δύο μεθόδων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
000
1000
2000
3000
4000
5000
6000
7000
8000
9000
ZeroR DecisionStump
DecisionTable
IB1 IB3 IB9 LinearRegression
M5Prime
GA Mean absolute error GA Root mean squared error
CFS Mean absolute error CFS Root mean squared error
Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης
bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης
ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART
bull Συνδυασμένος ταξινομητής
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το σύστημα ΠΛ ΝΕΜΟ (1)
Όμοιες περιπτώσεις
Επιλογέας κοντινών περιπτώσεων
Φίλτρο κοντινών περιπτώσεων
Προσαρμογέας κοντινών περιπτώσεων
Προβλέπτης λύσης
Προτεινόμενη λύση
ΝΕΜΟ
Βάση περιπτώσεων
Κοντινέςπεριπτώσεις
Βάση Γνώσης
Νέα περίπτωση
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία
αναστροφή
βροχόπτωση
άνεμος
NO στις 10 πμ
NO στις 9 πμ
NO στις 8 πμ
NO2 στις 10 πμ
NO2 στις 9 πμ
NO2 στις 8 πμ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Έξοδος
Το δέντρο απόφασης (1)NOat10
NOat10
NOat10
NOat10
Wind
NOat9
Rain
Inversion
NOat9
NO2at8 Wind
Radiation
1(26518)
1(235)
2(4412)
1(83) 2(104) 1(100)
2(101) 1(101)
2(10035)
3(5313)
4(80)
4(124)3(91)
lt=027 gt027
lt=021
gt067
gt021
lt=067
lt=04 gt04
lt=057 gt057
lt=066 gt066
lt=047 gt047
lt=021 gt021
=0 =1
lt=021 gt021 lt=08 gt08
lt=036 gt036
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το δέντρο απόφασης (2)
0
021
025
04 057
105 075
027
12
1 2 3
4
34
066
0
1
02
04
06
08
ΝΟ στις10πμ
Θερ
μο
κρα
σια
κή α
νασ
τρο
φή
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Ο συνδυασμένος ταξινομητής
bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (1)
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
134
38
522
122
93
8
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΝΕΜΟ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
Αποτελέσματα Πίνακες Σύγχυσης (2)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
40
4221
8 317
8
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΔΑ CART
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (3)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
42
8216
8 69
4 4
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΤΝΔ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (4)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
138
38
4124
122
13
2
6
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Στατιστικά για τους 4 αλγόριθμους
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
CART NeuralNet NEMO ML Ensemble
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Μορφοποιημένο σύνολο δεδομένων
57 44 15 04 Iris-setosa
54 39 13 04 Iris-setosa
51 35 14 03 Iris-setosa
51 35 14 02 Iris-setosa
49 3 14 02 Iris-setosa
hellip hellip hellip hellip hellip
7 32 47 14 Iris-versicolor
64 32 45 15 Iris-versicolor
hellip hellip hellip hellip hellip
63 33 6 25 Iris-virginica
58 27 51 19 Iris-virginica
1Μηχανική Μάθηση1Μηχανική Μάθηση
Ιδιότητες Μεταβλητή κλάσης
Παράδειγμα
Μήκος σεπάλου
Πλάτος σεπάλου
Πλάτος πετάλου
Μήκος πετάλου
Εκπαίδευση του αλγόριθμου
57 44 15 04 Iris-setosa
54 39 13 04 Iris-setosa
hellip hellip hellip hellip hellip
58 27 51 19 Iris-virginica
1Μηχανική Μάθηση1Μηχανική Μάθηση
Σύνολο εκπαίδευσης
Αλγόριθμος
Εκπαιδευμένο μοντέλο
αλγορίθμου
Υrsquo = f(X) + ε
Αξιολόγηση του αλγόριθμου
57 44 15 04 Iris-setosa
54 39 13 04 Iris-setosa
hellip hellip hellip hellip hellip
58 27 51 19 Iris-virginica
Σύνολο αξιολόγησης
Υrsquo = f(X) + ε
Αλγόριθμος
Μέτρα Απόδοσης Εκπαιδευμένου Μοντέλου
1Μηχανική Μάθηση1Μηχανική Μάθηση
Νέο παράδειγμα
Εφαρμογή του αλγόριθμου57 44 15 04
Iris-setosa
Υrsquo = f(X) + ε
Αλγόριθμος
Πρόβλεψη
1Μηχανική Μάθηση1Μηχανική Μάθηση
Εφαρμογές
bull Χρηματιστήριο
bull Βιομηχανία
bull Περιβάλλον
bull Βιοτεχνολογία Γενετική
bull Τραπεζικός Ασφαλιστικός τομέας
1Μηχανική Μάθηση1Μηχανική Μάθηση
Αλγόριθμοι
bull Είδη ΜηχΜάθησηςndash Υπό επίβλεψηndash Χωρίς επίβλεψη
bull Τύποι προβλημάτων υπό επίβλεψηndash Παλινδρόμησηςndash Ταξινόμησης
1Μηχανική Μάθηση1Μηχανική Μάθηση
Αλγόριθμοι
bull K-κοντινότεροι γείτονεςbull Παλινδρόμησηbull Τεχνητά Νευρωνικά Δίκτυαbull Περιπτωσιακός Λογισμόςbull Δέντρα Απόφασηςbull Δίκτυα Bayesbull Γενετικοί Αλγόριθμοι
1Μηχανική Μάθηση1Μηχανική Μάθηση
Κ-κοντινότεροι γείτονες
1Μηχανική Μάθηση1Μηχανική Μάθηση
R
Κ-κοντινότεροι γείτονες
bull Πλεονεκτήματαndash Απλή υλοποίησηndash Αποδεκτά αποτελέσματα σε μεγάλο πεδίο
εφαρμογώνndash Πολύχρονη εμπειρία χρήσης
bull Μειονεκτήματαndash Χρονοβόρος σε μεγάλα σύνολα δεδομένων
1Μηχανική Μάθηση1Μηχανική Μάθηση
Παλινδρόμηση
1Μηχανική Μάθηση1Μηχανική Μάθηση
Τεχνητά Νευρωνικά Δίκτυα
1Μηχανική Μάθηση1Μηχανική Μάθηση
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Είσοδος 3Είσοδος 1Είσοδος 2 Είσοδος 4
Είσοδος 5Είσοδος 6
Είσοδος 7
Είσοδος 8
Είσοδος 9
Είσοδος 10
Έξοδος
Τεχνητά Νευρωνικά Δίκτυα
bull Πλεονεκτήματαndash Ανοχή στον θόρυβοndash Ικανότητα γενίκευσης
bull Μειονεκτήματαndash Δυσνόητο μοντέλο (μαύρο κουτί)ndash Δυσανάλογος χρόνος εκπαίδευσης
1Μηχανική Μάθηση1Μηχανική Μάθηση
Περιπτωσιακός Λογισμός
1Μηχανική Μάθηση1Μηχανική Μάθηση
Νέα περίπτωση
Πρόβλημα
Παλαιά περίπτωσηΝέα
περίπτωση
Λυμένη περίπτωση
Δοκιμασμένη διορθωμένη
λύση
Διδαχθείσα περίπτωση
Ανάκληση περιπτώσεων
Επαναχρησιμοποίηση παλιών λύσεων
Προσαρμογή λύσης
Αιτιολόγηση λύσης
Γενική Γνώση
Παλαιά περίπτωσηΠαλαιά περίπτωσηΠαλαιά
περίπτωση
Παλαιές περιπτώσεις
Προτεινόμενη λύσηΕγκεκριμένη λύση
Δέντρα Απόφασης
1Μηχανική Μάθηση1Μηχανική Μάθηση
Δίκτυα Bayes
1Μηχανική Μάθηση1Μηχανική Μάθηση
Χ1 Χ2
Χ3
Χ4
Χ5
Υ
P(X1 X2 X3 X4 X5 Y) = P(X1)P(X2)P(X3|X1 X2)P(Y|X1 X2 X3)P(X4|Y) P(X5|X4 Y)
Γενετικοί Αλγόριθμοι
1Μηχανική Μάθηση1Μηχανική Μάθηση
Αρχικός πληθυσμός
Αξιολόγηση συνάρτησης
προσαρμογής
Επιλογή
Διασταύρωση
Μετάλλαξη
Γέννηση νέου πληθυσμού
Επιτεύχθηκαν τα κριτήρια
βελτιστοποίησης
Εξαγωγή λύσης
Ναι
Όχι
Περιβαλλοντική Πληροφορική
bull Θέματαndash Ολοκληρωμένες πλατφόρμες αξιολόγησης και μελέτες
περιπτώσεωνndash Ανάλυση περιβαλλοντικών συστημάτωνndash Πρόβλεψη περιβαλλοντικών αλλαγώνndash Παρακολούθηση του περιβάλλοντος σε πραγματικό χρόνοndash Πιστοποίηση ποιότητας περιβαλλοντικών μοντέλωνndash Εφαρμογές μοντελοποίησης με agents και εξομοίωσης σε
περιβαλλοντικά συστήματα
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Περιβαλλοντική Πληροφορική
bull Πεδία Εφαρμογήςndash Ποιότητα Αέραndash Ποιότητα Εδάφουςndash Ποιότητα Υδάτωνndash Διαχείριση Αποβλήτων
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Αέρια Ρύπανση
bull Παρακολούθηση και πρόβλεψη των επιβλαβών ρύπωνndash Ο3
ndash ΝΟx
ndash PM10 Σωματίδιαndash Καπνός
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Τα προβλήματα του ΠΕΡΠΑ
bull Πρόβλεψη της μέγιστης συγκέντρωσης για τους ρύπουςndash ΝΟ2
ndash Ο3
bull Για τις χρονικές περιόδουςndash Ίδια ημέρα μετά τις 10 πμndash Επόμενη ημέρα
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Π1Π2 Πρόβλεψη την ίδια ημέρα
0
50
100
150
200
250
300
350
400
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
Hour
pp
b
0
20
40
60
80
100
120
140
pp
b
NO2 NO SO2 CO O3
ΠρόβλεψηΣυλλογή δεδομένων
O3 m
ax
NO
2 max
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Π3Π4 Πρόβλεψη για την επόμενη ημέρα
0
100
200
300
400
500
600
700
800
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
Hour
pp
b
0
5
10
15
20
25
30
35
40
pp
b
NO2 NO SO2 CO O3
ΠρόβλεψηΣυλλογή δεδομένων
O3 m
axNO
2 max
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Προ-επεξεργασία των δεδομένων
bull Αντιμετώπιση θορύβου
bull Αντικατάσταση ελλιπών τιμών
3Προ-επεξεργασία3Προ-επεξεργασία
Μελέτη θορύβου
bull 2 μοντέλα θορύβουndash Ύπαρξη θορύβου μόνο στις ιδιότητεςndash Ύπαρξη θορύβου και στις ιδιότητες και
στην εξαρτημένη μεταβλητή
bull Εκτίμηση απόκλισης τιμής ιδιότητας λόγω θορύβου
3Προ-επεξεργασία3Προ-επεξεργασία
piii zxx
Αποτελέσματα μελέτης θορύβου- 1ο μοντέλο
-2
-1
0
1
2
3
4
5
6
7
8
0 005 01 02 03 04 05
IB1 - Attribute IBk -K 9 - Attribute LinearRegression - Attribute M5Prime - Attribute NeuralNetwork - Attribute ZeroR - Attribute
Drop Page Fields Here
Average of Root mean squared error (diff)
Noise Level
Scheme
Noise Model
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα μελέτης θορύβου- 2ο μοντέλο
0
5
10
15
20
25
30
0 005 01 02 03 04 05
IB1 - AttributeClassVar IBk -K 9 - AttributeClassVar LinearRegression - AttributeClassVar
M5Prime - AttributeClassVar NeuralNetwork - AttributeClassVar ZeroR - AttributeClassVar
Drop Page Fields Here
Average of Root mean squared error (diff)
Noise Level
Scheme
Noise Model
3Προ-επεξεργασία3Προ-επεξεργασία
Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών
bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj
1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα
παραδείγματα που ανήκουν στην κλάση Υj
3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)
4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμών-RMSE
-012
-01
-008
-006
-004
-002
0
002
004
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Root mean squared error (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου
-25
-2
-15
-1
-05
0
05
1
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Time taken to build model (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Μείωση των διαστάσεων
bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Επιλογή των ιδιοτήτων57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
15
13
14
14
14
47
45
6
51
bull 2ν πιθανοί συνδυασμοί
bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Πως ορίζεται η ιδιότητα
bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό
μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης
του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Λόγοι επιλογής ιδιοτήτων
bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων
bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή
bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)
bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδοι Αντιμετώπισης
bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδος φιλτραρίσματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Υπολογισμός μέτρωνποιότητας των ιδιοτήτων
Επαύξηση ή μείωση των ιδιοτήτων
Είναι αποδεκτό τοαξιολογημένουποσύνολο
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Επιλογή νέου υποσυνόλουιδιοτήτων
Μέθοδοςφιλτραρίσματος
Γενετικός Αλγόριθμος
Μέθοδος περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Εκπαιδευμένο Μοντέλο
Σύνολοδεδομένων
Κατασκευή συνόλου δεδομένων
Αξιολογημένο Μοντέλο
Εκπαίδευση Αλγορίθμου
Αξιολόγηση Αλγορίθμου
Είναι αποδεκτό τοαξιολογημένο
μοντέλο
Επιλογή νέου υποσυνόλουιδιοτήτων
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Κ-κοντινότεροι γείτονες
Περιτύλιξη με Γενετικό Αλγόριθμο
bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων
bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου
ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων
ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας
γενετικούς τελεστές
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
11 22 33 4400
B1B1 B2B2 B3B3 B4B4 B5B5
Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων
Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με
κωδικό 104 (Γεωπονική) στις 5 μμ
000000 00110011 000000 1000010000 0001000010 0000000000 00
P = ΝΟ2 S = 104
F = αδιάφορο
H1 = 1700 O = 0
H2 = αδιάφορο
ΣημαίαΣυγκεντρωτικής ιδιότητας = 0
Επέλεξε τη μέση συγκέντρωση του
SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ
100100 01110111 000000 0001100011 1010010100 0001000010 11
P = ΝΟ2 S = 108
F = Μέση τιμή-Avg
H1 = 400 O = -2
H2 = 2100
ΣημαίαΣυγκεντρωτικής ιδιότητας = 1
Η Κωδικοποίηση του γενότυπου
Η συνάρτηση προσαρμογής
bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του
αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο
υποσύνολο ιδιοτήτων της λύσης
nA
iAb
nE
iEa
iAiEF
max
)(
max
)(1
))()((
a lt= 1 b lt= 1 a + b = 1
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Οι παράμετροι της συνάρτησης προσαρμογής a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE
bull et = Xt ndash Ft
bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής
bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
n
e
RMSE
n
tt
1
2
n
tt
n
ttt
X
Xe
WSE
1
2
1
2
Ρύθμιση του μεγέθους πληθυσμού
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Population Sizes
0
05
1
15
2
25
3
35
4
5 10 20 30 40 50 100
Population Size
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση συντελεστών a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Coefficient pairs
0
5
10
15
20
25
30
35
01 09 03 07 05 05 07 03 08 02 09 01 095 005
ab pairs
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage
0
05
1
15
2
25
3
35
10 30 40 50 60 70 80 90
Mutation rate ()
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers
0
05
1
15
2
25
3
35
4
1 2 3 4 5 8 10 15
Elite members
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeatures
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Η μέθοδος CFS
bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την
εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις
ιδιότητες του υποσυνόλου
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
)1( ii
cis
rkkk
rkG
Σύγκριση των δύο μεθόδων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
000
1000
2000
3000
4000
5000
6000
7000
8000
9000
ZeroR DecisionStump
DecisionTable
IB1 IB3 IB9 LinearRegression
M5Prime
GA Mean absolute error GA Root mean squared error
CFS Mean absolute error CFS Root mean squared error
Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης
bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης
ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART
bull Συνδυασμένος ταξινομητής
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το σύστημα ΠΛ ΝΕΜΟ (1)
Όμοιες περιπτώσεις
Επιλογέας κοντινών περιπτώσεων
Φίλτρο κοντινών περιπτώσεων
Προσαρμογέας κοντινών περιπτώσεων
Προβλέπτης λύσης
Προτεινόμενη λύση
ΝΕΜΟ
Βάση περιπτώσεων
Κοντινέςπεριπτώσεις
Βάση Γνώσης
Νέα περίπτωση
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία
αναστροφή
βροχόπτωση
άνεμος
NO στις 10 πμ
NO στις 9 πμ
NO στις 8 πμ
NO2 στις 10 πμ
NO2 στις 9 πμ
NO2 στις 8 πμ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Έξοδος
Το δέντρο απόφασης (1)NOat10
NOat10
NOat10
NOat10
Wind
NOat9
Rain
Inversion
NOat9
NO2at8 Wind
Radiation
1(26518)
1(235)
2(4412)
1(83) 2(104) 1(100)
2(101) 1(101)
2(10035)
3(5313)
4(80)
4(124)3(91)
lt=027 gt027
lt=021
gt067
gt021
lt=067
lt=04 gt04
lt=057 gt057
lt=066 gt066
lt=047 gt047
lt=021 gt021
=0 =1
lt=021 gt021 lt=08 gt08
lt=036 gt036
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το δέντρο απόφασης (2)
0
021
025
04 057
105 075
027
12
1 2 3
4
34
066
0
1
02
04
06
08
ΝΟ στις10πμ
Θερ
μο
κρα
σια
κή α
νασ
τρο
φή
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Ο συνδυασμένος ταξινομητής
bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (1)
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
134
38
522
122
93
8
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΝΕΜΟ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
Αποτελέσματα Πίνακες Σύγχυσης (2)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
40
4221
8 317
8
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΔΑ CART
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (3)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
42
8216
8 69
4 4
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΤΝΔ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (4)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
138
38
4124
122
13
2
6
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Στατιστικά για τους 4 αλγόριθμους
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
CART NeuralNet NEMO ML Ensemble
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Εκπαίδευση του αλγόριθμου
57 44 15 04 Iris-setosa
54 39 13 04 Iris-setosa
hellip hellip hellip hellip hellip
58 27 51 19 Iris-virginica
1Μηχανική Μάθηση1Μηχανική Μάθηση
Σύνολο εκπαίδευσης
Αλγόριθμος
Εκπαιδευμένο μοντέλο
αλγορίθμου
Υrsquo = f(X) + ε
Αξιολόγηση του αλγόριθμου
57 44 15 04 Iris-setosa
54 39 13 04 Iris-setosa
hellip hellip hellip hellip hellip
58 27 51 19 Iris-virginica
Σύνολο αξιολόγησης
Υrsquo = f(X) + ε
Αλγόριθμος
Μέτρα Απόδοσης Εκπαιδευμένου Μοντέλου
1Μηχανική Μάθηση1Μηχανική Μάθηση
Νέο παράδειγμα
Εφαρμογή του αλγόριθμου57 44 15 04
Iris-setosa
Υrsquo = f(X) + ε
Αλγόριθμος
Πρόβλεψη
1Μηχανική Μάθηση1Μηχανική Μάθηση
Εφαρμογές
bull Χρηματιστήριο
bull Βιομηχανία
bull Περιβάλλον
bull Βιοτεχνολογία Γενετική
bull Τραπεζικός Ασφαλιστικός τομέας
1Μηχανική Μάθηση1Μηχανική Μάθηση
Αλγόριθμοι
bull Είδη ΜηχΜάθησηςndash Υπό επίβλεψηndash Χωρίς επίβλεψη
bull Τύποι προβλημάτων υπό επίβλεψηndash Παλινδρόμησηςndash Ταξινόμησης
1Μηχανική Μάθηση1Μηχανική Μάθηση
Αλγόριθμοι
bull K-κοντινότεροι γείτονεςbull Παλινδρόμησηbull Τεχνητά Νευρωνικά Δίκτυαbull Περιπτωσιακός Λογισμόςbull Δέντρα Απόφασηςbull Δίκτυα Bayesbull Γενετικοί Αλγόριθμοι
1Μηχανική Μάθηση1Μηχανική Μάθηση
Κ-κοντινότεροι γείτονες
1Μηχανική Μάθηση1Μηχανική Μάθηση
R
Κ-κοντινότεροι γείτονες
bull Πλεονεκτήματαndash Απλή υλοποίησηndash Αποδεκτά αποτελέσματα σε μεγάλο πεδίο
εφαρμογώνndash Πολύχρονη εμπειρία χρήσης
bull Μειονεκτήματαndash Χρονοβόρος σε μεγάλα σύνολα δεδομένων
1Μηχανική Μάθηση1Μηχανική Μάθηση
Παλινδρόμηση
1Μηχανική Μάθηση1Μηχανική Μάθηση
Τεχνητά Νευρωνικά Δίκτυα
1Μηχανική Μάθηση1Μηχανική Μάθηση
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Είσοδος 3Είσοδος 1Είσοδος 2 Είσοδος 4
Είσοδος 5Είσοδος 6
Είσοδος 7
Είσοδος 8
Είσοδος 9
Είσοδος 10
Έξοδος
Τεχνητά Νευρωνικά Δίκτυα
bull Πλεονεκτήματαndash Ανοχή στον θόρυβοndash Ικανότητα γενίκευσης
bull Μειονεκτήματαndash Δυσνόητο μοντέλο (μαύρο κουτί)ndash Δυσανάλογος χρόνος εκπαίδευσης
1Μηχανική Μάθηση1Μηχανική Μάθηση
Περιπτωσιακός Λογισμός
1Μηχανική Μάθηση1Μηχανική Μάθηση
Νέα περίπτωση
Πρόβλημα
Παλαιά περίπτωσηΝέα
περίπτωση
Λυμένη περίπτωση
Δοκιμασμένη διορθωμένη
λύση
Διδαχθείσα περίπτωση
Ανάκληση περιπτώσεων
Επαναχρησιμοποίηση παλιών λύσεων
Προσαρμογή λύσης
Αιτιολόγηση λύσης
Γενική Γνώση
Παλαιά περίπτωσηΠαλαιά περίπτωσηΠαλαιά
περίπτωση
Παλαιές περιπτώσεις
Προτεινόμενη λύσηΕγκεκριμένη λύση
Δέντρα Απόφασης
1Μηχανική Μάθηση1Μηχανική Μάθηση
Δίκτυα Bayes
1Μηχανική Μάθηση1Μηχανική Μάθηση
Χ1 Χ2
Χ3
Χ4
Χ5
Υ
P(X1 X2 X3 X4 X5 Y) = P(X1)P(X2)P(X3|X1 X2)P(Y|X1 X2 X3)P(X4|Y) P(X5|X4 Y)
Γενετικοί Αλγόριθμοι
1Μηχανική Μάθηση1Μηχανική Μάθηση
Αρχικός πληθυσμός
Αξιολόγηση συνάρτησης
προσαρμογής
Επιλογή
Διασταύρωση
Μετάλλαξη
Γέννηση νέου πληθυσμού
Επιτεύχθηκαν τα κριτήρια
βελτιστοποίησης
Εξαγωγή λύσης
Ναι
Όχι
Περιβαλλοντική Πληροφορική
bull Θέματαndash Ολοκληρωμένες πλατφόρμες αξιολόγησης και μελέτες
περιπτώσεωνndash Ανάλυση περιβαλλοντικών συστημάτωνndash Πρόβλεψη περιβαλλοντικών αλλαγώνndash Παρακολούθηση του περιβάλλοντος σε πραγματικό χρόνοndash Πιστοποίηση ποιότητας περιβαλλοντικών μοντέλωνndash Εφαρμογές μοντελοποίησης με agents και εξομοίωσης σε
περιβαλλοντικά συστήματα
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Περιβαλλοντική Πληροφορική
bull Πεδία Εφαρμογήςndash Ποιότητα Αέραndash Ποιότητα Εδάφουςndash Ποιότητα Υδάτωνndash Διαχείριση Αποβλήτων
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Αέρια Ρύπανση
bull Παρακολούθηση και πρόβλεψη των επιβλαβών ρύπωνndash Ο3
ndash ΝΟx
ndash PM10 Σωματίδιαndash Καπνός
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Τα προβλήματα του ΠΕΡΠΑ
bull Πρόβλεψη της μέγιστης συγκέντρωσης για τους ρύπουςndash ΝΟ2
ndash Ο3
bull Για τις χρονικές περιόδουςndash Ίδια ημέρα μετά τις 10 πμndash Επόμενη ημέρα
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Π1Π2 Πρόβλεψη την ίδια ημέρα
0
50
100
150
200
250
300
350
400
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
Hour
pp
b
0
20
40
60
80
100
120
140
pp
b
NO2 NO SO2 CO O3
ΠρόβλεψηΣυλλογή δεδομένων
O3 m
ax
NO
2 max
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Π3Π4 Πρόβλεψη για την επόμενη ημέρα
0
100
200
300
400
500
600
700
800
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
Hour
pp
b
0
5
10
15
20
25
30
35
40
pp
b
NO2 NO SO2 CO O3
ΠρόβλεψηΣυλλογή δεδομένων
O3 m
axNO
2 max
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Προ-επεξεργασία των δεδομένων
bull Αντιμετώπιση θορύβου
bull Αντικατάσταση ελλιπών τιμών
3Προ-επεξεργασία3Προ-επεξεργασία
Μελέτη θορύβου
bull 2 μοντέλα θορύβουndash Ύπαρξη θορύβου μόνο στις ιδιότητεςndash Ύπαρξη θορύβου και στις ιδιότητες και
στην εξαρτημένη μεταβλητή
bull Εκτίμηση απόκλισης τιμής ιδιότητας λόγω θορύβου
3Προ-επεξεργασία3Προ-επεξεργασία
piii zxx
Αποτελέσματα μελέτης θορύβου- 1ο μοντέλο
-2
-1
0
1
2
3
4
5
6
7
8
0 005 01 02 03 04 05
IB1 - Attribute IBk -K 9 - Attribute LinearRegression - Attribute M5Prime - Attribute NeuralNetwork - Attribute ZeroR - Attribute
Drop Page Fields Here
Average of Root mean squared error (diff)
Noise Level
Scheme
Noise Model
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα μελέτης θορύβου- 2ο μοντέλο
0
5
10
15
20
25
30
0 005 01 02 03 04 05
IB1 - AttributeClassVar IBk -K 9 - AttributeClassVar LinearRegression - AttributeClassVar
M5Prime - AttributeClassVar NeuralNetwork - AttributeClassVar ZeroR - AttributeClassVar
Drop Page Fields Here
Average of Root mean squared error (diff)
Noise Level
Scheme
Noise Model
3Προ-επεξεργασία3Προ-επεξεργασία
Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών
bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj
1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα
παραδείγματα που ανήκουν στην κλάση Υj
3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)
4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμών-RMSE
-012
-01
-008
-006
-004
-002
0
002
004
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Root mean squared error (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου
-25
-2
-15
-1
-05
0
05
1
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Time taken to build model (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Μείωση των διαστάσεων
bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Επιλογή των ιδιοτήτων57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
15
13
14
14
14
47
45
6
51
bull 2ν πιθανοί συνδυασμοί
bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Πως ορίζεται η ιδιότητα
bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό
μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης
του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Λόγοι επιλογής ιδιοτήτων
bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων
bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή
bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)
bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδοι Αντιμετώπισης
bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδος φιλτραρίσματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Υπολογισμός μέτρωνποιότητας των ιδιοτήτων
Επαύξηση ή μείωση των ιδιοτήτων
Είναι αποδεκτό τοαξιολογημένουποσύνολο
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Επιλογή νέου υποσυνόλουιδιοτήτων
Μέθοδοςφιλτραρίσματος
Γενετικός Αλγόριθμος
Μέθοδος περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Εκπαιδευμένο Μοντέλο
Σύνολοδεδομένων
Κατασκευή συνόλου δεδομένων
Αξιολογημένο Μοντέλο
Εκπαίδευση Αλγορίθμου
Αξιολόγηση Αλγορίθμου
Είναι αποδεκτό τοαξιολογημένο
μοντέλο
Επιλογή νέου υποσυνόλουιδιοτήτων
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Κ-κοντινότεροι γείτονες
Περιτύλιξη με Γενετικό Αλγόριθμο
bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων
bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου
ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων
ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας
γενετικούς τελεστές
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
11 22 33 4400
B1B1 B2B2 B3B3 B4B4 B5B5
Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων
Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με
κωδικό 104 (Γεωπονική) στις 5 μμ
000000 00110011 000000 1000010000 0001000010 0000000000 00
P = ΝΟ2 S = 104
F = αδιάφορο
H1 = 1700 O = 0
H2 = αδιάφορο
ΣημαίαΣυγκεντρωτικής ιδιότητας = 0
Επέλεξε τη μέση συγκέντρωση του
SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ
100100 01110111 000000 0001100011 1010010100 0001000010 11
P = ΝΟ2 S = 108
F = Μέση τιμή-Avg
H1 = 400 O = -2
H2 = 2100
ΣημαίαΣυγκεντρωτικής ιδιότητας = 1
Η Κωδικοποίηση του γενότυπου
Η συνάρτηση προσαρμογής
bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του
αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο
υποσύνολο ιδιοτήτων της λύσης
nA
iAb
nE
iEa
iAiEF
max
)(
max
)(1
))()((
a lt= 1 b lt= 1 a + b = 1
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Οι παράμετροι της συνάρτησης προσαρμογής a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE
bull et = Xt ndash Ft
bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής
bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
n
e
RMSE
n
tt
1
2
n
tt
n
ttt
X
Xe
WSE
1
2
1
2
Ρύθμιση του μεγέθους πληθυσμού
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Population Sizes
0
05
1
15
2
25
3
35
4
5 10 20 30 40 50 100
Population Size
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση συντελεστών a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Coefficient pairs
0
5
10
15
20
25
30
35
01 09 03 07 05 05 07 03 08 02 09 01 095 005
ab pairs
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage
0
05
1
15
2
25
3
35
10 30 40 50 60 70 80 90
Mutation rate ()
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers
0
05
1
15
2
25
3
35
4
1 2 3 4 5 8 10 15
Elite members
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeatures
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Η μέθοδος CFS
bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την
εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις
ιδιότητες του υποσυνόλου
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
)1( ii
cis
rkkk
rkG
Σύγκριση των δύο μεθόδων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
000
1000
2000
3000
4000
5000
6000
7000
8000
9000
ZeroR DecisionStump
DecisionTable
IB1 IB3 IB9 LinearRegression
M5Prime
GA Mean absolute error GA Root mean squared error
CFS Mean absolute error CFS Root mean squared error
Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης
bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης
ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART
bull Συνδυασμένος ταξινομητής
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το σύστημα ΠΛ ΝΕΜΟ (1)
Όμοιες περιπτώσεις
Επιλογέας κοντινών περιπτώσεων
Φίλτρο κοντινών περιπτώσεων
Προσαρμογέας κοντινών περιπτώσεων
Προβλέπτης λύσης
Προτεινόμενη λύση
ΝΕΜΟ
Βάση περιπτώσεων
Κοντινέςπεριπτώσεις
Βάση Γνώσης
Νέα περίπτωση
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία
αναστροφή
βροχόπτωση
άνεμος
NO στις 10 πμ
NO στις 9 πμ
NO στις 8 πμ
NO2 στις 10 πμ
NO2 στις 9 πμ
NO2 στις 8 πμ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Έξοδος
Το δέντρο απόφασης (1)NOat10
NOat10
NOat10
NOat10
Wind
NOat9
Rain
Inversion
NOat9
NO2at8 Wind
Radiation
1(26518)
1(235)
2(4412)
1(83) 2(104) 1(100)
2(101) 1(101)
2(10035)
3(5313)
4(80)
4(124)3(91)
lt=027 gt027
lt=021
gt067
gt021
lt=067
lt=04 gt04
lt=057 gt057
lt=066 gt066
lt=047 gt047
lt=021 gt021
=0 =1
lt=021 gt021 lt=08 gt08
lt=036 gt036
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το δέντρο απόφασης (2)
0
021
025
04 057
105 075
027
12
1 2 3
4
34
066
0
1
02
04
06
08
ΝΟ στις10πμ
Θερ
μο
κρα
σια
κή α
νασ
τρο
φή
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Ο συνδυασμένος ταξινομητής
bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (1)
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
134
38
522
122
93
8
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΝΕΜΟ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
Αποτελέσματα Πίνακες Σύγχυσης (2)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
40
4221
8 317
8
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΔΑ CART
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (3)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
42
8216
8 69
4 4
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΤΝΔ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (4)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
138
38
4124
122
13
2
6
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Στατιστικά για τους 4 αλγόριθμους
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
CART NeuralNet NEMO ML Ensemble
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Αξιολόγηση του αλγόριθμου
57 44 15 04 Iris-setosa
54 39 13 04 Iris-setosa
hellip hellip hellip hellip hellip
58 27 51 19 Iris-virginica
Σύνολο αξιολόγησης
Υrsquo = f(X) + ε
Αλγόριθμος
Μέτρα Απόδοσης Εκπαιδευμένου Μοντέλου
1Μηχανική Μάθηση1Μηχανική Μάθηση
Νέο παράδειγμα
Εφαρμογή του αλγόριθμου57 44 15 04
Iris-setosa
Υrsquo = f(X) + ε
Αλγόριθμος
Πρόβλεψη
1Μηχανική Μάθηση1Μηχανική Μάθηση
Εφαρμογές
bull Χρηματιστήριο
bull Βιομηχανία
bull Περιβάλλον
bull Βιοτεχνολογία Γενετική
bull Τραπεζικός Ασφαλιστικός τομέας
1Μηχανική Μάθηση1Μηχανική Μάθηση
Αλγόριθμοι
bull Είδη ΜηχΜάθησηςndash Υπό επίβλεψηndash Χωρίς επίβλεψη
bull Τύποι προβλημάτων υπό επίβλεψηndash Παλινδρόμησηςndash Ταξινόμησης
1Μηχανική Μάθηση1Μηχανική Μάθηση
Αλγόριθμοι
bull K-κοντινότεροι γείτονεςbull Παλινδρόμησηbull Τεχνητά Νευρωνικά Δίκτυαbull Περιπτωσιακός Λογισμόςbull Δέντρα Απόφασηςbull Δίκτυα Bayesbull Γενετικοί Αλγόριθμοι
1Μηχανική Μάθηση1Μηχανική Μάθηση
Κ-κοντινότεροι γείτονες
1Μηχανική Μάθηση1Μηχανική Μάθηση
R
Κ-κοντινότεροι γείτονες
bull Πλεονεκτήματαndash Απλή υλοποίησηndash Αποδεκτά αποτελέσματα σε μεγάλο πεδίο
εφαρμογώνndash Πολύχρονη εμπειρία χρήσης
bull Μειονεκτήματαndash Χρονοβόρος σε μεγάλα σύνολα δεδομένων
1Μηχανική Μάθηση1Μηχανική Μάθηση
Παλινδρόμηση
1Μηχανική Μάθηση1Μηχανική Μάθηση
Τεχνητά Νευρωνικά Δίκτυα
1Μηχανική Μάθηση1Μηχανική Μάθηση
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Είσοδος 3Είσοδος 1Είσοδος 2 Είσοδος 4
Είσοδος 5Είσοδος 6
Είσοδος 7
Είσοδος 8
Είσοδος 9
Είσοδος 10
Έξοδος
Τεχνητά Νευρωνικά Δίκτυα
bull Πλεονεκτήματαndash Ανοχή στον θόρυβοndash Ικανότητα γενίκευσης
bull Μειονεκτήματαndash Δυσνόητο μοντέλο (μαύρο κουτί)ndash Δυσανάλογος χρόνος εκπαίδευσης
1Μηχανική Μάθηση1Μηχανική Μάθηση
Περιπτωσιακός Λογισμός
1Μηχανική Μάθηση1Μηχανική Μάθηση
Νέα περίπτωση
Πρόβλημα
Παλαιά περίπτωσηΝέα
περίπτωση
Λυμένη περίπτωση
Δοκιμασμένη διορθωμένη
λύση
Διδαχθείσα περίπτωση
Ανάκληση περιπτώσεων
Επαναχρησιμοποίηση παλιών λύσεων
Προσαρμογή λύσης
Αιτιολόγηση λύσης
Γενική Γνώση
Παλαιά περίπτωσηΠαλαιά περίπτωσηΠαλαιά
περίπτωση
Παλαιές περιπτώσεις
Προτεινόμενη λύσηΕγκεκριμένη λύση
Δέντρα Απόφασης
1Μηχανική Μάθηση1Μηχανική Μάθηση
Δίκτυα Bayes
1Μηχανική Μάθηση1Μηχανική Μάθηση
Χ1 Χ2
Χ3
Χ4
Χ5
Υ
P(X1 X2 X3 X4 X5 Y) = P(X1)P(X2)P(X3|X1 X2)P(Y|X1 X2 X3)P(X4|Y) P(X5|X4 Y)
Γενετικοί Αλγόριθμοι
1Μηχανική Μάθηση1Μηχανική Μάθηση
Αρχικός πληθυσμός
Αξιολόγηση συνάρτησης
προσαρμογής
Επιλογή
Διασταύρωση
Μετάλλαξη
Γέννηση νέου πληθυσμού
Επιτεύχθηκαν τα κριτήρια
βελτιστοποίησης
Εξαγωγή λύσης
Ναι
Όχι
Περιβαλλοντική Πληροφορική
bull Θέματαndash Ολοκληρωμένες πλατφόρμες αξιολόγησης και μελέτες
περιπτώσεωνndash Ανάλυση περιβαλλοντικών συστημάτωνndash Πρόβλεψη περιβαλλοντικών αλλαγώνndash Παρακολούθηση του περιβάλλοντος σε πραγματικό χρόνοndash Πιστοποίηση ποιότητας περιβαλλοντικών μοντέλωνndash Εφαρμογές μοντελοποίησης με agents και εξομοίωσης σε
περιβαλλοντικά συστήματα
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Περιβαλλοντική Πληροφορική
bull Πεδία Εφαρμογήςndash Ποιότητα Αέραndash Ποιότητα Εδάφουςndash Ποιότητα Υδάτωνndash Διαχείριση Αποβλήτων
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Αέρια Ρύπανση
bull Παρακολούθηση και πρόβλεψη των επιβλαβών ρύπωνndash Ο3
ndash ΝΟx
ndash PM10 Σωματίδιαndash Καπνός
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Τα προβλήματα του ΠΕΡΠΑ
bull Πρόβλεψη της μέγιστης συγκέντρωσης για τους ρύπουςndash ΝΟ2
ndash Ο3
bull Για τις χρονικές περιόδουςndash Ίδια ημέρα μετά τις 10 πμndash Επόμενη ημέρα
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Π1Π2 Πρόβλεψη την ίδια ημέρα
0
50
100
150
200
250
300
350
400
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
Hour
pp
b
0
20
40
60
80
100
120
140
pp
b
NO2 NO SO2 CO O3
ΠρόβλεψηΣυλλογή δεδομένων
O3 m
ax
NO
2 max
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Π3Π4 Πρόβλεψη για την επόμενη ημέρα
0
100
200
300
400
500
600
700
800
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
Hour
pp
b
0
5
10
15
20
25
30
35
40
pp
b
NO2 NO SO2 CO O3
ΠρόβλεψηΣυλλογή δεδομένων
O3 m
axNO
2 max
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Προ-επεξεργασία των δεδομένων
bull Αντιμετώπιση θορύβου
bull Αντικατάσταση ελλιπών τιμών
3Προ-επεξεργασία3Προ-επεξεργασία
Μελέτη θορύβου
bull 2 μοντέλα θορύβουndash Ύπαρξη θορύβου μόνο στις ιδιότητεςndash Ύπαρξη θορύβου και στις ιδιότητες και
στην εξαρτημένη μεταβλητή
bull Εκτίμηση απόκλισης τιμής ιδιότητας λόγω θορύβου
3Προ-επεξεργασία3Προ-επεξεργασία
piii zxx
Αποτελέσματα μελέτης θορύβου- 1ο μοντέλο
-2
-1
0
1
2
3
4
5
6
7
8
0 005 01 02 03 04 05
IB1 - Attribute IBk -K 9 - Attribute LinearRegression - Attribute M5Prime - Attribute NeuralNetwork - Attribute ZeroR - Attribute
Drop Page Fields Here
Average of Root mean squared error (diff)
Noise Level
Scheme
Noise Model
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα μελέτης θορύβου- 2ο μοντέλο
0
5
10
15
20
25
30
0 005 01 02 03 04 05
IB1 - AttributeClassVar IBk -K 9 - AttributeClassVar LinearRegression - AttributeClassVar
M5Prime - AttributeClassVar NeuralNetwork - AttributeClassVar ZeroR - AttributeClassVar
Drop Page Fields Here
Average of Root mean squared error (diff)
Noise Level
Scheme
Noise Model
3Προ-επεξεργασία3Προ-επεξεργασία
Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών
bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj
1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα
παραδείγματα που ανήκουν στην κλάση Υj
3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)
4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμών-RMSE
-012
-01
-008
-006
-004
-002
0
002
004
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Root mean squared error (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου
-25
-2
-15
-1
-05
0
05
1
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Time taken to build model (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Μείωση των διαστάσεων
bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Επιλογή των ιδιοτήτων57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
15
13
14
14
14
47
45
6
51
bull 2ν πιθανοί συνδυασμοί
bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Πως ορίζεται η ιδιότητα
bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό
μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης
του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Λόγοι επιλογής ιδιοτήτων
bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων
bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή
bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)
bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδοι Αντιμετώπισης
bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδος φιλτραρίσματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Υπολογισμός μέτρωνποιότητας των ιδιοτήτων
Επαύξηση ή μείωση των ιδιοτήτων
Είναι αποδεκτό τοαξιολογημένουποσύνολο
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Επιλογή νέου υποσυνόλουιδιοτήτων
Μέθοδοςφιλτραρίσματος
Γενετικός Αλγόριθμος
Μέθοδος περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Εκπαιδευμένο Μοντέλο
Σύνολοδεδομένων
Κατασκευή συνόλου δεδομένων
Αξιολογημένο Μοντέλο
Εκπαίδευση Αλγορίθμου
Αξιολόγηση Αλγορίθμου
Είναι αποδεκτό τοαξιολογημένο
μοντέλο
Επιλογή νέου υποσυνόλουιδιοτήτων
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Κ-κοντινότεροι γείτονες
Περιτύλιξη με Γενετικό Αλγόριθμο
bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων
bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου
ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων
ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας
γενετικούς τελεστές
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
11 22 33 4400
B1B1 B2B2 B3B3 B4B4 B5B5
Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων
Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με
κωδικό 104 (Γεωπονική) στις 5 μμ
000000 00110011 000000 1000010000 0001000010 0000000000 00
P = ΝΟ2 S = 104
F = αδιάφορο
H1 = 1700 O = 0
H2 = αδιάφορο
ΣημαίαΣυγκεντρωτικής ιδιότητας = 0
Επέλεξε τη μέση συγκέντρωση του
SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ
100100 01110111 000000 0001100011 1010010100 0001000010 11
P = ΝΟ2 S = 108
F = Μέση τιμή-Avg
H1 = 400 O = -2
H2 = 2100
ΣημαίαΣυγκεντρωτικής ιδιότητας = 1
Η Κωδικοποίηση του γενότυπου
Η συνάρτηση προσαρμογής
bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του
αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο
υποσύνολο ιδιοτήτων της λύσης
nA
iAb
nE
iEa
iAiEF
max
)(
max
)(1
))()((
a lt= 1 b lt= 1 a + b = 1
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Οι παράμετροι της συνάρτησης προσαρμογής a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE
bull et = Xt ndash Ft
bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής
bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
n
e
RMSE
n
tt
1
2
n
tt
n
ttt
X
Xe
WSE
1
2
1
2
Ρύθμιση του μεγέθους πληθυσμού
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Population Sizes
0
05
1
15
2
25
3
35
4
5 10 20 30 40 50 100
Population Size
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση συντελεστών a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Coefficient pairs
0
5
10
15
20
25
30
35
01 09 03 07 05 05 07 03 08 02 09 01 095 005
ab pairs
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage
0
05
1
15
2
25
3
35
10 30 40 50 60 70 80 90
Mutation rate ()
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers
0
05
1
15
2
25
3
35
4
1 2 3 4 5 8 10 15
Elite members
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeatures
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Η μέθοδος CFS
bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την
εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις
ιδιότητες του υποσυνόλου
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
)1( ii
cis
rkkk
rkG
Σύγκριση των δύο μεθόδων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
000
1000
2000
3000
4000
5000
6000
7000
8000
9000
ZeroR DecisionStump
DecisionTable
IB1 IB3 IB9 LinearRegression
M5Prime
GA Mean absolute error GA Root mean squared error
CFS Mean absolute error CFS Root mean squared error
Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης
bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης
ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART
bull Συνδυασμένος ταξινομητής
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το σύστημα ΠΛ ΝΕΜΟ (1)
Όμοιες περιπτώσεις
Επιλογέας κοντινών περιπτώσεων
Φίλτρο κοντινών περιπτώσεων
Προσαρμογέας κοντινών περιπτώσεων
Προβλέπτης λύσης
Προτεινόμενη λύση
ΝΕΜΟ
Βάση περιπτώσεων
Κοντινέςπεριπτώσεις
Βάση Γνώσης
Νέα περίπτωση
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία
αναστροφή
βροχόπτωση
άνεμος
NO στις 10 πμ
NO στις 9 πμ
NO στις 8 πμ
NO2 στις 10 πμ
NO2 στις 9 πμ
NO2 στις 8 πμ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Έξοδος
Το δέντρο απόφασης (1)NOat10
NOat10
NOat10
NOat10
Wind
NOat9
Rain
Inversion
NOat9
NO2at8 Wind
Radiation
1(26518)
1(235)
2(4412)
1(83) 2(104) 1(100)
2(101) 1(101)
2(10035)
3(5313)
4(80)
4(124)3(91)
lt=027 gt027
lt=021
gt067
gt021
lt=067
lt=04 gt04
lt=057 gt057
lt=066 gt066
lt=047 gt047
lt=021 gt021
=0 =1
lt=021 gt021 lt=08 gt08
lt=036 gt036
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το δέντρο απόφασης (2)
0
021
025
04 057
105 075
027
12
1 2 3
4
34
066
0
1
02
04
06
08
ΝΟ στις10πμ
Θερ
μο
κρα
σια
κή α
νασ
τρο
φή
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Ο συνδυασμένος ταξινομητής
bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (1)
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
134
38
522
122
93
8
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΝΕΜΟ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
Αποτελέσματα Πίνακες Σύγχυσης (2)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
40
4221
8 317
8
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΔΑ CART
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (3)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
42
8216
8 69
4 4
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΤΝΔ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (4)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
138
38
4124
122
13
2
6
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Στατιστικά για τους 4 αλγόριθμους
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
CART NeuralNet NEMO ML Ensemble
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Νέο παράδειγμα
Εφαρμογή του αλγόριθμου57 44 15 04
Iris-setosa
Υrsquo = f(X) + ε
Αλγόριθμος
Πρόβλεψη
1Μηχανική Μάθηση1Μηχανική Μάθηση
Εφαρμογές
bull Χρηματιστήριο
bull Βιομηχανία
bull Περιβάλλον
bull Βιοτεχνολογία Γενετική
bull Τραπεζικός Ασφαλιστικός τομέας
1Μηχανική Μάθηση1Μηχανική Μάθηση
Αλγόριθμοι
bull Είδη ΜηχΜάθησηςndash Υπό επίβλεψηndash Χωρίς επίβλεψη
bull Τύποι προβλημάτων υπό επίβλεψηndash Παλινδρόμησηςndash Ταξινόμησης
1Μηχανική Μάθηση1Μηχανική Μάθηση
Αλγόριθμοι
bull K-κοντινότεροι γείτονεςbull Παλινδρόμησηbull Τεχνητά Νευρωνικά Δίκτυαbull Περιπτωσιακός Λογισμόςbull Δέντρα Απόφασηςbull Δίκτυα Bayesbull Γενετικοί Αλγόριθμοι
1Μηχανική Μάθηση1Μηχανική Μάθηση
Κ-κοντινότεροι γείτονες
1Μηχανική Μάθηση1Μηχανική Μάθηση
R
Κ-κοντινότεροι γείτονες
bull Πλεονεκτήματαndash Απλή υλοποίησηndash Αποδεκτά αποτελέσματα σε μεγάλο πεδίο
εφαρμογώνndash Πολύχρονη εμπειρία χρήσης
bull Μειονεκτήματαndash Χρονοβόρος σε μεγάλα σύνολα δεδομένων
1Μηχανική Μάθηση1Μηχανική Μάθηση
Παλινδρόμηση
1Μηχανική Μάθηση1Μηχανική Μάθηση
Τεχνητά Νευρωνικά Δίκτυα
1Μηχανική Μάθηση1Μηχανική Μάθηση
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Είσοδος 3Είσοδος 1Είσοδος 2 Είσοδος 4
Είσοδος 5Είσοδος 6
Είσοδος 7
Είσοδος 8
Είσοδος 9
Είσοδος 10
Έξοδος
Τεχνητά Νευρωνικά Δίκτυα
bull Πλεονεκτήματαndash Ανοχή στον θόρυβοndash Ικανότητα γενίκευσης
bull Μειονεκτήματαndash Δυσνόητο μοντέλο (μαύρο κουτί)ndash Δυσανάλογος χρόνος εκπαίδευσης
1Μηχανική Μάθηση1Μηχανική Μάθηση
Περιπτωσιακός Λογισμός
1Μηχανική Μάθηση1Μηχανική Μάθηση
Νέα περίπτωση
Πρόβλημα
Παλαιά περίπτωσηΝέα
περίπτωση
Λυμένη περίπτωση
Δοκιμασμένη διορθωμένη
λύση
Διδαχθείσα περίπτωση
Ανάκληση περιπτώσεων
Επαναχρησιμοποίηση παλιών λύσεων
Προσαρμογή λύσης
Αιτιολόγηση λύσης
Γενική Γνώση
Παλαιά περίπτωσηΠαλαιά περίπτωσηΠαλαιά
περίπτωση
Παλαιές περιπτώσεις
Προτεινόμενη λύσηΕγκεκριμένη λύση
Δέντρα Απόφασης
1Μηχανική Μάθηση1Μηχανική Μάθηση
Δίκτυα Bayes
1Μηχανική Μάθηση1Μηχανική Μάθηση
Χ1 Χ2
Χ3
Χ4
Χ5
Υ
P(X1 X2 X3 X4 X5 Y) = P(X1)P(X2)P(X3|X1 X2)P(Y|X1 X2 X3)P(X4|Y) P(X5|X4 Y)
Γενετικοί Αλγόριθμοι
1Μηχανική Μάθηση1Μηχανική Μάθηση
Αρχικός πληθυσμός
Αξιολόγηση συνάρτησης
προσαρμογής
Επιλογή
Διασταύρωση
Μετάλλαξη
Γέννηση νέου πληθυσμού
Επιτεύχθηκαν τα κριτήρια
βελτιστοποίησης
Εξαγωγή λύσης
Ναι
Όχι
Περιβαλλοντική Πληροφορική
bull Θέματαndash Ολοκληρωμένες πλατφόρμες αξιολόγησης και μελέτες
περιπτώσεωνndash Ανάλυση περιβαλλοντικών συστημάτωνndash Πρόβλεψη περιβαλλοντικών αλλαγώνndash Παρακολούθηση του περιβάλλοντος σε πραγματικό χρόνοndash Πιστοποίηση ποιότητας περιβαλλοντικών μοντέλωνndash Εφαρμογές μοντελοποίησης με agents και εξομοίωσης σε
περιβαλλοντικά συστήματα
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Περιβαλλοντική Πληροφορική
bull Πεδία Εφαρμογήςndash Ποιότητα Αέραndash Ποιότητα Εδάφουςndash Ποιότητα Υδάτωνndash Διαχείριση Αποβλήτων
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Αέρια Ρύπανση
bull Παρακολούθηση και πρόβλεψη των επιβλαβών ρύπωνndash Ο3
ndash ΝΟx
ndash PM10 Σωματίδιαndash Καπνός
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Τα προβλήματα του ΠΕΡΠΑ
bull Πρόβλεψη της μέγιστης συγκέντρωσης για τους ρύπουςndash ΝΟ2
ndash Ο3
bull Για τις χρονικές περιόδουςndash Ίδια ημέρα μετά τις 10 πμndash Επόμενη ημέρα
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Π1Π2 Πρόβλεψη την ίδια ημέρα
0
50
100
150
200
250
300
350
400
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
Hour
pp
b
0
20
40
60
80
100
120
140
pp
b
NO2 NO SO2 CO O3
ΠρόβλεψηΣυλλογή δεδομένων
O3 m
ax
NO
2 max
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Π3Π4 Πρόβλεψη για την επόμενη ημέρα
0
100
200
300
400
500
600
700
800
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
Hour
pp
b
0
5
10
15
20
25
30
35
40
pp
b
NO2 NO SO2 CO O3
ΠρόβλεψηΣυλλογή δεδομένων
O3 m
axNO
2 max
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Προ-επεξεργασία των δεδομένων
bull Αντιμετώπιση θορύβου
bull Αντικατάσταση ελλιπών τιμών
3Προ-επεξεργασία3Προ-επεξεργασία
Μελέτη θορύβου
bull 2 μοντέλα θορύβουndash Ύπαρξη θορύβου μόνο στις ιδιότητεςndash Ύπαρξη θορύβου και στις ιδιότητες και
στην εξαρτημένη μεταβλητή
bull Εκτίμηση απόκλισης τιμής ιδιότητας λόγω θορύβου
3Προ-επεξεργασία3Προ-επεξεργασία
piii zxx
Αποτελέσματα μελέτης θορύβου- 1ο μοντέλο
-2
-1
0
1
2
3
4
5
6
7
8
0 005 01 02 03 04 05
IB1 - Attribute IBk -K 9 - Attribute LinearRegression - Attribute M5Prime - Attribute NeuralNetwork - Attribute ZeroR - Attribute
Drop Page Fields Here
Average of Root mean squared error (diff)
Noise Level
Scheme
Noise Model
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα μελέτης θορύβου- 2ο μοντέλο
0
5
10
15
20
25
30
0 005 01 02 03 04 05
IB1 - AttributeClassVar IBk -K 9 - AttributeClassVar LinearRegression - AttributeClassVar
M5Prime - AttributeClassVar NeuralNetwork - AttributeClassVar ZeroR - AttributeClassVar
Drop Page Fields Here
Average of Root mean squared error (diff)
Noise Level
Scheme
Noise Model
3Προ-επεξεργασία3Προ-επεξεργασία
Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών
bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj
1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα
παραδείγματα που ανήκουν στην κλάση Υj
3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)
4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμών-RMSE
-012
-01
-008
-006
-004
-002
0
002
004
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Root mean squared error (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου
-25
-2
-15
-1
-05
0
05
1
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Time taken to build model (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Μείωση των διαστάσεων
bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Επιλογή των ιδιοτήτων57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
15
13
14
14
14
47
45
6
51
bull 2ν πιθανοί συνδυασμοί
bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Πως ορίζεται η ιδιότητα
bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό
μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης
του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Λόγοι επιλογής ιδιοτήτων
bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων
bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή
bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)
bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδοι Αντιμετώπισης
bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδος φιλτραρίσματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Υπολογισμός μέτρωνποιότητας των ιδιοτήτων
Επαύξηση ή μείωση των ιδιοτήτων
Είναι αποδεκτό τοαξιολογημένουποσύνολο
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Επιλογή νέου υποσυνόλουιδιοτήτων
Μέθοδοςφιλτραρίσματος
Γενετικός Αλγόριθμος
Μέθοδος περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Εκπαιδευμένο Μοντέλο
Σύνολοδεδομένων
Κατασκευή συνόλου δεδομένων
Αξιολογημένο Μοντέλο
Εκπαίδευση Αλγορίθμου
Αξιολόγηση Αλγορίθμου
Είναι αποδεκτό τοαξιολογημένο
μοντέλο
Επιλογή νέου υποσυνόλουιδιοτήτων
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Κ-κοντινότεροι γείτονες
Περιτύλιξη με Γενετικό Αλγόριθμο
bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων
bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου
ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων
ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας
γενετικούς τελεστές
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
11 22 33 4400
B1B1 B2B2 B3B3 B4B4 B5B5
Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων
Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με
κωδικό 104 (Γεωπονική) στις 5 μμ
000000 00110011 000000 1000010000 0001000010 0000000000 00
P = ΝΟ2 S = 104
F = αδιάφορο
H1 = 1700 O = 0
H2 = αδιάφορο
ΣημαίαΣυγκεντρωτικής ιδιότητας = 0
Επέλεξε τη μέση συγκέντρωση του
SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ
100100 01110111 000000 0001100011 1010010100 0001000010 11
P = ΝΟ2 S = 108
F = Μέση τιμή-Avg
H1 = 400 O = -2
H2 = 2100
ΣημαίαΣυγκεντρωτικής ιδιότητας = 1
Η Κωδικοποίηση του γενότυπου
Η συνάρτηση προσαρμογής
bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του
αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο
υποσύνολο ιδιοτήτων της λύσης
nA
iAb
nE
iEa
iAiEF
max
)(
max
)(1
))()((
a lt= 1 b lt= 1 a + b = 1
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Οι παράμετροι της συνάρτησης προσαρμογής a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE
bull et = Xt ndash Ft
bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής
bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
n
e
RMSE
n
tt
1
2
n
tt
n
ttt
X
Xe
WSE
1
2
1
2
Ρύθμιση του μεγέθους πληθυσμού
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Population Sizes
0
05
1
15
2
25
3
35
4
5 10 20 30 40 50 100
Population Size
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση συντελεστών a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Coefficient pairs
0
5
10
15
20
25
30
35
01 09 03 07 05 05 07 03 08 02 09 01 095 005
ab pairs
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage
0
05
1
15
2
25
3
35
10 30 40 50 60 70 80 90
Mutation rate ()
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers
0
05
1
15
2
25
3
35
4
1 2 3 4 5 8 10 15
Elite members
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeatures
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Η μέθοδος CFS
bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την
εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις
ιδιότητες του υποσυνόλου
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
)1( ii
cis
rkkk
rkG
Σύγκριση των δύο μεθόδων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
000
1000
2000
3000
4000
5000
6000
7000
8000
9000
ZeroR DecisionStump
DecisionTable
IB1 IB3 IB9 LinearRegression
M5Prime
GA Mean absolute error GA Root mean squared error
CFS Mean absolute error CFS Root mean squared error
Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης
bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης
ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART
bull Συνδυασμένος ταξινομητής
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το σύστημα ΠΛ ΝΕΜΟ (1)
Όμοιες περιπτώσεις
Επιλογέας κοντινών περιπτώσεων
Φίλτρο κοντινών περιπτώσεων
Προσαρμογέας κοντινών περιπτώσεων
Προβλέπτης λύσης
Προτεινόμενη λύση
ΝΕΜΟ
Βάση περιπτώσεων
Κοντινέςπεριπτώσεις
Βάση Γνώσης
Νέα περίπτωση
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία
αναστροφή
βροχόπτωση
άνεμος
NO στις 10 πμ
NO στις 9 πμ
NO στις 8 πμ
NO2 στις 10 πμ
NO2 στις 9 πμ
NO2 στις 8 πμ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Έξοδος
Το δέντρο απόφασης (1)NOat10
NOat10
NOat10
NOat10
Wind
NOat9
Rain
Inversion
NOat9
NO2at8 Wind
Radiation
1(26518)
1(235)
2(4412)
1(83) 2(104) 1(100)
2(101) 1(101)
2(10035)
3(5313)
4(80)
4(124)3(91)
lt=027 gt027
lt=021
gt067
gt021
lt=067
lt=04 gt04
lt=057 gt057
lt=066 gt066
lt=047 gt047
lt=021 gt021
=0 =1
lt=021 gt021 lt=08 gt08
lt=036 gt036
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το δέντρο απόφασης (2)
0
021
025
04 057
105 075
027
12
1 2 3
4
34
066
0
1
02
04
06
08
ΝΟ στις10πμ
Θερ
μο
κρα
σια
κή α
νασ
τρο
φή
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Ο συνδυασμένος ταξινομητής
bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (1)
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
134
38
522
122
93
8
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΝΕΜΟ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
Αποτελέσματα Πίνακες Σύγχυσης (2)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
40
4221
8 317
8
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΔΑ CART
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (3)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
42
8216
8 69
4 4
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΤΝΔ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (4)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
138
38
4124
122
13
2
6
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Στατιστικά για τους 4 αλγόριθμους
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
CART NeuralNet NEMO ML Ensemble
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Εφαρμογές
bull Χρηματιστήριο
bull Βιομηχανία
bull Περιβάλλον
bull Βιοτεχνολογία Γενετική
bull Τραπεζικός Ασφαλιστικός τομέας
1Μηχανική Μάθηση1Μηχανική Μάθηση
Αλγόριθμοι
bull Είδη ΜηχΜάθησηςndash Υπό επίβλεψηndash Χωρίς επίβλεψη
bull Τύποι προβλημάτων υπό επίβλεψηndash Παλινδρόμησηςndash Ταξινόμησης
1Μηχανική Μάθηση1Μηχανική Μάθηση
Αλγόριθμοι
bull K-κοντινότεροι γείτονεςbull Παλινδρόμησηbull Τεχνητά Νευρωνικά Δίκτυαbull Περιπτωσιακός Λογισμόςbull Δέντρα Απόφασηςbull Δίκτυα Bayesbull Γενετικοί Αλγόριθμοι
1Μηχανική Μάθηση1Μηχανική Μάθηση
Κ-κοντινότεροι γείτονες
1Μηχανική Μάθηση1Μηχανική Μάθηση
R
Κ-κοντινότεροι γείτονες
bull Πλεονεκτήματαndash Απλή υλοποίησηndash Αποδεκτά αποτελέσματα σε μεγάλο πεδίο
εφαρμογώνndash Πολύχρονη εμπειρία χρήσης
bull Μειονεκτήματαndash Χρονοβόρος σε μεγάλα σύνολα δεδομένων
1Μηχανική Μάθηση1Μηχανική Μάθηση
Παλινδρόμηση
1Μηχανική Μάθηση1Μηχανική Μάθηση
Τεχνητά Νευρωνικά Δίκτυα
1Μηχανική Μάθηση1Μηχανική Μάθηση
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Είσοδος 3Είσοδος 1Είσοδος 2 Είσοδος 4
Είσοδος 5Είσοδος 6
Είσοδος 7
Είσοδος 8
Είσοδος 9
Είσοδος 10
Έξοδος
Τεχνητά Νευρωνικά Δίκτυα
bull Πλεονεκτήματαndash Ανοχή στον θόρυβοndash Ικανότητα γενίκευσης
bull Μειονεκτήματαndash Δυσνόητο μοντέλο (μαύρο κουτί)ndash Δυσανάλογος χρόνος εκπαίδευσης
1Μηχανική Μάθηση1Μηχανική Μάθηση
Περιπτωσιακός Λογισμός
1Μηχανική Μάθηση1Μηχανική Μάθηση
Νέα περίπτωση
Πρόβλημα
Παλαιά περίπτωσηΝέα
περίπτωση
Λυμένη περίπτωση
Δοκιμασμένη διορθωμένη
λύση
Διδαχθείσα περίπτωση
Ανάκληση περιπτώσεων
Επαναχρησιμοποίηση παλιών λύσεων
Προσαρμογή λύσης
Αιτιολόγηση λύσης
Γενική Γνώση
Παλαιά περίπτωσηΠαλαιά περίπτωσηΠαλαιά
περίπτωση
Παλαιές περιπτώσεις
Προτεινόμενη λύσηΕγκεκριμένη λύση
Δέντρα Απόφασης
1Μηχανική Μάθηση1Μηχανική Μάθηση
Δίκτυα Bayes
1Μηχανική Μάθηση1Μηχανική Μάθηση
Χ1 Χ2
Χ3
Χ4
Χ5
Υ
P(X1 X2 X3 X4 X5 Y) = P(X1)P(X2)P(X3|X1 X2)P(Y|X1 X2 X3)P(X4|Y) P(X5|X4 Y)
Γενετικοί Αλγόριθμοι
1Μηχανική Μάθηση1Μηχανική Μάθηση
Αρχικός πληθυσμός
Αξιολόγηση συνάρτησης
προσαρμογής
Επιλογή
Διασταύρωση
Μετάλλαξη
Γέννηση νέου πληθυσμού
Επιτεύχθηκαν τα κριτήρια
βελτιστοποίησης
Εξαγωγή λύσης
Ναι
Όχι
Περιβαλλοντική Πληροφορική
bull Θέματαndash Ολοκληρωμένες πλατφόρμες αξιολόγησης και μελέτες
περιπτώσεωνndash Ανάλυση περιβαλλοντικών συστημάτωνndash Πρόβλεψη περιβαλλοντικών αλλαγώνndash Παρακολούθηση του περιβάλλοντος σε πραγματικό χρόνοndash Πιστοποίηση ποιότητας περιβαλλοντικών μοντέλωνndash Εφαρμογές μοντελοποίησης με agents και εξομοίωσης σε
περιβαλλοντικά συστήματα
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Περιβαλλοντική Πληροφορική
bull Πεδία Εφαρμογήςndash Ποιότητα Αέραndash Ποιότητα Εδάφουςndash Ποιότητα Υδάτωνndash Διαχείριση Αποβλήτων
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Αέρια Ρύπανση
bull Παρακολούθηση και πρόβλεψη των επιβλαβών ρύπωνndash Ο3
ndash ΝΟx
ndash PM10 Σωματίδιαndash Καπνός
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Τα προβλήματα του ΠΕΡΠΑ
bull Πρόβλεψη της μέγιστης συγκέντρωσης για τους ρύπουςndash ΝΟ2
ndash Ο3
bull Για τις χρονικές περιόδουςndash Ίδια ημέρα μετά τις 10 πμndash Επόμενη ημέρα
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Π1Π2 Πρόβλεψη την ίδια ημέρα
0
50
100
150
200
250
300
350
400
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
Hour
pp
b
0
20
40
60
80
100
120
140
pp
b
NO2 NO SO2 CO O3
ΠρόβλεψηΣυλλογή δεδομένων
O3 m
ax
NO
2 max
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Π3Π4 Πρόβλεψη για την επόμενη ημέρα
0
100
200
300
400
500
600
700
800
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
Hour
pp
b
0
5
10
15
20
25
30
35
40
pp
b
NO2 NO SO2 CO O3
ΠρόβλεψηΣυλλογή δεδομένων
O3 m
axNO
2 max
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Προ-επεξεργασία των δεδομένων
bull Αντιμετώπιση θορύβου
bull Αντικατάσταση ελλιπών τιμών
3Προ-επεξεργασία3Προ-επεξεργασία
Μελέτη θορύβου
bull 2 μοντέλα θορύβουndash Ύπαρξη θορύβου μόνο στις ιδιότητεςndash Ύπαρξη θορύβου και στις ιδιότητες και
στην εξαρτημένη μεταβλητή
bull Εκτίμηση απόκλισης τιμής ιδιότητας λόγω θορύβου
3Προ-επεξεργασία3Προ-επεξεργασία
piii zxx
Αποτελέσματα μελέτης θορύβου- 1ο μοντέλο
-2
-1
0
1
2
3
4
5
6
7
8
0 005 01 02 03 04 05
IB1 - Attribute IBk -K 9 - Attribute LinearRegression - Attribute M5Prime - Attribute NeuralNetwork - Attribute ZeroR - Attribute
Drop Page Fields Here
Average of Root mean squared error (diff)
Noise Level
Scheme
Noise Model
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα μελέτης θορύβου- 2ο μοντέλο
0
5
10
15
20
25
30
0 005 01 02 03 04 05
IB1 - AttributeClassVar IBk -K 9 - AttributeClassVar LinearRegression - AttributeClassVar
M5Prime - AttributeClassVar NeuralNetwork - AttributeClassVar ZeroR - AttributeClassVar
Drop Page Fields Here
Average of Root mean squared error (diff)
Noise Level
Scheme
Noise Model
3Προ-επεξεργασία3Προ-επεξεργασία
Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών
bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj
1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα
παραδείγματα που ανήκουν στην κλάση Υj
3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)
4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμών-RMSE
-012
-01
-008
-006
-004
-002
0
002
004
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Root mean squared error (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου
-25
-2
-15
-1
-05
0
05
1
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Time taken to build model (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Μείωση των διαστάσεων
bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Επιλογή των ιδιοτήτων57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
15
13
14
14
14
47
45
6
51
bull 2ν πιθανοί συνδυασμοί
bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Πως ορίζεται η ιδιότητα
bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό
μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης
του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Λόγοι επιλογής ιδιοτήτων
bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων
bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή
bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)
bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδοι Αντιμετώπισης
bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδος φιλτραρίσματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Υπολογισμός μέτρωνποιότητας των ιδιοτήτων
Επαύξηση ή μείωση των ιδιοτήτων
Είναι αποδεκτό τοαξιολογημένουποσύνολο
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Επιλογή νέου υποσυνόλουιδιοτήτων
Μέθοδοςφιλτραρίσματος
Γενετικός Αλγόριθμος
Μέθοδος περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Εκπαιδευμένο Μοντέλο
Σύνολοδεδομένων
Κατασκευή συνόλου δεδομένων
Αξιολογημένο Μοντέλο
Εκπαίδευση Αλγορίθμου
Αξιολόγηση Αλγορίθμου
Είναι αποδεκτό τοαξιολογημένο
μοντέλο
Επιλογή νέου υποσυνόλουιδιοτήτων
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Κ-κοντινότεροι γείτονες
Περιτύλιξη με Γενετικό Αλγόριθμο
bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων
bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου
ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων
ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας
γενετικούς τελεστές
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
11 22 33 4400
B1B1 B2B2 B3B3 B4B4 B5B5
Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων
Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με
κωδικό 104 (Γεωπονική) στις 5 μμ
000000 00110011 000000 1000010000 0001000010 0000000000 00
P = ΝΟ2 S = 104
F = αδιάφορο
H1 = 1700 O = 0
H2 = αδιάφορο
ΣημαίαΣυγκεντρωτικής ιδιότητας = 0
Επέλεξε τη μέση συγκέντρωση του
SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ
100100 01110111 000000 0001100011 1010010100 0001000010 11
P = ΝΟ2 S = 108
F = Μέση τιμή-Avg
H1 = 400 O = -2
H2 = 2100
ΣημαίαΣυγκεντρωτικής ιδιότητας = 1
Η Κωδικοποίηση του γενότυπου
Η συνάρτηση προσαρμογής
bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του
αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο
υποσύνολο ιδιοτήτων της λύσης
nA
iAb
nE
iEa
iAiEF
max
)(
max
)(1
))()((
a lt= 1 b lt= 1 a + b = 1
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Οι παράμετροι της συνάρτησης προσαρμογής a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE
bull et = Xt ndash Ft
bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής
bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
n
e
RMSE
n
tt
1
2
n
tt
n
ttt
X
Xe
WSE
1
2
1
2
Ρύθμιση του μεγέθους πληθυσμού
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Population Sizes
0
05
1
15
2
25
3
35
4
5 10 20 30 40 50 100
Population Size
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση συντελεστών a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Coefficient pairs
0
5
10
15
20
25
30
35
01 09 03 07 05 05 07 03 08 02 09 01 095 005
ab pairs
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage
0
05
1
15
2
25
3
35
10 30 40 50 60 70 80 90
Mutation rate ()
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers
0
05
1
15
2
25
3
35
4
1 2 3 4 5 8 10 15
Elite members
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeatures
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Η μέθοδος CFS
bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την
εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις
ιδιότητες του υποσυνόλου
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
)1( ii
cis
rkkk
rkG
Σύγκριση των δύο μεθόδων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
000
1000
2000
3000
4000
5000
6000
7000
8000
9000
ZeroR DecisionStump
DecisionTable
IB1 IB3 IB9 LinearRegression
M5Prime
GA Mean absolute error GA Root mean squared error
CFS Mean absolute error CFS Root mean squared error
Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης
bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης
ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART
bull Συνδυασμένος ταξινομητής
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το σύστημα ΠΛ ΝΕΜΟ (1)
Όμοιες περιπτώσεις
Επιλογέας κοντινών περιπτώσεων
Φίλτρο κοντινών περιπτώσεων
Προσαρμογέας κοντινών περιπτώσεων
Προβλέπτης λύσης
Προτεινόμενη λύση
ΝΕΜΟ
Βάση περιπτώσεων
Κοντινέςπεριπτώσεις
Βάση Γνώσης
Νέα περίπτωση
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία
αναστροφή
βροχόπτωση
άνεμος
NO στις 10 πμ
NO στις 9 πμ
NO στις 8 πμ
NO2 στις 10 πμ
NO2 στις 9 πμ
NO2 στις 8 πμ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Έξοδος
Το δέντρο απόφασης (1)NOat10
NOat10
NOat10
NOat10
Wind
NOat9
Rain
Inversion
NOat9
NO2at8 Wind
Radiation
1(26518)
1(235)
2(4412)
1(83) 2(104) 1(100)
2(101) 1(101)
2(10035)
3(5313)
4(80)
4(124)3(91)
lt=027 gt027
lt=021
gt067
gt021
lt=067
lt=04 gt04
lt=057 gt057
lt=066 gt066
lt=047 gt047
lt=021 gt021
=0 =1
lt=021 gt021 lt=08 gt08
lt=036 gt036
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το δέντρο απόφασης (2)
0
021
025
04 057
105 075
027
12
1 2 3
4
34
066
0
1
02
04
06
08
ΝΟ στις10πμ
Θερ
μο
κρα
σια
κή α
νασ
τρο
φή
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Ο συνδυασμένος ταξινομητής
bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (1)
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
134
38
522
122
93
8
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΝΕΜΟ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
Αποτελέσματα Πίνακες Σύγχυσης (2)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
40
4221
8 317
8
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΔΑ CART
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (3)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
42
8216
8 69
4 4
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΤΝΔ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (4)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
138
38
4124
122
13
2
6
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Στατιστικά για τους 4 αλγόριθμους
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
CART NeuralNet NEMO ML Ensemble
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Αλγόριθμοι
bull Είδη ΜηχΜάθησηςndash Υπό επίβλεψηndash Χωρίς επίβλεψη
bull Τύποι προβλημάτων υπό επίβλεψηndash Παλινδρόμησηςndash Ταξινόμησης
1Μηχανική Μάθηση1Μηχανική Μάθηση
Αλγόριθμοι
bull K-κοντινότεροι γείτονεςbull Παλινδρόμησηbull Τεχνητά Νευρωνικά Δίκτυαbull Περιπτωσιακός Λογισμόςbull Δέντρα Απόφασηςbull Δίκτυα Bayesbull Γενετικοί Αλγόριθμοι
1Μηχανική Μάθηση1Μηχανική Μάθηση
Κ-κοντινότεροι γείτονες
1Μηχανική Μάθηση1Μηχανική Μάθηση
R
Κ-κοντινότεροι γείτονες
bull Πλεονεκτήματαndash Απλή υλοποίησηndash Αποδεκτά αποτελέσματα σε μεγάλο πεδίο
εφαρμογώνndash Πολύχρονη εμπειρία χρήσης
bull Μειονεκτήματαndash Χρονοβόρος σε μεγάλα σύνολα δεδομένων
1Μηχανική Μάθηση1Μηχανική Μάθηση
Παλινδρόμηση
1Μηχανική Μάθηση1Μηχανική Μάθηση
Τεχνητά Νευρωνικά Δίκτυα
1Μηχανική Μάθηση1Μηχανική Μάθηση
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Είσοδος 3Είσοδος 1Είσοδος 2 Είσοδος 4
Είσοδος 5Είσοδος 6
Είσοδος 7
Είσοδος 8
Είσοδος 9
Είσοδος 10
Έξοδος
Τεχνητά Νευρωνικά Δίκτυα
bull Πλεονεκτήματαndash Ανοχή στον θόρυβοndash Ικανότητα γενίκευσης
bull Μειονεκτήματαndash Δυσνόητο μοντέλο (μαύρο κουτί)ndash Δυσανάλογος χρόνος εκπαίδευσης
1Μηχανική Μάθηση1Μηχανική Μάθηση
Περιπτωσιακός Λογισμός
1Μηχανική Μάθηση1Μηχανική Μάθηση
Νέα περίπτωση
Πρόβλημα
Παλαιά περίπτωσηΝέα
περίπτωση
Λυμένη περίπτωση
Δοκιμασμένη διορθωμένη
λύση
Διδαχθείσα περίπτωση
Ανάκληση περιπτώσεων
Επαναχρησιμοποίηση παλιών λύσεων
Προσαρμογή λύσης
Αιτιολόγηση λύσης
Γενική Γνώση
Παλαιά περίπτωσηΠαλαιά περίπτωσηΠαλαιά
περίπτωση
Παλαιές περιπτώσεις
Προτεινόμενη λύσηΕγκεκριμένη λύση
Δέντρα Απόφασης
1Μηχανική Μάθηση1Μηχανική Μάθηση
Δίκτυα Bayes
1Μηχανική Μάθηση1Μηχανική Μάθηση
Χ1 Χ2
Χ3
Χ4
Χ5
Υ
P(X1 X2 X3 X4 X5 Y) = P(X1)P(X2)P(X3|X1 X2)P(Y|X1 X2 X3)P(X4|Y) P(X5|X4 Y)
Γενετικοί Αλγόριθμοι
1Μηχανική Μάθηση1Μηχανική Μάθηση
Αρχικός πληθυσμός
Αξιολόγηση συνάρτησης
προσαρμογής
Επιλογή
Διασταύρωση
Μετάλλαξη
Γέννηση νέου πληθυσμού
Επιτεύχθηκαν τα κριτήρια
βελτιστοποίησης
Εξαγωγή λύσης
Ναι
Όχι
Περιβαλλοντική Πληροφορική
bull Θέματαndash Ολοκληρωμένες πλατφόρμες αξιολόγησης και μελέτες
περιπτώσεωνndash Ανάλυση περιβαλλοντικών συστημάτωνndash Πρόβλεψη περιβαλλοντικών αλλαγώνndash Παρακολούθηση του περιβάλλοντος σε πραγματικό χρόνοndash Πιστοποίηση ποιότητας περιβαλλοντικών μοντέλωνndash Εφαρμογές μοντελοποίησης με agents και εξομοίωσης σε
περιβαλλοντικά συστήματα
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Περιβαλλοντική Πληροφορική
bull Πεδία Εφαρμογήςndash Ποιότητα Αέραndash Ποιότητα Εδάφουςndash Ποιότητα Υδάτωνndash Διαχείριση Αποβλήτων
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Αέρια Ρύπανση
bull Παρακολούθηση και πρόβλεψη των επιβλαβών ρύπωνndash Ο3
ndash ΝΟx
ndash PM10 Σωματίδιαndash Καπνός
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Τα προβλήματα του ΠΕΡΠΑ
bull Πρόβλεψη της μέγιστης συγκέντρωσης για τους ρύπουςndash ΝΟ2
ndash Ο3
bull Για τις χρονικές περιόδουςndash Ίδια ημέρα μετά τις 10 πμndash Επόμενη ημέρα
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Π1Π2 Πρόβλεψη την ίδια ημέρα
0
50
100
150
200
250
300
350
400
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
Hour
pp
b
0
20
40
60
80
100
120
140
pp
b
NO2 NO SO2 CO O3
ΠρόβλεψηΣυλλογή δεδομένων
O3 m
ax
NO
2 max
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Π3Π4 Πρόβλεψη για την επόμενη ημέρα
0
100
200
300
400
500
600
700
800
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
Hour
pp
b
0
5
10
15
20
25
30
35
40
pp
b
NO2 NO SO2 CO O3
ΠρόβλεψηΣυλλογή δεδομένων
O3 m
axNO
2 max
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Προ-επεξεργασία των δεδομένων
bull Αντιμετώπιση θορύβου
bull Αντικατάσταση ελλιπών τιμών
3Προ-επεξεργασία3Προ-επεξεργασία
Μελέτη θορύβου
bull 2 μοντέλα θορύβουndash Ύπαρξη θορύβου μόνο στις ιδιότητεςndash Ύπαρξη θορύβου και στις ιδιότητες και
στην εξαρτημένη μεταβλητή
bull Εκτίμηση απόκλισης τιμής ιδιότητας λόγω θορύβου
3Προ-επεξεργασία3Προ-επεξεργασία
piii zxx
Αποτελέσματα μελέτης θορύβου- 1ο μοντέλο
-2
-1
0
1
2
3
4
5
6
7
8
0 005 01 02 03 04 05
IB1 - Attribute IBk -K 9 - Attribute LinearRegression - Attribute M5Prime - Attribute NeuralNetwork - Attribute ZeroR - Attribute
Drop Page Fields Here
Average of Root mean squared error (diff)
Noise Level
Scheme
Noise Model
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα μελέτης θορύβου- 2ο μοντέλο
0
5
10
15
20
25
30
0 005 01 02 03 04 05
IB1 - AttributeClassVar IBk -K 9 - AttributeClassVar LinearRegression - AttributeClassVar
M5Prime - AttributeClassVar NeuralNetwork - AttributeClassVar ZeroR - AttributeClassVar
Drop Page Fields Here
Average of Root mean squared error (diff)
Noise Level
Scheme
Noise Model
3Προ-επεξεργασία3Προ-επεξεργασία
Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών
bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj
1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα
παραδείγματα που ανήκουν στην κλάση Υj
3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)
4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμών-RMSE
-012
-01
-008
-006
-004
-002
0
002
004
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Root mean squared error (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου
-25
-2
-15
-1
-05
0
05
1
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Time taken to build model (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Μείωση των διαστάσεων
bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Επιλογή των ιδιοτήτων57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
15
13
14
14
14
47
45
6
51
bull 2ν πιθανοί συνδυασμοί
bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Πως ορίζεται η ιδιότητα
bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό
μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης
του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Λόγοι επιλογής ιδιοτήτων
bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων
bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή
bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)
bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδοι Αντιμετώπισης
bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδος φιλτραρίσματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Υπολογισμός μέτρωνποιότητας των ιδιοτήτων
Επαύξηση ή μείωση των ιδιοτήτων
Είναι αποδεκτό τοαξιολογημένουποσύνολο
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Επιλογή νέου υποσυνόλουιδιοτήτων
Μέθοδοςφιλτραρίσματος
Γενετικός Αλγόριθμος
Μέθοδος περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Εκπαιδευμένο Μοντέλο
Σύνολοδεδομένων
Κατασκευή συνόλου δεδομένων
Αξιολογημένο Μοντέλο
Εκπαίδευση Αλγορίθμου
Αξιολόγηση Αλγορίθμου
Είναι αποδεκτό τοαξιολογημένο
μοντέλο
Επιλογή νέου υποσυνόλουιδιοτήτων
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Κ-κοντινότεροι γείτονες
Περιτύλιξη με Γενετικό Αλγόριθμο
bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων
bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου
ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων
ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας
γενετικούς τελεστές
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
11 22 33 4400
B1B1 B2B2 B3B3 B4B4 B5B5
Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων
Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με
κωδικό 104 (Γεωπονική) στις 5 μμ
000000 00110011 000000 1000010000 0001000010 0000000000 00
P = ΝΟ2 S = 104
F = αδιάφορο
H1 = 1700 O = 0
H2 = αδιάφορο
ΣημαίαΣυγκεντρωτικής ιδιότητας = 0
Επέλεξε τη μέση συγκέντρωση του
SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ
100100 01110111 000000 0001100011 1010010100 0001000010 11
P = ΝΟ2 S = 108
F = Μέση τιμή-Avg
H1 = 400 O = -2
H2 = 2100
ΣημαίαΣυγκεντρωτικής ιδιότητας = 1
Η Κωδικοποίηση του γενότυπου
Η συνάρτηση προσαρμογής
bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του
αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο
υποσύνολο ιδιοτήτων της λύσης
nA
iAb
nE
iEa
iAiEF
max
)(
max
)(1
))()((
a lt= 1 b lt= 1 a + b = 1
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Οι παράμετροι της συνάρτησης προσαρμογής a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE
bull et = Xt ndash Ft
bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής
bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
n
e
RMSE
n
tt
1
2
n
tt
n
ttt
X
Xe
WSE
1
2
1
2
Ρύθμιση του μεγέθους πληθυσμού
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Population Sizes
0
05
1
15
2
25
3
35
4
5 10 20 30 40 50 100
Population Size
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση συντελεστών a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Coefficient pairs
0
5
10
15
20
25
30
35
01 09 03 07 05 05 07 03 08 02 09 01 095 005
ab pairs
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage
0
05
1
15
2
25
3
35
10 30 40 50 60 70 80 90
Mutation rate ()
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers
0
05
1
15
2
25
3
35
4
1 2 3 4 5 8 10 15
Elite members
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeatures
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Η μέθοδος CFS
bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την
εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις
ιδιότητες του υποσυνόλου
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
)1( ii
cis
rkkk
rkG
Σύγκριση των δύο μεθόδων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
000
1000
2000
3000
4000
5000
6000
7000
8000
9000
ZeroR DecisionStump
DecisionTable
IB1 IB3 IB9 LinearRegression
M5Prime
GA Mean absolute error GA Root mean squared error
CFS Mean absolute error CFS Root mean squared error
Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης
bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης
ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART
bull Συνδυασμένος ταξινομητής
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το σύστημα ΠΛ ΝΕΜΟ (1)
Όμοιες περιπτώσεις
Επιλογέας κοντινών περιπτώσεων
Φίλτρο κοντινών περιπτώσεων
Προσαρμογέας κοντινών περιπτώσεων
Προβλέπτης λύσης
Προτεινόμενη λύση
ΝΕΜΟ
Βάση περιπτώσεων
Κοντινέςπεριπτώσεις
Βάση Γνώσης
Νέα περίπτωση
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία
αναστροφή
βροχόπτωση
άνεμος
NO στις 10 πμ
NO στις 9 πμ
NO στις 8 πμ
NO2 στις 10 πμ
NO2 στις 9 πμ
NO2 στις 8 πμ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Έξοδος
Το δέντρο απόφασης (1)NOat10
NOat10
NOat10
NOat10
Wind
NOat9
Rain
Inversion
NOat9
NO2at8 Wind
Radiation
1(26518)
1(235)
2(4412)
1(83) 2(104) 1(100)
2(101) 1(101)
2(10035)
3(5313)
4(80)
4(124)3(91)
lt=027 gt027
lt=021
gt067
gt021
lt=067
lt=04 gt04
lt=057 gt057
lt=066 gt066
lt=047 gt047
lt=021 gt021
=0 =1
lt=021 gt021 lt=08 gt08
lt=036 gt036
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το δέντρο απόφασης (2)
0
021
025
04 057
105 075
027
12
1 2 3
4
34
066
0
1
02
04
06
08
ΝΟ στις10πμ
Θερ
μο
κρα
σια
κή α
νασ
τρο
φή
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Ο συνδυασμένος ταξινομητής
bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (1)
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
134
38
522
122
93
8
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΝΕΜΟ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
Αποτελέσματα Πίνακες Σύγχυσης (2)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
40
4221
8 317
8
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΔΑ CART
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (3)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
42
8216
8 69
4 4
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΤΝΔ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (4)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
138
38
4124
122
13
2
6
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Στατιστικά για τους 4 αλγόριθμους
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
CART NeuralNet NEMO ML Ensemble
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Αλγόριθμοι
bull K-κοντινότεροι γείτονεςbull Παλινδρόμησηbull Τεχνητά Νευρωνικά Δίκτυαbull Περιπτωσιακός Λογισμόςbull Δέντρα Απόφασηςbull Δίκτυα Bayesbull Γενετικοί Αλγόριθμοι
1Μηχανική Μάθηση1Μηχανική Μάθηση
Κ-κοντινότεροι γείτονες
1Μηχανική Μάθηση1Μηχανική Μάθηση
R
Κ-κοντινότεροι γείτονες
bull Πλεονεκτήματαndash Απλή υλοποίησηndash Αποδεκτά αποτελέσματα σε μεγάλο πεδίο
εφαρμογώνndash Πολύχρονη εμπειρία χρήσης
bull Μειονεκτήματαndash Χρονοβόρος σε μεγάλα σύνολα δεδομένων
1Μηχανική Μάθηση1Μηχανική Μάθηση
Παλινδρόμηση
1Μηχανική Μάθηση1Μηχανική Μάθηση
Τεχνητά Νευρωνικά Δίκτυα
1Μηχανική Μάθηση1Μηχανική Μάθηση
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Είσοδος 3Είσοδος 1Είσοδος 2 Είσοδος 4
Είσοδος 5Είσοδος 6
Είσοδος 7
Είσοδος 8
Είσοδος 9
Είσοδος 10
Έξοδος
Τεχνητά Νευρωνικά Δίκτυα
bull Πλεονεκτήματαndash Ανοχή στον θόρυβοndash Ικανότητα γενίκευσης
bull Μειονεκτήματαndash Δυσνόητο μοντέλο (μαύρο κουτί)ndash Δυσανάλογος χρόνος εκπαίδευσης
1Μηχανική Μάθηση1Μηχανική Μάθηση
Περιπτωσιακός Λογισμός
1Μηχανική Μάθηση1Μηχανική Μάθηση
Νέα περίπτωση
Πρόβλημα
Παλαιά περίπτωσηΝέα
περίπτωση
Λυμένη περίπτωση
Δοκιμασμένη διορθωμένη
λύση
Διδαχθείσα περίπτωση
Ανάκληση περιπτώσεων
Επαναχρησιμοποίηση παλιών λύσεων
Προσαρμογή λύσης
Αιτιολόγηση λύσης
Γενική Γνώση
Παλαιά περίπτωσηΠαλαιά περίπτωσηΠαλαιά
περίπτωση
Παλαιές περιπτώσεις
Προτεινόμενη λύσηΕγκεκριμένη λύση
Δέντρα Απόφασης
1Μηχανική Μάθηση1Μηχανική Μάθηση
Δίκτυα Bayes
1Μηχανική Μάθηση1Μηχανική Μάθηση
Χ1 Χ2
Χ3
Χ4
Χ5
Υ
P(X1 X2 X3 X4 X5 Y) = P(X1)P(X2)P(X3|X1 X2)P(Y|X1 X2 X3)P(X4|Y) P(X5|X4 Y)
Γενετικοί Αλγόριθμοι
1Μηχανική Μάθηση1Μηχανική Μάθηση
Αρχικός πληθυσμός
Αξιολόγηση συνάρτησης
προσαρμογής
Επιλογή
Διασταύρωση
Μετάλλαξη
Γέννηση νέου πληθυσμού
Επιτεύχθηκαν τα κριτήρια
βελτιστοποίησης
Εξαγωγή λύσης
Ναι
Όχι
Περιβαλλοντική Πληροφορική
bull Θέματαndash Ολοκληρωμένες πλατφόρμες αξιολόγησης και μελέτες
περιπτώσεωνndash Ανάλυση περιβαλλοντικών συστημάτωνndash Πρόβλεψη περιβαλλοντικών αλλαγώνndash Παρακολούθηση του περιβάλλοντος σε πραγματικό χρόνοndash Πιστοποίηση ποιότητας περιβαλλοντικών μοντέλωνndash Εφαρμογές μοντελοποίησης με agents και εξομοίωσης σε
περιβαλλοντικά συστήματα
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Περιβαλλοντική Πληροφορική
bull Πεδία Εφαρμογήςndash Ποιότητα Αέραndash Ποιότητα Εδάφουςndash Ποιότητα Υδάτωνndash Διαχείριση Αποβλήτων
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Αέρια Ρύπανση
bull Παρακολούθηση και πρόβλεψη των επιβλαβών ρύπωνndash Ο3
ndash ΝΟx
ndash PM10 Σωματίδιαndash Καπνός
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Τα προβλήματα του ΠΕΡΠΑ
bull Πρόβλεψη της μέγιστης συγκέντρωσης για τους ρύπουςndash ΝΟ2
ndash Ο3
bull Για τις χρονικές περιόδουςndash Ίδια ημέρα μετά τις 10 πμndash Επόμενη ημέρα
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Π1Π2 Πρόβλεψη την ίδια ημέρα
0
50
100
150
200
250
300
350
400
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
Hour
pp
b
0
20
40
60
80
100
120
140
pp
b
NO2 NO SO2 CO O3
ΠρόβλεψηΣυλλογή δεδομένων
O3 m
ax
NO
2 max
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Π3Π4 Πρόβλεψη για την επόμενη ημέρα
0
100
200
300
400
500
600
700
800
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
Hour
pp
b
0
5
10
15
20
25
30
35
40
pp
b
NO2 NO SO2 CO O3
ΠρόβλεψηΣυλλογή δεδομένων
O3 m
axNO
2 max
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Προ-επεξεργασία των δεδομένων
bull Αντιμετώπιση θορύβου
bull Αντικατάσταση ελλιπών τιμών
3Προ-επεξεργασία3Προ-επεξεργασία
Μελέτη θορύβου
bull 2 μοντέλα θορύβουndash Ύπαρξη θορύβου μόνο στις ιδιότητεςndash Ύπαρξη θορύβου και στις ιδιότητες και
στην εξαρτημένη μεταβλητή
bull Εκτίμηση απόκλισης τιμής ιδιότητας λόγω θορύβου
3Προ-επεξεργασία3Προ-επεξεργασία
piii zxx
Αποτελέσματα μελέτης θορύβου- 1ο μοντέλο
-2
-1
0
1
2
3
4
5
6
7
8
0 005 01 02 03 04 05
IB1 - Attribute IBk -K 9 - Attribute LinearRegression - Attribute M5Prime - Attribute NeuralNetwork - Attribute ZeroR - Attribute
Drop Page Fields Here
Average of Root mean squared error (diff)
Noise Level
Scheme
Noise Model
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα μελέτης θορύβου- 2ο μοντέλο
0
5
10
15
20
25
30
0 005 01 02 03 04 05
IB1 - AttributeClassVar IBk -K 9 - AttributeClassVar LinearRegression - AttributeClassVar
M5Prime - AttributeClassVar NeuralNetwork - AttributeClassVar ZeroR - AttributeClassVar
Drop Page Fields Here
Average of Root mean squared error (diff)
Noise Level
Scheme
Noise Model
3Προ-επεξεργασία3Προ-επεξεργασία
Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών
bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj
1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα
παραδείγματα που ανήκουν στην κλάση Υj
3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)
4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμών-RMSE
-012
-01
-008
-006
-004
-002
0
002
004
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Root mean squared error (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου
-25
-2
-15
-1
-05
0
05
1
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Time taken to build model (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Μείωση των διαστάσεων
bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Επιλογή των ιδιοτήτων57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
15
13
14
14
14
47
45
6
51
bull 2ν πιθανοί συνδυασμοί
bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Πως ορίζεται η ιδιότητα
bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό
μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης
του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Λόγοι επιλογής ιδιοτήτων
bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων
bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή
bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)
bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδοι Αντιμετώπισης
bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδος φιλτραρίσματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Υπολογισμός μέτρωνποιότητας των ιδιοτήτων
Επαύξηση ή μείωση των ιδιοτήτων
Είναι αποδεκτό τοαξιολογημένουποσύνολο
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Επιλογή νέου υποσυνόλουιδιοτήτων
Μέθοδοςφιλτραρίσματος
Γενετικός Αλγόριθμος
Μέθοδος περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Εκπαιδευμένο Μοντέλο
Σύνολοδεδομένων
Κατασκευή συνόλου δεδομένων
Αξιολογημένο Μοντέλο
Εκπαίδευση Αλγορίθμου
Αξιολόγηση Αλγορίθμου
Είναι αποδεκτό τοαξιολογημένο
μοντέλο
Επιλογή νέου υποσυνόλουιδιοτήτων
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Κ-κοντινότεροι γείτονες
Περιτύλιξη με Γενετικό Αλγόριθμο
bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων
bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου
ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων
ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας
γενετικούς τελεστές
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
11 22 33 4400
B1B1 B2B2 B3B3 B4B4 B5B5
Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων
Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με
κωδικό 104 (Γεωπονική) στις 5 μμ
000000 00110011 000000 1000010000 0001000010 0000000000 00
P = ΝΟ2 S = 104
F = αδιάφορο
H1 = 1700 O = 0
H2 = αδιάφορο
ΣημαίαΣυγκεντρωτικής ιδιότητας = 0
Επέλεξε τη μέση συγκέντρωση του
SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ
100100 01110111 000000 0001100011 1010010100 0001000010 11
P = ΝΟ2 S = 108
F = Μέση τιμή-Avg
H1 = 400 O = -2
H2 = 2100
ΣημαίαΣυγκεντρωτικής ιδιότητας = 1
Η Κωδικοποίηση του γενότυπου
Η συνάρτηση προσαρμογής
bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του
αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο
υποσύνολο ιδιοτήτων της λύσης
nA
iAb
nE
iEa
iAiEF
max
)(
max
)(1
))()((
a lt= 1 b lt= 1 a + b = 1
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Οι παράμετροι της συνάρτησης προσαρμογής a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE
bull et = Xt ndash Ft
bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής
bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
n
e
RMSE
n
tt
1
2
n
tt
n
ttt
X
Xe
WSE
1
2
1
2
Ρύθμιση του μεγέθους πληθυσμού
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Population Sizes
0
05
1
15
2
25
3
35
4
5 10 20 30 40 50 100
Population Size
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση συντελεστών a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Coefficient pairs
0
5
10
15
20
25
30
35
01 09 03 07 05 05 07 03 08 02 09 01 095 005
ab pairs
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage
0
05
1
15
2
25
3
35
10 30 40 50 60 70 80 90
Mutation rate ()
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers
0
05
1
15
2
25
3
35
4
1 2 3 4 5 8 10 15
Elite members
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeatures
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Η μέθοδος CFS
bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την
εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις
ιδιότητες του υποσυνόλου
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
)1( ii
cis
rkkk
rkG
Σύγκριση των δύο μεθόδων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
000
1000
2000
3000
4000
5000
6000
7000
8000
9000
ZeroR DecisionStump
DecisionTable
IB1 IB3 IB9 LinearRegression
M5Prime
GA Mean absolute error GA Root mean squared error
CFS Mean absolute error CFS Root mean squared error
Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης
bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης
ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART
bull Συνδυασμένος ταξινομητής
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το σύστημα ΠΛ ΝΕΜΟ (1)
Όμοιες περιπτώσεις
Επιλογέας κοντινών περιπτώσεων
Φίλτρο κοντινών περιπτώσεων
Προσαρμογέας κοντινών περιπτώσεων
Προβλέπτης λύσης
Προτεινόμενη λύση
ΝΕΜΟ
Βάση περιπτώσεων
Κοντινέςπεριπτώσεις
Βάση Γνώσης
Νέα περίπτωση
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία
αναστροφή
βροχόπτωση
άνεμος
NO στις 10 πμ
NO στις 9 πμ
NO στις 8 πμ
NO2 στις 10 πμ
NO2 στις 9 πμ
NO2 στις 8 πμ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Έξοδος
Το δέντρο απόφασης (1)NOat10
NOat10
NOat10
NOat10
Wind
NOat9
Rain
Inversion
NOat9
NO2at8 Wind
Radiation
1(26518)
1(235)
2(4412)
1(83) 2(104) 1(100)
2(101) 1(101)
2(10035)
3(5313)
4(80)
4(124)3(91)
lt=027 gt027
lt=021
gt067
gt021
lt=067
lt=04 gt04
lt=057 gt057
lt=066 gt066
lt=047 gt047
lt=021 gt021
=0 =1
lt=021 gt021 lt=08 gt08
lt=036 gt036
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το δέντρο απόφασης (2)
0
021
025
04 057
105 075
027
12
1 2 3
4
34
066
0
1
02
04
06
08
ΝΟ στις10πμ
Θερ
μο
κρα
σια
κή α
νασ
τρο
φή
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Ο συνδυασμένος ταξινομητής
bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (1)
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
134
38
522
122
93
8
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΝΕΜΟ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
Αποτελέσματα Πίνακες Σύγχυσης (2)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
40
4221
8 317
8
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΔΑ CART
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (3)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
42
8216
8 69
4 4
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΤΝΔ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (4)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
138
38
4124
122
13
2
6
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Στατιστικά για τους 4 αλγόριθμους
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
CART NeuralNet NEMO ML Ensemble
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Κ-κοντινότεροι γείτονες
1Μηχανική Μάθηση1Μηχανική Μάθηση
R
Κ-κοντινότεροι γείτονες
bull Πλεονεκτήματαndash Απλή υλοποίησηndash Αποδεκτά αποτελέσματα σε μεγάλο πεδίο
εφαρμογώνndash Πολύχρονη εμπειρία χρήσης
bull Μειονεκτήματαndash Χρονοβόρος σε μεγάλα σύνολα δεδομένων
1Μηχανική Μάθηση1Μηχανική Μάθηση
Παλινδρόμηση
1Μηχανική Μάθηση1Μηχανική Μάθηση
Τεχνητά Νευρωνικά Δίκτυα
1Μηχανική Μάθηση1Μηχανική Μάθηση
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Είσοδος 3Είσοδος 1Είσοδος 2 Είσοδος 4
Είσοδος 5Είσοδος 6
Είσοδος 7
Είσοδος 8
Είσοδος 9
Είσοδος 10
Έξοδος
Τεχνητά Νευρωνικά Δίκτυα
bull Πλεονεκτήματαndash Ανοχή στον θόρυβοndash Ικανότητα γενίκευσης
bull Μειονεκτήματαndash Δυσνόητο μοντέλο (μαύρο κουτί)ndash Δυσανάλογος χρόνος εκπαίδευσης
1Μηχανική Μάθηση1Μηχανική Μάθηση
Περιπτωσιακός Λογισμός
1Μηχανική Μάθηση1Μηχανική Μάθηση
Νέα περίπτωση
Πρόβλημα
Παλαιά περίπτωσηΝέα
περίπτωση
Λυμένη περίπτωση
Δοκιμασμένη διορθωμένη
λύση
Διδαχθείσα περίπτωση
Ανάκληση περιπτώσεων
Επαναχρησιμοποίηση παλιών λύσεων
Προσαρμογή λύσης
Αιτιολόγηση λύσης
Γενική Γνώση
Παλαιά περίπτωσηΠαλαιά περίπτωσηΠαλαιά
περίπτωση
Παλαιές περιπτώσεις
Προτεινόμενη λύσηΕγκεκριμένη λύση
Δέντρα Απόφασης
1Μηχανική Μάθηση1Μηχανική Μάθηση
Δίκτυα Bayes
1Μηχανική Μάθηση1Μηχανική Μάθηση
Χ1 Χ2
Χ3
Χ4
Χ5
Υ
P(X1 X2 X3 X4 X5 Y) = P(X1)P(X2)P(X3|X1 X2)P(Y|X1 X2 X3)P(X4|Y) P(X5|X4 Y)
Γενετικοί Αλγόριθμοι
1Μηχανική Μάθηση1Μηχανική Μάθηση
Αρχικός πληθυσμός
Αξιολόγηση συνάρτησης
προσαρμογής
Επιλογή
Διασταύρωση
Μετάλλαξη
Γέννηση νέου πληθυσμού
Επιτεύχθηκαν τα κριτήρια
βελτιστοποίησης
Εξαγωγή λύσης
Ναι
Όχι
Περιβαλλοντική Πληροφορική
bull Θέματαndash Ολοκληρωμένες πλατφόρμες αξιολόγησης και μελέτες
περιπτώσεωνndash Ανάλυση περιβαλλοντικών συστημάτωνndash Πρόβλεψη περιβαλλοντικών αλλαγώνndash Παρακολούθηση του περιβάλλοντος σε πραγματικό χρόνοndash Πιστοποίηση ποιότητας περιβαλλοντικών μοντέλωνndash Εφαρμογές μοντελοποίησης με agents και εξομοίωσης σε
περιβαλλοντικά συστήματα
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Περιβαλλοντική Πληροφορική
bull Πεδία Εφαρμογήςndash Ποιότητα Αέραndash Ποιότητα Εδάφουςndash Ποιότητα Υδάτωνndash Διαχείριση Αποβλήτων
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Αέρια Ρύπανση
bull Παρακολούθηση και πρόβλεψη των επιβλαβών ρύπωνndash Ο3
ndash ΝΟx
ndash PM10 Σωματίδιαndash Καπνός
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Τα προβλήματα του ΠΕΡΠΑ
bull Πρόβλεψη της μέγιστης συγκέντρωσης για τους ρύπουςndash ΝΟ2
ndash Ο3
bull Για τις χρονικές περιόδουςndash Ίδια ημέρα μετά τις 10 πμndash Επόμενη ημέρα
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Π1Π2 Πρόβλεψη την ίδια ημέρα
0
50
100
150
200
250
300
350
400
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
Hour
pp
b
0
20
40
60
80
100
120
140
pp
b
NO2 NO SO2 CO O3
ΠρόβλεψηΣυλλογή δεδομένων
O3 m
ax
NO
2 max
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Π3Π4 Πρόβλεψη για την επόμενη ημέρα
0
100
200
300
400
500
600
700
800
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
Hour
pp
b
0
5
10
15
20
25
30
35
40
pp
b
NO2 NO SO2 CO O3
ΠρόβλεψηΣυλλογή δεδομένων
O3 m
axNO
2 max
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Προ-επεξεργασία των δεδομένων
bull Αντιμετώπιση θορύβου
bull Αντικατάσταση ελλιπών τιμών
3Προ-επεξεργασία3Προ-επεξεργασία
Μελέτη θορύβου
bull 2 μοντέλα θορύβουndash Ύπαρξη θορύβου μόνο στις ιδιότητεςndash Ύπαρξη θορύβου και στις ιδιότητες και
στην εξαρτημένη μεταβλητή
bull Εκτίμηση απόκλισης τιμής ιδιότητας λόγω θορύβου
3Προ-επεξεργασία3Προ-επεξεργασία
piii zxx
Αποτελέσματα μελέτης θορύβου- 1ο μοντέλο
-2
-1
0
1
2
3
4
5
6
7
8
0 005 01 02 03 04 05
IB1 - Attribute IBk -K 9 - Attribute LinearRegression - Attribute M5Prime - Attribute NeuralNetwork - Attribute ZeroR - Attribute
Drop Page Fields Here
Average of Root mean squared error (diff)
Noise Level
Scheme
Noise Model
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα μελέτης θορύβου- 2ο μοντέλο
0
5
10
15
20
25
30
0 005 01 02 03 04 05
IB1 - AttributeClassVar IBk -K 9 - AttributeClassVar LinearRegression - AttributeClassVar
M5Prime - AttributeClassVar NeuralNetwork - AttributeClassVar ZeroR - AttributeClassVar
Drop Page Fields Here
Average of Root mean squared error (diff)
Noise Level
Scheme
Noise Model
3Προ-επεξεργασία3Προ-επεξεργασία
Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών
bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj
1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα
παραδείγματα που ανήκουν στην κλάση Υj
3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)
4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμών-RMSE
-012
-01
-008
-006
-004
-002
0
002
004
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Root mean squared error (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου
-25
-2
-15
-1
-05
0
05
1
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Time taken to build model (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Μείωση των διαστάσεων
bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Επιλογή των ιδιοτήτων57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
15
13
14
14
14
47
45
6
51
bull 2ν πιθανοί συνδυασμοί
bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Πως ορίζεται η ιδιότητα
bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό
μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης
του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Λόγοι επιλογής ιδιοτήτων
bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων
bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή
bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)
bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδοι Αντιμετώπισης
bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδος φιλτραρίσματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Υπολογισμός μέτρωνποιότητας των ιδιοτήτων
Επαύξηση ή μείωση των ιδιοτήτων
Είναι αποδεκτό τοαξιολογημένουποσύνολο
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Επιλογή νέου υποσυνόλουιδιοτήτων
Μέθοδοςφιλτραρίσματος
Γενετικός Αλγόριθμος
Μέθοδος περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Εκπαιδευμένο Μοντέλο
Σύνολοδεδομένων
Κατασκευή συνόλου δεδομένων
Αξιολογημένο Μοντέλο
Εκπαίδευση Αλγορίθμου
Αξιολόγηση Αλγορίθμου
Είναι αποδεκτό τοαξιολογημένο
μοντέλο
Επιλογή νέου υποσυνόλουιδιοτήτων
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Κ-κοντινότεροι γείτονες
Περιτύλιξη με Γενετικό Αλγόριθμο
bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων
bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου
ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων
ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας
γενετικούς τελεστές
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
11 22 33 4400
B1B1 B2B2 B3B3 B4B4 B5B5
Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων
Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με
κωδικό 104 (Γεωπονική) στις 5 μμ
000000 00110011 000000 1000010000 0001000010 0000000000 00
P = ΝΟ2 S = 104
F = αδιάφορο
H1 = 1700 O = 0
H2 = αδιάφορο
ΣημαίαΣυγκεντρωτικής ιδιότητας = 0
Επέλεξε τη μέση συγκέντρωση του
SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ
100100 01110111 000000 0001100011 1010010100 0001000010 11
P = ΝΟ2 S = 108
F = Μέση τιμή-Avg
H1 = 400 O = -2
H2 = 2100
ΣημαίαΣυγκεντρωτικής ιδιότητας = 1
Η Κωδικοποίηση του γενότυπου
Η συνάρτηση προσαρμογής
bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του
αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο
υποσύνολο ιδιοτήτων της λύσης
nA
iAb
nE
iEa
iAiEF
max
)(
max
)(1
))()((
a lt= 1 b lt= 1 a + b = 1
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Οι παράμετροι της συνάρτησης προσαρμογής a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE
bull et = Xt ndash Ft
bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής
bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
n
e
RMSE
n
tt
1
2
n
tt
n
ttt
X
Xe
WSE
1
2
1
2
Ρύθμιση του μεγέθους πληθυσμού
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Population Sizes
0
05
1
15
2
25
3
35
4
5 10 20 30 40 50 100
Population Size
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση συντελεστών a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Coefficient pairs
0
5
10
15
20
25
30
35
01 09 03 07 05 05 07 03 08 02 09 01 095 005
ab pairs
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage
0
05
1
15
2
25
3
35
10 30 40 50 60 70 80 90
Mutation rate ()
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers
0
05
1
15
2
25
3
35
4
1 2 3 4 5 8 10 15
Elite members
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeatures
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Η μέθοδος CFS
bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την
εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις
ιδιότητες του υποσυνόλου
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
)1( ii
cis
rkkk
rkG
Σύγκριση των δύο μεθόδων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
000
1000
2000
3000
4000
5000
6000
7000
8000
9000
ZeroR DecisionStump
DecisionTable
IB1 IB3 IB9 LinearRegression
M5Prime
GA Mean absolute error GA Root mean squared error
CFS Mean absolute error CFS Root mean squared error
Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης
bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης
ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART
bull Συνδυασμένος ταξινομητής
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το σύστημα ΠΛ ΝΕΜΟ (1)
Όμοιες περιπτώσεις
Επιλογέας κοντινών περιπτώσεων
Φίλτρο κοντινών περιπτώσεων
Προσαρμογέας κοντινών περιπτώσεων
Προβλέπτης λύσης
Προτεινόμενη λύση
ΝΕΜΟ
Βάση περιπτώσεων
Κοντινέςπεριπτώσεις
Βάση Γνώσης
Νέα περίπτωση
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία
αναστροφή
βροχόπτωση
άνεμος
NO στις 10 πμ
NO στις 9 πμ
NO στις 8 πμ
NO2 στις 10 πμ
NO2 στις 9 πμ
NO2 στις 8 πμ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Έξοδος
Το δέντρο απόφασης (1)NOat10
NOat10
NOat10
NOat10
Wind
NOat9
Rain
Inversion
NOat9
NO2at8 Wind
Radiation
1(26518)
1(235)
2(4412)
1(83) 2(104) 1(100)
2(101) 1(101)
2(10035)
3(5313)
4(80)
4(124)3(91)
lt=027 gt027
lt=021
gt067
gt021
lt=067
lt=04 gt04
lt=057 gt057
lt=066 gt066
lt=047 gt047
lt=021 gt021
=0 =1
lt=021 gt021 lt=08 gt08
lt=036 gt036
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το δέντρο απόφασης (2)
0
021
025
04 057
105 075
027
12
1 2 3
4
34
066
0
1
02
04
06
08
ΝΟ στις10πμ
Θερ
μο
κρα
σια
κή α
νασ
τρο
φή
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Ο συνδυασμένος ταξινομητής
bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (1)
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
134
38
522
122
93
8
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΝΕΜΟ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
Αποτελέσματα Πίνακες Σύγχυσης (2)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
40
4221
8 317
8
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΔΑ CART
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (3)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
42
8216
8 69
4 4
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΤΝΔ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (4)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
138
38
4124
122
13
2
6
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Στατιστικά για τους 4 αλγόριθμους
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
CART NeuralNet NEMO ML Ensemble
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Κ-κοντινότεροι γείτονες
bull Πλεονεκτήματαndash Απλή υλοποίησηndash Αποδεκτά αποτελέσματα σε μεγάλο πεδίο
εφαρμογώνndash Πολύχρονη εμπειρία χρήσης
bull Μειονεκτήματαndash Χρονοβόρος σε μεγάλα σύνολα δεδομένων
1Μηχανική Μάθηση1Μηχανική Μάθηση
Παλινδρόμηση
1Μηχανική Μάθηση1Μηχανική Μάθηση
Τεχνητά Νευρωνικά Δίκτυα
1Μηχανική Μάθηση1Μηχανική Μάθηση
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Είσοδος 3Είσοδος 1Είσοδος 2 Είσοδος 4
Είσοδος 5Είσοδος 6
Είσοδος 7
Είσοδος 8
Είσοδος 9
Είσοδος 10
Έξοδος
Τεχνητά Νευρωνικά Δίκτυα
bull Πλεονεκτήματαndash Ανοχή στον θόρυβοndash Ικανότητα γενίκευσης
bull Μειονεκτήματαndash Δυσνόητο μοντέλο (μαύρο κουτί)ndash Δυσανάλογος χρόνος εκπαίδευσης
1Μηχανική Μάθηση1Μηχανική Μάθηση
Περιπτωσιακός Λογισμός
1Μηχανική Μάθηση1Μηχανική Μάθηση
Νέα περίπτωση
Πρόβλημα
Παλαιά περίπτωσηΝέα
περίπτωση
Λυμένη περίπτωση
Δοκιμασμένη διορθωμένη
λύση
Διδαχθείσα περίπτωση
Ανάκληση περιπτώσεων
Επαναχρησιμοποίηση παλιών λύσεων
Προσαρμογή λύσης
Αιτιολόγηση λύσης
Γενική Γνώση
Παλαιά περίπτωσηΠαλαιά περίπτωσηΠαλαιά
περίπτωση
Παλαιές περιπτώσεις
Προτεινόμενη λύσηΕγκεκριμένη λύση
Δέντρα Απόφασης
1Μηχανική Μάθηση1Μηχανική Μάθηση
Δίκτυα Bayes
1Μηχανική Μάθηση1Μηχανική Μάθηση
Χ1 Χ2
Χ3
Χ4
Χ5
Υ
P(X1 X2 X3 X4 X5 Y) = P(X1)P(X2)P(X3|X1 X2)P(Y|X1 X2 X3)P(X4|Y) P(X5|X4 Y)
Γενετικοί Αλγόριθμοι
1Μηχανική Μάθηση1Μηχανική Μάθηση
Αρχικός πληθυσμός
Αξιολόγηση συνάρτησης
προσαρμογής
Επιλογή
Διασταύρωση
Μετάλλαξη
Γέννηση νέου πληθυσμού
Επιτεύχθηκαν τα κριτήρια
βελτιστοποίησης
Εξαγωγή λύσης
Ναι
Όχι
Περιβαλλοντική Πληροφορική
bull Θέματαndash Ολοκληρωμένες πλατφόρμες αξιολόγησης και μελέτες
περιπτώσεωνndash Ανάλυση περιβαλλοντικών συστημάτωνndash Πρόβλεψη περιβαλλοντικών αλλαγώνndash Παρακολούθηση του περιβάλλοντος σε πραγματικό χρόνοndash Πιστοποίηση ποιότητας περιβαλλοντικών μοντέλωνndash Εφαρμογές μοντελοποίησης με agents και εξομοίωσης σε
περιβαλλοντικά συστήματα
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Περιβαλλοντική Πληροφορική
bull Πεδία Εφαρμογήςndash Ποιότητα Αέραndash Ποιότητα Εδάφουςndash Ποιότητα Υδάτωνndash Διαχείριση Αποβλήτων
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Αέρια Ρύπανση
bull Παρακολούθηση και πρόβλεψη των επιβλαβών ρύπωνndash Ο3
ndash ΝΟx
ndash PM10 Σωματίδιαndash Καπνός
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Τα προβλήματα του ΠΕΡΠΑ
bull Πρόβλεψη της μέγιστης συγκέντρωσης για τους ρύπουςndash ΝΟ2
ndash Ο3
bull Για τις χρονικές περιόδουςndash Ίδια ημέρα μετά τις 10 πμndash Επόμενη ημέρα
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Π1Π2 Πρόβλεψη την ίδια ημέρα
0
50
100
150
200
250
300
350
400
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
Hour
pp
b
0
20
40
60
80
100
120
140
pp
b
NO2 NO SO2 CO O3
ΠρόβλεψηΣυλλογή δεδομένων
O3 m
ax
NO
2 max
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Π3Π4 Πρόβλεψη για την επόμενη ημέρα
0
100
200
300
400
500
600
700
800
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
Hour
pp
b
0
5
10
15
20
25
30
35
40
pp
b
NO2 NO SO2 CO O3
ΠρόβλεψηΣυλλογή δεδομένων
O3 m
axNO
2 max
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Προ-επεξεργασία των δεδομένων
bull Αντιμετώπιση θορύβου
bull Αντικατάσταση ελλιπών τιμών
3Προ-επεξεργασία3Προ-επεξεργασία
Μελέτη θορύβου
bull 2 μοντέλα θορύβουndash Ύπαρξη θορύβου μόνο στις ιδιότητεςndash Ύπαρξη θορύβου και στις ιδιότητες και
στην εξαρτημένη μεταβλητή
bull Εκτίμηση απόκλισης τιμής ιδιότητας λόγω θορύβου
3Προ-επεξεργασία3Προ-επεξεργασία
piii zxx
Αποτελέσματα μελέτης θορύβου- 1ο μοντέλο
-2
-1
0
1
2
3
4
5
6
7
8
0 005 01 02 03 04 05
IB1 - Attribute IBk -K 9 - Attribute LinearRegression - Attribute M5Prime - Attribute NeuralNetwork - Attribute ZeroR - Attribute
Drop Page Fields Here
Average of Root mean squared error (diff)
Noise Level
Scheme
Noise Model
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα μελέτης θορύβου- 2ο μοντέλο
0
5
10
15
20
25
30
0 005 01 02 03 04 05
IB1 - AttributeClassVar IBk -K 9 - AttributeClassVar LinearRegression - AttributeClassVar
M5Prime - AttributeClassVar NeuralNetwork - AttributeClassVar ZeroR - AttributeClassVar
Drop Page Fields Here
Average of Root mean squared error (diff)
Noise Level
Scheme
Noise Model
3Προ-επεξεργασία3Προ-επεξεργασία
Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών
bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj
1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα
παραδείγματα που ανήκουν στην κλάση Υj
3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)
4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμών-RMSE
-012
-01
-008
-006
-004
-002
0
002
004
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Root mean squared error (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου
-25
-2
-15
-1
-05
0
05
1
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Time taken to build model (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Μείωση των διαστάσεων
bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Επιλογή των ιδιοτήτων57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
15
13
14
14
14
47
45
6
51
bull 2ν πιθανοί συνδυασμοί
bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Πως ορίζεται η ιδιότητα
bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό
μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης
του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Λόγοι επιλογής ιδιοτήτων
bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων
bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή
bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)
bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδοι Αντιμετώπισης
bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδος φιλτραρίσματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Υπολογισμός μέτρωνποιότητας των ιδιοτήτων
Επαύξηση ή μείωση των ιδιοτήτων
Είναι αποδεκτό τοαξιολογημένουποσύνολο
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Επιλογή νέου υποσυνόλουιδιοτήτων
Μέθοδοςφιλτραρίσματος
Γενετικός Αλγόριθμος
Μέθοδος περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Εκπαιδευμένο Μοντέλο
Σύνολοδεδομένων
Κατασκευή συνόλου δεδομένων
Αξιολογημένο Μοντέλο
Εκπαίδευση Αλγορίθμου
Αξιολόγηση Αλγορίθμου
Είναι αποδεκτό τοαξιολογημένο
μοντέλο
Επιλογή νέου υποσυνόλουιδιοτήτων
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Κ-κοντινότεροι γείτονες
Περιτύλιξη με Γενετικό Αλγόριθμο
bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων
bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου
ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων
ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας
γενετικούς τελεστές
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
11 22 33 4400
B1B1 B2B2 B3B3 B4B4 B5B5
Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων
Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με
κωδικό 104 (Γεωπονική) στις 5 μμ
000000 00110011 000000 1000010000 0001000010 0000000000 00
P = ΝΟ2 S = 104
F = αδιάφορο
H1 = 1700 O = 0
H2 = αδιάφορο
ΣημαίαΣυγκεντρωτικής ιδιότητας = 0
Επέλεξε τη μέση συγκέντρωση του
SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ
100100 01110111 000000 0001100011 1010010100 0001000010 11
P = ΝΟ2 S = 108
F = Μέση τιμή-Avg
H1 = 400 O = -2
H2 = 2100
ΣημαίαΣυγκεντρωτικής ιδιότητας = 1
Η Κωδικοποίηση του γενότυπου
Η συνάρτηση προσαρμογής
bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του
αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο
υποσύνολο ιδιοτήτων της λύσης
nA
iAb
nE
iEa
iAiEF
max
)(
max
)(1
))()((
a lt= 1 b lt= 1 a + b = 1
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Οι παράμετροι της συνάρτησης προσαρμογής a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE
bull et = Xt ndash Ft
bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής
bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
n
e
RMSE
n
tt
1
2
n
tt
n
ttt
X
Xe
WSE
1
2
1
2
Ρύθμιση του μεγέθους πληθυσμού
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Population Sizes
0
05
1
15
2
25
3
35
4
5 10 20 30 40 50 100
Population Size
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση συντελεστών a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Coefficient pairs
0
5
10
15
20
25
30
35
01 09 03 07 05 05 07 03 08 02 09 01 095 005
ab pairs
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage
0
05
1
15
2
25
3
35
10 30 40 50 60 70 80 90
Mutation rate ()
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers
0
05
1
15
2
25
3
35
4
1 2 3 4 5 8 10 15
Elite members
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeatures
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Η μέθοδος CFS
bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την
εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις
ιδιότητες του υποσυνόλου
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
)1( ii
cis
rkkk
rkG
Σύγκριση των δύο μεθόδων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
000
1000
2000
3000
4000
5000
6000
7000
8000
9000
ZeroR DecisionStump
DecisionTable
IB1 IB3 IB9 LinearRegression
M5Prime
GA Mean absolute error GA Root mean squared error
CFS Mean absolute error CFS Root mean squared error
Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης
bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης
ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART
bull Συνδυασμένος ταξινομητής
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το σύστημα ΠΛ ΝΕΜΟ (1)
Όμοιες περιπτώσεις
Επιλογέας κοντινών περιπτώσεων
Φίλτρο κοντινών περιπτώσεων
Προσαρμογέας κοντινών περιπτώσεων
Προβλέπτης λύσης
Προτεινόμενη λύση
ΝΕΜΟ
Βάση περιπτώσεων
Κοντινέςπεριπτώσεις
Βάση Γνώσης
Νέα περίπτωση
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία
αναστροφή
βροχόπτωση
άνεμος
NO στις 10 πμ
NO στις 9 πμ
NO στις 8 πμ
NO2 στις 10 πμ
NO2 στις 9 πμ
NO2 στις 8 πμ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Έξοδος
Το δέντρο απόφασης (1)NOat10
NOat10
NOat10
NOat10
Wind
NOat9
Rain
Inversion
NOat9
NO2at8 Wind
Radiation
1(26518)
1(235)
2(4412)
1(83) 2(104) 1(100)
2(101) 1(101)
2(10035)
3(5313)
4(80)
4(124)3(91)
lt=027 gt027
lt=021
gt067
gt021
lt=067
lt=04 gt04
lt=057 gt057
lt=066 gt066
lt=047 gt047
lt=021 gt021
=0 =1
lt=021 gt021 lt=08 gt08
lt=036 gt036
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το δέντρο απόφασης (2)
0
021
025
04 057
105 075
027
12
1 2 3
4
34
066
0
1
02
04
06
08
ΝΟ στις10πμ
Θερ
μο
κρα
σια
κή α
νασ
τρο
φή
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Ο συνδυασμένος ταξινομητής
bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (1)
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
134
38
522
122
93
8
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΝΕΜΟ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
Αποτελέσματα Πίνακες Σύγχυσης (2)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
40
4221
8 317
8
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΔΑ CART
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (3)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
42
8216
8 69
4 4
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΤΝΔ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (4)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
138
38
4124
122
13
2
6
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Στατιστικά για τους 4 αλγόριθμους
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
CART NeuralNet NEMO ML Ensemble
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Παλινδρόμηση
1Μηχανική Μάθηση1Μηχανική Μάθηση
Τεχνητά Νευρωνικά Δίκτυα
1Μηχανική Μάθηση1Μηχανική Μάθηση
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Είσοδος 3Είσοδος 1Είσοδος 2 Είσοδος 4
Είσοδος 5Είσοδος 6
Είσοδος 7
Είσοδος 8
Είσοδος 9
Είσοδος 10
Έξοδος
Τεχνητά Νευρωνικά Δίκτυα
bull Πλεονεκτήματαndash Ανοχή στον θόρυβοndash Ικανότητα γενίκευσης
bull Μειονεκτήματαndash Δυσνόητο μοντέλο (μαύρο κουτί)ndash Δυσανάλογος χρόνος εκπαίδευσης
1Μηχανική Μάθηση1Μηχανική Μάθηση
Περιπτωσιακός Λογισμός
1Μηχανική Μάθηση1Μηχανική Μάθηση
Νέα περίπτωση
Πρόβλημα
Παλαιά περίπτωσηΝέα
περίπτωση
Λυμένη περίπτωση
Δοκιμασμένη διορθωμένη
λύση
Διδαχθείσα περίπτωση
Ανάκληση περιπτώσεων
Επαναχρησιμοποίηση παλιών λύσεων
Προσαρμογή λύσης
Αιτιολόγηση λύσης
Γενική Γνώση
Παλαιά περίπτωσηΠαλαιά περίπτωσηΠαλαιά
περίπτωση
Παλαιές περιπτώσεις
Προτεινόμενη λύσηΕγκεκριμένη λύση
Δέντρα Απόφασης
1Μηχανική Μάθηση1Μηχανική Μάθηση
Δίκτυα Bayes
1Μηχανική Μάθηση1Μηχανική Μάθηση
Χ1 Χ2
Χ3
Χ4
Χ5
Υ
P(X1 X2 X3 X4 X5 Y) = P(X1)P(X2)P(X3|X1 X2)P(Y|X1 X2 X3)P(X4|Y) P(X5|X4 Y)
Γενετικοί Αλγόριθμοι
1Μηχανική Μάθηση1Μηχανική Μάθηση
Αρχικός πληθυσμός
Αξιολόγηση συνάρτησης
προσαρμογής
Επιλογή
Διασταύρωση
Μετάλλαξη
Γέννηση νέου πληθυσμού
Επιτεύχθηκαν τα κριτήρια
βελτιστοποίησης
Εξαγωγή λύσης
Ναι
Όχι
Περιβαλλοντική Πληροφορική
bull Θέματαndash Ολοκληρωμένες πλατφόρμες αξιολόγησης και μελέτες
περιπτώσεωνndash Ανάλυση περιβαλλοντικών συστημάτωνndash Πρόβλεψη περιβαλλοντικών αλλαγώνndash Παρακολούθηση του περιβάλλοντος σε πραγματικό χρόνοndash Πιστοποίηση ποιότητας περιβαλλοντικών μοντέλωνndash Εφαρμογές μοντελοποίησης με agents και εξομοίωσης σε
περιβαλλοντικά συστήματα
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Περιβαλλοντική Πληροφορική
bull Πεδία Εφαρμογήςndash Ποιότητα Αέραndash Ποιότητα Εδάφουςndash Ποιότητα Υδάτωνndash Διαχείριση Αποβλήτων
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Αέρια Ρύπανση
bull Παρακολούθηση και πρόβλεψη των επιβλαβών ρύπωνndash Ο3
ndash ΝΟx
ndash PM10 Σωματίδιαndash Καπνός
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Τα προβλήματα του ΠΕΡΠΑ
bull Πρόβλεψη της μέγιστης συγκέντρωσης για τους ρύπουςndash ΝΟ2
ndash Ο3
bull Για τις χρονικές περιόδουςndash Ίδια ημέρα μετά τις 10 πμndash Επόμενη ημέρα
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Π1Π2 Πρόβλεψη την ίδια ημέρα
0
50
100
150
200
250
300
350
400
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
Hour
pp
b
0
20
40
60
80
100
120
140
pp
b
NO2 NO SO2 CO O3
ΠρόβλεψηΣυλλογή δεδομένων
O3 m
ax
NO
2 max
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Π3Π4 Πρόβλεψη για την επόμενη ημέρα
0
100
200
300
400
500
600
700
800
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
Hour
pp
b
0
5
10
15
20
25
30
35
40
pp
b
NO2 NO SO2 CO O3
ΠρόβλεψηΣυλλογή δεδομένων
O3 m
axNO
2 max
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Προ-επεξεργασία των δεδομένων
bull Αντιμετώπιση θορύβου
bull Αντικατάσταση ελλιπών τιμών
3Προ-επεξεργασία3Προ-επεξεργασία
Μελέτη θορύβου
bull 2 μοντέλα θορύβουndash Ύπαρξη θορύβου μόνο στις ιδιότητεςndash Ύπαρξη θορύβου και στις ιδιότητες και
στην εξαρτημένη μεταβλητή
bull Εκτίμηση απόκλισης τιμής ιδιότητας λόγω θορύβου
3Προ-επεξεργασία3Προ-επεξεργασία
piii zxx
Αποτελέσματα μελέτης θορύβου- 1ο μοντέλο
-2
-1
0
1
2
3
4
5
6
7
8
0 005 01 02 03 04 05
IB1 - Attribute IBk -K 9 - Attribute LinearRegression - Attribute M5Prime - Attribute NeuralNetwork - Attribute ZeroR - Attribute
Drop Page Fields Here
Average of Root mean squared error (diff)
Noise Level
Scheme
Noise Model
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα μελέτης θορύβου- 2ο μοντέλο
0
5
10
15
20
25
30
0 005 01 02 03 04 05
IB1 - AttributeClassVar IBk -K 9 - AttributeClassVar LinearRegression - AttributeClassVar
M5Prime - AttributeClassVar NeuralNetwork - AttributeClassVar ZeroR - AttributeClassVar
Drop Page Fields Here
Average of Root mean squared error (diff)
Noise Level
Scheme
Noise Model
3Προ-επεξεργασία3Προ-επεξεργασία
Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών
bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj
1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα
παραδείγματα που ανήκουν στην κλάση Υj
3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)
4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμών-RMSE
-012
-01
-008
-006
-004
-002
0
002
004
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Root mean squared error (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου
-25
-2
-15
-1
-05
0
05
1
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Time taken to build model (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Μείωση των διαστάσεων
bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Επιλογή των ιδιοτήτων57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
15
13
14
14
14
47
45
6
51
bull 2ν πιθανοί συνδυασμοί
bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Πως ορίζεται η ιδιότητα
bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό
μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης
του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Λόγοι επιλογής ιδιοτήτων
bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων
bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή
bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)
bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδοι Αντιμετώπισης
bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδος φιλτραρίσματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Υπολογισμός μέτρωνποιότητας των ιδιοτήτων
Επαύξηση ή μείωση των ιδιοτήτων
Είναι αποδεκτό τοαξιολογημένουποσύνολο
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Επιλογή νέου υποσυνόλουιδιοτήτων
Μέθοδοςφιλτραρίσματος
Γενετικός Αλγόριθμος
Μέθοδος περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Εκπαιδευμένο Μοντέλο
Σύνολοδεδομένων
Κατασκευή συνόλου δεδομένων
Αξιολογημένο Μοντέλο
Εκπαίδευση Αλγορίθμου
Αξιολόγηση Αλγορίθμου
Είναι αποδεκτό τοαξιολογημένο
μοντέλο
Επιλογή νέου υποσυνόλουιδιοτήτων
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Κ-κοντινότεροι γείτονες
Περιτύλιξη με Γενετικό Αλγόριθμο
bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων
bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου
ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων
ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας
γενετικούς τελεστές
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
11 22 33 4400
B1B1 B2B2 B3B3 B4B4 B5B5
Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων
Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με
κωδικό 104 (Γεωπονική) στις 5 μμ
000000 00110011 000000 1000010000 0001000010 0000000000 00
P = ΝΟ2 S = 104
F = αδιάφορο
H1 = 1700 O = 0
H2 = αδιάφορο
ΣημαίαΣυγκεντρωτικής ιδιότητας = 0
Επέλεξε τη μέση συγκέντρωση του
SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ
100100 01110111 000000 0001100011 1010010100 0001000010 11
P = ΝΟ2 S = 108
F = Μέση τιμή-Avg
H1 = 400 O = -2
H2 = 2100
ΣημαίαΣυγκεντρωτικής ιδιότητας = 1
Η Κωδικοποίηση του γενότυπου
Η συνάρτηση προσαρμογής
bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του
αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο
υποσύνολο ιδιοτήτων της λύσης
nA
iAb
nE
iEa
iAiEF
max
)(
max
)(1
))()((
a lt= 1 b lt= 1 a + b = 1
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Οι παράμετροι της συνάρτησης προσαρμογής a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE
bull et = Xt ndash Ft
bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής
bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
n
e
RMSE
n
tt
1
2
n
tt
n
ttt
X
Xe
WSE
1
2
1
2
Ρύθμιση του μεγέθους πληθυσμού
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Population Sizes
0
05
1
15
2
25
3
35
4
5 10 20 30 40 50 100
Population Size
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση συντελεστών a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Coefficient pairs
0
5
10
15
20
25
30
35
01 09 03 07 05 05 07 03 08 02 09 01 095 005
ab pairs
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage
0
05
1
15
2
25
3
35
10 30 40 50 60 70 80 90
Mutation rate ()
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers
0
05
1
15
2
25
3
35
4
1 2 3 4 5 8 10 15
Elite members
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeatures
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Η μέθοδος CFS
bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την
εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις
ιδιότητες του υποσυνόλου
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
)1( ii
cis
rkkk
rkG
Σύγκριση των δύο μεθόδων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
000
1000
2000
3000
4000
5000
6000
7000
8000
9000
ZeroR DecisionStump
DecisionTable
IB1 IB3 IB9 LinearRegression
M5Prime
GA Mean absolute error GA Root mean squared error
CFS Mean absolute error CFS Root mean squared error
Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης
bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης
ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART
bull Συνδυασμένος ταξινομητής
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το σύστημα ΠΛ ΝΕΜΟ (1)
Όμοιες περιπτώσεις
Επιλογέας κοντινών περιπτώσεων
Φίλτρο κοντινών περιπτώσεων
Προσαρμογέας κοντινών περιπτώσεων
Προβλέπτης λύσης
Προτεινόμενη λύση
ΝΕΜΟ
Βάση περιπτώσεων
Κοντινέςπεριπτώσεις
Βάση Γνώσης
Νέα περίπτωση
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία
αναστροφή
βροχόπτωση
άνεμος
NO στις 10 πμ
NO στις 9 πμ
NO στις 8 πμ
NO2 στις 10 πμ
NO2 στις 9 πμ
NO2 στις 8 πμ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Έξοδος
Το δέντρο απόφασης (1)NOat10
NOat10
NOat10
NOat10
Wind
NOat9
Rain
Inversion
NOat9
NO2at8 Wind
Radiation
1(26518)
1(235)
2(4412)
1(83) 2(104) 1(100)
2(101) 1(101)
2(10035)
3(5313)
4(80)
4(124)3(91)
lt=027 gt027
lt=021
gt067
gt021
lt=067
lt=04 gt04
lt=057 gt057
lt=066 gt066
lt=047 gt047
lt=021 gt021
=0 =1
lt=021 gt021 lt=08 gt08
lt=036 gt036
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το δέντρο απόφασης (2)
0
021
025
04 057
105 075
027
12
1 2 3
4
34
066
0
1
02
04
06
08
ΝΟ στις10πμ
Θερ
μο
κρα
σια
κή α
νασ
τρο
φή
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Ο συνδυασμένος ταξινομητής
bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (1)
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
134
38
522
122
93
8
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΝΕΜΟ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
Αποτελέσματα Πίνακες Σύγχυσης (2)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
40
4221
8 317
8
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΔΑ CART
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (3)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
42
8216
8 69
4 4
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΤΝΔ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (4)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
138
38
4124
122
13
2
6
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Στατιστικά για τους 4 αλγόριθμους
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
CART NeuralNet NEMO ML Ensemble
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Τεχνητά Νευρωνικά Δίκτυα
1Μηχανική Μάθηση1Μηχανική Μάθηση
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Είσοδος 3Είσοδος 1Είσοδος 2 Είσοδος 4
Είσοδος 5Είσοδος 6
Είσοδος 7
Είσοδος 8
Είσοδος 9
Είσοδος 10
Έξοδος
Τεχνητά Νευρωνικά Δίκτυα
bull Πλεονεκτήματαndash Ανοχή στον θόρυβοndash Ικανότητα γενίκευσης
bull Μειονεκτήματαndash Δυσνόητο μοντέλο (μαύρο κουτί)ndash Δυσανάλογος χρόνος εκπαίδευσης
1Μηχανική Μάθηση1Μηχανική Μάθηση
Περιπτωσιακός Λογισμός
1Μηχανική Μάθηση1Μηχανική Μάθηση
Νέα περίπτωση
Πρόβλημα
Παλαιά περίπτωσηΝέα
περίπτωση
Λυμένη περίπτωση
Δοκιμασμένη διορθωμένη
λύση
Διδαχθείσα περίπτωση
Ανάκληση περιπτώσεων
Επαναχρησιμοποίηση παλιών λύσεων
Προσαρμογή λύσης
Αιτιολόγηση λύσης
Γενική Γνώση
Παλαιά περίπτωσηΠαλαιά περίπτωσηΠαλαιά
περίπτωση
Παλαιές περιπτώσεις
Προτεινόμενη λύσηΕγκεκριμένη λύση
Δέντρα Απόφασης
1Μηχανική Μάθηση1Μηχανική Μάθηση
Δίκτυα Bayes
1Μηχανική Μάθηση1Μηχανική Μάθηση
Χ1 Χ2
Χ3
Χ4
Χ5
Υ
P(X1 X2 X3 X4 X5 Y) = P(X1)P(X2)P(X3|X1 X2)P(Y|X1 X2 X3)P(X4|Y) P(X5|X4 Y)
Γενετικοί Αλγόριθμοι
1Μηχανική Μάθηση1Μηχανική Μάθηση
Αρχικός πληθυσμός
Αξιολόγηση συνάρτησης
προσαρμογής
Επιλογή
Διασταύρωση
Μετάλλαξη
Γέννηση νέου πληθυσμού
Επιτεύχθηκαν τα κριτήρια
βελτιστοποίησης
Εξαγωγή λύσης
Ναι
Όχι
Περιβαλλοντική Πληροφορική
bull Θέματαndash Ολοκληρωμένες πλατφόρμες αξιολόγησης και μελέτες
περιπτώσεωνndash Ανάλυση περιβαλλοντικών συστημάτωνndash Πρόβλεψη περιβαλλοντικών αλλαγώνndash Παρακολούθηση του περιβάλλοντος σε πραγματικό χρόνοndash Πιστοποίηση ποιότητας περιβαλλοντικών μοντέλωνndash Εφαρμογές μοντελοποίησης με agents και εξομοίωσης σε
περιβαλλοντικά συστήματα
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Περιβαλλοντική Πληροφορική
bull Πεδία Εφαρμογήςndash Ποιότητα Αέραndash Ποιότητα Εδάφουςndash Ποιότητα Υδάτωνndash Διαχείριση Αποβλήτων
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Αέρια Ρύπανση
bull Παρακολούθηση και πρόβλεψη των επιβλαβών ρύπωνndash Ο3
ndash ΝΟx
ndash PM10 Σωματίδιαndash Καπνός
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Τα προβλήματα του ΠΕΡΠΑ
bull Πρόβλεψη της μέγιστης συγκέντρωσης για τους ρύπουςndash ΝΟ2
ndash Ο3
bull Για τις χρονικές περιόδουςndash Ίδια ημέρα μετά τις 10 πμndash Επόμενη ημέρα
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Π1Π2 Πρόβλεψη την ίδια ημέρα
0
50
100
150
200
250
300
350
400
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
Hour
pp
b
0
20
40
60
80
100
120
140
pp
b
NO2 NO SO2 CO O3
ΠρόβλεψηΣυλλογή δεδομένων
O3 m
ax
NO
2 max
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Π3Π4 Πρόβλεψη για την επόμενη ημέρα
0
100
200
300
400
500
600
700
800
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
Hour
pp
b
0
5
10
15
20
25
30
35
40
pp
b
NO2 NO SO2 CO O3
ΠρόβλεψηΣυλλογή δεδομένων
O3 m
axNO
2 max
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Προ-επεξεργασία των δεδομένων
bull Αντιμετώπιση θορύβου
bull Αντικατάσταση ελλιπών τιμών
3Προ-επεξεργασία3Προ-επεξεργασία
Μελέτη θορύβου
bull 2 μοντέλα θορύβουndash Ύπαρξη θορύβου μόνο στις ιδιότητεςndash Ύπαρξη θορύβου και στις ιδιότητες και
στην εξαρτημένη μεταβλητή
bull Εκτίμηση απόκλισης τιμής ιδιότητας λόγω θορύβου
3Προ-επεξεργασία3Προ-επεξεργασία
piii zxx
Αποτελέσματα μελέτης θορύβου- 1ο μοντέλο
-2
-1
0
1
2
3
4
5
6
7
8
0 005 01 02 03 04 05
IB1 - Attribute IBk -K 9 - Attribute LinearRegression - Attribute M5Prime - Attribute NeuralNetwork - Attribute ZeroR - Attribute
Drop Page Fields Here
Average of Root mean squared error (diff)
Noise Level
Scheme
Noise Model
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα μελέτης θορύβου- 2ο μοντέλο
0
5
10
15
20
25
30
0 005 01 02 03 04 05
IB1 - AttributeClassVar IBk -K 9 - AttributeClassVar LinearRegression - AttributeClassVar
M5Prime - AttributeClassVar NeuralNetwork - AttributeClassVar ZeroR - AttributeClassVar
Drop Page Fields Here
Average of Root mean squared error (diff)
Noise Level
Scheme
Noise Model
3Προ-επεξεργασία3Προ-επεξεργασία
Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών
bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj
1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα
παραδείγματα που ανήκουν στην κλάση Υj
3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)
4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμών-RMSE
-012
-01
-008
-006
-004
-002
0
002
004
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Root mean squared error (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου
-25
-2
-15
-1
-05
0
05
1
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Time taken to build model (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Μείωση των διαστάσεων
bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Επιλογή των ιδιοτήτων57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
15
13
14
14
14
47
45
6
51
bull 2ν πιθανοί συνδυασμοί
bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Πως ορίζεται η ιδιότητα
bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό
μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης
του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Λόγοι επιλογής ιδιοτήτων
bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων
bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή
bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)
bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδοι Αντιμετώπισης
bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδος φιλτραρίσματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Υπολογισμός μέτρωνποιότητας των ιδιοτήτων
Επαύξηση ή μείωση των ιδιοτήτων
Είναι αποδεκτό τοαξιολογημένουποσύνολο
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Επιλογή νέου υποσυνόλουιδιοτήτων
Μέθοδοςφιλτραρίσματος
Γενετικός Αλγόριθμος
Μέθοδος περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Εκπαιδευμένο Μοντέλο
Σύνολοδεδομένων
Κατασκευή συνόλου δεδομένων
Αξιολογημένο Μοντέλο
Εκπαίδευση Αλγορίθμου
Αξιολόγηση Αλγορίθμου
Είναι αποδεκτό τοαξιολογημένο
μοντέλο
Επιλογή νέου υποσυνόλουιδιοτήτων
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Κ-κοντινότεροι γείτονες
Περιτύλιξη με Γενετικό Αλγόριθμο
bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων
bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου
ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων
ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας
γενετικούς τελεστές
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
11 22 33 4400
B1B1 B2B2 B3B3 B4B4 B5B5
Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων
Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με
κωδικό 104 (Γεωπονική) στις 5 μμ
000000 00110011 000000 1000010000 0001000010 0000000000 00
P = ΝΟ2 S = 104
F = αδιάφορο
H1 = 1700 O = 0
H2 = αδιάφορο
ΣημαίαΣυγκεντρωτικής ιδιότητας = 0
Επέλεξε τη μέση συγκέντρωση του
SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ
100100 01110111 000000 0001100011 1010010100 0001000010 11
P = ΝΟ2 S = 108
F = Μέση τιμή-Avg
H1 = 400 O = -2
H2 = 2100
ΣημαίαΣυγκεντρωτικής ιδιότητας = 1
Η Κωδικοποίηση του γενότυπου
Η συνάρτηση προσαρμογής
bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του
αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο
υποσύνολο ιδιοτήτων της λύσης
nA
iAb
nE
iEa
iAiEF
max
)(
max
)(1
))()((
a lt= 1 b lt= 1 a + b = 1
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Οι παράμετροι της συνάρτησης προσαρμογής a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE
bull et = Xt ndash Ft
bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής
bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
n
e
RMSE
n
tt
1
2
n
tt
n
ttt
X
Xe
WSE
1
2
1
2
Ρύθμιση του μεγέθους πληθυσμού
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Population Sizes
0
05
1
15
2
25
3
35
4
5 10 20 30 40 50 100
Population Size
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση συντελεστών a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Coefficient pairs
0
5
10
15
20
25
30
35
01 09 03 07 05 05 07 03 08 02 09 01 095 005
ab pairs
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage
0
05
1
15
2
25
3
35
10 30 40 50 60 70 80 90
Mutation rate ()
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers
0
05
1
15
2
25
3
35
4
1 2 3 4 5 8 10 15
Elite members
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeatures
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Η μέθοδος CFS
bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την
εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις
ιδιότητες του υποσυνόλου
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
)1( ii
cis
rkkk
rkG
Σύγκριση των δύο μεθόδων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
000
1000
2000
3000
4000
5000
6000
7000
8000
9000
ZeroR DecisionStump
DecisionTable
IB1 IB3 IB9 LinearRegression
M5Prime
GA Mean absolute error GA Root mean squared error
CFS Mean absolute error CFS Root mean squared error
Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης
bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης
ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART
bull Συνδυασμένος ταξινομητής
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το σύστημα ΠΛ ΝΕΜΟ (1)
Όμοιες περιπτώσεις
Επιλογέας κοντινών περιπτώσεων
Φίλτρο κοντινών περιπτώσεων
Προσαρμογέας κοντινών περιπτώσεων
Προβλέπτης λύσης
Προτεινόμενη λύση
ΝΕΜΟ
Βάση περιπτώσεων
Κοντινέςπεριπτώσεις
Βάση Γνώσης
Νέα περίπτωση
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία
αναστροφή
βροχόπτωση
άνεμος
NO στις 10 πμ
NO στις 9 πμ
NO στις 8 πμ
NO2 στις 10 πμ
NO2 στις 9 πμ
NO2 στις 8 πμ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Έξοδος
Το δέντρο απόφασης (1)NOat10
NOat10
NOat10
NOat10
Wind
NOat9
Rain
Inversion
NOat9
NO2at8 Wind
Radiation
1(26518)
1(235)
2(4412)
1(83) 2(104) 1(100)
2(101) 1(101)
2(10035)
3(5313)
4(80)
4(124)3(91)
lt=027 gt027
lt=021
gt067
gt021
lt=067
lt=04 gt04
lt=057 gt057
lt=066 gt066
lt=047 gt047
lt=021 gt021
=0 =1
lt=021 gt021 lt=08 gt08
lt=036 gt036
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το δέντρο απόφασης (2)
0
021
025
04 057
105 075
027
12
1 2 3
4
34
066
0
1
02
04
06
08
ΝΟ στις10πμ
Θερ
μο
κρα
σια
κή α
νασ
τρο
φή
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Ο συνδυασμένος ταξινομητής
bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (1)
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
134
38
522
122
93
8
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΝΕΜΟ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
Αποτελέσματα Πίνακες Σύγχυσης (2)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
40
4221
8 317
8
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΔΑ CART
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (3)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
42
8216
8 69
4 4
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΤΝΔ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (4)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
138
38
4124
122
13
2
6
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Στατιστικά για τους 4 αλγόριθμους
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
CART NeuralNet NEMO ML Ensemble
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Τεχνητά Νευρωνικά Δίκτυα
bull Πλεονεκτήματαndash Ανοχή στον θόρυβοndash Ικανότητα γενίκευσης
bull Μειονεκτήματαndash Δυσνόητο μοντέλο (μαύρο κουτί)ndash Δυσανάλογος χρόνος εκπαίδευσης
1Μηχανική Μάθηση1Μηχανική Μάθηση
Περιπτωσιακός Λογισμός
1Μηχανική Μάθηση1Μηχανική Μάθηση
Νέα περίπτωση
Πρόβλημα
Παλαιά περίπτωσηΝέα
περίπτωση
Λυμένη περίπτωση
Δοκιμασμένη διορθωμένη
λύση
Διδαχθείσα περίπτωση
Ανάκληση περιπτώσεων
Επαναχρησιμοποίηση παλιών λύσεων
Προσαρμογή λύσης
Αιτιολόγηση λύσης
Γενική Γνώση
Παλαιά περίπτωσηΠαλαιά περίπτωσηΠαλαιά
περίπτωση
Παλαιές περιπτώσεις
Προτεινόμενη λύσηΕγκεκριμένη λύση
Δέντρα Απόφασης
1Μηχανική Μάθηση1Μηχανική Μάθηση
Δίκτυα Bayes
1Μηχανική Μάθηση1Μηχανική Μάθηση
Χ1 Χ2
Χ3
Χ4
Χ5
Υ
P(X1 X2 X3 X4 X5 Y) = P(X1)P(X2)P(X3|X1 X2)P(Y|X1 X2 X3)P(X4|Y) P(X5|X4 Y)
Γενετικοί Αλγόριθμοι
1Μηχανική Μάθηση1Μηχανική Μάθηση
Αρχικός πληθυσμός
Αξιολόγηση συνάρτησης
προσαρμογής
Επιλογή
Διασταύρωση
Μετάλλαξη
Γέννηση νέου πληθυσμού
Επιτεύχθηκαν τα κριτήρια
βελτιστοποίησης
Εξαγωγή λύσης
Ναι
Όχι
Περιβαλλοντική Πληροφορική
bull Θέματαndash Ολοκληρωμένες πλατφόρμες αξιολόγησης και μελέτες
περιπτώσεωνndash Ανάλυση περιβαλλοντικών συστημάτωνndash Πρόβλεψη περιβαλλοντικών αλλαγώνndash Παρακολούθηση του περιβάλλοντος σε πραγματικό χρόνοndash Πιστοποίηση ποιότητας περιβαλλοντικών μοντέλωνndash Εφαρμογές μοντελοποίησης με agents και εξομοίωσης σε
περιβαλλοντικά συστήματα
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Περιβαλλοντική Πληροφορική
bull Πεδία Εφαρμογήςndash Ποιότητα Αέραndash Ποιότητα Εδάφουςndash Ποιότητα Υδάτωνndash Διαχείριση Αποβλήτων
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Αέρια Ρύπανση
bull Παρακολούθηση και πρόβλεψη των επιβλαβών ρύπωνndash Ο3
ndash ΝΟx
ndash PM10 Σωματίδιαndash Καπνός
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Τα προβλήματα του ΠΕΡΠΑ
bull Πρόβλεψη της μέγιστης συγκέντρωσης για τους ρύπουςndash ΝΟ2
ndash Ο3
bull Για τις χρονικές περιόδουςndash Ίδια ημέρα μετά τις 10 πμndash Επόμενη ημέρα
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Π1Π2 Πρόβλεψη την ίδια ημέρα
0
50
100
150
200
250
300
350
400
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
Hour
pp
b
0
20
40
60
80
100
120
140
pp
b
NO2 NO SO2 CO O3
ΠρόβλεψηΣυλλογή δεδομένων
O3 m
ax
NO
2 max
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Π3Π4 Πρόβλεψη για την επόμενη ημέρα
0
100
200
300
400
500
600
700
800
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
Hour
pp
b
0
5
10
15
20
25
30
35
40
pp
b
NO2 NO SO2 CO O3
ΠρόβλεψηΣυλλογή δεδομένων
O3 m
axNO
2 max
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Προ-επεξεργασία των δεδομένων
bull Αντιμετώπιση θορύβου
bull Αντικατάσταση ελλιπών τιμών
3Προ-επεξεργασία3Προ-επεξεργασία
Μελέτη θορύβου
bull 2 μοντέλα θορύβουndash Ύπαρξη θορύβου μόνο στις ιδιότητεςndash Ύπαρξη θορύβου και στις ιδιότητες και
στην εξαρτημένη μεταβλητή
bull Εκτίμηση απόκλισης τιμής ιδιότητας λόγω θορύβου
3Προ-επεξεργασία3Προ-επεξεργασία
piii zxx
Αποτελέσματα μελέτης θορύβου- 1ο μοντέλο
-2
-1
0
1
2
3
4
5
6
7
8
0 005 01 02 03 04 05
IB1 - Attribute IBk -K 9 - Attribute LinearRegression - Attribute M5Prime - Attribute NeuralNetwork - Attribute ZeroR - Attribute
Drop Page Fields Here
Average of Root mean squared error (diff)
Noise Level
Scheme
Noise Model
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα μελέτης θορύβου- 2ο μοντέλο
0
5
10
15
20
25
30
0 005 01 02 03 04 05
IB1 - AttributeClassVar IBk -K 9 - AttributeClassVar LinearRegression - AttributeClassVar
M5Prime - AttributeClassVar NeuralNetwork - AttributeClassVar ZeroR - AttributeClassVar
Drop Page Fields Here
Average of Root mean squared error (diff)
Noise Level
Scheme
Noise Model
3Προ-επεξεργασία3Προ-επεξεργασία
Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών
bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj
1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα
παραδείγματα που ανήκουν στην κλάση Υj
3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)
4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμών-RMSE
-012
-01
-008
-006
-004
-002
0
002
004
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Root mean squared error (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου
-25
-2
-15
-1
-05
0
05
1
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Time taken to build model (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Μείωση των διαστάσεων
bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Επιλογή των ιδιοτήτων57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
15
13
14
14
14
47
45
6
51
bull 2ν πιθανοί συνδυασμοί
bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Πως ορίζεται η ιδιότητα
bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό
μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης
του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Λόγοι επιλογής ιδιοτήτων
bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων
bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή
bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)
bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδοι Αντιμετώπισης
bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδος φιλτραρίσματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Υπολογισμός μέτρωνποιότητας των ιδιοτήτων
Επαύξηση ή μείωση των ιδιοτήτων
Είναι αποδεκτό τοαξιολογημένουποσύνολο
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Επιλογή νέου υποσυνόλουιδιοτήτων
Μέθοδοςφιλτραρίσματος
Γενετικός Αλγόριθμος
Μέθοδος περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Εκπαιδευμένο Μοντέλο
Σύνολοδεδομένων
Κατασκευή συνόλου δεδομένων
Αξιολογημένο Μοντέλο
Εκπαίδευση Αλγορίθμου
Αξιολόγηση Αλγορίθμου
Είναι αποδεκτό τοαξιολογημένο
μοντέλο
Επιλογή νέου υποσυνόλουιδιοτήτων
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Κ-κοντινότεροι γείτονες
Περιτύλιξη με Γενετικό Αλγόριθμο
bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων
bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου
ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων
ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας
γενετικούς τελεστές
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
11 22 33 4400
B1B1 B2B2 B3B3 B4B4 B5B5
Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων
Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με
κωδικό 104 (Γεωπονική) στις 5 μμ
000000 00110011 000000 1000010000 0001000010 0000000000 00
P = ΝΟ2 S = 104
F = αδιάφορο
H1 = 1700 O = 0
H2 = αδιάφορο
ΣημαίαΣυγκεντρωτικής ιδιότητας = 0
Επέλεξε τη μέση συγκέντρωση του
SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ
100100 01110111 000000 0001100011 1010010100 0001000010 11
P = ΝΟ2 S = 108
F = Μέση τιμή-Avg
H1 = 400 O = -2
H2 = 2100
ΣημαίαΣυγκεντρωτικής ιδιότητας = 1
Η Κωδικοποίηση του γενότυπου
Η συνάρτηση προσαρμογής
bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του
αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο
υποσύνολο ιδιοτήτων της λύσης
nA
iAb
nE
iEa
iAiEF
max
)(
max
)(1
))()((
a lt= 1 b lt= 1 a + b = 1
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Οι παράμετροι της συνάρτησης προσαρμογής a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE
bull et = Xt ndash Ft
bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής
bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
n
e
RMSE
n
tt
1
2
n
tt
n
ttt
X
Xe
WSE
1
2
1
2
Ρύθμιση του μεγέθους πληθυσμού
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Population Sizes
0
05
1
15
2
25
3
35
4
5 10 20 30 40 50 100
Population Size
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση συντελεστών a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Coefficient pairs
0
5
10
15
20
25
30
35
01 09 03 07 05 05 07 03 08 02 09 01 095 005
ab pairs
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage
0
05
1
15
2
25
3
35
10 30 40 50 60 70 80 90
Mutation rate ()
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers
0
05
1
15
2
25
3
35
4
1 2 3 4 5 8 10 15
Elite members
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeatures
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Η μέθοδος CFS
bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την
εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις
ιδιότητες του υποσυνόλου
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
)1( ii
cis
rkkk
rkG
Σύγκριση των δύο μεθόδων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
000
1000
2000
3000
4000
5000
6000
7000
8000
9000
ZeroR DecisionStump
DecisionTable
IB1 IB3 IB9 LinearRegression
M5Prime
GA Mean absolute error GA Root mean squared error
CFS Mean absolute error CFS Root mean squared error
Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης
bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης
ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART
bull Συνδυασμένος ταξινομητής
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το σύστημα ΠΛ ΝΕΜΟ (1)
Όμοιες περιπτώσεις
Επιλογέας κοντινών περιπτώσεων
Φίλτρο κοντινών περιπτώσεων
Προσαρμογέας κοντινών περιπτώσεων
Προβλέπτης λύσης
Προτεινόμενη λύση
ΝΕΜΟ
Βάση περιπτώσεων
Κοντινέςπεριπτώσεις
Βάση Γνώσης
Νέα περίπτωση
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία
αναστροφή
βροχόπτωση
άνεμος
NO στις 10 πμ
NO στις 9 πμ
NO στις 8 πμ
NO2 στις 10 πμ
NO2 στις 9 πμ
NO2 στις 8 πμ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Έξοδος
Το δέντρο απόφασης (1)NOat10
NOat10
NOat10
NOat10
Wind
NOat9
Rain
Inversion
NOat9
NO2at8 Wind
Radiation
1(26518)
1(235)
2(4412)
1(83) 2(104) 1(100)
2(101) 1(101)
2(10035)
3(5313)
4(80)
4(124)3(91)
lt=027 gt027
lt=021
gt067
gt021
lt=067
lt=04 gt04
lt=057 gt057
lt=066 gt066
lt=047 gt047
lt=021 gt021
=0 =1
lt=021 gt021 lt=08 gt08
lt=036 gt036
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το δέντρο απόφασης (2)
0
021
025
04 057
105 075
027
12
1 2 3
4
34
066
0
1
02
04
06
08
ΝΟ στις10πμ
Θερ
μο
κρα
σια
κή α
νασ
τρο
φή
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Ο συνδυασμένος ταξινομητής
bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (1)
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
134
38
522
122
93
8
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΝΕΜΟ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
Αποτελέσματα Πίνακες Σύγχυσης (2)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
40
4221
8 317
8
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΔΑ CART
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (3)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
42
8216
8 69
4 4
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΤΝΔ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (4)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
138
38
4124
122
13
2
6
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Στατιστικά για τους 4 αλγόριθμους
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
CART NeuralNet NEMO ML Ensemble
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Περιπτωσιακός Λογισμός
1Μηχανική Μάθηση1Μηχανική Μάθηση
Νέα περίπτωση
Πρόβλημα
Παλαιά περίπτωσηΝέα
περίπτωση
Λυμένη περίπτωση
Δοκιμασμένη διορθωμένη
λύση
Διδαχθείσα περίπτωση
Ανάκληση περιπτώσεων
Επαναχρησιμοποίηση παλιών λύσεων
Προσαρμογή λύσης
Αιτιολόγηση λύσης
Γενική Γνώση
Παλαιά περίπτωσηΠαλαιά περίπτωσηΠαλαιά
περίπτωση
Παλαιές περιπτώσεις
Προτεινόμενη λύσηΕγκεκριμένη λύση
Δέντρα Απόφασης
1Μηχανική Μάθηση1Μηχανική Μάθηση
Δίκτυα Bayes
1Μηχανική Μάθηση1Μηχανική Μάθηση
Χ1 Χ2
Χ3
Χ4
Χ5
Υ
P(X1 X2 X3 X4 X5 Y) = P(X1)P(X2)P(X3|X1 X2)P(Y|X1 X2 X3)P(X4|Y) P(X5|X4 Y)
Γενετικοί Αλγόριθμοι
1Μηχανική Μάθηση1Μηχανική Μάθηση
Αρχικός πληθυσμός
Αξιολόγηση συνάρτησης
προσαρμογής
Επιλογή
Διασταύρωση
Μετάλλαξη
Γέννηση νέου πληθυσμού
Επιτεύχθηκαν τα κριτήρια
βελτιστοποίησης
Εξαγωγή λύσης
Ναι
Όχι
Περιβαλλοντική Πληροφορική
bull Θέματαndash Ολοκληρωμένες πλατφόρμες αξιολόγησης και μελέτες
περιπτώσεωνndash Ανάλυση περιβαλλοντικών συστημάτωνndash Πρόβλεψη περιβαλλοντικών αλλαγώνndash Παρακολούθηση του περιβάλλοντος σε πραγματικό χρόνοndash Πιστοποίηση ποιότητας περιβαλλοντικών μοντέλωνndash Εφαρμογές μοντελοποίησης με agents και εξομοίωσης σε
περιβαλλοντικά συστήματα
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Περιβαλλοντική Πληροφορική
bull Πεδία Εφαρμογήςndash Ποιότητα Αέραndash Ποιότητα Εδάφουςndash Ποιότητα Υδάτωνndash Διαχείριση Αποβλήτων
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Αέρια Ρύπανση
bull Παρακολούθηση και πρόβλεψη των επιβλαβών ρύπωνndash Ο3
ndash ΝΟx
ndash PM10 Σωματίδιαndash Καπνός
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Τα προβλήματα του ΠΕΡΠΑ
bull Πρόβλεψη της μέγιστης συγκέντρωσης για τους ρύπουςndash ΝΟ2
ndash Ο3
bull Για τις χρονικές περιόδουςndash Ίδια ημέρα μετά τις 10 πμndash Επόμενη ημέρα
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Π1Π2 Πρόβλεψη την ίδια ημέρα
0
50
100
150
200
250
300
350
400
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
Hour
pp
b
0
20
40
60
80
100
120
140
pp
b
NO2 NO SO2 CO O3
ΠρόβλεψηΣυλλογή δεδομένων
O3 m
ax
NO
2 max
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Π3Π4 Πρόβλεψη για την επόμενη ημέρα
0
100
200
300
400
500
600
700
800
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
Hour
pp
b
0
5
10
15
20
25
30
35
40
pp
b
NO2 NO SO2 CO O3
ΠρόβλεψηΣυλλογή δεδομένων
O3 m
axNO
2 max
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Προ-επεξεργασία των δεδομένων
bull Αντιμετώπιση θορύβου
bull Αντικατάσταση ελλιπών τιμών
3Προ-επεξεργασία3Προ-επεξεργασία
Μελέτη θορύβου
bull 2 μοντέλα θορύβουndash Ύπαρξη θορύβου μόνο στις ιδιότητεςndash Ύπαρξη θορύβου και στις ιδιότητες και
στην εξαρτημένη μεταβλητή
bull Εκτίμηση απόκλισης τιμής ιδιότητας λόγω θορύβου
3Προ-επεξεργασία3Προ-επεξεργασία
piii zxx
Αποτελέσματα μελέτης θορύβου- 1ο μοντέλο
-2
-1
0
1
2
3
4
5
6
7
8
0 005 01 02 03 04 05
IB1 - Attribute IBk -K 9 - Attribute LinearRegression - Attribute M5Prime - Attribute NeuralNetwork - Attribute ZeroR - Attribute
Drop Page Fields Here
Average of Root mean squared error (diff)
Noise Level
Scheme
Noise Model
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα μελέτης θορύβου- 2ο μοντέλο
0
5
10
15
20
25
30
0 005 01 02 03 04 05
IB1 - AttributeClassVar IBk -K 9 - AttributeClassVar LinearRegression - AttributeClassVar
M5Prime - AttributeClassVar NeuralNetwork - AttributeClassVar ZeroR - AttributeClassVar
Drop Page Fields Here
Average of Root mean squared error (diff)
Noise Level
Scheme
Noise Model
3Προ-επεξεργασία3Προ-επεξεργασία
Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών
bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj
1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα
παραδείγματα που ανήκουν στην κλάση Υj
3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)
4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμών-RMSE
-012
-01
-008
-006
-004
-002
0
002
004
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Root mean squared error (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου
-25
-2
-15
-1
-05
0
05
1
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Time taken to build model (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Μείωση των διαστάσεων
bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Επιλογή των ιδιοτήτων57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
15
13
14
14
14
47
45
6
51
bull 2ν πιθανοί συνδυασμοί
bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Πως ορίζεται η ιδιότητα
bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό
μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης
του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Λόγοι επιλογής ιδιοτήτων
bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων
bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή
bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)
bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδοι Αντιμετώπισης
bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδος φιλτραρίσματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Υπολογισμός μέτρωνποιότητας των ιδιοτήτων
Επαύξηση ή μείωση των ιδιοτήτων
Είναι αποδεκτό τοαξιολογημένουποσύνολο
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Επιλογή νέου υποσυνόλουιδιοτήτων
Μέθοδοςφιλτραρίσματος
Γενετικός Αλγόριθμος
Μέθοδος περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Εκπαιδευμένο Μοντέλο
Σύνολοδεδομένων
Κατασκευή συνόλου δεδομένων
Αξιολογημένο Μοντέλο
Εκπαίδευση Αλγορίθμου
Αξιολόγηση Αλγορίθμου
Είναι αποδεκτό τοαξιολογημένο
μοντέλο
Επιλογή νέου υποσυνόλουιδιοτήτων
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Κ-κοντινότεροι γείτονες
Περιτύλιξη με Γενετικό Αλγόριθμο
bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων
bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου
ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων
ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας
γενετικούς τελεστές
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
11 22 33 4400
B1B1 B2B2 B3B3 B4B4 B5B5
Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων
Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με
κωδικό 104 (Γεωπονική) στις 5 μμ
000000 00110011 000000 1000010000 0001000010 0000000000 00
P = ΝΟ2 S = 104
F = αδιάφορο
H1 = 1700 O = 0
H2 = αδιάφορο
ΣημαίαΣυγκεντρωτικής ιδιότητας = 0
Επέλεξε τη μέση συγκέντρωση του
SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ
100100 01110111 000000 0001100011 1010010100 0001000010 11
P = ΝΟ2 S = 108
F = Μέση τιμή-Avg
H1 = 400 O = -2
H2 = 2100
ΣημαίαΣυγκεντρωτικής ιδιότητας = 1
Η Κωδικοποίηση του γενότυπου
Η συνάρτηση προσαρμογής
bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του
αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο
υποσύνολο ιδιοτήτων της λύσης
nA
iAb
nE
iEa
iAiEF
max
)(
max
)(1
))()((
a lt= 1 b lt= 1 a + b = 1
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Οι παράμετροι της συνάρτησης προσαρμογής a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE
bull et = Xt ndash Ft
bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής
bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
n
e
RMSE
n
tt
1
2
n
tt
n
ttt
X
Xe
WSE
1
2
1
2
Ρύθμιση του μεγέθους πληθυσμού
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Population Sizes
0
05
1
15
2
25
3
35
4
5 10 20 30 40 50 100
Population Size
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση συντελεστών a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Coefficient pairs
0
5
10
15
20
25
30
35
01 09 03 07 05 05 07 03 08 02 09 01 095 005
ab pairs
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage
0
05
1
15
2
25
3
35
10 30 40 50 60 70 80 90
Mutation rate ()
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers
0
05
1
15
2
25
3
35
4
1 2 3 4 5 8 10 15
Elite members
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeatures
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Η μέθοδος CFS
bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την
εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις
ιδιότητες του υποσυνόλου
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
)1( ii
cis
rkkk
rkG
Σύγκριση των δύο μεθόδων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
000
1000
2000
3000
4000
5000
6000
7000
8000
9000
ZeroR DecisionStump
DecisionTable
IB1 IB3 IB9 LinearRegression
M5Prime
GA Mean absolute error GA Root mean squared error
CFS Mean absolute error CFS Root mean squared error
Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης
bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης
ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART
bull Συνδυασμένος ταξινομητής
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το σύστημα ΠΛ ΝΕΜΟ (1)
Όμοιες περιπτώσεις
Επιλογέας κοντινών περιπτώσεων
Φίλτρο κοντινών περιπτώσεων
Προσαρμογέας κοντινών περιπτώσεων
Προβλέπτης λύσης
Προτεινόμενη λύση
ΝΕΜΟ
Βάση περιπτώσεων
Κοντινέςπεριπτώσεις
Βάση Γνώσης
Νέα περίπτωση
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία
αναστροφή
βροχόπτωση
άνεμος
NO στις 10 πμ
NO στις 9 πμ
NO στις 8 πμ
NO2 στις 10 πμ
NO2 στις 9 πμ
NO2 στις 8 πμ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Έξοδος
Το δέντρο απόφασης (1)NOat10
NOat10
NOat10
NOat10
Wind
NOat9
Rain
Inversion
NOat9
NO2at8 Wind
Radiation
1(26518)
1(235)
2(4412)
1(83) 2(104) 1(100)
2(101) 1(101)
2(10035)
3(5313)
4(80)
4(124)3(91)
lt=027 gt027
lt=021
gt067
gt021
lt=067
lt=04 gt04
lt=057 gt057
lt=066 gt066
lt=047 gt047
lt=021 gt021
=0 =1
lt=021 gt021 lt=08 gt08
lt=036 gt036
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το δέντρο απόφασης (2)
0
021
025
04 057
105 075
027
12
1 2 3
4
34
066
0
1
02
04
06
08
ΝΟ στις10πμ
Θερ
μο
κρα
σια
κή α
νασ
τρο
φή
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Ο συνδυασμένος ταξινομητής
bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (1)
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
134
38
522
122
93
8
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΝΕΜΟ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
Αποτελέσματα Πίνακες Σύγχυσης (2)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
40
4221
8 317
8
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΔΑ CART
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (3)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
42
8216
8 69
4 4
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΤΝΔ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (4)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
138
38
4124
122
13
2
6
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Στατιστικά για τους 4 αλγόριθμους
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
CART NeuralNet NEMO ML Ensemble
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Δέντρα Απόφασης
1Μηχανική Μάθηση1Μηχανική Μάθηση
Δίκτυα Bayes
1Μηχανική Μάθηση1Μηχανική Μάθηση
Χ1 Χ2
Χ3
Χ4
Χ5
Υ
P(X1 X2 X3 X4 X5 Y) = P(X1)P(X2)P(X3|X1 X2)P(Y|X1 X2 X3)P(X4|Y) P(X5|X4 Y)
Γενετικοί Αλγόριθμοι
1Μηχανική Μάθηση1Μηχανική Μάθηση
Αρχικός πληθυσμός
Αξιολόγηση συνάρτησης
προσαρμογής
Επιλογή
Διασταύρωση
Μετάλλαξη
Γέννηση νέου πληθυσμού
Επιτεύχθηκαν τα κριτήρια
βελτιστοποίησης
Εξαγωγή λύσης
Ναι
Όχι
Περιβαλλοντική Πληροφορική
bull Θέματαndash Ολοκληρωμένες πλατφόρμες αξιολόγησης και μελέτες
περιπτώσεωνndash Ανάλυση περιβαλλοντικών συστημάτωνndash Πρόβλεψη περιβαλλοντικών αλλαγώνndash Παρακολούθηση του περιβάλλοντος σε πραγματικό χρόνοndash Πιστοποίηση ποιότητας περιβαλλοντικών μοντέλωνndash Εφαρμογές μοντελοποίησης με agents και εξομοίωσης σε
περιβαλλοντικά συστήματα
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Περιβαλλοντική Πληροφορική
bull Πεδία Εφαρμογήςndash Ποιότητα Αέραndash Ποιότητα Εδάφουςndash Ποιότητα Υδάτωνndash Διαχείριση Αποβλήτων
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Αέρια Ρύπανση
bull Παρακολούθηση και πρόβλεψη των επιβλαβών ρύπωνndash Ο3
ndash ΝΟx
ndash PM10 Σωματίδιαndash Καπνός
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Τα προβλήματα του ΠΕΡΠΑ
bull Πρόβλεψη της μέγιστης συγκέντρωσης για τους ρύπουςndash ΝΟ2
ndash Ο3
bull Για τις χρονικές περιόδουςndash Ίδια ημέρα μετά τις 10 πμndash Επόμενη ημέρα
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Π1Π2 Πρόβλεψη την ίδια ημέρα
0
50
100
150
200
250
300
350
400
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
Hour
pp
b
0
20
40
60
80
100
120
140
pp
b
NO2 NO SO2 CO O3
ΠρόβλεψηΣυλλογή δεδομένων
O3 m
ax
NO
2 max
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Π3Π4 Πρόβλεψη για την επόμενη ημέρα
0
100
200
300
400
500
600
700
800
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
Hour
pp
b
0
5
10
15
20
25
30
35
40
pp
b
NO2 NO SO2 CO O3
ΠρόβλεψηΣυλλογή δεδομένων
O3 m
axNO
2 max
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Προ-επεξεργασία των δεδομένων
bull Αντιμετώπιση θορύβου
bull Αντικατάσταση ελλιπών τιμών
3Προ-επεξεργασία3Προ-επεξεργασία
Μελέτη θορύβου
bull 2 μοντέλα θορύβουndash Ύπαρξη θορύβου μόνο στις ιδιότητεςndash Ύπαρξη θορύβου και στις ιδιότητες και
στην εξαρτημένη μεταβλητή
bull Εκτίμηση απόκλισης τιμής ιδιότητας λόγω θορύβου
3Προ-επεξεργασία3Προ-επεξεργασία
piii zxx
Αποτελέσματα μελέτης θορύβου- 1ο μοντέλο
-2
-1
0
1
2
3
4
5
6
7
8
0 005 01 02 03 04 05
IB1 - Attribute IBk -K 9 - Attribute LinearRegression - Attribute M5Prime - Attribute NeuralNetwork - Attribute ZeroR - Attribute
Drop Page Fields Here
Average of Root mean squared error (diff)
Noise Level
Scheme
Noise Model
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα μελέτης θορύβου- 2ο μοντέλο
0
5
10
15
20
25
30
0 005 01 02 03 04 05
IB1 - AttributeClassVar IBk -K 9 - AttributeClassVar LinearRegression - AttributeClassVar
M5Prime - AttributeClassVar NeuralNetwork - AttributeClassVar ZeroR - AttributeClassVar
Drop Page Fields Here
Average of Root mean squared error (diff)
Noise Level
Scheme
Noise Model
3Προ-επεξεργασία3Προ-επεξεργασία
Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών
bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj
1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα
παραδείγματα που ανήκουν στην κλάση Υj
3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)
4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμών-RMSE
-012
-01
-008
-006
-004
-002
0
002
004
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Root mean squared error (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου
-25
-2
-15
-1
-05
0
05
1
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Time taken to build model (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Μείωση των διαστάσεων
bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Επιλογή των ιδιοτήτων57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
15
13
14
14
14
47
45
6
51
bull 2ν πιθανοί συνδυασμοί
bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Πως ορίζεται η ιδιότητα
bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό
μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης
του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Λόγοι επιλογής ιδιοτήτων
bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων
bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή
bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)
bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδοι Αντιμετώπισης
bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδος φιλτραρίσματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Υπολογισμός μέτρωνποιότητας των ιδιοτήτων
Επαύξηση ή μείωση των ιδιοτήτων
Είναι αποδεκτό τοαξιολογημένουποσύνολο
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Επιλογή νέου υποσυνόλουιδιοτήτων
Μέθοδοςφιλτραρίσματος
Γενετικός Αλγόριθμος
Μέθοδος περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Εκπαιδευμένο Μοντέλο
Σύνολοδεδομένων
Κατασκευή συνόλου δεδομένων
Αξιολογημένο Μοντέλο
Εκπαίδευση Αλγορίθμου
Αξιολόγηση Αλγορίθμου
Είναι αποδεκτό τοαξιολογημένο
μοντέλο
Επιλογή νέου υποσυνόλουιδιοτήτων
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Κ-κοντινότεροι γείτονες
Περιτύλιξη με Γενετικό Αλγόριθμο
bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων
bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου
ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων
ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας
γενετικούς τελεστές
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
11 22 33 4400
B1B1 B2B2 B3B3 B4B4 B5B5
Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων
Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με
κωδικό 104 (Γεωπονική) στις 5 μμ
000000 00110011 000000 1000010000 0001000010 0000000000 00
P = ΝΟ2 S = 104
F = αδιάφορο
H1 = 1700 O = 0
H2 = αδιάφορο
ΣημαίαΣυγκεντρωτικής ιδιότητας = 0
Επέλεξε τη μέση συγκέντρωση του
SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ
100100 01110111 000000 0001100011 1010010100 0001000010 11
P = ΝΟ2 S = 108
F = Μέση τιμή-Avg
H1 = 400 O = -2
H2 = 2100
ΣημαίαΣυγκεντρωτικής ιδιότητας = 1
Η Κωδικοποίηση του γενότυπου
Η συνάρτηση προσαρμογής
bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του
αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο
υποσύνολο ιδιοτήτων της λύσης
nA
iAb
nE
iEa
iAiEF
max
)(
max
)(1
))()((
a lt= 1 b lt= 1 a + b = 1
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Οι παράμετροι της συνάρτησης προσαρμογής a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE
bull et = Xt ndash Ft
bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής
bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
n
e
RMSE
n
tt
1
2
n
tt
n
ttt
X
Xe
WSE
1
2
1
2
Ρύθμιση του μεγέθους πληθυσμού
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Population Sizes
0
05
1
15
2
25
3
35
4
5 10 20 30 40 50 100
Population Size
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση συντελεστών a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Coefficient pairs
0
5
10
15
20
25
30
35
01 09 03 07 05 05 07 03 08 02 09 01 095 005
ab pairs
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage
0
05
1
15
2
25
3
35
10 30 40 50 60 70 80 90
Mutation rate ()
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers
0
05
1
15
2
25
3
35
4
1 2 3 4 5 8 10 15
Elite members
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeatures
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Η μέθοδος CFS
bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την
εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις
ιδιότητες του υποσυνόλου
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
)1( ii
cis
rkkk
rkG
Σύγκριση των δύο μεθόδων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
000
1000
2000
3000
4000
5000
6000
7000
8000
9000
ZeroR DecisionStump
DecisionTable
IB1 IB3 IB9 LinearRegression
M5Prime
GA Mean absolute error GA Root mean squared error
CFS Mean absolute error CFS Root mean squared error
Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης
bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης
ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART
bull Συνδυασμένος ταξινομητής
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το σύστημα ΠΛ ΝΕΜΟ (1)
Όμοιες περιπτώσεις
Επιλογέας κοντινών περιπτώσεων
Φίλτρο κοντινών περιπτώσεων
Προσαρμογέας κοντινών περιπτώσεων
Προβλέπτης λύσης
Προτεινόμενη λύση
ΝΕΜΟ
Βάση περιπτώσεων
Κοντινέςπεριπτώσεις
Βάση Γνώσης
Νέα περίπτωση
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία
αναστροφή
βροχόπτωση
άνεμος
NO στις 10 πμ
NO στις 9 πμ
NO στις 8 πμ
NO2 στις 10 πμ
NO2 στις 9 πμ
NO2 στις 8 πμ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Έξοδος
Το δέντρο απόφασης (1)NOat10
NOat10
NOat10
NOat10
Wind
NOat9
Rain
Inversion
NOat9
NO2at8 Wind
Radiation
1(26518)
1(235)
2(4412)
1(83) 2(104) 1(100)
2(101) 1(101)
2(10035)
3(5313)
4(80)
4(124)3(91)
lt=027 gt027
lt=021
gt067
gt021
lt=067
lt=04 gt04
lt=057 gt057
lt=066 gt066
lt=047 gt047
lt=021 gt021
=0 =1
lt=021 gt021 lt=08 gt08
lt=036 gt036
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το δέντρο απόφασης (2)
0
021
025
04 057
105 075
027
12
1 2 3
4
34
066
0
1
02
04
06
08
ΝΟ στις10πμ
Θερ
μο
κρα
σια
κή α
νασ
τρο
φή
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Ο συνδυασμένος ταξινομητής
bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (1)
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
134
38
522
122
93
8
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΝΕΜΟ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
Αποτελέσματα Πίνακες Σύγχυσης (2)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
40
4221
8 317
8
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΔΑ CART
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (3)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
42
8216
8 69
4 4
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΤΝΔ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (4)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
138
38
4124
122
13
2
6
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Στατιστικά για τους 4 αλγόριθμους
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
CART NeuralNet NEMO ML Ensemble
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Δίκτυα Bayes
1Μηχανική Μάθηση1Μηχανική Μάθηση
Χ1 Χ2
Χ3
Χ4
Χ5
Υ
P(X1 X2 X3 X4 X5 Y) = P(X1)P(X2)P(X3|X1 X2)P(Y|X1 X2 X3)P(X4|Y) P(X5|X4 Y)
Γενετικοί Αλγόριθμοι
1Μηχανική Μάθηση1Μηχανική Μάθηση
Αρχικός πληθυσμός
Αξιολόγηση συνάρτησης
προσαρμογής
Επιλογή
Διασταύρωση
Μετάλλαξη
Γέννηση νέου πληθυσμού
Επιτεύχθηκαν τα κριτήρια
βελτιστοποίησης
Εξαγωγή λύσης
Ναι
Όχι
Περιβαλλοντική Πληροφορική
bull Θέματαndash Ολοκληρωμένες πλατφόρμες αξιολόγησης και μελέτες
περιπτώσεωνndash Ανάλυση περιβαλλοντικών συστημάτωνndash Πρόβλεψη περιβαλλοντικών αλλαγώνndash Παρακολούθηση του περιβάλλοντος σε πραγματικό χρόνοndash Πιστοποίηση ποιότητας περιβαλλοντικών μοντέλωνndash Εφαρμογές μοντελοποίησης με agents και εξομοίωσης σε
περιβαλλοντικά συστήματα
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Περιβαλλοντική Πληροφορική
bull Πεδία Εφαρμογήςndash Ποιότητα Αέραndash Ποιότητα Εδάφουςndash Ποιότητα Υδάτωνndash Διαχείριση Αποβλήτων
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Αέρια Ρύπανση
bull Παρακολούθηση και πρόβλεψη των επιβλαβών ρύπωνndash Ο3
ndash ΝΟx
ndash PM10 Σωματίδιαndash Καπνός
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Τα προβλήματα του ΠΕΡΠΑ
bull Πρόβλεψη της μέγιστης συγκέντρωσης για τους ρύπουςndash ΝΟ2
ndash Ο3
bull Για τις χρονικές περιόδουςndash Ίδια ημέρα μετά τις 10 πμndash Επόμενη ημέρα
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Π1Π2 Πρόβλεψη την ίδια ημέρα
0
50
100
150
200
250
300
350
400
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
Hour
pp
b
0
20
40
60
80
100
120
140
pp
b
NO2 NO SO2 CO O3
ΠρόβλεψηΣυλλογή δεδομένων
O3 m
ax
NO
2 max
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Π3Π4 Πρόβλεψη για την επόμενη ημέρα
0
100
200
300
400
500
600
700
800
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
Hour
pp
b
0
5
10
15
20
25
30
35
40
pp
b
NO2 NO SO2 CO O3
ΠρόβλεψηΣυλλογή δεδομένων
O3 m
axNO
2 max
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Προ-επεξεργασία των δεδομένων
bull Αντιμετώπιση θορύβου
bull Αντικατάσταση ελλιπών τιμών
3Προ-επεξεργασία3Προ-επεξεργασία
Μελέτη θορύβου
bull 2 μοντέλα θορύβουndash Ύπαρξη θορύβου μόνο στις ιδιότητεςndash Ύπαρξη θορύβου και στις ιδιότητες και
στην εξαρτημένη μεταβλητή
bull Εκτίμηση απόκλισης τιμής ιδιότητας λόγω θορύβου
3Προ-επεξεργασία3Προ-επεξεργασία
piii zxx
Αποτελέσματα μελέτης θορύβου- 1ο μοντέλο
-2
-1
0
1
2
3
4
5
6
7
8
0 005 01 02 03 04 05
IB1 - Attribute IBk -K 9 - Attribute LinearRegression - Attribute M5Prime - Attribute NeuralNetwork - Attribute ZeroR - Attribute
Drop Page Fields Here
Average of Root mean squared error (diff)
Noise Level
Scheme
Noise Model
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα μελέτης θορύβου- 2ο μοντέλο
0
5
10
15
20
25
30
0 005 01 02 03 04 05
IB1 - AttributeClassVar IBk -K 9 - AttributeClassVar LinearRegression - AttributeClassVar
M5Prime - AttributeClassVar NeuralNetwork - AttributeClassVar ZeroR - AttributeClassVar
Drop Page Fields Here
Average of Root mean squared error (diff)
Noise Level
Scheme
Noise Model
3Προ-επεξεργασία3Προ-επεξεργασία
Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών
bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj
1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα
παραδείγματα που ανήκουν στην κλάση Υj
3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)
4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμών-RMSE
-012
-01
-008
-006
-004
-002
0
002
004
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Root mean squared error (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου
-25
-2
-15
-1
-05
0
05
1
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Time taken to build model (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Μείωση των διαστάσεων
bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Επιλογή των ιδιοτήτων57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
15
13
14
14
14
47
45
6
51
bull 2ν πιθανοί συνδυασμοί
bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Πως ορίζεται η ιδιότητα
bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό
μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης
του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Λόγοι επιλογής ιδιοτήτων
bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων
bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή
bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)
bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδοι Αντιμετώπισης
bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδος φιλτραρίσματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Υπολογισμός μέτρωνποιότητας των ιδιοτήτων
Επαύξηση ή μείωση των ιδιοτήτων
Είναι αποδεκτό τοαξιολογημένουποσύνολο
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Επιλογή νέου υποσυνόλουιδιοτήτων
Μέθοδοςφιλτραρίσματος
Γενετικός Αλγόριθμος
Μέθοδος περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Εκπαιδευμένο Μοντέλο
Σύνολοδεδομένων
Κατασκευή συνόλου δεδομένων
Αξιολογημένο Μοντέλο
Εκπαίδευση Αλγορίθμου
Αξιολόγηση Αλγορίθμου
Είναι αποδεκτό τοαξιολογημένο
μοντέλο
Επιλογή νέου υποσυνόλουιδιοτήτων
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Κ-κοντινότεροι γείτονες
Περιτύλιξη με Γενετικό Αλγόριθμο
bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων
bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου
ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων
ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας
γενετικούς τελεστές
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
11 22 33 4400
B1B1 B2B2 B3B3 B4B4 B5B5
Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων
Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με
κωδικό 104 (Γεωπονική) στις 5 μμ
000000 00110011 000000 1000010000 0001000010 0000000000 00
P = ΝΟ2 S = 104
F = αδιάφορο
H1 = 1700 O = 0
H2 = αδιάφορο
ΣημαίαΣυγκεντρωτικής ιδιότητας = 0
Επέλεξε τη μέση συγκέντρωση του
SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ
100100 01110111 000000 0001100011 1010010100 0001000010 11
P = ΝΟ2 S = 108
F = Μέση τιμή-Avg
H1 = 400 O = -2
H2 = 2100
ΣημαίαΣυγκεντρωτικής ιδιότητας = 1
Η Κωδικοποίηση του γενότυπου
Η συνάρτηση προσαρμογής
bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του
αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο
υποσύνολο ιδιοτήτων της λύσης
nA
iAb
nE
iEa
iAiEF
max
)(
max
)(1
))()((
a lt= 1 b lt= 1 a + b = 1
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Οι παράμετροι της συνάρτησης προσαρμογής a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE
bull et = Xt ndash Ft
bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής
bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
n
e
RMSE
n
tt
1
2
n
tt
n
ttt
X
Xe
WSE
1
2
1
2
Ρύθμιση του μεγέθους πληθυσμού
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Population Sizes
0
05
1
15
2
25
3
35
4
5 10 20 30 40 50 100
Population Size
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση συντελεστών a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Coefficient pairs
0
5
10
15
20
25
30
35
01 09 03 07 05 05 07 03 08 02 09 01 095 005
ab pairs
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage
0
05
1
15
2
25
3
35
10 30 40 50 60 70 80 90
Mutation rate ()
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers
0
05
1
15
2
25
3
35
4
1 2 3 4 5 8 10 15
Elite members
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeatures
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Η μέθοδος CFS
bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την
εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις
ιδιότητες του υποσυνόλου
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
)1( ii
cis
rkkk
rkG
Σύγκριση των δύο μεθόδων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
000
1000
2000
3000
4000
5000
6000
7000
8000
9000
ZeroR DecisionStump
DecisionTable
IB1 IB3 IB9 LinearRegression
M5Prime
GA Mean absolute error GA Root mean squared error
CFS Mean absolute error CFS Root mean squared error
Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης
bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης
ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART
bull Συνδυασμένος ταξινομητής
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το σύστημα ΠΛ ΝΕΜΟ (1)
Όμοιες περιπτώσεις
Επιλογέας κοντινών περιπτώσεων
Φίλτρο κοντινών περιπτώσεων
Προσαρμογέας κοντινών περιπτώσεων
Προβλέπτης λύσης
Προτεινόμενη λύση
ΝΕΜΟ
Βάση περιπτώσεων
Κοντινέςπεριπτώσεις
Βάση Γνώσης
Νέα περίπτωση
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία
αναστροφή
βροχόπτωση
άνεμος
NO στις 10 πμ
NO στις 9 πμ
NO στις 8 πμ
NO2 στις 10 πμ
NO2 στις 9 πμ
NO2 στις 8 πμ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Έξοδος
Το δέντρο απόφασης (1)NOat10
NOat10
NOat10
NOat10
Wind
NOat9
Rain
Inversion
NOat9
NO2at8 Wind
Radiation
1(26518)
1(235)
2(4412)
1(83) 2(104) 1(100)
2(101) 1(101)
2(10035)
3(5313)
4(80)
4(124)3(91)
lt=027 gt027
lt=021
gt067
gt021
lt=067
lt=04 gt04
lt=057 gt057
lt=066 gt066
lt=047 gt047
lt=021 gt021
=0 =1
lt=021 gt021 lt=08 gt08
lt=036 gt036
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το δέντρο απόφασης (2)
0
021
025
04 057
105 075
027
12
1 2 3
4
34
066
0
1
02
04
06
08
ΝΟ στις10πμ
Θερ
μο
κρα
σια
κή α
νασ
τρο
φή
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Ο συνδυασμένος ταξινομητής
bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (1)
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
134
38
522
122
93
8
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΝΕΜΟ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
Αποτελέσματα Πίνακες Σύγχυσης (2)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
40
4221
8 317
8
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΔΑ CART
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (3)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
42
8216
8 69
4 4
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΤΝΔ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (4)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
138
38
4124
122
13
2
6
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Στατιστικά για τους 4 αλγόριθμους
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
CART NeuralNet NEMO ML Ensemble
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Γενετικοί Αλγόριθμοι
1Μηχανική Μάθηση1Μηχανική Μάθηση
Αρχικός πληθυσμός
Αξιολόγηση συνάρτησης
προσαρμογής
Επιλογή
Διασταύρωση
Μετάλλαξη
Γέννηση νέου πληθυσμού
Επιτεύχθηκαν τα κριτήρια
βελτιστοποίησης
Εξαγωγή λύσης
Ναι
Όχι
Περιβαλλοντική Πληροφορική
bull Θέματαndash Ολοκληρωμένες πλατφόρμες αξιολόγησης και μελέτες
περιπτώσεωνndash Ανάλυση περιβαλλοντικών συστημάτωνndash Πρόβλεψη περιβαλλοντικών αλλαγώνndash Παρακολούθηση του περιβάλλοντος σε πραγματικό χρόνοndash Πιστοποίηση ποιότητας περιβαλλοντικών μοντέλωνndash Εφαρμογές μοντελοποίησης με agents και εξομοίωσης σε
περιβαλλοντικά συστήματα
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Περιβαλλοντική Πληροφορική
bull Πεδία Εφαρμογήςndash Ποιότητα Αέραndash Ποιότητα Εδάφουςndash Ποιότητα Υδάτωνndash Διαχείριση Αποβλήτων
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Αέρια Ρύπανση
bull Παρακολούθηση και πρόβλεψη των επιβλαβών ρύπωνndash Ο3
ndash ΝΟx
ndash PM10 Σωματίδιαndash Καπνός
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Τα προβλήματα του ΠΕΡΠΑ
bull Πρόβλεψη της μέγιστης συγκέντρωσης για τους ρύπουςndash ΝΟ2
ndash Ο3
bull Για τις χρονικές περιόδουςndash Ίδια ημέρα μετά τις 10 πμndash Επόμενη ημέρα
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Π1Π2 Πρόβλεψη την ίδια ημέρα
0
50
100
150
200
250
300
350
400
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
Hour
pp
b
0
20
40
60
80
100
120
140
pp
b
NO2 NO SO2 CO O3
ΠρόβλεψηΣυλλογή δεδομένων
O3 m
ax
NO
2 max
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Π3Π4 Πρόβλεψη για την επόμενη ημέρα
0
100
200
300
400
500
600
700
800
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
Hour
pp
b
0
5
10
15
20
25
30
35
40
pp
b
NO2 NO SO2 CO O3
ΠρόβλεψηΣυλλογή δεδομένων
O3 m
axNO
2 max
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Προ-επεξεργασία των δεδομένων
bull Αντιμετώπιση θορύβου
bull Αντικατάσταση ελλιπών τιμών
3Προ-επεξεργασία3Προ-επεξεργασία
Μελέτη θορύβου
bull 2 μοντέλα θορύβουndash Ύπαρξη θορύβου μόνο στις ιδιότητεςndash Ύπαρξη θορύβου και στις ιδιότητες και
στην εξαρτημένη μεταβλητή
bull Εκτίμηση απόκλισης τιμής ιδιότητας λόγω θορύβου
3Προ-επεξεργασία3Προ-επεξεργασία
piii zxx
Αποτελέσματα μελέτης θορύβου- 1ο μοντέλο
-2
-1
0
1
2
3
4
5
6
7
8
0 005 01 02 03 04 05
IB1 - Attribute IBk -K 9 - Attribute LinearRegression - Attribute M5Prime - Attribute NeuralNetwork - Attribute ZeroR - Attribute
Drop Page Fields Here
Average of Root mean squared error (diff)
Noise Level
Scheme
Noise Model
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα μελέτης θορύβου- 2ο μοντέλο
0
5
10
15
20
25
30
0 005 01 02 03 04 05
IB1 - AttributeClassVar IBk -K 9 - AttributeClassVar LinearRegression - AttributeClassVar
M5Prime - AttributeClassVar NeuralNetwork - AttributeClassVar ZeroR - AttributeClassVar
Drop Page Fields Here
Average of Root mean squared error (diff)
Noise Level
Scheme
Noise Model
3Προ-επεξεργασία3Προ-επεξεργασία
Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών
bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj
1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα
παραδείγματα που ανήκουν στην κλάση Υj
3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)
4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμών-RMSE
-012
-01
-008
-006
-004
-002
0
002
004
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Root mean squared error (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου
-25
-2
-15
-1
-05
0
05
1
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Time taken to build model (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Μείωση των διαστάσεων
bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Επιλογή των ιδιοτήτων57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
15
13
14
14
14
47
45
6
51
bull 2ν πιθανοί συνδυασμοί
bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Πως ορίζεται η ιδιότητα
bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό
μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης
του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Λόγοι επιλογής ιδιοτήτων
bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων
bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή
bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)
bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδοι Αντιμετώπισης
bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδος φιλτραρίσματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Υπολογισμός μέτρωνποιότητας των ιδιοτήτων
Επαύξηση ή μείωση των ιδιοτήτων
Είναι αποδεκτό τοαξιολογημένουποσύνολο
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Επιλογή νέου υποσυνόλουιδιοτήτων
Μέθοδοςφιλτραρίσματος
Γενετικός Αλγόριθμος
Μέθοδος περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Εκπαιδευμένο Μοντέλο
Σύνολοδεδομένων
Κατασκευή συνόλου δεδομένων
Αξιολογημένο Μοντέλο
Εκπαίδευση Αλγορίθμου
Αξιολόγηση Αλγορίθμου
Είναι αποδεκτό τοαξιολογημένο
μοντέλο
Επιλογή νέου υποσυνόλουιδιοτήτων
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Κ-κοντινότεροι γείτονες
Περιτύλιξη με Γενετικό Αλγόριθμο
bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων
bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου
ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων
ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας
γενετικούς τελεστές
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
11 22 33 4400
B1B1 B2B2 B3B3 B4B4 B5B5
Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων
Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με
κωδικό 104 (Γεωπονική) στις 5 μμ
000000 00110011 000000 1000010000 0001000010 0000000000 00
P = ΝΟ2 S = 104
F = αδιάφορο
H1 = 1700 O = 0
H2 = αδιάφορο
ΣημαίαΣυγκεντρωτικής ιδιότητας = 0
Επέλεξε τη μέση συγκέντρωση του
SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ
100100 01110111 000000 0001100011 1010010100 0001000010 11
P = ΝΟ2 S = 108
F = Μέση τιμή-Avg
H1 = 400 O = -2
H2 = 2100
ΣημαίαΣυγκεντρωτικής ιδιότητας = 1
Η Κωδικοποίηση του γενότυπου
Η συνάρτηση προσαρμογής
bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του
αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο
υποσύνολο ιδιοτήτων της λύσης
nA
iAb
nE
iEa
iAiEF
max
)(
max
)(1
))()((
a lt= 1 b lt= 1 a + b = 1
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Οι παράμετροι της συνάρτησης προσαρμογής a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE
bull et = Xt ndash Ft
bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής
bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
n
e
RMSE
n
tt
1
2
n
tt
n
ttt
X
Xe
WSE
1
2
1
2
Ρύθμιση του μεγέθους πληθυσμού
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Population Sizes
0
05
1
15
2
25
3
35
4
5 10 20 30 40 50 100
Population Size
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση συντελεστών a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Coefficient pairs
0
5
10
15
20
25
30
35
01 09 03 07 05 05 07 03 08 02 09 01 095 005
ab pairs
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage
0
05
1
15
2
25
3
35
10 30 40 50 60 70 80 90
Mutation rate ()
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers
0
05
1
15
2
25
3
35
4
1 2 3 4 5 8 10 15
Elite members
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeatures
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Η μέθοδος CFS
bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την
εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις
ιδιότητες του υποσυνόλου
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
)1( ii
cis
rkkk
rkG
Σύγκριση των δύο μεθόδων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
000
1000
2000
3000
4000
5000
6000
7000
8000
9000
ZeroR DecisionStump
DecisionTable
IB1 IB3 IB9 LinearRegression
M5Prime
GA Mean absolute error GA Root mean squared error
CFS Mean absolute error CFS Root mean squared error
Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης
bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης
ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART
bull Συνδυασμένος ταξινομητής
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το σύστημα ΠΛ ΝΕΜΟ (1)
Όμοιες περιπτώσεις
Επιλογέας κοντινών περιπτώσεων
Φίλτρο κοντινών περιπτώσεων
Προσαρμογέας κοντινών περιπτώσεων
Προβλέπτης λύσης
Προτεινόμενη λύση
ΝΕΜΟ
Βάση περιπτώσεων
Κοντινέςπεριπτώσεις
Βάση Γνώσης
Νέα περίπτωση
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία
αναστροφή
βροχόπτωση
άνεμος
NO στις 10 πμ
NO στις 9 πμ
NO στις 8 πμ
NO2 στις 10 πμ
NO2 στις 9 πμ
NO2 στις 8 πμ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Έξοδος
Το δέντρο απόφασης (1)NOat10
NOat10
NOat10
NOat10
Wind
NOat9
Rain
Inversion
NOat9
NO2at8 Wind
Radiation
1(26518)
1(235)
2(4412)
1(83) 2(104) 1(100)
2(101) 1(101)
2(10035)
3(5313)
4(80)
4(124)3(91)
lt=027 gt027
lt=021
gt067
gt021
lt=067
lt=04 gt04
lt=057 gt057
lt=066 gt066
lt=047 gt047
lt=021 gt021
=0 =1
lt=021 gt021 lt=08 gt08
lt=036 gt036
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το δέντρο απόφασης (2)
0
021
025
04 057
105 075
027
12
1 2 3
4
34
066
0
1
02
04
06
08
ΝΟ στις10πμ
Θερ
μο
κρα
σια
κή α
νασ
τρο
φή
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Ο συνδυασμένος ταξινομητής
bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (1)
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
134
38
522
122
93
8
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΝΕΜΟ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
Αποτελέσματα Πίνακες Σύγχυσης (2)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
40
4221
8 317
8
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΔΑ CART
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (3)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
42
8216
8 69
4 4
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΤΝΔ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (4)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
138
38
4124
122
13
2
6
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Στατιστικά για τους 4 αλγόριθμους
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
CART NeuralNet NEMO ML Ensemble
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Περιβαλλοντική Πληροφορική
bull Θέματαndash Ολοκληρωμένες πλατφόρμες αξιολόγησης και μελέτες
περιπτώσεωνndash Ανάλυση περιβαλλοντικών συστημάτωνndash Πρόβλεψη περιβαλλοντικών αλλαγώνndash Παρακολούθηση του περιβάλλοντος σε πραγματικό χρόνοndash Πιστοποίηση ποιότητας περιβαλλοντικών μοντέλωνndash Εφαρμογές μοντελοποίησης με agents και εξομοίωσης σε
περιβαλλοντικά συστήματα
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Περιβαλλοντική Πληροφορική
bull Πεδία Εφαρμογήςndash Ποιότητα Αέραndash Ποιότητα Εδάφουςndash Ποιότητα Υδάτωνndash Διαχείριση Αποβλήτων
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Αέρια Ρύπανση
bull Παρακολούθηση και πρόβλεψη των επιβλαβών ρύπωνndash Ο3
ndash ΝΟx
ndash PM10 Σωματίδιαndash Καπνός
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Τα προβλήματα του ΠΕΡΠΑ
bull Πρόβλεψη της μέγιστης συγκέντρωσης για τους ρύπουςndash ΝΟ2
ndash Ο3
bull Για τις χρονικές περιόδουςndash Ίδια ημέρα μετά τις 10 πμndash Επόμενη ημέρα
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Π1Π2 Πρόβλεψη την ίδια ημέρα
0
50
100
150
200
250
300
350
400
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
Hour
pp
b
0
20
40
60
80
100
120
140
pp
b
NO2 NO SO2 CO O3
ΠρόβλεψηΣυλλογή δεδομένων
O3 m
ax
NO
2 max
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Π3Π4 Πρόβλεψη για την επόμενη ημέρα
0
100
200
300
400
500
600
700
800
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
Hour
pp
b
0
5
10
15
20
25
30
35
40
pp
b
NO2 NO SO2 CO O3
ΠρόβλεψηΣυλλογή δεδομένων
O3 m
axNO
2 max
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Προ-επεξεργασία των δεδομένων
bull Αντιμετώπιση θορύβου
bull Αντικατάσταση ελλιπών τιμών
3Προ-επεξεργασία3Προ-επεξεργασία
Μελέτη θορύβου
bull 2 μοντέλα θορύβουndash Ύπαρξη θορύβου μόνο στις ιδιότητεςndash Ύπαρξη θορύβου και στις ιδιότητες και
στην εξαρτημένη μεταβλητή
bull Εκτίμηση απόκλισης τιμής ιδιότητας λόγω θορύβου
3Προ-επεξεργασία3Προ-επεξεργασία
piii zxx
Αποτελέσματα μελέτης θορύβου- 1ο μοντέλο
-2
-1
0
1
2
3
4
5
6
7
8
0 005 01 02 03 04 05
IB1 - Attribute IBk -K 9 - Attribute LinearRegression - Attribute M5Prime - Attribute NeuralNetwork - Attribute ZeroR - Attribute
Drop Page Fields Here
Average of Root mean squared error (diff)
Noise Level
Scheme
Noise Model
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα μελέτης θορύβου- 2ο μοντέλο
0
5
10
15
20
25
30
0 005 01 02 03 04 05
IB1 - AttributeClassVar IBk -K 9 - AttributeClassVar LinearRegression - AttributeClassVar
M5Prime - AttributeClassVar NeuralNetwork - AttributeClassVar ZeroR - AttributeClassVar
Drop Page Fields Here
Average of Root mean squared error (diff)
Noise Level
Scheme
Noise Model
3Προ-επεξεργασία3Προ-επεξεργασία
Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών
bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj
1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα
παραδείγματα που ανήκουν στην κλάση Υj
3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)
4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμών-RMSE
-012
-01
-008
-006
-004
-002
0
002
004
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Root mean squared error (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου
-25
-2
-15
-1
-05
0
05
1
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Time taken to build model (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Μείωση των διαστάσεων
bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Επιλογή των ιδιοτήτων57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
15
13
14
14
14
47
45
6
51
bull 2ν πιθανοί συνδυασμοί
bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Πως ορίζεται η ιδιότητα
bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό
μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης
του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Λόγοι επιλογής ιδιοτήτων
bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων
bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή
bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)
bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδοι Αντιμετώπισης
bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδος φιλτραρίσματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Υπολογισμός μέτρωνποιότητας των ιδιοτήτων
Επαύξηση ή μείωση των ιδιοτήτων
Είναι αποδεκτό τοαξιολογημένουποσύνολο
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Επιλογή νέου υποσυνόλουιδιοτήτων
Μέθοδοςφιλτραρίσματος
Γενετικός Αλγόριθμος
Μέθοδος περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Εκπαιδευμένο Μοντέλο
Σύνολοδεδομένων
Κατασκευή συνόλου δεδομένων
Αξιολογημένο Μοντέλο
Εκπαίδευση Αλγορίθμου
Αξιολόγηση Αλγορίθμου
Είναι αποδεκτό τοαξιολογημένο
μοντέλο
Επιλογή νέου υποσυνόλουιδιοτήτων
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Κ-κοντινότεροι γείτονες
Περιτύλιξη με Γενετικό Αλγόριθμο
bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων
bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου
ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων
ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας
γενετικούς τελεστές
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
11 22 33 4400
B1B1 B2B2 B3B3 B4B4 B5B5
Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων
Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με
κωδικό 104 (Γεωπονική) στις 5 μμ
000000 00110011 000000 1000010000 0001000010 0000000000 00
P = ΝΟ2 S = 104
F = αδιάφορο
H1 = 1700 O = 0
H2 = αδιάφορο
ΣημαίαΣυγκεντρωτικής ιδιότητας = 0
Επέλεξε τη μέση συγκέντρωση του
SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ
100100 01110111 000000 0001100011 1010010100 0001000010 11
P = ΝΟ2 S = 108
F = Μέση τιμή-Avg
H1 = 400 O = -2
H2 = 2100
ΣημαίαΣυγκεντρωτικής ιδιότητας = 1
Η Κωδικοποίηση του γενότυπου
Η συνάρτηση προσαρμογής
bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του
αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο
υποσύνολο ιδιοτήτων της λύσης
nA
iAb
nE
iEa
iAiEF
max
)(
max
)(1
))()((
a lt= 1 b lt= 1 a + b = 1
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Οι παράμετροι της συνάρτησης προσαρμογής a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE
bull et = Xt ndash Ft
bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής
bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
n
e
RMSE
n
tt
1
2
n
tt
n
ttt
X
Xe
WSE
1
2
1
2
Ρύθμιση του μεγέθους πληθυσμού
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Population Sizes
0
05
1
15
2
25
3
35
4
5 10 20 30 40 50 100
Population Size
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση συντελεστών a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Coefficient pairs
0
5
10
15
20
25
30
35
01 09 03 07 05 05 07 03 08 02 09 01 095 005
ab pairs
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage
0
05
1
15
2
25
3
35
10 30 40 50 60 70 80 90
Mutation rate ()
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers
0
05
1
15
2
25
3
35
4
1 2 3 4 5 8 10 15
Elite members
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeatures
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Η μέθοδος CFS
bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την
εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις
ιδιότητες του υποσυνόλου
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
)1( ii
cis
rkkk
rkG
Σύγκριση των δύο μεθόδων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
000
1000
2000
3000
4000
5000
6000
7000
8000
9000
ZeroR DecisionStump
DecisionTable
IB1 IB3 IB9 LinearRegression
M5Prime
GA Mean absolute error GA Root mean squared error
CFS Mean absolute error CFS Root mean squared error
Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης
bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης
ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART
bull Συνδυασμένος ταξινομητής
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το σύστημα ΠΛ ΝΕΜΟ (1)
Όμοιες περιπτώσεις
Επιλογέας κοντινών περιπτώσεων
Φίλτρο κοντινών περιπτώσεων
Προσαρμογέας κοντινών περιπτώσεων
Προβλέπτης λύσης
Προτεινόμενη λύση
ΝΕΜΟ
Βάση περιπτώσεων
Κοντινέςπεριπτώσεις
Βάση Γνώσης
Νέα περίπτωση
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία
αναστροφή
βροχόπτωση
άνεμος
NO στις 10 πμ
NO στις 9 πμ
NO στις 8 πμ
NO2 στις 10 πμ
NO2 στις 9 πμ
NO2 στις 8 πμ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Έξοδος
Το δέντρο απόφασης (1)NOat10
NOat10
NOat10
NOat10
Wind
NOat9
Rain
Inversion
NOat9
NO2at8 Wind
Radiation
1(26518)
1(235)
2(4412)
1(83) 2(104) 1(100)
2(101) 1(101)
2(10035)
3(5313)
4(80)
4(124)3(91)
lt=027 gt027
lt=021
gt067
gt021
lt=067
lt=04 gt04
lt=057 gt057
lt=066 gt066
lt=047 gt047
lt=021 gt021
=0 =1
lt=021 gt021 lt=08 gt08
lt=036 gt036
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το δέντρο απόφασης (2)
0
021
025
04 057
105 075
027
12
1 2 3
4
34
066
0
1
02
04
06
08
ΝΟ στις10πμ
Θερ
μο
κρα
σια
κή α
νασ
τρο
φή
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Ο συνδυασμένος ταξινομητής
bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (1)
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
134
38
522
122
93
8
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΝΕΜΟ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
Αποτελέσματα Πίνακες Σύγχυσης (2)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
40
4221
8 317
8
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΔΑ CART
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (3)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
42
8216
8 69
4 4
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΤΝΔ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (4)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
138
38
4124
122
13
2
6
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Στατιστικά για τους 4 αλγόριθμους
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
CART NeuralNet NEMO ML Ensemble
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Περιβαλλοντική Πληροφορική
bull Πεδία Εφαρμογήςndash Ποιότητα Αέραndash Ποιότητα Εδάφουςndash Ποιότητα Υδάτωνndash Διαχείριση Αποβλήτων
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Αέρια Ρύπανση
bull Παρακολούθηση και πρόβλεψη των επιβλαβών ρύπωνndash Ο3
ndash ΝΟx
ndash PM10 Σωματίδιαndash Καπνός
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Τα προβλήματα του ΠΕΡΠΑ
bull Πρόβλεψη της μέγιστης συγκέντρωσης για τους ρύπουςndash ΝΟ2
ndash Ο3
bull Για τις χρονικές περιόδουςndash Ίδια ημέρα μετά τις 10 πμndash Επόμενη ημέρα
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Π1Π2 Πρόβλεψη την ίδια ημέρα
0
50
100
150
200
250
300
350
400
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
Hour
pp
b
0
20
40
60
80
100
120
140
pp
b
NO2 NO SO2 CO O3
ΠρόβλεψηΣυλλογή δεδομένων
O3 m
ax
NO
2 max
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Π3Π4 Πρόβλεψη για την επόμενη ημέρα
0
100
200
300
400
500
600
700
800
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
Hour
pp
b
0
5
10
15
20
25
30
35
40
pp
b
NO2 NO SO2 CO O3
ΠρόβλεψηΣυλλογή δεδομένων
O3 m
axNO
2 max
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Προ-επεξεργασία των δεδομένων
bull Αντιμετώπιση θορύβου
bull Αντικατάσταση ελλιπών τιμών
3Προ-επεξεργασία3Προ-επεξεργασία
Μελέτη θορύβου
bull 2 μοντέλα θορύβουndash Ύπαρξη θορύβου μόνο στις ιδιότητεςndash Ύπαρξη θορύβου και στις ιδιότητες και
στην εξαρτημένη μεταβλητή
bull Εκτίμηση απόκλισης τιμής ιδιότητας λόγω θορύβου
3Προ-επεξεργασία3Προ-επεξεργασία
piii zxx
Αποτελέσματα μελέτης θορύβου- 1ο μοντέλο
-2
-1
0
1
2
3
4
5
6
7
8
0 005 01 02 03 04 05
IB1 - Attribute IBk -K 9 - Attribute LinearRegression - Attribute M5Prime - Attribute NeuralNetwork - Attribute ZeroR - Attribute
Drop Page Fields Here
Average of Root mean squared error (diff)
Noise Level
Scheme
Noise Model
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα μελέτης θορύβου- 2ο μοντέλο
0
5
10
15
20
25
30
0 005 01 02 03 04 05
IB1 - AttributeClassVar IBk -K 9 - AttributeClassVar LinearRegression - AttributeClassVar
M5Prime - AttributeClassVar NeuralNetwork - AttributeClassVar ZeroR - AttributeClassVar
Drop Page Fields Here
Average of Root mean squared error (diff)
Noise Level
Scheme
Noise Model
3Προ-επεξεργασία3Προ-επεξεργασία
Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών
bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj
1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα
παραδείγματα που ανήκουν στην κλάση Υj
3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)
4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμών-RMSE
-012
-01
-008
-006
-004
-002
0
002
004
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Root mean squared error (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου
-25
-2
-15
-1
-05
0
05
1
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Time taken to build model (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Μείωση των διαστάσεων
bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Επιλογή των ιδιοτήτων57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
15
13
14
14
14
47
45
6
51
bull 2ν πιθανοί συνδυασμοί
bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Πως ορίζεται η ιδιότητα
bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό
μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης
του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Λόγοι επιλογής ιδιοτήτων
bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων
bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή
bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)
bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδοι Αντιμετώπισης
bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδος φιλτραρίσματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Υπολογισμός μέτρωνποιότητας των ιδιοτήτων
Επαύξηση ή μείωση των ιδιοτήτων
Είναι αποδεκτό τοαξιολογημένουποσύνολο
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Επιλογή νέου υποσυνόλουιδιοτήτων
Μέθοδοςφιλτραρίσματος
Γενετικός Αλγόριθμος
Μέθοδος περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Εκπαιδευμένο Μοντέλο
Σύνολοδεδομένων
Κατασκευή συνόλου δεδομένων
Αξιολογημένο Μοντέλο
Εκπαίδευση Αλγορίθμου
Αξιολόγηση Αλγορίθμου
Είναι αποδεκτό τοαξιολογημένο
μοντέλο
Επιλογή νέου υποσυνόλουιδιοτήτων
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Κ-κοντινότεροι γείτονες
Περιτύλιξη με Γενετικό Αλγόριθμο
bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων
bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου
ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων
ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας
γενετικούς τελεστές
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
11 22 33 4400
B1B1 B2B2 B3B3 B4B4 B5B5
Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων
Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με
κωδικό 104 (Γεωπονική) στις 5 μμ
000000 00110011 000000 1000010000 0001000010 0000000000 00
P = ΝΟ2 S = 104
F = αδιάφορο
H1 = 1700 O = 0
H2 = αδιάφορο
ΣημαίαΣυγκεντρωτικής ιδιότητας = 0
Επέλεξε τη μέση συγκέντρωση του
SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ
100100 01110111 000000 0001100011 1010010100 0001000010 11
P = ΝΟ2 S = 108
F = Μέση τιμή-Avg
H1 = 400 O = -2
H2 = 2100
ΣημαίαΣυγκεντρωτικής ιδιότητας = 1
Η Κωδικοποίηση του γενότυπου
Η συνάρτηση προσαρμογής
bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του
αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο
υποσύνολο ιδιοτήτων της λύσης
nA
iAb
nE
iEa
iAiEF
max
)(
max
)(1
))()((
a lt= 1 b lt= 1 a + b = 1
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Οι παράμετροι της συνάρτησης προσαρμογής a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE
bull et = Xt ndash Ft
bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής
bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
n
e
RMSE
n
tt
1
2
n
tt
n
ttt
X
Xe
WSE
1
2
1
2
Ρύθμιση του μεγέθους πληθυσμού
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Population Sizes
0
05
1
15
2
25
3
35
4
5 10 20 30 40 50 100
Population Size
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση συντελεστών a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Coefficient pairs
0
5
10
15
20
25
30
35
01 09 03 07 05 05 07 03 08 02 09 01 095 005
ab pairs
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage
0
05
1
15
2
25
3
35
10 30 40 50 60 70 80 90
Mutation rate ()
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers
0
05
1
15
2
25
3
35
4
1 2 3 4 5 8 10 15
Elite members
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeatures
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Η μέθοδος CFS
bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την
εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις
ιδιότητες του υποσυνόλου
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
)1( ii
cis
rkkk
rkG
Σύγκριση των δύο μεθόδων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
000
1000
2000
3000
4000
5000
6000
7000
8000
9000
ZeroR DecisionStump
DecisionTable
IB1 IB3 IB9 LinearRegression
M5Prime
GA Mean absolute error GA Root mean squared error
CFS Mean absolute error CFS Root mean squared error
Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης
bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης
ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART
bull Συνδυασμένος ταξινομητής
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το σύστημα ΠΛ ΝΕΜΟ (1)
Όμοιες περιπτώσεις
Επιλογέας κοντινών περιπτώσεων
Φίλτρο κοντινών περιπτώσεων
Προσαρμογέας κοντινών περιπτώσεων
Προβλέπτης λύσης
Προτεινόμενη λύση
ΝΕΜΟ
Βάση περιπτώσεων
Κοντινέςπεριπτώσεις
Βάση Γνώσης
Νέα περίπτωση
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία
αναστροφή
βροχόπτωση
άνεμος
NO στις 10 πμ
NO στις 9 πμ
NO στις 8 πμ
NO2 στις 10 πμ
NO2 στις 9 πμ
NO2 στις 8 πμ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Έξοδος
Το δέντρο απόφασης (1)NOat10
NOat10
NOat10
NOat10
Wind
NOat9
Rain
Inversion
NOat9
NO2at8 Wind
Radiation
1(26518)
1(235)
2(4412)
1(83) 2(104) 1(100)
2(101) 1(101)
2(10035)
3(5313)
4(80)
4(124)3(91)
lt=027 gt027
lt=021
gt067
gt021
lt=067
lt=04 gt04
lt=057 gt057
lt=066 gt066
lt=047 gt047
lt=021 gt021
=0 =1
lt=021 gt021 lt=08 gt08
lt=036 gt036
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το δέντρο απόφασης (2)
0
021
025
04 057
105 075
027
12
1 2 3
4
34
066
0
1
02
04
06
08
ΝΟ στις10πμ
Θερ
μο
κρα
σια
κή α
νασ
τρο
φή
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Ο συνδυασμένος ταξινομητής
bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (1)
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
134
38
522
122
93
8
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΝΕΜΟ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
Αποτελέσματα Πίνακες Σύγχυσης (2)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
40
4221
8 317
8
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΔΑ CART
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (3)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
42
8216
8 69
4 4
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΤΝΔ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (4)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
138
38
4124
122
13
2
6
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Στατιστικά για τους 4 αλγόριθμους
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
CART NeuralNet NEMO ML Ensemble
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Αέρια Ρύπανση
bull Παρακολούθηση και πρόβλεψη των επιβλαβών ρύπωνndash Ο3
ndash ΝΟx
ndash PM10 Σωματίδιαndash Καπνός
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Τα προβλήματα του ΠΕΡΠΑ
bull Πρόβλεψη της μέγιστης συγκέντρωσης για τους ρύπουςndash ΝΟ2
ndash Ο3
bull Για τις χρονικές περιόδουςndash Ίδια ημέρα μετά τις 10 πμndash Επόμενη ημέρα
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Π1Π2 Πρόβλεψη την ίδια ημέρα
0
50
100
150
200
250
300
350
400
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
Hour
pp
b
0
20
40
60
80
100
120
140
pp
b
NO2 NO SO2 CO O3
ΠρόβλεψηΣυλλογή δεδομένων
O3 m
ax
NO
2 max
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Π3Π4 Πρόβλεψη για την επόμενη ημέρα
0
100
200
300
400
500
600
700
800
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
Hour
pp
b
0
5
10
15
20
25
30
35
40
pp
b
NO2 NO SO2 CO O3
ΠρόβλεψηΣυλλογή δεδομένων
O3 m
axNO
2 max
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Προ-επεξεργασία των δεδομένων
bull Αντιμετώπιση θορύβου
bull Αντικατάσταση ελλιπών τιμών
3Προ-επεξεργασία3Προ-επεξεργασία
Μελέτη θορύβου
bull 2 μοντέλα θορύβουndash Ύπαρξη θορύβου μόνο στις ιδιότητεςndash Ύπαρξη θορύβου και στις ιδιότητες και
στην εξαρτημένη μεταβλητή
bull Εκτίμηση απόκλισης τιμής ιδιότητας λόγω θορύβου
3Προ-επεξεργασία3Προ-επεξεργασία
piii zxx
Αποτελέσματα μελέτης θορύβου- 1ο μοντέλο
-2
-1
0
1
2
3
4
5
6
7
8
0 005 01 02 03 04 05
IB1 - Attribute IBk -K 9 - Attribute LinearRegression - Attribute M5Prime - Attribute NeuralNetwork - Attribute ZeroR - Attribute
Drop Page Fields Here
Average of Root mean squared error (diff)
Noise Level
Scheme
Noise Model
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα μελέτης θορύβου- 2ο μοντέλο
0
5
10
15
20
25
30
0 005 01 02 03 04 05
IB1 - AttributeClassVar IBk -K 9 - AttributeClassVar LinearRegression - AttributeClassVar
M5Prime - AttributeClassVar NeuralNetwork - AttributeClassVar ZeroR - AttributeClassVar
Drop Page Fields Here
Average of Root mean squared error (diff)
Noise Level
Scheme
Noise Model
3Προ-επεξεργασία3Προ-επεξεργασία
Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών
bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj
1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα
παραδείγματα που ανήκουν στην κλάση Υj
3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)
4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμών-RMSE
-012
-01
-008
-006
-004
-002
0
002
004
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Root mean squared error (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου
-25
-2
-15
-1
-05
0
05
1
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Time taken to build model (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Μείωση των διαστάσεων
bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Επιλογή των ιδιοτήτων57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
15
13
14
14
14
47
45
6
51
bull 2ν πιθανοί συνδυασμοί
bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Πως ορίζεται η ιδιότητα
bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό
μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης
του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Λόγοι επιλογής ιδιοτήτων
bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων
bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή
bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)
bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδοι Αντιμετώπισης
bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδος φιλτραρίσματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Υπολογισμός μέτρωνποιότητας των ιδιοτήτων
Επαύξηση ή μείωση των ιδιοτήτων
Είναι αποδεκτό τοαξιολογημένουποσύνολο
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Επιλογή νέου υποσυνόλουιδιοτήτων
Μέθοδοςφιλτραρίσματος
Γενετικός Αλγόριθμος
Μέθοδος περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Εκπαιδευμένο Μοντέλο
Σύνολοδεδομένων
Κατασκευή συνόλου δεδομένων
Αξιολογημένο Μοντέλο
Εκπαίδευση Αλγορίθμου
Αξιολόγηση Αλγορίθμου
Είναι αποδεκτό τοαξιολογημένο
μοντέλο
Επιλογή νέου υποσυνόλουιδιοτήτων
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Κ-κοντινότεροι γείτονες
Περιτύλιξη με Γενετικό Αλγόριθμο
bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων
bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου
ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων
ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας
γενετικούς τελεστές
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
11 22 33 4400
B1B1 B2B2 B3B3 B4B4 B5B5
Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων
Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με
κωδικό 104 (Γεωπονική) στις 5 μμ
000000 00110011 000000 1000010000 0001000010 0000000000 00
P = ΝΟ2 S = 104
F = αδιάφορο
H1 = 1700 O = 0
H2 = αδιάφορο
ΣημαίαΣυγκεντρωτικής ιδιότητας = 0
Επέλεξε τη μέση συγκέντρωση του
SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ
100100 01110111 000000 0001100011 1010010100 0001000010 11
P = ΝΟ2 S = 108
F = Μέση τιμή-Avg
H1 = 400 O = -2
H2 = 2100
ΣημαίαΣυγκεντρωτικής ιδιότητας = 1
Η Κωδικοποίηση του γενότυπου
Η συνάρτηση προσαρμογής
bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του
αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο
υποσύνολο ιδιοτήτων της λύσης
nA
iAb
nE
iEa
iAiEF
max
)(
max
)(1
))()((
a lt= 1 b lt= 1 a + b = 1
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Οι παράμετροι της συνάρτησης προσαρμογής a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE
bull et = Xt ndash Ft
bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής
bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
n
e
RMSE
n
tt
1
2
n
tt
n
ttt
X
Xe
WSE
1
2
1
2
Ρύθμιση του μεγέθους πληθυσμού
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Population Sizes
0
05
1
15
2
25
3
35
4
5 10 20 30 40 50 100
Population Size
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση συντελεστών a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Coefficient pairs
0
5
10
15
20
25
30
35
01 09 03 07 05 05 07 03 08 02 09 01 095 005
ab pairs
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage
0
05
1
15
2
25
3
35
10 30 40 50 60 70 80 90
Mutation rate ()
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers
0
05
1
15
2
25
3
35
4
1 2 3 4 5 8 10 15
Elite members
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeatures
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Η μέθοδος CFS
bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την
εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις
ιδιότητες του υποσυνόλου
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
)1( ii
cis
rkkk
rkG
Σύγκριση των δύο μεθόδων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
000
1000
2000
3000
4000
5000
6000
7000
8000
9000
ZeroR DecisionStump
DecisionTable
IB1 IB3 IB9 LinearRegression
M5Prime
GA Mean absolute error GA Root mean squared error
CFS Mean absolute error CFS Root mean squared error
Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης
bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης
ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART
bull Συνδυασμένος ταξινομητής
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το σύστημα ΠΛ ΝΕΜΟ (1)
Όμοιες περιπτώσεις
Επιλογέας κοντινών περιπτώσεων
Φίλτρο κοντινών περιπτώσεων
Προσαρμογέας κοντινών περιπτώσεων
Προβλέπτης λύσης
Προτεινόμενη λύση
ΝΕΜΟ
Βάση περιπτώσεων
Κοντινέςπεριπτώσεις
Βάση Γνώσης
Νέα περίπτωση
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία
αναστροφή
βροχόπτωση
άνεμος
NO στις 10 πμ
NO στις 9 πμ
NO στις 8 πμ
NO2 στις 10 πμ
NO2 στις 9 πμ
NO2 στις 8 πμ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Έξοδος
Το δέντρο απόφασης (1)NOat10
NOat10
NOat10
NOat10
Wind
NOat9
Rain
Inversion
NOat9
NO2at8 Wind
Radiation
1(26518)
1(235)
2(4412)
1(83) 2(104) 1(100)
2(101) 1(101)
2(10035)
3(5313)
4(80)
4(124)3(91)
lt=027 gt027
lt=021
gt067
gt021
lt=067
lt=04 gt04
lt=057 gt057
lt=066 gt066
lt=047 gt047
lt=021 gt021
=0 =1
lt=021 gt021 lt=08 gt08
lt=036 gt036
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το δέντρο απόφασης (2)
0
021
025
04 057
105 075
027
12
1 2 3
4
34
066
0
1
02
04
06
08
ΝΟ στις10πμ
Θερ
μο
κρα
σια
κή α
νασ
τρο
φή
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Ο συνδυασμένος ταξινομητής
bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (1)
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
134
38
522
122
93
8
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΝΕΜΟ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
Αποτελέσματα Πίνακες Σύγχυσης (2)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
40
4221
8 317
8
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΔΑ CART
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (3)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
42
8216
8 69
4 4
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΤΝΔ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (4)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
138
38
4124
122
13
2
6
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Στατιστικά για τους 4 αλγόριθμους
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
CART NeuralNet NEMO ML Ensemble
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Τα προβλήματα του ΠΕΡΠΑ
bull Πρόβλεψη της μέγιστης συγκέντρωσης για τους ρύπουςndash ΝΟ2
ndash Ο3
bull Για τις χρονικές περιόδουςndash Ίδια ημέρα μετά τις 10 πμndash Επόμενη ημέρα
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Π1Π2 Πρόβλεψη την ίδια ημέρα
0
50
100
150
200
250
300
350
400
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
Hour
pp
b
0
20
40
60
80
100
120
140
pp
b
NO2 NO SO2 CO O3
ΠρόβλεψηΣυλλογή δεδομένων
O3 m
ax
NO
2 max
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Π3Π4 Πρόβλεψη για την επόμενη ημέρα
0
100
200
300
400
500
600
700
800
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
Hour
pp
b
0
5
10
15
20
25
30
35
40
pp
b
NO2 NO SO2 CO O3
ΠρόβλεψηΣυλλογή δεδομένων
O3 m
axNO
2 max
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Προ-επεξεργασία των δεδομένων
bull Αντιμετώπιση θορύβου
bull Αντικατάσταση ελλιπών τιμών
3Προ-επεξεργασία3Προ-επεξεργασία
Μελέτη θορύβου
bull 2 μοντέλα θορύβουndash Ύπαρξη θορύβου μόνο στις ιδιότητεςndash Ύπαρξη θορύβου και στις ιδιότητες και
στην εξαρτημένη μεταβλητή
bull Εκτίμηση απόκλισης τιμής ιδιότητας λόγω θορύβου
3Προ-επεξεργασία3Προ-επεξεργασία
piii zxx
Αποτελέσματα μελέτης θορύβου- 1ο μοντέλο
-2
-1
0
1
2
3
4
5
6
7
8
0 005 01 02 03 04 05
IB1 - Attribute IBk -K 9 - Attribute LinearRegression - Attribute M5Prime - Attribute NeuralNetwork - Attribute ZeroR - Attribute
Drop Page Fields Here
Average of Root mean squared error (diff)
Noise Level
Scheme
Noise Model
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα μελέτης θορύβου- 2ο μοντέλο
0
5
10
15
20
25
30
0 005 01 02 03 04 05
IB1 - AttributeClassVar IBk -K 9 - AttributeClassVar LinearRegression - AttributeClassVar
M5Prime - AttributeClassVar NeuralNetwork - AttributeClassVar ZeroR - AttributeClassVar
Drop Page Fields Here
Average of Root mean squared error (diff)
Noise Level
Scheme
Noise Model
3Προ-επεξεργασία3Προ-επεξεργασία
Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών
bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj
1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα
παραδείγματα που ανήκουν στην κλάση Υj
3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)
4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμών-RMSE
-012
-01
-008
-006
-004
-002
0
002
004
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Root mean squared error (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου
-25
-2
-15
-1
-05
0
05
1
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Time taken to build model (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Μείωση των διαστάσεων
bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Επιλογή των ιδιοτήτων57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
15
13
14
14
14
47
45
6
51
bull 2ν πιθανοί συνδυασμοί
bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Πως ορίζεται η ιδιότητα
bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό
μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης
του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Λόγοι επιλογής ιδιοτήτων
bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων
bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή
bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)
bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδοι Αντιμετώπισης
bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδος φιλτραρίσματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Υπολογισμός μέτρωνποιότητας των ιδιοτήτων
Επαύξηση ή μείωση των ιδιοτήτων
Είναι αποδεκτό τοαξιολογημένουποσύνολο
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Επιλογή νέου υποσυνόλουιδιοτήτων
Μέθοδοςφιλτραρίσματος
Γενετικός Αλγόριθμος
Μέθοδος περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Εκπαιδευμένο Μοντέλο
Σύνολοδεδομένων
Κατασκευή συνόλου δεδομένων
Αξιολογημένο Μοντέλο
Εκπαίδευση Αλγορίθμου
Αξιολόγηση Αλγορίθμου
Είναι αποδεκτό τοαξιολογημένο
μοντέλο
Επιλογή νέου υποσυνόλουιδιοτήτων
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Κ-κοντινότεροι γείτονες
Περιτύλιξη με Γενετικό Αλγόριθμο
bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων
bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου
ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων
ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας
γενετικούς τελεστές
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
11 22 33 4400
B1B1 B2B2 B3B3 B4B4 B5B5
Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων
Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με
κωδικό 104 (Γεωπονική) στις 5 μμ
000000 00110011 000000 1000010000 0001000010 0000000000 00
P = ΝΟ2 S = 104
F = αδιάφορο
H1 = 1700 O = 0
H2 = αδιάφορο
ΣημαίαΣυγκεντρωτικής ιδιότητας = 0
Επέλεξε τη μέση συγκέντρωση του
SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ
100100 01110111 000000 0001100011 1010010100 0001000010 11
P = ΝΟ2 S = 108
F = Μέση τιμή-Avg
H1 = 400 O = -2
H2 = 2100
ΣημαίαΣυγκεντρωτικής ιδιότητας = 1
Η Κωδικοποίηση του γενότυπου
Η συνάρτηση προσαρμογής
bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του
αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο
υποσύνολο ιδιοτήτων της λύσης
nA
iAb
nE
iEa
iAiEF
max
)(
max
)(1
))()((
a lt= 1 b lt= 1 a + b = 1
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Οι παράμετροι της συνάρτησης προσαρμογής a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE
bull et = Xt ndash Ft
bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής
bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
n
e
RMSE
n
tt
1
2
n
tt
n
ttt
X
Xe
WSE
1
2
1
2
Ρύθμιση του μεγέθους πληθυσμού
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Population Sizes
0
05
1
15
2
25
3
35
4
5 10 20 30 40 50 100
Population Size
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση συντελεστών a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Coefficient pairs
0
5
10
15
20
25
30
35
01 09 03 07 05 05 07 03 08 02 09 01 095 005
ab pairs
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage
0
05
1
15
2
25
3
35
10 30 40 50 60 70 80 90
Mutation rate ()
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers
0
05
1
15
2
25
3
35
4
1 2 3 4 5 8 10 15
Elite members
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeatures
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Η μέθοδος CFS
bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την
εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις
ιδιότητες του υποσυνόλου
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
)1( ii
cis
rkkk
rkG
Σύγκριση των δύο μεθόδων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
000
1000
2000
3000
4000
5000
6000
7000
8000
9000
ZeroR DecisionStump
DecisionTable
IB1 IB3 IB9 LinearRegression
M5Prime
GA Mean absolute error GA Root mean squared error
CFS Mean absolute error CFS Root mean squared error
Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης
bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης
ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART
bull Συνδυασμένος ταξινομητής
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το σύστημα ΠΛ ΝΕΜΟ (1)
Όμοιες περιπτώσεις
Επιλογέας κοντινών περιπτώσεων
Φίλτρο κοντινών περιπτώσεων
Προσαρμογέας κοντινών περιπτώσεων
Προβλέπτης λύσης
Προτεινόμενη λύση
ΝΕΜΟ
Βάση περιπτώσεων
Κοντινέςπεριπτώσεις
Βάση Γνώσης
Νέα περίπτωση
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία
αναστροφή
βροχόπτωση
άνεμος
NO στις 10 πμ
NO στις 9 πμ
NO στις 8 πμ
NO2 στις 10 πμ
NO2 στις 9 πμ
NO2 στις 8 πμ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Έξοδος
Το δέντρο απόφασης (1)NOat10
NOat10
NOat10
NOat10
Wind
NOat9
Rain
Inversion
NOat9
NO2at8 Wind
Radiation
1(26518)
1(235)
2(4412)
1(83) 2(104) 1(100)
2(101) 1(101)
2(10035)
3(5313)
4(80)
4(124)3(91)
lt=027 gt027
lt=021
gt067
gt021
lt=067
lt=04 gt04
lt=057 gt057
lt=066 gt066
lt=047 gt047
lt=021 gt021
=0 =1
lt=021 gt021 lt=08 gt08
lt=036 gt036
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το δέντρο απόφασης (2)
0
021
025
04 057
105 075
027
12
1 2 3
4
34
066
0
1
02
04
06
08
ΝΟ στις10πμ
Θερ
μο
κρα
σια
κή α
νασ
τρο
φή
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Ο συνδυασμένος ταξινομητής
bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (1)
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
134
38
522
122
93
8
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΝΕΜΟ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
Αποτελέσματα Πίνακες Σύγχυσης (2)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
40
4221
8 317
8
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΔΑ CART
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (3)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
42
8216
8 69
4 4
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΤΝΔ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (4)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
138
38
4124
122
13
2
6
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Στατιστικά για τους 4 αλγόριθμους
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
CART NeuralNet NEMO ML Ensemble
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Π1Π2 Πρόβλεψη την ίδια ημέρα
0
50
100
150
200
250
300
350
400
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
Hour
pp
b
0
20
40
60
80
100
120
140
pp
b
NO2 NO SO2 CO O3
ΠρόβλεψηΣυλλογή δεδομένων
O3 m
ax
NO
2 max
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Π3Π4 Πρόβλεψη για την επόμενη ημέρα
0
100
200
300
400
500
600
700
800
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
Hour
pp
b
0
5
10
15
20
25
30
35
40
pp
b
NO2 NO SO2 CO O3
ΠρόβλεψηΣυλλογή δεδομένων
O3 m
axNO
2 max
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Προ-επεξεργασία των δεδομένων
bull Αντιμετώπιση θορύβου
bull Αντικατάσταση ελλιπών τιμών
3Προ-επεξεργασία3Προ-επεξεργασία
Μελέτη θορύβου
bull 2 μοντέλα θορύβουndash Ύπαρξη θορύβου μόνο στις ιδιότητεςndash Ύπαρξη θορύβου και στις ιδιότητες και
στην εξαρτημένη μεταβλητή
bull Εκτίμηση απόκλισης τιμής ιδιότητας λόγω θορύβου
3Προ-επεξεργασία3Προ-επεξεργασία
piii zxx
Αποτελέσματα μελέτης θορύβου- 1ο μοντέλο
-2
-1
0
1
2
3
4
5
6
7
8
0 005 01 02 03 04 05
IB1 - Attribute IBk -K 9 - Attribute LinearRegression - Attribute M5Prime - Attribute NeuralNetwork - Attribute ZeroR - Attribute
Drop Page Fields Here
Average of Root mean squared error (diff)
Noise Level
Scheme
Noise Model
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα μελέτης θορύβου- 2ο μοντέλο
0
5
10
15
20
25
30
0 005 01 02 03 04 05
IB1 - AttributeClassVar IBk -K 9 - AttributeClassVar LinearRegression - AttributeClassVar
M5Prime - AttributeClassVar NeuralNetwork - AttributeClassVar ZeroR - AttributeClassVar
Drop Page Fields Here
Average of Root mean squared error (diff)
Noise Level
Scheme
Noise Model
3Προ-επεξεργασία3Προ-επεξεργασία
Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών
bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj
1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα
παραδείγματα που ανήκουν στην κλάση Υj
3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)
4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμών-RMSE
-012
-01
-008
-006
-004
-002
0
002
004
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Root mean squared error (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου
-25
-2
-15
-1
-05
0
05
1
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Time taken to build model (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Μείωση των διαστάσεων
bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Επιλογή των ιδιοτήτων57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
15
13
14
14
14
47
45
6
51
bull 2ν πιθανοί συνδυασμοί
bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Πως ορίζεται η ιδιότητα
bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό
μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης
του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Λόγοι επιλογής ιδιοτήτων
bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων
bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή
bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)
bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδοι Αντιμετώπισης
bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδος φιλτραρίσματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Υπολογισμός μέτρωνποιότητας των ιδιοτήτων
Επαύξηση ή μείωση των ιδιοτήτων
Είναι αποδεκτό τοαξιολογημένουποσύνολο
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Επιλογή νέου υποσυνόλουιδιοτήτων
Μέθοδοςφιλτραρίσματος
Γενετικός Αλγόριθμος
Μέθοδος περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Εκπαιδευμένο Μοντέλο
Σύνολοδεδομένων
Κατασκευή συνόλου δεδομένων
Αξιολογημένο Μοντέλο
Εκπαίδευση Αλγορίθμου
Αξιολόγηση Αλγορίθμου
Είναι αποδεκτό τοαξιολογημένο
μοντέλο
Επιλογή νέου υποσυνόλουιδιοτήτων
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Κ-κοντινότεροι γείτονες
Περιτύλιξη με Γενετικό Αλγόριθμο
bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων
bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου
ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων
ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας
γενετικούς τελεστές
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
11 22 33 4400
B1B1 B2B2 B3B3 B4B4 B5B5
Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων
Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με
κωδικό 104 (Γεωπονική) στις 5 μμ
000000 00110011 000000 1000010000 0001000010 0000000000 00
P = ΝΟ2 S = 104
F = αδιάφορο
H1 = 1700 O = 0
H2 = αδιάφορο
ΣημαίαΣυγκεντρωτικής ιδιότητας = 0
Επέλεξε τη μέση συγκέντρωση του
SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ
100100 01110111 000000 0001100011 1010010100 0001000010 11
P = ΝΟ2 S = 108
F = Μέση τιμή-Avg
H1 = 400 O = -2
H2 = 2100
ΣημαίαΣυγκεντρωτικής ιδιότητας = 1
Η Κωδικοποίηση του γενότυπου
Η συνάρτηση προσαρμογής
bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του
αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο
υποσύνολο ιδιοτήτων της λύσης
nA
iAb
nE
iEa
iAiEF
max
)(
max
)(1
))()((
a lt= 1 b lt= 1 a + b = 1
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Οι παράμετροι της συνάρτησης προσαρμογής a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE
bull et = Xt ndash Ft
bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής
bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
n
e
RMSE
n
tt
1
2
n
tt
n
ttt
X
Xe
WSE
1
2
1
2
Ρύθμιση του μεγέθους πληθυσμού
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Population Sizes
0
05
1
15
2
25
3
35
4
5 10 20 30 40 50 100
Population Size
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση συντελεστών a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Coefficient pairs
0
5
10
15
20
25
30
35
01 09 03 07 05 05 07 03 08 02 09 01 095 005
ab pairs
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage
0
05
1
15
2
25
3
35
10 30 40 50 60 70 80 90
Mutation rate ()
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers
0
05
1
15
2
25
3
35
4
1 2 3 4 5 8 10 15
Elite members
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeatures
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Η μέθοδος CFS
bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την
εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις
ιδιότητες του υποσυνόλου
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
)1( ii
cis
rkkk
rkG
Σύγκριση των δύο μεθόδων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
000
1000
2000
3000
4000
5000
6000
7000
8000
9000
ZeroR DecisionStump
DecisionTable
IB1 IB3 IB9 LinearRegression
M5Prime
GA Mean absolute error GA Root mean squared error
CFS Mean absolute error CFS Root mean squared error
Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης
bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης
ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART
bull Συνδυασμένος ταξινομητής
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το σύστημα ΠΛ ΝΕΜΟ (1)
Όμοιες περιπτώσεις
Επιλογέας κοντινών περιπτώσεων
Φίλτρο κοντινών περιπτώσεων
Προσαρμογέας κοντινών περιπτώσεων
Προβλέπτης λύσης
Προτεινόμενη λύση
ΝΕΜΟ
Βάση περιπτώσεων
Κοντινέςπεριπτώσεις
Βάση Γνώσης
Νέα περίπτωση
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία
αναστροφή
βροχόπτωση
άνεμος
NO στις 10 πμ
NO στις 9 πμ
NO στις 8 πμ
NO2 στις 10 πμ
NO2 στις 9 πμ
NO2 στις 8 πμ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Έξοδος
Το δέντρο απόφασης (1)NOat10
NOat10
NOat10
NOat10
Wind
NOat9
Rain
Inversion
NOat9
NO2at8 Wind
Radiation
1(26518)
1(235)
2(4412)
1(83) 2(104) 1(100)
2(101) 1(101)
2(10035)
3(5313)
4(80)
4(124)3(91)
lt=027 gt027
lt=021
gt067
gt021
lt=067
lt=04 gt04
lt=057 gt057
lt=066 gt066
lt=047 gt047
lt=021 gt021
=0 =1
lt=021 gt021 lt=08 gt08
lt=036 gt036
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το δέντρο απόφασης (2)
0
021
025
04 057
105 075
027
12
1 2 3
4
34
066
0
1
02
04
06
08
ΝΟ στις10πμ
Θερ
μο
κρα
σια
κή α
νασ
τρο
φή
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Ο συνδυασμένος ταξινομητής
bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (1)
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
134
38
522
122
93
8
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΝΕΜΟ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
Αποτελέσματα Πίνακες Σύγχυσης (2)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
40
4221
8 317
8
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΔΑ CART
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (3)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
42
8216
8 69
4 4
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΤΝΔ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (4)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
138
38
4124
122
13
2
6
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Στατιστικά για τους 4 αλγόριθμους
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
CART NeuralNet NEMO ML Ensemble
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Π3Π4 Πρόβλεψη για την επόμενη ημέρα
0
100
200
300
400
500
600
700
800
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
Hour
pp
b
0
5
10
15
20
25
30
35
40
pp
b
NO2 NO SO2 CO O3
ΠρόβλεψηΣυλλογή δεδομένων
O3 m
axNO
2 max
2Περιβαλλοντική Πληροφορική2Περιβαλλοντική Πληροφορική
Προ-επεξεργασία των δεδομένων
bull Αντιμετώπιση θορύβου
bull Αντικατάσταση ελλιπών τιμών
3Προ-επεξεργασία3Προ-επεξεργασία
Μελέτη θορύβου
bull 2 μοντέλα θορύβουndash Ύπαρξη θορύβου μόνο στις ιδιότητεςndash Ύπαρξη θορύβου και στις ιδιότητες και
στην εξαρτημένη μεταβλητή
bull Εκτίμηση απόκλισης τιμής ιδιότητας λόγω θορύβου
3Προ-επεξεργασία3Προ-επεξεργασία
piii zxx
Αποτελέσματα μελέτης θορύβου- 1ο μοντέλο
-2
-1
0
1
2
3
4
5
6
7
8
0 005 01 02 03 04 05
IB1 - Attribute IBk -K 9 - Attribute LinearRegression - Attribute M5Prime - Attribute NeuralNetwork - Attribute ZeroR - Attribute
Drop Page Fields Here
Average of Root mean squared error (diff)
Noise Level
Scheme
Noise Model
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα μελέτης θορύβου- 2ο μοντέλο
0
5
10
15
20
25
30
0 005 01 02 03 04 05
IB1 - AttributeClassVar IBk -K 9 - AttributeClassVar LinearRegression - AttributeClassVar
M5Prime - AttributeClassVar NeuralNetwork - AttributeClassVar ZeroR - AttributeClassVar
Drop Page Fields Here
Average of Root mean squared error (diff)
Noise Level
Scheme
Noise Model
3Προ-επεξεργασία3Προ-επεξεργασία
Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών
bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj
1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα
παραδείγματα που ανήκουν στην κλάση Υj
3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)
4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμών-RMSE
-012
-01
-008
-006
-004
-002
0
002
004
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Root mean squared error (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου
-25
-2
-15
-1
-05
0
05
1
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Time taken to build model (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Μείωση των διαστάσεων
bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Επιλογή των ιδιοτήτων57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
15
13
14
14
14
47
45
6
51
bull 2ν πιθανοί συνδυασμοί
bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Πως ορίζεται η ιδιότητα
bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό
μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης
του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Λόγοι επιλογής ιδιοτήτων
bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων
bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή
bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)
bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδοι Αντιμετώπισης
bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδος φιλτραρίσματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Υπολογισμός μέτρωνποιότητας των ιδιοτήτων
Επαύξηση ή μείωση των ιδιοτήτων
Είναι αποδεκτό τοαξιολογημένουποσύνολο
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Επιλογή νέου υποσυνόλουιδιοτήτων
Μέθοδοςφιλτραρίσματος
Γενετικός Αλγόριθμος
Μέθοδος περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Εκπαιδευμένο Μοντέλο
Σύνολοδεδομένων
Κατασκευή συνόλου δεδομένων
Αξιολογημένο Μοντέλο
Εκπαίδευση Αλγορίθμου
Αξιολόγηση Αλγορίθμου
Είναι αποδεκτό τοαξιολογημένο
μοντέλο
Επιλογή νέου υποσυνόλουιδιοτήτων
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Κ-κοντινότεροι γείτονες
Περιτύλιξη με Γενετικό Αλγόριθμο
bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων
bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου
ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων
ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας
γενετικούς τελεστές
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
11 22 33 4400
B1B1 B2B2 B3B3 B4B4 B5B5
Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων
Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με
κωδικό 104 (Γεωπονική) στις 5 μμ
000000 00110011 000000 1000010000 0001000010 0000000000 00
P = ΝΟ2 S = 104
F = αδιάφορο
H1 = 1700 O = 0
H2 = αδιάφορο
ΣημαίαΣυγκεντρωτικής ιδιότητας = 0
Επέλεξε τη μέση συγκέντρωση του
SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ
100100 01110111 000000 0001100011 1010010100 0001000010 11
P = ΝΟ2 S = 108
F = Μέση τιμή-Avg
H1 = 400 O = -2
H2 = 2100
ΣημαίαΣυγκεντρωτικής ιδιότητας = 1
Η Κωδικοποίηση του γενότυπου
Η συνάρτηση προσαρμογής
bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του
αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο
υποσύνολο ιδιοτήτων της λύσης
nA
iAb
nE
iEa
iAiEF
max
)(
max
)(1
))()((
a lt= 1 b lt= 1 a + b = 1
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Οι παράμετροι της συνάρτησης προσαρμογής a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE
bull et = Xt ndash Ft
bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής
bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
n
e
RMSE
n
tt
1
2
n
tt
n
ttt
X
Xe
WSE
1
2
1
2
Ρύθμιση του μεγέθους πληθυσμού
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Population Sizes
0
05
1
15
2
25
3
35
4
5 10 20 30 40 50 100
Population Size
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση συντελεστών a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Coefficient pairs
0
5
10
15
20
25
30
35
01 09 03 07 05 05 07 03 08 02 09 01 095 005
ab pairs
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage
0
05
1
15
2
25
3
35
10 30 40 50 60 70 80 90
Mutation rate ()
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers
0
05
1
15
2
25
3
35
4
1 2 3 4 5 8 10 15
Elite members
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeatures
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Η μέθοδος CFS
bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την
εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις
ιδιότητες του υποσυνόλου
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
)1( ii
cis
rkkk
rkG
Σύγκριση των δύο μεθόδων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
000
1000
2000
3000
4000
5000
6000
7000
8000
9000
ZeroR DecisionStump
DecisionTable
IB1 IB3 IB9 LinearRegression
M5Prime
GA Mean absolute error GA Root mean squared error
CFS Mean absolute error CFS Root mean squared error
Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης
bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης
ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART
bull Συνδυασμένος ταξινομητής
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το σύστημα ΠΛ ΝΕΜΟ (1)
Όμοιες περιπτώσεις
Επιλογέας κοντινών περιπτώσεων
Φίλτρο κοντινών περιπτώσεων
Προσαρμογέας κοντινών περιπτώσεων
Προβλέπτης λύσης
Προτεινόμενη λύση
ΝΕΜΟ
Βάση περιπτώσεων
Κοντινέςπεριπτώσεις
Βάση Γνώσης
Νέα περίπτωση
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία
αναστροφή
βροχόπτωση
άνεμος
NO στις 10 πμ
NO στις 9 πμ
NO στις 8 πμ
NO2 στις 10 πμ
NO2 στις 9 πμ
NO2 στις 8 πμ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Έξοδος
Το δέντρο απόφασης (1)NOat10
NOat10
NOat10
NOat10
Wind
NOat9
Rain
Inversion
NOat9
NO2at8 Wind
Radiation
1(26518)
1(235)
2(4412)
1(83) 2(104) 1(100)
2(101) 1(101)
2(10035)
3(5313)
4(80)
4(124)3(91)
lt=027 gt027
lt=021
gt067
gt021
lt=067
lt=04 gt04
lt=057 gt057
lt=066 gt066
lt=047 gt047
lt=021 gt021
=0 =1
lt=021 gt021 lt=08 gt08
lt=036 gt036
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το δέντρο απόφασης (2)
0
021
025
04 057
105 075
027
12
1 2 3
4
34
066
0
1
02
04
06
08
ΝΟ στις10πμ
Θερ
μο
κρα
σια
κή α
νασ
τρο
φή
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Ο συνδυασμένος ταξινομητής
bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (1)
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
134
38
522
122
93
8
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΝΕΜΟ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
Αποτελέσματα Πίνακες Σύγχυσης (2)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
40
4221
8 317
8
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΔΑ CART
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (3)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
42
8216
8 69
4 4
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΤΝΔ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (4)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
138
38
4124
122
13
2
6
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Στατιστικά για τους 4 αλγόριθμους
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
CART NeuralNet NEMO ML Ensemble
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Προ-επεξεργασία των δεδομένων
bull Αντιμετώπιση θορύβου
bull Αντικατάσταση ελλιπών τιμών
3Προ-επεξεργασία3Προ-επεξεργασία
Μελέτη θορύβου
bull 2 μοντέλα θορύβουndash Ύπαρξη θορύβου μόνο στις ιδιότητεςndash Ύπαρξη θορύβου και στις ιδιότητες και
στην εξαρτημένη μεταβλητή
bull Εκτίμηση απόκλισης τιμής ιδιότητας λόγω θορύβου
3Προ-επεξεργασία3Προ-επεξεργασία
piii zxx
Αποτελέσματα μελέτης θορύβου- 1ο μοντέλο
-2
-1
0
1
2
3
4
5
6
7
8
0 005 01 02 03 04 05
IB1 - Attribute IBk -K 9 - Attribute LinearRegression - Attribute M5Prime - Attribute NeuralNetwork - Attribute ZeroR - Attribute
Drop Page Fields Here
Average of Root mean squared error (diff)
Noise Level
Scheme
Noise Model
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα μελέτης θορύβου- 2ο μοντέλο
0
5
10
15
20
25
30
0 005 01 02 03 04 05
IB1 - AttributeClassVar IBk -K 9 - AttributeClassVar LinearRegression - AttributeClassVar
M5Prime - AttributeClassVar NeuralNetwork - AttributeClassVar ZeroR - AttributeClassVar
Drop Page Fields Here
Average of Root mean squared error (diff)
Noise Level
Scheme
Noise Model
3Προ-επεξεργασία3Προ-επεξεργασία
Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών
bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj
1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα
παραδείγματα που ανήκουν στην κλάση Υj
3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)
4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμών-RMSE
-012
-01
-008
-006
-004
-002
0
002
004
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Root mean squared error (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου
-25
-2
-15
-1
-05
0
05
1
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Time taken to build model (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Μείωση των διαστάσεων
bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Επιλογή των ιδιοτήτων57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
15
13
14
14
14
47
45
6
51
bull 2ν πιθανοί συνδυασμοί
bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Πως ορίζεται η ιδιότητα
bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό
μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης
του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Λόγοι επιλογής ιδιοτήτων
bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων
bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή
bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)
bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδοι Αντιμετώπισης
bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδος φιλτραρίσματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Υπολογισμός μέτρωνποιότητας των ιδιοτήτων
Επαύξηση ή μείωση των ιδιοτήτων
Είναι αποδεκτό τοαξιολογημένουποσύνολο
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Επιλογή νέου υποσυνόλουιδιοτήτων
Μέθοδοςφιλτραρίσματος
Γενετικός Αλγόριθμος
Μέθοδος περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Εκπαιδευμένο Μοντέλο
Σύνολοδεδομένων
Κατασκευή συνόλου δεδομένων
Αξιολογημένο Μοντέλο
Εκπαίδευση Αλγορίθμου
Αξιολόγηση Αλγορίθμου
Είναι αποδεκτό τοαξιολογημένο
μοντέλο
Επιλογή νέου υποσυνόλουιδιοτήτων
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Κ-κοντινότεροι γείτονες
Περιτύλιξη με Γενετικό Αλγόριθμο
bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων
bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου
ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων
ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας
γενετικούς τελεστές
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
11 22 33 4400
B1B1 B2B2 B3B3 B4B4 B5B5
Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων
Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με
κωδικό 104 (Γεωπονική) στις 5 μμ
000000 00110011 000000 1000010000 0001000010 0000000000 00
P = ΝΟ2 S = 104
F = αδιάφορο
H1 = 1700 O = 0
H2 = αδιάφορο
ΣημαίαΣυγκεντρωτικής ιδιότητας = 0
Επέλεξε τη μέση συγκέντρωση του
SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ
100100 01110111 000000 0001100011 1010010100 0001000010 11
P = ΝΟ2 S = 108
F = Μέση τιμή-Avg
H1 = 400 O = -2
H2 = 2100
ΣημαίαΣυγκεντρωτικής ιδιότητας = 1
Η Κωδικοποίηση του γενότυπου
Η συνάρτηση προσαρμογής
bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του
αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο
υποσύνολο ιδιοτήτων της λύσης
nA
iAb
nE
iEa
iAiEF
max
)(
max
)(1
))()((
a lt= 1 b lt= 1 a + b = 1
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Οι παράμετροι της συνάρτησης προσαρμογής a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE
bull et = Xt ndash Ft
bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής
bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
n
e
RMSE
n
tt
1
2
n
tt
n
ttt
X
Xe
WSE
1
2
1
2
Ρύθμιση του μεγέθους πληθυσμού
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Population Sizes
0
05
1
15
2
25
3
35
4
5 10 20 30 40 50 100
Population Size
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση συντελεστών a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Coefficient pairs
0
5
10
15
20
25
30
35
01 09 03 07 05 05 07 03 08 02 09 01 095 005
ab pairs
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage
0
05
1
15
2
25
3
35
10 30 40 50 60 70 80 90
Mutation rate ()
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers
0
05
1
15
2
25
3
35
4
1 2 3 4 5 8 10 15
Elite members
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeatures
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Η μέθοδος CFS
bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την
εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις
ιδιότητες του υποσυνόλου
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
)1( ii
cis
rkkk
rkG
Σύγκριση των δύο μεθόδων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
000
1000
2000
3000
4000
5000
6000
7000
8000
9000
ZeroR DecisionStump
DecisionTable
IB1 IB3 IB9 LinearRegression
M5Prime
GA Mean absolute error GA Root mean squared error
CFS Mean absolute error CFS Root mean squared error
Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης
bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης
ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART
bull Συνδυασμένος ταξινομητής
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το σύστημα ΠΛ ΝΕΜΟ (1)
Όμοιες περιπτώσεις
Επιλογέας κοντινών περιπτώσεων
Φίλτρο κοντινών περιπτώσεων
Προσαρμογέας κοντινών περιπτώσεων
Προβλέπτης λύσης
Προτεινόμενη λύση
ΝΕΜΟ
Βάση περιπτώσεων
Κοντινέςπεριπτώσεις
Βάση Γνώσης
Νέα περίπτωση
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία
αναστροφή
βροχόπτωση
άνεμος
NO στις 10 πμ
NO στις 9 πμ
NO στις 8 πμ
NO2 στις 10 πμ
NO2 στις 9 πμ
NO2 στις 8 πμ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Έξοδος
Το δέντρο απόφασης (1)NOat10
NOat10
NOat10
NOat10
Wind
NOat9
Rain
Inversion
NOat9
NO2at8 Wind
Radiation
1(26518)
1(235)
2(4412)
1(83) 2(104) 1(100)
2(101) 1(101)
2(10035)
3(5313)
4(80)
4(124)3(91)
lt=027 gt027
lt=021
gt067
gt021
lt=067
lt=04 gt04
lt=057 gt057
lt=066 gt066
lt=047 gt047
lt=021 gt021
=0 =1
lt=021 gt021 lt=08 gt08
lt=036 gt036
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το δέντρο απόφασης (2)
0
021
025
04 057
105 075
027
12
1 2 3
4
34
066
0
1
02
04
06
08
ΝΟ στις10πμ
Θερ
μο
κρα
σια
κή α
νασ
τρο
φή
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Ο συνδυασμένος ταξινομητής
bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (1)
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
134
38
522
122
93
8
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΝΕΜΟ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
Αποτελέσματα Πίνακες Σύγχυσης (2)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
40
4221
8 317
8
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΔΑ CART
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (3)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
42
8216
8 69
4 4
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΤΝΔ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (4)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
138
38
4124
122
13
2
6
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Στατιστικά για τους 4 αλγόριθμους
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
CART NeuralNet NEMO ML Ensemble
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Μελέτη θορύβου
bull 2 μοντέλα θορύβουndash Ύπαρξη θορύβου μόνο στις ιδιότητεςndash Ύπαρξη θορύβου και στις ιδιότητες και
στην εξαρτημένη μεταβλητή
bull Εκτίμηση απόκλισης τιμής ιδιότητας λόγω θορύβου
3Προ-επεξεργασία3Προ-επεξεργασία
piii zxx
Αποτελέσματα μελέτης θορύβου- 1ο μοντέλο
-2
-1
0
1
2
3
4
5
6
7
8
0 005 01 02 03 04 05
IB1 - Attribute IBk -K 9 - Attribute LinearRegression - Attribute M5Prime - Attribute NeuralNetwork - Attribute ZeroR - Attribute
Drop Page Fields Here
Average of Root mean squared error (diff)
Noise Level
Scheme
Noise Model
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα μελέτης θορύβου- 2ο μοντέλο
0
5
10
15
20
25
30
0 005 01 02 03 04 05
IB1 - AttributeClassVar IBk -K 9 - AttributeClassVar LinearRegression - AttributeClassVar
M5Prime - AttributeClassVar NeuralNetwork - AttributeClassVar ZeroR - AttributeClassVar
Drop Page Fields Here
Average of Root mean squared error (diff)
Noise Level
Scheme
Noise Model
3Προ-επεξεργασία3Προ-επεξεργασία
Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών
bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj
1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα
παραδείγματα που ανήκουν στην κλάση Υj
3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)
4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμών-RMSE
-012
-01
-008
-006
-004
-002
0
002
004
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Root mean squared error (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου
-25
-2
-15
-1
-05
0
05
1
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Time taken to build model (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Μείωση των διαστάσεων
bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Επιλογή των ιδιοτήτων57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
15
13
14
14
14
47
45
6
51
bull 2ν πιθανοί συνδυασμοί
bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Πως ορίζεται η ιδιότητα
bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό
μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης
του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Λόγοι επιλογής ιδιοτήτων
bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων
bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή
bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)
bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδοι Αντιμετώπισης
bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδος φιλτραρίσματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Υπολογισμός μέτρωνποιότητας των ιδιοτήτων
Επαύξηση ή μείωση των ιδιοτήτων
Είναι αποδεκτό τοαξιολογημένουποσύνολο
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Επιλογή νέου υποσυνόλουιδιοτήτων
Μέθοδοςφιλτραρίσματος
Γενετικός Αλγόριθμος
Μέθοδος περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Εκπαιδευμένο Μοντέλο
Σύνολοδεδομένων
Κατασκευή συνόλου δεδομένων
Αξιολογημένο Μοντέλο
Εκπαίδευση Αλγορίθμου
Αξιολόγηση Αλγορίθμου
Είναι αποδεκτό τοαξιολογημένο
μοντέλο
Επιλογή νέου υποσυνόλουιδιοτήτων
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Κ-κοντινότεροι γείτονες
Περιτύλιξη με Γενετικό Αλγόριθμο
bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων
bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου
ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων
ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας
γενετικούς τελεστές
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
11 22 33 4400
B1B1 B2B2 B3B3 B4B4 B5B5
Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων
Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με
κωδικό 104 (Γεωπονική) στις 5 μμ
000000 00110011 000000 1000010000 0001000010 0000000000 00
P = ΝΟ2 S = 104
F = αδιάφορο
H1 = 1700 O = 0
H2 = αδιάφορο
ΣημαίαΣυγκεντρωτικής ιδιότητας = 0
Επέλεξε τη μέση συγκέντρωση του
SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ
100100 01110111 000000 0001100011 1010010100 0001000010 11
P = ΝΟ2 S = 108
F = Μέση τιμή-Avg
H1 = 400 O = -2
H2 = 2100
ΣημαίαΣυγκεντρωτικής ιδιότητας = 1
Η Κωδικοποίηση του γενότυπου
Η συνάρτηση προσαρμογής
bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του
αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο
υποσύνολο ιδιοτήτων της λύσης
nA
iAb
nE
iEa
iAiEF
max
)(
max
)(1
))()((
a lt= 1 b lt= 1 a + b = 1
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Οι παράμετροι της συνάρτησης προσαρμογής a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE
bull et = Xt ndash Ft
bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής
bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
n
e
RMSE
n
tt
1
2
n
tt
n
ttt
X
Xe
WSE
1
2
1
2
Ρύθμιση του μεγέθους πληθυσμού
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Population Sizes
0
05
1
15
2
25
3
35
4
5 10 20 30 40 50 100
Population Size
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση συντελεστών a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Coefficient pairs
0
5
10
15
20
25
30
35
01 09 03 07 05 05 07 03 08 02 09 01 095 005
ab pairs
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage
0
05
1
15
2
25
3
35
10 30 40 50 60 70 80 90
Mutation rate ()
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers
0
05
1
15
2
25
3
35
4
1 2 3 4 5 8 10 15
Elite members
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeatures
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Η μέθοδος CFS
bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την
εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις
ιδιότητες του υποσυνόλου
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
)1( ii
cis
rkkk
rkG
Σύγκριση των δύο μεθόδων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
000
1000
2000
3000
4000
5000
6000
7000
8000
9000
ZeroR DecisionStump
DecisionTable
IB1 IB3 IB9 LinearRegression
M5Prime
GA Mean absolute error GA Root mean squared error
CFS Mean absolute error CFS Root mean squared error
Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης
bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης
ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART
bull Συνδυασμένος ταξινομητής
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το σύστημα ΠΛ ΝΕΜΟ (1)
Όμοιες περιπτώσεις
Επιλογέας κοντινών περιπτώσεων
Φίλτρο κοντινών περιπτώσεων
Προσαρμογέας κοντινών περιπτώσεων
Προβλέπτης λύσης
Προτεινόμενη λύση
ΝΕΜΟ
Βάση περιπτώσεων
Κοντινέςπεριπτώσεις
Βάση Γνώσης
Νέα περίπτωση
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία
αναστροφή
βροχόπτωση
άνεμος
NO στις 10 πμ
NO στις 9 πμ
NO στις 8 πμ
NO2 στις 10 πμ
NO2 στις 9 πμ
NO2 στις 8 πμ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Έξοδος
Το δέντρο απόφασης (1)NOat10
NOat10
NOat10
NOat10
Wind
NOat9
Rain
Inversion
NOat9
NO2at8 Wind
Radiation
1(26518)
1(235)
2(4412)
1(83) 2(104) 1(100)
2(101) 1(101)
2(10035)
3(5313)
4(80)
4(124)3(91)
lt=027 gt027
lt=021
gt067
gt021
lt=067
lt=04 gt04
lt=057 gt057
lt=066 gt066
lt=047 gt047
lt=021 gt021
=0 =1
lt=021 gt021 lt=08 gt08
lt=036 gt036
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το δέντρο απόφασης (2)
0
021
025
04 057
105 075
027
12
1 2 3
4
34
066
0
1
02
04
06
08
ΝΟ στις10πμ
Θερ
μο
κρα
σια
κή α
νασ
τρο
φή
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Ο συνδυασμένος ταξινομητής
bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (1)
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
134
38
522
122
93
8
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΝΕΜΟ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
Αποτελέσματα Πίνακες Σύγχυσης (2)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
40
4221
8 317
8
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΔΑ CART
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (3)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
42
8216
8 69
4 4
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΤΝΔ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (4)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
138
38
4124
122
13
2
6
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Στατιστικά για τους 4 αλγόριθμους
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
CART NeuralNet NEMO ML Ensemble
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Αποτελέσματα μελέτης θορύβου- 1ο μοντέλο
-2
-1
0
1
2
3
4
5
6
7
8
0 005 01 02 03 04 05
IB1 - Attribute IBk -K 9 - Attribute LinearRegression - Attribute M5Prime - Attribute NeuralNetwork - Attribute ZeroR - Attribute
Drop Page Fields Here
Average of Root mean squared error (diff)
Noise Level
Scheme
Noise Model
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα μελέτης θορύβου- 2ο μοντέλο
0
5
10
15
20
25
30
0 005 01 02 03 04 05
IB1 - AttributeClassVar IBk -K 9 - AttributeClassVar LinearRegression - AttributeClassVar
M5Prime - AttributeClassVar NeuralNetwork - AttributeClassVar ZeroR - AttributeClassVar
Drop Page Fields Here
Average of Root mean squared error (diff)
Noise Level
Scheme
Noise Model
3Προ-επεξεργασία3Προ-επεξεργασία
Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών
bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj
1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα
παραδείγματα που ανήκουν στην κλάση Υj
3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)
4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμών-RMSE
-012
-01
-008
-006
-004
-002
0
002
004
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Root mean squared error (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου
-25
-2
-15
-1
-05
0
05
1
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Time taken to build model (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Μείωση των διαστάσεων
bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Επιλογή των ιδιοτήτων57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
15
13
14
14
14
47
45
6
51
bull 2ν πιθανοί συνδυασμοί
bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Πως ορίζεται η ιδιότητα
bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό
μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης
του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Λόγοι επιλογής ιδιοτήτων
bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων
bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή
bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)
bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδοι Αντιμετώπισης
bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδος φιλτραρίσματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Υπολογισμός μέτρωνποιότητας των ιδιοτήτων
Επαύξηση ή μείωση των ιδιοτήτων
Είναι αποδεκτό τοαξιολογημένουποσύνολο
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Επιλογή νέου υποσυνόλουιδιοτήτων
Μέθοδοςφιλτραρίσματος
Γενετικός Αλγόριθμος
Μέθοδος περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Εκπαιδευμένο Μοντέλο
Σύνολοδεδομένων
Κατασκευή συνόλου δεδομένων
Αξιολογημένο Μοντέλο
Εκπαίδευση Αλγορίθμου
Αξιολόγηση Αλγορίθμου
Είναι αποδεκτό τοαξιολογημένο
μοντέλο
Επιλογή νέου υποσυνόλουιδιοτήτων
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Κ-κοντινότεροι γείτονες
Περιτύλιξη με Γενετικό Αλγόριθμο
bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων
bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου
ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων
ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας
γενετικούς τελεστές
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
11 22 33 4400
B1B1 B2B2 B3B3 B4B4 B5B5
Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων
Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με
κωδικό 104 (Γεωπονική) στις 5 μμ
000000 00110011 000000 1000010000 0001000010 0000000000 00
P = ΝΟ2 S = 104
F = αδιάφορο
H1 = 1700 O = 0
H2 = αδιάφορο
ΣημαίαΣυγκεντρωτικής ιδιότητας = 0
Επέλεξε τη μέση συγκέντρωση του
SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ
100100 01110111 000000 0001100011 1010010100 0001000010 11
P = ΝΟ2 S = 108
F = Μέση τιμή-Avg
H1 = 400 O = -2
H2 = 2100
ΣημαίαΣυγκεντρωτικής ιδιότητας = 1
Η Κωδικοποίηση του γενότυπου
Η συνάρτηση προσαρμογής
bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του
αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο
υποσύνολο ιδιοτήτων της λύσης
nA
iAb
nE
iEa
iAiEF
max
)(
max
)(1
))()((
a lt= 1 b lt= 1 a + b = 1
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Οι παράμετροι της συνάρτησης προσαρμογής a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE
bull et = Xt ndash Ft
bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής
bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
n
e
RMSE
n
tt
1
2
n
tt
n
ttt
X
Xe
WSE
1
2
1
2
Ρύθμιση του μεγέθους πληθυσμού
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Population Sizes
0
05
1
15
2
25
3
35
4
5 10 20 30 40 50 100
Population Size
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση συντελεστών a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Coefficient pairs
0
5
10
15
20
25
30
35
01 09 03 07 05 05 07 03 08 02 09 01 095 005
ab pairs
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage
0
05
1
15
2
25
3
35
10 30 40 50 60 70 80 90
Mutation rate ()
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers
0
05
1
15
2
25
3
35
4
1 2 3 4 5 8 10 15
Elite members
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeatures
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Η μέθοδος CFS
bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την
εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις
ιδιότητες του υποσυνόλου
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
)1( ii
cis
rkkk
rkG
Σύγκριση των δύο μεθόδων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
000
1000
2000
3000
4000
5000
6000
7000
8000
9000
ZeroR DecisionStump
DecisionTable
IB1 IB3 IB9 LinearRegression
M5Prime
GA Mean absolute error GA Root mean squared error
CFS Mean absolute error CFS Root mean squared error
Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης
bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης
ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART
bull Συνδυασμένος ταξινομητής
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το σύστημα ΠΛ ΝΕΜΟ (1)
Όμοιες περιπτώσεις
Επιλογέας κοντινών περιπτώσεων
Φίλτρο κοντινών περιπτώσεων
Προσαρμογέας κοντινών περιπτώσεων
Προβλέπτης λύσης
Προτεινόμενη λύση
ΝΕΜΟ
Βάση περιπτώσεων
Κοντινέςπεριπτώσεις
Βάση Γνώσης
Νέα περίπτωση
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία
αναστροφή
βροχόπτωση
άνεμος
NO στις 10 πμ
NO στις 9 πμ
NO στις 8 πμ
NO2 στις 10 πμ
NO2 στις 9 πμ
NO2 στις 8 πμ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Έξοδος
Το δέντρο απόφασης (1)NOat10
NOat10
NOat10
NOat10
Wind
NOat9
Rain
Inversion
NOat9
NO2at8 Wind
Radiation
1(26518)
1(235)
2(4412)
1(83) 2(104) 1(100)
2(101) 1(101)
2(10035)
3(5313)
4(80)
4(124)3(91)
lt=027 gt027
lt=021
gt067
gt021
lt=067
lt=04 gt04
lt=057 gt057
lt=066 gt066
lt=047 gt047
lt=021 gt021
=0 =1
lt=021 gt021 lt=08 gt08
lt=036 gt036
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το δέντρο απόφασης (2)
0
021
025
04 057
105 075
027
12
1 2 3
4
34
066
0
1
02
04
06
08
ΝΟ στις10πμ
Θερ
μο
κρα
σια
κή α
νασ
τρο
φή
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Ο συνδυασμένος ταξινομητής
bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (1)
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
134
38
522
122
93
8
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΝΕΜΟ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
Αποτελέσματα Πίνακες Σύγχυσης (2)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
40
4221
8 317
8
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΔΑ CART
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (3)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
42
8216
8 69
4 4
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΤΝΔ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (4)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
138
38
4124
122
13
2
6
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Στατιστικά για τους 4 αλγόριθμους
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
CART NeuralNet NEMO ML Ensemble
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Αποτελέσματα μελέτης θορύβου- 2ο μοντέλο
0
5
10
15
20
25
30
0 005 01 02 03 04 05
IB1 - AttributeClassVar IBk -K 9 - AttributeClassVar LinearRegression - AttributeClassVar
M5Prime - AttributeClassVar NeuralNetwork - AttributeClassVar ZeroR - AttributeClassVar
Drop Page Fields Here
Average of Root mean squared error (diff)
Noise Level
Scheme
Noise Model
3Προ-επεξεργασία3Προ-επεξεργασία
Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών
bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj
1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα
παραδείγματα που ανήκουν στην κλάση Υj
3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)
4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμών-RMSE
-012
-01
-008
-006
-004
-002
0
002
004
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Root mean squared error (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου
-25
-2
-15
-1
-05
0
05
1
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Time taken to build model (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Μείωση των διαστάσεων
bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Επιλογή των ιδιοτήτων57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
15
13
14
14
14
47
45
6
51
bull 2ν πιθανοί συνδυασμοί
bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Πως ορίζεται η ιδιότητα
bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό
μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης
του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Λόγοι επιλογής ιδιοτήτων
bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων
bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή
bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)
bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδοι Αντιμετώπισης
bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδος φιλτραρίσματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Υπολογισμός μέτρωνποιότητας των ιδιοτήτων
Επαύξηση ή μείωση των ιδιοτήτων
Είναι αποδεκτό τοαξιολογημένουποσύνολο
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Επιλογή νέου υποσυνόλουιδιοτήτων
Μέθοδοςφιλτραρίσματος
Γενετικός Αλγόριθμος
Μέθοδος περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Εκπαιδευμένο Μοντέλο
Σύνολοδεδομένων
Κατασκευή συνόλου δεδομένων
Αξιολογημένο Μοντέλο
Εκπαίδευση Αλγορίθμου
Αξιολόγηση Αλγορίθμου
Είναι αποδεκτό τοαξιολογημένο
μοντέλο
Επιλογή νέου υποσυνόλουιδιοτήτων
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Κ-κοντινότεροι γείτονες
Περιτύλιξη με Γενετικό Αλγόριθμο
bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων
bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου
ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων
ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας
γενετικούς τελεστές
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
11 22 33 4400
B1B1 B2B2 B3B3 B4B4 B5B5
Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων
Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με
κωδικό 104 (Γεωπονική) στις 5 μμ
000000 00110011 000000 1000010000 0001000010 0000000000 00
P = ΝΟ2 S = 104
F = αδιάφορο
H1 = 1700 O = 0
H2 = αδιάφορο
ΣημαίαΣυγκεντρωτικής ιδιότητας = 0
Επέλεξε τη μέση συγκέντρωση του
SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ
100100 01110111 000000 0001100011 1010010100 0001000010 11
P = ΝΟ2 S = 108
F = Μέση τιμή-Avg
H1 = 400 O = -2
H2 = 2100
ΣημαίαΣυγκεντρωτικής ιδιότητας = 1
Η Κωδικοποίηση του γενότυπου
Η συνάρτηση προσαρμογής
bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του
αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο
υποσύνολο ιδιοτήτων της λύσης
nA
iAb
nE
iEa
iAiEF
max
)(
max
)(1
))()((
a lt= 1 b lt= 1 a + b = 1
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Οι παράμετροι της συνάρτησης προσαρμογής a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE
bull et = Xt ndash Ft
bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής
bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
n
e
RMSE
n
tt
1
2
n
tt
n
ttt
X
Xe
WSE
1
2
1
2
Ρύθμιση του μεγέθους πληθυσμού
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Population Sizes
0
05
1
15
2
25
3
35
4
5 10 20 30 40 50 100
Population Size
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση συντελεστών a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Coefficient pairs
0
5
10
15
20
25
30
35
01 09 03 07 05 05 07 03 08 02 09 01 095 005
ab pairs
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage
0
05
1
15
2
25
3
35
10 30 40 50 60 70 80 90
Mutation rate ()
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers
0
05
1
15
2
25
3
35
4
1 2 3 4 5 8 10 15
Elite members
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeatures
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Η μέθοδος CFS
bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την
εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις
ιδιότητες του υποσυνόλου
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
)1( ii
cis
rkkk
rkG
Σύγκριση των δύο μεθόδων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
000
1000
2000
3000
4000
5000
6000
7000
8000
9000
ZeroR DecisionStump
DecisionTable
IB1 IB3 IB9 LinearRegression
M5Prime
GA Mean absolute error GA Root mean squared error
CFS Mean absolute error CFS Root mean squared error
Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης
bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης
ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART
bull Συνδυασμένος ταξινομητής
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το σύστημα ΠΛ ΝΕΜΟ (1)
Όμοιες περιπτώσεις
Επιλογέας κοντινών περιπτώσεων
Φίλτρο κοντινών περιπτώσεων
Προσαρμογέας κοντινών περιπτώσεων
Προβλέπτης λύσης
Προτεινόμενη λύση
ΝΕΜΟ
Βάση περιπτώσεων
Κοντινέςπεριπτώσεις
Βάση Γνώσης
Νέα περίπτωση
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία
αναστροφή
βροχόπτωση
άνεμος
NO στις 10 πμ
NO στις 9 πμ
NO στις 8 πμ
NO2 στις 10 πμ
NO2 στις 9 πμ
NO2 στις 8 πμ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Έξοδος
Το δέντρο απόφασης (1)NOat10
NOat10
NOat10
NOat10
Wind
NOat9
Rain
Inversion
NOat9
NO2at8 Wind
Radiation
1(26518)
1(235)
2(4412)
1(83) 2(104) 1(100)
2(101) 1(101)
2(10035)
3(5313)
4(80)
4(124)3(91)
lt=027 gt027
lt=021
gt067
gt021
lt=067
lt=04 gt04
lt=057 gt057
lt=066 gt066
lt=047 gt047
lt=021 gt021
=0 =1
lt=021 gt021 lt=08 gt08
lt=036 gt036
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το δέντρο απόφασης (2)
0
021
025
04 057
105 075
027
12
1 2 3
4
34
066
0
1
02
04
06
08
ΝΟ στις10πμ
Θερ
μο
κρα
σια
κή α
νασ
τρο
φή
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Ο συνδυασμένος ταξινομητής
bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (1)
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
134
38
522
122
93
8
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΝΕΜΟ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
Αποτελέσματα Πίνακες Σύγχυσης (2)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
40
4221
8 317
8
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΔΑ CART
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (3)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
42
8216
8 69
4 4
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΤΝΔ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (4)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
138
38
4124
122
13
2
6
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Στατιστικά για τους 4 αλγόριθμους
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
CART NeuralNet NEMO ML Ensemble
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών
bull Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χi που ανήκει στην κλάση Υj
1 Αντικατάσταση με τη μέση τιμή της ιδιότητας2 Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα
παραδείγματα που ανήκουν στην κλάση Υj
3 Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization ndashEM)
4 Εφαρμογή επίμονου προβλέπτη δηλαδή αντικατάσταση με την τιμή Xi|p-1
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμών-RMSE
-012
-01
-008
-006
-004
-002
0
002
004
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Root mean squared error (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου
-25
-2
-15
-1
-05
0
05
1
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Time taken to build model (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Μείωση των διαστάσεων
bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Επιλογή των ιδιοτήτων57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
15
13
14
14
14
47
45
6
51
bull 2ν πιθανοί συνδυασμοί
bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Πως ορίζεται η ιδιότητα
bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό
μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης
του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Λόγοι επιλογής ιδιοτήτων
bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων
bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή
bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)
bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδοι Αντιμετώπισης
bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδος φιλτραρίσματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Υπολογισμός μέτρωνποιότητας των ιδιοτήτων
Επαύξηση ή μείωση των ιδιοτήτων
Είναι αποδεκτό τοαξιολογημένουποσύνολο
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Επιλογή νέου υποσυνόλουιδιοτήτων
Μέθοδοςφιλτραρίσματος
Γενετικός Αλγόριθμος
Μέθοδος περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Εκπαιδευμένο Μοντέλο
Σύνολοδεδομένων
Κατασκευή συνόλου δεδομένων
Αξιολογημένο Μοντέλο
Εκπαίδευση Αλγορίθμου
Αξιολόγηση Αλγορίθμου
Είναι αποδεκτό τοαξιολογημένο
μοντέλο
Επιλογή νέου υποσυνόλουιδιοτήτων
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Κ-κοντινότεροι γείτονες
Περιτύλιξη με Γενετικό Αλγόριθμο
bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων
bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου
ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων
ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας
γενετικούς τελεστές
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
11 22 33 4400
B1B1 B2B2 B3B3 B4B4 B5B5
Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων
Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με
κωδικό 104 (Γεωπονική) στις 5 μμ
000000 00110011 000000 1000010000 0001000010 0000000000 00
P = ΝΟ2 S = 104
F = αδιάφορο
H1 = 1700 O = 0
H2 = αδιάφορο
ΣημαίαΣυγκεντρωτικής ιδιότητας = 0
Επέλεξε τη μέση συγκέντρωση του
SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ
100100 01110111 000000 0001100011 1010010100 0001000010 11
P = ΝΟ2 S = 108
F = Μέση τιμή-Avg
H1 = 400 O = -2
H2 = 2100
ΣημαίαΣυγκεντρωτικής ιδιότητας = 1
Η Κωδικοποίηση του γενότυπου
Η συνάρτηση προσαρμογής
bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του
αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο
υποσύνολο ιδιοτήτων της λύσης
nA
iAb
nE
iEa
iAiEF
max
)(
max
)(1
))()((
a lt= 1 b lt= 1 a + b = 1
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Οι παράμετροι της συνάρτησης προσαρμογής a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE
bull et = Xt ndash Ft
bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής
bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
n
e
RMSE
n
tt
1
2
n
tt
n
ttt
X
Xe
WSE
1
2
1
2
Ρύθμιση του μεγέθους πληθυσμού
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Population Sizes
0
05
1
15
2
25
3
35
4
5 10 20 30 40 50 100
Population Size
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση συντελεστών a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Coefficient pairs
0
5
10
15
20
25
30
35
01 09 03 07 05 05 07 03 08 02 09 01 095 005
ab pairs
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage
0
05
1
15
2
25
3
35
10 30 40 50 60 70 80 90
Mutation rate ()
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers
0
05
1
15
2
25
3
35
4
1 2 3 4 5 8 10 15
Elite members
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeatures
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Η μέθοδος CFS
bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την
εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις
ιδιότητες του υποσυνόλου
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
)1( ii
cis
rkkk
rkG
Σύγκριση των δύο μεθόδων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
000
1000
2000
3000
4000
5000
6000
7000
8000
9000
ZeroR DecisionStump
DecisionTable
IB1 IB3 IB9 LinearRegression
M5Prime
GA Mean absolute error GA Root mean squared error
CFS Mean absolute error CFS Root mean squared error
Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης
bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης
ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART
bull Συνδυασμένος ταξινομητής
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το σύστημα ΠΛ ΝΕΜΟ (1)
Όμοιες περιπτώσεις
Επιλογέας κοντινών περιπτώσεων
Φίλτρο κοντινών περιπτώσεων
Προσαρμογέας κοντινών περιπτώσεων
Προβλέπτης λύσης
Προτεινόμενη λύση
ΝΕΜΟ
Βάση περιπτώσεων
Κοντινέςπεριπτώσεις
Βάση Γνώσης
Νέα περίπτωση
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία
αναστροφή
βροχόπτωση
άνεμος
NO στις 10 πμ
NO στις 9 πμ
NO στις 8 πμ
NO2 στις 10 πμ
NO2 στις 9 πμ
NO2 στις 8 πμ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Έξοδος
Το δέντρο απόφασης (1)NOat10
NOat10
NOat10
NOat10
Wind
NOat9
Rain
Inversion
NOat9
NO2at8 Wind
Radiation
1(26518)
1(235)
2(4412)
1(83) 2(104) 1(100)
2(101) 1(101)
2(10035)
3(5313)
4(80)
4(124)3(91)
lt=027 gt027
lt=021
gt067
gt021
lt=067
lt=04 gt04
lt=057 gt057
lt=066 gt066
lt=047 gt047
lt=021 gt021
=0 =1
lt=021 gt021 lt=08 gt08
lt=036 gt036
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το δέντρο απόφασης (2)
0
021
025
04 057
105 075
027
12
1 2 3
4
34
066
0
1
02
04
06
08
ΝΟ στις10πμ
Θερ
μο
κρα
σια
κή α
νασ
τρο
φή
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Ο συνδυασμένος ταξινομητής
bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (1)
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
134
38
522
122
93
8
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΝΕΜΟ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
Αποτελέσματα Πίνακες Σύγχυσης (2)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
40
4221
8 317
8
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΔΑ CART
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (3)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
42
8216
8 69
4 4
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΤΝΔ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (4)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
138
38
4124
122
13
2
6
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Στατιστικά για τους 4 αλγόριθμους
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
CART NeuralNet NEMO ML Ensemble
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Αποτελέσματα ελλιπών τιμών-RMSE
-012
-01
-008
-006
-004
-002
0
002
004
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Root mean squared error (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου
-25
-2
-15
-1
-05
0
05
1
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Time taken to build model (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Μείωση των διαστάσεων
bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Επιλογή των ιδιοτήτων57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
15
13
14
14
14
47
45
6
51
bull 2ν πιθανοί συνδυασμοί
bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Πως ορίζεται η ιδιότητα
bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό
μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης
του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Λόγοι επιλογής ιδιοτήτων
bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων
bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή
bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)
bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδοι Αντιμετώπισης
bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδος φιλτραρίσματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Υπολογισμός μέτρωνποιότητας των ιδιοτήτων
Επαύξηση ή μείωση των ιδιοτήτων
Είναι αποδεκτό τοαξιολογημένουποσύνολο
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Επιλογή νέου υποσυνόλουιδιοτήτων
Μέθοδοςφιλτραρίσματος
Γενετικός Αλγόριθμος
Μέθοδος περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Εκπαιδευμένο Μοντέλο
Σύνολοδεδομένων
Κατασκευή συνόλου δεδομένων
Αξιολογημένο Μοντέλο
Εκπαίδευση Αλγορίθμου
Αξιολόγηση Αλγορίθμου
Είναι αποδεκτό τοαξιολογημένο
μοντέλο
Επιλογή νέου υποσυνόλουιδιοτήτων
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Κ-κοντινότεροι γείτονες
Περιτύλιξη με Γενετικό Αλγόριθμο
bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων
bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου
ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων
ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας
γενετικούς τελεστές
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
11 22 33 4400
B1B1 B2B2 B3B3 B4B4 B5B5
Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων
Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με
κωδικό 104 (Γεωπονική) στις 5 μμ
000000 00110011 000000 1000010000 0001000010 0000000000 00
P = ΝΟ2 S = 104
F = αδιάφορο
H1 = 1700 O = 0
H2 = αδιάφορο
ΣημαίαΣυγκεντρωτικής ιδιότητας = 0
Επέλεξε τη μέση συγκέντρωση του
SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ
100100 01110111 000000 0001100011 1010010100 0001000010 11
P = ΝΟ2 S = 108
F = Μέση τιμή-Avg
H1 = 400 O = -2
H2 = 2100
ΣημαίαΣυγκεντρωτικής ιδιότητας = 1
Η Κωδικοποίηση του γενότυπου
Η συνάρτηση προσαρμογής
bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του
αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο
υποσύνολο ιδιοτήτων της λύσης
nA
iAb
nE
iEa
iAiEF
max
)(
max
)(1
))()((
a lt= 1 b lt= 1 a + b = 1
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Οι παράμετροι της συνάρτησης προσαρμογής a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE
bull et = Xt ndash Ft
bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής
bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
n
e
RMSE
n
tt
1
2
n
tt
n
ttt
X
Xe
WSE
1
2
1
2
Ρύθμιση του μεγέθους πληθυσμού
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Population Sizes
0
05
1
15
2
25
3
35
4
5 10 20 30 40 50 100
Population Size
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση συντελεστών a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Coefficient pairs
0
5
10
15
20
25
30
35
01 09 03 07 05 05 07 03 08 02 09 01 095 005
ab pairs
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage
0
05
1
15
2
25
3
35
10 30 40 50 60 70 80 90
Mutation rate ()
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers
0
05
1
15
2
25
3
35
4
1 2 3 4 5 8 10 15
Elite members
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeatures
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Η μέθοδος CFS
bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την
εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις
ιδιότητες του υποσυνόλου
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
)1( ii
cis
rkkk
rkG
Σύγκριση των δύο μεθόδων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
000
1000
2000
3000
4000
5000
6000
7000
8000
9000
ZeroR DecisionStump
DecisionTable
IB1 IB3 IB9 LinearRegression
M5Prime
GA Mean absolute error GA Root mean squared error
CFS Mean absolute error CFS Root mean squared error
Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης
bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης
ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART
bull Συνδυασμένος ταξινομητής
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το σύστημα ΠΛ ΝΕΜΟ (1)
Όμοιες περιπτώσεις
Επιλογέας κοντινών περιπτώσεων
Φίλτρο κοντινών περιπτώσεων
Προσαρμογέας κοντινών περιπτώσεων
Προβλέπτης λύσης
Προτεινόμενη λύση
ΝΕΜΟ
Βάση περιπτώσεων
Κοντινέςπεριπτώσεις
Βάση Γνώσης
Νέα περίπτωση
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία
αναστροφή
βροχόπτωση
άνεμος
NO στις 10 πμ
NO στις 9 πμ
NO στις 8 πμ
NO2 στις 10 πμ
NO2 στις 9 πμ
NO2 στις 8 πμ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Έξοδος
Το δέντρο απόφασης (1)NOat10
NOat10
NOat10
NOat10
Wind
NOat9
Rain
Inversion
NOat9
NO2at8 Wind
Radiation
1(26518)
1(235)
2(4412)
1(83) 2(104) 1(100)
2(101) 1(101)
2(10035)
3(5313)
4(80)
4(124)3(91)
lt=027 gt027
lt=021
gt067
gt021
lt=067
lt=04 gt04
lt=057 gt057
lt=066 gt066
lt=047 gt047
lt=021 gt021
=0 =1
lt=021 gt021 lt=08 gt08
lt=036 gt036
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το δέντρο απόφασης (2)
0
021
025
04 057
105 075
027
12
1 2 3
4
34
066
0
1
02
04
06
08
ΝΟ στις10πμ
Θερ
μο
κρα
σια
κή α
νασ
τρο
φή
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Ο συνδυασμένος ταξινομητής
bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (1)
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
134
38
522
122
93
8
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΝΕΜΟ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
Αποτελέσματα Πίνακες Σύγχυσης (2)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
40
4221
8 317
8
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΔΑ CART
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (3)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
42
8216
8 69
4 4
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΤΝΔ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (4)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
138
38
4124
122
13
2
6
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Στατιστικά για τους 4 αλγόριθμους
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
CART NeuralNet NEMO ML Ensemble
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Αποτελέσματα ελλιπών τιμώνndashΧρόνος ανάπτυξης μοντέλου
-25
-2
-15
-1
-05
0
05
1
0 005 01 02 03 05
1avg 3avg amelia mean meanclass
Average of Time taken to build model (diff)
MV Level
Replacement Method
3Προ-επεξεργασία3Προ-επεξεργασία
Μείωση των διαστάσεων
bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Επιλογή των ιδιοτήτων57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
15
13
14
14
14
47
45
6
51
bull 2ν πιθανοί συνδυασμοί
bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Πως ορίζεται η ιδιότητα
bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό
μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης
του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Λόγοι επιλογής ιδιοτήτων
bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων
bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή
bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)
bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδοι Αντιμετώπισης
bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδος φιλτραρίσματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Υπολογισμός μέτρωνποιότητας των ιδιοτήτων
Επαύξηση ή μείωση των ιδιοτήτων
Είναι αποδεκτό τοαξιολογημένουποσύνολο
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Επιλογή νέου υποσυνόλουιδιοτήτων
Μέθοδοςφιλτραρίσματος
Γενετικός Αλγόριθμος
Μέθοδος περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Εκπαιδευμένο Μοντέλο
Σύνολοδεδομένων
Κατασκευή συνόλου δεδομένων
Αξιολογημένο Μοντέλο
Εκπαίδευση Αλγορίθμου
Αξιολόγηση Αλγορίθμου
Είναι αποδεκτό τοαξιολογημένο
μοντέλο
Επιλογή νέου υποσυνόλουιδιοτήτων
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Κ-κοντινότεροι γείτονες
Περιτύλιξη με Γενετικό Αλγόριθμο
bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων
bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου
ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων
ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας
γενετικούς τελεστές
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
11 22 33 4400
B1B1 B2B2 B3B3 B4B4 B5B5
Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων
Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με
κωδικό 104 (Γεωπονική) στις 5 μμ
000000 00110011 000000 1000010000 0001000010 0000000000 00
P = ΝΟ2 S = 104
F = αδιάφορο
H1 = 1700 O = 0
H2 = αδιάφορο
ΣημαίαΣυγκεντρωτικής ιδιότητας = 0
Επέλεξε τη μέση συγκέντρωση του
SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ
100100 01110111 000000 0001100011 1010010100 0001000010 11
P = ΝΟ2 S = 108
F = Μέση τιμή-Avg
H1 = 400 O = -2
H2 = 2100
ΣημαίαΣυγκεντρωτικής ιδιότητας = 1
Η Κωδικοποίηση του γενότυπου
Η συνάρτηση προσαρμογής
bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του
αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο
υποσύνολο ιδιοτήτων της λύσης
nA
iAb
nE
iEa
iAiEF
max
)(
max
)(1
))()((
a lt= 1 b lt= 1 a + b = 1
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Οι παράμετροι της συνάρτησης προσαρμογής a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE
bull et = Xt ndash Ft
bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής
bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
n
e
RMSE
n
tt
1
2
n
tt
n
ttt
X
Xe
WSE
1
2
1
2
Ρύθμιση του μεγέθους πληθυσμού
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Population Sizes
0
05
1
15
2
25
3
35
4
5 10 20 30 40 50 100
Population Size
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση συντελεστών a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Coefficient pairs
0
5
10
15
20
25
30
35
01 09 03 07 05 05 07 03 08 02 09 01 095 005
ab pairs
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage
0
05
1
15
2
25
3
35
10 30 40 50 60 70 80 90
Mutation rate ()
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers
0
05
1
15
2
25
3
35
4
1 2 3 4 5 8 10 15
Elite members
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeatures
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Η μέθοδος CFS
bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την
εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις
ιδιότητες του υποσυνόλου
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
)1( ii
cis
rkkk
rkG
Σύγκριση των δύο μεθόδων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
000
1000
2000
3000
4000
5000
6000
7000
8000
9000
ZeroR DecisionStump
DecisionTable
IB1 IB3 IB9 LinearRegression
M5Prime
GA Mean absolute error GA Root mean squared error
CFS Mean absolute error CFS Root mean squared error
Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης
bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης
ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART
bull Συνδυασμένος ταξινομητής
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το σύστημα ΠΛ ΝΕΜΟ (1)
Όμοιες περιπτώσεις
Επιλογέας κοντινών περιπτώσεων
Φίλτρο κοντινών περιπτώσεων
Προσαρμογέας κοντινών περιπτώσεων
Προβλέπτης λύσης
Προτεινόμενη λύση
ΝΕΜΟ
Βάση περιπτώσεων
Κοντινέςπεριπτώσεις
Βάση Γνώσης
Νέα περίπτωση
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία
αναστροφή
βροχόπτωση
άνεμος
NO στις 10 πμ
NO στις 9 πμ
NO στις 8 πμ
NO2 στις 10 πμ
NO2 στις 9 πμ
NO2 στις 8 πμ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Έξοδος
Το δέντρο απόφασης (1)NOat10
NOat10
NOat10
NOat10
Wind
NOat9
Rain
Inversion
NOat9
NO2at8 Wind
Radiation
1(26518)
1(235)
2(4412)
1(83) 2(104) 1(100)
2(101) 1(101)
2(10035)
3(5313)
4(80)
4(124)3(91)
lt=027 gt027
lt=021
gt067
gt021
lt=067
lt=04 gt04
lt=057 gt057
lt=066 gt066
lt=047 gt047
lt=021 gt021
=0 =1
lt=021 gt021 lt=08 gt08
lt=036 gt036
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το δέντρο απόφασης (2)
0
021
025
04 057
105 075
027
12
1 2 3
4
34
066
0
1
02
04
06
08
ΝΟ στις10πμ
Θερ
μο
κρα
σια
κή α
νασ
τρο
φή
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Ο συνδυασμένος ταξινομητής
bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (1)
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
134
38
522
122
93
8
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΝΕΜΟ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
Αποτελέσματα Πίνακες Σύγχυσης (2)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
40
4221
8 317
8
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΔΑ CART
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (3)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
42
8216
8 69
4 4
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΤΝΔ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (4)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
138
38
4124
122
13
2
6
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Στατιστικά για τους 4 αλγόριθμους
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
CART NeuralNet NEMO ML Ensemble
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Μείωση των διαστάσεων
bull Ορισμός γιατί και πωςbull Μέθοδοι επιλογής ιδιοτήτωνbull Περιτύλιξη με γενετικό αλγόριθμοbull Λεπτομέρειες της υλοποίησηςbull Ρύθμιση των παραμέτρωνbull Αποτελέσματαbull Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Επιλογή των ιδιοτήτων57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
15
13
14
14
14
47
45
6
51
bull 2ν πιθανοί συνδυασμοί
bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Πως ορίζεται η ιδιότητα
bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό
μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης
του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Λόγοι επιλογής ιδιοτήτων
bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων
bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή
bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)
bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδοι Αντιμετώπισης
bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδος φιλτραρίσματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Υπολογισμός μέτρωνποιότητας των ιδιοτήτων
Επαύξηση ή μείωση των ιδιοτήτων
Είναι αποδεκτό τοαξιολογημένουποσύνολο
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Επιλογή νέου υποσυνόλουιδιοτήτων
Μέθοδοςφιλτραρίσματος
Γενετικός Αλγόριθμος
Μέθοδος περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Εκπαιδευμένο Μοντέλο
Σύνολοδεδομένων
Κατασκευή συνόλου δεδομένων
Αξιολογημένο Μοντέλο
Εκπαίδευση Αλγορίθμου
Αξιολόγηση Αλγορίθμου
Είναι αποδεκτό τοαξιολογημένο
μοντέλο
Επιλογή νέου υποσυνόλουιδιοτήτων
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Κ-κοντινότεροι γείτονες
Περιτύλιξη με Γενετικό Αλγόριθμο
bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων
bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου
ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων
ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας
γενετικούς τελεστές
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
11 22 33 4400
B1B1 B2B2 B3B3 B4B4 B5B5
Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων
Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με
κωδικό 104 (Γεωπονική) στις 5 μμ
000000 00110011 000000 1000010000 0001000010 0000000000 00
P = ΝΟ2 S = 104
F = αδιάφορο
H1 = 1700 O = 0
H2 = αδιάφορο
ΣημαίαΣυγκεντρωτικής ιδιότητας = 0
Επέλεξε τη μέση συγκέντρωση του
SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ
100100 01110111 000000 0001100011 1010010100 0001000010 11
P = ΝΟ2 S = 108
F = Μέση τιμή-Avg
H1 = 400 O = -2
H2 = 2100
ΣημαίαΣυγκεντρωτικής ιδιότητας = 1
Η Κωδικοποίηση του γενότυπου
Η συνάρτηση προσαρμογής
bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του
αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο
υποσύνολο ιδιοτήτων της λύσης
nA
iAb
nE
iEa
iAiEF
max
)(
max
)(1
))()((
a lt= 1 b lt= 1 a + b = 1
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Οι παράμετροι της συνάρτησης προσαρμογής a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE
bull et = Xt ndash Ft
bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής
bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
n
e
RMSE
n
tt
1
2
n
tt
n
ttt
X
Xe
WSE
1
2
1
2
Ρύθμιση του μεγέθους πληθυσμού
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Population Sizes
0
05
1
15
2
25
3
35
4
5 10 20 30 40 50 100
Population Size
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση συντελεστών a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Coefficient pairs
0
5
10
15
20
25
30
35
01 09 03 07 05 05 07 03 08 02 09 01 095 005
ab pairs
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage
0
05
1
15
2
25
3
35
10 30 40 50 60 70 80 90
Mutation rate ()
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers
0
05
1
15
2
25
3
35
4
1 2 3 4 5 8 10 15
Elite members
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeatures
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Η μέθοδος CFS
bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την
εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις
ιδιότητες του υποσυνόλου
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
)1( ii
cis
rkkk
rkG
Σύγκριση των δύο μεθόδων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
000
1000
2000
3000
4000
5000
6000
7000
8000
9000
ZeroR DecisionStump
DecisionTable
IB1 IB3 IB9 LinearRegression
M5Prime
GA Mean absolute error GA Root mean squared error
CFS Mean absolute error CFS Root mean squared error
Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης
bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης
ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART
bull Συνδυασμένος ταξινομητής
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το σύστημα ΠΛ ΝΕΜΟ (1)
Όμοιες περιπτώσεις
Επιλογέας κοντινών περιπτώσεων
Φίλτρο κοντινών περιπτώσεων
Προσαρμογέας κοντινών περιπτώσεων
Προβλέπτης λύσης
Προτεινόμενη λύση
ΝΕΜΟ
Βάση περιπτώσεων
Κοντινέςπεριπτώσεις
Βάση Γνώσης
Νέα περίπτωση
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία
αναστροφή
βροχόπτωση
άνεμος
NO στις 10 πμ
NO στις 9 πμ
NO στις 8 πμ
NO2 στις 10 πμ
NO2 στις 9 πμ
NO2 στις 8 πμ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Έξοδος
Το δέντρο απόφασης (1)NOat10
NOat10
NOat10
NOat10
Wind
NOat9
Rain
Inversion
NOat9
NO2at8 Wind
Radiation
1(26518)
1(235)
2(4412)
1(83) 2(104) 1(100)
2(101) 1(101)
2(10035)
3(5313)
4(80)
4(124)3(91)
lt=027 gt027
lt=021
gt067
gt021
lt=067
lt=04 gt04
lt=057 gt057
lt=066 gt066
lt=047 gt047
lt=021 gt021
=0 =1
lt=021 gt021 lt=08 gt08
lt=036 gt036
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το δέντρο απόφασης (2)
0
021
025
04 057
105 075
027
12
1 2 3
4
34
066
0
1
02
04
06
08
ΝΟ στις10πμ
Θερ
μο
κρα
σια
κή α
νασ
τρο
φή
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Ο συνδυασμένος ταξινομητής
bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (1)
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
134
38
522
122
93
8
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΝΕΜΟ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
Αποτελέσματα Πίνακες Σύγχυσης (2)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
40
4221
8 317
8
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΔΑ CART
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (3)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
42
8216
8 69
4 4
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΤΝΔ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (4)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
138
38
4124
122
13
2
6
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Στατιστικά για τους 4 αλγόριθμους
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
CART NeuralNet NEMO ML Ensemble
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Επιλογή των ιδιοτήτων57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
57
54
51
51
49
7
64
63
58
44
39
35
35
3
32
32
33
27
15
13
14
14
14
47
45
6
51
04
04
03
02
02
14
15
25
19
15
13
14
14
14
47
45
6
51
bull 2ν πιθανοί συνδυασμοί
bull νμ(ν-μ) πιθανοί συνδυασμοί από μ ιδιότητες
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Πως ορίζεται η ιδιότητα
bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό
μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης
του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Λόγοι επιλογής ιδιοτήτων
bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων
bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή
bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)
bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδοι Αντιμετώπισης
bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδος φιλτραρίσματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Υπολογισμός μέτρωνποιότητας των ιδιοτήτων
Επαύξηση ή μείωση των ιδιοτήτων
Είναι αποδεκτό τοαξιολογημένουποσύνολο
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Επιλογή νέου υποσυνόλουιδιοτήτων
Μέθοδοςφιλτραρίσματος
Γενετικός Αλγόριθμος
Μέθοδος περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Εκπαιδευμένο Μοντέλο
Σύνολοδεδομένων
Κατασκευή συνόλου δεδομένων
Αξιολογημένο Μοντέλο
Εκπαίδευση Αλγορίθμου
Αξιολόγηση Αλγορίθμου
Είναι αποδεκτό τοαξιολογημένο
μοντέλο
Επιλογή νέου υποσυνόλουιδιοτήτων
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Κ-κοντινότεροι γείτονες
Περιτύλιξη με Γενετικό Αλγόριθμο
bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων
bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου
ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων
ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας
γενετικούς τελεστές
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
11 22 33 4400
B1B1 B2B2 B3B3 B4B4 B5B5
Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων
Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με
κωδικό 104 (Γεωπονική) στις 5 μμ
000000 00110011 000000 1000010000 0001000010 0000000000 00
P = ΝΟ2 S = 104
F = αδιάφορο
H1 = 1700 O = 0
H2 = αδιάφορο
ΣημαίαΣυγκεντρωτικής ιδιότητας = 0
Επέλεξε τη μέση συγκέντρωση του
SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ
100100 01110111 000000 0001100011 1010010100 0001000010 11
P = ΝΟ2 S = 108
F = Μέση τιμή-Avg
H1 = 400 O = -2
H2 = 2100
ΣημαίαΣυγκεντρωτικής ιδιότητας = 1
Η Κωδικοποίηση του γενότυπου
Η συνάρτηση προσαρμογής
bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του
αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο
υποσύνολο ιδιοτήτων της λύσης
nA
iAb
nE
iEa
iAiEF
max
)(
max
)(1
))()((
a lt= 1 b lt= 1 a + b = 1
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Οι παράμετροι της συνάρτησης προσαρμογής a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE
bull et = Xt ndash Ft
bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής
bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
n
e
RMSE
n
tt
1
2
n
tt
n
ttt
X
Xe
WSE
1
2
1
2
Ρύθμιση του μεγέθους πληθυσμού
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Population Sizes
0
05
1
15
2
25
3
35
4
5 10 20 30 40 50 100
Population Size
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση συντελεστών a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Coefficient pairs
0
5
10
15
20
25
30
35
01 09 03 07 05 05 07 03 08 02 09 01 095 005
ab pairs
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage
0
05
1
15
2
25
3
35
10 30 40 50 60 70 80 90
Mutation rate ()
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers
0
05
1
15
2
25
3
35
4
1 2 3 4 5 8 10 15
Elite members
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeatures
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Η μέθοδος CFS
bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την
εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις
ιδιότητες του υποσυνόλου
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
)1( ii
cis
rkkk
rkG
Σύγκριση των δύο μεθόδων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
000
1000
2000
3000
4000
5000
6000
7000
8000
9000
ZeroR DecisionStump
DecisionTable
IB1 IB3 IB9 LinearRegression
M5Prime
GA Mean absolute error GA Root mean squared error
CFS Mean absolute error CFS Root mean squared error
Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης
bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης
ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART
bull Συνδυασμένος ταξινομητής
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το σύστημα ΠΛ ΝΕΜΟ (1)
Όμοιες περιπτώσεις
Επιλογέας κοντινών περιπτώσεων
Φίλτρο κοντινών περιπτώσεων
Προσαρμογέας κοντινών περιπτώσεων
Προβλέπτης λύσης
Προτεινόμενη λύση
ΝΕΜΟ
Βάση περιπτώσεων
Κοντινέςπεριπτώσεις
Βάση Γνώσης
Νέα περίπτωση
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία
αναστροφή
βροχόπτωση
άνεμος
NO στις 10 πμ
NO στις 9 πμ
NO στις 8 πμ
NO2 στις 10 πμ
NO2 στις 9 πμ
NO2 στις 8 πμ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Έξοδος
Το δέντρο απόφασης (1)NOat10
NOat10
NOat10
NOat10
Wind
NOat9
Rain
Inversion
NOat9
NO2at8 Wind
Radiation
1(26518)
1(235)
2(4412)
1(83) 2(104) 1(100)
2(101) 1(101)
2(10035)
3(5313)
4(80)
4(124)3(91)
lt=027 gt027
lt=021
gt067
gt021
lt=067
lt=04 gt04
lt=057 gt057
lt=066 gt066
lt=047 gt047
lt=021 gt021
=0 =1
lt=021 gt021 lt=08 gt08
lt=036 gt036
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το δέντρο απόφασης (2)
0
021
025
04 057
105 075
027
12
1 2 3
4
34
066
0
1
02
04
06
08
ΝΟ στις10πμ
Θερ
μο
κρα
σια
κή α
νασ
τρο
φή
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Ο συνδυασμένος ταξινομητής
bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (1)
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
134
38
522
122
93
8
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΝΕΜΟ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
Αποτελέσματα Πίνακες Σύγχυσης (2)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
40
4221
8 317
8
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΔΑ CART
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (3)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
42
8216
8 69
4 4
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΤΝΔ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (4)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
138
38
4124
122
13
2
6
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Στατιστικά για τους 4 αλγόριθμους
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
CART NeuralNet NEMO ML Ensemble
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Πως ορίζεται η ιδιότητα
bull Ορισμός ιδιότηταςndash Η συγκέντρωση του ρύπου P στο σταθμό
μέτρησης S την ώρα H Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
bull Ήndash Η συγκεντρωτική συνάρτηση F της συγκέντρωσης
του ρύπου P στο σταθμό μέτρησης S από την ώρα H1 έως H2 Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Λόγοι επιλογής ιδιοτήτων
bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων
bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή
bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)
bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδοι Αντιμετώπισης
bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδος φιλτραρίσματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Υπολογισμός μέτρωνποιότητας των ιδιοτήτων
Επαύξηση ή μείωση των ιδιοτήτων
Είναι αποδεκτό τοαξιολογημένουποσύνολο
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Επιλογή νέου υποσυνόλουιδιοτήτων
Μέθοδοςφιλτραρίσματος
Γενετικός Αλγόριθμος
Μέθοδος περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Εκπαιδευμένο Μοντέλο
Σύνολοδεδομένων
Κατασκευή συνόλου δεδομένων
Αξιολογημένο Μοντέλο
Εκπαίδευση Αλγορίθμου
Αξιολόγηση Αλγορίθμου
Είναι αποδεκτό τοαξιολογημένο
μοντέλο
Επιλογή νέου υποσυνόλουιδιοτήτων
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Κ-κοντινότεροι γείτονες
Περιτύλιξη με Γενετικό Αλγόριθμο
bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων
bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου
ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων
ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας
γενετικούς τελεστές
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
11 22 33 4400
B1B1 B2B2 B3B3 B4B4 B5B5
Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων
Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με
κωδικό 104 (Γεωπονική) στις 5 μμ
000000 00110011 000000 1000010000 0001000010 0000000000 00
P = ΝΟ2 S = 104
F = αδιάφορο
H1 = 1700 O = 0
H2 = αδιάφορο
ΣημαίαΣυγκεντρωτικής ιδιότητας = 0
Επέλεξε τη μέση συγκέντρωση του
SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ
100100 01110111 000000 0001100011 1010010100 0001000010 11
P = ΝΟ2 S = 108
F = Μέση τιμή-Avg
H1 = 400 O = -2
H2 = 2100
ΣημαίαΣυγκεντρωτικής ιδιότητας = 1
Η Κωδικοποίηση του γενότυπου
Η συνάρτηση προσαρμογής
bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του
αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο
υποσύνολο ιδιοτήτων της λύσης
nA
iAb
nE
iEa
iAiEF
max
)(
max
)(1
))()((
a lt= 1 b lt= 1 a + b = 1
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Οι παράμετροι της συνάρτησης προσαρμογής a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE
bull et = Xt ndash Ft
bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής
bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
n
e
RMSE
n
tt
1
2
n
tt
n
ttt
X
Xe
WSE
1
2
1
2
Ρύθμιση του μεγέθους πληθυσμού
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Population Sizes
0
05
1
15
2
25
3
35
4
5 10 20 30 40 50 100
Population Size
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση συντελεστών a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Coefficient pairs
0
5
10
15
20
25
30
35
01 09 03 07 05 05 07 03 08 02 09 01 095 005
ab pairs
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage
0
05
1
15
2
25
3
35
10 30 40 50 60 70 80 90
Mutation rate ()
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers
0
05
1
15
2
25
3
35
4
1 2 3 4 5 8 10 15
Elite members
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeatures
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Η μέθοδος CFS
bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την
εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις
ιδιότητες του υποσυνόλου
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
)1( ii
cis
rkkk
rkG
Σύγκριση των δύο μεθόδων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
000
1000
2000
3000
4000
5000
6000
7000
8000
9000
ZeroR DecisionStump
DecisionTable
IB1 IB3 IB9 LinearRegression
M5Prime
GA Mean absolute error GA Root mean squared error
CFS Mean absolute error CFS Root mean squared error
Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης
bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης
ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART
bull Συνδυασμένος ταξινομητής
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το σύστημα ΠΛ ΝΕΜΟ (1)
Όμοιες περιπτώσεις
Επιλογέας κοντινών περιπτώσεων
Φίλτρο κοντινών περιπτώσεων
Προσαρμογέας κοντινών περιπτώσεων
Προβλέπτης λύσης
Προτεινόμενη λύση
ΝΕΜΟ
Βάση περιπτώσεων
Κοντινέςπεριπτώσεις
Βάση Γνώσης
Νέα περίπτωση
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία
αναστροφή
βροχόπτωση
άνεμος
NO στις 10 πμ
NO στις 9 πμ
NO στις 8 πμ
NO2 στις 10 πμ
NO2 στις 9 πμ
NO2 στις 8 πμ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Έξοδος
Το δέντρο απόφασης (1)NOat10
NOat10
NOat10
NOat10
Wind
NOat9
Rain
Inversion
NOat9
NO2at8 Wind
Radiation
1(26518)
1(235)
2(4412)
1(83) 2(104) 1(100)
2(101) 1(101)
2(10035)
3(5313)
4(80)
4(124)3(91)
lt=027 gt027
lt=021
gt067
gt021
lt=067
lt=04 gt04
lt=057 gt057
lt=066 gt066
lt=047 gt047
lt=021 gt021
=0 =1
lt=021 gt021 lt=08 gt08
lt=036 gt036
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το δέντρο απόφασης (2)
0
021
025
04 057
105 075
027
12
1 2 3
4
34
066
0
1
02
04
06
08
ΝΟ στις10πμ
Θερ
μο
κρα
σια
κή α
νασ
τρο
φή
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Ο συνδυασμένος ταξινομητής
bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (1)
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
134
38
522
122
93
8
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΝΕΜΟ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
Αποτελέσματα Πίνακες Σύγχυσης (2)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
40
4221
8 317
8
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΔΑ CART
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (3)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
42
8216
8 69
4 4
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΤΝΔ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (4)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
138
38
4124
122
13
2
6
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Στατιστικά για τους 4 αλγόριθμους
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
CART NeuralNet NEMO ML Ensemble
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Λόγοι επιλογής ιδιοτήτων
bull Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων
bull Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή
bull Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam)
bull Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδοι Αντιμετώπισης
bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδος φιλτραρίσματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Υπολογισμός μέτρωνποιότητας των ιδιοτήτων
Επαύξηση ή μείωση των ιδιοτήτων
Είναι αποδεκτό τοαξιολογημένουποσύνολο
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Επιλογή νέου υποσυνόλουιδιοτήτων
Μέθοδοςφιλτραρίσματος
Γενετικός Αλγόριθμος
Μέθοδος περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Εκπαιδευμένο Μοντέλο
Σύνολοδεδομένων
Κατασκευή συνόλου δεδομένων
Αξιολογημένο Μοντέλο
Εκπαίδευση Αλγορίθμου
Αξιολόγηση Αλγορίθμου
Είναι αποδεκτό τοαξιολογημένο
μοντέλο
Επιλογή νέου υποσυνόλουιδιοτήτων
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Κ-κοντινότεροι γείτονες
Περιτύλιξη με Γενετικό Αλγόριθμο
bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων
bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου
ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων
ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας
γενετικούς τελεστές
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
11 22 33 4400
B1B1 B2B2 B3B3 B4B4 B5B5
Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων
Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με
κωδικό 104 (Γεωπονική) στις 5 μμ
000000 00110011 000000 1000010000 0001000010 0000000000 00
P = ΝΟ2 S = 104
F = αδιάφορο
H1 = 1700 O = 0
H2 = αδιάφορο
ΣημαίαΣυγκεντρωτικής ιδιότητας = 0
Επέλεξε τη μέση συγκέντρωση του
SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ
100100 01110111 000000 0001100011 1010010100 0001000010 11
P = ΝΟ2 S = 108
F = Μέση τιμή-Avg
H1 = 400 O = -2
H2 = 2100
ΣημαίαΣυγκεντρωτικής ιδιότητας = 1
Η Κωδικοποίηση του γενότυπου
Η συνάρτηση προσαρμογής
bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του
αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο
υποσύνολο ιδιοτήτων της λύσης
nA
iAb
nE
iEa
iAiEF
max
)(
max
)(1
))()((
a lt= 1 b lt= 1 a + b = 1
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Οι παράμετροι της συνάρτησης προσαρμογής a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE
bull et = Xt ndash Ft
bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής
bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
n
e
RMSE
n
tt
1
2
n
tt
n
ttt
X
Xe
WSE
1
2
1
2
Ρύθμιση του μεγέθους πληθυσμού
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Population Sizes
0
05
1
15
2
25
3
35
4
5 10 20 30 40 50 100
Population Size
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση συντελεστών a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Coefficient pairs
0
5
10
15
20
25
30
35
01 09 03 07 05 05 07 03 08 02 09 01 095 005
ab pairs
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage
0
05
1
15
2
25
3
35
10 30 40 50 60 70 80 90
Mutation rate ()
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers
0
05
1
15
2
25
3
35
4
1 2 3 4 5 8 10 15
Elite members
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeatures
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Η μέθοδος CFS
bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την
εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις
ιδιότητες του υποσυνόλου
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
)1( ii
cis
rkkk
rkG
Σύγκριση των δύο μεθόδων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
000
1000
2000
3000
4000
5000
6000
7000
8000
9000
ZeroR DecisionStump
DecisionTable
IB1 IB3 IB9 LinearRegression
M5Prime
GA Mean absolute error GA Root mean squared error
CFS Mean absolute error CFS Root mean squared error
Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης
bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης
ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART
bull Συνδυασμένος ταξινομητής
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το σύστημα ΠΛ ΝΕΜΟ (1)
Όμοιες περιπτώσεις
Επιλογέας κοντινών περιπτώσεων
Φίλτρο κοντινών περιπτώσεων
Προσαρμογέας κοντινών περιπτώσεων
Προβλέπτης λύσης
Προτεινόμενη λύση
ΝΕΜΟ
Βάση περιπτώσεων
Κοντινέςπεριπτώσεις
Βάση Γνώσης
Νέα περίπτωση
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία
αναστροφή
βροχόπτωση
άνεμος
NO στις 10 πμ
NO στις 9 πμ
NO στις 8 πμ
NO2 στις 10 πμ
NO2 στις 9 πμ
NO2 στις 8 πμ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Έξοδος
Το δέντρο απόφασης (1)NOat10
NOat10
NOat10
NOat10
Wind
NOat9
Rain
Inversion
NOat9
NO2at8 Wind
Radiation
1(26518)
1(235)
2(4412)
1(83) 2(104) 1(100)
2(101) 1(101)
2(10035)
3(5313)
4(80)
4(124)3(91)
lt=027 gt027
lt=021
gt067
gt021
lt=067
lt=04 gt04
lt=057 gt057
lt=066 gt066
lt=047 gt047
lt=021 gt021
=0 =1
lt=021 gt021 lt=08 gt08
lt=036 gt036
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το δέντρο απόφασης (2)
0
021
025
04 057
105 075
027
12
1 2 3
4
34
066
0
1
02
04
06
08
ΝΟ στις10πμ
Θερ
μο
κρα
σια
κή α
νασ
τρο
φή
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Ο συνδυασμένος ταξινομητής
bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (1)
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
134
38
522
122
93
8
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΝΕΜΟ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
Αποτελέσματα Πίνακες Σύγχυσης (2)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
40
4221
8 317
8
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΔΑ CART
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (3)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
42
8216
8 69
4 4
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΤΝΔ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (4)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
138
38
4124
122
13
2
6
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Στατιστικά για τους 4 αλγόριθμους
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
CART NeuralNet NEMO ML Ensemble
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Μέθοδοι Αντιμετώπισης
bull Μέθοδοιndash Φιλτραρίσματοςndash Περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Μέθοδος φιλτραρίσματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Υπολογισμός μέτρωνποιότητας των ιδιοτήτων
Επαύξηση ή μείωση των ιδιοτήτων
Είναι αποδεκτό τοαξιολογημένουποσύνολο
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Επιλογή νέου υποσυνόλουιδιοτήτων
Μέθοδοςφιλτραρίσματος
Γενετικός Αλγόριθμος
Μέθοδος περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Εκπαιδευμένο Μοντέλο
Σύνολοδεδομένων
Κατασκευή συνόλου δεδομένων
Αξιολογημένο Μοντέλο
Εκπαίδευση Αλγορίθμου
Αξιολόγηση Αλγορίθμου
Είναι αποδεκτό τοαξιολογημένο
μοντέλο
Επιλογή νέου υποσυνόλουιδιοτήτων
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Κ-κοντινότεροι γείτονες
Περιτύλιξη με Γενετικό Αλγόριθμο
bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων
bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου
ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων
ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας
γενετικούς τελεστές
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
11 22 33 4400
B1B1 B2B2 B3B3 B4B4 B5B5
Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων
Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με
κωδικό 104 (Γεωπονική) στις 5 μμ
000000 00110011 000000 1000010000 0001000010 0000000000 00
P = ΝΟ2 S = 104
F = αδιάφορο
H1 = 1700 O = 0
H2 = αδιάφορο
ΣημαίαΣυγκεντρωτικής ιδιότητας = 0
Επέλεξε τη μέση συγκέντρωση του
SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ
100100 01110111 000000 0001100011 1010010100 0001000010 11
P = ΝΟ2 S = 108
F = Μέση τιμή-Avg
H1 = 400 O = -2
H2 = 2100
ΣημαίαΣυγκεντρωτικής ιδιότητας = 1
Η Κωδικοποίηση του γενότυπου
Η συνάρτηση προσαρμογής
bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του
αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο
υποσύνολο ιδιοτήτων της λύσης
nA
iAb
nE
iEa
iAiEF
max
)(
max
)(1
))()((
a lt= 1 b lt= 1 a + b = 1
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Οι παράμετροι της συνάρτησης προσαρμογής a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE
bull et = Xt ndash Ft
bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής
bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
n
e
RMSE
n
tt
1
2
n
tt
n
ttt
X
Xe
WSE
1
2
1
2
Ρύθμιση του μεγέθους πληθυσμού
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Population Sizes
0
05
1
15
2
25
3
35
4
5 10 20 30 40 50 100
Population Size
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση συντελεστών a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Coefficient pairs
0
5
10
15
20
25
30
35
01 09 03 07 05 05 07 03 08 02 09 01 095 005
ab pairs
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage
0
05
1
15
2
25
3
35
10 30 40 50 60 70 80 90
Mutation rate ()
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers
0
05
1
15
2
25
3
35
4
1 2 3 4 5 8 10 15
Elite members
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeatures
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Η μέθοδος CFS
bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την
εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις
ιδιότητες του υποσυνόλου
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
)1( ii
cis
rkkk
rkG
Σύγκριση των δύο μεθόδων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
000
1000
2000
3000
4000
5000
6000
7000
8000
9000
ZeroR DecisionStump
DecisionTable
IB1 IB3 IB9 LinearRegression
M5Prime
GA Mean absolute error GA Root mean squared error
CFS Mean absolute error CFS Root mean squared error
Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης
bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης
ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART
bull Συνδυασμένος ταξινομητής
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το σύστημα ΠΛ ΝΕΜΟ (1)
Όμοιες περιπτώσεις
Επιλογέας κοντινών περιπτώσεων
Φίλτρο κοντινών περιπτώσεων
Προσαρμογέας κοντινών περιπτώσεων
Προβλέπτης λύσης
Προτεινόμενη λύση
ΝΕΜΟ
Βάση περιπτώσεων
Κοντινέςπεριπτώσεις
Βάση Γνώσης
Νέα περίπτωση
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία
αναστροφή
βροχόπτωση
άνεμος
NO στις 10 πμ
NO στις 9 πμ
NO στις 8 πμ
NO2 στις 10 πμ
NO2 στις 9 πμ
NO2 στις 8 πμ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Έξοδος
Το δέντρο απόφασης (1)NOat10
NOat10
NOat10
NOat10
Wind
NOat9
Rain
Inversion
NOat9
NO2at8 Wind
Radiation
1(26518)
1(235)
2(4412)
1(83) 2(104) 1(100)
2(101) 1(101)
2(10035)
3(5313)
4(80)
4(124)3(91)
lt=027 gt027
lt=021
gt067
gt021
lt=067
lt=04 gt04
lt=057 gt057
lt=066 gt066
lt=047 gt047
lt=021 gt021
=0 =1
lt=021 gt021 lt=08 gt08
lt=036 gt036
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το δέντρο απόφασης (2)
0
021
025
04 057
105 075
027
12
1 2 3
4
34
066
0
1
02
04
06
08
ΝΟ στις10πμ
Θερ
μο
κρα
σια
κή α
νασ
τρο
φή
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Ο συνδυασμένος ταξινομητής
bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (1)
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
134
38
522
122
93
8
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΝΕΜΟ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
Αποτελέσματα Πίνακες Σύγχυσης (2)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
40
4221
8 317
8
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΔΑ CART
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (3)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
42
8216
8 69
4 4
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΤΝΔ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (4)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
138
38
4124
122
13
2
6
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Στατιστικά για τους 4 αλγόριθμους
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
CART NeuralNet NEMO ML Ensemble
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Μέθοδος φιλτραρίσματος
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Υπολογισμός μέτρωνποιότητας των ιδιοτήτων
Επαύξηση ή μείωση των ιδιοτήτων
Είναι αποδεκτό τοαξιολογημένουποσύνολο
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Επιλογή νέου υποσυνόλουιδιοτήτων
Μέθοδοςφιλτραρίσματος
Γενετικός Αλγόριθμος
Μέθοδος περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Εκπαιδευμένο Μοντέλο
Σύνολοδεδομένων
Κατασκευή συνόλου δεδομένων
Αξιολογημένο Μοντέλο
Εκπαίδευση Αλγορίθμου
Αξιολόγηση Αλγορίθμου
Είναι αποδεκτό τοαξιολογημένο
μοντέλο
Επιλογή νέου υποσυνόλουιδιοτήτων
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Κ-κοντινότεροι γείτονες
Περιτύλιξη με Γενετικό Αλγόριθμο
bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων
bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου
ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων
ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας
γενετικούς τελεστές
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
11 22 33 4400
B1B1 B2B2 B3B3 B4B4 B5B5
Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων
Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με
κωδικό 104 (Γεωπονική) στις 5 μμ
000000 00110011 000000 1000010000 0001000010 0000000000 00
P = ΝΟ2 S = 104
F = αδιάφορο
H1 = 1700 O = 0
H2 = αδιάφορο
ΣημαίαΣυγκεντρωτικής ιδιότητας = 0
Επέλεξε τη μέση συγκέντρωση του
SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ
100100 01110111 000000 0001100011 1010010100 0001000010 11
P = ΝΟ2 S = 108
F = Μέση τιμή-Avg
H1 = 400 O = -2
H2 = 2100
ΣημαίαΣυγκεντρωτικής ιδιότητας = 1
Η Κωδικοποίηση του γενότυπου
Η συνάρτηση προσαρμογής
bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του
αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο
υποσύνολο ιδιοτήτων της λύσης
nA
iAb
nE
iEa
iAiEF
max
)(
max
)(1
))()((
a lt= 1 b lt= 1 a + b = 1
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Οι παράμετροι της συνάρτησης προσαρμογής a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE
bull et = Xt ndash Ft
bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής
bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
n
e
RMSE
n
tt
1
2
n
tt
n
ttt
X
Xe
WSE
1
2
1
2
Ρύθμιση του μεγέθους πληθυσμού
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Population Sizes
0
05
1
15
2
25
3
35
4
5 10 20 30 40 50 100
Population Size
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση συντελεστών a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Coefficient pairs
0
5
10
15
20
25
30
35
01 09 03 07 05 05 07 03 08 02 09 01 095 005
ab pairs
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage
0
05
1
15
2
25
3
35
10 30 40 50 60 70 80 90
Mutation rate ()
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers
0
05
1
15
2
25
3
35
4
1 2 3 4 5 8 10 15
Elite members
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeatures
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Η μέθοδος CFS
bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την
εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις
ιδιότητες του υποσυνόλου
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
)1( ii
cis
rkkk
rkG
Σύγκριση των δύο μεθόδων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
000
1000
2000
3000
4000
5000
6000
7000
8000
9000
ZeroR DecisionStump
DecisionTable
IB1 IB3 IB9 LinearRegression
M5Prime
GA Mean absolute error GA Root mean squared error
CFS Mean absolute error CFS Root mean squared error
Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης
bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης
ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART
bull Συνδυασμένος ταξινομητής
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το σύστημα ΠΛ ΝΕΜΟ (1)
Όμοιες περιπτώσεις
Επιλογέας κοντινών περιπτώσεων
Φίλτρο κοντινών περιπτώσεων
Προσαρμογέας κοντινών περιπτώσεων
Προβλέπτης λύσης
Προτεινόμενη λύση
ΝΕΜΟ
Βάση περιπτώσεων
Κοντινέςπεριπτώσεις
Βάση Γνώσης
Νέα περίπτωση
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία
αναστροφή
βροχόπτωση
άνεμος
NO στις 10 πμ
NO στις 9 πμ
NO στις 8 πμ
NO2 στις 10 πμ
NO2 στις 9 πμ
NO2 στις 8 πμ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Έξοδος
Το δέντρο απόφασης (1)NOat10
NOat10
NOat10
NOat10
Wind
NOat9
Rain
Inversion
NOat9
NO2at8 Wind
Radiation
1(26518)
1(235)
2(4412)
1(83) 2(104) 1(100)
2(101) 1(101)
2(10035)
3(5313)
4(80)
4(124)3(91)
lt=027 gt027
lt=021
gt067
gt021
lt=067
lt=04 gt04
lt=057 gt057
lt=066 gt066
lt=047 gt047
lt=021 gt021
=0 =1
lt=021 gt021 lt=08 gt08
lt=036 gt036
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το δέντρο απόφασης (2)
0
021
025
04 057
105 075
027
12
1 2 3
4
34
066
0
1
02
04
06
08
ΝΟ στις10πμ
Θερ
μο
κρα
σια
κή α
νασ
τρο
φή
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Ο συνδυασμένος ταξινομητής
bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (1)
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
134
38
522
122
93
8
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΝΕΜΟ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
Αποτελέσματα Πίνακες Σύγχυσης (2)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
40
4221
8 317
8
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΔΑ CART
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (3)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
42
8216
8 69
4 4
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΤΝΔ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (4)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
138
38
4124
122
13
2
6
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Στατιστικά για τους 4 αλγόριθμους
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
CART NeuralNet NEMO ML Ensemble
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Γενετικός Αλγόριθμος
Μέθοδος περιτύλιξης
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Αποθήκηιδιοτήτων
Υποσύνολοιδιοτήτων
υπό αξιολόγηση
Επιλογή υποσυνόλουιδιοτήτων
Εκπαιδευμένο Μοντέλο
Σύνολοδεδομένων
Κατασκευή συνόλου δεδομένων
Αξιολογημένο Μοντέλο
Εκπαίδευση Αλγορίθμου
Αξιολόγηση Αλγορίθμου
Είναι αποδεκτό τοαξιολογημένο
μοντέλο
Επιλογή νέου υποσυνόλουιδιοτήτων
ΌχιΝαιΕπιλεγμένουποσύνολοιδιοτήτων
Κ-κοντινότεροι γείτονες
Περιτύλιξη με Γενετικό Αλγόριθμο
bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων
bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου
ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων
ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας
γενετικούς τελεστές
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
11 22 33 4400
B1B1 B2B2 B3B3 B4B4 B5B5
Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων
Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με
κωδικό 104 (Γεωπονική) στις 5 μμ
000000 00110011 000000 1000010000 0001000010 0000000000 00
P = ΝΟ2 S = 104
F = αδιάφορο
H1 = 1700 O = 0
H2 = αδιάφορο
ΣημαίαΣυγκεντρωτικής ιδιότητας = 0
Επέλεξε τη μέση συγκέντρωση του
SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ
100100 01110111 000000 0001100011 1010010100 0001000010 11
P = ΝΟ2 S = 108
F = Μέση τιμή-Avg
H1 = 400 O = -2
H2 = 2100
ΣημαίαΣυγκεντρωτικής ιδιότητας = 1
Η Κωδικοποίηση του γενότυπου
Η συνάρτηση προσαρμογής
bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του
αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο
υποσύνολο ιδιοτήτων της λύσης
nA
iAb
nE
iEa
iAiEF
max
)(
max
)(1
))()((
a lt= 1 b lt= 1 a + b = 1
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Οι παράμετροι της συνάρτησης προσαρμογής a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE
bull et = Xt ndash Ft
bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής
bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
n
e
RMSE
n
tt
1
2
n
tt
n
ttt
X
Xe
WSE
1
2
1
2
Ρύθμιση του μεγέθους πληθυσμού
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Population Sizes
0
05
1
15
2
25
3
35
4
5 10 20 30 40 50 100
Population Size
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση συντελεστών a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Coefficient pairs
0
5
10
15
20
25
30
35
01 09 03 07 05 05 07 03 08 02 09 01 095 005
ab pairs
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage
0
05
1
15
2
25
3
35
10 30 40 50 60 70 80 90
Mutation rate ()
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers
0
05
1
15
2
25
3
35
4
1 2 3 4 5 8 10 15
Elite members
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeatures
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Η μέθοδος CFS
bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την
εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις
ιδιότητες του υποσυνόλου
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
)1( ii
cis
rkkk
rkG
Σύγκριση των δύο μεθόδων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
000
1000
2000
3000
4000
5000
6000
7000
8000
9000
ZeroR DecisionStump
DecisionTable
IB1 IB3 IB9 LinearRegression
M5Prime
GA Mean absolute error GA Root mean squared error
CFS Mean absolute error CFS Root mean squared error
Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης
bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης
ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART
bull Συνδυασμένος ταξινομητής
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το σύστημα ΠΛ ΝΕΜΟ (1)
Όμοιες περιπτώσεις
Επιλογέας κοντινών περιπτώσεων
Φίλτρο κοντινών περιπτώσεων
Προσαρμογέας κοντινών περιπτώσεων
Προβλέπτης λύσης
Προτεινόμενη λύση
ΝΕΜΟ
Βάση περιπτώσεων
Κοντινέςπεριπτώσεις
Βάση Γνώσης
Νέα περίπτωση
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία
αναστροφή
βροχόπτωση
άνεμος
NO στις 10 πμ
NO στις 9 πμ
NO στις 8 πμ
NO2 στις 10 πμ
NO2 στις 9 πμ
NO2 στις 8 πμ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Έξοδος
Το δέντρο απόφασης (1)NOat10
NOat10
NOat10
NOat10
Wind
NOat9
Rain
Inversion
NOat9
NO2at8 Wind
Radiation
1(26518)
1(235)
2(4412)
1(83) 2(104) 1(100)
2(101) 1(101)
2(10035)
3(5313)
4(80)
4(124)3(91)
lt=027 gt027
lt=021
gt067
gt021
lt=067
lt=04 gt04
lt=057 gt057
lt=066 gt066
lt=047 gt047
lt=021 gt021
=0 =1
lt=021 gt021 lt=08 gt08
lt=036 gt036
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το δέντρο απόφασης (2)
0
021
025
04 057
105 075
027
12
1 2 3
4
34
066
0
1
02
04
06
08
ΝΟ στις10πμ
Θερ
μο
κρα
σια
κή α
νασ
τρο
φή
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Ο συνδυασμένος ταξινομητής
bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (1)
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
134
38
522
122
93
8
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΝΕΜΟ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
Αποτελέσματα Πίνακες Σύγχυσης (2)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
40
4221
8 317
8
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΔΑ CART
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (3)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
42
8216
8 69
4 4
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΤΝΔ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (4)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
138
38
4124
122
13
2
6
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Στατιστικά για τους 4 αλγόριθμους
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
CART NeuralNet NEMO ML Ensemble
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Περιτύλιξη με Γενετικό Αλγόριθμο
bull Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων
bull Συνάρτηση προσαρμογής δύο κριτηρίωνndash Απόδοση συνόλου δεδομένων του υποσυνόλου
ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων
ndash Μέγεθος υποσυνόλου ιδιοτήτωνbull Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας
γενετικούς τελεστές
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
11 22 33 4400
B1B1 B2B2 B3B3 B4B4 B5B5
Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων
Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με
κωδικό 104 (Γεωπονική) στις 5 μμ
000000 00110011 000000 1000010000 0001000010 0000000000 00
P = ΝΟ2 S = 104
F = αδιάφορο
H1 = 1700 O = 0
H2 = αδιάφορο
ΣημαίαΣυγκεντρωτικής ιδιότητας = 0
Επέλεξε τη μέση συγκέντρωση του
SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ
100100 01110111 000000 0001100011 1010010100 0001000010 11
P = ΝΟ2 S = 108
F = Μέση τιμή-Avg
H1 = 400 O = -2
H2 = 2100
ΣημαίαΣυγκεντρωτικής ιδιότητας = 1
Η Κωδικοποίηση του γενότυπου
Η συνάρτηση προσαρμογής
bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του
αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο
υποσύνολο ιδιοτήτων της λύσης
nA
iAb
nE
iEa
iAiEF
max
)(
max
)(1
))()((
a lt= 1 b lt= 1 a + b = 1
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Οι παράμετροι της συνάρτησης προσαρμογής a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE
bull et = Xt ndash Ft
bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής
bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
n
e
RMSE
n
tt
1
2
n
tt
n
ttt
X
Xe
WSE
1
2
1
2
Ρύθμιση του μεγέθους πληθυσμού
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Population Sizes
0
05
1
15
2
25
3
35
4
5 10 20 30 40 50 100
Population Size
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση συντελεστών a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Coefficient pairs
0
5
10
15
20
25
30
35
01 09 03 07 05 05 07 03 08 02 09 01 095 005
ab pairs
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage
0
05
1
15
2
25
3
35
10 30 40 50 60 70 80 90
Mutation rate ()
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers
0
05
1
15
2
25
3
35
4
1 2 3 4 5 8 10 15
Elite members
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeatures
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Η μέθοδος CFS
bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την
εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις
ιδιότητες του υποσυνόλου
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
)1( ii
cis
rkkk
rkG
Σύγκριση των δύο μεθόδων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
000
1000
2000
3000
4000
5000
6000
7000
8000
9000
ZeroR DecisionStump
DecisionTable
IB1 IB3 IB9 LinearRegression
M5Prime
GA Mean absolute error GA Root mean squared error
CFS Mean absolute error CFS Root mean squared error
Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης
bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης
ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART
bull Συνδυασμένος ταξινομητής
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το σύστημα ΠΛ ΝΕΜΟ (1)
Όμοιες περιπτώσεις
Επιλογέας κοντινών περιπτώσεων
Φίλτρο κοντινών περιπτώσεων
Προσαρμογέας κοντινών περιπτώσεων
Προβλέπτης λύσης
Προτεινόμενη λύση
ΝΕΜΟ
Βάση περιπτώσεων
Κοντινέςπεριπτώσεις
Βάση Γνώσης
Νέα περίπτωση
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία
αναστροφή
βροχόπτωση
άνεμος
NO στις 10 πμ
NO στις 9 πμ
NO στις 8 πμ
NO2 στις 10 πμ
NO2 στις 9 πμ
NO2 στις 8 πμ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Έξοδος
Το δέντρο απόφασης (1)NOat10
NOat10
NOat10
NOat10
Wind
NOat9
Rain
Inversion
NOat9
NO2at8 Wind
Radiation
1(26518)
1(235)
2(4412)
1(83) 2(104) 1(100)
2(101) 1(101)
2(10035)
3(5313)
4(80)
4(124)3(91)
lt=027 gt027
lt=021
gt067
gt021
lt=067
lt=04 gt04
lt=057 gt057
lt=066 gt066
lt=047 gt047
lt=021 gt021
=0 =1
lt=021 gt021 lt=08 gt08
lt=036 gt036
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το δέντρο απόφασης (2)
0
021
025
04 057
105 075
027
12
1 2 3
4
34
066
0
1
02
04
06
08
ΝΟ στις10πμ
Θερ
μο
κρα
σια
κή α
νασ
τρο
φή
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Ο συνδυασμένος ταξινομητής
bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (1)
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
134
38
522
122
93
8
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΝΕΜΟ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
Αποτελέσματα Πίνακες Σύγχυσης (2)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
40
4221
8 317
8
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΔΑ CART
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (3)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
42
8216
8 69
4 4
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΤΝΔ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (4)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
138
38
4124
122
13
2
6
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Στατιστικά για τους 4 αλγόριθμους
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
CART NeuralNet NEMO ML Ensemble
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
11 22 33 4400
B1B1 B2B2 B3B3 B4B4 B5B5
Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων
Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με
κωδικό 104 (Γεωπονική) στις 5 μμ
000000 00110011 000000 1000010000 0001000010 0000000000 00
P = ΝΟ2 S = 104
F = αδιάφορο
H1 = 1700 O = 0
H2 = αδιάφορο
ΣημαίαΣυγκεντρωτικής ιδιότητας = 0
Επέλεξε τη μέση συγκέντρωση του
SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 πμ μέχρι τις 9 μμ
100100 01110111 000000 0001100011 1010010100 0001000010 11
P = ΝΟ2 S = 108
F = Μέση τιμή-Avg
H1 = 400 O = -2
H2 = 2100
ΣημαίαΣυγκεντρωτικής ιδιότητας = 1
Η Κωδικοποίηση του γενότυπου
Η συνάρτηση προσαρμογής
bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του
αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο
υποσύνολο ιδιοτήτων της λύσης
nA
iAb
nE
iEa
iAiEF
max
)(
max
)(1
))()((
a lt= 1 b lt= 1 a + b = 1
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Οι παράμετροι της συνάρτησης προσαρμογής a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE
bull et = Xt ndash Ft
bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής
bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
n
e
RMSE
n
tt
1
2
n
tt
n
ttt
X
Xe
WSE
1
2
1
2
Ρύθμιση του μεγέθους πληθυσμού
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Population Sizes
0
05
1
15
2
25
3
35
4
5 10 20 30 40 50 100
Population Size
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση συντελεστών a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Coefficient pairs
0
5
10
15
20
25
30
35
01 09 03 07 05 05 07 03 08 02 09 01 095 005
ab pairs
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage
0
05
1
15
2
25
3
35
10 30 40 50 60 70 80 90
Mutation rate ()
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers
0
05
1
15
2
25
3
35
4
1 2 3 4 5 8 10 15
Elite members
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeatures
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Η μέθοδος CFS
bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την
εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις
ιδιότητες του υποσυνόλου
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
)1( ii
cis
rkkk
rkG
Σύγκριση των δύο μεθόδων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
000
1000
2000
3000
4000
5000
6000
7000
8000
9000
ZeroR DecisionStump
DecisionTable
IB1 IB3 IB9 LinearRegression
M5Prime
GA Mean absolute error GA Root mean squared error
CFS Mean absolute error CFS Root mean squared error
Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης
bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης
ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART
bull Συνδυασμένος ταξινομητής
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το σύστημα ΠΛ ΝΕΜΟ (1)
Όμοιες περιπτώσεις
Επιλογέας κοντινών περιπτώσεων
Φίλτρο κοντινών περιπτώσεων
Προσαρμογέας κοντινών περιπτώσεων
Προβλέπτης λύσης
Προτεινόμενη λύση
ΝΕΜΟ
Βάση περιπτώσεων
Κοντινέςπεριπτώσεις
Βάση Γνώσης
Νέα περίπτωση
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία
αναστροφή
βροχόπτωση
άνεμος
NO στις 10 πμ
NO στις 9 πμ
NO στις 8 πμ
NO2 στις 10 πμ
NO2 στις 9 πμ
NO2 στις 8 πμ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Έξοδος
Το δέντρο απόφασης (1)NOat10
NOat10
NOat10
NOat10
Wind
NOat9
Rain
Inversion
NOat9
NO2at8 Wind
Radiation
1(26518)
1(235)
2(4412)
1(83) 2(104) 1(100)
2(101) 1(101)
2(10035)
3(5313)
4(80)
4(124)3(91)
lt=027 gt027
lt=021
gt067
gt021
lt=067
lt=04 gt04
lt=057 gt057
lt=066 gt066
lt=047 gt047
lt=021 gt021
=0 =1
lt=021 gt021 lt=08 gt08
lt=036 gt036
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το δέντρο απόφασης (2)
0
021
025
04 057
105 075
027
12
1 2 3
4
34
066
0
1
02
04
06
08
ΝΟ στις10πμ
Θερ
μο
κρα
σια
κή α
νασ
τρο
φή
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Ο συνδυασμένος ταξινομητής
bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (1)
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
134
38
522
122
93
8
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΝΕΜΟ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
Αποτελέσματα Πίνακες Σύγχυσης (2)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
40
4221
8 317
8
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΔΑ CART
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (3)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
42
8216
8 69
4 4
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΤΝΔ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (4)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
138
38
4124
122
13
2
6
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Στατιστικά για τους 4 αλγόριθμους
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
CART NeuralNet NEMO ML Ensemble
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Η συνάρτηση προσαρμογής
bull Πολυαντικειμενική (δύο στόχοι)bull Ελαχιστοποίηση σφάλματος πρόβλεψης του
αλγόριθμου κ-κοντινότερων γειτόνωνbull Ελαχιστοποίηση αριθμού ιδιοτήτων στο
υποσύνολο ιδιοτήτων της λύσης
nA
iAb
nE
iEa
iAiEF
max
)(
max
)(1
))()((
a lt= 1 b lt= 1 a + b = 1
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Οι παράμετροι της συνάρτησης προσαρμογής a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE
bull et = Xt ndash Ft
bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής
bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
n
e
RMSE
n
tt
1
2
n
tt
n
ttt
X
Xe
WSE
1
2
1
2
Ρύθμιση του μεγέθους πληθυσμού
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Population Sizes
0
05
1
15
2
25
3
35
4
5 10 20 30 40 50 100
Population Size
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση συντελεστών a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Coefficient pairs
0
5
10
15
20
25
30
35
01 09 03 07 05 05 07 03 08 02 09 01 095 005
ab pairs
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage
0
05
1
15
2
25
3
35
10 30 40 50 60 70 80 90
Mutation rate ()
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers
0
05
1
15
2
25
3
35
4
1 2 3 4 5 8 10 15
Elite members
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeatures
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Η μέθοδος CFS
bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την
εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις
ιδιότητες του υποσυνόλου
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
)1( ii
cis
rkkk
rkG
Σύγκριση των δύο μεθόδων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
000
1000
2000
3000
4000
5000
6000
7000
8000
9000
ZeroR DecisionStump
DecisionTable
IB1 IB3 IB9 LinearRegression
M5Prime
GA Mean absolute error GA Root mean squared error
CFS Mean absolute error CFS Root mean squared error
Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης
bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης
ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART
bull Συνδυασμένος ταξινομητής
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το σύστημα ΠΛ ΝΕΜΟ (1)
Όμοιες περιπτώσεις
Επιλογέας κοντινών περιπτώσεων
Φίλτρο κοντινών περιπτώσεων
Προσαρμογέας κοντινών περιπτώσεων
Προβλέπτης λύσης
Προτεινόμενη λύση
ΝΕΜΟ
Βάση περιπτώσεων
Κοντινέςπεριπτώσεις
Βάση Γνώσης
Νέα περίπτωση
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία
αναστροφή
βροχόπτωση
άνεμος
NO στις 10 πμ
NO στις 9 πμ
NO στις 8 πμ
NO2 στις 10 πμ
NO2 στις 9 πμ
NO2 στις 8 πμ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Έξοδος
Το δέντρο απόφασης (1)NOat10
NOat10
NOat10
NOat10
Wind
NOat9
Rain
Inversion
NOat9
NO2at8 Wind
Radiation
1(26518)
1(235)
2(4412)
1(83) 2(104) 1(100)
2(101) 1(101)
2(10035)
3(5313)
4(80)
4(124)3(91)
lt=027 gt027
lt=021
gt067
gt021
lt=067
lt=04 gt04
lt=057 gt057
lt=066 gt066
lt=047 gt047
lt=021 gt021
=0 =1
lt=021 gt021 lt=08 gt08
lt=036 gt036
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το δέντρο απόφασης (2)
0
021
025
04 057
105 075
027
12
1 2 3
4
34
066
0
1
02
04
06
08
ΝΟ στις10πμ
Θερ
μο
κρα
σια
κή α
νασ
τρο
φή
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Ο συνδυασμένος ταξινομητής
bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (1)
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
134
38
522
122
93
8
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΝΕΜΟ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
Αποτελέσματα Πίνακες Σύγχυσης (2)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
40
4221
8 317
8
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΔΑ CART
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (3)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
42
8216
8 69
4 4
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΤΝΔ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (4)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
138
38
4124
122
13
2
6
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Στατιστικά για τους 4 αλγόριθμους
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
CART NeuralNet NEMO ML Ensemble
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Οι παράμετροι της συνάρτησης προσαρμογής a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE
bull et = Xt ndash Ft
bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής
bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
n
e
RMSE
n
tt
1
2
n
tt
n
ttt
X
Xe
WSE
1
2
1
2
Ρύθμιση του μεγέθους πληθυσμού
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Population Sizes
0
05
1
15
2
25
3
35
4
5 10 20 30 40 50 100
Population Size
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση συντελεστών a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Coefficient pairs
0
5
10
15
20
25
30
35
01 09 03 07 05 05 07 03 08 02 09 01 095 005
ab pairs
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage
0
05
1
15
2
25
3
35
10 30 40 50 60 70 80 90
Mutation rate ()
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers
0
05
1
15
2
25
3
35
4
1 2 3 4 5 8 10 15
Elite members
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeatures
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Η μέθοδος CFS
bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την
εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις
ιδιότητες του υποσυνόλου
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
)1( ii
cis
rkkk
rkG
Σύγκριση των δύο μεθόδων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
000
1000
2000
3000
4000
5000
6000
7000
8000
9000
ZeroR DecisionStump
DecisionTable
IB1 IB3 IB9 LinearRegression
M5Prime
GA Mean absolute error GA Root mean squared error
CFS Mean absolute error CFS Root mean squared error
Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης
bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης
ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART
bull Συνδυασμένος ταξινομητής
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το σύστημα ΠΛ ΝΕΜΟ (1)
Όμοιες περιπτώσεις
Επιλογέας κοντινών περιπτώσεων
Φίλτρο κοντινών περιπτώσεων
Προσαρμογέας κοντινών περιπτώσεων
Προβλέπτης λύσης
Προτεινόμενη λύση
ΝΕΜΟ
Βάση περιπτώσεων
Κοντινέςπεριπτώσεις
Βάση Γνώσης
Νέα περίπτωση
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία
αναστροφή
βροχόπτωση
άνεμος
NO στις 10 πμ
NO στις 9 πμ
NO στις 8 πμ
NO2 στις 10 πμ
NO2 στις 9 πμ
NO2 στις 8 πμ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Έξοδος
Το δέντρο απόφασης (1)NOat10
NOat10
NOat10
NOat10
Wind
NOat9
Rain
Inversion
NOat9
NO2at8 Wind
Radiation
1(26518)
1(235)
2(4412)
1(83) 2(104) 1(100)
2(101) 1(101)
2(10035)
3(5313)
4(80)
4(124)3(91)
lt=027 gt027
lt=021
gt067
gt021
lt=067
lt=04 gt04
lt=057 gt057
lt=066 gt066
lt=047 gt047
lt=021 gt021
=0 =1
lt=021 gt021 lt=08 gt08
lt=036 gt036
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το δέντρο απόφασης (2)
0
021
025
04 057
105 075
027
12
1 2 3
4
34
066
0
1
02
04
06
08
ΝΟ στις10πμ
Θερ
μο
κρα
σια
κή α
νασ
τρο
φή
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Ο συνδυασμένος ταξινομητής
bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (1)
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
134
38
522
122
93
8
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΝΕΜΟ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
Αποτελέσματα Πίνακες Σύγχυσης (2)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
40
4221
8 317
8
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΔΑ CART
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (3)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
42
8216
8 69
4 4
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΤΝΔ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (4)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
138
38
4124
122
13
2
6
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Στατιστικά για τους 4 αλγόριθμους
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
CART NeuralNet NEMO ML Ensemble
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE
bull et = Xt ndash Ft
bull Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής
bull Ft είναι η εκτίμηση της Xt από τον αλγόριθμο
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
n
e
RMSE
n
tt
1
2
n
tt
n
ttt
X
Xe
WSE
1
2
1
2
Ρύθμιση του μεγέθους πληθυσμού
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Population Sizes
0
05
1
15
2
25
3
35
4
5 10 20 30 40 50 100
Population Size
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση συντελεστών a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Coefficient pairs
0
5
10
15
20
25
30
35
01 09 03 07 05 05 07 03 08 02 09 01 095 005
ab pairs
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage
0
05
1
15
2
25
3
35
10 30 40 50 60 70 80 90
Mutation rate ()
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers
0
05
1
15
2
25
3
35
4
1 2 3 4 5 8 10 15
Elite members
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeatures
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Η μέθοδος CFS
bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την
εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις
ιδιότητες του υποσυνόλου
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
)1( ii
cis
rkkk
rkG
Σύγκριση των δύο μεθόδων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
000
1000
2000
3000
4000
5000
6000
7000
8000
9000
ZeroR DecisionStump
DecisionTable
IB1 IB3 IB9 LinearRegression
M5Prime
GA Mean absolute error GA Root mean squared error
CFS Mean absolute error CFS Root mean squared error
Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης
bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης
ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART
bull Συνδυασμένος ταξινομητής
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το σύστημα ΠΛ ΝΕΜΟ (1)
Όμοιες περιπτώσεις
Επιλογέας κοντινών περιπτώσεων
Φίλτρο κοντινών περιπτώσεων
Προσαρμογέας κοντινών περιπτώσεων
Προβλέπτης λύσης
Προτεινόμενη λύση
ΝΕΜΟ
Βάση περιπτώσεων
Κοντινέςπεριπτώσεις
Βάση Γνώσης
Νέα περίπτωση
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία
αναστροφή
βροχόπτωση
άνεμος
NO στις 10 πμ
NO στις 9 πμ
NO στις 8 πμ
NO2 στις 10 πμ
NO2 στις 9 πμ
NO2 στις 8 πμ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Έξοδος
Το δέντρο απόφασης (1)NOat10
NOat10
NOat10
NOat10
Wind
NOat9
Rain
Inversion
NOat9
NO2at8 Wind
Radiation
1(26518)
1(235)
2(4412)
1(83) 2(104) 1(100)
2(101) 1(101)
2(10035)
3(5313)
4(80)
4(124)3(91)
lt=027 gt027
lt=021
gt067
gt021
lt=067
lt=04 gt04
lt=057 gt057
lt=066 gt066
lt=047 gt047
lt=021 gt021
=0 =1
lt=021 gt021 lt=08 gt08
lt=036 gt036
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το δέντρο απόφασης (2)
0
021
025
04 057
105 075
027
12
1 2 3
4
34
066
0
1
02
04
06
08
ΝΟ στις10πμ
Θερ
μο
κρα
σια
κή α
νασ
τρο
φή
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Ο συνδυασμένος ταξινομητής
bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (1)
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
134
38
522
122
93
8
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΝΕΜΟ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
Αποτελέσματα Πίνακες Σύγχυσης (2)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
40
4221
8 317
8
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΔΑ CART
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (3)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
42
8216
8 69
4 4
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΤΝΔ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (4)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
138
38
4124
122
13
2
6
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Στατιστικά για τους 4 αλγόριθμους
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
CART NeuralNet NEMO ML Ensemble
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Ρύθμιση του μεγέθους πληθυσμού
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Population Sizes
0
05
1
15
2
25
3
35
4
5 10 20 30 40 50 100
Population Size
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση συντελεστών a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Coefficient pairs
0
5
10
15
20
25
30
35
01 09 03 07 05 05 07 03 08 02 09 01 095 005
ab pairs
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage
0
05
1
15
2
25
3
35
10 30 40 50 60 70 80 90
Mutation rate ()
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers
0
05
1
15
2
25
3
35
4
1 2 3 4 5 8 10 15
Elite members
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeatures
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Η μέθοδος CFS
bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την
εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις
ιδιότητες του υποσυνόλου
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
)1( ii
cis
rkkk
rkG
Σύγκριση των δύο μεθόδων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
000
1000
2000
3000
4000
5000
6000
7000
8000
9000
ZeroR DecisionStump
DecisionTable
IB1 IB3 IB9 LinearRegression
M5Prime
GA Mean absolute error GA Root mean squared error
CFS Mean absolute error CFS Root mean squared error
Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης
bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης
ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART
bull Συνδυασμένος ταξινομητής
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το σύστημα ΠΛ ΝΕΜΟ (1)
Όμοιες περιπτώσεις
Επιλογέας κοντινών περιπτώσεων
Φίλτρο κοντινών περιπτώσεων
Προσαρμογέας κοντινών περιπτώσεων
Προβλέπτης λύσης
Προτεινόμενη λύση
ΝΕΜΟ
Βάση περιπτώσεων
Κοντινέςπεριπτώσεις
Βάση Γνώσης
Νέα περίπτωση
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία
αναστροφή
βροχόπτωση
άνεμος
NO στις 10 πμ
NO στις 9 πμ
NO στις 8 πμ
NO2 στις 10 πμ
NO2 στις 9 πμ
NO2 στις 8 πμ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Έξοδος
Το δέντρο απόφασης (1)NOat10
NOat10
NOat10
NOat10
Wind
NOat9
Rain
Inversion
NOat9
NO2at8 Wind
Radiation
1(26518)
1(235)
2(4412)
1(83) 2(104) 1(100)
2(101) 1(101)
2(10035)
3(5313)
4(80)
4(124)3(91)
lt=027 gt027
lt=021
gt067
gt021
lt=067
lt=04 gt04
lt=057 gt057
lt=066 gt066
lt=047 gt047
lt=021 gt021
=0 =1
lt=021 gt021 lt=08 gt08
lt=036 gt036
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το δέντρο απόφασης (2)
0
021
025
04 057
105 075
027
12
1 2 3
4
34
066
0
1
02
04
06
08
ΝΟ στις10πμ
Θερ
μο
κρα
σια
κή α
νασ
τρο
φή
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Ο συνδυασμένος ταξινομητής
bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (1)
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
134
38
522
122
93
8
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΝΕΜΟ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
Αποτελέσματα Πίνακες Σύγχυσης (2)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
40
4221
8 317
8
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΔΑ CART
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (3)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
42
8216
8 69
4 4
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΤΝΔ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (4)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
138
38
4124
122
13
2
6
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Στατιστικά για τους 4 αλγόριθμους
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
CART NeuralNet NEMO ML Ensemble
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Ρύθμιση συντελεστών a b
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Best Solution for different Coefficient pairs
0
5
10
15
20
25
30
35
01 09 03 07 05 05 07 03 08 02 09 01 095 005
ab pairs
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage
0
05
1
15
2
25
3
35
10 30 40 50 60 70 80 90
Mutation rate ()
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers
0
05
1
15
2
25
3
35
4
1 2 3 4 5 8 10 15
Elite members
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeatures
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Η μέθοδος CFS
bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την
εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις
ιδιότητες του υποσυνόλου
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
)1( ii
cis
rkkk
rkG
Σύγκριση των δύο μεθόδων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
000
1000
2000
3000
4000
5000
6000
7000
8000
9000
ZeroR DecisionStump
DecisionTable
IB1 IB3 IB9 LinearRegression
M5Prime
GA Mean absolute error GA Root mean squared error
CFS Mean absolute error CFS Root mean squared error
Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης
bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης
ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART
bull Συνδυασμένος ταξινομητής
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το σύστημα ΠΛ ΝΕΜΟ (1)
Όμοιες περιπτώσεις
Επιλογέας κοντινών περιπτώσεων
Φίλτρο κοντινών περιπτώσεων
Προσαρμογέας κοντινών περιπτώσεων
Προβλέπτης λύσης
Προτεινόμενη λύση
ΝΕΜΟ
Βάση περιπτώσεων
Κοντινέςπεριπτώσεις
Βάση Γνώσης
Νέα περίπτωση
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία
αναστροφή
βροχόπτωση
άνεμος
NO στις 10 πμ
NO στις 9 πμ
NO στις 8 πμ
NO2 στις 10 πμ
NO2 στις 9 πμ
NO2 στις 8 πμ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Έξοδος
Το δέντρο απόφασης (1)NOat10
NOat10
NOat10
NOat10
Wind
NOat9
Rain
Inversion
NOat9
NO2at8 Wind
Radiation
1(26518)
1(235)
2(4412)
1(83) 2(104) 1(100)
2(101) 1(101)
2(10035)
3(5313)
4(80)
4(124)3(91)
lt=027 gt027
lt=021
gt067
gt021
lt=067
lt=04 gt04
lt=057 gt057
lt=066 gt066
lt=047 gt047
lt=021 gt021
=0 =1
lt=021 gt021 lt=08 gt08
lt=036 gt036
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το δέντρο απόφασης (2)
0
021
025
04 057
105 075
027
12
1 2 3
4
34
066
0
1
02
04
06
08
ΝΟ στις10πμ
Θερ
μο
κρα
σια
κή α
νασ
τρο
φή
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Ο συνδυασμένος ταξινομητής
bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (1)
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
134
38
522
122
93
8
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΝΕΜΟ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
Αποτελέσματα Πίνακες Σύγχυσης (2)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
40
4221
8 317
8
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΔΑ CART
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (3)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
42
8216
8 69
4 4
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΤΝΔ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (4)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
138
38
4124
122
13
2
6
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Στατιστικά για τους 4 αλγόριθμους
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
CART NeuralNet NEMO ML Ensemble
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Ρύθμιση του ρυθμού μετάλλαξηςBest Solution for different Mutation percentage
0
05
1
15
2
25
3
35
10 30 40 50 60 70 80 90
Mutation rate ()
Fit
nes
s
0
10
20
30
40
50
60
70
80
MaxFitness AvgFitness MinFitness BestWSE BestFeature
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers
0
05
1
15
2
25
3
35
4
1 2 3 4 5 8 10 15
Elite members
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeatures
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Η μέθοδος CFS
bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την
εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις
ιδιότητες του υποσυνόλου
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
)1( ii
cis
rkkk
rkG
Σύγκριση των δύο μεθόδων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
000
1000
2000
3000
4000
5000
6000
7000
8000
9000
ZeroR DecisionStump
DecisionTable
IB1 IB3 IB9 LinearRegression
M5Prime
GA Mean absolute error GA Root mean squared error
CFS Mean absolute error CFS Root mean squared error
Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης
bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης
ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART
bull Συνδυασμένος ταξινομητής
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το σύστημα ΠΛ ΝΕΜΟ (1)
Όμοιες περιπτώσεις
Επιλογέας κοντινών περιπτώσεων
Φίλτρο κοντινών περιπτώσεων
Προσαρμογέας κοντινών περιπτώσεων
Προβλέπτης λύσης
Προτεινόμενη λύση
ΝΕΜΟ
Βάση περιπτώσεων
Κοντινέςπεριπτώσεις
Βάση Γνώσης
Νέα περίπτωση
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία
αναστροφή
βροχόπτωση
άνεμος
NO στις 10 πμ
NO στις 9 πμ
NO στις 8 πμ
NO2 στις 10 πμ
NO2 στις 9 πμ
NO2 στις 8 πμ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Έξοδος
Το δέντρο απόφασης (1)NOat10
NOat10
NOat10
NOat10
Wind
NOat9
Rain
Inversion
NOat9
NO2at8 Wind
Radiation
1(26518)
1(235)
2(4412)
1(83) 2(104) 1(100)
2(101) 1(101)
2(10035)
3(5313)
4(80)
4(124)3(91)
lt=027 gt027
lt=021
gt067
gt021
lt=067
lt=04 gt04
lt=057 gt057
lt=066 gt066
lt=047 gt047
lt=021 gt021
=0 =1
lt=021 gt021 lt=08 gt08
lt=036 gt036
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το δέντρο απόφασης (2)
0
021
025
04 057
105 075
027
12
1 2 3
4
34
066
0
1
02
04
06
08
ΝΟ στις10πμ
Θερ
μο
κρα
σια
κή α
νασ
τρο
φή
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Ο συνδυασμένος ταξινομητής
bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (1)
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
134
38
522
122
93
8
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΝΕΜΟ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
Αποτελέσματα Πίνακες Σύγχυσης (2)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
40
4221
8 317
8
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΔΑ CART
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (3)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
42
8216
8 69
4 4
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΤΝΔ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (4)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
138
38
4124
122
13
2
6
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Στατιστικά για τους 4 αλγόριθμους
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
CART NeuralNet NEMO ML Ensemble
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Ρύθμιση αριθμού ελίτ μελώνBest Solution for different Elite numbers
0
05
1
15
2
25
3
35
4
1 2 3 4 5 8 10 15
Elite members
Fit
nes
s
0
10
20
30
40
50
60
70
80
90
MaxFitness AvgFitness MinFitness BestWSE BestFeatures
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
Η μέθοδος CFS
bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την
εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις
ιδιότητες του υποσυνόλου
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
)1( ii
cis
rkkk
rkG
Σύγκριση των δύο μεθόδων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
000
1000
2000
3000
4000
5000
6000
7000
8000
9000
ZeroR DecisionStump
DecisionTable
IB1 IB3 IB9 LinearRegression
M5Prime
GA Mean absolute error GA Root mean squared error
CFS Mean absolute error CFS Root mean squared error
Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης
bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης
ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART
bull Συνδυασμένος ταξινομητής
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το σύστημα ΠΛ ΝΕΜΟ (1)
Όμοιες περιπτώσεις
Επιλογέας κοντινών περιπτώσεων
Φίλτρο κοντινών περιπτώσεων
Προσαρμογέας κοντινών περιπτώσεων
Προβλέπτης λύσης
Προτεινόμενη λύση
ΝΕΜΟ
Βάση περιπτώσεων
Κοντινέςπεριπτώσεις
Βάση Γνώσης
Νέα περίπτωση
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία
αναστροφή
βροχόπτωση
άνεμος
NO στις 10 πμ
NO στις 9 πμ
NO στις 8 πμ
NO2 στις 10 πμ
NO2 στις 9 πμ
NO2 στις 8 πμ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Έξοδος
Το δέντρο απόφασης (1)NOat10
NOat10
NOat10
NOat10
Wind
NOat9
Rain
Inversion
NOat9
NO2at8 Wind
Radiation
1(26518)
1(235)
2(4412)
1(83) 2(104) 1(100)
2(101) 1(101)
2(10035)
3(5313)
4(80)
4(124)3(91)
lt=027 gt027
lt=021
gt067
gt021
lt=067
lt=04 gt04
lt=057 gt057
lt=066 gt066
lt=047 gt047
lt=021 gt021
=0 =1
lt=021 gt021 lt=08 gt08
lt=036 gt036
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το δέντρο απόφασης (2)
0
021
025
04 057
105 075
027
12
1 2 3
4
34
066
0
1
02
04
06
08
ΝΟ στις10πμ
Θερ
μο
κρα
σια
κή α
νασ
τρο
φή
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Ο συνδυασμένος ταξινομητής
bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (1)
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
134
38
522
122
93
8
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΝΕΜΟ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
Αποτελέσματα Πίνακες Σύγχυσης (2)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
40
4221
8 317
8
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΔΑ CART
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (3)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
42
8216
8 69
4 4
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΤΝΔ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (4)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
138
38
4124
122
13
2
6
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Στατιστικά για τους 4 αλγόριθμους
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
CART NeuralNet NEMO ML Ensemble
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Η μέθοδος CFS
bull Προσθαφαίρεση ιδιοτήτων στο επιλεγμένο υποσύνολο ιδιοτήτων με κριτήριαndash Υψηλή συσχέτιση των ιδιοτήτων με την
εξαρτημένη μεταβλητή κλάσηςndash Χαμηλή ενδοσυσχέτιση ανάμεσα στις
ιδιότητες του υποσυνόλου
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
)1( ii
cis
rkkk
rkG
Σύγκριση των δύο μεθόδων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
000
1000
2000
3000
4000
5000
6000
7000
8000
9000
ZeroR DecisionStump
DecisionTable
IB1 IB3 IB9 LinearRegression
M5Prime
GA Mean absolute error GA Root mean squared error
CFS Mean absolute error CFS Root mean squared error
Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης
bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης
ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART
bull Συνδυασμένος ταξινομητής
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το σύστημα ΠΛ ΝΕΜΟ (1)
Όμοιες περιπτώσεις
Επιλογέας κοντινών περιπτώσεων
Φίλτρο κοντινών περιπτώσεων
Προσαρμογέας κοντινών περιπτώσεων
Προβλέπτης λύσης
Προτεινόμενη λύση
ΝΕΜΟ
Βάση περιπτώσεων
Κοντινέςπεριπτώσεις
Βάση Γνώσης
Νέα περίπτωση
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία
αναστροφή
βροχόπτωση
άνεμος
NO στις 10 πμ
NO στις 9 πμ
NO στις 8 πμ
NO2 στις 10 πμ
NO2 στις 9 πμ
NO2 στις 8 πμ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Έξοδος
Το δέντρο απόφασης (1)NOat10
NOat10
NOat10
NOat10
Wind
NOat9
Rain
Inversion
NOat9
NO2at8 Wind
Radiation
1(26518)
1(235)
2(4412)
1(83) 2(104) 1(100)
2(101) 1(101)
2(10035)
3(5313)
4(80)
4(124)3(91)
lt=027 gt027
lt=021
gt067
gt021
lt=067
lt=04 gt04
lt=057 gt057
lt=066 gt066
lt=047 gt047
lt=021 gt021
=0 =1
lt=021 gt021 lt=08 gt08
lt=036 gt036
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το δέντρο απόφασης (2)
0
021
025
04 057
105 075
027
12
1 2 3
4
34
066
0
1
02
04
06
08
ΝΟ στις10πμ
Θερ
μο
κρα
σια
κή α
νασ
τρο
φή
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Ο συνδυασμένος ταξινομητής
bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (1)
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
134
38
522
122
93
8
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΝΕΜΟ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
Αποτελέσματα Πίνακες Σύγχυσης (2)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
40
4221
8 317
8
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΔΑ CART
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (3)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
42
8216
8 69
4 4
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΤΝΔ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (4)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
138
38
4124
122
13
2
6
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Στατιστικά για τους 4 αλγόριθμους
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
CART NeuralNet NEMO ML Ensemble
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Σύγκριση των δύο μεθόδων
4Μείωση των Διαστάσεων4Μείωση των Διαστάσεων
000
1000
2000
3000
4000
5000
6000
7000
8000
9000
ZeroR DecisionStump
DecisionTable
IB1 IB3 IB9 LinearRegression
M5Prime
GA Mean absolute error GA Root mean squared error
CFS Mean absolute error CFS Root mean squared error
Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης
bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης
ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART
bull Συνδυασμένος ταξινομητής
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το σύστημα ΠΛ ΝΕΜΟ (1)
Όμοιες περιπτώσεις
Επιλογέας κοντινών περιπτώσεων
Φίλτρο κοντινών περιπτώσεων
Προσαρμογέας κοντινών περιπτώσεων
Προβλέπτης λύσης
Προτεινόμενη λύση
ΝΕΜΟ
Βάση περιπτώσεων
Κοντινέςπεριπτώσεις
Βάση Γνώσης
Νέα περίπτωση
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία
αναστροφή
βροχόπτωση
άνεμος
NO στις 10 πμ
NO στις 9 πμ
NO στις 8 πμ
NO2 στις 10 πμ
NO2 στις 9 πμ
NO2 στις 8 πμ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Έξοδος
Το δέντρο απόφασης (1)NOat10
NOat10
NOat10
NOat10
Wind
NOat9
Rain
Inversion
NOat9
NO2at8 Wind
Radiation
1(26518)
1(235)
2(4412)
1(83) 2(104) 1(100)
2(101) 1(101)
2(10035)
3(5313)
4(80)
4(124)3(91)
lt=027 gt027
lt=021
gt067
gt021
lt=067
lt=04 gt04
lt=057 gt057
lt=066 gt066
lt=047 gt047
lt=021 gt021
=0 =1
lt=021 gt021 lt=08 gt08
lt=036 gt036
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το δέντρο απόφασης (2)
0
021
025
04 057
105 075
027
12
1 2 3
4
34
066
0
1
02
04
06
08
ΝΟ στις10πμ
Θερ
μο
κρα
σια
κή α
νασ
τρο
φή
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Ο συνδυασμένος ταξινομητής
bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (1)
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
134
38
522
122
93
8
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΝΕΜΟ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
Αποτελέσματα Πίνακες Σύγχυσης (2)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
40
4221
8 317
8
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΔΑ CART
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (3)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
42
8216
8 69
4 4
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΤΝΔ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (4)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
138
38
4124
122
13
2
6
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Στατιστικά για τους 4 αλγόριθμους
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
CART NeuralNet NEMO ML Ensemble
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Η μηχανική μάθηση στην πρόβλεψη της αέριας ρύπανσης
bull 4 επίπεδα της εξαρτημένης μεταβλητήςbull 3 αλγόριθμοι επίλυσης
ndash σύστημα lsquoΝΕΜΟrsquo Περιπτωσιακού Λογισμούndash Νευρωνικό Δίκτυο MLPndash Δέντρο απόφασης CART
bull Συνδυασμένος ταξινομητής
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το σύστημα ΠΛ ΝΕΜΟ (1)
Όμοιες περιπτώσεις
Επιλογέας κοντινών περιπτώσεων
Φίλτρο κοντινών περιπτώσεων
Προσαρμογέας κοντινών περιπτώσεων
Προβλέπτης λύσης
Προτεινόμενη λύση
ΝΕΜΟ
Βάση περιπτώσεων
Κοντινέςπεριπτώσεις
Βάση Γνώσης
Νέα περίπτωση
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία
αναστροφή
βροχόπτωση
άνεμος
NO στις 10 πμ
NO στις 9 πμ
NO στις 8 πμ
NO2 στις 10 πμ
NO2 στις 9 πμ
NO2 στις 8 πμ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Έξοδος
Το δέντρο απόφασης (1)NOat10
NOat10
NOat10
NOat10
Wind
NOat9
Rain
Inversion
NOat9
NO2at8 Wind
Radiation
1(26518)
1(235)
2(4412)
1(83) 2(104) 1(100)
2(101) 1(101)
2(10035)
3(5313)
4(80)
4(124)3(91)
lt=027 gt027
lt=021
gt067
gt021
lt=067
lt=04 gt04
lt=057 gt057
lt=066 gt066
lt=047 gt047
lt=021 gt021
=0 =1
lt=021 gt021 lt=08 gt08
lt=036 gt036
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το δέντρο απόφασης (2)
0
021
025
04 057
105 075
027
12
1 2 3
4
34
066
0
1
02
04
06
08
ΝΟ στις10πμ
Θερ
μο
κρα
σια
κή α
νασ
τρο
φή
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Ο συνδυασμένος ταξινομητής
bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (1)
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
134
38
522
122
93
8
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΝΕΜΟ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
Αποτελέσματα Πίνακες Σύγχυσης (2)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
40
4221
8 317
8
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΔΑ CART
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (3)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
42
8216
8 69
4 4
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΤΝΔ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (4)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
138
38
4124
122
13
2
6
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Στατιστικά για τους 4 αλγόριθμους
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
CART NeuralNet NEMO ML Ensemble
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Το σύστημα ΠΛ ΝΕΜΟ (1)
Όμοιες περιπτώσεις
Επιλογέας κοντινών περιπτώσεων
Φίλτρο κοντινών περιπτώσεων
Προσαρμογέας κοντινών περιπτώσεων
Προβλέπτης λύσης
Προτεινόμενη λύση
ΝΕΜΟ
Βάση περιπτώσεων
Κοντινέςπεριπτώσεις
Βάση Γνώσης
Νέα περίπτωση
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία
αναστροφή
βροχόπτωση
άνεμος
NO στις 10 πμ
NO στις 9 πμ
NO στις 8 πμ
NO2 στις 10 πμ
NO2 στις 9 πμ
NO2 στις 8 πμ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Έξοδος
Το δέντρο απόφασης (1)NOat10
NOat10
NOat10
NOat10
Wind
NOat9
Rain
Inversion
NOat9
NO2at8 Wind
Radiation
1(26518)
1(235)
2(4412)
1(83) 2(104) 1(100)
2(101) 1(101)
2(10035)
3(5313)
4(80)
4(124)3(91)
lt=027 gt027
lt=021
gt067
gt021
lt=067
lt=04 gt04
lt=057 gt057
lt=066 gt066
lt=047 gt047
lt=021 gt021
=0 =1
lt=021 gt021 lt=08 gt08
lt=036 gt036
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το δέντρο απόφασης (2)
0
021
025
04 057
105 075
027
12
1 2 3
4
34
066
0
1
02
04
06
08
ΝΟ στις10πμ
Θερ
μο
κρα
σια
κή α
νασ
τρο
φή
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Ο συνδυασμένος ταξινομητής
bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (1)
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
134
38
522
122
93
8
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΝΕΜΟ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
Αποτελέσματα Πίνακες Σύγχυσης (2)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
40
4221
8 317
8
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΔΑ CART
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (3)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
42
8216
8 69
4 4
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΤΝΔ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (4)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
138
38
4124
122
13
2
6
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Στατιστικά για τους 4 αλγόριθμους
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
CART NeuralNet NEMO ML Ensemble
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Το Τεχνητό Νευρωνικό Δίκτυοηλ ακτινοβολία
αναστροφή
βροχόπτωση
άνεμος
NO στις 10 πμ
NO στις 9 πμ
NO στις 8 πμ
NO2 στις 10 πμ
NO2 στις 9 πμ
NO2 στις 8 πμ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Πρώτη κρυμμένη
ζώνη
Δεύτερη κρυμμένη
ζώνη
Έξοδος
Το δέντρο απόφασης (1)NOat10
NOat10
NOat10
NOat10
Wind
NOat9
Rain
Inversion
NOat9
NO2at8 Wind
Radiation
1(26518)
1(235)
2(4412)
1(83) 2(104) 1(100)
2(101) 1(101)
2(10035)
3(5313)
4(80)
4(124)3(91)
lt=027 gt027
lt=021
gt067
gt021
lt=067
lt=04 gt04
lt=057 gt057
lt=066 gt066
lt=047 gt047
lt=021 gt021
=0 =1
lt=021 gt021 lt=08 gt08
lt=036 gt036
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το δέντρο απόφασης (2)
0
021
025
04 057
105 075
027
12
1 2 3
4
34
066
0
1
02
04
06
08
ΝΟ στις10πμ
Θερ
μο
κρα
σια
κή α
νασ
τρο
φή
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Ο συνδυασμένος ταξινομητής
bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (1)
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
134
38
522
122
93
8
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΝΕΜΟ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
Αποτελέσματα Πίνακες Σύγχυσης (2)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
40
4221
8 317
8
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΔΑ CART
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (3)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
42
8216
8 69
4 4
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΤΝΔ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (4)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
138
38
4124
122
13
2
6
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Στατιστικά για τους 4 αλγόριθμους
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
CART NeuralNet NEMO ML Ensemble
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Το δέντρο απόφασης (1)NOat10
NOat10
NOat10
NOat10
Wind
NOat9
Rain
Inversion
NOat9
NO2at8 Wind
Radiation
1(26518)
1(235)
2(4412)
1(83) 2(104) 1(100)
2(101) 1(101)
2(10035)
3(5313)
4(80)
4(124)3(91)
lt=027 gt027
lt=021
gt067
gt021
lt=067
lt=04 gt04
lt=057 gt057
lt=066 gt066
lt=047 gt047
lt=021 gt021
=0 =1
lt=021 gt021 lt=08 gt08
lt=036 gt036
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Το δέντρο απόφασης (2)
0
021
025
04 057
105 075
027
12
1 2 3
4
34
066
0
1
02
04
06
08
ΝΟ στις10πμ
Θερ
μο
κρα
σια
κή α
νασ
τρο
φή
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Ο συνδυασμένος ταξινομητής
bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (1)
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
134
38
522
122
93
8
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΝΕΜΟ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
Αποτελέσματα Πίνακες Σύγχυσης (2)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
40
4221
8 317
8
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΔΑ CART
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (3)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
42
8216
8 69
4 4
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΤΝΔ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (4)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
138
38
4124
122
13
2
6
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Στατιστικά για τους 4 αλγόριθμους
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
CART NeuralNet NEMO ML Ensemble
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Το δέντρο απόφασης (2)
0
021
025
04 057
105 075
027
12
1 2 3
4
34
066
0
1
02
04
06
08
ΝΟ στις10πμ
Θερ
μο
κρα
σια
κή α
νασ
τρο
φή
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Ο συνδυασμένος ταξινομητής
bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (1)
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
134
38
522
122
93
8
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΝΕΜΟ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
Αποτελέσματα Πίνακες Σύγχυσης (2)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
40
4221
8 317
8
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΔΑ CART
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (3)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
42
8216
8 69
4 4
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΤΝΔ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (4)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
138
38
4124
122
13
2
6
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Στατιστικά για τους 4 αλγόριθμους
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
CART NeuralNet NEMO ML Ensemble
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Ο συνδυασμένος ταξινομητής
bull Πλειοψηφικός Συνδυαστής των τριών ταξινομητών ΝΕΜΟ ΔΑ ΤΝΔ
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (1)
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
134
38
522
122
93
8
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΝΕΜΟ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
Αποτελέσματα Πίνακες Σύγχυσης (2)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
40
4221
8 317
8
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΔΑ CART
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (3)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
42
8216
8 69
4 4
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΤΝΔ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (4)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
138
38
4124
122
13
2
6
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Στατιστικά για τους 4 αλγόριθμους
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
CART NeuralNet NEMO ML Ensemble
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Αποτελέσματα Πίνακες Σύγχυσης (1)
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
134
38
522
122
93
8
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΝΕΜΟ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
Αποτελέσματα Πίνακες Σύγχυσης (2)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
40
4221
8 317
8
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΔΑ CART
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (3)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
42
8216
8 69
4 4
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΤΝΔ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (4)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
138
38
4124
122
13
2
6
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Στατιστικά για τους 4 αλγόριθμους
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
CART NeuralNet NEMO ML Ensemble
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Αποτελέσματα Πίνακες Σύγχυσης (2)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
40
4221
8 317
8
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΔΑ CART
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (3)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
42
8216
8 69
4 4
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΤΝΔ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (4)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
138
38
4124
122
13
2
6
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Στατιστικά για τους 4 αλγόριθμους
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
CART NeuralNet NEMO ML Ensemble
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Αποτελέσματα Πίνακες Σύγχυσης (3)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
137
42
8216
8 69
4 4
4
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης ΤΝΔ
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Αποτελέσματα Πίνακες Σύγχυσης (4)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
138
38
4124
122
13
2
6
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Στατιστικά για τους 4 αλγόριθμους
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
CART NeuralNet NEMO ML Ensemble
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Αποτελέσματα Πίνακες Σύγχυσης (4)
Επίπεδο 1Επίπεδο 2
Επίπεδο 3Επίπεδο 4
Εκτιμήθηκε ως επίπεδο 1
Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3
Εκτιμήθηκε ως επίπεδο 4
138
38
4124
122
13
2
6
0
20
40
60
80
100
120
140
Πίνακας Σύγχυσης Συνδυασμένος Ταξινομητής
Εκτιμήθηκε ως επίπεδο 1 Εκτιμήθηκε ως επίπεδο 2
Εκτιμήθηκε ως επίπεδο 3 Εκτιμήθηκε ως επίπεδο 4
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Στατιστικά για τους 4 αλγόριθμους
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
CART NeuralNet NEMO ML Ensemble
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Στατιστικά για τους 4 αλγόριθμους
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
CART NeuralNet NEMO ML Ensemble
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Σύγκριση με συστήματα πρόβλεψης του εξωτερικού
5Λύνοντας το πρόβλημα Π15Λύνοντας το πρόβλημα Π1
0001000
2000300040005000
600070008000
900010000
Accur
acy
ClassE
rror
No
Episod
e P
recis
ion
No
Episod
e R
ecall
No
Episod
e F
Epis
ode
Pre
cision
Epis
ode
Rec
all
Epis
ode
F
London 1997 Sydney ML Ensemble
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Κατανεμημένη υλοποίηση Το σύστημα D-NEMO
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
bull Απαιτήσεις
bull Αρχιτεκτονική
bull Η πλατφόρμα Lalo
bull Η γλώσσα KQML
bull Συμπεριφορά των agents
bull Υποκύκλοι λειτουργίας
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Απαιτήσεις Περιπτώσεις χρήσηςDNEMO
Model Expert
Get New Data
Maintain Models
Predict for Day-0
Predict for Day+1
Data Source
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Αρχιτεκτονική
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
aStation StationAgent
dataFeeder dataAgentaModel ModelAgent
Timer TimeWatcher
48
bid
_off
er()
Controller ControllerAgent
11 maintenance_time()41 prediction_time()
42 prediction_time()12 maintenance_time()
43 return_bid()13 evaluate_models()
44 return_bid()
15 evaluate_model()
49 store_bid_offer()
410 store_winner_offer()
16 return_efficiency()22 make_trainset()45 make_testset()17 efficiency_ok()
18 efficiency_failure()23 trainset_ok()
24 trainset_failure()46 testset_ok()
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Ο Lalo Agent
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Άλλοι agents
Περιβάλλον του agent
Επίπεδο Βάσεων Κανόνων
Κανόνες Εκτέλεσης Κανόνες Επικοινωνίας Γενικοί Κανόνες
Επίπεδο Νοητικής Κατάστασης
Ικανότητες Πεποιθήσεις
Αποφάσεις Υποχρεώσεις
Ικανότητες συναναστροφών
Επίπεδο Συμπεριφοράς
Αποστολή μηνυμάτων Επεξεργασία μηνυμάτων
Εκτέλεση ενέργειας Χρονοπαρακολούθηση
Επικοινωνιακό Επίπεδο
Διευθύνσεις συναναστροφών
Ενταμιευτής εισόδου
Δρομολογητής εισόδου
Δρομολογητής εξόδου
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Η γλώσσα KQML (1)
bull Τυποποιημένα μηνύματα ndashεκτελεστικάbull Παράμετροι εκτελεστικών
ndash senderndash receiverndash reply-withndash in-reply-tondash contentndash languagendash ontology
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Η γλώσσα KQML (2)
bull Σημαντικά εκτελεστικά που υποστηρίζει το Lalondash AchieveUnachievendash Ask-onendash Ask-ifndash Denyndash RegisterUnregisterndash Replyndash TellUntellndash Transport-address
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Υποκύκλος πρωινής συντήρησης
every Model ModelAgentTimer TimeWatcher aController ControllerAgent every Station StationAgent dataFeeder dataAgent
11 maintenance_time()
12 maintenance_time()
13 evaluate_models()
15 evaluate_model()
[model trained] 16 return_efficiency()
17 efficiency_ok()
18 efficiency_failure() OR
19 efficiency()
14 update_tables()
[model NOT trained] 22 make_trainset()
23 trainset_ok()
24 trainset_failure() OR morning_update()
morning_update()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Υποκύκλος απόφασηςaModel ModelAgent dataFeeder dataAgent
[needs retraining] 21 train_model()
22 make_trainset()
24 trainset_failure()
23 trainset_ok()OR
aStation StationAgent
12 maintenance_time()
wait 10 seconds
Timer TimeWatcher
query_trainset()
reform_models()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Υποκύκλος πρόβλεψηςTimer TimeWatcher aController ControllerAgent every Station StationAgent every Model ModelAgent dataFeeder dataAgent
41 prediction_time()
42 prediction_time()
43 return_bid()
44 return_bid()
45 make_testset()
46 testset_ok()
47 testset_failure()
OR
48 bid_offer()
49 store_bid_offer()
410 store_winner_offer()
wait 10 seconds
Testset Requery Procedurefollows
gather all predictionoffers from every
correspodent modelagent
query_testset()
run_model()
store_offer()
store_final()
issue_prediction()
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Αποτελέσματα
6Το6Το κατανεμημένο σύστημα κατανεμημένο σύστημα DNEMODNEMO
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Προς ένα ολοκληρωμένο επιχειρησιακό κέντρο πρόγνωσης
της αέριας ρύπανσης
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Απαιτήσεις Περιπτώσεις χρήσης
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Air QualityManagement
Operational Centre
Gather Data fromData Sources
EMY
PERPA sensors
National Observatory
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
Air PollutionEpisodes Predictio
n
Control Strategyof Prevention
Meters
laquousesraquo
Clear and StoreData
laquousesraquo
Air Quality Expert
Public
Predictive Algorithms Expert
Data Source
laquoextendsraquo
laquoextendsraquo
laquoextendsraquo
User
Other Sources
laquoextendsraquo
Supervise and Control Operational Centre
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Σταθερότητα Βιωσιμότητα (1)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Timer UIAgent aController ControllerAgent everyStation StationAgent everyModel ModelAgent
activity_query() activity_query() activity_query()
[agent is active] status_response()
[agent is active] status_response()
[agent is active] status_response()
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Σταθερότητα Βιωσιμότητα (2)
77Προς ένα ολοκληρωμένο σύστημαΠρος ένα ολοκληρωμένο σύστημα
Watcher UIAgent nonUIAgent MachineAgent
activity_query()
[no response from nonUIAgent] activity_query()
x seconds delaywaiting for response
activity_query()
MachineAgent andnonUIAgent locatedin the same machine
if MachineAgent responds toactivity_query then nonUIAgentprobably has crashed or is busy
else the delay is dueto the network channel or
the machine is unavailable
[MachineAgent responded] revive_agent()
nonUIAgentcreate_agent()
otherMachineAgent
[MachineAgent did not respond] revive_agent()
nonUIAgentcreate_agent()
status_response()
status_response()
Machine A Machine B
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Ολοκληρώνοντας
bull Μελέτη του κύκλου εφαρμογής της Μηχανικής Μάθησης σε ένα περιβαλλοντικό πρόβλημα
bull Ανάπτυξη συστήματος ΠΛ ΝΕΜΟbull Ανάπτυξη ειδικού σκοπού ΓΑ για επιλογή
ιδιοτήτωνbull Σχεδίαση και υλοποίηση συστήματος
πολλαπλών agents για την ολοκλήρωση και αυτοματοποίηση της πρόβλεψης των αέριων ρύπων σε καθημερινή βάση
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα
Μελλοντικές Επεκτάσεις
bull Ολοκλήρωση της εφαρμογής των αλγόριθμων σε όλα τα προβλήματα Π1-Π4
bull Υλοποίηση υποσυστήματος πρόβλεψης και ενοποίηση σε επιχειρησιακό κέντρο παρακολούθησης και πρόβλεψης αέριας ρύπανσης
bull Επέκταση της μεθοδολογίας σε άλλα περιβαλλοντικά προβλήματα
88ΣυμπεράσματαΣυμπεράσματα