Μέθοδοι Μελέτης τηςΥπολογιστικής Νοημοσύνης

• Τεχνητά νευρωνικά δίκτυα (Artificial neural networks)

• Εμπειρογνώμονα συστήματα (Expert systems) (Rule-based, Case-based)

• Τεχνητή ζωή (Artificial life)

• Γενετικοί αλγόριθμοι (Genetic algorithms)

• Ασαφής λογική (Fuzzy logic)

ΜΕΘΟΔΟΙ ΥΠΟΛΟΓΙΣΤΙΚΗΣ ΝΟΗΜΟΣΥΝΗΣ

Εμπειρογνώμονα συστήματα (ΕμΣ) (expert systems, rule-based reasoning)Συλλογιστική των περιπτώσεων (ΣΠ) (case-based reasoning)Ασαφή Συστήματα (ΑΣ) (fuzzy systems) Τεχνητά νευρωνικά δίκτυα (ΤΝΔ) (artificial neural networks)Τεχνητή ζωή (ΤΖ) (artificial life)Εξελικτικά συστήματα (ΕΣ) (evolutionary systems, genetic algorithms, co-evolutionary robotics, evolvable hardware, …)

ΤΕΧΝΗΤΑ ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ (ΤΝΔ)

•Artificial Neural Systems•Parallel Distribution Processing Systems•Connectionist Systems•Neurocomputing Systems•Adaptive Networks•Associative Networks•Collective Computation Systems•Neuromorphic Systems

Άλλα ονόματα που προτάθηκαν και χρησιμοποιούνται:

ΓΕΝΙΚΗ ΕΠΙΣΚΟΠΗΣΗ ΤΩΝ ΤΝΔ

•Είναι ευέλικτα, μη-γραμμικά συστήματα πολλών συνεργαζόμενων επεξεργαστών που εκδηλώνουν στοιχεία έξυπνης συμπεριφοράς και, μεταξύ άλλων, βοηθούν στη:

•Μελέτη βιολογικών ιδιοτήτων και συμπεριφορών.•Μελέτη δυναμικών συστημάτων και συστημάτων ελέγχου.

•Επεξεργασία δεδομένων, σημάτων, εικόνων, …

•Ανάπτυξη προσαρμοζόμενων συστημάτων επεξεργασίας σήματος.

•Αντιστοίχηση (mapping) και διακρίβωση σχέσεων μεταξύ μεταβλητών.

•Πρόγνωση φαινομένων και συμπεριφορών.

•Διάγνωση ασθενειών, ανωμαλιών, …

Αποτελούνται από πολλούς τεχνητούς νευρώνες που είναι συνδεδεμένοι μεταξύ τους σε ένα οργανωμένο σύνολο στο οποίο υπάρχει αλληλοεπικοινωνία και αλληλοεπίδραση (συλλειτουργία).

Συνήθως υπάρχει πρόνοια για πληροφορίες εισόδου.

Στην έξοδο, οι επεξεργασμένες πληροφορίες πρέπει να είναι όσο γίνεται οι επιθυμητές.

Ομάδες νευρώνων μπορεί να οργανωθούν σε επίπεδα (layers) ή στρώματα (ή στοιβάδες) (slabs).

Για να μπορέσει ένα δίκτυο να εκδηλώσει την ενδιαφέρουσα συμπεριφορά που επιδιώκουμε να δούμε, χρειάζεται να περάσει από κατάλληλη φάση μάθησης.

ΤΥΠΙΚΗ ΓΡΑΦΙΚΗ ΔΟΜΗ ΤΝΔ

Επίπεδο

Εισόδου

Επίπεδο

Εξόδου

u[1]1

Σ

x1

x2

.

.

.

xN

Σ

…

Σ

Σ

Σ

…

Σ

Σ

y1

y2

.

.

.yNo

Κρυμμένο επίπεδο 1,

με n1 νευρώνες

Κρυμμένο επίπεδο 2,

με n2 νευρώνες

Κρυμμένο επίπεδο 3,

με no νευρώνες

u[1]2

u[1]n1

…

Σ

Σ

2n[3] [2] [[ ] [3] [ 3]3] [3]

1

oul k kl

tl l l l

k

y uy f wf a

( ) = ( ) =

a[1]1

a[1]2

a[1]n1

a[2]1

a[2]2

a[2]n2

u[2]1

u[2]2

u[2]n2

u[3]1

u[3]2

u[3]n0

f(.)[3]1

f(.)[3]n0

f(.)[2]1

2 1 2 1n n n n N[3] [2] [1] [1] [2] [3] [3] [2] [1] [1] [2] [3]

o1 1 1 1 1

... = 1, ..., Nl k j j jk kl l k j i ij jk klk j k j i

f f f u w w f f f x w w w l = ( ( ( ) ) ) = ( ( ( ) ) )

2n[3] [2] [2 [3]

1

]l k k kl

k

f f wu ( ( ) ) = ...

ΜΕΡΙΚΕΣ ΧΡΗΣΙΜΕΣ ΙΔΙΟΤΗΤΕΣ ΤΩΝ ΤΝΔ

•Γενίκευση:(Generalization)•Μπορούν να εκδηλώσουν/εισηγηθούν γενικευμένα συμπεράσματα για σχέσεις (ή κατανομές) που δεν έχουν διδαχτεί προηγουμένως.

•Ευρωστία: (Robustness)•Παρουσιάζουν ανθεκτικότητα, σταθερότητα.•Δηλαδή συνεχίζουν να συμπεριφέρονται ικανοποιητικά, έστω και αν αφαιρεθούν νευρώνες από το δίκτυο.

•Ανεκτικότητα σε λάθη: (Fault tolerance)•Παρόλο που τα δείγματα εισόδου μπορεί να είναι ασαφή, το σύστημα εξακολουθεί να τα επεξεργάζεται ικανοποιητικά.

•Δυνατότητα εκδήλωσης αναδυόμενων ιδιοτήτων: •Μέσα από τη χρήση απλών τοπικών κανόνων (local rules) παρουσιάζεται μια γενική (global) αναδυόμενη συμπεριφορά.

ΒΙΟΛΟΓΙΚΟΙ ΝΕΥΡΩΝΕΣ

•Είναι τα κύρια δομικά στοιχεία (κύτταρα) του εγκεφάλου

•Είναι πολύ πιο αργοί από τις συνηθισμένες λογικές πύλες πυριτίου.

•Οι πληροφορίες μέσα σε νευρώνα κωδικοποιούνται με ηλεκτροχημικές διαδικασίες.

ΛΕΠΤΟΜΕΡΕΣΤΕΡΗ ΕΠΙΣΚΟΠΗΣΗ

Βιολογικός νευρώνας - λεπτομέρειες

ΜΕΜΒΡΑΝΗ(Membrane)Thickness 5 to 10 nm = 0.000005 to 0.00001 mmCapacitance 0.944 μF/cm2

Field intensity 12000000 V/m = 120 kV/cm

ΣΩΜΑ ή ΠΕΡΙΚΑΡΥΟCell body (soma)Internal voltage - 60 to - 80 mV

ΝΕΥΡΙΤΗΣ(Αxon of sending

neuron)

ΣΥΝΑΨΗ(Synapse)

INITIAL SEGMENT(TRIGGER ZONE)

ΠΥΡΗΝΑΣ(Nucleus)

Δενδρίτης(Dendrite of receiving

neuron)

ΕΚΦΥΤΙΚΟΣ ΚΩΝΟΣ(AXON HILLOCK)

ΝΕΥΡΙΤΗΣ ή ΝΕΥΡΟΑΞΩΝΑΣ(Αxon or nerve fiber)Diameter: 0.5 - 22 μm in vertebrate 500 - 1000 μm in the squid giant axon

ΠΕΡΙΣΦΙΞΕΙΣ ΤΟΥ RANVIERNode of ranvier

ΠΕΡΙΒΛΗΜΑ(Μyelin sheath)

DENDRITE OF RECEIVING NEURON

Διάφοροι βιολογικοί νευρώνες

Βιολογικός νευρώνας με μεγάλο νευροάξονα

Νευρώνας Purkunje του cerebellum

Μετάδοση πληροφορίας

Ερέθισμα

(Stimulus)

Υποδοχέας

(Receptor)

Βιολογικό

νευρωνικό δίκτυο(Brain)

Εκτελεστής

(Effector)Αποτέλεσ

μα(Respons

e)π.χ.

Φώς στον οφθαλμό,Πίεση στο δάκτυλο

π.χ.

Κλείσιμο του ματιού,Πόνος

ΕΓΚΕΦΑΛΟΣ - ΝΕΥΡΙΚΟ ΣΥΣΤΗΜΑ

Τα βιολογικά νευρωνικά δίκτυα είναι μη-γραμμικά υπολογιστικά συστήματα που χαρακτηρίζονται από υψηλό βαθμό παραλληλίας, ευρωστία και ανοχή σε σφάλματα.

Έχουν τη δυνατότητα να μαθαίνουν, να γενικεύουν και να χειρίζονται ασαφείς, ανακριβείς ή θορυβώδεις πληροφορίες.

Υπολογίζεται ότι το συνολικό μήκος των συνδέσεων στον εγκέφαλο είναι περίπου 109 μέτρα, που είναι περίπου 25 φορές η περίμετρος της γης!

Οργάνωση βιολογικού νευρικού συστήματος

ΣΤΟΙΒΑΔΑLAYER

ΣΤΟΙΒΑΔΑLAYER

ΣΤΟΙΒΑΔΑLAYER

Τεχνητοί Νευρώνες •Ονομάζονται επίσης:• τεχνητά νευρώνια (artificial neurons) •ή μονάδες (units) •ή στοιχεία επεξεργασίας (processing elements)

•Τα κύρια χαρακτηριστικά τους είναι:• Έχουν πολλές εισόδους – μία έξοδο (MISO)• Είναι μη-γραμμικά (non-linear)• Έχουν προσαρμοστικότητα (adaptivity)

Τεχνητοί Νευρώνες

Υπάρχουν υπολογιστικοί (software) και υλισμικοί (hardware)

Οι υλισμικοί θα μπορούσαν να είναι:Ηλεκτρονικοί, χημικοί, οπτικοί, μηχανικοί, ...Έχουν ομοιότητα με τα κυτταρικά αυτόματα (cellular automata).

Απλό μοντέλο τεχνητού νευρώνα

ΔεδομέναΕισόδου

x1

x2

xN

w1

w2

wN

Συναπτικά Βάρη

Σώμα

ΔεδομέναΕξόδου

y

N

i ii

y f( x w )

ΑθροιστήςΣυνάρτηση

Δραστηριοποίησης

(ή μεταφοράς,ή

ενεργοποίησης), f(.)

ΓΕΝΙΚΗ ΔΟΜΗ ΕΝΟΣ ΤΕΧΝΗΤΟΥ ΝΕΥΡΩΝΑ(General form of a single-neuron model)

Υποσύστημα δράσεων-αναδράσεων

h(.)

POST-ACCUMULATORPROCESSING

(Subsystem of functional and

dynamical processors), p2(.)

PRE-ACCUMULATORPROCESSING

(Subsystem of functional and

dynamical processors)

(including cross-correlations), p1(.)

Κύρι

ος

Συσσ

ωρε

υτή

ς

Σύστημα μάθησης που προσαρμόζει τις διάφορες

παραμέτρους

Πληροφορίες εισόδου, από το περιβάλλον, ή από άλλους νευρώνες

ΔΙΑΝ

ΟΜ

ΕΑΣ

Έξοδος στο περιβάλλον, ή σε άλλους νευρώνες

ΓενικάΑλγόριθμοι για βελτιστοποίηση και για αναζήτηση.Optimization and search algorithms.

Μελετήθηκαν αρχικά κυρίως από τον John Holland του Πανεπιστημίου Μίσιγκαν τη δεκαετία ’70.Originally studied by John Holland of the University of Michigan at Ann Arbor back in the 1970’s.

Προσομοιάζουν σε μεγάλο βαθμό τις διαδικασίες της φυσικής βιολογικής εξέλιξης.Simulating the biological evolutionary processes

ΓΕΝΕΤΙΚΟΙ ΑΛΓΟΡΙΘΜΟΙ(Genetic Algorithms)

Μεταξύ πολλών άλλων χρησιμοποιούνται κυρίως σε:Mainly used in:

Βελτιστοποίηση συναρτήσεωνFunction optimizationΕπιχειρησιακή έρευναOperations researchΜάθηση τεχνητών νευρωνικών δικτύωνLearning in artificial neural networks

Εξέλιξη νέων τοπολογιών τεχνητών νευρωνικών δικτύων

Evolution of new artificial neural network architectures  Εξέλιξη ασαφών κανόνων

Evolution of fuzzy rules 

ΓΕΝΕΤΙΚΟΙ ΑΛΓΟΡΙΘΜΟΙ (Genetic Algorithms)

Έχουν πάρει μεγάλη ανάπτυξη λόγω κυρίως της απλότητας τους, της εφαρμογής τους σε μεγάλα προβλήματα βελτιστοποίησης, της ικανότητας τους να βρίσκουν καθολικές (global) λύσεις και της πληθώρας εφαρμογών.They have developed extensively due to their simplicity, their capability to handle large optimization problems, their capacity to search for global solutions and their diverse areas of applications. Σταδιακά εισήχθησαν και άλλες παρόμοιες τεχνικές από πολλούς άλλους επιστήμονες.Gradually many more similar techniques have been proposed.

ΓΕΝΕΤΙΚΟΙ ΑΛΓΟΡΙΘΜΟΙ (Genetic Algorithms)

Γενικότεροι όροι είναι οι εξελισσόμενη υπολογιστική (Evolutionary Computation - EC), ή εξελισσόμενοι αλγόριθμοι (Evolutionary Algorithms - EA).Περιλαμβάνουν τους:Γενετικούς Αλγορίθμους (Genetic Algorithms - GA)Γενετικό Προγραμματισμό (Genetic Programming - GP)Εξελισσόμενο Προγραμματισμό (Evolutionary Programming - EP)Εξελισσόμενο Υλισμικό (Evolutionary hardware - EHW)Εξελισσόμενες Στρατηγικές (Evolutionary Strategies - ES)Συστήματα Μάθησης Προτύπων (Learning Classifier Systems - LCS) 

ΓΕΝΕΤΙΚΟΙ ΑΛΓΟΡΙΘΜΟΙ (Genetic Algorithms)

Βασικές αρχέςΓενική διαδικασία:1.  Δημιουργία πληθυσμού2. Υπολογισμός της ποιότητας του κάθε ατόμου3. Δημιουργία απογόνων χρησιμοποιώντας τους

καλύτερους γονείς4. Χρήση γενετικών τελεστών για βελτίωση του νέου

πληθυσμού5. Πίσω στο στάδιο General Procedure1. Initialize a population2. Calculate the fitness for each individual in the population3. Reproduce selected individuals to form a new population4. Perform evolutionary operations, such as crossover and mutation5. Loop to step 2 until some condition is met

ΒΑΣΙΚΗ ΔΟΜΗ ΓΑ (Basic Procedure of GAs)

ΒΑΣΙΚΗ ΔΟΜΗ ΓΑ (Basic Procedure of GAs)

Κάθε παράμετρος του προβλήματος κωδικοποιείται με κατάλληλο τρόπο. Συνήθως χρησιμοποιείται κωδικοποίηση ανάλογη με τη βιολογική που παρουσιάζεται στα γονίδια των χρωμοσωμάτων. Χρησιμοποιείται σειρά συμβόλων από ένα μικρό σύνολο, π.χ. ακολουθία 1001010010100...The variables are coded in a manner similar to genes on a chromosome. A set of appropriate symbols may be used. e.g. 1001010010100...

Το μήκος της ακολουθίας καθορίζεται ανάλογα με πόση λεπτομέρεια θέλουμε να κωδικοποιήσουμε τις λύσεις.The size of the strings is so selected that it represents the features in the desired degree of precision.

ΒΑΣΙΚΗ ΔΟΜΗ ΓΑ (Basic Procedure of GAs)

Οι κωδικοποιημένες παράμετροι συνδυάζονται (ενώνονται) για να δημιουργήσουν μέρος μιας πιθανής ακολουθίας-λύσης (άτομο), που παρουσιάζεται ως μια ακολουθία συμβόλων.The coded variables are joined to produce a candidate solution-string, which is part of a solution.

Κάθε συνδυασμός αντιπροσωπεύει ένα πιθανό αποτέλεσμα-λύση.Every combination represents the input to the problem that can result in a candidate solution. Κάθε συνδυασμός πρέπει να έχει κάποια χαρακτηριστικά που να είναι αντιπροσωπευτικά των παραμέτρων του προβλήματος.Every combination must capture some of the essential properties of the system.

ΒΑΣΙΚΗ ΔΟΜΗ ΓΑ (Basic Procedure of GAs)

Δημιουργείται ένα σύνολο (πληθυσμός) από πιθανές ακολουθίες-λύσεις. Αυτές συνήθως επιλέγονται τυχαία ή με μικροαλλαγές (perturbations) ενός αρχικού πληθυσμού .A set of randomly chosen - candidate solutions is generated. Perturbations of an initial population may also be used. Κάθε λύση σε κωδικοποιημένη μορφή λέγεται γονότυπος, ενώ υπό την πραγματική της μορφή φαινότυπος.Every coded solution-string is known as a genotype, while the real solution a phenotype. Κάθε πιθανός συνδυασμός καθορίζει τη τιμή κάποιας κατάλληλης συνάρτησης ποιότητας. Η επιλογή της συνάρτησης είναι πολύ σημαντική.Every coded candidate solution-string corresponds to a specific value in a suitable quality or fitness function.

ΒΑΣΙΚΗ ΔΟΜΗ ΓΑ (Basic Procedure of GAs)

Typical Performance Measures:Field Performance Measure Genetics Fitness Economic Planning Utility Control Error functions Physiological Psychology Performance Rate Game Theory Payoff Multi-modal fitness functions…

ΒΑΣΙΚΗ ΔΟΜΗ ΓΑ (Basic Procedure of GAs)

Όταν κάθε συνδυασμός (άτομο) αξιολογηθεί, αρχίζει η διαδικασία της επιλεκτικής αναπαραγωγής. Every coded candidate solution-string corresponds to a specific value in a suitable quality or fitness function. Τα άτομα που συνέβαλαν περισσότερο στην βελτίωση της συνάρτησης ποιότητας επιλέγονται για να χρησιμοποιηθούν περισσότερο ως γονείς για νέες γενιές ατόμων. Για αυτό το σκοπό χρησιμοποιούνται διάφοροι μηχανισμοί επιλογής:String populations that were more successful in improving the fitness function are used to reproduce new string populations. Different selection procedures are used:

Αναλογική επιλογή Proportionate selection – (roulette)Επιλογή με βαθμολόγηση Rank selectionΕπιλογή τουρνουά Tournament selection

ΓΕΝΕΤΙΚΟΙ ΤΕΛΕΣΤΕΣ (GA OPERATORS)

Για τη σύνθεση νέων ατόμων χρησιμοποιούνται διάφοροι μηχανισμοί που λέγονται γενετικοί τελεστές:For the composition of new string-populations (offsprings) suitable genetic operators are used:

Γενετικοί τελεστές: Genetic operators ΑνασυνδυασμόςCrossover

Γονέας # 1Γονέας # 2Απόγονος # 1Απόγονος # 2

Σημεία crossover

ΓΕΝΕΤΙΚΟΙ ΤΕΛΕΣΤΕΣ (GA OPERATORS)

ΜετάλλαξηMutation

Απόγονος Απόγονος μετά τη μετάλλαξη

Με τη μετάλλαξη κάνουμε τυχαίο ψάξιμο για να βρούμε νέες καλύτερες λύσεις. Mutation provides a small amount of random search to seek new and better solutions.

Οι γενετικοί τελεστές εφαρμόζονται σε ένα υποσύνολο απογόνων.The genetic operators are applied to a subset of the offsprings.

Πολλοί άλλοι γενετικοί τελεστές έχουν προταθεί:Many other genetic operators have been proposed:

InversionPartially matched crossoverHill-climbing …

ΕΦΑΡΜΟΓΕΣ ΓΑ (Applications of GAs)

Σχεδιασμός μηχανικών συστημάτωνDesign of engineering systemsΒελτιστοποίηση περίπλοκων διαδικασιώνOptimization of complex processesΔιάγνωση σφαλμάτωνFault diagnosisΔρομολόγηση Scheduling, Traveling salesman problemΜάθηση τεχνητών νευρωνικών δικτύων Learning in artificial neural networksΑνίχνευση νέων αρχιτεκτονικών νευρωνικών δικτύων Finding new architectures of artificial neural networksΣύνθεση μουσικής Music composition

ΤΕΧΝΗΤH ΖΩΗ

COMPUTATIONAL

INTELLIGENCE

ARTIFICIAL LIFE

ΥΠΟΛΟΓΙΣΤΙΚΗ ΝΟΗΜΟΣΥΝΗ

Υπεραπλουστευμένη προσομοίωση απλών ζωντανών οργανισμών.Very simple simulation of living organisms.

Κυτταρικά αυτόματα.Cellular automata.

Απλοί κανόνες για αυτοοργάνωση. π.χ. “Παιγνίδι της ζωής” του Conway.Simple rules for self-organization. e.g. Conway’s “The game of life”.

Προβλήματα πολυπλοκότητας, χάους.Complexity, chaos problems.

ΤΕΧΝΗΤΗ ΖΩΗ(Artificial Life)

Προβλήματα πολυπλοκότητας, χάους.Complexity, chaos problems.

Αναδυόμενη συμπεριφορά.Emerging behaviour.

ΧΡΗΣΙΜΟΠΟΙΟΥΝΤΑΙ ΣΕ:Προβλήματα βελτιστοποίησηςΜάθηση νευρωνικών δικτύων

...

ΤΕΧΝΗΤΗ ΖΩΗ(Artificial Life)

Μερικά πεδία έρευνας σε ΤΝΔ

ΒΑΣΙΚΗ ΕΡΕΥΝΑ

Μελέτη νέων μοντέλων νευρώνωνΝέες μέθοδοι μάθησης σε τεχνητά νευρωνικά δίκτυαΝέες αρχιτεκτονικές σε τεχνητά νευρωνικά δίκτυαΜάθηση με χρήση γενετικών αλγορίθμωνΝέες αρχιτεκτονικές τεχνητών νευρωνικών δικτύων με χρήση γενετικών αλγορίθμων

ΕΦΑΡΜΟΣΜΕΝΗ ΕΡΕΥΝΑ

ΜΗΧΑΝΙΚΗΈλεγχος συστημάτων.Ρομποτικά συστήματα.Ρευστομηχανική (υπολογισμός αντίστασης πλοίων).Βελτίωση της πρόγνωσης ηλεκτρικού φορτίου ισχύος.Μετεωρολογικές εφαρμογέςΠρόγνωση περιοχών μεταλλείων

ΙΑΤΡΙΚΗ ΜΗΧΑΝΙΚΗΔιάγνωση.Πρόγνωση.Ταξινόμηση ασθενειών.Εκτίμηση κινδύνων.Ξεκινήσαμε ένα μεγάλο ερευνητικό πρόγραμμα για την εκτίμηση των κινδύνων εμφάνισης του συνδρόμου Brown σε συνεργασία με τον Κύπριο Καθηγητή Κύπρο Νικολαίδη του Παν. Kings College του Λονδίνου.

Τηλεκίνηση (Brain Controlled Motion).

ΔΥΝΑΜΙΚΗ-ΓΝΩΣΤΙΚΗΑποφυγή, λύση συγκρούσεων.Με χρήση των Fuzzy Cognitive Maps.

ΔΙΑΦΟΡΑΠρόγνωση σεισμών.Επέκταση αισθήσεων.Πρόγνωση αθλητικών ικανοτήτων.Μελέτη DNA promoters με τεχνητά νευρωνικά δίκτυα.Υπολογιστική εφευρετικότητα.Εξόρυξη δεδομένων.

ΜΕΡΙΚΑ ΠΡΟΓΡΑΜΜΑΤΑ ΤΝΔ

MATLAB Neural Network Toolbox Ward Systems Group (NeuroShell, etc.) SNNS SAS Enterprise Miner

Software BrainMaker NeuralWorks NeuroForecaster Products of NESTOR, Inc. Neuralyst NeuFuz4 και πολλά άλλα

Τεχνητά Νευρωνικά Δίκτυα και Στατιστικές Μέθοδοι - Σύγκριση ορολογίας

•Υπάρχει μια διάχυτη αντιπαράθεση μεταξύ στατιστικολόγων και νευροεπιστημόνων.

•Προς το παρόν φαίνεται ότι η καλύτερη προσέγγιση είναι να χρησιμοποιούνται στατιστικές μέθοδοι εκεί που έχουν μεγαλύτερο πλεονέκτημα, όπως στη προ-επεξεργασία και μετ-επεξεργασία των δεδομένων εισόδου και εξόδου, ενώ τα τεχνητά νευρωνικά δίκτυα στην κυρίως επεξεργασία, ειδικότερα όταν το πρόβλημα είναι σύνθετο.

•Πολλά από τα μοντέλα των τεχνητών νευρωνικών δικτύων, ειδικότερα τα μη-δυναμικά, έχουν ομοιότητες με γνωστές στατιστικές μεθόδους όπως:

•Generalized linear models•Polynomial regression•Non-parametric regression

•Discriminant analysis•Principal components•Cluster analysis

Εξελισσόμενα συστήματα (ΕΣ)(Evolutionary systems – ES)

Είναι μια σειρά από ειδικές τεχνικές που τελευταίως έχουν πάρει μεγάλη ανάπτυξη.Η πιο γνωστοί είναι οι Γενετικοί Αλγόριθμοι (ΓΑ).Είναι κυρίως αλγόριθμοι για βελτιστοποίηση και για αναζήτηση.(optimization and search)Οι ΓΑ, αρχικά μελετήθηκαν κυρίως από τον John Holland του Πανεπιστημίου Μίσιγκαν στη δεκαετία του ’70.

Προσομοιάζουν σε μεγάλο βαθμό τις διαδικασίες της φυσικής βιολογικής εξέλιξης.

Οι ΓΑ έχουν πάρει μεγάλη ανάπτυξη λόγω κυρίως της απλότητας τους, της εφαρμογής τους σε μεγάλα προβλήματα βελτιστοποίησης, της ικανότητας τους να βρίσκουν καθολικές (global) λύσεις και της πληθώρας εφαρμογών.Γενικότεροι όροι είναι οι:Εξελισσόμενη υπολογιστική (Evolutionary Computation - EC) ήΕξελισσόμενοι αλγόριθμοι (Evolutionary Algorithms - EA)Περιλαμβάνουν τους:Γενετικό Προγραμματισμό (Genetic Programming - GP)Εξελισσόμενο Προγραμματισμό (Evolutionary Programming - EP)Εξελισσόμενο Υλισμικό (Evolutionary hardware - EHW)Εξελισσόμενες Στρατηγικές (Evolutionary Strategies - ES)Συστήματα Μάθησης Προτύπων (Learning Classifier Systems - LCS)

Μεταξύ πολλών άλλων, χρησιμοποιούνται κυρίως σε:

Βελτιστοποίηση συναρτήσεωνFunction optimization

Επιχειρησιακή έρευναOperations research

Μάθηση τεχνητών νευρωνικών δικτύωνLearning in artificial neural networks

Εξέλιξη νέων τοπολογιών τεχνητών νευρωνικών δικτύωνEvolution of new artificial neural network architectures

Εξέλιξη ασαφών κανόνωνEvolution of fuzzy rules 

Συστήματα Τεχνητής Ζωής (ΤΖ)(Artificial Life Systems – ALS)

Είναι υπεραπλουστευμένη προσομοίωση απλών «ζωντανών» οργανισμών.Έχουν πολλά κοινά με τα κυτταρικά αυτόματα (cellular automata).Χρησιμοποιούν απλούς κανόνες για αυτοοργάνωση.

π.χ. “Παιγνίδι της ζωής” του ConwayΣυχνά παρουσιάζονται προβλήματα πολυπλοκότητας και χάους.Μπορεί να παρουσιάσουν αναδυόμενη συμπεριφορά.ΧΡΗΣΙΜΟΠΟΙΟΥΝΤΑΙ ΣΕ:

Προβλήματα βελτιστοποίησηςΜάθηση νευρωνικών δικτύων

Ασαφή Συστήματα (ΑΣ)(Fuzzy Systems - FS)

Η ασαφής λογική (fuzzy logic) είναι ένα υπερσύνολο της λογικής Bool.Επινοήθηκε κυρίως για να “λογικοποιήσει” τις μισο-αλήθειες, τα παράδοξα, και γενικά τη δυνατότητα να έχουμε τιμές αληθείας (truth values) που να επεκτείνουν το κλασσικό δυαδικό σύστημα (ορθό – λάθος) σε μερικώς ορθό ή λίγο λάθος.Μερικά παράδοξα:“Είμαι ψεύτης”! ή “Λέω ψέματα”! (Επιμενίδης)Σας λέω την αλήθεια?

“Είναι ο κουρέας που ξυρίζει όσους δεν ξυρίζονται μόνοι τους” (Bertrand Russel)Ποιος ξυρίζει τον κουρέα?

Διαφορά μεταξύ ασαφούς και σαφούς λογικής:Στη σαφή (ή δυαδική) λογική, το αποτέλεσμα μπορεί να είναι μόνο ορθό ή λάθος:π.χ. 1+1=2Όμως, ο κόσμος και οι μεταβλητές που τον περιγράφουν είναι κατά το πλείστον ασαφή:π.χ. Κάνει/είναι κρύο,

Η Μαρία είναι ψηλή, Είναι πράσινο, ...

Υπάρχουν ασάφειες λόγω “πιθανότητας” και λόγω αδυναμίας προσδιορισμού διαχωριστικής γραμμής μεταξύ πραγμάτων και ιδεών.

Η ασαφής λογική επεκτείνει τη δυαδική λογική του:

Ναι/Όχι, Σωστό/Λάθος, Μαύρο/Άσπρο, Πάνω/Κάτω, ...

ώστε να επιτρέπονται και άλλες τιμές.

Δίνεται υπερβάλλουσα σημασία στη λέξη fuzzy γιατί βοηθά στις πωλήσεις.

Από τους κύριους επινοητές ήταν ο πέρσης Lotfi Zadeh του Πανεπιστημίου της Καλιφόρνιας στο Berkley με σημαντική εργασία που έκανε το 1960.

Παράδειγμα: Πότε είναι κάποιος/α ψηλός/ή;Εάν P είναι το σύνολο ανθρώπων και h το ύψος τους, το ασαφές υποσύνολο μ(h) που μπορεί να απαντήσει στη πιο πάνω ερώτηση είναι:

m 2,2 εάν 1

m 2,2 1,5 εάν 0,7

1,5)(m 1,5 εάν 0

h

hh

h

(h)

Όπου μ(h) είναι γνωστή ως συνάρτηση συμμετοχής ή μέλους (membership function)