Universitatea Transilvania din Braşov - old.unitbv.roold.unitbv.ro/Portals/31/Sustineri de doctorat/Rezumate/Neukart.pdf · reţele neuronale artificiale, precum şi descrierea de

Universitatea Transilvania din Braşov

Şcoala Doctorală Interdisciplinară

Centrul de cercetare: Sisteme pentru controlul proceselor

Dipl. Ing. Florian NEUKART

INTELIGENŢA COMPUTAŢIONALĂ ÎN DATA

MINING ŞI CALCUL CUANTIC, PRECUM ŞI

CONSIDERAŢII PRIVIND VIITORUL

INTELIGENŢEI ARTIFICIALE

SYSTEM APPLYING HIGH ORDER

COMPUTATIONAL INTELLIGENCE IN DATA

MINING AND QUANTUM COMPUTATIONAL

CONSIDERATIONS ON THE FUTURE OF

ARTIFICIAL INTELLIGENCE

Coordonator ştiinţific

Prof. dr. ing. Sorin – Aurel MORARU

BRASOV, 2013

Inteligenţa computaţională în data mining şi calcul cuantic, precum şi consideraţii privind

viitorul inteligenţei artificiale

2

MINISTERUL EDUCAŢIEI NAŢIONALE

UNIVERSITATEA TRANSILAVIA DIN BRASOV

BRAŞOV, B-DUL EROILOR NR. 29, 500036, TEL. 0040-268-413000, FAX 0040-268-

410525

RECTORAT

D-lui (D-nei) ..............................................................................................................

COMPONENŢA

Comisia de doctorat

Numită de către Rectorul Universităţii “Transilvania” din Braşov

Nr. 5765 din 21.03.2013

Preşedinte: Conf. univ. dr. ing. Carmen GERIGAN

Facultatea de Inginerie Electrica şiŞtiinţa Calculatoarelor

Universitatea “Transilvania” din Braşov

Coordonator ştiinţific: Prof. univ.dr. ing. Sorin-Aurel MORARU

Universitatea “Transilvania“ din Braşov

Referenţi: Prof. univ. dr. ing. Theodor BORANGIU

Universitatea“Politehnica” din Bucureşti

Prof. univ. dr. ing. Nicolae ŢĂPUŞ

Universitatea“Politehnica” din Bucureşti

Conf. univ. dr. ing. Liviu PERNIU

Universitatea“Transilvania” din Braşov

Data, ora şi locul susţinerii publice a tezei de doctorat: 26.04.2013 ora 11, în Corpul

V al Universităţii “Transilvania”din Braşov, str. Mihai Viteazu nr.5, etajul III, sala V

III 9.

Eventualele aprecieri sau observaţii asupra conţinutului lucrării vă rugăm să le

transmiteţi în timp util, pe adresa [email protected].

Totodată vă invităm să luaţi parte la şedinţa publică de susţinere a tezei de doctorat.

Vă mulţumim.

mailto:[email protected]

Inteligenţa computaţională în data mining şi calcul cuantic, precum şi consideraţii privind viitorul inteligenţei

artificiale

3

CUPRINS Introducere ............................................................................................................................................. 6

1 Inteligenţă Computaţională : stadiul actual al cercetării .............................................................. 7 1.1 Definiţie ...................................................................................................................................... 7

1.2 Reţele artificiale neuronale ......................................................................................................... 8

1.2.1 Perceptron multistrat ........................................................................................................... 9

1.2.2 O reţea neuronală artificială de bază radială ..................................................................... 10

1.2.3 Reţea neuronală artificială recurentă ................................................................................. 10

1.3 Algoritmi de învăţare ................................................................................................................ 17

1.3.1 Propagarea înapoi .............................................................................................................. 17

1.3.2 Regula de actualizare Manhattan ...................................................................................... 18

1.3.3 Propagare rezistentă .......................................................................................................... 19

1.3.4 Învăţare genetică (neuro-evolutie) .................................................................................... 20

1.3.5 Simularea amorselor hibridizate ........................................................................................ 22

2 Data mining: stadiul actual al cercetării ...................................................................................... 23 2.1 Datele procesului ...................................................................................................................... 23

2.2 Înţelegerea Business................................................................................................................. 23

2.3 Înţelegerea datelor ..................................................................................................................... 23

2.4 Pregătirea .................................................................................................................................. 23

2.4.1 Definirea problemei .......................................................................................................... 24 2.4.2 Colectarea de date ............................................................................................................. 24

2.4.3 Definiţia caracteristicilor ................................................................................................... 24

2.4.4 Selectarea datelor .............................................................................................................. 24

2.5 Datele de pre-procesare ............................................................................................................. 25

2.5.1 Filtrarea ............................................................................................................................. 25

2.5.2 Curăţare şi corectare .......................................................................................................... 26

2.6 Analiza (data mining) ............................................................................................................... 27

2.6.1 Cunoştinţe interesante ....................................................................................................... 28

2.6.2 Cunoaşterea precisă ........................................................................................................... 28

2.6.3 Cunoaşterea interpretabilă ................................................................................................. 28

2.6.4 Prelucrarea inteligentă ....................................................................................................... 28

2.6.5 Procesare eficientă ............................................................................................................ 29

2.6.6 Algoritmii şi funcţiile de căutare ....................................................................................... 29

3 Obiectivele cercetării de doctorat.................................................................................................. 31

4 Conceptul de reţele de structuri neuronale artificiale ................................................................. 34 4.1 Reţeaua neuronală artificială corticală ...................................................................................... 34

4.1.1 Structura ............................................................................................................................ 35

4.1.2 Reţele neuronale artificiale SHOCID corticale ................................................................. 37

4.1.3 Scop ................................................................................................................................... 38

4.1.4 Evoluţia ............................................................................................................................. 39

4.2 Reţeaua neuronală artificială recurentă SHOCID ..................................................................... 40

4.2.1 Structura ............................................................................................................................ 42

4.2.2 Scop ................................................................................................................................... 43

4.2.3 Evoluţia ............................................................................................................................. 46

4.3 Reţeaua neuronală artificială SHOCID „deep belief” .............................................................. 48

4.4 Structura .................................................................................................................................... 48

4.4.1 Procesarea ......................................................................................................................... 49

4.4.2 Scop ................................................................................................................................... 50

4.4.3 Evoluţia ............................................................................................................................. 50

4.5 Rezumat .................................................................................................................................... 52

5 Evoluţia concepută şi strategiile de învăţare ................................................................................ 52 5.1 Evoluţia structurală ................................................................................................................... 52

5.1.1 Fundamentele .................................................................................................................... 52

5.1.2 Algoritm ............................................................................................................................ 52

5.1.3 Determinarea generică a calităţii reţelei artificiale neuronale ........................................... 54


artificiale

4

5.1.4 Parametrizarea ................................................................................................................... 55

5.1.5 Utilizare ............................................................................................................................. 55

5.2 NeuroEvoluţia transgenetică ..................................................................................................... 56

5.2.1 Fundamentele .................................................................................................................... 56

5.2.2 Materialul genetic al gazdei .............................................................................................. 57

5.2.3 Endosimbiont .................................................................................................................... 58

5.2.4 Algoritm ............................................................................................................................ 58

5.2.5 Transfer genetic (secvenţă) orizontal (endosimbiotic) ...................................................... 59

5.2.6 Mutaţie transpozon ............................................................................................................ 59

5.2.7 Utilizare ............................................................................................................................. 59

5.3 Imunitatea artificială a sistemului-inspirat NeuroEvoluţie ....................................................... 61

5.3.1 Fundamentele .................................................................................................................... 61

5.3.2 Selecţia clonală şi hipermutaţiile somatic ......................................................................... 62

5.3.3 Teoria pericolului, atacul virusului şi hiperrecombinaţia .................................................. 62

5.3.4 Selecţia negativă ................................................................................................................ 64

5.3.5 Algoritmul general ............................................................................................................ 65

5.3.6 Cauzalitatea ....................................................................................................................... 66

5.3.7 Utilizare ............................................................................................................................. 66

6 O abordare de calcul cuantic ......................................................................................................... 66 6.1.1 Sistemul cuanticelor .......................................................................................................... 66

6.1.2 Teoria cuantică .................................................................................................................. 66

6.1.3 Efecte cuantice .................................................................................................................. 67

6.2 Reţele neuronale artificiale cuantice ........................................................................................ 71

6.2.1 Structura ............................................................................................................................ 71

6.2.2 Biţii cuantici ...................................................................................................................... 72

6.2.3 Suprapunerea ..................................................................................................................... 72

6.2.4 Procesarea ......................................................................................................................... 73

6.2.5 Măsurarea .......................................................................................................................... 82

6.2.6 Implementări de reţele neuronale artificiale cuantice preconizate .................................... 84

7 Inteligenţă computaţională ce aplică ordine înaltă în sistem pentru achiziţii de date ............. 85 7.1 Inovaţii ...................................................................................................................................... 85

7.2 Structuri de reţele artificiale neuronale suportate ..................................................................... 85

7.2.1 Reţele artificiale neuronale feed-forward .......................................................................... 85

7.2.2 Reţele artificiale neuronale recurente feed-forward .......................................................... 86

7.2.3 Reţelele neuronale artificiale „Deep belife” ...................................................................... 86

7.2.4 Hărţi cu opţiune de auto-organizare .................................................................................. 86

7.3 Privire de ansamblu asupra arhitecturii ..................................................................................... 87

7.3.1 Interfaţa grafică pentru utilizatorr ..................................................................................... 87

7.3.2 Prelucrarea intrărilor / pregătirea de procesare backend ................................................... 88

7.3.3 Pre-procesarea ................................................................................................................... 88

7.3.4 Determinarea inteligentă a soluţiei .................................................................................... 88

7.4 Metode de prelucrare SHOCID ................................................................................................ 88

7.4.1 Clasificare ......................................................................................................................... 88

7.4.2 Predicţie prin serii de timp ................................................................................................ 89

7.4.3 Atribuirea Valorii .............................................................................................................. 90

7.4.4 Clustering-ul ...................................................................................................................... 91

7.5 Agenţi si tipuri de soluţii........................................................................................................... 91

7.5.1 Agent unic ......................................................................................................................... 91

7.5.2 Comitet democratic ........................................................................................................... 92

7.5.3 Agent unic de evoluţie....................................................................................................... 94

7.5.4 Comitet de evoluţie hibrid ................................................................................................. 95

7.5.5 Fişierul de informaţie al agentului .................................................................................... 96

8 Rezultate experimentale ................................................................................................................. 96 8.1 Opţiunea de testare Black-Scholes ............................................................................................ 96

8.2 Evoluţie mică (tratament simulat de formare) agent unic 1 ...................................................... 96

8.3 Evoluţie mică (tratament simulat de formare) agent unic 2 ...................................................... 96

8.4 Agent unic cu NeuroEvoluţie transgenetică.............................................................................. 98

8.5 Agent unic cu procesare corticală ............................................................................................. 99


artificiale

5

8.6 RNA recurentă SHOCID ........................................................................................................ 100

8.7 Evoluţia (algoritm de formare genetic) ................................................................................... 101

8.8 NeuroEvoluţie inspirată de sistemul imunitar artificial .......................................................... 102

8.9 RNA-uri “Deep belief-like” .................................................................................................... 103

9 Concluzii ........................................................................................................................................ 103 9.1 Contribuţii originale ................................................................................................................ 103

9.1.1 Contribuţii teoretice ........................................................................................................ 103

9.1.2 Contribuţii tehnice ........................................................................................................... 106

9.1.3 Contribuţii practice .......................................................................................................... 106

9.2 Revizuirea ipotezelor .............................................................................................................. 107

9.3 Dezbateri ................................................................................................................................. 108

9.4 Direcţii de cercetare pentru viitor ........................................................................................... 109

Bibliografie ......................................................................................................................................... 110

Rezumat ………………………………………………………………………………………. 110

CURRICULUM VITAE ................................................................................................................... 117


artificiale

6

Introducere În această lucrare este prezentat un sistem generic de extragere a datelor, menţionat ca şi “Sistem ce aplică

Inteligenţa Computaţională de nivel înalt în extragerea datelor ”( System applying High Order

Computaţional Intelligence in Data Mining‟ = SHOCID ). SHOCID a fost dezvoltat în perioada februarie -

octombrie 2012, pentru a demonstra funcţionalitatea paradigmelor în domeniul inteligenţei computaţionale,

propus de autor, şi folosit pentru rezolvarea problemelor nondeterministice cu timp polinomial.

Aceste propuneri cuprind aplicarea a trei tipuri noi de reţele artificiale neuronale pentru clasificareaşi

predicţia unor serii în funcţie de timp, comportându-se mai bine de cât reţelele neuronale artificiale

uzuale,feed-forward şi recursive, fiind independente de abordarea învăţării folosită în cele mai multe

cazuri. Pe lângă acestea, pentru căutări stocastice sistemul beneficiază de algoritmi inspiraţi din natură,

cum ar fi neuro-evoluţia transgenetică care simulează relaţia dintre un organism gazdăşi un endosimbiot

sau aplicarea operatorilor imunologici.

O altă secţiune importantă a lucrării explicăcum ar putea beneficia reţelele artificiale neuronale, de pe urma

calculatoarelor cuantice. Se propune o paradigmă cuantică de reţele neuronale artificiale în algoritmi

potriviţi pentru computere bazate pe arhitecturi von Neumann care vizează aplicarea pe un computer

cuantic. Mai mult decât atât, se aplică un tip nou de algoritm metaheuristic pentru modificarea nu numai a

ponderilor, dar, şi a arhitecturii feed-forward şi recurenţa feed-forward a reţelelor neuronale artificiale în

timpul fazei de formare. Alte noutăţi în domeniu includ retele neuronale artificiale deep belief-like care

permit formarea eficientă a arhitecturii deep architectures, şi recurenţa sistemului SHOCID pentru predicţia

temporală a seriilor.

Avantajele sistemului sunt punerea în aplicare a noului tip de algoritm pentru determinarea calităţii unei

reţele neuronale artificiale, precum şi determinarea pe partea sistemului de funcţii de activare a neuronilor

utilizaţi în cadrul unei reţele neuronale artificiale. SHOCID nu face doar extragere complexă de date şi

tehnici inteligente de computaţie ci în funcţie de problemă, sistemul este capabil să combine tehnici şi într-

o oarecare măsură, să decidă pe cont propriu, care strategie se potriveşte mai bine .

Inovaţiile menţionate se concentrează pe genericitate şi orientare pe rezultate pentru evidenţierea scopului

proiectului de cercetare: furnizarea tehnicilor avansate de inteligenţă artificială pentru extragerea datelor

din probleme complexe.

Teza de doctorat este compusă din 9 capitole :

Capitolul 1 particularizează conceptele fundamentale şi stadiul actual al cercetărilor în domeniul

inteligenţei computaţionale. Accentul este pus pe paradigme de inteligenţă computaţională pentru

extragerea datelor.

Capitolul 2 particularizează conceptele fundamentale şi stadiul actual al cercetărilordin domeniul

extragerii de date. Este stabilită o legătură între inteligenţă computaţională şi extragerea datelor.

Capitolul 3 oferă o imagine de ansamblu a obiectivelor propuse pentru teza de doctorat.

Capitolul 4 cuprinde elaborarea ştiinţifică a abordărilor şi conceptelor nou create în domeniul reţelelor

neuronale artificiale, urmate de descrierea realizării acestora în prototipul sistemului. Acestea sunt reţelele

neuronale artificiale, SHOCID recurent, cortical şi deep-belief like.

Capitolul 5 conţine elaborarea ştiinţifică a abordărilor nou concepute de învăţare şi de formare pentru

reţele neuronale artificiale, precum şi descrierea de realizare a acestora în prototipul sistemului. În plus,

este explicată în detaliu evoluţia structurală SHOCID ca un mecanism de sprijin în procesul de învăţare.

Este introdusăo abordare generică pentru determinarea calităţii reţelelor neuronale artificiale.

Capitolul 6 descrie atât o posibilă punere în aplicare a unei reţele neuronale artificiale cuantica, teoretic

funcţionând pe un computer cuantic, precum şi abordări pentru măsurarea unui astfel de sistem,

determinând astfel configuraţia dorită, care este complet diferită de abordările de învăţare de pe

calculatoarele von Neumann.

Capitolul 7 descrie şi particularizează sistemul SHOCID punând accent pe contribuţiile la domeniile de

inteligenţă computaţională şi extragerea datelor făcute în timpul fazei de cercetare şi dezvoltare a tezei.

Sunt prezentate în detaliu interfaţa grafică pentru utilizator, interacţiunea utilizatorului cu sistemul,tipurile

soluţiilor sistemului şi abordările de invătare.Capitolul 8 conţine rezultatele experimentale obţinute prin

compararea abordărilor nou dezvoltate, cu cele deja existente, prin SHOCID. Pentru fiecare din rezultatele


artificiale

7

experimentale obtinute sistemului iau fost furnizate date de formare ale structurii, de la simplu la complex.

Obiectivul principal a fost de a demonstra precizia şi performanţa abordărilor şi paradigmelor introduse.

Capitolul 9 cuprinde concluziile, contribuţiile originale (teoretice, tehnice şi practice), activităţile de

diseminare a rezultatelor cercetării şi a direcţiilor viitoare de cercetare.

1 Inteligenţă Computaţională : stadiul actual al cercetării

1.1 Definiţie

Tehnicile de inteligenţă computaţională au cunoscut o dezvoltare în ultimele câteva decade şi de asemenea

a câştigat popularitate în domenii practice cum ar fi: control,căutare şi optimizare, extragerea datelor,

reprezentarea cunoştinţelor, procesarea semnalelor şi robotică.1Cu toate acestea, atunci când vorbim despre

aplicarea paradigmelor-IC, în capitolele ulterioare, trebuie să fie clar definit, ce înseamnă termenul CI în

domeniul DM. Termenul în sine este extrem de controversat în cercetare şi utilizat în maniere diferite. În

general, Fulcher et al. şi Karplus oferă definiţii larg acceptate, care sunt, de asemenea, potrivite în contextul

acestei elaborări:

Metode inspirate de natura + date din lumea reală (invătare) = inteligenţă computaţională.2

CI substituie calculul intensiv , cu o perspectivă asupra modului in care lucrează sistemul.

O altă definiţie a inteligenţei computaţionale subliniază capacitatea de a învăţa, de a face faţă unor

situaţii noi, şi de a avea raţiune.3

Un sistem software de CI nu constă numai din reguli de afaceri statice, cuprinde capacitatea de a se adapta

la o problemă, să înveţe să se comporte. Comportamentul este important în acest context, deoarece un

termen mai potrivit pentru funcţionalitatea unui sistem evolutiv, de exemplu, ANN poate fi într-adevăr,

dezvoltat de o persoană, dar aceeaşi persoană nu ştie ce se întâmplă exact în cadrul unui ANN care învaţă

sau care rezolvă o problemă. Desigur, dezvoltatorul ştie teoretic ce se întâmplă în spatele ANN care învăţă,

dar, ca atare, face uz intensiv de variabile aleatoare,iar repetarea învăţării cu aceleaşi date produce

rezultate uşor diferite, este mai potrivit să vorbim despre comportament în loc de funcţionalitate.

Din informaţiile menţionate mai sus, devine evident faptul că inteligenţa computaţională cuprinde

reţele artificiale neuronale;

logica fuzzy;

calcul evolutiv;

şi de asemenea acoperă

granular computing;4

probabilistic reasoning;

Bayesian (belief) networks;5

fuzzy Petri nets;

constrained reasoning;

case-based reasoning;6

support vector machines;7

rough sets;8

learning/adaptive classifiers;

fractals;9

wavelets;10

1 Liu Dikai, Wang Lingfeng, Tan Kay Chen (2009): Design and Control of Intelligent Robotic Systems; Berlin Heidelberg: Springer-Verlag, p. 2 2 Fulcher John (2008): Computational Intelligence: A Compendium; Berlin Heidelberg: Springer-Verlag, p. 38 3Eberhart Russel C., Simpson Patrick K., Dobbins Roy (1996): Computational Intelligence PC Tools; Boston MA: Academic Press 4 Lin Y. T. (1999): Granular computing: fuzzy logic and rough sets. In: Zadeh LA, Kacprzyk J. (eds.): Computing with Words in Information/Intelligent

Systems; Springer-Verlag: Berlin 5Jensen Finn V., Nielsen Thomas Dyhre (2001): Bayesian Networks and Decision Graphs; Berlin: Springer-Verlag 6 Watson Ian (1997): Applying Case-Based Reasoning: Techniques for Enterprise Systems; San Francisco: Morgan Kaufmann 7 Shawe-Taylor Cristianni N. (2000): Support Vector Machines and Other Kernel-based Learning Methods; UK: Cambridge University Press 8 Inuiguchi Masahiro, Hirano Shoji, Tsumoto Shusaku (2003): Rough Set Theory and Granular Computing; Berlin: Springer-Verlag 9 Falconer Kenneth (2003): Fractal Geometry: Mathematical Foundations and Applications; New York: Wiley


artificiale

8

teoria haosului11

agenţi inteligenţi.12

Astfel, cercetătorii inteligenţei computaţionale urmăresc obiectivul de a împuternici o maşină de a învăţa

într-un mod bazat pe date şi nu algoritmic.

Rezumând, inteligenţa computaţională este studiul mecanismelor adaptive, pentru a permite sau pentru a

facilita un comportament inteligent în medii complexe, nesigure şi în schimbare13

.

1.2 Reţele artificiale neuronale

După cum s-a arătat mai înainte, reţele neuronale artificiale14,15,16

, încearcă să imite funcţionalitatea unui

creier uman. Ca un creier uman, o reţea neuronală artificială este formată din neuroni - cele actuale nu

conţin la fel de mulţi neuroni ca un creier uman , dar abordările viitoare ale computaţiei cuantice ar putea

viza simularea unui creier cu un număr similar de neuroni. Din punctul de vedere al maşinii asupra

învăţatului, ANN-urile sunt capabile de a face o cartografiere neliniară de la un set de intrări la un set de

rezultate şi prin urmare pot fi angajate ca aproximatori universali funcţionali, care pot oferi o apropiere

exactă a unui sistem necunoscut din furnizarea de mostre de date 17

. Modelul The McCulloch & Pitts al

neuronului (Figura1 - McCulloch & Pitts neuron model neuronului) arată similarităţile dintre un neuron

uman şi unul artificial.

Figura1 - McCulloch & Pitts neuron model

18

Organismul de celule primeşte intrarea sa de la alţi neuroni sau, în cazul în care neuronul se află în stratul

de intrare, direct de la o sursă de date. Intrarea este apoi înmulţită cu ponderea conexiunii la neuronul ţintă,

cu alte cuvinte, a trecut de-a lungul dendritelor, iar apoi rezultatele tuturor neuronilor de intrare sunt

însumate. Această sumă este comparată cu valoarea de prag din nucleu şi, în cazul în care este depăşită,

este trecută în funcţia de activare, care transferă apoi ieşirea redusă (o funcţie de activare reduce ieşirea în

mod corespunzător), a intrărilor la neuronul (i) la care este conectat. Figura 2 - Modelul de procesare

reprezentativ- oferă o descriere matematică a neuronului, ceea ce face mai uşor de a înţelege procesele

matematice de bază din spatele unei reţele neuronale artificiale (Figura 2 - Modelul de procesare

reprezentativ).Imaginea arată, de asemenea, că intrările _n sunt multiplicate cu ponderea lor şi

apoi însumate, comparate cu pragul de valoare tceea ce conduce catre un neuron de ardere, daca valoarea

este depăşită şi o abatere mai mică la un neuron care nu arde.Suma ponderată nu este direct trecută la

neuronul (i) ţintă, ci la funcţia de activare, pentru scalarea în mod corespunzător. În acest din urmă

exemplu, pragul este reprezentat de o linie oblică cu alte cuvinte, o valoare constantă 1. Reţelele neuronale

artificiale, care sunt considerate a fi robuste şi adaptabile, au fost folosite pentru a rezolva problemele,

10 Mallat Stephane (1999): A Wavelet Tour of Signal Processing; Boston MA: Academic Press 11 Ott Edward (2002): Chaos in Dynamical Systems, UK: Cambridge University Press

Padgham Lin, Winikoff Michael (2004): Developing Intelligent Agent Systems: A Practical Guide to Designing, Building, Implementing and Testing Agent

Systems (Wiley Series in Agent Technology); New York: Wiley 13Onwubolu, Godfrey C. (2009): Hybrid Self-Organizing Modelling Systems Berlin Heidelberg: Springer-Verlag, p. 13 14Kung Sun.Y. (1993): Digital Neural Networks. Englewood Cliffs: PTR Prentice Hall 15Lau Clifford (1991): Neural networks, theoretical foundations and analysis; Los Alamitos: IEEE Press 16Philippides A. et al. (1999): Diffusible neuromodulation in real and artificial neural networks; In: AI Symposium, Second International Conference on

Cybernetics, Applied Mathematics and Physics: CIMAF 1999: Editorial Academia 17 Jain Lakhmi C. (2008): Computational Intelligence Paradigms: Innovative Applications; Berlin Heidelberg: Springer-Verlag, p. 3 18 Fulcher John (2008): Computational Intelligence: A Compendium; Berlin Heidelberg: Springer-Verlag, p. 26

http://www.amazon.de/Developing-Intelligent-Agent-Systems-Implementing/dp/0470861207/ref=sr_1_9?s=books-intl-de&ie=UTF8&qid=1327062491&sr=1-9




artificiale

9

inclusiv cele care se încadrează în clasa19

NP-complete.20

În general, două abordări pentru proiectarea unei

ANN sunt posibile, evolutivă şi non-evolutivă. În abordarea evolutivă, o ANN poate fi evoluată printr-o

tehnică evolutivă, de exemplu, cum ar fi un algoritm genetic (1.3.4 învăţare genetică)21,22,23

. În abordarea

non-evolutivă, ANN este construită nu ca rezultat al unui proces evolutiv, ci mai degrabă ca rezultatul unui

algoritm specific conceput pentru a construi automat, aşa cum este cazul cu un algoritm constructiv24

.

i1

i2 o1

in

wi1o1

wi2o1

wi3

o1

∑ t f

Figura2–Modelul de procesare reprezentativ

1.2.1 Perceptron multistrat

MLPs îşi găsesc aplicarea atunci când este necesară rezolvarea unor situaţii problematice bazate pe date

complexe convexe sau arbitrare. Perceptronii cu două straturi sunt capabili de a separa seturi convexe,

orice strat suplimentar permite MLP-urilor să separe orice seturi. Structura unui MLP diferă de cea a unui

SLP, aşa cum indică şi numele, în numărul de straturi (Figura 3 - Perceptron multistrat). Figura 3 -

Perceptron multistrat - descrie un MLP cu trei straturi, constând din trei neuroni de intrare care sunt

prezentaţi de vectorul v_i, patru neuroni ascunşi şi doi neuroni de ieşire, care produc vectorul de ieşire v_o.

După cum s-a arătat, neuronii ascunşi sunt reprezentarea internă a lumii exterioare, transferată de neuronii

de intrare şi adaptată laponderea corespunzătoare a neuronilor de intrare . Fiecare neuron din MLP face uz

de o funcţie de activare, cum face şi un neuron SLP . Referindu-ne înapoi la ARMA, un MLP cu 3-

straturi,cu un neuron de ieşire se poate descrie prin ecuaţia:

(1-1)

unde stratul de intrare are p intrări x (t-1), ..., x (t-p), stratul ascuns are l noduri ascunse şi ieşirea, şi există o

singură ieşire pentru stratul de ieşire xt. Straturile sunt complet conectate prin greutate , unde wij este a

ith

intrare pentru nodul jth

, în stratul ascuns, întrucât wj este ponderea atribuită nodului jth

în stratul ascuns

pentru ieşire. w0şi w0jsunt deviaţiile, h1şi h2 sunt funcţiile de activare. εt este variabila incertitudinii ANN-

ului, de asemenea, numită zgomot alb.25

19Andreas Tolk (2009): Complex Systems in Knowledge-based Environments: Theory, Models and Applications; Berlin Heidelberg: Springer-Verlag, p. 115 20Harel David (2004): Algorithmics: The Spirit of Computing, 3rd ed.; Amsterdam: Addison-Wesley 21 Franco Leonardo, José M. Jerez (2009): Constructive Neural Networks; Berlin Heidelberg: Springer-Verlag, p. 2 22 Schaffer J. D. et al. (1992): Combinations of genetic algorithms and neural networks: a survey of the state of the art. In: Proceedings of the International

Workshop of Genetic Algorithms and Neural Networks, pp. 1–37 23 Yao X. (1999): Evolving neural networks; Proceedings of the IEEE 87(9), 1423–1447 24Franco Leonardo, José M. Jerez (2009): Constructive Neural Networks; Berlin Heidelberg: Springer-Verlag, p. 2 25 Fulcher John (2008): Computational Intelligence: A Compendium; Berlin Heidelberg: Springer-Verlag, p. 521


artificiale

10

i1

i2

h1

h2 o1

w i1h1

wh2o1

wh1o1

h3

hn

on

in

wi1h2w

i1h3

wi1hn

w i2h1

w i2h2

wi2h3wi2hn

w inh1

w inh2

winh3

winhn

wh1on

wh2on

wh3o1

wh3on

w h4o1

wh4on

Figura3 – Perceptron multistrat

1.2.2 O reţea neuronală artificială de bază radială

O reţea de bază radială este similară cu perceptronul feed-forward multistrat menţionat înainte, cu restricţia

că face uz de un singur strat ascuns, în orice caz. Acest strat ascuns foloseşte funcţiile de bază radiale ca

funcţii de activare, de obicei, cele gaussiene.Ecuaţia

( 1-2 )

descrie o astfel de reţea, unde este o funcţie bază radială, este centrul ith

, iar k este numărul centrului.

Ambele , şi k sunt determinate de datele stabilite de x. Alegerile tipice ale funcţiilor de bază radiale sunt

deja cunoscutele funcţii, Gaussiene.

(1-3)

Funcţia thin-plate-spline,

(1-4)

Funcţiamulti-quadratic,

(1-5)

Funcţia inverse multi-quadratic,26

(1-6)

Funcţia compound Gauss,

(1-7)

Reţelele RBF sunt utile mai ales pentru aproximarea funcţiilor sau pentru ANN-uri predictive.

1.2.3 Reţea neuronală artificială recurentă

Deşi ANN-urile feed-forward sunt capabile de a rezolva diverse probleme, aplicarea de ANN-uri recurente

oferă mai multe avantaje în ceea ce priveşte granularitatea şi abstractizarea. Noţiunile de granularitate şi

abstractizare sunt folosite în mai multe subdomenii ale inteligenţei artificiale. Granularea timpului şi

spaţiului duce în mod natural la granularităţi temporale şi spaţiale.27

Un strat suplimentar recurent poate

influenţa performanţa reţelei şi va permite reţelei să rezolve probleme mai complexe, ca strat, prin influenţa

sa la un alt strat, serveşte ca un fel de memorie de lungă durată a unui ANN. Un ANN implementat în

arhitectura clasică feed-forward, de exemplu, întâmpină probleme atunci când se ocupă cu mişcarea seriilor

medii:

26 Fulcher John (2008): Computational Intelligence: A Compendium; Berlin Heidelberg: Springer-Verlag, p. 522 27 Abraham Ajith, Hassanien Aboul-Ella, de Leon F. de Carvalho André Ponce, Snáel Vaclav (2009): Foundations of Computational Intelligence Volume 6: Data

Mining; Berlin Heidelberg: Springer-Verlag, p. 68


artificiale

11

În folosirea perceptronului cu mai multe straturi pentru a reprezenta reţele neuronale

(1-8)

sau într-un alt termen

(1-9)

este nevoie să aibă un strat de intrare cu un număr infinit de neuroni (memorie infinită a trecutului), şi

anume, , ceea ce este imposibil în practică.28

Deşi un număr infinit de neuroni teoretic ar

duce la o reprezentare exactă, un număr finit mare ar fi suficient, într-adevăr, dar, de asemenea, creşte

complexitatea reţelei daca avem un număr mare de parametri, ceea ce ar încetini învăţarea şi estimarea.29

Prin urmare, un ANN recurent poate face faţă seriilor ARMA, în timp ce numai MLP-urile pot face faţă

seriilor de timp AR.

Un ANN recurent poate fi reprezentat de către30

(1-10)

unde

(1-11)

Doua tipuri de ANN-uri recurente se merită menţionate în acest caz, şi anume ANN-ul recurent Elman31

şi

Jordan32

. Reţeaua neuronală Elman procesează ieşirile stratului ascuns către stratul recurent sau de context,

care îşi transmite ieşirile din nou către stratul ascuns în următoarea itinerare. Aceasta influenţeazăintrările,

ieşirile şi adoptarea prin metoda de învăţareîn următoare itineraţie a reţelei. Conexiunile între straturile de

context şi cele ascunse nu sunt cântărite. Prin urmare, învăţarea prin propagare poate fi aplicată reţelei

neuronale artificiale Elman (Figura4–Reţeaua neuronală artificiala Elman Reţeaua neuronală artificială

Elman).

1.2.3.1 Reţeaua neuronală artificială Elman (figura 4)

1.2.3.2 Reţeaua neuronală artificială Jordan

Un alt exemplu de ANN recurent este reţeaua Jordan, aceasta având un strat de stare în care ieşirile reţelei

sunt propagate. Conexiunile dintre stratul de context şi stratul ascuns nu sunt cântărite şi permite din nou

propagarea formării. (Figura5 - Jordan artificial neural network neuronala artificiala Jordan). Diferenţa

majoră faţă de ANN-ul Elman este că fiecare ieşire este propagată în fiecare neuron ascuns şi nu doar într-

unul. Aceasta este necesară deoarece numărul de neuroni de ieşire şi prin urmare numărul de neuroni de

context de foarte multe ori diferă de numărul de neuroni ascunşi.

1.2.3.3 Reţeaua neuronala artificiala complet conectată

După cum s-a indicat deja, fiecare dintre neuronii ANN-ului complet conectat dispune de conexiuni către

toţi ceilalţi neuroni, exceptându-i pe ei însuşi – nu exista auto-conexiuni Astfel, ANN-ul complet conectat

nu are o direcţie de procesare precum ANN-ul cu feed forward. Două ANN-uri complet conectate simple şi

foarte populare sunt:

Reţeaua Hopfield33

şi

Maşina Boltzmann34

.

28 Fulcher John (2008): Computational Intelligence: A Compendium; Berlin Heidelberg: Springer-Verlag, p. 523 29Mandic Danilo P., Chamber Jonathon (2001): Recurrent Neural Networks for Prediction: Learning Algorithms, Architectures, and Stability; New York: Wiley 30 Fulcher John (2008): Computational Intelligence: A Compendium; Berlin Heidelberg: Springer-Verlag, p. 524 31Elman J. L. (1990): Finding Structure in Time; Cognitive Science, 14, 179-211 32Jordan Michael I. (1986): Attractor dynamics and parallelism in a connectionist sequential machine; Proceedings of the Eighth Annual Conference of the

Cognitive Science Society; Englewood Cliffs: Erlbaum, pp. 531-546 33 Hopfield J. Joseph (1982): Neural networks and physical systems with emergent collective computational properties; Proceedings Nat. Acad. Sci. (USA) 79,

2554-2558. 34 Hinton Geoffrey E., Sejnowski Terrence J. (1983): Optimal Perceptual Inference. Proceedings of the IEEE conference on Computer Vision and Pattern

Recognition, Washington DC, pp. 448-453.

http://www.scholarpedia.org/article/Computer_Vision

http://www.scholarpedia.org/article/Pattern_Recognition




artificiale

12

i1

i2

h1

h2 o1

w i1h1

wh2o1

wh1o1

h3

hn

on

in

wi1h2w

i1h3

wi1hn

w i2h1

w i2h2

wi2h3wi2hn

win

h1

w inh2

winh3

winhn

wh1on

wh2on

wh3o1

wh3on

w h4o1

wh4on

r1

r2

r3

rn

w h1r1

wh3r3

w hnrn

wh2r2

Figura4–Reţeaua neuronală artificiala Elman

i1

i2

h1

h2 o1

w i1h1

wh2o1

wh1o1

h3

hn

on

in

wi1h2w

i1h3

wi1hn

w i2h1

w i2h2

wi2h3wi2hn

win

h1

w inh2

winh3

winhn

wh1on

wh2on

wh3o1

wh3on

w h4o1

wh4on

r1

r2

wo1r1

wonr2

Figura5 - Jordan artificial neural network

Mai ales tipul al doilea de ANN este extrem de important pentru SHOCID, deoarece este fundaţia

sistemului Deep Belief Networks35

pentru clasificare. Amândouă tipurile de reţea sunt prezentate ca un

model iniţial prin neuronii lor de intrare, aceştia nefiind diferiţi de cei de la MLPs. Totuşi, conform

calculelor pentru determinarea ponderii, un nou model este primit de la neuronii de ieşire. Diferenţa faţă de

alte ANN-uri este acum faptul că acest model este trimisînapoi neuronilor de intrare, ceea ce este posibil

deoarecestraturile de intrare şiieşire sunt aceleaşi. Aceste cicluri continuă cât timp îi ia reţelei să se

stabilizeze. Până se stabilizează, reţeaua este într-o nouă stare după o itineraţie, aceasta fiind folosită pentru

comparaţia modelului actual cuvectorul de intrare.36

Ambele ANN-uri, ANN-ul Hopfield şimaşina

Boltzmann,aparţin clasei de ANN-uri termale, deoarece sunt dotate cu o componenta stocastica, funcţia de

35Hinton Geoffrey E., Salakhutdinov Ruslan R. (2006): Reducing the dimensionality of data with neural networks, Science, vol. 313, no. 5786, pp. 504–507,

2006. 36Heaton Jeff (2010): Programming Neural Networks with Encog 2 in Java; Chesterfield: Heaton Research, Inc., p. 339


artificiale

13

energie, care este similar aplicatăsimulăriiannealing-learning.Modelele probabilistice bazate pe energie

definesc o probabilitate de distribuţie printr-o funcţie de energie, după cum urmează:

(1-12)

unde Z este normalizarea factorului şi este numităfuncţiapartiţie:

(1-13)

1.2.3.4 Reţeaua neuronală artificială Hopfield

ANN-ul Hopfield (Figura6 - Hopfield artificial neural network) este un ANN auto-conectat. Conţine un

singur strat de neuroni, care sunt auto-conectaţi. Fiecare neuron aflat pe strat este conectat cu fiecare alt

neuron de pe acelaşi strat, fără a fi auto-conectati. Diferit faţă de majoritatea celorlalte ANN-uri, ANN-ul

Hopfield nu aplica valori de prag. O altă caracteristica a acestui tip special de ANN este căoperează pe

numere bipolare, permiţând numerelor binare să fie reprezentate numeric într-un mod în care adevăratşi

fals sunt opuse. Astfel, funcţia de activare a ANN-ului este de asemenea şi bipolară, dând numai ieşiri de -1

şi 1 pentru fiecare neuron de ieşire.37

Până la stabilizare, stareareţelei Hopfield se va muta către cel mai

apropiat model, astfel „recunoscând‟ acel model. În timp ce reţeaua Hopfield se mutăcătre unul din aceste

modele, energia, aplicată cu funcţia de energie, scade.38

i1

i2

in

wi1i2

wi2in

wi1in

Figura6 - Hopfield artificial neural network

Cum ANN-ul Hopfield nu este de interes in continuarea acestei elaborări, nu o să fie explicat în detaliu.

1.2.3.5 Maşina Boltzmann

La o prima privire, o maşinăBoltzmann pare a fi identica cu un ANN Hopfield. Totuşi, ea conţineşi neuroni

ascunşi. MaşinileBoltzmann sunt o forma particulară a câmpuluialeator Markov, ex., pentru care funcţia de

energie este liniara în parametriisăi liberi. Pentru ai face destul de puternici să reprezinte distribuţii

complicate, se consideră că unele dintre variabile nu sunt niciodată observate, sunt reprezentate de neuronii

ascunşi,menţionaţi mai sus. Prin faptul că are mai multe variabile ascunse, capacitatea de modelare a

maşiniiBoltzmann poate fi mărită.39

Neuronii ascunşi au nevoie de adaptări în ecuaţii, cu referinţăcătre

părţile ascunse şi cele observate:

(1-14)

Pentru a fi posibilă maparea acestei ecuaţii cu una similara cum aratăecuaţia(1-14) se introduce notarea

energiei libere:

(1-15)

conducândcătre

37Heaton Jeff (2008): Introduction to Neural Networks for Java, 2nd ed.; Chesterfield: Heaton Research, Inc., p. 85 38Heaton Jeff (2010): Introduction to Encog 2.5 for Java, Rev. 3; Chesterfield: Heaton Research, Inc., p. 44 39Deeplearning.net (2012): Restricted Boltzmann Machines (RBM) [2012-15-08]; Deeplearning.net; URL: http://deeplearning.net/tutorial/rbm.html


artificiale

14

(1-16)

unde

(1-17)

Formularul de date negative ale gradientului este:

(1-18)

Gradientul conţine doi termeni, referitori la fazele pozitive şi negative. Termenii pozitiv şi negativ nu se

referă la semnul fiecărui termen din ecuaţie, dar mai degrabă reflectă efectul lor asupra probabilităţii

densităţii definită de model. Primul termen măreşte probabilitatea datelor de antrenament (prin reducerea

energiei libere corespunzătoare), cât timp cel de-al doilea termen reduce probabilitatea exemplelor generate

de model.40

Grafic, o maşinaBoltzmann poate fi descrisădupă cum urmează (Figura7–Maşina

BoltzmannBoltzmann).

i1

i2

h1

h2

w i1h1

h3

hn

in

wi1h2w

i1h3

wi1hn

w i2h1

w i2h2

wi2h3w

i2hn

win

h1

w inh2

winh3

winhn

wh1h2

wh2h3

wh3hn

wi1i2

wi2in

wh1h3

wh1hn

wh2hn

wi1in

Figura7–Maşina Boltzmann

Fiecare neuron este conectat cu fiecare alt neuron fără a oferi auto-conexiuni. Neuronii de intrare sunt şi

neuroni de ieşire dintr-o data, astfel consumând vectorul de intrare şiprezentând vectorul de ieşire. O

dezvoltare a maşiniiBoltzmann în continuare este aşa-numitamaşinaBoltzmannrestricţionată (RBM).41

O

RBM este constituită dintr-un strat de unităţi vizibile şi un strat de unităţi ascunse fără conexiuni vizibil-

vizibil sau ascuns-ascuns. Cu aceste restricţii, unităţile ascunse sunt condiţional independente dat fiind un

vector vizibil, astfel exemplele de date imparţiale pot fi obţinute într-un pas paralel (Figura8–

Boltzmannrestricţionată).42

RBM-ul oferă numai conexiuni între neuronii de ieşire şi intrare. Astfel, funcţia

de energie a unui RBM este definită ca

(1-19)

unde reprezinta ponderile care conecteazăunităţile vizibile şi ascunse şi b, c sunt ofset-urile straturilor

vizibile şi ascunse respectiv, care transpune direct către formula de energie libera următoare:

(1-20)

Datorita structurii speciale a RBM-ului, neuronii vizibili şi ascunşi sunt independenţi unul de celălalt. Prin

urmare43

40Deeplearning.net (2012): Restricted Boltzmann Machines (RBM) [2012-15-08]; Deeplearning.net; URL: http://deeplearning.net/tutorial/rbm.html 41Smolensky Pavel (1986): Information processing in dynamical systems: Foundations of harmony theory. In Rumelhart, D. E. and McClelland, J. L.,

editors, Parallel Distributed Processing: Volume 1: Foundations, pages 194-281. MIT Press, Cambridge, MA. 42 Scholarpedia (2011): Boltzmann Machine (2012-15-08); Scholarpedia; URL:

http://www.scholarpedia.org/article/Boltzmann_machine#Restricted_Boltzmann_machines 43Deeplearning.net (2012): Restricted Boltzmann Machines (RBM) [2012-15-08]; Deeplearning.net; URL: http://deeplearning.net/tutorial/rbm.html

http://www.scholarpedia.org/article/Connectionist_Models


artificiale

15

(1-21)

şi

(1-22)

Cum RBM-ul este în continuare important pentru deep belief-like ANNs, algoritmul său de

învăţare este explicat în detaliu. RBM-ul este un MLP, prin urmare la început activarea neuronală

trebuie sa fie calculată în acordanţă cu:

(1-23)

unde reprezintă neuronii ascunsi de către neuronii de intrare sunt conectaţi.

reprezintăponderea dintre şi , şi este starea unitatii , care este 0 sau 1. estimare

sistematică, şi funcţia aplicată de activare. Ieşirea ecuaţiei de mai sus reprezintă probabilitatea

activarii neuronului şi este aproape de 1 pentru energiile pozitive de activare mari şi aproape de 0

pentru energiile de activare negative. Prin urmare, neuronul prezentat mai sus este pornit cu o

probabilitate de şi oprit cu o probabilitate de .

i1

i2

h1

h2

w i1h1

h3

hn

in

wi1h2w

i1h3

wi1hn

w i2h1

w i2h2

wi2h3wi2hn

win

h1

w inh2

winh3

winhn

Figura8–Maşină Boltzmann Restricţionată

1.2.3.6 Maşini vector de sprijin

Maşinile vector de sprijin44

(SVMs) sunt, ca şi ANN-urile, utilizate pentru clasificare, dar sunt o alternativă

la acestea. O maşină vector de sprijin separă o cantitate de obiecte în clase, lăsând o zonă considerabilă în

jurul claselor fără de obiecte. Clasificatoare care clasifică obiectele în aşa fel sunt numite "clasificatoare cu

marja mare". În ceea ce priveşte învăţarea supervizată în cadrul ANN-urilor, este necesar ca, pentru o

cantitate de date de formare să fie cunoscută clasa de care aparţin. SVM este capabil să separe aceste

obiecte în clase, prin introducerea unui superplan între clase şi după aceea să maximizeze distanţa dintre

vectorii cei mai apropiaţi de superplan. Superplanul este, prin urmare, dependent doar de vectorii apropiaţi

de el. Defapt, un superplan este foarte adesea incapabil să se poată separa liniar de obiecte. Aceasta este

locul unde maşinile vectoriale mapează un spaţiu n-dimensional de intrare neliniar, într-un spaţiu45

cu o

caracteristică dimensională mare, eventual, într-un spaţiu cu dimensiuni infinite:

(1-23)

unde reprezintă spaţiul de intrare de dimensiune mică şi reprezentând spaţiul cu o

caracteristică dimensională mare. Într-un spaţiu cu o caracteristică dimensională mare o cantitate complexă

de vectori devin, de asemenea, separabili liniar. Acest spaţiu este unde super planul este definit. Exemplu

Fulcher arată, cum acest lucru este realizat printr-o serie de observaţii istorice :

44Vapnik V. (1998): The support vector method of function estimation. In: Suykens J., Vandewalle J. (eds.): Nonlinear Modeling: Advanced Black-Box

Techniques; Boston MA: Kluwer: 55–85 45 Fulcher John (2008): Computational Intelligence: A Compendium; Berlin Heidelberg: Springer-Verlag, p. 528


artificiale

16

(1-24)

unde şi .

aproximarea şi estimarea relaţiei funcţionale dintre yişi xi se face de către

(1-25)

unde <,..> denotă produs scalar. Vectorul w şi constanta b urmează să fie determinate utilizând principiul

de reducere structurală a riscurilor, cunoscut sub numele de teoria învăţării statistice46

. În plus, neuronii din

stratul ascuns în SVM nu vor lua aceleaşi intrări, sau aceeaşi funcţie de transfer, aşa cum este obişnuit la

ANN. Pentru clasificare, Fulcher descrie SVM prin

(1-26)

unde şi reprezintă coeficienţii care îndeplinesc principiul structural de minimizare a riscurilor, iar s un

set cu toti vectorii de sustinere. Dacă sunt categorici, cum ar fi , vectorii de sprijin, un subset

al , sunt determinaţi prin procesul de minimizare47

. Clasificarea se realizează în funcţie de semnul

funcţiei:48

(1-27)

1.2.3.7 Hărţi cu caracteristici de auto organizare

Hărţile cu caracteristici de auto organizare sunt folosite pentru a reprezenta date de dimensiuni mari pe o

hartă de dimensiune mică, încercând să păstreze structura de date învecinata cât mai bine posibil . Acest

lucru însemnând că datele apropiate unele de celelalte, într-un spaţiu n-dimensional este păstrat.

Inventatorul SOM, Teuvo Kohonen, a fost inspirat de părţile senzitive şi locomotoare ale creierului uman

.49

n1

n2

n3

n4

n5

n6

n7

n8

n9

n10

n11

n12

n13

n14

n15

n16

n17

n18

n19

n21

n22

n23

n24

n25

n26

n27

n28

n29

nn

x4x3x2x1

wn13x3

wn14x4

wn13x1

wn13

x2

n20

Figure 9 – Hartă cu caracteristici de auto organizare

Figure 9 – – Schema unei SOM - arată că fiecare componentă a vectorului de intrare x este reprezentată de

un neuron de intrare şi este conectată cu stratul de dimensiune mică. În faza de învăţare ponderea vectorilor

din SOM este adaptată într-un mod de auto-organizare.50

Ca şi alte ANN-uri,SOM este compus din

, fiecare având un vector de pondere şi o distanţă până la un neuron vecin. Distanţa dintre

neuronii şi este După cum arată figura 9 , fiecare neuron are alocată o poziţie în spaţiu hărţii de

dimensiune mică. Ca şi în toate ANN-urile, iniţial ponderea neuronilor este aleatoare. În timpul învăţării,

similitudinea fiecărui vector de intrare este calculată la ponderile tuturor neuronilor de pe hartă, ceea ce

46 Fulcher John (2008): Computational Intelligence: A Compendium; Berlin Heidelberg: Springer-Verlag, p. 528 47 Fulcher John (2008): Computational Intelligence: A Compendium; Berlin Heidelberg: Springer-Verlag, p. 529 48 Fulcher John (2008): Computational Intelligence: A Compendium; Berlin Heidelberg: Springer-Verlag, p. 529 49Kohonen Teuvo (1990): The Self-Organizing Map; Proceedings of the IEEE 78, Nr. 9, p. 1464-1480 50Ritter Helge, Martinez Thomas, Schulten Klaus (1991): Neuronale Netze. Eine Einführung in die Neuroinformatik selbstorganisierender Netzwerke; Addison

Wesley


artificiale

17

înseamnă că toţi vectorii de greutate sunt comparaţi cu vectorul de intrare .Prin urmare, algoritmul de

învăţare al SOM-urilor aparţine grupului de algoritmi de învăţare nesupravegheaţi.Neuronul cu cea mai

mare similitudine, având cea mai mică distanţă de la la , este selectat ca neuronul câştigător 51

(1-28)

Nu doar greutatea neuronilor este adaptată dar şi greutatea neuronilor vecini trebuie luată în consideraţie de

funcţia „vecin” şi de rata de învăţare . Funcţia „vecin” ar trebuii să aibă următoarele caracteristici 52

:

îşi are centrul in poziţial lui şi valoarea maxima acolo;

neuronii vecini sunt consideraţi în funcţie de o rază. În cadrul acestei raze, pentru distanţe mai mici

decât R, φ_n determină la rezultate mai mari decât zero, iar pentru distanţe mai mari decât R, ia

valoarea lui zero. Din nou, funcţia lui Gauss îndeplineşte toate cerinţele şi este o alegere

bună.Adaptarea greutăţilor se desfăşoară după cum urmează:

(1-29)

În timpul învăţării, nu doar greutăţile neuronului câştigător ci şi ale neuronilor săi vecini trebuie să fie

adaptate, şi de asemenea, rata de învăţare şi raza de vecinătate trebuie să fie redusă în fiecare iteraţie,

realizat prin :53

(1-30)

unde reprezintă valoarea de pornire şi valoarea de sfârşit, ci de asemenea, fiind valoarea functiei

.

1.3 Algoritmi de învăţare

1.3.1 Propagarea înapoi

Schimbarea de greutate între neuronii i şi j, la momentul în timp t +1 se realizează prin însumarea

produselor

rata de învăţare μ, înmulţită cu eroare (delta) a neuronului şi intrarea x a neuronului şi

impulsul α înmulţit cu schimbarea de greutate a ultimei iteraţii :

(1-31)

După cum toate calculele au fost deduse şi explicate, algoritmul de propagare înapoi este următorul:

Start

1. Selecţia iniţială la întâmplare a ponderilor perceptronilor .

2. Repetă

a) Pentru neuronul de intrare, vectorul de învăţare , cât timp

este prezentat.

b) Valoarea de ieşire Y a perceptronului se calculează, în conformitate cu ecuaţia explicată

inainte

c) Valoarea de ieşire y (t) este apoi comparată cu valoarea de ieşire dorită d = d (x (t)) care

apare în secvenţă de învăţare.

d) Ponderile sunt apoi modificate în funcţie de dependenţe:

i.

ii. e.g. ponderile rămân

neschimbate

3. Până când criteriile sunt atinse

Sfârşit

51Kramer Oliver (2009): Computational Intelligence: Eine Einführung; Berlin Heidelberg: Springer-Verlag, p. 141 52Kramer Oliver (2009): Computational Intelligence: Eine Einführung; Berlin Heidelberg: Springer-Verlag, p. 141 ff. 53Kramer Oliver (2009): Computational Intelligence: Eine Einführung; Berlin Heidelberg: Springer-Verlag, p. 143


artificiale

18

Algoritm1–Algoritm pentru propagarea înapoi

Cu toate acestea, deşi propagarea înapoi s-a dovedit să ajungă la soluţii dorite şi corecte în majoritatea

timpului, uneori, o problemă este faptul că doar gradientul, sau cu alte cuvinte, mediul local, în plan este

cunoscut, ceea ce ar putea duce la următoarele probleme:

Problema minimului local

Cum doar mediul local este cunoscut, nu este destul de sigur dacă algoritmul a găsit minimul global

sau doar unul local. Această problemă apare în special, atunci când superplanul termenului de

eroare este plin cu vârfuri şi coborâşuri. Acesta este cazul în care dimensiunea reţelelor este de

ordin superior, sau cu alte cuvinte, este un numar mare de conexiuni între neuroni.

Problema platoului plat

Atunci când un superplan întreg, sau, cel puţin parţial, nu are aproape deloc vârfuri şi coborâşuri, de

asemenea, numărul de minime locale este scăzut. Cum gradientul coboară la punctul în timp (t +1)

depinde, în funcţie de impulsul α mai mult sau mai puţin de gradientul punctului în timp (t),

gradientul de la (t +1) ar putea deveni foarte mic, atunci când gradientul de la (t) a fost prea mic.

Din aceasta cauza, următoarea minimă ar putea sa nu fie atinsă şi coborârea stagnează.

Părăsirea problemei minimului global

Minimul global poate fi sărit când expansiunea superplanului jos este foarte mică. Acest lucru

conduce la problema minimului local.

Oscilaţia

Oscilaţia poate avea loc direct sau indirect. Oscilaţia directă înseamnă că gradientul nu scade, dar se

îndreaptă de la coborârea curentă la o coborâre vecină a altui vârf. Acest lucru forţează gradientul să

sară înapoi la punctul de origine (la aceeaşi valoare dar cu semn diferit), ceea ce se numeşte

oscilaţie directă. Oscilaţia indirectă urmăreşte acelaşi principiu, cu excepţia că nu doar un pas ci mai

mulţi sunt necesari pentru a se întoarce la punctul de origine .

1.3.2 Regula de actualizare Manhattan

Diferenţa regulii de actualizare Manhattan şi a propagării înapoi este aceea că la punctul în timp

coborârea nu este schimbată în dependenţă cu aceeaşi valoare a gradientului, ci doar după semnul

lui.Este astfel considerat dacă gradientul este pozitiv,este negativ, saueste aproape zero.

Astfel, în regula de actualizare Manhattan, valoarea magnitudinii gradientului este utilizată pentru a

determina cum se actualizează valoarea matricii ponderilor sau a pragului54

:

dacă magnitudinea este aproape de zero, atunci valoarea ponderii sau a pragului rămân

neschimbate;

dacă magnitudinea este pozitivă, atunci valoarea ponderii sau a pragului creşte;

dacă magnitudinea este negativă, atunci valoarea ponderii sau a pragului scade.

Regula de actualizare Manhattan nu are nevoie să treacă peste rata de învăţare sau de impuls, ci îi trebuie

doar constanta pentru a defini creşterea sau scăderea ponderilor, care trebuie să fie furnizate ca parametru

Δ:

(1-32)

Ecuaţia (1-33) arată că schimbarea ponderii la momentul de timp (t+1) se efectuează în dependenţă de

semnul gradientului de la (t +1), precum şi de constantă Δ. Schimbările se propagă înapoi prin reţea, după

cum se arată în Algoritmul 2:

54Heaton Jeff (2010): Introduction to Encog 2.5 for Java, Rev. 3; Chesterfield: Heaton Research, Inc., p. 89


artificiale

19

Start

1. Selecţia iniţială la întâmplare a ponderilor perceptronilor .

2. Repetă

a) Calculează ieşirea reţelei pentru valoarea

b) Calculează eroarea pentru fiecare neuron de ieşire

c) Calculează eroarea pentru fiecare neuron ascuns.

d) Adaptează ponderile conform

3. Până când criteriul este îndeplinit

Sfârşit

Algoritm2–Regula de actualizare Manhattan

Prin aplicarea regulii de actualizare Manhattan, ca algoritm de formare în cadrul unei ANN, problema

platoului plat este evitată, deoarece din cauza constanţei sale, schimbarea gradientului sau a ponderii nu

poate deveni atât de mică încât următoarea valoare minimă să nu fie atinsă.

1.3.3 Propagare rezistentă

Diferenţa dintre propagare rezistentăşi propagarea înapoi este faptul căla momentul dat în timp (t +1)

coborârea nu se schimbă în dependenţă cu aceeaşi valoare a gradientului, ci, de asemenea, numai de la

semnul său, aşa cum se întâmplă atunci când se aplică regula de actualizare Manhattan . Prin urmare, se

consideră, de asemenea, în cazul în care gradientuleste pozitiv,este negativsaueste aproape zero.

Astfel, în propagarea rezistentă, valoarea magnitudini gradientului este utilizată pentru a determina cum să

actualizează matricea ponderilor sau valoarea de prag, asemănător cu regula de actualizare Manhattan55

:

Dacă magnitudinea este aproape de zero, atunci valoarea ponderii sau a pragului rămân

neschimbate.

Dacă magnitudinea este pozitivă, atunci valoarea ponderii sau a pragului creşte.

Dacă magnitudinea este negativă, atunci valoarea ponderii sau a pragului scade.

Cu toate acestea, diferenţa faţă de regula de actualizare Manhattan, este că propagarea rezistentănu necesită

stabilirea unor constante Δ utilizate pentru adaptarea ponderilor. Decât să folosim o constantă fixă pentru a

actualiza ponderile şi valorile de prag, delta nu rămâne fixă, cum se întâmpla la regula de actualizare

Manhattan sau la algoritmul de propagare înapoi, ci se schimba pe măsură ce formarea progresează56

.

Calculul de adaptare a ponderilor se calculează în mod similar cu regula de actualizare Manhattan, cu

excepţia că Δ nu are o valoare statică ci este calculată:57

(1-33)

Determinarea valorilor de actualizare noi depinde de semn:

55Heaton Jeff (2010): Introduction to Encog 2.5 for Java, Rev. 3; Chesterfield: Heaton Research, Inc., p. 89 56Heaton Jeff (2010): Introduction to Encog 2.5 for Java, Rev. 3; Chesterfield: Heaton Research, Inc., p. 89 57Mache Niels: RPROP [2011-31-08]; Hong Kong Polytechnic University; URL:

http://www.eie.polyu.edu.hk/~enzheru/snns/SNNSinfo/UserManual/node152.html#man


artificiale

20

(1-34)

unde .

Când derivata parţială a ponderii corespunzătoare efectuează o schimbare de semn, valoarea

de actualizare este este scăzută, în cazul unei creşteri cu factorul şi, în caz de o scădere cu

. O schimbare de semn indică faptul că valoarea ultimei actualizări a fost prea mare şi a fost sărit

peste un minim local. Cu toate acestea, atunci când ponderea nu se modifică, valoarea de actualizare este

crescută pentru a permite o convergenţă accelerată în regiunile de mică adâncime58

. Atunci când se

schimbă semnul, ponderea nu va fi schimbată, ceea ce se face de obicei de către .

Schimbarea de pondere se propagă înapoi în reţea, după cum este arătat în Algoritmul 3:

Start

1. Selecţia iniţială la întâmplare a ponderilor ale reţelei.

2. Repetă

a) Calcularea ieşirii reţelei pentru valoarea

b) Calcularea erorii pentru fiecare neuron de iesire

c) Calcularea erorii pentru fiecare neuron ascuns hid

d) Adaptarea ponderilor în funcţie de

cu


Sfârşit

Algoritm3–Propagare rezistentă

Prin aplicarea propagării rezistente, ca algoritm de formare în cadrul unui ANN

problema platoului plat este evitată, deoarece, din cauza constanţei sale, gradientul sau ponderea nu

pot deveni atât de mici încât următorul minim sa nu fie atins şi

oscilaţia este evitată deoarece valoarea de actualizare este scăzută atunci când se schimbă semnul.

1.3.4 Învăţare genetică (neuro-evolutie)

58Riedmiller Martin et al. (1993): A direct adaptive method for faster back-propagation learning: The Rprop algorithm; Proceedings of the IEEE International

Conference on Neural Networks, IEEE Press: 586-591


artificiale

21

Algoritmii genetici (GA) aparţin clasei de algoritmi metaheuristicişi se utilizează pentru rezolvarea

problemelor de optimizare sau pentru formarea unei reţele neuronale artificiale (care, de fapt, este o

problemă de optimizare, de asemenea). Datorită caracteristicii lor de a efectua căutarea cu o populaţie de

soluţii, aceşti algoritmi au un paralelism intrinsec unde mai multe posibilităţi diferite sunt explorate

simultan59

. Algoritmi genetici (GA) sunt adaptivi, robuşti şi utili mai ales pentru aplicaţii care necesită

căutare şi optimizare. Ei sunt algoritmi bazaţi pe populaţie pentru care orice comunicare şi interacţiune sunt

efectuate în cadrul populaţiei şi, prin urmare, posedă un grad ridicat de paralelism implicit. 60

Atunci când

vorbim despre probleme de optimizare, în special problemele NP-hard, cu alte cuvinte, probleme care nu

pot fi rezolvate în timp polinomial chiar şi de cele mai rapide supercalculatoare, pot fi rezolvate relativ

rapid cu GA. Mai presus de toate, nu există nici o explicaţie unitară a ceea ce sunt defapt algoritmii

genetici. Cu toate acestea, există , în domeniu elemente general acceptate şi toate descriu algoritmi

generici(GA)61

:

o populaţie de cromozomi care codifică (în formă string) soluţiile candidate la problema de

rezolvat,

un mecanism de reproducere,

selecţie în funcţie de potrivire şi

operatori genetici.

În reţelele neuronale artificiale care fac uz de algoritmi genetici (= reţele neuronale artificiale evolutive -

EANN), evoluţia poate fi introdusă la diferite niveluri, pornind de la evoluţia greutăţii, mergând la

adaptarea arhitecturii şi în cele din urmă conducând la evoluţia mecanismului de învăţare.62,63

Ca şi în

natură, algoritmii genetici utilizează selecţia naturală, care este importantă atunci când se încearcă

rezolvarea problemelor de optimizare cât şi în formarea ANN-urilor. Într-un fel, formarea unui ANN, cu un

GA este o problemă de optimizare a căutării, aşa cum cea mai bună soluţie dintr-un bazin de soluţii se

încearcă să fie găsită. Algoritmii genetici reprezintă o posibilă soluţie la o problemă cum o reprezintă

cromozomii, şi suma de cromozomi ca populaţie. Unii cromozomi ar putea reprezenta soluţii destul de

bune, însă unii nu. Dacă o soluţie este bună sau rea o să fie determinat de o aşa-numită funcţie de potrivire.

Funcţia de potrivire constituie măsura de aptitudini (adaptare) a unui individ din populaţie, care permite să

evalueze gradul de potrivite a anumitor indivizi într-o populaţie, şi bazându-se pe acest grad selectează

indivizi care sunt cei mai potriviţi (care sunt, cu grad mai mare de potrivire), în conformitate cu principiul

evolutiv al supravieţuirii celor "mai puternici" (cel mai potrivit).64

Aceşti cromozomi primesc apoi

"privilegiul" de recombinare. În contextul unui ANN, funcţia de potrivire este funcţia de eroare, în teoria

jocului poate fi funcţia de cost şi în probleme de optimizare este funcţia obiectiv, încercând să determine un

minim sau un maxim. Un cromozom este format din gene, care sunt părţi ale soluţiei de ansamblu. În cazul

unei formării ANN, genele sunt ponderile reţelei, un cromozom este un sistem ANN complet şi populaţia

este valoarea totală a tuturor ANN-urilor reprezentând o posibilă soluţie la o problemă. O iteraţie, sau

generaţie, pentru a găsi un sistem ANN feed-forward corespunzător pentru rezolvarea unei probleme este

descris în algoritmul 4:

Start

1. Creearea populaţiei inţiale.

2. Randomizarea ponderilor şi valorilor limită ale fiecărui cromozom.

3. Repetă

a) Calcularea ieşirii reţelei pentru valoarea

b) Evaluate the fitness of each chromosome:

i. Calcularea erorii pentru fiecare neuron de iesire

59Abraham Ajith, Hassanien Aboul-Ella, Siarry Patrick, Engelbrecht Andries (2009): Foundations of Computational Intelligence Volume 3 Global Optimization;

Berlin Heidelberg: Springer-Verlag, p. 426 60 Jain Lakhmi C. (2008): Computational Intelligence Paradigms: Innovative Applications; Berlin Heidelberg: Springer-Verlag, p. 4 61 Fulcher John (2008): Computational Intelligence: A Compendium; Berlin Heidelberg: Springer-Verlag, p. 883 62Abraham Ajith, Crina Grosan, Pedrycz Witold (2008): Engineering Evolutionary Intelligent Systems; Berlin Heidelberg: Springer-Verlag, p. 5 63 Yao X. (1999): Evolving neural networks; Proceedings of the IEEE 87(9), 1423–1447 64 Rutkowski Leszek (2008): Computational Intelligence Methods and Techniques; Berlin Heidelberg: Springer-Verlag, p. 268


artificiale

22

ii. Calcularea erorii pentru fiecare neuron ascuns hid

c) Selecţia cromozomilor pentru recombinare

d) Repetă

i. Încrucişarea cromozomilor

ii. Mutaţia descendenţilor

e) Pâna când toţi cromozonii selectaţi sunt recombinaţi


5. Creeare unei populaţii noi

Sfârşit

Algoritm4 - Algoritm genetic

1.3.5 Simularea amorselor hibridizate

Acest algoritm funcţionează cu doua soluţii, prima fiind cea mai bună până la punctul în timp ,

reprezentată de C (S '), şi a doua fiind cea curent creată şi comparată cu prima reprezentată de C(S):

(1-35)

Dacă cea de a doua funcţionează mai bine decât prima, astfel încât rezultatul ecuaţiei de mai sus este

pozitiv, este folosit pentru înlocuirea acestuia din urmă ca şi cel mai bun. În unele cazuri hibridarea

amorselor simulate se foloseşte de asemenea de o probabilitate pentru a determina când să înlocuiască o

soluţie cu una mai bună. Prin urmare, în unele implementări o soluţie nouă mai bună nu întotdeauna va

înlocui pe cea actuală.

(1-36)

unde T reprezintă temperatura curentă însemnând valoarea care influenţează schimbarea de greutăţi în

matricea de greutate al unui ANN:

(1-37)

Raportul pentru scimbarea de greutăţi în cadrul unui ANN este calculat prin înmulţirea

temperaturii T cu un număr aleator r. Cu cât este mai mare temperatura, cu atât este mai mare

probabilitatea de o mai mare schimbare de greutate. Modificările cu o anumită temperatură sunt efectuate

atâta timp cât un număr predefinit de iteraţii (cicluri) nu a fost atins. După ce a îndeplinit ultima iteraţie de

temperatură, algoritmul verifică dacă cea mai mică temperatură predefinită a fost atinsă. Dacă nu,

temperatura va fi coborâtă fie printr-o constantă sau prin decrementare logaritmică cu un raport între

începutul şi sfârşitul temperaturii, cum se observă în ecuaţia următoare: 65

(1-38)

Variabila s reprezintă temperatura de pornire, în acest caz este temperatura finală,c reprezintă numărul de

cicluri. Ecuaţia de mai sus calculează un raport care trebuie înmulţit cu temperatura curentă T, care produce

o schimbare, care va cauza temperatura să ajungă la temperatura finală în numărul specificat de cicluri. O

iteraţie, sau generaţie, de găsire a greutăţilor adecvate pentru un feed-forward ANN arată aşa cum este

descrisă în Algoritmul 5:

Început

1. Ponderi aleatoare.

2. Repetare

a) Calculează ieşirea pentru reţea pentru valoarea

b) Evaluează cât de în formă e fiecare neuron:

i. Calculează eroarea pentru fiecare neuron de ieşire

ii. Calculează eroarea pentru fiecare neuron ascuns

65Heaton Jeff (2008): Introduction to Neural Networks for Java, 2nd ed.; Chesterfield: Heaton Research, Inc., p. 205


artificiale

23

c) Repetă

i. Creează un nou ANN şi o nouă greutate aleatoare în concordanţă cu T

ii. Calculează eroarea pentru fiecare neuron de ieşire

iii. Calculează eroarea pentru fiecare neuron ascuns

iv. Campară soluţiile în concordanţă cu

v. Dacă C(S‟) este mai bun decât C(S), este înlocuit cu C(S)

d) Până când numărul de încercări maxim pentru temperatura curentă este atins e) Temperatura redusă de

3. Până când limita minimă este atinsă

Sfârşit

Algoritmul 5 - Hibridarea amorselor simulate

2 Data mining: starea actuală de cercetare

2.1 Datele procesului

Procesul (Figura 10 - Datele procesului) din datele brute de cunoaştere constă din patru faze majore, cu trei

până la şapte subarii fiecare. Datele trebuie să fie pregătite, pre-procesate, analizate şi întărite, prilejuite de

analiza de dată pre-procesată - data reală de explorare. Axarea sistemelor DM este în principal analiza, dar

şi pre-prepararea, care de obicei este combinată cu un dispozitiv extrage-transformă-încarcă (ETL), şi o

prezentare ce poate fi citită de om cu rezultatele de interpretare a calităţii procesului. Întăritura specială este

importantă mai ales atunci când lucrezi cu sisteme computaţionale inteligente, acestea de obicei au

capacitatea de a învăţa. Atunci când unui sistem îi este permis să înveţe (numită de asemenea antrenarea

computaţională în neuroştiinţă) fără supraveghere, în sensul că îi este permis să găsească soluţii pe cont

propriu fără a fi restricţionat de către utilizator, rezultatele s-ar putea să nu fie cum este de aşteptat şi

învăţarea trebuie să fie continuată sau chiar să fie pornită din nou.

2.2 Înţelegerea Business

Înţelegerea de bussines a unei probleme este începutul unei date a procesului. În această fază, problema

este definită conform considerărilor obiectivelor de afaceri. Obiectivele afacerii nu sunt formulate din

punct de vedere tehnic, astfel încât traducerea DM-ului din punct de vedere tehnic a obiectivelor trebuie să

fie efectuată în etapa următoare. În această fază, tehnicienii şi oamenii de afaceri trebuie să lucreze

împreună pentru a determina exact obiectivele. Acest pas este unul dintre cele mai cele esenţiale în

procesul DM, ca toţi paşii următori care depind de înţelegerea problemei.

2.3 Înţelegerea datelor

După faza de înţelegere a afacerilor, datele înţelese devin esenţiale pentru îndeplinirea cu succes a datelor

de sarcină. Datele disponibile trebuie analizate în funcţie de corectitudinea lor, caracterul complet şi

importanţa pentru problemă. Numai atunci când datele prezentate la un sistem DM sunt înţelese complet,

pregătirea datelor poate fi pornită fără riscul de falsificare a datelor şi în consecinţă a rezultatului DM.

2.4 Pregătirea


artificiale

24

Pregătirea de date include toate etapele necesare pentru a putea oferi un sistem de date referitoare la o

problemă cu rezultate incerte.

Figura 10-Datele procesului66

2.4.1 Definirea problemei

Înainte de pornirea exploatării datelor unui proces, (afacerea) problema trebuie să fi fost înţeleasă pentru

ca, ceea ce trebuie realizat să fie clar, la fel dacă lucrăm cu un soft ce are un sistem de foarte mare susţinere

sau împreună cu datele experţilor. Pentru înţelegerea problemei, de obicei experţii de exploatare, experţii în

afaceri, şi experţii în domeniu cooperează pentru a defini obiectivele proiectului şi cerinţele din perspectiva

unei afaceri. 67

2.4.2 Colectarea de date

Experţii în domeniu înţeleg sensul metadatelor.68

Este importantă cunoaşterea datelor de căutare, că doar

aceasta este esenţa pentru a fi în măsură să definească rezultatele dorite de proces. Informaţiile sau datele

redundante poate nu se află în contextul declaraţiei problemei, depinzând de cantitatea de astfel de

informaţii, şi să conducă fie la un rezultat fals sau complet diferit de cel dorit. Un astfel de rezultat poate

provoca decizii greşite cu un impact în afaceri.

2.4.3 Definiţia caracteristicilor

Caracteristicile datelor ce trebuiesc procesate trebuie să fie definite la începutul procesului DM. Cu cât este

mai compactă sumarizarea caracteristicilor, cu atât mai eficienteşi precise vor fi rezultatele. Definirea

caracteristicilor este prin urmare inevitabil legată de colectarea de date.

2.4.4 Selectarea datelor

Acest pas implică colectarea la valoarea globală a datelor care trebuie să fie prelucrate cu ajutorul unui

sistem software. În special când se lucrează cu sisteme supravegheate aplicate, abordările care evoluează ca

şi reţelele neurale, este necesar să se facă diferenţa între seturile de date de formare şi seturile de date de

căutare. Seturile de date de formare profesională sunt seturi de date complete, cu alte cuvinte, date

complete şi corecte de ieşire şi intrare, prezentate întrun sistem de calcul inteligent în scopuri educaţionale.

În funcţie de ieşirea cunoscută la o intrare în sistem, acesta este capabil să înveţe cum să prelucreze datele

cu ieşire nesigură.

66Runkler Thomas A. (2010): Data Mining - Methoden und Algorithmen intelligenter Datenanalyse; Wiesbaden: Vieweg+Teubner | GWV Fachverlage GmbH,

p. 2 67 IBM: The data mining process [2011-10-08]; IBM; URL:

http://publib.boulder.ibm.com/infocenter/db2luw/v9/index.jsp?topic=/com.ibm.im.easy.doc/c_dm_process.html 68 IBM: The data mining process [2011-10-08]; IBM; URL:

http://publib.boulder.ibm.com/infocenter/db2luw/v9/index.jsp?topic=/com.ibm.im.easy.doc/c_dm_process.html

Business understanding

• Problem understanding

• Result usage

Data understanding

• Data quality

• Appropriateness

• Data distribution

Preparation

• Problem definition

• Data collection

• Definition of charactaristics

• Data selection

Pre-processing

• Filtering

• Cleansing & Correction

• Transformation

• Normalization

• Imputation

Analysis

• Classification

• Clustering

• Prediction

• Correlation

• Regression

• Visualization

Reinforcement

• Interpretation

• Documentation

• Evaluation


artificiale

25

2.5 Datele de pre-procesare

Rezultatele unui proces de date de căutare trebuie să fie uşor de citit de către om şi interpretabile. La fel

datele trebuie să fie pregătite în aşa fel încât să permită ca un sistem de căutare de date să interpreteze şi să

proceseze pentru a obţine un rezultat semnificativ. Astfel, datele de pre-procesare sunt toţi paşii necesari

pentru a transforma, a completa,a corecta sau a filtra valoarea totală a datelor, astfel încât sistemul DM să

fie capabil să-l proceseze. Primele patru operaţiuni, şi anume curăţarea, corectarea, transformarea şi

filtrarea sunt de obicei sarcinile ETL, după care normalizarea şi introducerea de valori se află în sfera de

aplicare a sistemului de căutare a funcţiilor de date. Ca date de pre-procesare nu este numai temeiul pentru

abordări de date comune, dar de asemenea pentru aplicarea pe date a sistemelor inteligente, conţinând cele

mai importante activităţi spre însuşi DM-ul. Pre-procesarea cuprinde nu numai eroarea de verificare a

limitelor, filtrarea zgomotului, tratarea cu datele lipsă, normalizarea, re-formatarea, transformarea şi aşa

mai departe, dar şi de reducerea datelor disponibile la un număr "minim însă suficient"69

. Deci curăţarea

datelor este esenţială înaintea celor de formare (evoluţia).

Datele pot fi

incomplete: când lipsesc valorile atributului, lipsesc anumite atribute de interes, sau care conţin

doar date agregate, de exemplu profesia=" "

zgomotoase: conţinând erori sau valori aberante, de exemplu salariu= " -10"

inconsistenţă: care conţin discrepanţe în coduri sau nume, de exemplu era cotat "1,2,3", acum este

cotat "A, B,C"70

Conform acestor exemple se concluzionează că activităţiile de corecţie şi de transformare sunt mai mult

decât recomandabile pentru a obţine informaţii relevante din starea brută a datelor (operaţionale). 71

Ca pre-

procesare în datele procesului de căutare variază de la definire manuală a regulilor afacerii prin intermediul

unui sistem de ETL până la statistici şi operaţii matematice, precum şi la sistemul de abordare de învăţare

evolutiv, acestuia nu i se poate atribui clar să ia date de la domeniul DM, dar este nesigur să fi fost declarat

predecesorului inevitabil.

2.5.1 Filtrarea

Filtrarea, împreună cu curăţarea datelor şi corectarea, aparţine de asemenea procesului ETL. Pentru a fi

capabil să furnizeze seturile de date fără erori, în filtrare trebuie să se decidă care seturi de date sunt de

relevanţă pentru problema declarată în căutare - calitatea datelor trebuie să fie estimată şi data însăşi se

reduce cât mai mult posibil. Aceasta este în special relevată cu reţeaua neurală artificială pentru

formare(sau Algoritmul Genetic de evoluţie [Eroare! Fără sursă de referință. Învăţarea genetică]), în

timpuri computaţionale de obicei creşte ca o funcţie a setului de date de dimensiunea n. 72

O primă abordare

de filtrare este de a încerca să se măsoare în avans câmpurile de date operative. Înainte de curăţare şi

corecţie este prin urmare necesar să se verifice, dacă

câmpul de date este obligatoriu.

Dacă un câmp este obligatoriu, este foarte probabil ca acesta să plin sau nu a fost umplut în mod

neintenţionat. Sistemele Software care înregistrează date pot ajuta prin validări la evitarea erorilor

în baza de date.

controale ale plauzibilităţii au fost implementate ca înregistrarea datelor să se facă în mod manual

sau automat. Dacă aceasta a fost pusă în aplicare, sintaxa seturilor de date corectă poate fi asigurată

şi procesul ETL poate fi simplificat.

câmpul de date a fost utilizat în concordanţă cu scopul său iniţial.

Nu este neobişnuit ca domeniile operative în bazele de date să fie modificate şi pentru ca scopul lor

iniţial să fie schimbat, ele conţin, în funcţie de scopul anterior, valori incorecte. În astfel de cazuri

numai rutinele de schimbare, direcţionate de marcajul temporal de modificare, oferă o coerenţă

semantică peste axa timpului.

există planuri pentru a modifica valorile în mediul ţintă înainte de datele de căutare ale procesului.

69 Fulcher John (2008): Computational Intelligence: A Compendium; Berlin Heidelberg: Springer-Verlag, p. 21 70 Han Jiawei et. al. (2006): Data Preprocessing [2011-11-08]; University of Illinois; URL: http://www.cs.uiuc.edu/homes/hanj/bk2/02.ppt 71 Chamoni Peter, Gluchowski Peter (2006): Analytische Informationssysteme: Business Intelligence- Technologien und –Anwendungen, 3rd. ed.; Berlin:

Springer Berlin Heidelberg New York, p. 115 72 Fulcher John (2008): Computational Intelligence: A Compendium; Berlin Heidelberg: Springer-Verlag, p. 21


artificiale

26

Dacă acesta este un caz, ar trebui să fie considerat cât mai curând posibil, în timpul procesului ETL.

Instrumente ETL furnizează funcţii simple pentru substituirea de valori sau manipularea tipului de

date. 73

2.5.2 Curăţare şi corectare

Când se consideră că un sistem trebuie să înveţe de la seturile de date oferite care conţin mai multe atribute

şi îi sunt oferite valorile de ieşire şi cum să proceseze aceste date, reiese că ambele nu trebuie să fie

accidentale, că în cele mai bune cazuri sistemul de învăţare este abandonat cu o eroare sau mesaj de

avertizare dar în cel mai rău caz învaţă oarecum complet greşit. Ce este eratic trebuie definit în cadrul

procesului de ETL. Nu este vorba de relevanţă, dacă seturile corecte de date pot fi izolate de cele incorecte

variind cu una sau mai multe din atributele lor sau prin corelaţii ale atributului complex, un sistem de

calculator să fie ghidat de regulile de afaceri sau să fie învăţat cum să distingă. Procesul de curăţare a

datelor de proces constă din următoarele etape: 74

2.5.2.1 Analiza datelor

Datele trebuie să fie analizate pentru detectarea erorilor şi a neconcordanţelor, care apoi trebuie să fie

eliminate. În mod curent, acest lucru este un proces manual, acceptat de software pentru a analiza ce

câştigă metadatele (proprietăţi) pentru a putea fi capabil de a detecta anomalii.

2.5.2.2 Fluxul conform specificaţiei

În funcţie de multiplicitatea de anomalii în datele sursă, un număr de transformări a datelor şi un număr de

etape de curăţare trebuie să fie executat. În domeniul depozitarii de date, fluxul pentru realizarea acestui

lucru este descris asemeni ETL-ului. După ascultarea datelor, în cadrul procesului de ETL trebuie efectuaţi

toţi paşii pentru realizarea unor date de calitate ridicată. Cel mai important lucru într-un proces ETL este de

a considera modul în care erorile şi anomaliile au fost cauzate.

2.5.2.3 Verificare

Rezultatele procesului de transformare trebuie să fie verificate împotriva corectitudinii şi a eficienţii. Sunt

necesare mai multe verificări pentru că unele erori ar putea deveni aparente după aplicarea unor

transformări.

2.5.2.4 Executare flux de lucru

Fluxul de lucru ETL este executat după verificarea corectitudinii datelor şi a eficienţei. Instrumentele ETL

oferă posibilitatea pentru crearea de joburi ETL, care pot fi programate în intervale.

2.5.2.5 Post-procesare şi control

După executarea fluxului de curăţare, rezultatele trebuie să fie inspectate pentru verificarea corectitudinii.

Date care nu pot fi corectate în timpul executării fluxului de lucru manual sunt corectate dacă este posibil.

Rezultatul este un ciclu nou în datele procesului de curăţare în care datele sunt audiate din nou pentru a

permite specificarea unui flux de lucru suplimentar pentru a curăţa mai departe datele prin prelucrare

automată

Datele de curăţare şi de corecţie includ toate acţiunile pentru a urmări următoarele obiective: 75

Precizie:

O valoare cumulată pe criterii de integritate, coerenţă şi densitate.

Integritate:

Valoarea cumulată pe criteriile de completitudine şi valabilitate.

Completitudine:

Realizată prin corectarea datelor care conţin anomalii

Valabilitate:

Aproximată prin cantitatea de date care satisfac constrângerile de integritate.

Consistenţa:

Se referă la contradicţii şi anomalii de sintaxă

Uniformitate:

Direct legate de nereguli şi de respectarea setului "Unitate de măsură".

73 Fulcher John (2008): Computational Intelligence: A Compendium; Berlin Heidelberg: Springer-Verlag, p. 118 74Rahm Erhard, Hai Do Hong (2009): Data Cleansing: Problems and Current Approaches, Leipzig: University of Leipzig, p. 5 75Onboard CRM: Data Cleansing [2011-24-09]; OnboardCRM; URL: http://www.onboardcrm.com/services/data-cleansing.html


artificiale

27

Densitate:

Câtul dintre valorile lipsă din date şi numărul total de valori ce ar trebui să fie cunoscute.

Unicitate:

Fac referire la numărul de duplicate din date.

Pentru curăţare şi corectare se pot defini trei clase de nereguli constatate (Figura 11 - clasele de

deficienţă): 76

Deficienţa de clasă 1:

Automată, şi este parte de sistem de detectare a deficienţelor urmată, de partea automată de sistem

în timpul extragerii.


Automată, şi este parte de sistem de detectare a deficienţelor urmată de corecţia manuală după

extragere.


Manuală, şi este parte de sistem de detectare a deficientelor urmată de corecţia manuală după

extragere.

O metodă foarte precisă pentru detectarea valorilor lipsă este formarea de reţele neuronale artificiale cu

seturi de date complete astfel încât se pot introduce valorile lipsă în cele incomplete.

2.6 Analiza (data mining)

Cum s-a amintit mai înainte, căutarea de date are ca scop extragerea de cunoştinţe din date.77

În contextul

DM, cunoştinţele sunt modele interesante şi printre acestea, modele care sunt în general acceptate, nu

banale, noi, utile şi interpretabile. 78

După introducerea datelor de căutare, numeroase definiţii au apărut. Cele mai precise şi în câmpul celor

acceptate sunt:

Figura 11- Deficitul de clase

79

DM este analiza observaţiei de seturi de date pentru a găsi relaţii nebănuite între acestea şi să se

prezinte rezumativ modul în care ambele sunt inteligibile şi utile pentru proprietarul de date, 80

dar

şi

76 Fulcher John (2008): Computational Intelligence: A Compendium; Berlin Heidelberg: Springer-Verlag, p. 120 77 Berthold Ed (1999): Intelligent Data Analysis: An Introduction; New York: Springer-Verlag, cited from: Runkler Thomas A. (2010): Data Mining - Methoden

und Algorithmen intelligenter Datenanalyse; Wiesbaden: Vieweg+Teubner | GWV Fachverlage GmbH, p. 2 78 Fayyad et al. (1996) Advances in Knowledge Discovery and Data Mining, cited from: R Runkler Thomas A. (2010): Data Mining - Methoden und

Algorithmen intelligenter Datenanalyse; Wiesbaden: Vieweg+Teubner | GWV Fachverlage GmbH, p. 2 79 Kemper Hans-Georg (1999): Architektur und Gestaltung von Management-Unterstützungs-Systemen, cited from: Chamoni Peter, Gluchowski Peter (2006):

Analytische Informationssysteme: Business Intelligence- Technologien und –Anwendungen, 3rd. ed.; Berlin: Springer-Verlag, p. 120 80 Hand David J., Mannila Heikki, Smyth Padhraic (2001): Principles of Data Mining; Cambridge: MIT Press

Cleansing / corrections

Syntactic errors

Semantic errors

Class 1

Known format adaptions

Missing values

Class 2

Recognizable format

incompatibilities

Outliners / dissonant value constellations

Class 3

-

Undetected errors in data

sources


artificiale

28

procesul de descoperire a cunoştinţelor din cantităţi mari de date nestructurate stocate în baze de

date, date de depozitare (un DWH formează baza faptelor pe care deciziile de situaţii sunt

prezentate şi evaluate81

), sau alte informaţii din arhive, 82

şi

extragerea netrivialului implicit, necunoscut anterior, interesant şi cu un potenţial util din informaţii

şi din date. 83

În funcţie de aceste definiţii, DM este de obicei aplicat pe cantităţi uriaşe de date care conţin cunoştinţe ce

nu au fost încă descoperite. În cazul unei companii de asigurare, având salvate o mulţime de date personale

despre clienţii lor, variind de la venituri şi starea civilă, se încearcă să se afle care dintre atributele salvate

ar putea influenţa un client pentru a se comuta la o altă societate de asigurări acesta fiind un exemplu

ilustrativ din latura afacerilor. O instituţie meteorologică încearcă să prezică vremea pe date, stocate pe o

perioadă de mai mulţi ani, este un exemplu din lumea ştiinţei. Există numeroase cazuri în care DM găseşte

aplicaţia, dar obiectivul este întotdeauna acelaşi: să câştige interesul, să fie cât mai precis, cunoştinţele sa

fie interpretabile într-un mod inteligent şi eficient. Aceste cuvinte încheie perfect noţiunea unui sistem

DM, de ceea ce este capabil şi ce abilităţi trebuie să aibă.

2.6.1 Cunoştinţe interesante

Cunoaşterea, rezultată în urma unui proces DM, efectuată de interacţiunea dintre om şi un sistem DM,

trebuie să fie interesantă. Interesant în acest context, înseamnă că sisteme software speciale ce aplică

paradigma inteligenţei computaţionale foarte des sunt capabile să detecteze modele în datele nestructurate,

dar nu totul ar putea fi de interes. Un sistem DM bazându-se pe CI, prin urmare, trebuie să fie capabil să

interpreteze corect (să invite) şi să proceseze ceea ce utilizatorul vrea să ştie, exact cum un copil trebuie să

înveţe ce anume să facă în situaţii speciale pentru a fi capabil să aplice un comportament identic sau similar

în situaţiile viitoare similare.

2.6.2 Cunoaşterea precisă

Rezultatele unui sistem de date de căutare trebuie să fie precise. Nu este în interesul celor ce primesc

cunoştinţele că informaţia este interesantă, dar greşită. Pentru o companie ar fi interesant ca sistemul să

anticipeze cu o probabilitate de 98% pentru o pierdere de 5.000.000 € în următoarele şase luni deoarece

clienţii nu vor continua să cumpere produsele x si y. Dacă, în funcţie de această cunoştinţă nou dobândită,

producţia acestor produse ar fi oprită deşi clienţii încă le solicită, în consecinţă ar cumpăra produse de la

concurenţi, deci o predicţie greşită ar duce la un dezastru financiar.

2.6.3 Cunoaşterea interpretabilă

Cunoştinţele trebuie să fie interpretabile pentru oameni. Nu numai abordările evolutive în căutările de date

necesită ca sistemul sau utilizatorul să transforme informaţiile textuale în informaţii ce pot fi citite de

maşină, adică în cifre. În plus, de multe ori se cere normalizarea datelor ceea ce face ca informaţiile să fie

inutile pentru un om. De aceea, nu numai intrarea trebuie să fie transformată, dar de asemenea şi ieşirea

trebuie transformată înapoi într-un format ce poate fi interpretat de oameni. Interfeţele grafice ale

utilizatorului care furnizează diagrame şi grafice de foarte multe ori ajută la interpretarea informaţiilor

rezultate.

2.6.4 Prelucrarea inteligentă

Datele de căutare devin rapid foarte complexe, ele pot de asemenea să devină realitate atunci când se aplică

simple paradigme. Un exemplu este clasificarea datelor cu reţele neuronale artificiale, care nu este foarte

complex într-o situaţie când sunt 100 seturi de date, fiecare dintre ele conţinând numai trei atribute, şi

clasificarea întâmplându-se din cauza unui ANN care anticipează apartenenţa la clasificarea a sau b.

Clasificarea devine din ce în ce mai complexă atunci când un set de date conţine 1.000 atribute, şi

rezultatele trebuie să fie anticipate nu numai de una, ci de un comitet de numeroase ANN-uri de diferite

tipuri şi dimensiuni, care se folosesc de diferite funcţii de activare, în 100 de clasificatori. Dintr-o

asemenea situaţie poate deriva că procesarea inteligentă este probabilă, combinaţia corectă de tehnici

diferite, precum şi aplicarea eficientă, duc la o procesare eficientă.

81 Ruan Da, Hardeman Frank, van der Meer Klaas (2008): Intelligent Decision and Policy Making Support Systems (Studies in Computational Intelligence);

Berlin Heidelberg: Springer-Verlag, p. 66 82Han Jiawei, Kamber Micheline, Pei Jian (2000): Data Mining: Concepts and Techniques; Morgan Kaufmann Publishers 83 Frawlwy William J. et al. (1992): Knowledge Discovery in Databases - An Overview; AI Magazine: 213-228


artificiale

29

2.6.5 Procesare eficientă

Mai ales paradigmele CI în DM sunt consumatoare de timp şi necesită o mulţime de putere de procesare.

Prin urmare este o necesitate, de a dezvolta astfel de sisteme într-un mod care nu numai că le face capabile

de mai multe operaţii deodată, dar permite de asemenea să aplice un set adecvat de tehnici pentru o

problemă specifică. Rezultatul, sau reprezentarea cunoştinţelor acumulate rezultate dintr-un proces de

căutare de date, este de obicei descrisă prin modele. Un model este un rezumat global format dintr-un set

de date şi poate fi, de exemplu exprimat ca o ecuaţie care descrie un proces.84

Un exemplu ar fi

reprezentarea unei matrice într-un spaţiu-p tri-dimensional, astfel încât ecuaţia

(2-1)

unde a şi b reprezintă parametri, ce pot fi declaraţi ca un model.85

Dimpotrivă, un model descrie o structură

referitoare la o mică parte din datele generale, exemplificat de notaţia:

(2-2)

Unde şi desemnează o valoare şi un set de valori.86

Faza de modelare este adesea considerată ca cea

mai interesantă fază cu date de căutare, ca un model rezultat sau model ce descrie soluţia pentru problema

declaraţiei. Cât de multe tehnici posibile sau algoritmi pentru o problemă există, DM necesită adesea

informaţii de la utilizator ca să înţeleagă şi să ştie ce să facă în continuare. Dificultatea creşte, atunci când

nu se găseşte nicio soluţie algoritmică pentru o problemă. Foarte adesea, utilizatorul unui sistem DM s-ar

putea să nu fie interesat de soluţia algoritmică pentru o problemă, doar de rezultatul care poate fi atins prin

aplicarea acestei soluţii. Din nou aceasta, este o situaţie unde paradigmele CI în DM se aplică, este un

sistem software capabil să găsească cea mai bună soluţie pe cont propriu şi să furnizeze rezultatele dorite

prin aplicarea acestei soluţii pe problema prezentată.

2.6.6 Algoritmii şi funcţiile de căutare

Referitor la cunoştinţele interesante care ar trebui să fie câştigate, există mai multe funcţii şi algoritmi în

care un sistem DM poate aplica pentru a extrage cunoştinţe interesante de date nestructurate brute. Acest

capitol se suprapune puternic cu capitolul 1, pentru că focusul în această elaborare se află pe capacităţile

DM a paradigmelor CI. Prin urmare, datele căutare sunt clasificate în trei dimensiuni şi în omologii lor,

care sunt

supravegheate şi nesupravegheate

descriptive şi predictive

transparente şi mate87

2.6.6.1 Funcţiile supravegheate şi nesupravegheate

Funcţiile supravegheate sunt toate funcţiile de căutare care necesită date de formare înainte de a fi capabile

de a performa pe date noi. Prin urmare, supravegheate, înseamnă că unei reţele neuronale artificiale din

acea categorie nu poate fi aplicată pe date noi înainte de a fi formate cu datele existente. Următoarele

funcţii de formare şi algoritmi sunt supravegheaţi.

2.6.6.2 Clasificarea

Clasificarea descrie o formă de predicţie, în care una sau mai multe valori de intrare sunt procesate de

funcţia sau algoritmul de căutare pentru a primi una sau multe valori de ieşire. Cu alte cuvinte, clasificarea

este proiecţia unei asocieri de elemente în clase predefinite, 88

sau clasificarea viitorilor vectori într-un

număr finit de clase.89

Clasificarea (şi gruparea) sarcinilor sunt foarte frecvente în domeniul biologiei,

pentru determinarea grupurilor de date care arată un comportament similar şi pentru clasificarea unor noi

84 Sasu Lucian Mircea (2006): Computational Intelligence Techniques in Data Mining; PhD Thesis; Brasov: Transylvania University of Brasov, p. 9 85Sasu Lucian Mircea (2006): Computational Intelligence Techniques in Data Mining; PhD Thesis; Brasov: Transylvania University of Brasov, p.10 86 Sasu Lucian Mircea (2006): Computational Intelligence Techniques in Data Mining; PhD Thesis; Brasov: Transylvania University of Brasov, p.10 87Hornik Mark F., Marcade Erik, Venkayala Sunil (2007): Java Data Mining: Strategy, Standard, and Practice. A Practical Guide for Architecture, Design, and

Implementation (Morgan Kaufmann Series in Data Management Systems); San Francisco: Elsevier, Inc., p. 86 88Chamoni Peter, Gluchowski Peter (2006): Analytische Informationssysteme: Business Intelligence- Technologien und –Anwendungen, 3rd. ed.; Berlin:

Springer-Verlag, p. 265 89 Ertel Wolfgang (2008): Grundkurs Künstliche Intelligenz: Eine praxisorientierte Einführung; Wiesbaden: Friedr. Vieweg & Sohn Verlag | GWV Fachverlage

GmbH, p. 181


artificiale

30

probe. Clasificarea este mai des folosită ca o a doua etapă după descoperirea cluster-ului. 90

Foarte des,

clasificarea non-specifică a unui algoritm poate fi derivată cu uşurinţă, astfel încât sistemele software

capabile de procesarea unor numeroase intrări pentru care derivă soluţia dorită scad timpul şi complexitatea

necesară pentru a ajunge la o soluţie. Noţiunea de clasificare este de a clasifica pur şi simplu cazuri în

conformitate cu un set fix de categorii, care în sine este o valoare discretă cu sensuri bine definite. 91

Un

ANN utilizat pentru clasificare, ca un perceptor, derivă o relaţie funcţională între datele de intrare şi datele

de ieşire dorite. Astfel datele de instruire trebuie să conţină seturi de date, precum şi ieşirile dorite pentru

fiecare set de date, astfel încât ANN să poată învăţa cum să deriveze valorile ţintă din viitoarele seturi de

date. Rezultatele clasificării pe partea software sunt de o calitate specifică, determinată de comparaţia reală

dintre valorile de ieşire actuale şi valorile de ieşire dorite de unele date de formare. Prin urmare, este

comun să nu se instruiască un ANN cu toate datele de formare disponibile, dar cu o anumită cantitate

pentru că ANN-ul instruit poate fi evaluat prin culegerea de date cunoscute şi de următoarea comparare a

valorilor sale de ieşire actuale cu valorile date. Clasificarea nu este acceptată doar defeed-forward ANN,

dar şi dearbori de decizie şisprijinul maşinilor vector (1.2.3.6 Suport maşini vector).

2.6.6.3 Regresie

Regresia este folosită pentru a face preziceri pe ţinte numerice continue şi, ca şi o clasificare, o

supraveghere a funcţiei de căutare. 92

Regresia deci încearcă să explice o variabilă dependentă, continuă de

mai multe variabile independente. 93

Dacă este supervizată, se aplică aceleaşi condiţii prealabile la regresie

ca şi la clasificare. Formarea de date este necesară pentru algoritmul sau funcţia pentru a putea deriva o

relaţie funcţională între valorile de intrare şi ieşire. Cu toate acestea, în diferenţa clasificării, o anumită

formă specifică de ANN a reieşit ca este de valoare, şi anume ANN-urile recurente. Acest tip de ANN are

memorie pe termen scurt şi este foarte util atunci când va trebui să se prezică valorile numerice continue.

Rezultatele de regresie din partea software sunt de o calitate specifică şi sunt determinate de compararea

valorilor de ieşire actuale şi valorile de ieşire dorite de unele date de formare, cum se face în clasificare.

Regresia este sprijinită derecurenţa feed-forward a ANN-urilor,arbori de decizie şi de maşinile vector.

2.6.6.4 Gruparea

Algoritmii şi funcţiile capabile de grupare fac parte din forma de date de căutare nesupravegheate.

Gruparea este folosită, atunci când este nevoie de a identifica grupările naturale, pentru a găsi cazuri

reprezentative într-o cantitate mare de date pentru susţinerea datelor reduse, sau atunci când este nevoie să

se identifice datele care nu aparţin nici uneia dintre grupările găsite. 94

În cantităţi uriaşe de date, gruparea,

prin urmare, încearcă să identifice seturi de date similar de la una la cealaltă şi să fie atribuite unei grupări.

Diferite seturi de date fac parte din grupuri diferite, şi un set de grupuri este considerat a fi de o calitate

înaltă, dacă similitudinea între grupări este scăzută, dar şi similitudinea de cazuri în cadrul unei grupări este

mare.95

Grupurile sunt, în mod contrar clasificarea, ce nu cunoaşte o prioritate, dar e rezultatul procedurii

de grupare. 96

Din domeniul reţelelor neuronale artificiale, organizarea de sine cuprinde harta lui Teuvo

Kohonen (1.2.3.7 Organizarea unei harţi specifice de către sine) ce este aplicată pentru grupare. Gruparea

nu este acceptată doar de

organizarea unei harţi specifice de către sine, dar de asemenea şi de

algoritmul k-mijloace, 97

sau

gruparea de partiţionare ortogonală. 98

90 Nedjah Nadia et al. (2009): Intelligent Text Categorization and Clustering; Berlin Heidelberg: Springer-Verlag, p. 2 91 Hornik Mark F., Marcade Erik, Venkayala Sunil (2007): Java Data Mining: Strategy, Standard, and Practice. A Practical Guide for Architecture, Design, and

Implementation (Morgan Kaufmann Series in Data Management Systems); San Francisco: Elsevier, Inc., p. 88 92Hornik Mark F., Marcade Erik, Venkayala Sunil (2007): Java Data Mining: Strategy, Standard, and Practice. A Practical Guide for Architecture, Design, and

Implementation (Morgan Kaufmann Series in Data Management Systems); San Francisco: Elsevier, Inc., p. 89 93Fahrmeir L. et al. (1996): Regressionsanalyse; In: Fahrmeir, L. et al. (Hrsg.): Multivariate statistiche Verfahren. 2nd ed.; Berlin, New York, S. 93 - 168 94 Dipartimento di Elettronica e Informazione, Politecnico Di Milano: Clustering [2011-18-09]; Dipartimento di Elettronica e Informazione; URL:

http://www.elet.polimi.it/upload/matteucc/Clustering/tutorial_html 95Anderberg Michael R. (1973): Cluster Analysis for Applications, New York: Academic Press Inc. 96Chamoni Peter, Gluchowski Peter (2006): Analytische Informationssysteme: Business Intelligence- Technologien und –Anwendungen, 3rd. ed.; Berlin:

Springer-Verlag, p. 265 97MacQueen J. B. (1967): Some Methods for Classification and Analysis of Multivariate Observations; Proceedings of 5th Berkeley Symposium on

Mathematical Statistics and Probability; Berkeley: University of California Press, 1:281-297


artificiale

31

2.6.6.5 Importanţa atributului

Foarte des, este necesar să se determine ce atribute influenţează apariţia unui proces de date de căutare,

contează foarte mult, face posibil să se concentreze pe aceste atribute. Prin atributul importanţă, atributele

nu contribuie la rezultatul unui proces de exploatare într-o masă mare, de asemenea, pot fi identificate şi,

dacă se doreşte, se pot reduce. Mai ales atunci când se lucrează cu seturi de date care conţin numeroase

atribute, identificarea de atribute care contribuie la un rezultat devine necesară cunoaşterii, procesul de

exploatare a datelor poate fi îmbunătăţit în termeni de timp şi complexitate prin reducerea atributelor. De

asemenea, atributele care nu sunt relevante pentru găsirea unei soluţii pot produce zgomot, care poate

falsifica rezultatul DM. Atunci când se lucrează cu ANN-uri, atributele cu un număr mai mare de valori

numerice influenţează o soluţie mai mult decât atributele cu valori numerice mai mici. Prin urmare, nici

oricărui alt algoritm faţă de cel de sortare, nu îi sunt necesare atributele în funcţie de valoarea lor.

Atributele în seturi diferite de date pot avea valori mari sau mici, este util să se determine probabilitatea

unui atribut fiind de asemenea ridicat.

2.6.6.6 Asocierea

Prin asociere este determinată o legătură specială între atribute, şi anume sprijin şi încredere. Suportul de

regulă indică cât de frecvent elementele asociate în regulă apar împreună, întrucât încrederea unei reguli

indică probabilitatea de diagnosticare atât a setului elementului antecedent cât şi a setului elementului

consecinţă în aceeaşi tranzacţie, dat fiind faptul că antecedentul este singur găsit. 99

Cea mai simplă

aplicare a unei reguli de asociere, deci este A implică B, determinată prin numărul de ocurenţă a lui A,

urmat de B. Reguli de asociere sunt utilizate pentru determinarea relaţiei dintre atributele, ele de asemenea

pot fi folosite pentru determinarea relaţiilor între categorii.

3 Obiectivele cercetării de doctorat Proiectul de studiu de cercetare şi dezvoltare SHOCID caută să identifice noi abordări în domeniul de

calcul a neuroştiinţei, a inteligenţei şi a datelor de exploatare. Scopul general al proiectului de studiu,

cercetare şi dezvoltare SHOCID este specificarea şi furnizarea de tehnici complexe inteligentă

computaţională pentru datele de exploatare, mai precis şi mai ales prin aplicarea de mai multe inovaţii în

domeniu, printre altele folosite pentru rezolvarea problemelor grele non-deterministice de tip polinom-

timp. Cu siguranţă cum a fost şi indicat, acestea trebuie să fie introduse şi dovedite şi care constituie o parte

considerabilă a acestei elaborări. Un sub-obiectiv al proiectului de cercetare şi dezvoltare, este dezvoltarea

unui sistem ce furnizează o interfaţă foarte intuitivă şi optimizată pentru utilizator, astfel încât un potenţial

utilizator trebuie doar să conecteze sursa de date, urmată de posibilitatea de a alege ce tip de ieşire

prelucrată (ex. un x din numărul de grupări) ar trebui să fie. Pentru operator, nu există nici necesitatea de a

şti că ex. o NeuroEvoluţie transgentică a dus la rezultatele dorite, nici cum funcţionează o astfel de

abordare. În plus, SHOCID este un sistem generic, deci ca să zicem, el nu este numai capabil de rezolvarea

problemelor de DM (în mod clar specificat), dar de asemenea, poate procesa cele mai multe dintre datele de

intrare numerică.

Capitolul 1 - Munca de cercetare în domeniul inteligentei computaţionale

o Cercetarea pe reţelele neuronale artificiale

Structură

Învăţarea de paradigme şi algoritmi

Evoluţia

o Cercetarea sistemelor biologice în evoluţie

Supravieţuirea bacteriilor în medii periculoase

Conştiinţa umană

Sistemul imunitar

Evoluţia neurologică

98Milenova Briana et. al. (2002): O-Cluster: Scalable Clustering of Large High Dimensional Datasets [2011-18-09]; Oracle Corporation; URL:

http://www.oracle.com/technology/products/bi/odm/pdf/o_cluster_algorithm.pdf 99Hornik Mark F., Marcade Erik, Venkayala Sunil (2007): Java Data Mining: Strategy, Standard, and Practice. A Practical Guide for Architecture, Design, and

Implementation (Morgan Kaufmann Series in Data Management Systems); San Francisco: Elsevier, Inc., p. 93


artificiale

32

o Învăţarea

Cercetarea pe scopuri din matematică potrivite pentru reprezentarea de cercetare

Statistici

Matematica reţelelor neuronale

o Cercetare pe mecanica cuantică

Ştiinţa cuantică a calculatorului

Fizica particulelor

Capitolul 2 - Cercetarea de lucru în domeniul datelor de exploatare

o Cercetare asupra procesului de exploatare de date

Înţelegerea afacerilor

Înţelegerea datelor

Pregătirea

Definirea problemei

Colectarea datelor

Definirea caracteristicilor

Selecţia de date

o Cercetare pe modele de exploatare de date

Modelul de dezvoltare

Modelul de implementare

o Cercetare pe date de pre-procesare

Metodele curăţare şi corectare

Metode de transformare

Metodele de imputare

- Imputare de regresie cu reţelele neuronale artificiale

- Metodele de imputare statistice şi derivate

o Cercetare pe analiza datelor

Date de exploatare a funcţiilor şi a algoritmilor

- Supraveghere şi nesupraveghere

- Clasificarea

- Regresie

- Gruparea

- Importanţa atributului

- Asociaţia

Capitolul 4 - Cercetări asupra propunerii de noi structuri de reţele neuronale artificiale

o Analiza şi cercetarea reţelelor neuronale structuri/arhitecturi deja existente

o Conceptele teoretice şi specificarea de noi structuri/arhitecturi de reţele neuronale artificiale

o Conceptele teoretice şi specificarea de noi paradigme în domeniul inteligenţei

computaţionale

o O cercetare şi asigurarea stabilităţii de soluţii

Comitetul de maşini

Structuri redundante

o Cercetare si specificarea de structuri adaptive

o Cercetare pe arhitecturi profunde de învăţare

Capitolul 5 - Cercetare şi propunerea de noi metode de instruire pentru reţelele neuronale artificiale

o O analiză şi cercetarea privind metodele de învăţare/formare existente

o O identificare a punctelor slabe în metodele de învăţare/formare existente şi algoritmi

o Conceptele teoretice şi specificarea de noi abordări de învăţare şi formare

o O cercetare şi dezvoltare pe determinarea calităţii generice pentru reţelele neuronale

artificiale

o O cercetare şi dezvoltare de strategii de învăţare profundă

Capitolul 6 - Cercetarea pe baza fizicii cuantice şi reţelelor cuantice neuronale artificiale

o O cercetare pe fizica cuantică

Efectele şi fenomenele cuantice


artificiale

33

Ştiinţa calculatorului de cuantum

Fizica particulelor şi cuantica

o O aplicaţie a efectelor cuantice în cadrul reţelelor neuronale artificiale

o O cercetare la propunerea reţelelor cuantice neuronale artificiale

o O cercetare pe algoritmii de căutare a bazelor de date cuantice

o O cercetare pe problemele fizicii cuantice de utilizare a reţelelor neuronale artificiale de

învăţare

o Concepte teoretice şi specificarea unei reţele cuantice neuronale artificiale

o O specificaţia de mediu potrivit pentru reţele cuantice neuronale artificiale

Capitolul 7 – Dezvoltarea

o O programare a sistemului SHOCID

o O realizare de structuri de reţele neuronale artificiale clasice

Feed forward

Recurenţe

Complet conectat

Organizarea hărţii caracteristice

o O implementare a unei învăţări clasice abordează pentru feed (recurente) transmisia ANN în

cadrul SHOCID

Propagarea din spate

Actualizarea regulii Manhattan

Propagarea Rezistenţei

Algoritmi genetici

Simularea recoacerii

Algoritmul Levenberg Marquardt

Cel mai augmentată evoluţie a topologiei

o O implementare a structurilor introduse de reţele neuronale artificiale

SHOCID recurent de reţea neuronală artificială

Reţea corticală neuronală artificială

Credinţă profundă cum ar fi reţeaua neuronală artificială

o O punere în aplicarea metodelor introduse de învăţare şi algoritmi

SHOCID evoluţia structurală

NeuroEvoluţia transgentică

Sistemul NeuroEvoluţie artificial imun inspirat

Credinţă profundă ca învăţarea

o O simulare a reţelei de cuantum neurale artificiale

Învăţarea de cuantum prin suprapunere

Măsurarea

Căutarea de tip cuantum pentru o configurare optimă

o Introducerea grupării printr-o hartă caracteristică ce se auto organizează

o Implementarea tipurilor de soluţie pentru fiecare abordare de învăţare

Agent pentru o singură reţea neurală artificială

Reţeaua artificială a comitetului de maşini

Agentul de reţele singure adaptive neuronale artificiale

Abordarea hibridului

o O interfaţă grafică

Capitolul 8 - Rezultate experimentale

o O verificare a soluţiilor recent dezvoltate

o O comparaţie cu soluţiile existente


artificiale

34

4 Conceptul de reţele de structuri neuronale artificiale Pentru următoarele structuri de reţele neuronale artificiale au fost propuse şi specificate în faza de cercetare

a proiectului SHOCID. În faza de dezvoltare, acestea au fost printre abordările deja cunoscute,

implementate în cadrul sistemului pentru scopuri de verificare şi de comparare. Structurile propuse în

lucrare cuprind:

Reţeaua corticală artificiala neuronală (feed-forward cu utilizarea moderată a conexiunilor

recurente)

Reţeaua neuronala artificială recurenta SHOCID (feed-forward cu utilizarea intensă a legături

recurente)

Reţeaua neuronala artificială Deep belief-like (combinaţia neuronală artificială de reţele de

alimentare şi complet conectate)

4.1 Reţeaua neuronală artificială corticală

Reţeaua corticală neuronală artificială100

este una dintre structurile care au fost concepute si specificate în

faza de cercetare a proiectului SHOCID şi a a avut ca inspiratie aspectele teoretice ale semnalului de

prelucrare în conştiinţa umană. Edelman a spus că, conştiinţa umană nu intervine prin prelucrarea

senzorială originală, dar prin interactivitatea care apare în termen de 500 ms între aceste module de nivel

scăzut şi nivel înalt. 101

În plus, o teorie a conştiinţei numită funcţionalism redus, a cărei premiză cheie este

că doar curenţii cauzali contează în determinarea conţinutului de conştiinţă, merge de-a lungul unui corolar

reciproc, care pe partea lui dictează că numai curenţii reciproci contează. Deşi aceste două declaraţii

furnizează baza funcţională a corticalului ANN (recurent):

datele de exploatare implementează software-ul - acestea sunt capabile de rezolvarea clasificării

complexe;

problemele de predicţie timp-serie, acest lucru nu va fi discutat aici în detaliu, deoarece teoriile de

conştiinţă merg dincolo de sfera de aplicare a tezei.

Oricum, Katz a propus, prin urmare, în cadrul descris în Figura 12, tipuri de influenţă cauzale ale

creierului. Însumarea, de tip influenţe cauzale sunt feed-forward-uri, şi operează la pre-orizont ceea ce

poate fi numit kernel (nucleu) conştient, ceea ce înseamnă că acestea pot influenţa conţinutul de

conştiinţă afectând tragerea de neuroni din acest nucleu, dar nu sunt ele generatoare de conţinut de

conştiinţă. Unităţile neuronale de tipul II nu au această proprietate, şi prin urmare sunt potenţiale în

nucleul conştiinţă care le dă proprietăţi de re-intrare, sincronizare şi accesibilitate. Tipul III de neuroni

în post-orizontul de conştiinţă este influenţat de tipul II, şi ca cele de tip I nu au re-intrarea în nucleul

conştiinţă, şi prin urmare nu pot fi o parte din conştiinţă.102

Mai ales atunci când încearcă să se rezolve

clasificarea sau problema declaraţiei predicţiei timp-serie, frecvent aplicate în structurile ANN, ca feed-

forward sau ca MLP-urile recurente tind să arate o performanţă şi o acurateţe redusă atunci când se

lucrează cu seturile de date care conţin numeroase intrări (prognozare) şi/sau cu atribute ţintă. Aceasta

este independenţa faţă de metodele aplicate de învăţare, activarea funcţiilor, distorsiunilor, etc.. Crearea

de cortexuri în combinaţie cu o intensă creştere a numărului de greutăţi în cadrul unui ANN permite

pendularea acestuia, cum este explicat în figura 12.

100Neukart Florian, Moraru Sorin-Aurel, Grigorescu Costin-Marius, Szakazs-Simon Peter (2012): Cortical Artificial Neural Networks and their Evolution -

Consciousness-inspired Data Mining. Proceedings of OPTIM 2012 101Edelman G. (2001): Naturalizing consciousness: A theoretical framework; Proceedings of the National Academy of Sciences USA, 100, 5520 - 5524 102Katz Bruce F. (2011): Neuroengineering the future - Virtual minds and the creation of immortality; Massachusetts: Infinity Science Press LLC, p. 136


artificiale

35

Outputs from the

brain

Inputs to the brain

Brain/world

(effectors)

World/brain

(transducers)

Pre-horizon

Post-horizon

Conscious kernel

TYPE III

TYPE II

TYPE I

Figura 12 - Tipurile cauzale de influenţă al creierului

103

4.1.1 Structura

Aceasta duce la corticalul ANN-urilor, în cazul în care prelucrarea nu este efectuată numai de un singur

strat ascuns orizontal (sau cortex), dar de mai multe straturi paralele ascunse. Intrarea este prelucrată pentru

un singur cortex al fiecărui strat. Intrarea este prelucrată de la fiecare cortex al Ann-ului. Schema ANN pre-

cortical (Figura 13 - Structura reţelei neuronale artificiale pre-corticale) ne ajută să înţelegem acest tip de

ANN special.

i1

i2

h1c11

h1c12

o1

h1c1n

on

in h1cn1

h1cn2

h1cnn

h2c11

h2c1n

Cortex 1

Conscious

kernel

h2c21

h2c2n

cc1

ccn

cc2

Cortex n

Figura 13 – Structura reţelei neuronală artificială pre-corticală

103Katz Bruce F. (2011): Neuroengineering the future - Virtual minds and the creation of immortality; Massachusetts: Infinity Science Press LLC, p. 136


artificiale

36

Primul pas, care trebuie să fie considerat în cadrul unei implementări software, pentru realizare, este

definirea cortexurilor. Schema prezentată în figura 13 descrie segregarea ambelor cortexuri 1 şi n,

comandând peste două straturi ascunse. Intrarea este prelucrată de neuronii de la intrare, la fiecare neuron

singur din fiecare cortex. Prin comparaţie cu figura 12 - Tipurile cauzale de influenţă a creierului - neuronii

de intrare se comportă ca un câmp de intrare senzorial, sau intrarea în creier, care sunt neuronii de tipul I.

Prelucrarea în nucleul conştient al Ann-ului se întâmplă în cortexuri independente, care se află în structura

ANN pre-corticală doar în feed-forward. În imaginea lui Katz, acestea sunt neuroni de tip II. După ce a fost

prelucrat de fiecare cortex, cortexul ieşirilor este procesat într-un strat comun de cortex, care este ultima

etapă de procesare înainte de a fi trecut peste stratul de ieşire, sau în funcţionalism redus, neuronii de tip

III. Cu toate acestea, în introducere a fost menţionată reintroducerea, care funcţionează împreună cu

funcţionalismul redus, teorie care a fost inspirată de dezvoltarea Ann-ului cortical. Reintroducerea afirmă

că informaţia este procesată în termen de nucleu conştiinţă şi nu doar trecut prin acesta. În termeni de

dezvoltare a ANN-ului înseamnă că există straturi recurente necesare pentru procesare, ceea ce duce la

schema puţin mai complexă de ANN-uri corticale(Figura 14- Structura reţelei neuronale artificiale

corticale).

Schema arată că, în comparaţie cu structura ANN-ului pre-cortical, caracteristicile corticale ale straturilor

de sine stătătoare conectate din al doilea strat cortical ascuns până la primul strat cortical ascuns de fiecare

cortex, permite ca cortexul de procesare să posede un fel de memorie. În nucleul conştient, prin urmare, nu

numai informaţiile cauzale prelucrarea, este efectuată, dar de asemenea, procesarea recurentă a

informaţiilor. Matematic, procesarea de le intrare printr-un ANN cortical constă dintr-un singur cortex, care

de fapt nu are sens, dar cea mai de bază reprezentare a unui astfel de ANN, este:

(4-1)

unde

(4-2)


artificiale

37

c1c1

c1cn

c2c1

c2cn

i1

i2

h1c11

h1c12

o1

h1c1n

on

in h1cn1

h1cn2

h1cnn

h2c11

h2c1n

Cortex 1

Conscious

kernel

h2c21

h2c2n

cc1

ccn

cc2

Cortex n

Figura 14 - Structura reţelei neuronale artificiale corticale

unde subsistemul de intrare are intrări p stratul ascuns l are noduri ascunse, stratul ascuns 2

are m noduri ascunse, stratul ascuns 3 are n noduri ascunse şi ieşirea cu y ieşiri , pentru stratul

de ieşire . Straturile sunt conectate pe deplin de greutăţi, unde este de intrare pentru nodul în

straturile ascunse, întrucât greutate atribuită nodului în stratul ascuns pentru ieşire. , şi

sunt deviaţiile, ... sunt funcţiile de activare. Conexiunile de la stratul recurent doi la stratul

ascuns, sunt de asemenea ponderate în ANN-ul cortical, prin urmare, . Pentru fiecare cortex

singur, ecuaţia de mai sus este calculează prin primirea corectă, în cazul în care stratul al patrulea e ascuns

şi joacă un rol special că numărul neuronului său ce depinde direct de numărul de cortexuri, numărul de

neuroni în ultimul strat ascuns înainte de stratul de cortex comun (sau cel de-al patrulea ascuns în

reprezentarea de mai sus) fiecare cortex comandă şi numărul neuronilor de ieşire. Deci, dacă numărul de

cortexuri , iar fiecare ultim strat ascuns înainte de stratul comun de cortex al fiecarui cortex este

format din 3 neuroni şi numărul neuronilor de ieşire este 2, numărul de neuroni în stratul comun de

cortexul este 6, în funcţie de ultima formulă (Eroare! Fără sursă de referință. Numărul de neuroni). Ca

majoritatea ANN-urilor în cadrul SHOCID, ANN-ul cortical se foloseşte de amândouă, atât funcţia de

activare sigmoid numai pentru scalarea pozitivă a valorilor de intrare şi de activarea tangentei hiperbolice,

când ieşirea trebuie să fie scalată între valori pozitive şi negative.

4.1.1.1 Cortexuri

Fiecare cortex a ANN-ului cortical în schemă constă din două straturi ascunse şi un strat de sine stătător.

Cortexurile primesc intrarea lor de la intrarea stratului şi procesului dublu de informaţii, aşa cum este după

care au trecut de al doilea strat ascuns de cortex, procesat până la stratul cortical comun, care serveşte ca un

fel de unitate de primire pentru ieşirile fiecărui cortex. Un singur strat de ieşire, mai ales atunci când constă

dintr-un număr mic de neuroni, nu ar fi capabil să ducă cu succes procesul de ieşire de două sau mai multe

cortexuri.

4.1.1.2 Numărul de neuroni

Numărul de neuroni al fiecărui strat într-un ANN cortical poate fi determinat de calcule bazate pe intrarea

şi ieşirea neuronilor. Numărul primului strat de cortex ascuns este determinat de:


artificiale

38

(4-3)

unde reprezintă numărul de neuroni de intrare şi numărul de neuroni de ieşire. Cu toate

acestea, cercetarea empirică a arătat că pentru unele probleme ar putea fi necesar să se crească numărul de

neuroni ascunşi şi că - 20 de neuroni pentru primul strat ascuns marchează un început bun.

Într-un mod similar, se determină numărul celui de-al doilea strat ascuns de cortex:

(4-4)

unde reprezintă numărul de neuroni din primul strat cortical ascuns şi din nou numărul de

ieşire al neuronilor.

Numărul de neuroni în straturile de sine stătoare în ANN-urile corticale întotdeauna este egal cu , deşi

transformarea nu se întâmplă unu la unu (fiecare neuron din sursă are un neuron în stratul ţintă), dar

însumate de la fiecare neuron sursă până la fiecare neuron ţintă, care are de demonstrat că este cea mai

bună soluţie în timpul verificării.

Numărul de neuroni în stratul comun de cortex depinde puternic de numărul de cortexuri şi de numărul

neuronilor al fiecărui strat de cortex secund ascuns:

(4-5)

unde reprezintă numărul celui de al doilea strat ascuns cortical, numărul de cortexuri din cadrul

ANN-ului şi numărul neuronilor de ieşire.

4.1.1.3 Sinapsele

Parţial, ANN-urile corticale sunt recurente (în cortexurile lor), dar ceea ce le face diferite faţă de cele

aplicate este că sunt mai practice şi că nu numai fiecare conexiune feed-forward în ANN este ponderată,

dar de asemenea, ci şi cele recurente. Numărul mare de conexiuni ponderate şi straturi ascunse într-un

ANN cortical duce la un timp crescut de procesare, dar şi la posibilitatea înţelegerii şi prelucrarea

problemei declaraţiei a exploatării datelor de mare complexitate, care conţine numeroşi predictori diferiţi şi

atribute ţintă.

4.1.2 SHOCID reţele corticale neuronale artificiale

Cum SHOCID este un sistem de exploatare de date generice, structura de ANN corticală a fost uşor de

adaptat pentru a permite acest lucru: structura ANN corticală capabilă de rezolvarea celor mai multe din

declaraţiile problemă prezentate fără nevoie absolută pentru a schimba structura sau codul sursă, a fost

aleasă în funcţie de rezultatele cercetării empirice (Figura 15 - Structura corticală a reţelelor neuronale

artificiale). Independent faţă de ANN-urile corticale generale, SHOCID ANN comandă numai peste un

strat ascuns pe fiecare cortex. O altă diferenţă este că într-adevăr toate conexiunile sunt ponderate, dar

conexiunile din straturile de cortex la straturile de sine stătătoare sunt una la una, nu una la toate. Aceasta

dictează că straturile stătătoare trebuie să aibă acelaşi număr de neuroni ca straturile cortexului. În plus,

această structură cere determinarea numărului de neuroni uşor diferit faţă de reţele neuronale artificiale

comune corticale. Numărul de neuroni de cortex pentru fiecare cortex este determinat în acelaşi mod ca şi

primul strat ascuns al neuronului iar determinarea se face în cortexul comun ANN:

(4-6)

Cu toate acestea, cortexurile comune ale stratului de neuroni sunt calculate cu ajutorul ecuaţiei:

(4-7)

Mai mult decât atât, stratul de cortex comun şi stratul de ieşire al neuronilor aplică funcţia de activare a

tangentei hiperbolice, indiferent de semnul de intrare. Alte straturi ale neuronilor fac uz de funcţia activare

sigmoid dacă semnul de intrare este pozitiv; altfel ei folosesc, de asemenea, funcţia de tangentă hiperbolică.


artificiale

39

c1c1

c1cn

c2c1

c2cn

i1

i2

o1

on

in

h2c11

h2c1n

Cortex 1

Conscious

kernel

h2c21

h2c2n

cc1

cc3

cc2

Cortex n

cc4

ccn

Figura 15 - Structura corticală a reţelelor neuronale artificiale

4.1.3 Scop

După cum deja a fost menţionat în introducere, ANN-urile cu doar două straturi ascunse sunt capabile să

reprezinte o decizie arbitrară, o limită de precizie arbitrară cu funcţii de activare raţionale şi poate aproxima

orice cartografiere netedă cu orice precizie.104

Acest lucru conduce la întrebarea scopului unui astfel de

ANN de structură complexă, comandând cel puţin peste trei straturi ascunse şi în plus, peste cel puţin două

cortexuri care conţin acele straturi ascunse. Atunci când se pune în aplicare un ANN cortical sau o

populaţie iniţială de astfel de ANN-uri (cum evoluţia genetică este din nou o modalitate eficientă de a găsi

cea mai bună soluţie pentru o problemă declarată atunci când se ocupă cu aceste structuri de ANN-uri

complexe), şi învăţându-le cum să rezolve problema XOR, învăţarea de succes nu va fi comparabilă cu un

ANN ce are un singur strat ascuns, învăţarea de ex. cu propagarea rezistentei, va fi mult mai rea.

Presupunând că funcţia de fitness al ANN-ului este rădăcina, înseamnă o eroare pătrată:

(4-8)

ANN-ul fie nu va fi capabil să ajungă la eroarea permisă în numărul permis de iteraţii sau cel puţin va dura

mult mai mult să facă acest lucru. În plus, performanţa va fi mult mai rea în comparaţie cu cele menţionate

cu un singur strat ascuns de ANN. Cu toate acestea, puterea corticală de ANN avansează atunci când datele

sursă conţin predictori multipli şi să fie clasificate sau prezise în diverse obiective. Ca număr de greutăţi în

cadrul numeroaselor ANN-uri corticale, înţelegerea de date sursă foarte complexe şi posibilitatea de a

învăţa să clasifice este, conform structurii matricei de greutate complexă, posibilă. Cercetarea curentă de

ANN nu se concentrează asupra structurilor complexe de ANN, cum sumele imense de date sursă nu pot fi

104 Heaton Research (2005 - 2011): The number of Hidden Layers [2011-28-09]; URL: http://www.heatonresearch.com/node/707


artificiale

40

prelucrate de către un singur ANN, sunt grupate şi procesate cu mai multe ANN-uri. Aceasta nu ia mult

până când necesitatea de a aplica mai multe ANN-uri corticale de a înţelege o problemă de date declaraţiei

de exploatare ce apare, indiferent de complexitatea problemei. În special în cadrul sistemelor de date de

exploatare, complexitatea de ansamblu unei soluţii este scăzută, deşi soluţia generală constând dintr-un

cortical ANN este mult mai complexă decât părţile singure ale primului. La o primă vedere, nu ar mai fi

nevoie de crearea corticalelor în cadrul unui ANN, dar aplicarea practică a arătat că prelucrarea datelor din

neuronii de intrare în două sau mai multe cortexuri independente conduce la rezultate mai precise. Acest

lucru se datorează faptului că cele două cortexuri sunt independente unul faţă de altul şi producţia rezultată

din ambele este fuzionată. Când calculele într-un cortex nu sunt la fel de precise cum acestea ar trebui să

fie, acest lucru poate fi compensat de către celelalte cortexuri. Efectul de compensare prezintă avantajul de

a măsura complet atunci când cortexul ANN include cel puţin 3 cortexuri. În plus, simularea rudimentară

de prelucrare a conştienţei umane deschide noi posibilităţi în cercetarea ANN.

4.1.4 Evoluţia

Cum ANN-urile corticale sunt structuri complexe, formulele de mai sus descriu determinarea numărului

optim de neuroni pentru fiecare strat,acest lucru este o sugestie bună, dar nu întotdeauna se comportă cel

mai bine. În cazul în care evoluţia structurală a SHOCID poate fi din nou aplicată pentru determinarea

soluţiei optime pentru o declaraţie problemă, care este puţin mai complexă în cortexul ANN-urilor decât în

cele de tip feed-forward. Evoluţia structurii unui cortex ANN este chiar mult mai complexă decât evoluţia

unui recurent SHOCID ANN, care conţine, de asemenea, straturi ascunse pentru a fi adaptate şi adăugate

sau eliminate. Evoluţia structurală a unui cortex ANN poate conţine:

Adăugarea sau eliminarea de straturi corticale

Adăugarea sau eliminarea de straturi corticale de neuroni, primul şi al doilea, ceea ce duce la

adaptarea numărului de neuroni în stratul comun de cortex

Adăugarea sau eliminarea de cortexuri, ceea ce duce la adaptarea numărului de neuroni în stratul

comun de cortex

Atunci când evoluează un cortex ANN SHOCID transportă doar adăugarea sau eliminarea cortexului de

neuroni şi adăugarea sau eliminarea de cortexuri (numărul maxim de cortexuri este limitat la 4). În plus,

numărul de straturi ascunse într-un cortex rămâne 2 şi nu este scăzut. Prin urmare, evoluţia influenţează

întreaga structură a ANN-ului, doar structura cortexului este adaptată. Structura în cadrul procesului

evolutiv SHOCID pe corticale a Ann-ului afectează numai straturile şi numărul de neuroni ascunşi. Cu

toate acestea, în teorie în continuare există posibilităţi de evoluţie însă în prezent nu au fost testate într-un

mod în aşa fel să se poată face o declaraţie. Eventualele modificări structurale / mutaţii pot conţine

Adaptarea asincronă a cortexurilor

o În asincron sau o scădere de straturi

o În asincron sau o scădere a neuronilor de cortex

Activarea funcţiilor hibrid pe cortex

În plus, cum a dovedit simularea hibridizării amorselor care a ajuns la cele mai exacte soluţii în scurt timp

în cortexurile ANN-ului, algoritmul SHOCID pentru evoluţia cortexurilor ANN-urilor este după cum

urmează:

Început

1. Crearea ANN-ului iniţial cu corticale , care conţin de straturi ascunse

de cortex şi neuroni ascunşi în primul strat cortical şi neuroni

ascunşi în cel de al doilea strat cortical. În plus, stratul iniţial comun de cortex este

creat cu neuroni.

2. Repetă

a) Se calculează ieşirea de reţea pentru valoarea

b) Evaluează fitness-ul pentru fiecare neuron:

c) Calculează eroarea pentru fiecare neuron de ieşire

d) Calculează eroarea pentru fiecare neuron ascuns


artificiale

41

e) Repetă

i. Creează un nou ANN şi alege greutăţi în funcţie de T



iv. Compară soluţiile în funcţie de

v. Dacă este mai bun decât , inlocuim

f) Până la maximul de încercări la care ajuns temperatura curentă

g) Scade temperatura

3. Până temperatura ataşată e atinsă

4. Determină calitatea valorii iniţiale a arhitecturii de reţea

5. Stochează calitatea valorii a arhitecturii iniţiale de reţea în matricea de calitate.

6. Repetă

a) dacă nh1 < nh1max:

i. Creşte cu

b) Calculează

c) Crearea de populaţii de de ANN-uri cu cortexuri , care conţin

straturi ascunse de cortex şi neuroni ascunşi în primul strat cortical

şi neuroni ascunşi în al doilea strat cortical. În plus, stratul iniţial

comun de cortex este creat cu neuroni.

d) Randomizarea de greutăţi şi valorile prag.

e) Repetă

i. Repetă

1. Se calculează ieşirea de reţea pentru valoarea

2. Evaluează fitness-ul pentru fiecare neuron:

3. Calculează eroarea pentru fiecare neuron de

ieşire

4. Calculează eroarea pentru fiecare neuron ascuns

5. Repetă a. Creează un nou ANN şi alege greutăţi în funcţie

de T

b. Calculează eroarea pentru fiecare neuron de

ieşire

c. Calculează eroarea pentru fiecare neuron

ascuns

d. Compară soluţiile în funcţie de

e. Dacă este mai bun decât , inlocuim

6. Până la maximul de încercări la care ajuns


artificiale

42

temperatura curentă

7. Scade temperatura

ii. Până temperatura ataşată e atinsă

f) Până e atinsă g) Determină calitatea valorii iniţiale a arhitecturii de reţea

h) Stochează calitatea valorii a arhitecturii iniţiale de reţea în matricea de

calitate.

i) Verificarea

i. Prezintă fiecare set de date de verificare

ii. Creşte matricea de eroare pentru RMSE > pentru fiecare

set de date de verificare cu 1

j) dacă == :

Creşte cu

7. Până când nh2max e atinsă

8. Compararea soluţiilor stocate de ANN prin calitate

9. Prezintă cele mai bune soluţii

Sfârşit

Algoritmul 6 - evoluţia ANN-urilor corticale

Detaliere:

: numărul minim/maxim de straturi ascunse corticale (în cadrul SHOCID întotdeauna 2)

: numărul minim/maxim de neuroni din nhc1

: numărul minim/maxim de neuroni din nhc2

: numărul de cortexuri (în cadrul SHOCID întotdeauna între 2 şi 4, în funcţie de starea actuală de

evoluţie)

: numărul minim de neuroni comuni ai cortexului

: Contoare de neuron ascuns sau strat

: intrarea actuală

: eroare de intrare la ieşirea neuronului on în generaţia actuală

: eroarea pentru neuronul ascuns

: RMSE permis

Numerele neuronului , , şi sunt determinate conform ecuaţiilor explicate

în 5.1 Evoluţia structurală. Ar trebui să se considere că stratul direct în amonte până la stratul în care

neuronii trebuie să fie calculaţi, serveşte ca subsistem de intrare, în cazul în care stratul de ieşire este

întotdeauna ultimul strat în ANN. Altfel, toate straturile ascunse ar primi acelaşi număr de neuroni.

4.2 Reţeaua neuronală artificială recurentă SHOCID

Reţeaua neuronală artificială recurentă SHOCID105

(SRANN) a fost concepută recent şi specificată pentru

efectuarea în special a clasificării şi predicţiei seriilor de timp privind valorile de intrare generice. SRANN

este la fel ca ANN-urile Elman şi Jordan, un ANN recurent, procesând valorile sale înainte de intrare şi

capabile de a face uz de mai multe metode de învăţare. Cu toate acestea, în calcule în cadrul SRANN sunt

mai intense pentru computere decât în alte ANN-uri, metoda preferată de învăţare se bazează pe o adaptare

genetică de greutăţi(Eroare! Fără sursă de referință. Învăţarea genetică). Faţă de ANN-urile Elman şi

Jordan, SRANN, de asemenea, este capabil să aplice evoluţia structurală a SHOCID106

(Eroare! Fără

sursă de referință. Evoluţia structurală), o metodă similară cu NEAT ce are grijă nu numai o adaptare de

greutăţi, dar, de asemenea, un in şi o scădere de neuroni şi straturi într-un ANN pentru determinarea

soluţiei optime pentru o declaraţie problemă a datelor de exploatare.

105 Neukart Florian (2012): Accuracy through Complexity - One Step further in Time-Series Prediction and Classification, Knowledge Discovery in Databases 106 Neukart Florian. et al. (2011): Problem-dependent, genetically evolving Data Mining solutions; Proceedings of DAAAM 2011, 2011 22nd World Symposium


artificiale

43

4.2.1 Structura

Schematic, SHOCID RANN este următoarea structură cum este descris în Figura 16-SHOCID reţea

recurentă neuronală artificială cu un singur strat ascuns.

ANN-ul este oarecum similar cu ANN-urile recurente Elman şi Jordan, cu diferenţa că uneşte concepte

arhitecturale din ambele. Figura de mai sus arată că reţeaua, în cazul în care acesta conţine un singur strat

ascuns, are două straturi recurente.

i1

i2

h1

h2 o1

wi1h1

wh2o1

h3

hn

on

in

wi1h2wi1h3w

i1hn

w i2h1

wi2h2

wi2h3

wi2hn

w inh1

w inh2

winh3

winhn

wh1on

wh2on

wh3o1

wh3on

wh4o1

w h4on

ro1hx

ronhx

rh1h1

rh2h2

rh3h3

rhnhn

wh1o1

wro

1h11

wro

1h12

wro

1h13

wro

1h1n

wro

nh11

w ronh1n

wro

nh13

wro

nh12

Figura 16-SHOCID Reţea recurentă neuronală artificială cu un singur strat ascuns

4.2.1.1 Stratul recurent unu

Stratul recurent unu, reprezentat de neuronii şi ,, procesează valorile neuronilor de ieşire înapoi

la stratul ascuns. Fiecare neuron ascuns din stratul ascuns primeşte date de la fiecare neuron din

stratul recurent unul. Conexiunile de la straturile recurente la stratul ascuns conţin greutăţi, care sunt

adaptate după o iteraţie de învăţare. Stratul recurent unu, prin urmare, trebuie să aibă exact acelaşi număr

de neuroni ca stratul de ieşire. Adaptarea de greutate este necesară pentru că valorile de ieşire din stratul de

ieşire nu trebuie să cauzeze ca neuronii ascunşi sa tragă în masa stratului ascuns doi.

4.2.1.2 Stratul recurent doi

Stratul recurent doi, reprezentat de neuronii , procesează valorile de ieşire a stratului ascuns

înapoi la sine şi le oferă ca date de intrare, dar fără a face uz de greutăţi. Acest lucru creşte rata de ardere a

neuronilor ascunşi şi creşte probabilitatea de o adaptare intensă de greutăţi între stratul ascuns şi stratul de

ieşire. Diferenţa la stratul ascuns recurent doi, numărul de neuroni în stratul recurent este la fel ca numărul

de neuroni din stratul ascuns. În plus, prelucrarea valorilor de ieşire din acest strat este aproape la fel ca şi

într-un ANN Elman, ceea ce înseamnă că neuronul propagă numai valoarea sa de ieşire înapoi la

neuronul , dar fără greutăţi fiind adaptat sau luat în considerare în interiorul unei repetări. Stratul ascuns,

prin urmare, primeşte date de la ambele straturi recurente, care, în comparaţie cu clasicele ANN-uri Jordan

şi Elman, creşte memoria reţelei, care este importantă pentru predicţia seriilor de timp, dar, de asemenea,

duce la rezultate mai bune de clasificare de adaptare a greutăţilor în cadrul ANN. Matematic, SHOCID

RANN poate fi reprezentat de


artificiale

44

(4-9)

unde

(4-10)

şi

(4-11)

unde stratul de intrare are p intrări , stratul ascuns are l noduri ascunse şi ieşirea cu y ieşiri

, pentru stratul de ieşire . Straturile sunt conectate prin greutăţi, unde este -ul de intrare

pentru al -lea semn în stratul ascuns, întrucât greutatea atribuită al -lea semn în stratul ascuns pentru

ieşire. şi sunt deviaţiile, şi sunt funcţiile de activare. Conexiunile din stratul recurent doi la

stratul ascuns sunt ponderate în SRANN, prin urmare, , dar rămâne în formulă cum ponderea

poate deveni utilă în cazuri de utilizare ce nu a fost încă descoperite . Conexiuni la stratul recurent unu

până la stratul ascuns sunt aşa cum este descris în prealabil, ponderate. SRANN nu este limitat în

termeni de neuroni sau straturi, ceea ce înseamnă că aceasta, poate deveni ANN mulţi strat ascuns, care

este, de asemenea, motivul de ce poate fi aplicată evoluţia structurală SHOCID (figura 17 - SHOCID reţea

recurentă neuronală artificială cu mai multe straturi ascunse). Diferenţa pentru stratul singur ascuns

SRANN (SL-SRANN) este că pe fiecare strat suplimentar ascuns apar două straturi suplimentare recurente.

Prelucrarea de la stratul de ieşire o, la al doilea strat ascuns prin stratul recurent şi de la al doilea

strat ascunse prin stratul recurent la sine este exact acelaşi ca cel descris la SL-SRANN. Stratul

recurent cu toate acestea, utilizează ieşirea din stratul ascuns doi ca date de intrare şi le procesează,

după ponderarea valorilor, înapoi la stratul ascuns. Prin urmare, are acelaşi număr de neuroni ca şi stratul

ascuns doi . Stratul recurent aplică acelaşi proces de ne-ponderare ca şi stratul pentru a

propaga valorile de ieşire înapoi la sine.

4.2.1.1 Numărul de neuroni

Numărul de neuroni din fiecare strat în cadrul SHOCID RANN este determinat de calcule pe baza

neuronilor de intrare şi de ieşire. În cazul în care un singur strat ascuns SRANN, numărul stratului ascuns

este determinat de:

(4-12)

unde reprezintă numărul de intrare a neuronilor şi numărul de ieşire a neuronilor. În mod

similar, al doilea strat ascuns a numărului de neuroni, în cazul în care două-straturi-ascunse SRANN, este

determinat:

(4-13)

unde reprezintă numărul de neuroni din primul strat ascuns şi din nou numărul de ieşire al

neuronilor. Cum este indicat în prealabil, numărul de neuroni în straturile de sine stătătoare în SHOCID

RANN depind de stratul de trimitere. Stratul recurent unu comandă peste acelaşi număr de neuroni ca

stratul de ieşire, cum şi datele de intrare sunt procesate unu-la-unu şi, prin urmare, nicio altă soluţie nu este

posibilă. Acelaşi lucru este valabil pentru al doilea strat recurent, care primeşte intrarea unu-doi-unu din

stratul ascuns şi, prin urmare, comandă peste acelaşi număr de neuroni cu cel din urmă. Prin urmare,

(4-14)

şi

(4-15)


artificiale

45

i1

i2

h21

h22

o1

wi1h11

wh22o1

h2n

on

in

wi1h12wi1h13w

i1h1n

w i2h11

wi2h12

wi2h13w

i2h1n

w inh1

1

w inh12

winh13

winh1n

wh21on

wh22on

wh2no1

wh2non

ro1h2x

ronh2x

rh22h21

rh22h22

rh2nh2n

wh21o1

wRo1h21

h11

h12

h13

h1n

rh11h11

rh12h12

rh13h13

rh1nh1n

rh21h1x

rh22h1x

rh2nh1x

wro1h22

wro1h2n

wronh21

wronh22

wronh2n

wrh21h11

wrh21h12

wrh21h13

wrh21h1n

wrh22h11

wrh22h12

wrh22h13

wrh22h1n

wrh2nh11

wrh2nh12

wrh2nh13

wrh2nh1n

wh11h21

wh11h22w

h11h2n

wh12h21

wh12h22wh12h2n

wh13h21

wh13h22

wh13h2n

w h1nh

21

wh1nh22

wh1nh2n

Figura 17 - SHOCID reţea recurentă neuronală artificială cu mai multe straturi ascunse

4.2.1.2 Sinapse

SRANN este un ANN recurent, dar ceea ce îl face diferit faţă de cele practice aplicate este aceea că ambele

comenzi sunt peste pondere, legăturile recurente şi conexiuni ne-ponderate, conexiuni recurente. Aşa cum

arată schema, conexiunile la ieşirea stratului recurent nu sunt ponderate, spre deosebire de conexiunile din

stratul recurent la stratul ascuns. La prima vedere, acest lucru poate arăta la fel ca şi un ANN Jordan

recurent. Cu toate acestea ANN-urile recurente Jordan fac uz de conexiuni ponderate de la stratul de ieşire

la stratul ascuns. Acelaşi deţine pentru stratul recurent doi şi o comparaţie a ANN-ului recurent Elman dar

examinat în detaliu procesele SRANN de intrare direct din stratul ascuns strat, în cazul fostului, care

comandă peste conexiuni ponderate la stratul ascuns la unul recurent. Numărul mare de conexiuni

ponderate şi straturile ascunse în cadrul SRANN pot duce la un timp crescut de procesare, dar, de

asemenea, ca şi ANN-urile corticale, posibilitatea de a înţelege şi a procesa problema declaraţiei a datelor

de exploatare de mare complexitate, conţinând numeroşi predictori diferite şi atributele ţintă.

4.2.2 Scop

Cum este indicat în mod repetat, ANN-urile cu doar două straturi ascunse sunt capabile de a reprezenta o

limită de decizie arbitrară de precizie arbitrară cu funcţii de activare raţionale şi poate aproxima orice

cartografiere netedă cu orice precizie. 107

Cu toate acestea, în funcţie de declaraţia problemei prezentată în

predicţia seriilor de timp, una trebuie să derive din testare adică dacă ANN-urile recurente Jordan sau

Elman pot să funcţioneze mai bine. Nu există nici un mod evident de cum se poate afla structura care va

efectua mai bine, cu excepţia testării şi experienţei considerabile. SRANN evită acest lucru, cu privire la

structura sa, care este o combinaţie de RANN-uri Jordan şi Elman modificate, iar determinarea devine

inutilă. În mai multe teste s-ar putea verifica dacă prin aplicarea SRANN, problemele predicţiilor seriilor de

timp pot fi rezolvate mai precis decât prin RANN-urile Jordan şi Elman. În plus, SRANN a arătat o

performanţă considerabilă şi precizie in rezolvarea clasificării problemelor declaraţie, comparabile cu

acelea din structura ANN-urilor corticale. Atunci când se pune în aplicare un SRANN, sau o populaţie

iniţială de astfel de ANN-uri (cum evoluţia genetică este din nou o modalitate eficientă de a găsi cea mai



artificiale

46

bună soluţie pentru o declaraţie problemă atunci când se lucrează cu aceste structuri complexe ANN), şi

învăţându-le cum să rezolve problema XOR, învăţarea de succes este într-adevăr comparabilă cu un ANN

cu un singur strat ascuns, ex. de învăţare cu propagarea rezistentă, cu toate că este complexă. Prin urmare,

puterea SRANN avansează nu numai când datele sursă conţin predictori multiplii şi să fie clasificate sau să

fie prezise în diverse obiective, dar, de asemenea, în simplele declaraţii problemă, de obicei rezolvate, cu

propagarea înapoi a ANN-urilor. Dacă numărul de greutăţi în cadrul SRANN-urilor este numeros,

înţelegerea complexă a datelor sursă şi posibilitatea de a învăţa să clasifice este posibilă în funcţie de

structura greutăţii complexe a matricei.

4.2.3 Evoluţia

SRANN sunt structuri complexe, precum şi formulele descrise anterior pentru determinarea numărului

optim de neuroni pentru fiecare strat ceea ce este o sugestie bună, dar nu întotdeauna este cea mai bună.

Acest lucru este, în cazul în care evoluţia structurală SHOCID, poate fi aplicată pentru a determina soluţia

optimă pentru o problemă, care este ceva mai complexă în RANN SHOCID decât este în cele de tip feed-

forward. În plus, evoluţia structurii unui cortical ANN este complexă, deoarece evoluţia structurală conţine:

Adăugarea sau îndepărtarea straturilor ascunse şi a corespunzătoarelor.

Adăugarea sau eliminarea straturilor recurente.

Adăugarea sau eliminarea de neuroni din stratul ascuns, la primul şi al doilea, şi corespunzătoarelor.

Adăugarea sau eliminarea stratului recurent de neuroni, la primul şi al doilea pentru fiecare strat

ascuns.

Atunci când o evoluţie SRANN, SHOCID efectuează numai adăugarea sau eliminarea straturilor ascunse,

straturile recurente şi adăugarea sau eliminarea neuronilor corespunzători, numărul maxim de straturi

ascunse în SRANN este limitat la 2. În consecinţă, numărul maxim de straturi recurente este de patru. De

aceea, evoluţia are o influenţă asupra întregii structuri a ANN. În plus, aşa cum evoluţia genetică a dovedit

s-a ajuns la soluţiile cele mai precise in scurt timp, în cadrul RANN SHOCID, algoritmii SHOCID pentru

care evoluează aceste ANN-uri este după cum urmează:

Început

1. Crearea de populaţii de de ANN-uri cu mmin straturi ascunse, nmin neuroni

ascunşi pentru fiecare strat ascuns, şi straturile recurente unu şi doi cu un număr

corespunzător de neuroni.

2. Repetă


b) Evaluează fitness-ul pentru fiecare cromozom:

i. Calculează eroarea pentru fiecare neuron on

ii. Calculează eroarea pentru fiecare neuron ascuns

c) Selecţia de cromozomi pentru a se recombina

d) Repetă i. Trecerea de cromozomi

ii. Mutarea urmaşilor

e) Până când toţi cromozomii selectaţi au fost recombinaţi

3. Până criteriile sunt atinse



6. Repetă

a) dacă n < nmax:

Creşte n cu cn

b) Crearea de populaţii de x de ANN-uri cu mcm straturi ascunse, ncn neuroni

ascunşi pentru fiecare strat ascuns, şi straturile recurente unu şi doi cu un

număr corespunzător de neuroni.

c) Randomizarea de greutăţi şi valori de prag pentru fiecare cromozom.


artificiale

47

d) Repetă

i. Se calculează ieşirea de reţea pentru valoarea

ii. Evaluează fitness-ul pentru fiecare cromozom:

8. Calculează eroarea pentru fiecare neuron on


iii. Selecţia de cromozomi pentru a se recombina

iv. Repetă

10. Trecerea de cromozomi

11. Mutarea urmaşilor

v. Până când toţi cromozomii selectaţi au fost recombinaţi

e) Până criteriile sunt atinse

f) Determină calitatea valorii iniţiale a arhitecturii de reţea

g) Stochează calitatea valorii a arhitecturii iniţiale de reţea în matricea de

calitate.

h) Verificarea


ii. Creşte matricea de eroare pentru RMSE > pentru fiecare

set de date de verificare cu 1

i) dacă n == nmax: Creşte m cu cm

7. Până când mmax e atins 8. Compararea soluţiilor stocate de ANN prin calitate


Sfârşit

Algoritmul 7 - evoluţia SRANN

Detaliere:

: numărul de cromozomi

: numărul minim/maxim de straturi ascunse

: numărul minim/maxim de neuroni de

: Contoare de neuroni sau straturi ascunse

: intrarea actuală



: RMSE permis

şi sunt determinate pe baza numărului de intrari de neuroni. Ecuaţia

(4-16)

oferă numărul de neuroni ascunşi, care stau la baza determinării numărului minim şi maxim la care va veni

evoluţia:

(4-17)

şi

(4-18)

Acelaşi lucru este valabil pentru cel de-al doilea strat ascuns, dacă evoluţia este aplicată atât de departe, cu

diferenţa că toate numerele de neuron al evoluţiei primului strat sunt stocate într-o matrice, care servesc ca

bază de calcul pentru şi . Dacă, de exemplu, o soluţie a procesului evolutiv al primului strat

ascuns are trei neuroni ascunşi, evoluţia stratului 2 ascuns ia acest lucru ca şi calculează şi din


artificiale

48

nou. Algoritmul de asemenea, arată că prima tură pentru a determina calitatea iniţială a ANN-ului trebuie

să fie efectuată la început, pentru ca evoluţia începe imediat după aceea.

4.3 Reţeaua neuronală artificială SHOCID „deep belief”

SHOCID face uz de maşinile restrânse Boltzmann108

pentru pregătirea structurilor ANN pentru sarcinile de

clasificare în domeniul mineritului de date. Maşinile restricţionate Boltzmann (RBM) sunt numite reţele de

convingeri profunde,109

care învaţă să extragă o reprezentare profundă ierarhică a datelor de formare. Cu

toate acestea, maşinile Boltzmann utilizate pentru SHOCID sunt cele standard şi urmăresc acelaşi scop a

RBM ca si DBN-ul. Cele introduse asemanătoare-DB-ului nu fac direct stivă împreună cu maşinile

Boltzmann, dar extrag ponderile ce s-au adunat la formarea acestora pentru inducerea acestora într-un feed-

forward ANN. Rezumând, aceasta funcţionează prin normalizarea datelor prezentate atât bipolare cât şi

multiplicative, ieşirile pe care le formează sunt folosite pentru pregătirea maşinilor Boltzman, iar acesta

din urmă pentru formarea feed-forward al unui ANN.

4.4 Structura

Structura DB-urilor ca ANN-uri nu diferă de la un feed-forward comun ANN, singura diferenţă este că

iniţializarea greutăţii nu se întâmplă aleator, ci prin extragerea ponderilor maşinilor Boltzmann pre-

instruite. Figura de mai jos ne ajută să înţelegem procedura (Figura 18 –deep belief -reţelele neuronale

artificiale). Iniţializarea greutăţii pentru perceptron cu multi-strat nu se întâmplă aleatoriu sau prin orice

alte tehnici cunoscute de iniţializare ca de exemplu randomizarea Nguyen-Widrow. Un DBN cu straturi

modelează distribuţia de legătură între un vector observat şi în straturile sale ascunse , după cum

urmează:

( 4-19

)

unde este o distribuţie vizibilă dată şi ascunsă condiţionată într-un RBM asociat cu un

nivel al DBN, şi este distribuţia de legătură de nivel superior în RBM. Distribuţiile

condiţionate şi legăturile de nivel superior (un RBM) definesc modelul generativ. 110

Aceasta nu diferă de abordarea introdusă, diferenţa este de găsit în prelucrare, şi anume funcţia de

cartografiere şi schimbarea de greutăţi.

4.4.1 Procesarea

De obicei, atunci când se lucrează cu reţelele deep belife-like, mai multe straturi ascunse pot fi învăţate

eficient prin compunerea maşinilor restrânse Boltzmann, folosind activările de caracteristici ale unuia ca

date de formare pentru viitor. 111

Cele DB- cum ar fi ANN-urile diferită de cea în care se copiază greutăţile

în maşina pre-instruită Boltzmann la un MLP. Mai mult decât atât, DB-cum ar fi ANN-urile (= un MLP cu

greutăţile maşinii Boltzmann) aplică în termen de hibridizare simulată în SHOCID, cum maşina Boltzmann

în sine este o reţea termică. Astfel, SA este prima alegere ca o strategie de învăţare şi a dovedit de

asemenea, că funcţionează bine. Prelucrarea, în SHOCID a DB cum ar fi ANN-urile pot fi împărţite în

patru etape majore:

Date de normalizare pentru maşina Boltzmann

Prelucrarea Boltzmann

Normalizare de date pentru MLP

Prelucrarea MLP

108Smolensky Pavel (1986): Information processing in dynamical systems: Foundations of harmony theory. In Rumelhart, D. E. and McClelland, J. L.,

editors, Parallel Distributed Processing: Volume 1: Foundations, pages 194-281. MIT Press, Cambridge, MA. 109 Hinton Geoffrey E., Salakhutdinov Ruslan R. (2006): Reducing the dimensionality of data with neural networks, Science, vol. 313, no. 5786, pp. 504–507,

2006. 110 Bengio Yoshua (2009): Learning Deep Architectures for AI; Foundations and Trends in Machine Learning, vol. 2, Yoshua Bengio 111 Scholarpedia (2011): Boltzmann Machine (2012-15-08); Scholarpedia; URL:

http://www.scholarpedia.org/article/Boltzmann_machine#Restricted_Boltzmann_machines



artificiale

49

i1

i2

h1

h2

w i1h1

h3

hn

in

wi1h2w

i1h3

wi1hn

w i2h1

w i2h2

wi2h3w

i2hn

win

h1

w inh2

winh3

winhn

i1

i2

h1

h2 o1

w i1h1

wh2o1

wh1o1

h3

hn

on

in

wi1h2w

i1h3

wi1hn

w i2h1

w i2h2

wi2h3w

i2hn

win

h1

w inh2

winh3

winhn

wh1on

wh2on

wh3o1

wh3on

wh4

o1

w h4on

Figura 18 - Reţelele neuronale artificiale „deep belife-like”

4.4.1.1 Date de normalizare pentru maşina Boltzmann

Pentru maşina Boltzmann normalizarea trebuie să aibă la ieşire valori bipolare. Astfel, ca un prim pas,

vectorul de intrare este normalizat în gama-asociată, între -1 şi 1, care produce o virgulă mobilă de valoare

pentru fiecare valoare de intrare nu mai mare decât 1 şi nu mai mică decât -1:

(4-20)

= valoarea de normalizat

min = valoarea minimă x la care va ajunge vreodată

max = valoarea maximă la care x va ajunge vreodată

scăzut = valoare scăzută a gamei de normalizare (de obicei -1 sau 0)

ridicat = valoarea mare a gamei de normalizare (de obicei, 0 sau 1)

După cum arată ecuaţia, cartografierea permite să se mapeze o variaţie numerică la alta. Pentru aceasta, un

sistem de extragere de date trebuie sa efectueze nu doar pasul de normalizare, dar, de asemenea,de a

analiza prin date pentru a colecta valorile maxime şi minime x (valoarea de normalizare) la care va ajunge

vreodată. Cu toate acestea, nu valorile în virgulă mobilă alimentează maşina Boltzmann, ci următoarele

ieşiri:

(4-21)

4.4.1.2 Prelucrarea Boltzmann

În prima iteraţie, SHOCID creează o maşină Boltzmann cu dimensiunea stratului de intrare egală cu

mărimea numărului vectorului de intrare. Vectorul de intrare poate sau nu poate fi o matrice


artificiale

50

multidimensională. Independent, din datele de formare, care pot conţine, de asemenea, valorile de ieşire a

neuron(ului), SHOCID este capabil să determine diferenţa pe care o impune utilizatorul şi să introducă

numărul de neuroni de intrare. Numărul neuronilor ascunşi reprezintă numărul de funcţii din cadrul

aparatului Boltzmann. Astfel, în cadrul primei maşini Boltzmann numărul de caracteristici este egal cu

dimensiunea vectorului de intrare. Prima maşina Boltzmann este apoi antrenată cu fiecare vector de intrare

a datelor de formare cu obiectivul de a asocia automat stările vectorului de intrare. Cu cât este mai mare

numărul de vectori de intrare, cu atât este mai puţin probabil ca, unul dintre vectorii de intrare să poată fi

asociat în mod corect. Cu toate acestea, după ce a terminat formarea, ponderile maşinii curente Boltzmann

sunt copiate într-o matrice multidimensional la poziţia 0 - ceea ce înseamnă că acestea vor fi ponderile din

stratul de intrare la primul strat ascuns în MLP. În plus, toţi vectorii de ieşire asociaţi, au fost depozitaţi în

acest moment într-o matrice, deoarece acestea vor servi ca bază pentru următoarea maşină Boltzmann.

Acest proces se repetă ori de câte ori numărul de straturi ascunse al reţelei a fost atins. Prin urmare, în cazul

în care un MLP necesită 3 straturi ascunse, SHOCID creează 3 maşini Boltzmann şi salvează

greutăţile(ponderile) de 3 ori. Frecvent, de la intrarea unui RBM la următorul nivel, s-ar putea să fie

activările medii sau probe de ,, unde este intrarea vizibilă RBM şi

este RBM-ul de mai sus.112

SHOCID aplică acesteia din urmă, ca intrare pentru un RBM o ascociere cu

ieşirea RBM-ului de mai jos. Primul RBM înaintează ieşirea asociată pe care o generează la vectorul de

intrare iniţial. Cu toate acestea, ultima maşină Boltzmann, care este folosită pentru a determina ponderile

din ultimul strat ascuns la stratul de ieşire al MLP, foloseşte pentru a detecta numărul de neuroni de ieşire

un număr de caracteristici. Vectorul de ieşire poate fi sau nu poate fi o matrice multidimensională, şi de

altfel este lipsit de importanţă până când ultima maşină Boltzmann nu a fost creată.

4.4.1.3 Normalizarea datelor pentru MLP

Normalizarea în cadrul MLP se întâmplă multiplicativ, conform implicitului în toate MLP-urile a

SHOCID:

( 4-22 )

unde x este valoarea de normalizat.

4.4.1.4 Prelucrarea MLP

Ca un ultim pas MLP-ul este creat în funcţie de numărul necesar de straturi şi neuroni. Fiecare strat ascuns

are acelaşi număr de neuroni ca stratul de intrare, ca în cadrul Boltzmann pre-antrenarea fiecărei valori a

unui vector de intrare este folosită pentru a crea o caracteristică.

4.4.2 Scop

Cercetarea empirică a arătat că deşi auto-asociaţia maşinilor Boltzmann nu reproduce exact valorile

prezentate de intrare, copierea de greutăţi a acestor reţele pre-formare care la finalul MLP-ului micşorează

intens numărul de iteraţii de formare necesare. În plus, aceste reţele nu necesită un număr mare de neuroni

pe strat ascuns pentru a fi capabile de a termina cu succes, formarea, deşi arhitectura reţelei poate fi de o

adâncime considerabilă. Mai mult, cercetările au arătat că astfel de reţele sunt foarte de succes în

prelucrarea datelor pentru care nu au fost antrenate.

4.4.3 Evoluţia

Mai mult, ca şi simularea hibridizării amorselor s-a dovedit că se ajunge la cele mai exacte soluţii în scurt

timp în corticalul ANN-ului, iar algoritmul SHOCID pentru evoluţia corticalului ANN-urilor este după

cum urmează:

Început

1. Repetă

a) Crearea unei maşini Boltzmann oferind neuroni în stratul de intrare şi

neuroni in stratul ascuns.

i. Selecţia iniţială de greutăţi RBM la întâmplare.

112Deeplearning.net (2012): Restricted Boltzmann Machines (RBM) [2012-08-28]; Deeplearning.net; URL: http://deeplearning.net/tutorial/rbm.html


artificiale

51

ii. Repetă

1. Setarea stărilor neuronilor de intrare la vectorul de învăţare , în timp ce

2. Pentru fiecare

neuron ascuns conectat la neuronul de intrare

stabileşte stările in funcţie de

3. Pentru fiecare

margine calculează

4. Pentru fiecare

neuron de intrare i conectat la neuronul ascuns stabileşte stările in funcţie de

5. Pentru fiecare

neuron ascuns conectat la neuronul de intrare i stabileşte stările in funcţie de

6. Pentru fiecare

marginea

a) Calculează

b) Actualizează greutatea lui funcţie de

iii. Până când criteriile sunt atinse

b) Copiază greutăţile din în matricea de greutăţi.

2. Până când numărul de straturi ascunse nh au fost atinse.

3. Crearea maşinii finale Boltzmann oferind neuroni în stratul de intrare şi noutput neuroni

in stratul ascuns.

2. Auto asocierea fiecărui vector de intrare al datelor de formare.

3. Copiază greutăţile din în matricea de greutăţi.

4. Crearea de MLP M cu neuroni ca neuroni de intrare, straturi ascunse fiecare oferind

neuroni şi neuroni în stratul de ieşire.

5. Repetă

a) Calculează ieşirea lui pentru valoarea


c) Calculează eroarea pentru fiecare neuron de iesire

d) Calculează eroarea pentru fiecare neuron ascuns

e) Repetă i. Creează un nou ANN şi alege aleator greutăţile în funcţie de T

ii. Calculează eroarea pentru fiecare neuron de iesire



artificiale

52



f) Până la maximul de încercări la care ajuns temperatura curentă

g) Scade temperatura

6. Până când temperatura inferioară este atinsă

Sfârşit

Algoritmul 8 – DB ca ANN

Detaliere:

: numărul neuronilor de intrare

: numărul neuronilor de ieşire

: numărul de straturi ascunse

: maşina curentăBoltzmann

: MPL-ul ce trebuie să fie antrenat

: intrarea actuală

: eroarea de intrare la ieşirea neuronului on în generaţia actuală


: RMSE permis

4.5 Rezumat

În capitolul patrus-au prezentat structurile recent dezvoltate de reţele neuronale artificiale, precum şi

algoritmi de învăţare şi paradigme în funcţie de stadiul actual al cercetării în domeniu. Verificarea de noi

paradigme demonstrează că o combinaţieîntre inteligenţa computaţională şi datele tipice de exploatare

dispune de un potenţial enorm. Foarte des, un inginer de software implicat în dezvoltarea unei soluţii de

exploatare de date nu poate fi sigur în cererea soluţiei finale. CI oferă mai multe abordări generice şi

abordări extrem de recomandabile pentru aplicarea în domeniul DM. Cum datele întotdeauna vor creşte şi

timpul disponibil va scădea, vor veni în prim-plan sisteme software capabile de a învăţa şi înţelege o

problemă declarată.

Sistemul SHOCID, aplică ordine înalte în inteligenţa computaţională şi în exploatarea de date.

5 Evoluţia concepută şi strategiile de învăţare Sistemul SHOCID este capabil de diferite abordări de învăţare, precum şi pentru a evolua soluţiile în

timpul procesului de învăţare. Cu toate acestea, deşi învăţarea şi evoluţia merg împreună, evoluţia poate fio

abordare de învăţare, sauun proces de susţinere pentru învăţare, atunci când arhitectura este în evoluţie.

Cum poate fi asta? Aceasta este, deoarece algoritmii genetici pot fi utilizaţi pentru învăţare, ei clasifică o

reţea de evoluţie neuronală artificială în învăţare. Cu toate acestea dacă un ANN, este capabil de adaptarea

arhitecturii sale printr-un proces de evoluţie arhitecturală cum este SHOCID evoluţia structurală sau

NEAT, nu înseamnă neapărat că trebuie să înveţe prin aplicarea algoritmilor genetici.

5.1 Evoluţia structurală

SHOCID este capabil de combinarea reţelelor neuronale artificiale la committee machine. Cu toate acestea,

prin aplicarea unei committee machine detectarea soluţiei dorite este foarte probabilă, dar din păcate nu şi

detectarea celei optime. La suma totală de date de formare, doar un procent este folosit pentru formare iar

seturile de date rămase sunt utilizate pentru verificarea soluţiei. Datorită verificării, aceasta poate, prin

urmare, determina cât de precis rezolvă o problemă prezentatămodelul creat DM. În cadrul SHOCID, acest

lucru se întâmplă prin aplicarea foarte des a RMSE. 113

Cele două abordări în cadrul SHOCID care aplică

113Neukart Florian et al. (2011): Problem-dependent, genetically evolving Data Mining solutions; Proceedings of DAAAM 2011, 2011 22nd World Symposium,

p. 1 ff.


artificiale

53

adaptarea arhitecturii unui ANN în cadrul procesului de evoluţie, sunt evoluţia structurală SHOCID şi

NeuroEvoluţia de sporire a tipologiilor. NEAT este limitat la a învaţa prin algoritmi genetici, întrucât

evoluţia structurală SHOCID poate fi şi este aplicată pentru orice abordare de pregătire dată pentru reţelele

neuronale artificiale feed-forward şi reţele recurente neuronalele artificiale. Cum evoluţia structurală

SHOCID este o nouă abordare de evoluţie, aceasta este explicată în detaliu în secţiunea următoare.

5.1.1 Fundamentele

Cu toţi algoritmii de învăţare, SHOCID determină numărul neuronilor de intrare în funcţie de numărul de

seturi de date de intrare şi se aplică formula descrisă în 4.1.1.2 - Numărul de neuroni - pentru a determina

numărul de neuroni ascunşi. Această primă reţea neuronală artificială serveşte pentru crearea unei populaţii

iniţiale. Pentru algoritmul de mai jos, aceasta înseamnă că SHOCID determină numărul neuronilor de

intrare şi ieşire conform datelor prezentate de formare. poate fi determinat automat, pe baza

numărului neuronilor de intrare . nu va depăşi 2, cum cu 2 straturi ascunse ANN-uri sunt capabile de

a reprezenta o limită de decizie şi precizie arbitrară cu funcţii de activare raţională şi poate aproxima orice

cartografiere netedă cu orice precizie. 114

Algoritmul arată că sistemul creează un număr de comitete ,

fiecare dintre acestea având n + 1 neuroni din stratul actual ascuns, comparativ cu ultimul comitet. Când

algoritmul a atins pentru stratul curent ascuns , al doilea strat ascuns, este creat, care reprezintă

simultan . Pentru , aceeaşi procedură constructivă pentru crearea de neuroni este abordată, cu

excepţia faptului că, pentru calcularea stratul ascuns este desenat. În faza de verificare, o

matrice este creată pentru fiecare comitet, care a crescut cu 1 atunci când a fost depăşit pentru setul de

date real. Cea mai bună soluţie este aceea cu cea mai scăzută valoare de matrice. Indivizii din această

populaţie iniţială sunt apoirecombinati şi mutaţi si se vor comporta ca un întreg în evoluţia unei singure

generaţii de indivizi. Ex. aplicarea unui algoritm genetic, selectat în funcţie de capacitatea lor, Funcţia de

fitness serveşte RMSE şi selecţia în funcţie de fitness în evoluţia structurală SHOCID înseamnă că 25% al

celui mai adaptat individ dintr-o generaţie care primeşte privilegiul de a se recombina. Mutaţia este

efectuată pe 10% din descendenţi. Cu toate acestea, s-a dovedit că în combinaţie cu SRANN-urile că

selecţia a 50% a celor mai adaptate persoane, combinate cu mutaţia urmaşilor intr-o proporţie de 25%

realizează cele mai bune convergeri a ANN pentru clasificarea şi predicţia de timp a seriilor de care este

capabil sistemul. Toata evoluţia procesului parţial prin urmare poate fi considerata ca o combinaţie de

incrementări si tăieturi selective si nu numai pe stratul de neuroni, dar si pe stratul ascuns. Ambele metode

de tăiere sunt abordări de încercare şi eroare pentru diagnosticarea numărului apropiat de neuroni ascunşi

pentru stratul ascuns al unui Ann-ului. 115

Algoritmul de tăieri incrementate de obicei creşte numărul de

neuroni de la un ANN cu un singur neuron ascuns până când au fost atinşi un număr specificat de neuroni

ascunşi. Tăierea selectivă elimină neuronii de la un ANN până când niciun neuron nu mai poate fi eliminat

sau creşte rata de eroare. Spre deosebire de cele menţionate, evoluţia structurală a SHOCID începe cu o

soluţie asumată optimă şi amândouă cresc şi scad neuronii ANN-urilor dar şi straturile până când au fost

atinse sau şi . În cazul aplicării evolutiei structurale a SHOCID cu NeuroEvoluţia,

recombinarea şi mutaţia se întâmplă în detaliu aşa cum se explică în 1.3.4 - Învăţarea genetică - prin

crearea de puncte de tăiere între cele create de matrici duble constă în greutăţile unei reţele. Evoluţia

structurală a SHOCID face uz de două puncte de tăiere, în timp ce primul este ales aleator, dar luând în

considerare faptul că primul punct de tăiere nu poate fi ales atât de departe pentru ca în matrice nu există

o secţiune suficient de lungă rămasă pentru a permite lungimii de tăiere să fie luată pe deplin, aşa cum a

propus cercetarea Heaton. 116

Al doilea punct de tăiere este situat la poziţia .

5.1.2 Algoritm

Atunci când se aplică evoluţia structurală SHOCID pentru un comitet de FFANN-uri, învăţarea de către un

algoritm genetic, sistemul necesită o problemă prezentată pentru a rula prin următorul algoritm:

Început

1. Crearea de populaţii de de ANN-uri cu mmin straturi ascunse, nmin neuroni ascunşi pentru fiecare

strat ascuns.

114 Heaton Research (2005 - 2011) The number of Hidden Layers [2011-28-09]; URL: http://www.heatonresearch.com/node/707 115Heaton Jeff (2008): Introduction to Neural Networks for Java, 2nd ed.; Chesterfield: Heaton Research, Inc., p. 213 ff. 116Heaton Jeff (2008): Introduction to Neural Networks for Java, 2nd ed.; Chesterfield: Heaton Research, Inc., p. 179


artificiale

54

2. Repetă

f) Se calculează ieşirea de reţea pentru valoarea

g) Evaluează fitness-ul pentru fiecare cromozom:

iii. Calculează eroarea pentru fiecare neuron on

iv. Calculează eroarea pentru fiecare neuron ascuns

h) Selecţia de cromozomi pentru a se recombina

i) Repetă i. Trecerea de cromozomi


j) Până când toţi cromozomii selectaţi au fost recombinaţi




13. Repetă

j) dacă n < nmax:

Creşte n cu cn

k) Crearea de populaţii de x ANN-uri cu mcm straturi ascunse, ncn neuroni ascunşi pentru

fiecare strat ascuns.

l) Randomizare de greutăţi şi valorile prag.

m) Repetă

j. Se calculează ieşirea de reţea pentru valoarea





iv. Repetă

12. Trecerea de cromozomi



n) Până criteriile sunt atinse

o) Determină calitatea valorii iniţiale a arhitecturii de reţea

p) Stochează calitatea valorii a arhitecturii iniţiale de reţea în matricea de calitate.

q) Verificarea


ii. Creşte matricea de eroare pentru RMSE > pentru fiecare set de date de verificare cu

1

r) dacă n == nmax: s) Creşte m cu cm

14. Până când mmax e atins 15. Compararea soluţiilor stocate de ANN prin calitate


Sfârşit

Algoritmul 9 - evoluţia structurală SHOCID

Detaliere:

: numărul de cromozomi

: numărul minim/maxim de straturi ascunse


artificiale

55

: numărul minim/maxim de neuroni de

: Contoare de neuroni ascunşi sau straturi

: intrarea actuală



: RMSE permis

şi sunt determinate pe baza numărului de intrari de neuroni. Ecuaţia

(5-1)

oferă numărul de neuroni ascunşi, care stau la baza determinării numărului minim şi maxim la care va veni

la evoluţie:

(5-2)

şi

(5-3)

Acelaşi lucru este valabil şi pentru stratul ascuns al doilea, dacă evoluţia este aplicată atât de departe, cu

diferenţa că toate numerele de neuroni al evoluţiei primului strat sunt stocate într-o matrice, care servesc ca

bază de calcul pentru nminşi nmax. Dacă, de exemplu, o soluţie din procesul de strat ascuns evolutiv prim are

trei neuroni ascunşi, evoluţia stratulului al doilea ascuns ia acest lucru ca nhşi calculează nminşi nmax din nou.

Algoritmul de asemenea, arată că prima rulare pentru a determina ANN-ul iniţial de calitate trebuie să fie

efectuat la început, imediat cum evoluţia începe.

5.1.3 Determinarea generică a calităţii reţelei artificiale neuronale

Calitatea unui ANN în algoritmii aplicaţi este, pe de o parte determinată de RMSE. Problema este că prin

acumularea de RMSE toţi neuronii de ieşire "nu sunt suficienţi pentru a fi capabili de a determina cea mai

bună reţea a unui proces evolutiv. Acest lucru poate fi explicat prin următorul algoritm:

Început

1. Iniţializează/ resetează calitatea valorilor globale q1,...,q10 şi q1,...,q10 cu 0

2. Repetă

a) Repetă i. Determinarea calităţii soluţiei curente (RMSE) şi stocarea valorii calităţii (eroarea

fiecărui neuron pentru fiecare set de date) în calitatea valorii totale pentru fiecare set

de date de intrare la:

b) Până când toate seturile de date au fost prezentate

i. Se calculează calitatea generală a arhitecturii curente luând în calcul RMSE

ii. Stocarea qoverall în matricea generală de calitate cu valoarea arhitecturii curente.

3. Până când evoluţia s-a terminat

4. Prezintă cea mai bună soluţie

Sfârşit

Algoritmul 10 - Determinarea calităţii

Detaliere:

q1,...,q10: valorile de calitate situate pe rezultate de calitate ale arhitecturii actuale de la 0.1 la 0.000000001

in: datele de intrare prezentate în seturile de date


artificiale

56

qcur: calitatea arhitecturii curente

qcom: calcul numitorului comun

qoverall: valoarea totală a calităţii arhitecturii actuale

m: multiplicatori predefiniţi, aplicaţi pe o eroare a fiecărui singur neuron in funcţie de locul zecimal

k: parametru de frecvenţă

Acest lucru poate fi explicat mai bine prin compararea a două reţele de A şi B, ambele având un neuron de

ieşire şi au fost prezentate patru seturi de date de intrare (Tabelul 1 - Determinarea calităţii).

Tabelul 1 - Determinarea calităţii

Input Dataset / Output Neuron RMSE ANN A RMSE ANN B

1 0.01 0.1

2 0.01 0.1

3 0.01 0.1

4 0.3 0.05

Acesta este în mod clar că A vine la rezultate mai bune pentru seturile de date de intrare 1, 2 şi 3. Cu toate

acestea, producţia a patra la ieşire prezintă o eroare de 30%, ceea ce este destul de mare. Când se încearcă

să se rezume sau când se calculează o valoare medie a tuturor RMSE-urilor a ambelor reţele, A va avea

rezultate mai bune decât B, deşi B ca un întreg se comportă mai bine decât A. Prin urmare, soluţia este de a

aplica algoritmul introdus. Pentru un ANN A, calitatea generală este

(5-4)

Pentru ANN B, calitatea generală este

(5-5)

unde r este sumarea RMSE-urilor pentru toţi neuronii de ieşire. Ecuaţiile de mai sus, conţin atât

multiplicatorii 10 şi 9, care sunt selectaţi considerând locul zecimal pentru fiecare eroare a neuronului.

Erori mai mari de 0,1 sunt multiplicate cu 10, erorile între 0,01 şi 0,1 cu 9, ..., erori între 1E-9 şi 1E-10 cu

1, ceea ce conduce la o cerere de determinare a calităţii cu erori de 0.000000001 sau 0.0000001%. Mai

departe o multiplicare se efectuează de către parametrul de frecvenţă, care simplifică şi este o diviziune

a numărului de zecimale, cu o zecimală specifică de multiplicare aferentă.

5.1.4 Parametrizarea

Cum evoluţia structurală SHOCID poate fi aplicată nu doar cu o singura metodă de învăţare,

parametrizarea depinde de abordarea aleasă, de exemplu, un algoritm genetic necesită, printre altele, o

dimensiune iniţială a populaţiei, şi propagarea înapoi printre altele adică un impuls.

5.1.5 Utilizare

Evoluţia structurală SHOCID poate fi aplicată cu fiecare feed-forward sau cu ANN recurente, deşi pentru

aplicaţia cu ANN recurente, cum ar fi SRANN, trebuie să fie luate în considerare straturile de context. În

plus, atunci când se aplică evoluţia structurală SHOCID trebuie să se considere că criteriul de oprire pentru

o evoluţie ANN nu trebuie să fie aceeaşi eroare pentru un număr de generaţii . Mai ales atunci când este

utilizat împreună cu SRANN, criteriul de oprire trebuie să fie un număr fix de generaţii până la un maxim

de 10.000 sau o eroare minimă permisă. Acest lucru se datorează faptului că SRANN (şi, uneori, alte

soluţii genetice) au tendinţa de a funcţiona extraordinar de bine (în special pe baza declaraţiilor problemă

de complexitate mai mică), ceea ce face o determinare calităţii reţelei (5.1.3 Determinarea generică de

calitate a unei reţele neuronale artificiale) imposibilă, precum şi calitatea tuturor arhitecturilor în întreaga

evoluţie tinde să devină zero.

5.2 NeuroEvoluţia transgenetică

NeuroEvoluţia transgenetică prin intermediul includerii ambilor simbionţi şi gena de transfer orizontală

este o abordare nouă în procesul de învăţare a reţelelor neuronale artificiale este nevoie de o explicaţie în

detaliu. Algoritmii transgenetici sunt folosiţi pentru efectuarea unei căutări stocastice prin simularea

interacţiunilor endosimbiotice între o gazdă şi o populaţie de endosimbionţi, precum şi schimbul de


artificiale

57

informaţii între gazdă şi endosimbionţi de către agenţi.117

Prin combinarea unei abordări de învăţare a

SHOCID cu un organism gazdă, servind ca piscină genetică şi vectorii transgenetici amândouă

performanţele de învăţare şi precizie pot fi crescute într-o măsură considerabilă. Un avantaj este că punerea

în aplicare a vectorilor transgenetici creşte masiv şansa de a duce la îndeplinirea criteriul de oprire, chiar şi

algoritmii de învăţare precum propagarea înapoi nu poate oscila sau se blocheze în minima locală ca

urmare a transferului inevitabil a materialului genetic al gazdei.

5.2.1 Fundamentele

Fundamentele biologice ale algoritmilor transgenetici pentru rezolvarea unor probleme combinatorice NP-

tare deja au fost elucidate în detaliu de Goldbarg & Goldbarg118

, dar trebuie adaptată pentru o evoluţie a

ANN. Ca şi în natură, relaţia dintre un organism gazdă şi un simbiont poate fi un avantaj pentru ambele

organisme, şi descendenţii împărtăşesc material genetic atât de la gazdă cât şi de la simbiont. Organismul

gazdă în SHOCID în cea mai mare parte serveşte ca bază de date genetice şi contribuie la soluţia finală cu

gena secvenţială. Endosimbiontul este soluţia reală, care este evoluată până când au fost îndeplinite

criteriile de oprire predefinite. Cu toate acestea, manipularea de material genetic endosimbiont nu se

întâmplă doar prin transfer genic orizontal (succesiune) de materialul genetic ci şi prin unele tipuri speciale

de mutaţie în cromozomii săi, sau în caz de populaţie pe bază de învăţare, genomurile. Ambele schimbări

în ADN-ul endosimbiotic sunt efectuate de agenţi, numiţi vectori transgenetici. SHOCID transgenetic al

NeuroEvoluţiei face uz de următoarele tipuri de vectori:

Plasmidele

o plasmidă de greutate

o plasmidă de structură

Transpozoni

o Transpozoni de salt si schimbare

o Transpozoni de salt si ştergere

Plasmidele sunt utilizate pentru transportul de informaţii genetice de la gazdă la endosimbiont, şi

transpozonii mutează materialul genetic al endosimbiontului. Figura 19 - NeuroEvoluţia transgenetică -

oferă o scurtă prezentare a modului în care funcţionează NeuroEvoluţia transgenetică.

117Abraham Ajith, Hassanien Aboul-Ella, Siarry Patrick, Engelbrecht Andries (2009): Foundations of Computational Intelligence Volume 3 Global Optimization;

Berlin Heidelberg: Springer-Verlag, p. 425 118Abraham Ajith, Hassanien Aboul-Ella, Siarry Patrick, Engelbrecht Andries (2009): Foundations of Computational Intelligence Volume 3 Global Optimization;

Berlin Heidelberg: Springer-Verlag, p. 425 ff.


artificiale

58

i1

i2

h1

h2 o1

w i1h1

wh2o1

wh1o1

h3

hn

on

in

wi1h2w

i1h3

wi1hn

w i2h1

w i2h2

wi2h3w

i2hn

win

h1

w inh2

winh3

winhn

wh1on

wh2on

wh3o1

wh3on

wh4

o1w h4on

h1

h2

w i1h1

wi1h2w

i1h3

wi1hn

w i2h1

w i2h2

w i2h2

wi2h3w

i2hn

win

h1

w inh2

winh3

winhn

Structure plasmid

Weig

ht p

lasmid

i1

i2

h1

h2 o1

w i1h1

wh2o1

wh1o1

h3

hn

on

in

wi1h2w

i1h3

wi1hn

w i2h1

w i2h2

wi2h3w

i2hn

win

h1

w inh2

winh3

winhn

wh1on

wh2on

wh3o1

wh3on

wh4

o1

wh4on

Gene sequence transfer

Gene sequence transfer

wh3o1

wh3on

wh4

o1

w h4on

J & S

Tran

sposo

n

wh3

o1wh3on

w h4o1

wh4on

Jump & Swap

Re-in

tegra

tion

Host genetic material

Endosymbiont

Figura 19 - NeuroEvoluţia transgenetică

Schema arată că partea stângă a gazdei, serveşte ca bază de date genetice pentru gena de transfer orizontal,

efectuată de agenţii vectorului plasmidă. O plasmidă de greutate pe partea stângă jos transportă o secvenţă

de greutăţi la endosimbiont, precum şi o plasmidă structurală la o gazdă mai sus,transferă greutăţile,

deviaţiile şi funcţiile de activare. Pe partea dreaptă un salt şi o schimbare a vectorului transpozon suferă

mutaţii cromozomiale de endosimbiont.

5.2.2 Materialul genetic al gazdei

Gazda în cadrul SHOCID constă în soluţii 'dure' la problema declaraţie, ceea ce înseamnă mai multe

populaţii fiecare constând în mii persoane, fiecare dintre ele fiind obiectul de continuă evoluţie. Prin

urmare, gazda nu este doar un organism, ci mii de organisme în populaţii diferite.

5.2.3 Endosimbiont

În termen de endosimbiont SHOCID este o soluţie simulată a hibridizării ANN, care simulează răcirea

metalului. Vectorii transgenetici sunt aplicaţi în timpul procesului de răcire simulat. Fiecare iteraţie creează

o nouă soluţie posibilă, şi fiecare soluţie nouă trebuie să suporte atacurile amândurora agenţilor vectoriali

atât a plasmidei cât şi a transpozonului pentru a vedea dacă poate fi găsită o soluţie mai bună.

5.2.4 Algoritm

Algoritmul de aplicare a NeuroEvoluţiei transgenetice este după cum urmează:

Început

1. Crearea de populaţii gazdă iniţiale cu indivizi.

2. Pentru fiecare repetă

a) Randomizarea de greutăţi şi valori de prag pentru fiecare cromozom.

b) Repetă

i. Se calculează ieşirea de reţea pentru valoarea



artificiale

59




iv. Repetă 1. Trecerea de cromozomi



c) Până criteriile sunt atinse

3. Până când evoluţia instabilă ( ) pentru fiecare a fost terminată.

4. Creează soluţia iniţială de ANN şi randomizarea greutăţilor.

5. Repetă



1. Calculează eroarea pentru fiecare neuron de ieşire


3. Setează

b. Repetă i. Creează un nou ANN şi alege greutăţi în funcţie de T





vi. Se aplică vectorul plasmidă

vii. Dacă este mai bun decât , înlocuim =

viii. Aplicăm vectorul transponzon

ix. Dacă este mai bun decât , inlocuim =

c. Până la maximul de încercări la care ajuns temperatura curentă

d. Scade temperatura

6. Până când temperatura ataşată e atinsă

Sfârşit

Algoritmul 11 - NeuroEvoluţia transgenetică

Detaliere:

nhp: numărul populaţiilor gazdă ce trebuie create

rrmse: rădăcina dură înseamnă eroarea pătrată

C(C): calculul soluţiei curente

C (S): calculul soluţiei iniţiale

C(P): calcul soluţiei plasmidei

C(T): calculul soluţiei tronspozonului


artificiale

60

Algoritmul arată că evoluţia materialului genetic al gazdei se efectuează numai aproximativ, până când

rădăcina dură adică eroarea pătrată a fost atinsă de evoluţia a populaţiei. În cadrul sistemului introdus acest

lucru este permis, RMSE-ul ce a trecut este înmulţit cu 10. Dacă RMSE permis este de 1%, duritatea

RMSE este de 10%.

5.2.5 Transfer genetic (secvenţă) orizontal (endosimbiotic)

Transferul orizontal de material genetic este transferul de material genetic de la gazdă la endosimbiont. De

fiecare dată când vectorul plasmidă este aplicat pe evoluţia endosimbiontului prezent, cea mai bună soluţie

actuală a populaţiei gazdă curente selectate este determinată şi serveşte ca gazda curentă. Vectorul

plasmidă selectează o secvenţă de gene de cromozomi gazdă, o copiază şi o transferă la endosimbiont.

Aplicarea vectorului plasmidă se întâmplă o singură dată în evoluţia iteraţiei ale endosimbiontului. După

cum s-a menţionat mai sus, cea mai bună soluţie actuală (= gazdă) este aleasă de la unul dintre populaţiile

gazdă, unde selecţia celui din urmă se întâmplă aleator, în funcţie de numărul de populaţii gazdă create.

Dacă iniţial au fost create trei populaţii gazdă, probabilitatea pentru fiecare din ele să fie selectate este de

1/3. După selectarea cromozomului gazdă, trebuie să fie determinată secvenţa de gene relevante, care, de

asemenea, se întâmplă aleator. Pentru algoritmii transgenetici a SHOCID este important ca gazda şi

endosimbiontul constau din acelaşi număr de gene, cum pentru secvenţa transferului orizontal de gene

determină lungimea cromozomilor care este luată în considerare. După ce a fost stabilită lungimea

cromozomilor selectaţi, un început aleator şi punctul final este creat, care include secvenţa transferului

genei. Acelaşi punct de început şi sfârşit este folosit pentru a şterge secvenţa de gene în endosimbiont.

Golul este apoi umplut cu secvenţa transferului genetic ai gazdei. Cu toate acestea, atât vechea şi noua

soluţie este apoi comparată în funcţie de calitatea lor şi dacă transferul s-a dovedit a fi evolutiv rezonabil,

noua soluţie va forma baza pentru evoluţia ulterioară, dar dacă nu, transferul genic este reîntors. Aşa cum s-

a menţionat în fundamente, există două tipuri de plasmide. Aplicarea uneia sau a celelalte se întâmplă în

mod aleatoriu cu o probabilitate de 1/2 pentru fiecare.

5.2.5.1 Plasmida de greutate

Greutatea plasmidei ia doar greutăţi între neuronii din considerare. Aceasta înseamnă că o secvenţă de

transfer constă doar în greutăţi, dar nu conţine funcţii de activare sau distorsiuni. Următorul exemplu arată

aplicarea unei plasmide de greutate.

Lungimea cromozomului gazdă este determinată şi o secvenţă aleatoare este selectată:

(5-6)

Cromozomul gazdă are lungime 15, şi secvenţa transferului genei începe cu gena 6 şi se termină cu gena

12. Aceeaşi secvenţă este apoi selectată în endosimbiont:

(5-7)

După aceea, secvenţa de genă endosimbiotică este ştearsă şi înlocuită cu secvenţa de gene gazdă, care

formează un cromozom descendent:

(5-8)

5.2.5.2 Structura plasmidei

Structura plasmidei, în contrar cu plasmida de greutate, conţine toate funcţiile de activare şi acoperă

deviaţiile valorilor secvenţiale de transfer. Acest lucru necesită populaţiilor gazdă diferite sa folosească

funcţii diferite de activare ca un transfer al acestora dacă nu ar fi inutil. Valorile deviaţilor în cadrul

SHOCID evoluează independent în fiecare cromozom din fiecare populaţie gazdă, precum şi în

endosimbiont. SHOCID are grijă atât de funcţiile de activare cât şi de valorile deviaţiilor - nu este nevoie

să interfereze cu sistemul. Exemplul pentru plasmida structurală este acelaşi, cu excepţia faptului că

secvenţa genei conţine, de asemenea, valorile deviaţiilor şi funcţiile de activare. Lungimea cromozomului

gazdă este determinată şi este selectată o secvenţă aleatorie:

(5-9)

Cromozomul gazdă are lungimea de 15, iar secvenţa transferului de gene începe cu gena 6 si se termină cu

gena 12. Diferenţa este aceea că cromozomul de mai sus conţine, de asemenea, informaţiile neuronului, şi

anume funcţiile menţionate de activare şi valorile de deviaţie ale gazdei.

Aceeaşi secvenţă este apoi selectată în endosimbiont:


artificiale

61

(5-10)

Ulterior, secvenţa genei endosimbiontului se şterge şi se înlocuieşte cu secvenţa genei gazdă, care formează

cromozomul descendent:

(5-11)

5.2.6 Mutaţie transpozon

Aşa cum s-a menţionat în fundamente, mutaţia transpozonului nu transferă secvenţele genetice de la gazdă,

dar modifică informaţia genetică în endosimbiont. Ca şi vectorii plasmidei aplicarea vectorilor

transpozonici se întâmplă o singură dată într-o iteraţie evolutivă a endosimbiontului. Un vector transposon

selectează o secvenţă a genei din endosimbiont şi face o mutaţie în funcţie de tipul de transpozon. Din nou,

atât soluţiile vechi cât şi cele noi sunt apoi comparate în funcţie de calitatea lor iar dacă mutaţia

demonstrează ca este evolutiv rezonabilă, noua soluţie va forma baza pentru evoluţia ulterioară, însă dacă

nu, secvenţa mutaţiei de genă este dată înapoi. Aşa cum s-a menţionat în fundamente, există două tipuri de

transpozoni. Aplicarea fiecărui tip de vectori transpozoni depinde de secvenţa genelor selectate aleatoriu în

cromozomul endosimbiotic.

5.2.6.1 Transpozonii de salt si schimbare

După ce lungimea cromozomilor endosimbiotici a fost determinată, un punct de start aleator şi un punct

final sunt create, care includ o secvenţă de genă. Dacă secvenţa de gene constă în două gene, vectorul

transpozonilor de salt şi schimbare este aplicat şi două gene selectate sunt schimbate. Lungimea

cromozomilor ai simbiontului este determinată şi o secvenţă aleatoare este selectată:

(5-12)

Cromozomul gazdă are lungime 15, şi secvenţa de transfer a genei începe cu gena 6 şi se termină cu gena

8. Transpozonul poate fi doar un vector de salt şi schimbare, atunci când lungimea de secvenţa a genei

selectate nu depăşeşte 2. Aceste două gene sunt apoi schimbate, şi formează un cromozom descendent:

(5-13)

5.2.6.2 Transpozon de salt şi de ştergere

În cazul în care lungimea secvenţei genei aleatoare depăşeşte doi, se aplică transpozonul de ştergere şi de

salt. În principiu, acesta funcţionează similar cu transpozonul de salt şi schimbare, cu excepţia faptului că o

gena selectată aleatoriu în cromozom este eliminată şi înlocuită cu o alta aleasă aleatoriu din secvenţă.

Lungimea cromozomului simbiont este determinată şi este selectată o ordine aleatoare:

(5-14)

Cromozomul gazdă are lungimea 15, iar secvenţa transferului de gene începe cu gena 6 si se termină cu

gena 2. Transpozonul poate fi doar un vector de ştergere şi de salt, atunci când lungimea secvenţei genei

selectate depăşeşte 2. În această secvenţă de gene, este o genă selectată la întâmplare şi ştearsă, de exemplu

gena numărul 7:

(5-15)

O altă genă este selectată în mod aleatoriu pentru înlocuirea celei lipsă, în următorul caz gena numărul

10, care formează cromozomul descendent:

(5-16)

5.2.7 Utilizare

NeuroEvoluţia transgenetică poate fi aplicată cu fiecare tip de soluţie ANN, atâta timp cât există atât o

gazdă cât şi un endosimbiont. Este crucial să reprezinte cromozomii şi secvenţele genetice, ca o matrice de

valori, astfel încât transferul şi mutaţia să poată să fi efectuate.

5.3 Imunitatea artificială a sistemului-inspirat NeuroEvoluţie

Sistemul imunitar artificial (AIS), bazat pe NeuroEvoluţie este o combinaţie a unui algoritm de învăţare

genetic şi punctele forte ale unui sistem imunitar artificial, care scade numărul de generaţii necesare pentru

găsirea unei soluţii potrivite într-o masă mare. Acest lucru este realizat printr-o combinaţie de selecţie

clonală şi printr-o hipermutaţie somatică, selecţia negativă şi includerea teoriei pericol în ciclul de evoluţie

al fiecarei populaţii. În plus, cauzalitatea joacă un rol mai important în cadrul paradigmei, cum şi soluţia

populaţiei nu se schimbă din generaţie în altă generaţie, dar, de asemenea, într-o singură generaţie. Pentru

sistemul imunitar, bazat pe operaţiuni contează numai persoanele generaţiei actuale. Mai mult decât atât,

intrările-şi ieşirile unei populaţii în considerare folosesc pentru învăţare într-adevăr o semnificaţie, sau cu


artificiale

62

alte cuvinte de-a lungul timpului nu au o semnificaţie, pentru evoluţia genetică a indivizilor unici

(cromozomi). Cu toate acestea, toate sistemele imunitare pe bază de operaţiuni nu trebuie să considere

acestea, deoarece numai populaţiile actuale contează. Aceasta, ca un întreg, permit conectarea la unul

nou,în cadrul acestei teze prin introducerea paradigmei ANN la conştiinţa-inspirată ANN (4.1.2 Reţea

neuronală corticală artificială).

5.3.1 Fundamentele

Sistemul artificial imunitar (AIS) poate fi descris cel mai bine atunci când se face clasificarea în funcţie de

aplicarea lor. AIS poate fi:

Modele de sisteme biologice imunitare, aşa cum reţelele neuronale artificiale sunt modele simple

ale celor biologice, care pot fi utilizate de imunologi pentru explicaţii, activităţi de experimentare şi

predicţie.

Abstracţii de unul sau mai multe procese imunologice. Din moment ce aceste procese încercă să

protejeze de ex oamenii de la entităţile biologice şi biochimice periculoase, acesta a fost motivat că

acestea pot fi computaţional utile.119

Acesta din urmă este de un interes special pentru teză şi prototipul SHOCID. Mai mult, nu doar o singură

soluţie este creată în timpul antrenamentului, dar populaţiile de soluţii, care permit în primul rând evoluţia

soluţiilor a paradigmelor deja cunoscute ale evoluţiei genetice, sunt:selecţia, împerechereaşimutaţia.

În plus, operatorii imunologici sunt efectuaţi o dată la fiecare generaţie pe populaţia curentă. Astfel, fiecare

individ din fiecare populaţie în considerare este supus schimbării continue, în cazul în care este suficient de

puternic pentru a depăşi selecţia naturală şi de a supravieţui invazii altor populaţii. Operaţiunile bazate pe

AIS care se efectuează sunt:selecţia clonală,hipermutaţia somatică, teoria pericoluluişiselecţia negativă.

Operaţiunile din urmă, de asemenea, nu se întâmplă oricum, ci o dată la fiecare generaţie de indivizi. Cu

toate acestea, există un eveniment suplimentar care este probabil să apară şi care influenţează mărimea şi

structura populaţiilor, în special o infecţie cu viruşi. Un virus reduce numărul de indivizi într-o populaţie,

în caz contrar selecţia clonală. Astfel, mecanismele pentru controlul dimensiunii populaţiei trebuie să fie

puse în aplicare. Aceste mecanisme sunt: eliminarea indivizilor,hiperrecombinaţia şicontrolul naşterii.

Cum selecţia naturală are loc numai din generaţie în generaţie, şi nu în cadrul unei generaţii, o parte din

procesele imunologice, cum ar fi selecţia clonală, ar creşte numărul de populaţie peste valoarea iniţială,

care serveşte ca un prag al numărului populaţiei şi nu trebuie să fie depăşit în cadrul SHOCID. Potrivit cu

aceasta, numărul de prag va fi depăşit şi de asemenea trebuie să servească ca valoare pentru operatorul de

eliminare, care apoi elimină exact acest număr de persoane începând de la persoana care posedă cea mai

proastă calitate. Hipercombinaţia este iniţializată atunci când mărimea unei populaţii a scăzut rapid din

cauza unui atac de virus şi întotdeauna lucrează împreună cu controlul naşterilor, precum şi

hipercombinaţia într-o populaţie este permisă numai atâta timp cât pragul numărului populaţiei nu a fost

depăşit. În plus, aceasta este o parte a teoriei pericolului explicată mai jos, unde indivizii slabi care au

decedat de moarte nenaturală din cauza unui atac de virus sunt înlocuiţi de cei puternici. Pragul numărului

populaţiei este stabilit ca şi ţintă şi este de a evolua în permanenţă o populaţie faţă de o super-populaţie,

fiecare individ unic constând din material genetic valoros.

5.3.2 Selecţia clonală şi hipermutaţiile somatice

Potrivit teoriei selecţiei clonale a lui Burnet din 1959,120

repertoriul sistemului imunitar este supus unui

mecanism de selecţie în timpul vieţii individului. Teoria afirmă că prin legarea cu un antigen adecvat, are

loc activarea limfocitelor. Odată activat, clonele limfocitelor sunt produse exprimând receptori identici cu

limfocitele originale, care au întâlnit antigenul. Astfel, apare o expansiune clonală a limfocitelor originale.

Acest lucru asigură că doar limfocitele specifice pentru activarea unui antigen sunt produse în număr mare.

Teoria selecţiei clonale, de asemenea, a declarat că orice limfocită având receptori de antigen molecule

specifice ale organismului corpului propriu trebuie să fie şterse în timpul dezvoltării sale. Acest lucru

asigură că doar antigenii de la un agent patogen ar putea provoca o limfocită pentru a o extinde prin clonare

şi, astfel, se obţine un răspuns imun adaptativ distructiv. În acest sens, sistemul imunitar poate fi privit ca

un clasificator de antigeni fie în fiecare antigen de sine sau antigen de non-sine, presupunând că este de la

119Garrett Simon M. (2005): How Do We Evaluate Artificial Immune Systems?; Evolutionary Computation 13(2): 145-178 120Burnet Frank M. (1959): The Clonal Selection Theory of Acquired Immunity. Cambridge University Press


artificiale

63

un agent patogen şi, astfel, trebuie să fie eliminat din organism.121

În plus, trebuie să menţionăm că mutaţia

este descrisă ca hipermutaţie somatică, care prevede că factorul de mutaţie este mult mai mare decât în

procedurile obişnuite de mutaţie. Astfel, teoria de selecţie clonală explică modul în care limfocitele (B şi T)

sunt activate prin legarea acestora la antigeni adecvaţi. Odată ce această activare s-a întâmplat, aceste

limfocite speciale sunt clonate de către un factor - cu cât mai bun este răspunsul la un antigen, cu atât

factorul de clonare va fi mai mare. Cu cât mai mic este răspunsul lor, cu atât mai slab este factorul de

clonare, care asigură faptul că sistemul imunitar produce într-o cantitate mare numai limfocite specifice

unui antigen. În cadrul algoritmului propus, selecţia clonală în cadrul unei populaţii se întâmplă o dată în

fiecare generaţie de indivizi. Cu alte cuvinte, selecţia clonală este aplicată înainte de toţi operatorii genetici

si operaţiile au fost aplicate pe o populaţie luată în considerare. După fiecare generaţie calitatea celei mai

bune soluţii este determinată, de exemplu, prin calcularea rădăcinii la pătrat unitare medii de eroare în

conformitate cu 5.1.3 Determinarea generică a calităţii reţelei neuronale artificiale sau alte măsurători de

întreţinere pentru fiecare individ. Fiecare individ care nu îndeplineşte cerinţa minimă de fitness este

eliminat din populaţie. Populaţia rămasă este apoi ridicată din nou de clone ce aparţin genomului celui mai

performant din populaţia rămasă. Să presupunem că numărul de indivizi intr-o populaţie este de 5.000 şi

2450 nu îndeplinesc cerinţele minime de calitate. Aceştia sunt apoi eliminaţi, astfel încât rămân doar 2550

indivizi in populaţie. Cel mai performant individ este apoi clonat şi mutat de 2450 de ori, ceea ce ridică din

nou numărul de genomi din populaţie la 5.000. De aceea, individul cel mai performant şi clonele sale ar

face apoi aproape o jumătate din populaţia totală. Cu toate acestea, cum numărul mare de indivizi identici

genetic reduce versatilitatea unei populaţii, fiecare dintre aceste clone este mutată fie printr-un factor de

mutaţie standard slăbit pentru ca materialul genetic avansat sa fie conservat. Pentru asta, algoritmul pur

şi simplu împarte mutaţia standard a factorului cu doi. Desigur, aleatoriu joacă un rol doar cu un factor

în care mereu va fi creată aceeaşi clonă. Formula arată valoarea unei singure gene a cromozomului după

mutaţia slăbită:

(5-17)

unde este valoarea genei după mutaţie şi valoarea genei înainte de mutaţie; este un număr

aleatoriu. A doua jumătate a clonelor trebuie să se supună hipermutaţiei somatice, ceea ce înseamnă că

materialul genetic de bază rămâne acelaşi, dar este mutat cu un factor mai mare, care trebuie să fie definit

separat. Hipermutaţia se realizează în acelaşi mod ca mutaţia slăbită, singura diferenţă fiind că mutaţia

factorului este mai mare. Pentru SHOCID, este majorat cu jumătate. Ceea ce trebuie să fie luat în

considerare la urma urmei este mărimea pragului populaţiei, care nu este niciodată depăşit din cauza unor

eliminări controlate a indivizilor. Referindu-se la exemplul de mai sus şi la evoluţia genetică standard,

selecţia naturală are loc numai din generaţie în generaţie, dar nu în termen de o singură generaţie. În plus,

pe măsură ce populaţia constă într-un număr mai mare de indivizi de înaltă calitate, în comparaţie cu

evoluţia genetică standard, procentajul să se împerecheze, a fost majorat de asemenea de la standardul de

25% la 50% pentru un AIS-inspirat al NeuroEvoluţiei, cel puţin până la 80% din seturile de date de intrare

ale unei declaraţii a problemei-DM au fost cu succes învăţate în conformitate cu funcţia de fitness. După

aceea, acesta este redus la 25%, pentru a permite populaţiei să păşească uşor spre succesul de învăţare.

5.3.3 Teoria pericolului, atacul virusului şi hiperecombinaţia

Teoria pericolului122

a fost iniţial propusă în 1994, şi de atunci a devenit populară în rândul imunologilor ca

o explicaţie pentru dezvoltarea toleranţei periferice (toleranţă la agenţii din afara gazdei). Rezumând, teoria

pericolului susţine că celulele antigen-prezentate (APC) se activează singure prin intermediul unei alarme:

un semnal de pericol, care le permite să furnizeze necesarul de semnale co-stimulatoare la celulele

ajutătoare T care controlează ulterior răspunsul imun adaptativ. Semnalele de pericol sunt emise de celulele

obişnuite ale corpului care au fost rănite din cauza unui atac de agent patogen, de exemplu, ar putea oferi

astfel de semnale a conţinutului intra-celular eliberat ca urmare a celulelor moarte necontrolate (necrotice).

Astfel de semnale sunt detectate de către celulele specializate ale sistemului imunitar înnăscut numite

celule dendritice, care par să aibă trei moduri de funcţionare: imatur, semi-matur si matur. În starea

dendritică a celulelor imature se colectează antigen, împreună cu semnalele de siguranţă şi pericol din

121 AISWeb (2012): Immune-Inspired Algorithms [2012-03-13]; AISWeb; URL: http://www.artificial-immune-systems.org/algorithms.shtml 122Matzinger P. (2002): The Danger Model: A renewed sense of self. Science, 296(5566): 301–305


artificiale

64

mediul său local, cum ar fi microorganisme patogene asociate modele moleculare (PAMP) şi citocine

inflamatorii. Celula dendritică este capabilă să integreze aceste semnale pentru a fi în măsură să decidă

dacă mediul este sigur sau periculos. Dacă este în condiţii de siguranţă, celulele dendritice devin semi-

mature şi la prezentarea antigenului la celule T de celule dendritice va duce la celulele T de toleranţă. Dacă

este periculos, celulele dendritice devin mature şi provoacă ca celula T-reactivă să devină reactivă pe

antigenul-prezentare.123

De aceea, teoria pericolului explică modul în care funcţionează răspunsul imun la celulele nocive şi de ce

alte bacterii care nu sunt dăunătoare nu sunt atacate. Indiciul este că celulele stresate au un fel de semnal de

alarmă. Celulele pot muri în două moduri: prin moarte apoptotică, moarte normală care a fost solicitată de

către sistemul de semnalizare intern al organismului, sau prin necroză, o formă de moarte neaşteptată

cauzată de ceva ce nu este în regulă cu celula, care provoacă de multe ori un răspuns inflamator.

Matzinger124

a sugerat faptul că sistemul imunitar este activat particular prin necroză celulară.125

Teoria

pericolului în cadrul algoritmului introdus funcţionează similar cu paradigma naturală, pentru că persoanele

infectate sunt eliminate din populaţie prin operaţii pe bază de AIS. Infecţia se întâmplă prin intermediul

unui virus, sau în termeni SHOCID, prin operatorul virus. Operatorul virus atacă doar indivizi speciali, şi

anume cei slabi, întrucât nu deranjează indivizii puternici. Acum întrebarea este ce califică un individ ca

fiind puternic sau ce îl face slab? Din nou, puterea este determinată de o funcţie de fitness al individului în

cauză (în cazul SHOCID este mentionat RMSE). Operatorul virus, prin urmare, afectează şi elimină toţi

indivizii sub o calitate specifică, care sunt de calitatea cea mai proastă performanţă a unui individ din

populaţia trecută. Prin urmare, operatorul virus al teoriei pericol nu poate lovi până ce a doua generaţie a

fost creată, precum şi RMSE unificat al celui mai slab individ din prima generaţie serveşte la eliminarea

pragului pentru virus. Toţi indivizii eliminaţi trebuie sa fie înlocuiţi, precum şi dimensiunea finală a

fiecarei generaţii a populaţiei trebuie să fie aceeaşi ca mărimea populaţiei iniţiale. Astfel, se aplică un alt

mecanism de control al dimensiunii populaţiei, numit hiperrecombinaţie. Hiperrecombinaţia se întâmplă

doar în cadrul unei populaţii, cum ar fi selecţia clonală şi hipermutaţia somatică motiv pentru care toate

persoanele rămase ale populaţiei decimate de virus primesc privilegiul de a se recombina, în mod contrar

cu recombinarea generaţilor standard ,unde doar un anumit procent din cei mai buni îl primeşte.

Recombinarea apoi se întâmplă aleatoriu şi, atâta timp cât permite controlul naşterilor, sau în alte cuvinte,

sau atâta timp cât pragul numărului populaţiei nu a fost depăşit.

5.3.4 Selecţia negativă

Selecţia negativă a fost introdusă de Forrest126

în 1994 şi se referă la procesul de ştergere a limfocitelor

autoreactive, care este numit ştergere clonală şi se realizează printr-un mecanism numit selecţie negativă

care operează pe limfocite în timpul lor de maturizare. Pentru celulele T acest lucru apare în principal în

timus, care oferă un mediu bogat în antigenul celulelor prezentate care prezintă antigenii de sine. Celulele

T imature de care se leagă puternic aceste auto-antigeni suferă o moarte controlată (apoptoza). Astfel,

celule T ce supravieţuiesc acestui proces ar trebui să fie nereactive la antigenii de sine. Proprietatea

limfocitelor ca să nu reacţioneze la sine este numită toleranţă imunologică.127

Astfel, teoria selecţiei

negative afirmă că limfocitele autoreactive sau periculoase sunt eliminate în loc să li se permită să se

maturizeze. În cadrul SHOCID, testele reacţiei de sine sunt efectuate cu fiecare nouă soluţie copil originară

din două soluţii de tip părinţi în generaţia întinsă standard de recombinare. Fiecare individ nou trebuie să

arate reacţia sa faţă de un operator selecţie negativă, care apoi marchează o soluţie precum ştergerea

candidatului pentru operatorul de eliminare sau să-l lase neatins. În cadrul SHOCID, operatorul selecţie

negativă verifică dacă un nou-născut individual este de calitate (conform 5.1.3 Determinarea generică de

calitate a reţelelor neuronale artificiale) este sub un prag dinamic calculat şi anume valoarea calităţii cea

mai slabă a genomului a calităţii erorii de ultima generaţie , care de asemenea găseşte

aplicarea în cadrul teoriei pericolului. Soluţii cu o calitate sub acest prag nu ar supravieţui foarte mult timp,

123 AISWeb (2012): Immune-Inspired Algorithms [2012-03-14]; AISWeb; URL: http://www.artificial-immune-systems.org/algorithms.shtml 124Matzinger P. (2002): The Danger Model: A renewed sense of self. Science, 296(5566): 301–305 125Garrett Simon M. (2005): How Do We Evaluate Artificial Immune Systems?; Evolutionary Computation 13(2): 145-178 126 Forrest S., Perelson A. S., Allen L., Cherukuri R. (1994). Self-nonself discrimination in a computer. In Proceedings of 1994 IEEE Symposium on Research in

Security and Privacy, 132–143 127 AISWeb (2012): Immune-Inspired Algorithms [2012-03-13]; AISWeb; URL: http://www.artificial-immune-systems.org/algorithms.shtml


artificiale

65

dar dacă sunt selectate pentru ştergere înainte ce se aplică evoluţii viitoare, locul este dat pentru noi soluţii.

Împerecherea continuă atâta timp cât are nevoie să ajungă la pragul numărului populaţiei, la fel cum mulţi

indivizi sunt selectaţi negativ. Să presupunem, că pragul numărului populaţiei este de 10, iar evoluţia de la

populaţia iniţială la un punct în timp t la populaţia la punctul în timp t +1 produce 3 soluţii , cu o valoare

de calitate de sub calitate , apoi generaţia la t +1 ar consta numai din 7 indivizi. Astfel,

calitatea indivizilor noi-născuţi este verificată după fiecare recombinare de doi cromozomi părinţi şi, în

cazul în care criteriile de selecţie sunt îndeplinite se aplică selecţia negativă. Cu toate acestea, evoluţia

continuă până atunci pragul de 10 este atins din nou, şi nu până atunci când noua generaţie este pregătită

pentru evoluţii viitoare. Ca valoare este necesară, de selecţia negativă care nu poate fi

aplicată până la a doua generaţie. La o prima vedere s-ar putea spune că nu este nevoie de aplicarea

selecţiei negative, după cum teoria pericol elimină, de asemenea, indivizii de calitate inferioară. Cu toate

acestea, în cazul în care soluţii foarte slab performante sunt eliminate din populaţie, cât mai curând posibil,

aşa cum se întâmplă cu selecţia negativă, atunci calitatea generală a unei populaţii este crescută în avans.

5.3.5 Algoritmul general

Astfel, algoritmul de ansamblu ca o combinaţie a tuturor paradigmelor şi a metodelor menţionate este, după

cum urmează:

Început

1. Creează o populaţie ANN iniţială şi randomizează greutăţi.

2. Repetă


b) Evaluează fitness-ul pentru fiecare cromozom:

Calculează eroarea pentru fiecare neuron de iesire

Calculează eroarea pentru fiecare neuron ascuns

c) Selecţia de cromozomi pentru a se recombina

d) Repetă i. Trecerea de cromozomi


========================Selecţia negativă===================

iii. Verifică calitatea urmaşilor

iv. Dacă calitatea urmaşilor actuali < 0.1

1. Elimină urmaşul actual

2. Repetă Se recombină cromozomii selectaţi din nou

3. Până când calitatea urmaşilor actuali < qualitycworst(t-1)

e) Până când toţi cromozomii selectaţi sunt recombinaţi

f) Setează

=================== Selecţia clonală & hipermutarea ===============

a) Determină cel mai bun cromozom de

b) Pentru fiecare c de C(C) i. Determină calitatea

ii. Dacă curentul cromozomului este sub minimul de fitness

elimină din C(C)

c) Până când s-a întâmplat clonarea de ori

d) Repetă

iii. Clona

iv. dacă clona actuală are număr par

Mutaţia slăbită de

v. altfel


artificiale

66

Hipermutaţie de

e) până când mărimea populaţiei iniţiale a fost restaurată

==============Teoria pericolului, atacul virusului şi hiperrecombinarea===========

a) Stochează calitatea valorii ale celor mai proaste performanţe individuale iworst

b) dacă generaţia > 1

i. Pentru fiecare 1. Compară calitatea c(t) cu cworst (t-1)

2. Dacă qualityc(t) mai rea decât qualitycworst(t-1)

ii. Repetă

1. Trece peste toţi cromozomii (hiperrecombinarea)

2. Mutarea hiperrecombinată a urmaşilor

ii. Până când pragul numărului de populaţii a fost atins din nou

3. Până când criteriile sunt îndeplinite

Sfârşit

Algoritmul 18 - Sistemul imunitar inspirat NeuroEvoluţie

5.3.6 Cauzalitatea

Mai mult decât în alte abordări evoluative, cauzalitatea joacă un rol major atunci când se aplică sistemului

imunitar-inspirat de NeuroEvoluţie, se aplică nu numai evoluţia standard dar şi evoluţia actuală. Pentru o

astfel de evoluţie, indivizii, operatorii genetici şi operaţiile se bazează pe sistemul imunitar. Nu este

important, ce intrări sunt sau ce persoane sunt dispuse sa înveţe. Aceasta este trecerea la Katz şi teoria lui

despre cum se reduce funcţionalismul. Premisa cheie a reducerii funcţionalismului, astfel cum se explică în

cadrul 4.1.2 - Reţele corticale neuronale artificiale - sunt singura cauză care contează în determinarea

conţinutului conştienţei. Astfel, doar conexiunile curente de neuroni în cadrul populaţiilor contează pentru

mai multe dintre operaţiunile efectuate. Nu este important, care sunt intrările şi ieşirile pentru fiecare

cromozom contează doar existenţa şi capacitatea lor de manipulare.

5.3.7 Utilizare

AIS-ul a inspirat NeuroEvoluţia care poate fi aplicată cu orice ANN feed-forward sau recurent. Ca o

abordare de învăţare genetică, performanţă de învăţare puternică depinde de dimensiunea genetică (o

piscină mai mică va necesita mai multe generaţii pentru construirea soluţiei dorite în timp ce o piscină

genetică mai mare va funcţiona mai bine în termeni de generaţii, dar mai rău în termeni de calcul timp).

6 O abordare de calcul cuantic Prin intermediul reţelelor neuronale artificiale cuantice cercetarea oferă o perspectivă asupra învăţării

cuantice, cum mai devreme sau mai târziu computerele cuantice vor înlocui maşinile clasice von

Neumann. Deşi introducerea reţelei neuronale artificiale cuantice este clasic pentru feed-forward ANN-ul

foloseşte efectele mecanicii cuantice. Deşi formarea de astfel de maşini von Neumann este destul de lentă

si se poate aplica practic, astfel pot fi utilizate pentru a simula un mediu potrivit pentru calculul cuantic, aşa

cum teorema stabilită necesită dovezi. Aceasta este rezultatul a ceea ce s-a realizat în faza de cercetare.

6.1.1 Sistemul cuanticelor

Există mai multe aspecte importante în mecanica cuantică, care sunt de folos pentru informatica cuantică,

care trebuie să fi elucidate în detaliu. Practic, o reţea neuronală artificială cuantică (QANN) este definită ca

un sistem fizic al cărei apariţii multiple (reţele componente) sunt instruiţi în conformitate cu un set de

modele de interes. Astfel, este un sistem fizic instanţial dintr-un set de parametri fizici,128

care nu este

diferit de alte sisteme fizice. Cu toate acestea, prima distincţie apare în procesarea informaţiilor. În cazul în

care în informaţia clasică a computerului este procesată în biţi pe cel mai granular nivel, informaţiile unite

pe un computer cuantic fac uz de sunt biţi cuantici, exprimate Qbits, unde autorul utilizează aceleaşi idei ca

fizicianul David N. Mermin, care refuză să utilizeze abrevierea qubit. Într-un sistem de două stări cuantice,

starea şi , care la prima vedere arată similar cu stările clasice o calculatorului von Neumann (0 şi 1),

128 Singh Gurwinder (2009): Quantum Neural Network Application for Weather Forecasting; Thapar: Thapar University


artificiale

67

constituie baza. Suprapunerea a două stări independente este informaţia ce conţine un Qbit, care este

descrisă ca

(6-1)

în cazul în care probabilitatea amplitudinilor şi , care propune probabilitatea că Qbit este fie asociat cu

una sau cu cu celelalte stări, sunt numere complexe care în puterea pătratică trebuie să se rezume la unitate:

(6-2)

Astfel, starea asociată cu un Qbit poate fi orice vector unitate în spaţiu vectorial bidimensional calibrat

de şi peste numere complexe, în care şi sunt două numere complexe limitate numai de cerinţa

că , ca şi , trebuie să fie un vector unitate în spaţiul vectorial complex. În plus, în prealabil

indicat, despre un Qbit nu se poate spune ca are o valoare, el este asociat cu o stare în contrar cu un bit

clasic, care poate fi spus că are o stare concretă.129

Un sistem cuantic compus din n Qbiţi are stări

independente obţinute prin produs tensorial abordat deja de vectorul spaţiu complex. Este important să ştim

că spaţiul sistemelor cuantice cu funcţia de undă există în spaţiul Hilbert, care constă într-un set de stări .

Astfel, un sistem cuantic poate fi, de asemenea, descris de

(6-3)

în cazul în care descrie coeficienţii complecşi, şi este descris în prealabil ca şi probabilitatea amplitudinii.

6.1.2 Teoria cuantică

Teoria cuantică (ca toate teoriile fizice) poate fi caracterizată în funcţie de cum reprezintă stările (fizic),

observaţiile, măsurătorile şi dinamica (evoluţia în timp).130

Cum Jyh Ying Peng explică axiomele de

mecanică cuantică foarte bine în notiţele lui de curs, acestea au format fundamentul pentru capitolele

următoare.

6.1.2.1 Stări cuantice

O stare într-un sistem comun fizic este descrisă complet. În mecanica cuantică, o stare este o rază în spaţiul

Hilbert, unde spaţiul Hilbert este un vector spaţiu peste câmpul de numere complexe, notat cu C. Vectorii

din spaţiul Hilbert sunt notaţi cu ketul Dirac cu notare . Un ket este un vector de n elemente sau o

matrice de n x 1, unde n formează dimensiunea spaţiului Hilbert şi corespunde bra fiind conjugata

transpusă a ket-ului. În interior poate fi văzut ca o matrice de multiplicare ordonată a cartografierii

vectorilor C, ce are unele proprietăţi speciale:

Pozitivitate

(6-4)

Liniaritatea

(6-5)

Simetria oblică

(6-6)

În plus, spaţiul Hilbert este complet în norma

(6-7)

O rază într-un spaţiu Hilbert este reprezentată de un vector dat. Doi vectori diferiţi (raze) nu vor fi niciodată

paraleli în acel spaţiu. Razele sunt reprezentate de vectori cu unitate de norma:

(6-8)

pentru că , în cazul în care:

(6-9)

reprezintă aceeaşi stare fizică pentru toţi . Prin suprapunerea:

(6-10)

pot fi formate noi stări şi faze relative între două componente este relevant fizic, ceea ce înseamnă că:

(6-11)

şi:

(6-12)

129 Mermin David N. (2007): Quantum Computer Science: An Introduction; Cambridge: Cambridge University Press 130Jyh Ying Peng (2003): Quantum Computation Lecture Notes [2012-10-06]; URL: http://red.csie.ntu.edu.tw/QC/peng/chap1.pdf


artificiale

68

reprezintă aceeaşi stare fizică:

(6-13)

este una diferită.131

6.1.2.2 Observaţiile

O proprietate a unui sistem fizic este că acesta poate fi măsurată. Acest lucru nu este diferit în mecanica

cuantică, în cazul în care o observaţie este un operator de auto-adjunct, astfel o matrice, şi o hartă liniară ia

vectori cu vectori. Acest lucru este reprezentat de metrici. Pentru un operator:

(6-14)

şi

(6-15)

şi adjunctul unui operator este definit de:

(6-16)

în cazul în care denota pentru toţi vectorii , . În formă matricea adjunctă este reprezentată

ca transpusa conjugată. A este auto-adjuncta, dacă Vectorii proprii corespunzătoare matricei auto-

adjuncte, de valori proprii, formează o bază complet ortonormată în spaţiul Hilbert.132

6.1.2.3 Măsurătorile cuantice

Formularea mecanicii cuantice descrie evoluţia deterministă unitară a unei funcţiei de undă, care nu este

niciodată observată experimental şi care permite să se calculeze probabilitatea şi că anumite evenimente

macroscopice vor fi respectate. Momentan nu sunt evenimente şi nici vreun mecanism pentru crearea de

evenimente din modelul matematic. Acesta este dihotomia dintre modelul funcţiei de undă şi evenimentele

observate macroscopic, care este sursa problemei de interpretare în QM. În mod contrar, cu fizica clasică

unde modelul matematic face referire la lucrurile care pot fi observate, în mecanica cuantică modelul

matematic nu produce observaţii de unul singur, deoarece funcţia de undă trebuie să fie interpretată în

scopul de a se raporta la observaţiile experimentale. 133

Rezultatul numeric al măsurării a observaţiei A este

o valoare proprie a lui A, şi imediat după măsurarea stării cuantice devine tot o valoare proprie a lui A

corespunzând rezultatului măsurării, iar dacă starea cuantică înainte de măsurare este , apoi

rezultatul se obţine cu probabilitatea

(6-17)

Ca o consecinţă, starea normalizată cuantică devine

(6-18)

În cazul în care măsurarea se repetă imediat, acelaşi rezultat ar fi obţinut cu probabilitatea unuia. 134

6.1.2.4 Dinamica cuantică

Evoluţia în timp a unei stări cuantice este unitară, şi o transformare unitară poate fi văzută ca o rotaţie în

spaţiu Hilbert. Aceasta este generată de un operator auto-adjunct, numit Hamiltonianul sistemului. În

imaginea Schroedinger a dinamicii, starea vectorului descrie cum sistemul evoluează în timp în funcţie de

ecuaţia lui Schrödinger

(6-19)

unde H este Hamiltonianul.135

6.1.3 Efecte cunatice

Următoarele efecte cuantice trebuie să fie înţelese cât mai bine (de fapt, nu toate dintre ele au fost deja

înţelese în lumea fizicii).

6.1.3.1 Linear superposition

131Jyh Ying Peng (2003): Quantum Computation Lecture Notes [2012-10-06]; URL: http://red.csie.ntu.edu.tw/QC/peng/chap1.pdf 132Jyh Ying Peng (2003): Quantum Computation Lecture Notes [2012-10-06]; URL: http://red.csie.ntu.edu.tw/QC/peng/chap1.pdf 133 Budnik Paul: The measurement problem [2012-10-06]; URL: http://www.mtnmath.com/faq/meas-qm-2.html 134Jyh Ying Peng (2003): Quantum Computation Lecture Notes [2012-10-06]; URL: http://red.csie.ntu.edu.tw/QC/peng/chap1.pdf 135Jyh Ying Peng (2003): Quantum Computation Lecture Notes [2012-10-06]; URL: http://red.csie.ntu.edu.tw/QC/peng/chap1.pdf


artificiale

69

Superpoziţia liniară sau coerenţa, ceea ce duce la paralelismul cuantic, este reprezentată de starea cuantică:

(6-20)

în spaţiul Hilbert, cu coeficienţi complecşi şi un set de stări în spaţiu. Mecanica cuantica spune că

interacţiunea unui sistem cu mediul său duce la distrugerea superpoziţie sale. Acest lucru permite concluzia

că construirea unui computer cuantic care nu va fi influenţat de propriile sale proprietăţi fizice irelevante

este dificilă. Coeficienţii indică faptul că sistemul este asociat cu starea când masurătoarea are loc. La

început a fost menţionat că suma coeficienţilor trebuie să ajungă la unitate, care se bazează pe faptul că un

sistem fizic trebuie să se restrangă la o stare de baza. Rezumând, superpoziţia liniară conţine toate

configuraţiile posibile ale unui sistem cuantic la un moment dat, până când măsurarea se face, ceea ce duce

la un colaps sau decoerenţă.

6.1.3.2 Operatori cuantici

Pentru a fi în măsură să desfăşurăm operaţii pe un computer cuantic, sunt necesari operatorii similari unui

calculator clasic von Neumann. Operatorii întrun spatiu Hilbert descriu modul în care o funcţie de undă se

transformă în alta. Ele pot fi reprezentate ca matrici care acţionează pe vectori, unde notaţia indică un

vector coloană şi vectorul rând complex conjugat. Folosind operatori, ecuaţia (6 - 20) poate fi creată.

Soluţiile pentru astfel de ecuaţii sunt numite eigenstatesşi pot fi utilizate pentru a construi baza unui

spatiu Hilbert. În formalismul cuantic, toate proprietăţile sunt reprezentate ca operatorii ale căror

eigenstates sunt baza pentru spatiul Hilbert asociat cu acea proprietate şi ale căror valori proprii sunt

valorile cuantice permise pentru acea proprietate. Din nou, este de maximă importanţă să menţionăm că

operatorii din mecanica cuantică trebuie să fie operatori liniari şi că acestia trebuie să fie unitari.136

6.1.3.3 Interferenţa cuantică

Interferenţa cuantică, deşi este un fenomen de undă cunoscut, este unul dintre principiile cele mai

interesante ale mecanicii cuantice. Luând în considerare undele, cum interferează în mod constructiv cu

celelalte atunci când sunt în fază şi cum interferază distructiv atunci când nu sunt în fază. În mecanica

cuantică, această interferenţă se aplică în cazul undelor de probabilitate, unde funcţia de undă interferează

cu ea însăşi prin acţiunea unui operator.Experimentul Thomas Young dublu-fantă descrie ce produce

interferenţa confuzie în mecanica cuantică.

6.1.3.4 Quantum entanglement

Spre deosebire de biţi dintr-o maşină von Neumann, a cărei stare generală nu poate fi decât unul dintre

cele produse de şi e, o stare generală de n Qbits este o suprapunere a acestor state produs şi nu

poate, în general, să fie exprimată ca un produs de orice set de 1-Qbit state. Qbits individuale care

alcătuiesc un sistem multi-Qbit nu pot fi întotdeauna caracterizate ca având stări individuale ale lor - în

contrast cu biţii dintr-o maşină von Neumann - care este o stare nonproduct şi se numeşte stare încurcată.

Atunci când se măsoară o Qbit A şi obţinenem rotire în sus (în jos), apoi Qbit B (pe care nu este dat acces)

va fi, de asemenea, în stare de spin în sus (în jos), în mod similar pentru măsurători pe Qbit B. Un alt mod

de a privi la acest lucru este faptul că, în această corelaţie particulară dintre cele două Qbits, care este,

starea particulară a întregului sistem, orice pregătire doar a unuia dintre Qbits va determina ca ceilalţi

Qbits să aibă aceeaşi valoare. În acest caz, Qbits A şi B sunt încurcaţi. Atunci când sistemul A devine

amestecat datorită interacţiunii cu sistemul B, se poate spune că cele două sisteme sunt încurcate. Mai mult

decât atât, această încurcătură distruge coerenţa sistemului A, iar sistemul A se prăbuşeşte dinsuprapunerea

iniţială a stărilor spre una din stări, fiecare având o anumită probabilitate. 137

Pentru un cercetător în

domeniul calculatoarelor care încearcă să întrebuinţeze proprietăţile unui calculator cuantic,

entanglementul cuantic s-ar putea să nu fie atât de dificil, luând in considerare faptul că atunci când un bit

este in starea , altul este la fel. În schimb în lumea fizicii entanglementul nu este atât de bine înţeles,

precum este întradevăr clar, ce efecte are dar nu cum funcţioneaza. Ce face ca entanglementul sa fie puţin

cunoascut este faptul că stările cuantice există ca suprapuneri, aceste corelaţii există aşa atunci când

coerenţa este pierdută (ex. Prin măsurare), apoi corelaţia corectă este cumva comunicată între Qbits, acest

”cumva” este necunoscut. 138

Matematic, Ricks şi Ventura139

ofera o descriere detaliată a entanglementului

136 Mermin David N. (2007): Quantum Computer Science: An Introduction; Cambridge: Cambridge University Press 137Jyh Ying Peng (2003): Quantum Computation Lecture Notes [2012-10-06]; URL: http://red.csie.ntu.edu.tw/QC/peng/chap1.pdf 138 Ricks Bob, Ventura Dan (2003): Training a Quantum Neural Network; Provo: Brigham Young University


artificiale

70

prin formalismul matricei de densitate: matricea de densitate a unei dimensiuni cuantice este definită

ca:

(6-21)

Un exemplu este starea cuantică:

(6-22)

Forma vectorului de intrare este scrisă ca:

(6-23)

iar matricea de densitate:

(6-24)

Starea cuantică:

(6-25)

Are matricea de densitate:

(6-26)

Unde matricele şi vectorii sunt indexaţi de pabels-urile de stare 00,…,11. poate fi descompus în factori

ca:

(6-27)

reprezentând tensorul produsului. nu poate fi descompus în factori ceea ce îl declară ca

entanglement. Cele mai simple stări de entanglement dintre două Qbits sunt stările Bell, cunoscute şi ca

stări de entanglement maxim a doi Qbits.140

(6-28)

(6-29)

(6-30)

(6-31)

Aceste stări determina dacă doi indivizi A şi B, adesea intitulaţi Alice şi Bob, posedă fiecare unul din doi

Qbiţi entanglement-ati, descrişi în stări Bell prin subscripţia lui A şi B. Dacă A decide sa măsoare Qbiţi

înrudiţi, atunci rezultatul nu poate fi prevăzut ca:

(6-32)

Şi prin urmare cu probabilitatea ca sau să fie măsurate. Însă, potrivit entanglementului cuantic, B ar

putea măsura acum la fel. Asta se întampla deoarece starea finala poate sa rezulte doar dacă Qbit-ul lui

A să fie in starea .

139 Ricks Bob, Ventura Dan (2003): Training a Quantum Neural Network; Provo: Brigham Young University 140Bell John S. (1987): Speakable and Unspeakable in Quantum Mechanics, Cambridge: Cambridge University Press


artificiale

71

6.2 Reţele neuronale cuantice artificiale

În cele ce urmează, sunt prezentate mai multe prototipuri diferite de inteligenţă artificială141,142,143

, unele

dintre ele foarte diferite faţă de structurile ANN (artificial neural network) explicate cum ar fi punctual

cuantic144

, lattice cuantică145

sau schimbarea fazei ANN-urilor. Prezentarea se concentrează pe structurile

cu transmitere înainte clasice, cu diferenţa că greutăţile sunt transformate în suprapuneri în locul schimbării

în mică masură a cunoştinţei. ANN-ul cuantic SHOCID se foloseşte de efectele cuantice simulate pentru a

învaţa. Astfel, ANN-ul este supervizat şi are nevoie de un profesor. Pentru reteaua cuantică neuronală

artificială introdusă, în special pentru simularea teoremelor de mecanică cuanticăşi pentru paradigmele:

paralelismului cuantic, entanglementului şi interferenţei.

Mai mult, simularea biţilor cuantici pentru procesarea informaţiei functionează împreună cu conceptul

paralelismului cuantic, deoarece numai aşa poate fi descrisă de o functie de undă care exista în spaţiul

Hilbert. Cu siguranţă, toate efectele cuantice ale sistemului sunt simulate, deoarece calculatoarele cuantice

nu sunt disponibile în acest moment. Însă, în ciuda tuturor efectelor negative asupra performanţei privind

timpul de calcul, simularea unui mediu adecvat procesării informaţiei folosind biţi cuantici are un avantaj

enorm: eliminarea efectelor irelevante ale mediului real asupra acestor biţi. În lumea reală, un calculator

cuantic ar folosi particule pentru a reprezenta date, sau în cazul ANN-urilor cuantice, aceste particule ar

putea reprezenta neuroni cu toate calitaţile acestora, cum ar fi axoni sau tiparele şi funcţiile de activare. Un

Qbit poate fi reprezentat bine de sisteme de două particule, cum sunt ionii de hidrogen, care pe lângă

nucleul atomic deţin şi un electron. În funcţie de distanţa dintre nucleu şi electron cea mai importantă

ecuaţie care descrie schimbarea stării cuantice a sistemului fizic în timp este ecuaţia Schrödinger (o

diferenţială partială):

(6-33)

Poate fi rezolvată. Orbita electronilor ionilor asemănători cu cei de hidrogen poate varia, în funcţie de

nivelul de energie. Fizicienii numesc aceasta existenţa în niveluri energetice diferite. Poziţia orbitală a

electronuluieste folosită pentru a reprezenta fie 0 fie 1, sau conform notaţiei Bra-Ket, a lui Dirac, fie fie

cea mai înaltă orbită reprezentând cea din urmă iar cea mai joasă reprezentand-o pe cealaltă. Fizic,

poziţia electronuluipoate fi schimbată prin supunerea la un puls de lumină laser amplificată, ce are ca efect

adăugarea protonilor in sistem. Pentru a transforma un bit din 0 in 1, este nevoie de suficientă lumină

pentru a muta electronul în sus cu o orbită. Pentru a trece de la 0 la 1, este necesar ca mai mulţi fotoni să

intre in sistem, deoarece supraîncărcarea electronului îl va aduce înapoi in starea iniţială. Însă, aspectul

important este că in cazul în care numai jumatate din lumina necesară este introdusă, electronul va ocupa

un spaţiu intermediar, ceea ce este menţionat anterior ca suprapunere liniară ce ofera posibilitatea de a

evalua mai multe posibilitaţi simultan.146

6.2.1 Structura

Structura unuei reţele neuronale artificiale cu conexiune directă cuantică nu diferă cu mult faţa de una

normală, dar conceptul suprapunerii liniare este una din diferenţele care poate fi descrisă grafic (Figura 10

– Reţea neuronală artificială cuantică).

141 Altaisky M.V. (2001): Quantum neural network; Technical report; URL: http://xxx.lanl.gov/quantph/0107012. 142 Narayanan Ajit; Menneer Tammy (2000): Quantum artificial neural network architectures and components; Information Sciences, volume 124. 1-4, p. 231–

255 143Behrman Elizabeth C., Niemel Jari, Steck James E., Skinner S. R. (1996): A quantum dot neural network; Proceedings of the 4th Workshop on Physics of

Computation, p. 22–24 144Behrman Elizabeth C., Niemel Jari, Steck James E., Skinner S. R. (1996): A quantum dot neural network; Proceedings of the 4th Workshop on Physics of

Computation, p. 22–24 145 Fujita Yukari, Matsui Tetsuo (2002): Quantum gauged neural network: U(1) gauge theory; Technical report; URL: http://xxx.lanl.gov/cond-mat/0207023. 146 Heaton Research (2005 - 2012): Quantum Computing; [2012-10-11]; URL: http://www.heatonresearch.com/articles/1/page5.html


artificiale

72

|i1›

|i2›

|h1›

|h2› |o1›

ψw i1h1

ψwh2o1

ψw

h1o1

|h3›

|hn›

|on›

|in›

ψwi1h2ψ

wi1h3

ψw

i1hn

ψw i2h1

ψw i2h2

ψwi2h3

ψw

i2hn

ψw

inh1

ψw inh2

ψwinh3

ψwinhn

ψw

h1on

ψwh2on

ψwh3o1

ψwh3on

ψw

h4o1

ψw h4on

Figura 11 – Reţea neuronală artificială cuantică

Figura 20 – ANN-ul cuantic - arată că neuronii au schimbat regiştrii cuantici, ceea ce inseamnă că, făcând

referire la imaginea de sus, regiştrii de intrare deţin orice intrare posibilă a datelor de

antrenament. Presupunând că un QANN va fi folisit pentru a învaţa o problemă bazată pe seturi de date de

intrare ce constau în trei atribute, aceştia vor conţine trei regiştrii de intrare (neuronii de intrare într-un

ANN standard), fiecare având orice valoare legată de atributele datelor de antrenament. Similar se întâmpla

pentru stratul ascuns reprezentat de , al cărui regiştrii neuronali deţin orice suma cântarită,

calculată pentru orice intrare posibilă venită din . Stratul final deţine orice ieşire

calculată ce reţeaua neuronală este capabilă să o producă pe baza datelor de antrenament. Mai mult,

suprapunerea vectorilor de greutate este important de explicat, deoarece aceştia deţin orice valoare posibilă

pe care ei o pot reprezenta, indiferent de datele de antrenament. În tabelul 2 sunt prezentate rezultatele

obtinute de Ezhov şi Ventura în munca lor147

pentru întelegerea diferenţelor dintre ANN-urile de pe

calculatoare clasice şi ANN-urile de pe calculatoare cuantice.

Table 1 - (Quantum) artificial neural network feature comparison

Facilităţi ANN QANN

Codare

neuronală

Drefiniţia stării

de bit Starea probabila a

Qbit-ului

Conexiuni

neuronale

Conexiuni de

greutate Conexiuni de

greutate

Entanglement

Invaţare Regula e.g.

Suprepunerea

Qbits-ilor

entanglaşi

Determinarea

soluţiei dorite

Funcţie de cost e.g.

Căutarea Grover

pentru soluţia

optima prin

transformarea

unitară

with an oracle like

e.g.

Rezultat Decoerenţa

6.2.2 Biţii cuantici

QANN-ul introdus se bazează pe valori duble, aşa încât teoretic o arhitectură cu 8 Qbytes sau 64 Qbits

necesită să fie simulată pentru a fi in stare să îndeplinească sarcina întrun singur pas de procesare, ceea ce

ar fi optim. Pentru nevoile de procesare, aceasta pare a fi supradimensionată, după cum spuneafizicianul

147 Ezhov Alexandr A., Ventura Dan (-): Quantum neural networks, BSTU Laboratory of Artificial Neural Networks


artificiale

73

David Deutsch, paralelismul cuantic permite unui calculator cuantic sa proceseze un milion de operatii

simultan, în timp ce PC procesează una. Un calculator cuantic pe 30 de Qbiţi poate egala puterea de calcul

a unui calculator convenţional care poate rula 10 teraflops, pe când viteza de procesare a unui computer

uzual este masurată în gigaflops. 148

Probabilitatea distribuţiei unui Qbit de a fi ori ori după

prăbuşirea lui cauzată de masurătoare este, cum e deja indicat, determinată de componenta complexa

din spaţiul Hilbert şi nu de numere reale. Astfel, pentru a simula un Qbit, sunt necesare două numere reale

cu virgulă mobilă. Teoretic, pentru maşini de stare, cum sunt reţelele neuronale artificiale auto asociative,

un număr de două arhitechuri cu Qbiţi ar fi de ajuns, deoarece calculele lor nu se bazează pe reprezentări cu

virgula mobilă, ci pe valori de doi biţi cu semn (-1,0,1). În orice caz, având ANN-ul cuantic SHOCID ca o

simulare, arhitectura optimă, care este una de 64 de biţi, a fost simulată. Mai mult, numărul de Qbiţt folosiţi

depinde de problema ce trebuie rezolvată. Să presupunem că QANN-ul reprezentat in figura 20 reptezintă

un model, atunci doi regiştrii trebuiesc creaţi, unul pentru a reprezenta intrările xşi unul reprezentând

ieşirea f(x). Pe lângă asta, procesul de calcul a lui f(x) presupune folosirea mai multor Qbiţi, ce joacă un rol

important iî entanglementul regiştrilor de intrare şi ieşire folosiţi de calculatorul cuantic.

6.2.3 Suprapunerea

O reţea neuronală artificială cuantică nu are nevoie doar să se bazeze pe suprapunere ci pe neuronii ei,

respectiv potenţialele de acţiuni dinamice sau tiparele acestora, precum şi pe funcţia sa matematică de bază.

6.2.3.1 Suprapunerea dendritelor

Dendritele sau greutăţile unei reţele neuronale artificiale cu semnal înainte sunt ridicate într-o suprapunere

liniară, ceea ce este un pas înainte spre o ANN cuantică. Această înseamnă că orice greutate este

transformată în undă şi, teoretic conţine toate valorile posibile simultan. Însă, momentan QANN-urile sunt

simulate pe o maşină von Neumann, acurateţea infinită, sau posibil, orice si

(6-34)

restricţionate de o condiţie de normalizare

(6-35)

Presupunând că incrementul de bază este 0.001 iar limitele de greutate sunt între -100 şi 100, orice valoare

din acest interval cu diferente de 0.001 va reprezenta o greutate posibilă. Procesul de setare a greutaţilor

în cu parametrii explicaţi se întamplă după cum urmează:

Start

1. Atribuie -100 lui şi 100 lui

2. Pentru fiecare w

a) Atribuie lui

b) Repetă

i. Salvează in corespondentul

ii. Atribuie

c) Pânăl este atins

Stop

Algoritmul 19 – Ridicarea greutăţilor in suprapunere

Variabile:

: vector ce conţine toate greutăţile posibile normalizate, suprapuse pe o greutate specifică fiind

de la neuronal spre neuronul

: Punctul de început pentru calcule

: Punctul de sfârşit pentru calcule

: Greutatea curentă, fara normalizare

6.2.3.2 Suprapunerea neuronilor

Regiştrii fiecărui strat sunt ridicaţi spre o suprapunere liniară la fel. Să presupunem, că un exemplu Qann-ul

construit din trei straturi, cum este descris în Figura 20, şi să presupunem în continuare că toţi neuronii

148 Bonsor Kevin, Strickland Jonathan (2000): How Quantum Computers Work [2012-10-18], URL: http://computer.howstuffworks.com/quantum-computer.htm


artificiale

74

QANN-ului îşi masoară ieşirea printr- o funcţie de activare şi se foloseşte de tiparul dinamic, ce va fi

determinat de un algoritm de învăţare standard pentru ANN-uri, atunci, potrivit incrementului, a limitei

inferioare şi a limitei superioare, logic trebuie să existe câteva tipare pentru fiecare suprapunere.

Săpresupunemîn continuare, limitapragului inferiorar fi0.1,limitapragului de sus1 şiIncrementul0,1,astfel9

valoridiferite pentruun pragar fi posibile.ÎnexempluQANN-ulacesta duce

la387420489(9^9)configuraţiiposibilealepragurilorpentruo configuraţiede greutăţi. Cu toate acestea,cao

configuraţie specificăde greutăţisă existe doaro datăîn termen de , QANN-ulîntreg trebuiesă

fieridicatînsuprapunere.

6.2.3.3 Suprapunerea reţelelor neuronale artificiale cuantice

După cumsuprapunerealiniarădicteazăcă oriceconfiguraţie posibilă defiecareQbitexistă lao dată şică,

referitor laQANN-ul,oricaredintre acesteconfiguraţii(greutăţi) aunumeroaseconfiguraţiialepragurilorare

locimpracticabilitatea, şi anumecoexistenţade configuraţiiidenticeîntr-osuprapunere.Astfel, o configurare

aunei reţeleneuronaleartificialecuanticetrebuie să includăatâtgreutăţile cât şipragurileneuronale.

6.2.4 Procesarea

Calculeledin cadrulQANN-uluisunt efectuateaşa cum se întâmplăîntr-unFFANNstandard.Cu toate

acesteaşiastfel cum este indicatde mai multe ori, unul dintre avantajelemajore alemecanicii

cuanticesuntsuprapunerilesale,din care rezultăcuanticparalelismul. PentrucalculeleQANN-uluiinterne

efectuate defunctia fpe toateconfiguraţiilede x, ,reversibilde transformareunitară, luândnumaistările

debaza(|0>şi|1>) astfel, vaservi dreptexemplu prelucrareaunuia dintre QbiţiiQANN-ului:

(6-36)

Unde indicăoadunaremodul-2 la nivel de bitsau un sau exclusiv. Dacă xşi ysuntm-biţi numere întregiale

cărorj-leabiţisunt şi , atunci x⨁y estenumăr întregm-biţi ale căror bit este .Astfel,

(6-37)

Mai mult, dacă valoarea reprezentată iniţial de registrul de ieşire este

(6-38)

atunci

(6-39)

si f(x)ar reprezentarezultatul înregistrulde ieşire, undeindiferent destarea iniţialăaregistruluide

intrareyrămâne înstarea sainiţială . În plus, îndeplineşteun alt criteriuimportant, faptul că

esteinversabilă:

(6-40)

Ca

( 6-41)

Pentru orice zecuaţia (6-39) este o facilitate importantă a procesării cuantice, anume aplicarea transformatei

Hadamard de 1 Qbit pe fiecare Qbit în starea de 2 Qbiţi rezultă:

(6-42)

ceea ce duce lageneralizareaprodusuluin-ori tensoruldentransformăriHadamardprivindstarean-Qbit

( 6-43 )

deprima utilizareînecuaţia(6 49). Dacăstarea iniţială aunui registrude intrare este de , aplicareade n-ori

Hadamardtransformări,transformăstareaacestuiregistruîntr-oegalăsuprapunerea tuturorn-Qbit de intrare. 149

6.2.4.1 Entanglementul

Oposibilăpunere în aplicarea unei reţeleneuronaleartificialecuanticear puteaîncepe cuo suprapunerea

tuturorvectorilorde greutateposibili, ceea ce permiteclasificareatuturorexemplelor de instruireîn raport

cufiecare vectorde greutate înacelaţi timp. În plus, un registrude performanţă este utilizat pentru

astocanumărulde exemple de instruireclasificate corectşi actualizatîn mod

149 Mermin David N. (2007): Quantum Computer Science: An Introduction; Cambridge: Cambridge University Press


artificiale

75

continuu.Actualizarearegistruluide performanţăcu privire lafiecare configuraţie aQANN-uluicreează

unentanglementde şi . Astfel oracleeste

(6-44)

unde nreprezintă numărulexemplelor de instruireşi mnumăruldeneuronide ieşire. Se poate întâmplaca nici o

configuraţiea unei reţeledin cadrulsuprapuneriisă fie capabilăsăclasifice toateexemplele de instruireîn mod

corect(şi, prin urmare, fiecare vectorareo şansă egalăde a fimăsurat) şiintervalul de timpnecesar pentrua

găsiun vectoreste în creşterecunumărul de biţi învectorulgreutate şi astfel o complexitateexponenţială:

( 6-45 )

Pentru a evita acest caz, Ventura şi Ricks sugerează o modificare pentru oracle de căutare în:

( 6-46 )

Unde p este procentul de exemple de antrenament clasificate corect.

În ceea ce priveştereţeleleneuronale artificialecuantice, acest lucru înseamnăcă oriceconfiguraţie posibilă

deANNcuanticeste menţinută însuprapunerii. Cu toate acestea,există încăproblemamăsurării, aşa

cummăsurareatrebuie să fiefăcută atunci cândprobabilitateade a primiun rezultatdoriteste mare.

Săpresupunemun registrucuanticecompus din64Qbiţiifiecare înstareadejacunoscută,

(6-47)

apoifiecare stareposibilăsauorice valoare(cu dubla precizie), care poatefi exprimatăcu aceşti64 de

biţipoatefimăsurată, dar cuaceeaşidistribuţie de probabilitate, astfel încâtoricare dintre acestevaloridublear

existaîn acest registrucuanticîn acelaşi timp. Astfel, unoperator de , aplicânddejacunoscutelecalcule

interne aleANN-uluireprezentate defunctia ftrebuiesă fie aplicat pe , carescrierezultateleANN-uluipentru

a ficapabil să măsoareANN-critice (performanţă):

(6-48)

Acestea rezultă din , într-un al doilea registrucuantic . arconţine atuncifiecarerezultat

posibilcalculatde la fiecareconfigurare în În plus, ca urmare acalculului, registrelede intrareşi de

ieşirevordeveniîncurcatedeQbiţiiutilizaţi de , care de fapteste o problemă, deoarece

înacestcaz,ambeleregistre nupotfiatribuiteunei stăripe cont propriu(a se vedea 6.2.4.4Reducereaşi informaţii

despreecuaţiileperceptron-uluicuantic).

6.2.4.2 Paralelismul cuantic

Săpresupunemcă un setde formareconstă dinmai multe sutedeseturi de datede intrarefiecarecompusdin mai

multe atribute, atunciregistrulde intrarevacreştela începutşiîn al doilea rând într-un calculatorclasicar

trebuisă se aplicela fiecaredată de intrareunicăstabilităconsecutiv. Săpresupunem,în continuare, 100 de

transformăriHadamard(porţi) că se vor aplica pefiecareQbitînainte depunerea în aplicare a , cum ar fi:

(6-49)

Atuncistarea finalăva conţine sau≈ de aplicatiiale of . Cu toate

acestea,paralelismulcuanticpermiteefectuareaunei cantităţiexponenţialmare de înacelaşi timp,

sauînaltecuvinte, în timpunitar.

6.2.4.3 De la operatori de bază la funcţia cuantică de transfer

Figura 26şi figura 27 prezintă diagrame care descriuprelucrareaîntregiireţele

artificialeneuronalecuanticecaunicătransformare. Cu toate acestea,este necesarsădetaliemcu privire

laprelucrareade activare saufuncţia de transferutilizată de cătreneuroniistratului de intrareşi stratul ascuns.

Ecuaţiadescriefuncţiasigmoidăca funcţiecuantică:

(6-49)

undecuantumulliniarsuprapus conţine toate valorileposibilebazat pe calculul rezultat din înmulţirea dintre

stratul neuronal precedent de ieşiregreutatea aferenta vectorilor în suprapunere. Acest lucru nua

rezolvatprovocareade bază aoperaţiuniloraritmetice, cum ar fimultiplicarea saudiviziuneanecesară


artificiale

76

pentrutoatefunctiile cuantice introduse. Aşa cum am menţionatla început, operatoriicuanticitrebuie să fie

liniari, ceea ce înseamnă că

(6-50)

unde şi reprezintăfuncţii, şia şi bconstante. Aplicareaunui logaritmeste un exemplupentruo funcţienon-

lineară

( 6-51 )

Aceasta nu estevalabilă pentrutoate valorilelui x. Astfel, primul operatornecesar, multiplicarea,

îndeplineştecerinţele, pentru căacestaeste un operatorliniar. Aceastămultiplicare, ca oricealtăoperaţie

aritmeticăutilizată înecuaţiileperceptronuluitrebuie să fieinclusă în unadintretransformărileunitaredescriseîn

prealabil. Pentru aceasta, operatoriicuanticidescrişi laînceputul acestuicapitol vorforma baza-în specialla

transformărileHadamardH şicNOToperatorii sunt importanţi, deoarece aceştiapotfiutilizaţi pentru a

creaoperatori, cum ar fi adunările şi înmulţirile. Baza pentru operatoruluicNOT

esteoperatorulmatriceunitarăCV(controlată V)descrisăcuecuaţiile(653)-(6 55):

(6-52)

(6-53)

(6-54)

După patruaplicaţii ulterioareale luiVcontrolat, rezultatuleste identitatea, şi a altortrei

aplicaţiidintrerezultatulaceluiaşi operator, în inversulsău, care este, de asemenea,

conjugatulcomplextranspus . După cum s-a menţionatanterior, toţioperatoriitrebuie să fie liniari, astfel:

(6-55)

Unde este conjugatul complex transpus, sau adjuncta lui Vşi I este operatorul unitate. Astfel, operatorul

rezultat c- . La transformarea cNOT, acest operator poate fi implementat ca în figura 21 – cNOT din H şi

V:

H HV V

Figura 12 - cNOT din H şi V

(6-56)

(6-57)

(6-58)

(6-59)

Aceasta constituieo bazăfoartebunăpentru a creaoperatorinoi, şi într-adevăracest lucru trebuiesă se

facăpentru a fiîn măsură săefectueze toateecuaţiilearitmeticeale perceptronului. Un alt operator,care trebuie

săfie creat, este operatorul ccNOT (controlat-controlat-NU ), cunoscut sub numele de poartă Toffoli150

(Figura 22 -ToffolipoartacuV controlat şiFigura 23- Poartă Toffoli cu transpusa complex conjugată V):

150 Toffoli Tommaso (1981): Mathematical Systems Theory 14 13.


artificiale

77

H HV VV V V

Figura 13 – Poarta Toffoli cu V controlat

Sau, cu poarta cuantică deja introdusă:

H HV VVt

Figura 14 – Poartă Toffoli cu transpusa complex conjugată V

Asta poate fi descrisă în forma matematică prin operaţiile cuantice din ecuaţiile (6-62)şi (6-61):

(6-60)

(6-61)

Poarta Toffoli, capoartăcontrolat NU, dispune de doi biţi de control, cu unul mai

multdecâtoriginalulcNOT. Bitulţintă este întorsnumai, şi numaiatunci când ambiibiţide controlsunt

înstarea . In plus, aceastafurnizează ocaracteristică foarteimportantăpentrumultiplicare(care, în fapt,la

nivelbinaresteo adunare), respectivo poartă reversibilă, în cazul în careobiectivula fost

inclusiniţialstarea : tintadevine Operatorul logic ŞI pentru cei doibiţide controldescrişi înecuaţia(663): 151

(6-62)

Astfel, toate operaţiilenecesarearitmetice, care sunt NU, ŞI şiXOR(cNOT), suntdisponibileacum

catransformăriunitare, ceea ce înseamnă căacesteapotfiaranjate împreunala o transformareunitaremai mare

pentruabordareaecuatiilorcuanticperceptronului. O combinaţiea porţi Toffolii, şi aoperatoruluicNOT, ca

adunator cuantic constituiebaza pentruadunareaşi multiplicarea completă (Figura 24 – sumator cuantic):

151 Quantiki (2005): Basic concepts in quantum computation [2013-01-02]; URL: http://www.quantiki.org/wiki/Basic_concepts_in_quantum_computation


artificiale

78

|x>1

|0>

|x>2

|x>1

|x1x2>

|x1 XOR x2>SUM =

CARRY =

Figura 15 – Sumator cuantic

Mai mult, orice funcţie Booleană care leagă n biţi din registrul de intrare spre m biţi din registrul de ieşire

poate fi evaluată (ecuaţia (6-97)):

(6-63)

Astfel cumfuncţionareaoperatorului ŞI nu estereversibilă, acesta trebuie săfieîncorporat în

operatorulccNOT. Dacăbitulal treilea afost iniţialsetat la1 în loc de0 atuncivaloarea esterăsturnată.

În general, acţiuneaporţiiToffoli este scrisăaşa cum este descrisînecuaţia(6 98):

(6-64)

Astfel, alte funcţii mai complexecum este funcţia cuantică sigmoid (6-50), care include funcţiile de putere

cum e poate fi construită, ca în exemplul:

(6-65)

O reţea cuantică (formată din operatori cuantici) calculează:

(6-66)

Aşa încât ecuaţia (6-67) se comportă precum este descris în (6-69)-(6-72):

(6-67)

(6-68)

(6-69)

(6-70)

Ceea ce în termeni de calcule cuantice este:

(6-71)

Exemplu fiind (6-74), care este (6-73): 152

( 6-72 )

Devineevidentdinexplicaţiilede mai sus, care operaţii aritmetice, cum ar fi de multiplicare,nubeneficiază

deaceleefectecuantice, deoarece acesteaîncă maisunt operaţiuni pas-cu-pas. Avantajul esteatunci cândmai

multedintre acesteoperaţiuni pentruconfiguraţiidiferitecoexistăşi potfi calculatesimultanca urmare

aparalelismuluicuanticînstarea cuanticăaunuisistem fizic, cum ar fio

reţeaneuronalăartificialăînsuperpoziţiecuanticăliniară.

6.2.4.4 Reducerea unei informaţii legată de ecuaţiile perceptronului cuantic

Întrebarea netrivialăeste acum, deşi ambelexşif(x) sunt disponibile, cumsă măsoareputerea necesară, saucu

alte cuvinte, cumsă cunoascăconţinutulunei cutiiînchise, fără a se fi permissă priveascăîn interior. Deoarece

intrarea şiieşireasunt încurcateacum, o măsurare aregistruluide ieşire arpermite, de asemenea,

prăbuşirearegistruluide intrareşi, în plus, nici o informaţiedesprefnu poateficolectată, care,

înfapt,reprezintăQANN. Astfel, putemrespingeopinia generală, care nu are nevoieosă ştiece se

întâmplăîntreneuronii deintrare şiieşireexact, darpentru a extragecâtmai

multeinformaţiidesprecalculeleinternecu privire la toateconfiguraţiiledeQANNîn posibil. Acest lucru

poatefi realizatcu porţiunitarecuanticeaplicatepe toateregistreleînainte şi dupăpunerea în aplicare a şiprin

combinareaacestora cumăsurătoriale unorvalori, astfelsubseturideQbits, deQANN. Acesta nu estesută la

sutăclar acumcum acestlucru se poate întâmpla, dar cândîntreagaQANNeste măsurată, aceastaarpermite,

pede o parte, teoretic, obţinereade relaţii utileîntrex şif.Cu toate acesteala uncalcul, dar pede altă parte,în

conformitatecuprincipiul incertitudiniial lui Heisenbergnupermitesă se determinef(x) pentru

152 Quantiki (2005): Basic concepts in quantum computation [2013-01-02]; URL: http://www.quantiki.org/wiki/Basic_concepts_in_quantum_computation


artificiale

79

unanumitx.Revenind laQANN-uri, Mermin153

, atunci când explicăproblemaDeutsch154

, dăun

exempludestul de bundespremodul de a reduceprobabilitateade măsurarea configuraţiei, sau mai bine,

colectarea de informaţiidespreconfiguraţiidespre ( ) care nu sunt de dorit.Săpresupunem specifică

oalegerepentru douăintrăridiferite dela osubrutinăelaborată, care necesită Qbitsmai mulţi , atuncine putem

gândim la ( ), ca fiind o proprietate caracteristicăcu două valoride prim rang aieşiriiacesteisubrutine . De

asemenea, demenţionat căregistrelede intrareşi de ieşire, nu au voie săfieîncurcatecuQbits-iisubrutinelor,

după ce au terminat deprelucrat, ca şi încazulentanglement-uluiregistrelorde intrareşi de ieşirenu ar

aveastărifinalepe cont propriu. O transformareliniară simplă(6-36) poate fiapoi folosităpentru determinarea

efectelorneteasupraregistruluide intrare şide ieşire. Ieşirea:

(6-73)

a fost obţinută aplicând la intrare. Iniţial, regiştrii de intrare şi de ieşire trebuie să fie in starea , urmată

de aplicarea lui X pe regiştrii de intrare şi de ieşire, urmat de aplicarea lui H pe ambele. Intrarea devine

atinci

(6-74)

Iar rezultatul

(6-75)

Care în legătură cu funcţia este

(6-76)

unde

(6-77)

şi

(6-78)

şi

(6-79)

şi

(6-80)

dacă

(6-81)

Atunci starea de ieşire este

(6-82)

sau

(6-83)

Dacă nu atunci

(6-84)

apoi

(6-85)

sau

(6-86)

pe regiştrii de intrare duce la

153 Mermin David N. (2007): Quantum Computer Science: An Introduction; Cambridge: Cambridge University Press 154 Deutsch David (1985): The Church-Turing principle and the universal quantum computer; Proceedings of the Royal Society of London A. 400, 1985, p. 97.


artificiale

80

(6-87)

şi

(6-88)

Restrains totul în

(6-89

Aceastaprevede căregistrulde intrareeste fie fie , dardepinde deceea ce este adevărat, ecuaţia(6-83) sau

(6-86). Ca un indiciu ce se poate folosi estecă douădin cele patruposibilităţi pe carefunctia fle

poatereprezentaau fost eliminate, doar printr-o singură operaţie,care din

nouesteabilitateaspecificăacomputeruluicuantic. În ceea ce priveşteQANNacelaşi lucru trebuie săse

întâmpleacumîn modurimult maicomplexe, deoarece nu numaiunQbittrebuiesă fie luatîn considerare ci

şicalculeleinterne aleuneiRNAnecesită maimult decâţiva operatoricuanticişi transformări. În prezent, acest

lucru esteexactobiectulde cercetareîn continuare. Cu toate acestea,acest lucru nueste suficient.

Transformarea nuia în considerareQbits-iisuplimentari necesaripentrucalculeledin cadrulQANN.

Săpresupunemastfel otransformare , din nou,inspirat deconvenţiile de denumireMermin, luând în

considerareaceştibiţi. Întrucât lua în considerare numaiQbits-iidinregistrelede intrare şi deieşire, ia

înconsiderare toţiQbits-ii. În ceea ce priveşteQANN, acest lucru poatefi descrisfoarte binede Figura 16 –

Calculele reţelei neuronale artificiale cuantice

|ψ>r

|x>n

|y>m

|ϕ>r

|x>n

|f(x)>m

Figura 17 – Calculele reţelei neuronale artificiale cuantice

undeliniilegroasereprezintămultiple intrări Qbit, cumultiple registre Qbit, deoarececalculul trebuie să

fiereversibil. mşinreprezintăQbits-iidinregistrelede intrare şi deieşire, şi rreprezintăQbits-iisuplimentari

necesaripentrucalculul intern al QANN. Qbiţiirnecesari pentrucalculelesunt la felînsuprapunereşi

dupăcalculîncurcaţicuregistrulde intrare şi ieşire. Astfel,următoareleecuaţii

aleperceptronuluicuantictrebuiesă se înfiinţeze.

Ecuaţia perceptronului cuantic cu un singur:

(6-90)

undestratulde intrare arepintrări , stratul ascunsarenodurilascunseşide iesire, şi existăo singură

ieşirepentru stratul de ieşire. Straturilesunt completconectate pringreutăţi,

unde însuprapunerealiniarăreprezintă a iintrarepentrunodului alj-lea înstratul ascuns,

întrucât estegreutateaatribuitănodului alj-lea înstratul ascunspentrude iesire. şi suntdeviatile,


artificiale

81

şi sunt funcţiide activare. Din nou, potenţialelede acţiunedinamiceale neuronilortrebuie să fie

însuprapunereliniară, care apoiduce lamai multe configuraţiidenu numaigreutăţi, ci, de asemenea, de

neuroni. Acest lucruîn cele din urmăduce laFigura 27-Diagramaperceptronuluicuanticcu mai multestraturi

|ψ>r

|x>n

|y>m

|ϕ>r

|x>n

|f(x)>m

Figura 27-Diagramaperceptronuluicuanticcu mai multestraturi

Cu toate acestea,Figura 27-diagramaperceptronuluicuanticcu mai multestraturinu poate fistarea finală,

deoarece aceastacere stărilene-entanglatealeregistrele. Mai mult decât atât, înstareainiţială a

sistemuluiestenecesară pentru a asiguraindependenţaîntreregistreleintrare şi ieşirestărileiniţiale

şisuplimentarestărileinitialeale Qbiţiilorde calcul. Merminsugereazăpentru a atingeindependenţaQbits-iide

calcul, definindu-le o stareiniţială , şi având, de asemenea, grijă destarea finală , care ar trebui

săfie identică cu , care poatefi realizată printransformărireversibileunitare:

(6-91)

Sau descris grafic în Figura 28 – Biţii de calcul invers

Vf|f(x)>m

|ψ>r

|x>n

|y>m

|ψ>r

|x>n

|f(x)>m

Cm

Vf*

|f(x)>m

|ψ>n+r-m

Figura 28 – Biţii de calcul invers

155

unde este o transformareunitarăasupraregistruluide intrarem şiregistruluide calculQbitr, care creeazăo

stareproprieîn ambele. În plus, aceasta permiteconstruireafuncţiei f(x) într-un subset alregistruluide iesiren,

pe bazade intrareîncurcatăşiale Qbiţiilorde calcul. Atunci se transformă în fără a

influenţabiţiairegistruluide intraresaubiti airegistruluide calcul de cătretransformareaunitară. nu

afecteazăregistruluide intraresaude calcul, inversul lui , şi anume *poatefiutilizat pentru a restaurastarea

initiala a . 156

Cu toate acestea,nueste întotdeaunanecesarpentru a mergeatât de departe, aşa

cumesteQANNo funcţiematematică, în cazul în carevariabilele dinFigura 25-

cuanticeartificialecalculelereţelelor neuronalesunt înlocuite denumere reale. De aceea, doarpentru a

adunainformaţii despref,aceastanueste obligată sărefacătransformareaunitară cu *, dar esteîntr-

adevărnecesară atunci cândnu estenecesar să severificedacăf(x) este egal cuf(y), care

poateficazulunuiQANNautoasociativ. Cu toate acestea,deşieliminareaconfiguraţiilorposibile ale

luifscadeprobabilitateade a măsuraoconfiguraţienedorită şitimpul necesar pentrucăutarecuantică, aceastanu

dezvăluieconfiguraţiadorită. Astfel, un registrusuplimentareste necesar pentrumăsurareaperformanţeireţelei

artificialeneuronalecuantice, pentru careentanglement-ulcontinuu curegistrulde calculeste absolutnecesar.

După ce aaplicattransformareaunitarăde curăţareaentanglement-uluiîntreregistrelede intrare, de calculşi de

ieşire, acoloar trebui să rămânădoarentanglement-ul registrelorde calculşi de performanţă. Atunci când se

aplicăo căutarecuanticăîn registrulde performanţă, care, de fapt, manipuleazăfazelevalorilorde

performanţăposibilepânăprobabilitateade măsurare arezultatului doriteste aproapede unitate,

următoareamăsurare, permitecolapsulregistruluide calcul, care relevăapoiffuncţia dorită.

6.2.4.5 Normalizarea

Ca şi întermeni descalarereţeauaneuronală artificialăcuanticăcu feedforwardde

intrareîncăproceseazăinformaţii înacelaşi felcum faceunaobişnuită, nevoia denormalizarede intrarenu

155 Mermin David N. (2007): Quantum Computer Science: An Introduction; Cambridge: Cambridge University Press 156 Mermin David N. (2007): Quantum Computer Science: An Introduction; Cambridge: Cambridge University Press


artificiale

82

dispare. Astfel, intrareatrebuie să fiescalată pentruoparticularitateîntre0 şi1 pentruvalori pozitiveşi-1 şi0

pentruvalori negative.

Start

1. Crează factorul de normalizare

2. Pentru fiecare w

a) Normalizează cu to

b) Salvează în corespondentul

Stop

Algoritmul 5 – Normalizarea intrării cuantice

Detaliere:

: greutatea curentă fara normalizare

: greutatea curentă normalizată

: factorul de normalizare conform normalizării multiplicative

: listă ce conţine fiecaregreutate posibilă, este de la neuron, este spre neuron

Normalizarea datelor se întâmplă înaintea procesării de către ANN-ul cuantic şi nu este necesar să fie

realizată de calculatorul cuantic deoarece prelucrarea estesimplăşi nuNP-grea.

6.2.5 Măsurarea

În cele din urmă, toate acestea nuiau în considerareproblemade elementară de căutare, cao

configuraţieaQANNîn parametriipermişitrebuiesă fie găsitîn cadrulsuprapuneriisale. Acest lucru permite

aplicareaalgoritmuluiGrover157

, care este folosit pentrucăutareaunei configuraţii speciale,sau a unui

elementîntr-o bază de date nesortată(care este în cazulQANNregistrulde performanţă însuprapunereliniară).

AlgoritmulGroveroferărăspunsul pentrumomentul în care sistemulse măsoară. Este important

sămenţionămfaptul căalgoritmuleste capabilde a găsisoluţia dorităîn timp (iteraţii),aceasta nu se

poate facepe uncalculatorvonNeumann.

Algoritmul realizeazăurmătoarele: inverseazăfazastărilorde bazădorite, urmată de o inversare atoate

stărilorde bazăcu privire laamplitudineamedie atuturorstărilor.Repetarea acestui procesproduceocreştere

aamplitudiniia stăriibazădorităapropede unitate,urmată de o scăderecorespunzătoareînamplitudineastării

doriteînapoilamagnitudineasa iniţială. 158

Grovera detectat căaceastărutinătrebuie doarsă fie apelatăde un

numărderepetiţii, care nu depăşeşte , careeste iteraţiişi, prin urmare, cu toate

căestecăutareacumvastochastică, el surclaseazăuncalculatorclasic. Deşi, în general, algoritmulestedescris

caalgoritm decăutarede baze de date, ar fimai potrivitsă-ldescriem ca o funcţieinversor. Aceasta , deoarece

pentruo functiedată algoritmuleste capabilde a determinay. Ricksşi Ventura159

au făcut opropunere

foarteinteresantăasupra modului în caresoluţia optimăpoatefideterminată de ogeneralizare

aalgoritmuluiGroverfacută deBoyeret al160

. O altăabordare ar puteafi, după cum urmează: ieşireaunui nodar

fi şi în conformitate cualgoritmulluiGroverdeterminareay esteposibilă, care aresă se

întâmplecuo căutarecuanticăde rutină. Aceasta rutinăde căutaretrebuie săcalculezeapoiînapoi prinreţea,

care este destul dediferită deoricealtă abordareîn procesul de învăţarea reţelei neuronale. De obicei, y

estedată şicineva încearcăsă determine si se adapteaza printr-un algoritmde învăţare, atât timp cât

este necesarpentru a îndeplinicriteriileoprire, cum ar fiRMSE. Cu toate acestea,atunci candnumai este

dată, este necesarpentru a găsiintrarea corectăpentrurezultatul dorit. Astfel, ieşireacalculatătrebuie să

fieprelevatăşicalculultrebuie să meargăînapoi. Săpresupunem, ecuaţiaperceptronuluieste:

157 Grover Lov K. (1996): A fast quantum mechanical algorithm for database search, Proceedings of the 28th Annual ACM Symposium on the Theory of

Computation, pp.212-219. 158 Ezhov Alexandr A., Ventura Dan (-): Quantum neural networks, BSTU Laboratory of Artificial Neural Networks 159 Ricks Bob, Ventura Dan (2003): Training a Quantum Neural Network; Provo: Brigham Young University 160 Boyer Michael, Brassard Gilles, Hoyer Peter, Tapp Alain (1996): Tight Bounds on Quantum Searching, Fourth Workshop on Physics and Computation


artificiale

83

( 6-92)

atunci trebuie să fie:

(6-93)

Şi calculul erorii:

(6-94)

Unde n reprezintă numărul de ieşiri şi y este numărul de valori de intrare. Însă, din nou, înainte de asta,

registrul de intrare format din n Qbiţi trebuie pus în suprapunere cum a fost deja făcut in ecuaţia( 6-43 ):

(6-95)

De asemenea, dupa ce a fost introdusă transformareaunitarăVeste necesară o transformare unitară

suplimentară W care acţioneazăperegistrulde intrareV cuo formăfixă, nu o funcţie de

conservareacomponenteioricărei stăride-a lungulstăriistandard (iniţial) . Schimbareasemnului

componentei saleortogonale :

(6-96)

reprezintăoperatorulde proiecţiepe .161

Având în vedereacestetransformări, algoritmulluiGroverse

aplicăprodusulWVde mai multe oriperegistrulde intraredin . În plus, fiecareinvocare

aWVimpunerutinade căutarecuanticăsauoperatorul unitar să fie executat. Acesta este capabil să

lucrezecusuprapuneridestărileQANN-uluişi comparăintrăriledinbaza de date, sau, încazulunei

reţeleartificialeneuronalecuantice,ieşireadorită cuieşireacalculată. Rezumând, în

ambiialgoritmi,căutareacuanticăurmăreştesă lasecădereasistemuluiînincoerenţăatunci cândamplitudinilede

probabilitate pentrumăsurareastării doritese apropie deunitate.

6.2.6 Implementăride reţeleneuronaleartificialecuantice preconizate

Existaşansade a pune în aplicare sistemecuanticecapabilede a prelucra

reţeleneuronaleartificialecuanticeînainte de a aplica computerele cuanticestandard. Aceastapentru

căprimele implementărivorviza, eventual, reteleneuronale artificialeauto-asociative, care nudepind

devariabiledublepentru prelucrare, ci devaloriînsemnate de2bit(-1, 0, 1). Astfel, arhitecturanuar consta în64

deQbits, ciîn 2Qbits. Având în vedereo astfel dereţeaneuronală artificialăcuanticăauto-asociativăde

recunoaştere amodelelorformate din3valori de intrarear avea nevoie dedoar 3Qbitsîn

cazuluneireţeleneuronale artificialeHopfield(Figure 18 – Reţeaua neuronalăartificială cuantică Hopfield )şi

poate7 (în funcţie denumăruldeclasificatoriinvizibili), în cazulunei maşiniBoltzmann(Figura 19 – Maşina

cuantică Boltzmann).

161 Mermin David N. (2007): Quantum Computer Science: An Introduction; Cambridge: Cambridge University Press


artificiale

84

|i1›

|i2›

|in›

ψwi1i2

ψwi2in

ψwi1in

Figura 20 – Reţeaua neurală artificială cuantică Hopfield

|i1›

|i2›

|h1›

|h2›

|h3›

|hn›

|in›

ψwi1i2

ψwi2in

ψwh1h3

ψwh1hn

ψwh2hn

ψwi1in

ψw i1h1

ψwi1h2ψ

wi1h3

ψw

i1hn

ψw i2

h1

ψw i2h2

ψwi2h3

ψw

i2hn

ψw

inh1

ψw inh2

ψwinh3

ψwinhn

ψwh1h2

ψwh2h3

ψwh3hn

Figura 21 – Maşina cuantică Boltzmann

O altăprovocareesterealizareainterconectăriicerutede neuroniireţelei.Calculul ponderilorde conectarese

realizează cuecuaţiaperceptronuluişicreează, astfel, entanglementulbiţilorde calcul. Prin urmare,

conexiunileneuronaleponderateexistă ca stărileîncurcateQbit. PotrivitDiVincenzo, sistemele fizicede punere

în aplicare acalculatoarelorcuanticetrebuie să furnizeze următoarele(criterii DiVincenzo):

o un sistemscalabildeQbitsbine caracterizaţi;

o săofereposibilitatea de iniţializarecorespunzătoare;

o să aibătimpide coerenţămai maridecâtîn intervalele de timp necesarepentru

operaţiunilefundamentale;

o Sa aibăun set universaldeporţicuanticeşimăsurareaQbitspecific.162

Din punct de vedere tehnic, nuexistăniciun obstacolfundamental înpunerea în aplicare aunuicomputer

cuantictolerant la erori, cu toate acestea, nu există nicicea mai bună abordare.

6.2.6.1 Rezonanţa magnetică nucleară

RMNpare a fio abordarepromiţătoare pentrupunerea în aplicare aunei reţeleneuronaleartificialecuantice,

deoarece, deşinumărul de biţieste în prezentlimitat, suprapunerealiniarăpoate fi păstratăpână

lamiidesecunde,astfelsuficient de multpentru a permitecalculul, căutareacuanticăşi măsurarea.

162DiVincenzo David. P. (2001): Dogma and heresy in quantum computing; Quantum Information Comp. 1, 1.


artificiale

85

ChuangşiGershenfeld163

au făcuto verificare experimentalăfolosind unsistemde rezonanţă magnetică

nuclearăalcătuitdin doiQbits, primulfiindde spinalunuinucleude izotop de Carbon , al

doileafiinddescris despinulunuiprotonde spinal unuiionde hidrogen Cu toate acestea,deşisistemullor

esteun adevăratsistem cuantic, eicalculeazămediastatistică amai multor copii alesistemului, astfelmolecule.

6.2.6.2 Altele

Alte sisteme promiţătoare sunt sistemele cuantice care sunt formate dintr-un electron, izolat într-o cuşcă

atomică, cuşti ionice sau alte electrodinamici cuantice ale atomului în cavităţi optice.

7 Inteligenţă computaţională ce aplică ordine înaltă în sistemul pentru

achiziţii de date Inteligenta computaţionala ce aplica ordine înaltă în sistemul pentru achizitii de date este unul

dintrerezultatele acesteilucrări.Acesta este un produs generic, estesistemul softwareneurocomputingbazat

pe cunoaştere164

(KBN), denumit în continuare"Inteligenţă computaţională ce aplică ordine înaltă în sistem

pentru achiziţii de date", în extragerea datelor(SHOCID). Acesta aplică calculul paradigmelorde informaţii,

metode şitehnicidindomeniul de data mining şi a fost dezvoltat pentruverificareaabordărinou introduse.

KBNîncontinuarese referăla SHOCIDpentru utilizarea şireprezentareasimbolicăa cunoştinţelorîn

cadrulparadigmeineurocomputing.165

Astfel, accentulesteSHOCIDpe aplicareapractică ametodelor pentru a

codificacunoştinţele anterioare, precum şipentru a extrage, rafina, şi revizuicunoştinţeleîncorporateîntr-una

saumai multeRNA.166

7.1 Inovaţii

Inovaţiile SHOCID aduseîndomeniulextragerii de datese bazează peinovaţiiledin

domeniulinteligenţeicomputaţionalecare au ca scopde a găsisoluţia optimă sau

aproapeoptimăpentrudeclaraţiile problemeiDM. Extragerea de dateSHOCIDnu ar fi fostposibilă

fărăaplicareaparadigmelorde calcul genericde informaţii, noilemetodeANNde formare şinoile tipuri

deANNpentru clasificaresi predicţie sau dezvoltatîn timpul fazeide cercetare. Inovaţiile SHOCID, prin

urmare, conţin:

Aplicareaunuinou tipdereţele neuronaleartificialerecurentă(SHOCID recurentăreţeaneuronală

artificială) pentruclasificareadatelor şiserii de timppronostic de, a functiona mai bine decâtcelede

feed-forward sau reţelele neuronale artificialerecurenteîncele mai multe cazuri.

Aplicareaunuinou tipdereţea neuronalăartificială, pe baza prelucrăriiconştiinţei umanepentru

clasificaresi predictie(reţeaneuronală artificialăcorticală).

Aplicareadeep belife-likeavândreţele neuronaleartificiale, inspirată

destructurineuronaleprofundedincreierul umanpentru clasificare.

AplicareaNeuroEvoluţiatransgeneticăprin simularearelaţiei dintreunorganism gazdăşi

unendosymbiont.

Aplicareasistemului imunitarartificialinspirate deoperaţiunidincombinaţie cuNeuroEvoluţia

genetică.

Aplicareaunuinou tipdemetaheuristic(genetic), algoritmpentrumodificareaponderilorşi, de

asemenea, arhitecturadefeed-forward sirecurentăde feed-forward a reţelelorneuronale artificialeîn

timpul fazeide pregătirepână la odetectateoptimăsau aproapesoluţie optimădesistem.

Aplicareaunuinou tipdealgoritmpentru determinareacalităţiiunei reţeleneuronaleartificiale, bazată

pe un calculde unificarea rădăcinii mediepătratede eroria ieşirilorneuronilor, sprijinirea

SHOCIDprivind determinareacelei mai bunedinpiscinade soluţiicreate.

Propuneredeun concept teoreticpentru oreţeaneuronalăcuanticănucopiereaefectele

cuanticepentruînvăţareaalgoritmicăoproblemeicare pe o maşinăvon Neumanne dejarealizată,

darpentru a fiprocesatăpe uncomputer cuantic.

163 Gershenfeld Neil, Chuang Isaac L. (1996): Quantum Computing with Molecules [2012-12-19]; URL:

http://www.mat.ucm.es/catedramdeguzman/old/01historias/haciaelfuturo/Burgos090900/quantumcomputingSciAmer/0698gershenfeld.html 164Cloete Ian, Zurada Jacek M. (2000): Knowledge-Based Neurocomputing; Cambridge: MIT Press 165 Kolman Eyal, Margaliot Michael (2009): Knowledge-Based Neurocomputing: A Fuzzy Logic Approach; Berlin Heidelberg: Springer-Verlag, p. 5 166Cloete Ian, Zurada Jacek M. (2000): Knowledge-Based Neurocomputing; Cambridge: MIT Press


artificiale

86

Simulareaunui mediuadecvat pentruuncomputer cuantic, urmată deo simularea unei

reţeleneuronaleartificialecuantice.

Determinarea,pe partea deSistem,atipului defuncţiide activareneuronutilizateîn cadrul

uneireţeleneuronale artificiale, bazate peneuronde intrare, adicăproblemadeclaraţieide data mining.

Determinareape partea deSistema soluţieioptimeîn non-evolutiv (arhitecturaadaptabilăa

reţelelorneuronale artificiale), precum şi înmetodele deformareevolutivedeaplicare

acomisiilordemocraticede reţele neuronaleartificialeluarea unei decizii finale, constând

dinagenţiunicide reţele neuronaleartificiale.

Imputaţiavalorilor lipsăînseturi de dateincomplete nuprin metodestatistice, ci prin.aplicare

dealgoritmigeneticia reţelelorneuronale artificiale, care derivăvaloarealipsesă dinalte valori, atât

dinsetul de dateîn cauză cât şi dintoatecelelalte seturi de datedin datelede formare.

Arhitecturi dereţele neuronaleartificialegenericece permitprelucrareaîn cea mai mare partede

clasificarenumericăprezentate şi(serii de timp) declaraţiilepronosticuluide problemă.

7.2 Structuri de reţele artificiale neuronale suportate

Următorul subcapitol oferă o descriere sumară a structurilor de reţele artificiale neuronale suportate.

7.2.1 Reţele artificiale neuronale feed-forward

Reţeleleneuronale artificialefeed-forwardsunt utilizate de SHOCIDpentru sarcinide clasificare. Singurele

excepţiisuntRNA recurenteşicorticalăale SHOCID, care suntutilizate pentru clasificareşi pentru predicţia

timp-serie. SHOCIDsprijinăînvăţareaorizontală şimetode de instruirepentruFFANN-uri:

NeuroEvoluţiaTransgenetică

Sistemul imunitarartificialinspirat deNeuroEvoluţia

Simulareaînvăţăriicuantice

Propagare înapoi

Regulade actualizareManhattan

Propagare rezistentă

Algoritmi genetici

AlgoritmulLevenbergMarquardt

Metodelede formare orizontalesunttoate metodelede adaptare aponderilora uneia sau mai

multorRNAdeaceeaşi complexitate, precum şi evoluţiaacestor reţeleprinintermediul unoralgoritmigenetici.

Oricare dintremetodele de formarenecesitămai mulţi parametri, printrecare:populaţia

iniţială,algoritmuldeînvăţaregeneticsauimpulsul pentruînvăţareprin propagareînapoi. În plus, sistemul

suportăevolutiaverticală, care esteadaptareaarhitecturiişi poate firecombinare aRNAde arhitecturădiferită.

SHOCIDsprijină:

NeuroEvoluţiade sporire atopologiilorpentruadaptareageneticăamatricelor de greutate;

evolutiastructuralăpentru toatemetodele de formare alesistemului, în cazul în careprocesul

deevoluţieîn sine estedenaturăgenetică.

În conformitate cumetoda de clasificareselectată, utilizatorul alegemetoda de antrenamentdorită.Timpul de

caresistemulare nevoiepentru ainstruio soluţieANNdepindedemai mulţi factori:

metodade formareselectată

cantitatea de datede formare

o complexitateaproblemei

o numărul/varietatedeatributede intrare

o numărul/varietatedeatributede ieşire

7.2.2 Reţele neuronale artificiale recurente feed-forward

Cele mai multe dintreRNArecurenteSHOCIDsuntinstruiteprinalgoritmigenetici. Existăpatru

tipurideRANN-uriacceptate:

RNA corticală

RANNSHOCID

RANN Elman

RANN Jordan


artificiale

87

SHOCIDsprijinăînvăţareaorizontală şimetodele de formarepentru următoareleFFANN-urirecurente:

Algoritmii genetici

Încălzirea simulată

7.2.3 Reţelele neuronale artificiale„Deep belife”

Deoareceabordarea RNA-urile deep belifeSHOCID(DBN) nu se bazează numaipe o structurăANN cu

alimentareînainte, tratamentul termicsimulateste folositca oabordarede învăţare. DBN SHOCID, care se

bazeazăpeHintonsDBN167

, a fost dejaexplicatîn detaliu, deoarece esteonouăabordareANN de învăţarepentru

clasificareadatelornumericeşicare au fostelaborateîn cadrulfazeide cercetarepentruSHOCID.

7.2.4 Hărţi cu opţiune de auto-organizare

SHOCIDfoloseşte şiun fel dehartă topografică, bine cunoscută cao funcţie de autoreglare,hartaorganizator

sauKohonen harta. SOFMsunt utilizate de cătresistemul declusteringcarea fost dejaexplicat dinpunct de

vedere tehnicîn fundamenteleştiinţifice. Clusteringeste singurametodă de

formarenesupravegheatăsuportatăde sistem, ceea ce înseamnă căniciuna dintre valoriledoritede ieşirenu

trebuie să fiefurnizate însursa de date. PrelucrareaSOFMnecesită doarnumărul doritdeclusterede ieşireîn

funcţie decaresistemul creeazăneuroniide ieşireşieste capabilsă procesezeintrareaprin intermediulhărţii.

7.3 Privire de ansamblu asupra arhitecturii

Figura 31oferăoimagine de ansambluaarhitecturiisistemului, -

Figura 22 –. SHOCIDpoate fi împărţit înpatru părţilogiceîntre frontalşi backend. După cum s-a menţionatîn

introducere, nucleulSHOCIDafostparţialrealizatprin aplicareaclaselorEncog2din cercetareaHeaton. Cu toate

acestea,pe de altă parteeste formatdinprelungiriale cadrului, precum şi apunerii în

aplicareaabordărilorgenericeşi noiANN. Până acum(10-11-2012), această extindereconţine: 112clase Java,

145de paginide serverJava, care împreunăreprezintă aproximativ120,000de linii de codsursă.

7.3.1 Interfaţa grafică pentru utilizatorr

Interfaţa deSHOCIDa fost făcutădin paginide serverJava(JSP-uri). Această interfaţa:

aşteaptăutilizatorul să conectezesistemul lao sursă de datesub formădevaloareseparatăde

virgulă(CSV);

permiteutilizatorului săcreezediferite tipuride reţeleneuronale artificialeîn funcţie descopul

prelucrării, în diferite combinaţii, şi anume: singuragentANN,comisiede

maşiniANNşievoluţiaagenţilorANN;

aşteaptăutilizatorul săaleagă dacădatelede faţătrebuie să fienormalizate;

aşteaptăutilizatorulpentru a specificanumărul dedomeniide intrareşide ieşiresau clustere.

7.3.2 Prelucrareaintrărilor/pregătireade procesarebackend

Intrarea estetransferată de lainterfaţadeJSP-urimediatoarelor SHOCID, care determinăprindatele

furnizatedacă este:

un singuragent deANN,

ocomisiemaşiniiANNsau un

singur agentANNîn evoluţie

Ar trebui să fiecreate şitransmite acesteinformaţiiJSP-urilorprelucrarea/ieşire. Acestea, larândul

săuapeleazămetodade execuţie, cu toţi parametriide intrareprevăzuţişitransmite datelelabackend. În cadrul

acestuidomeniu, prin urmare, utilizatorul interacţionează cusistemulşisistemulpregăteşteintrarea

pentruprelucrareabackend.

167 Hinton Geoffrey E., Salakhutdinov Ruslan R. (2006): Reducing the dimensionality of data with neural networks, Science, vol. 313, no. 5786, pp. 504–507,

2006.


artificiale

88

SHOCID JSP Frontend

Processing /

output jsps

Middler jsps

Input jsps

Data

connection /

processing

method

Submission /

output

retrieval

SHOCID JEE Backend

ANN

(committee)

generation

Data

preparationResult

generation

Result

preparation

ANN saving

ANN

evaluation

Input processing /

preparation of backend processing

GUI: Input / Visualization

Pre

-pro

cess

ing

Intelligent solution

determination

ANN training

Figura 22 –Planul unui SHOCID

7.3.3 Pre-procesarea

Partea de pre-prelucrareaasistemuluiesteresponsabilă pentrunormalizareadatelor şipentrucrearea deinstanţe

aleRNAînstructura aleasă, care este:

o determinareafuncţiilorunicede activareneuron;

o includereametodei de învăţareîn funcţie demetoda de prelucrare;

o pregătire pentruefectuareaunei evoluţii posibileastructuriireţelei, conform

problemeideclarate.

În plus, deşi acestemăsurifac parte din cele mai complicatedouă domenii alesistemuluitoateacestea

suntefectuate de cătresistem în sine.

7.3.4 Determinarea inteligentă a soluţiei

Nucleul sistemului hotăreştesoluţiainteligentă pentruoproblemăprezentată. În timpul antrenamentului,

calitatea fiecăreiANN estedeterminată conformunui algoritmsimplu, iar celemai bunesunt ţinute, celemai

gravesunt eliminate. În funcţiedemetodade pregătire şi dacăsistemula fostsetat

săapliceevolutiaarhitecturală, soluţiaprocesului de determinarepoate deveni foartecostisitoareîn termeni de

timpde calcul. Combinaţia de evoluţiearhitecturală, combinată cuANNSHOCIDcorticalestemetodade

prelucrarecea mai scumpă, dar, de asemenea, una dintrecele maiprecise. Deoarecesistemul afost

dezvoltatpentru a învăţamasivîn paralel, sevaefectuamai bineun servercare poate oferimai multeprocesoare.

După ce aterminatformareaşi evaluarea, cea mai bună soluţierezultatăeste salvatăîn mod automatînsistemul


artificiale

89

de fişiere local, care ajută la evitareapierderiineintenţionateaunei soluţiiinstruite, deoarececineva nuar

puteaaşteptaînfaţamonitoruluipentrumai multe orepână cândsistemul aterminatprelucrarea. În cele din

urmă, rezultatelesunt apoipregătiteşi prezentatelautilizatorîn formede tabeleşi diagrame. Acest pas a fosta

fost delegatde sistemsi nueste necesară intervenţia utilizatorului.

7.4 Metode de prelucrare SHOCID

SHOCIDproceseazădateleîn funcţie de tipurilesolutieişi tipurilesolutieifac uz demetode

deprelucrarediferite, sauînaltecuvinte, metode de formare. Diferite metodede prelucrare ale sistemuluisunt

explicate înurmătoarele subcapitole. Nu este o limităstrictăpentru a fi redactatăpentru a împărţimetodele

deprelucrareuniceîntre ele, ca şi celepredictive, precum şi algoritmigeneticide imputare avalorii de utilizare,

sauînceea ce priveşte evoluţiade prelucrareSHOCID, de a învăţaşi de a înţelegeo problemădeclarată.

7.4.1 Clasificare

Metodele de prelucrarea clasificărilorsunttoate acesteacare au posibilitateasă rezolvesarcinide clasificare.

Acestea nutrebuie neapărat săfielimitate lavalori de ieşirepuţine, darun exempluar putea fiprezentarea de

dateale clientilorde la o bancă. Această prezentare conţineclienţiiactuali, precum şi clienţii care au plecatla

o altă bancă. Sistemular putea ajutala identificareaclienţilorcare ar puteasă plece. Cu toate acestea,metodele

deprelucrare aclasificăriidin cadrul sistemuluisunt, de asemenea, capabile să rezolvesarcinipredictivecare

nu sunt în serie. Următoarele metodeprelucrarede clasificare suntdisponibileîn cadrulsistemulSHOCID.

7.4.1.1 Quick & dirty

Aceastămetodă de prelucrarepermitesistemului dea crea unANNde învăţarecupropagareînapoi. Această

metodăde învăţare estedeinteres special, atunci când osoluţieeste necesarăîntr-un timpscurt, şi nu poate fi

acordat timp deformare. Rezultateleobţinutecuo astfel de soluţienu potfi corecte, daratunci cânde nevoie se

poate utiliza ca un indicatoralmodului în carepoate arătasoluţiaoptimă.

7.4.1.2 Rapidă

Când este selectată această metodă, sistemulpermiteRNAsăînveţecu regula de actualizareManhattan. După

cum s-a menţionatînelementele fundamentale, prin aplicareareguliide actualizareManhattan caalgoritmde

formareîn cadrul uneiANN,problemaalgoritmuluicu propagareînapoideplatouplatesteevitată, deoarece, din

cauzaconstanţeisale, schimbareagradientuluisau greutateanupoate deveniatât de mică încâturmătoarea nu

poatefiatinsă.

7.4.1.3 Eficientă

Conduceeficient laaplicareapropagăriirezistentede învăţare. Propagarearezistentăantreneazăfiecaregreutate

şiprag înmatriceade legăturăîn mod individual, care nu este susţinutănicide propagareaînapoişi nici

deregulade actualizareManhattan. Cu toate acestea,acest lucru necesitătimpde calculmai mult decâtprimii

doialgoritmi, dar permitecele mai precise rezultateale celor treialgoritmipropagare aformării.

7.4.1.4 Evoluţiamică

Evoluţiamică este o metodă de prelucrare carepermitesistemuluicreareaRNAinstruitedetratament

termicsimulat. Dintretoate metodeleformăriievolutive, EMnecesitătimpde calculmai mult, darar

puteaajunge lasoluţii maiprecise. Metodeleevolutivede prelucraretrebuie aplicate pentruprobleme

complexe.

7.4.1.5 Evoluţia

Învăţarea prinaplicarea unoralgoritmigeneticifoartedespermitesistemuluisă ajungă la osoluţie optimăsau

aproapeoptimăîn termen decâteva iteraţii, în comparaţie cualte metodede formare. Cu toate acestea,în ceea

ce priveştetimpul de calculpentru aceasta estea doua cea mai intensivămetodăpentru antrenament,

deoareceo populaţieiniţială(bazin de soluţii) este creată şirecombinatăşimutată, până cândcriteriile

deoprirea fost atinse.

7.4.1.6 Evoluţiacomplexă

Acest tip deprelucrare esteceva maicomplexdecât ceadin urmăîn care se aplicăNeuroEvoluţiade sporire

atopologiilorprinutilizarea dealgoritmigenetici. Evoluţia complexănecesită timpde procesarecrescut, dar, de

obicei, duce lasoluţii maiexacte.

7.4.1.7 Evoluţiaoptimă

Evoluţiaoptimăeste în termeni detimp una din metodele de prelucrarecele mai scumpe, dar, înacelaşi timp

dar,una dintrecele maiprecise pe caresistemul o suportă. EvoluţiaSHOCIDstructuralăcare s-a aplicat

adovedit că aajuns lasoluţiile cele maiprecise pe caresistemul esteîn măsură să determine. Mai


artificiale

90

alescombinaţiaevoluţiei structuraleSHOCIDcuRANN-uriSHOCIDesteoabordarede preferatatunci cândo

soluţiede data miningvizeazăcea mai mare precizie.

7.4.1.8 Evoluţiade similitudine

Evoluţiade similitudinecreeazăRNAîn care se aplicăfuncţialui Gaussca functiede activare.

Detectareasoluţiei optimedin nouse întâmplă prinevoluţiagenetică. Soluţia, prin urmare, este similară

cu"Evoluţia", darnu numai cădiferălafuncţia de activareunui singur neurona. RNAde acesttip suntlimitate

laun singur stratascunsşinumăruldeneuroniinvizibilitrebuie săfie neapăratde două orinumărul deneuronide

intrare. Cazul de utilizaresugeratpentruevoluţiade similitudineeste atunci cândovaloare-ţintăanticipatădeun

elementdin datele sursăeste probabil să fieaproximativ aceeaşi(similare) ca alte elementecare auvalori

apropiateale variabilelorpredictor.168

7.4.1.9 Prelucrareacorticală

Prelucrareacorticalăca ometodăde procesare aRNA şia fost inspirată deprelucrarea semnalelorîn

cadrulconştienţei umane.Astfel, oRNAcorticalăpentru învăţareeste creatăpentru odeclaraţie deprobleme

înexploatareadatelor. RNAcorticalede procesaresunt foartecomplexe, în structura lor, iar aplicarea lor este,

prin urmare, în ceea ce priveştetimpul de procesareuna dintre metodelecele maiscumpede învăţareoferită

desistem. Cu toate acestea,atunci când odeclaraţieproblemăconstă dinnumeroşipredictoridiferiţi caretrebuie

săfieclasificaţianticipatsauatributeţintănumeroase, RNAcorticalăpoate fisoluţia optimă. Deoarece

aceastaeste încăo soluţieexperimentalăşio temă de cercetareactuală, îmbunătăţiriîn procesul de

prelucrarecorticalapotfi făcute încă.

7.4.1.10 NeuroEvoluţiaTransgenetică

NeuroEvoluţiaTransgeneticăeste unadintre metodele evolutive cele maisofisticateoferită deSHOCID.

Această metodă afost inspirată deendosimbiozaşi transferulorizontal de gene lacoloniilede bacterii.

Castandard deRNAgenetice, pentruo populaţieevoluţiaeste necesară. Cu toate acestea,înmod

contrarceluidin urmă, soluţiatransgeneticăcreează treipopulaţiidiferite şievolueazăpână lacriteriilede

oprirele-au fost îndeplinite. Acestepopulaţiidiferite nuformeazăo soluţie, darfurnizeazămaterial

geneticpentru transferulsecvenţa de genăorizontalăîntregazdă şiendosimbiont, care estesoluţiareală.

7.4.1.11 NeuroEvoluţiaartificială inspirată desistemul imunitar

Aceastăabordarecombinăoperaţiuni inspirateAIS şiestetipulcel mai complexde prelucrareoferită

deSHOCID. În plus, prin combinareapunctelor fortealeunuisistemimunitar, caresuntde selecţieclonală,

hypermutatiilesomatice, teoriapericolului, şi selecţianegativă, cucele de învăţaregenetică, a fost dezvoltat

NeuroEvoluţiaun nou domeniu deevoluţieRNA şide învăţarea.

7.4.1.12 Reţeaneuronalăartificială„Deep belife”

Aceastăabordareeste similară cureţeaua deep belifeintrodusă deGeoffreyHinton.Diferenţa este că

doarmaşinilestandardBoltzmannîn locul celorcu acces restricţionatsunt aplicate şică numaiponderile

dinacestea suntimportante, deoarece acesteasuntcopiateîntrunMLPdupă pre-formare, care reprezintăsoluţia

finală. Aceastăabordare esteadecvatăîn cazul în caredatelede formarece conţin o mulţimedevectoride

intrarediferiţi şi caracteristici diferite necesităarhitecturide reţeaprofundă.

7.4.2 Predicţie prin serii de timp

Metoda predicţiei prin serii de timp este folosită pentru a prezice valori continue în cazul problemelor care

nu pot fi rezolvate prin algoritmi simpli. RNA-urile recurente, precum toate RNA-urile cu predicţie a

seriilor de timp, sunt capabile să învete şi să rezolve acest tip special de problemă de Data Mining,

deoarece prin straturile recurente ale acestora au un fel de memorie. Tipurile de soluţie au pur şi simplu

numele RNA-urilor respective şi toate tipurile de soluţie învaţă odata cu evoluţia SHOCID.

7.4.2.1 Predicţia SHOCID

Predicţia SHOCID este cel mai eficient tip de soluţie, comparabil cu evoluţia optimă a clasificării

SHOCID. În ceea ce priveşte timpul de procesare, predicţia SHOCID este cea mai costisitoare metodă de

formare, dar şi cea mai exactă predicţie a seriilor de timp suportate de sistem. Nu există nici o posibilitate

de combinare cu diferite moduri de învăţare, deoarece predicţia SHOCID încearcă mereu să găsească

soluţia optimă prin aplicarea algoritmilor genetici.

168DTREG (2011): RBF Neural Networks [2012-01-01]; URL: http://www.dtreg.com/rbf.htm

http://www.dtreg.com/rbf.htm


artificiale

91

7.4.2.2 Predicţia Corticală

După cum s-a menţionat anterior, RNA-urile corticale dau rezultate bune atunci când cerinţa problemei

constă din numeroşi predictori care trebuie anticipaţi sau clasificaţi în numeroase atribute ţintă. RNA-urile

corticale fac uz de conexiunile sinaptice recurente si de aceea au abilitatea ed a memora, ceea le face foarte

potrivite pentru predicţia seriilor de timp.

7.4.2.3 Predicţia Elman si Jordan

Atat RNA-urile Elman cât si Jordan sunt folosite pentru predicţia seriilor de timp în cadrul SHOCID şi

ambele încearcă să găsească soluţia optimă prin aplicarea algoritmilor genetici. Aşa cum nu este nici o

regulă generală pentru aplicarea unuia sau altuia, rezultatul mai precis al metodelor de prelucrare este găsit

prin încercare şi eroare.

7.4.3 Atribuirea Valorii

Valoarea de imputare, ca metodă de pre-procesare, se bazează pe aplicarea algoritmilor genetici pentru

determinarea valorilor lipsa. De asemenaalgoritmul trebuie să fie trecut peste atributele unui set incomplet

de date, de unde poate deriva atributul lipsa. După aceea SHOCID determină valoarea lipsa pentru un set

de date incomplet prin învăţarea unei RNA, cu toate seturile de date complete ale sursei de date şi în cele

din urmă atribuie valoarea lipsă.

7.4.4 Clustering-ul

Clustering-ul este singura metodă nesupravegheată de învăţare suportată de sistem. Pentru clustering,

sistemul are nevoie doar ca utilizatorul să conecteze sursa de date şi să specifice numărul dorit de clustere

de iesire. În spate, SHOCID creează o Hartă de Auto-Organizare a Elementelor prelucrând seturile de date

de intrare ale sursei, în numărul de clustere specificat. Este foarte posibil ca o noua formare pe aceeaşi

sursă de date să lase sistemul să grupeze seturile de date în clustere diferite, deoarece factorul aleator din

SOFM este mai grav decât în alte RNA-uri. Cu toate acestea, clustering-ul SHOCID creează o serie de

fişiere de ieşire, fiecare conţinând seturile de date de intrare aferente, care pot fi folosite pentru prelucrări

ulterioare.

7.5 Agenţi si tipuri de soluţii

După cum am arătat în subcapitolul 7.4, metoda de procesare SHOCID, se aplică la tipuri de soluţii

bazându-se pe diferite metode de procesare. În funcţie de sarcina de explorare a datelor si metoda de

prelucrare, SHOCID este capabil să creeze următoarele tipuri de soluţii pentru enunţul problemei prezente:

Agent unic

Comitet democratic

Agent unic de evoluţie (evoluţia structurală SHOCID)

Comitet de evoluţie hibrid (evoluţia structurală SHOCID)

7.5.1 Agent unic

Cel mai simplu tip de procesare suportat de SHOCID este crearea unui agent unic de RNA. În funcţie de

numărul de valori de intrare şi ieşire, în funcţie de sarcina ce trebuie efectuată, SHOCID creează un singur

strat ascuns cu feed-forword (recurent) RNA pentru învaţarea enunţului problemei de explorare a datelor

preznetat. Funcţiile posibile de activare pentru agentul unic sunt sigmoid şi funcţiile hiperbolice tangente

de activare. Neuronii agentului fac uz de funcţia hiperbolică tangentă de activare, când intrarile normalizate

iau valori între pozitiv şi negativ. Dacă intrarea normalizată conţine valori pozitive, fără excepţie, activarea

sigmoid este aplicată. Matematic, determinarea agentului finale, făcând uz de funcţia de activare adecvată,

este reprezentată după cum urmează (ec. (7 1)):

(7-1)


artificiale

92

Unde stratulde intrare arepintrări , stratul ascunsare noduriascunseşiieşireaşi existăo singură

ieşirepentrustratul de ieşire . Straturilesunt completconectate prinponderi, unde esteintrarea a

pentrunodul din stratul ascuns, unde estepondereaatribuită nodului dinstratul ascunspentruieşire.

şi suntdeviaţiile. Schematic, un agent unicde învăţare, cu propagare înapoi este descrisîn Figura32 –

Agent unic.

i1

i2

h1

h2 o1

w i1h1

wh2o1

wh1o1

h3

hn

on

in

wi1h2w

i1h3

wi1hn

w i2h1

w i2h2

wi2h3w

i2hn

win

h1

w inh2

winh3

winhn

wh1on

wh2on

wh3o1

wh3on

wh4

o1

wh4on

Figura32 -Agent unic

7.5.2 Comitet democratic

Această opţiunepermiteSHOCID să creeezeo maşinăcomitet, formată dinagentiunici RNA.Crearea

agenţilorunici din comiteturmeazăacelaşi procesca şiatunci când se face selectarea"Agentului unic', darla

fel de descât utilizatorul a instruit SHOCID.Funcţiileposibilede activaresunt din nousigmoidşi

funcţiilehiperbolicetangente, în funcţie desursa de date. Matematic, prelucrarea unuicomitetdemocratic,

format dindoi agenţicu propagareînapoi, poate fi prin urmare, reprezentat de:

(7-2)

unde

Schematic,prelucrareaunui comitetformat dindoi agenţiunicicu propagareînapoieste descrisînFigura 33-

ComitetDemocratic. Ieşirea neuronuluiunui comiteteste determinată devaloareamedie atuturor membrilor

din comitet. Numarul posibil (şi teoretic) de care sistemul estecapabil nuse limitează laun anumit număr,

dardepindedeputerea de procesareşimemoria RAMfurnizată. În prezent, utilizatorul esterestricţionatsă

apliceun număr maximde 5agentipercomitet.

(7-3)


artificiale

93

i1

i2

h1

h2 o1

w i1h1

wh2o1

wh1o1

h3

hn

on

in

wi1h2w

i1h3

wi1hn

w i2h1

w i2h2

wi2h3w

i2hn

win

h1

w inh2

winh3

winhn

wh1on

wh2on

wh3o1

wh3on

wh4

o1

wh4on

i1

i2

h1

h2 o1

w i1h1

wh2o1

wh1o1

h3

hn

on

in

wi1h2w

i1h3

wi1hn

w i2h1

w i2h2

wi2h3w

i2hn

win

h1

w inh2

winh3

winhn

wh1on

wh2on

wh3o1

wh3on

wh4

o1

w h4on

Figura 23 – Comitet democratic

7.5.3 Agent unic de evoluţie

Opţiunea agent unic de evoluţie instruieşteSHOCID să creeze unuldintretipurile deagent unic posibil,

combinatcuevoluţiastructuralăSHOCID. Calitatile produse de evouţia fiecărui agentunicsunt apoicalculate,

stocate şi în finalcomparate.Din nou, funcţiileposibilede activaresuntsigmoidşi funcţiilehiperbolicetangente,

în funcţiedesursa de date. Evoluţia agentului unic este maicomplicată decâtsoluţiilemenţionatela comitetul

democratic. Figura 5.1 prezintă algoritmul pentru un agent de evoluţie cu propagare înapoi(detalii

suplimentare sunt furnizatela pct. 5.1Evoluţia structurală):

Start

1. Iniţializare m=mmin şi n=nmin

2. Repetă

a) Repetă

i. Crearea agentului RNA de evoluţie cu m straturi ascunse si n neuroni ascunşi pentru

fiecare strat.

ii. Selectarea iniţială a ponderilor reţelei la aleator.

iii. Repetă

1. Calculează ieşirea reţelei pentru valoarea

2. Calculează eroarea pentru fiecare neuron de iesire


artificiale

94


4. Adaptarea ponderilor in concordanţă cu

iv. Pană când criteriul este indeplinit v. Determină valoarea calitaţii arhitecturii de reţea curente

vi. Stochează valoarea calitaţii arhitecturii de reţea curente în vectorul calitaţii

vii. Incrementează m cu 1

b) Pană când se ajunge la nmax

c) Incrementează cu 1

3. Pană când se ajunge la mmax

4. Compararea soluţiilor RNA stocate in funţie de calitate

5. Presetează soluţia cea mai bună

Sfârşit

Algoritmul 6 – Agent unic de evoluţie cu propagare în spate

Detaliere:

mmin /mmax: Numărul minim/maxim de straturi ascunse

nmin /nmax: Numar minim/maxim de neuroni per mn

: Intrarea reală

: Eroarea pentru intrarea la neuronul de ieşireon de la generarea curentă

: Eroarepentruneuronulascuns

Algoritmul –Agent unic de evoluţie cu propagareînapoi -arată că prima RNA este creată cuun număr

minimdeneuroniascunşişi straturiascunse. După oiteraţiecompletă de formare,

număruldeneuroniascunşiestecrescut cu1 până pentruaceststrat va fi atins. Aceasta este

apoirepetatpentrustratul ascunsurmătorpână se ajunge la .Fiecaresoluţie unică, cu eroareaşi valorilede

calitate pentrufiecareset de date estesalvată înharta hash, care esteutilizată pentrudetectareacelei mai bune

soluţii RNA, după ce evoluţiaa fost finalizată.

7.5.4 Comitet de evoluţie hibrid

Comitetul de evoluţie hibrid nu este doarun comitetdeevoluţie aagenţilorunici hibrizi, aşa

cumpresupunenumele. Termenul "hibrid" presupune funcţii de activaremultipleîn cadrul fiecăruiagent

deRNAa comisiei, şi anumeactivareasigmoidcombinată cufuncţiile de activarelogaritmice numai pentru

sursă de date pozitiveşiactivareahiperbolictangentăcombinată cufuncţia de activarelogaritmicăatât

pentrusurse de date pozitivecât şi pentru date negative. Evoluţia se desfăşoară înacelaşi modca şiîn

cazulagentului unic de evoluţie, cudiferenţa: comitetul trebuie să fieluat în considerare, algoritmul este:

Start

1. Crearea comitetului iniţial cu nc membri si pentru fiecare membru o o populaţie de RNA np cu mmin

stature ascunse şi nmin neuroni ascuncşi pentru fiecare strat ascuns.

2. Repetă

a) Repetă

i. dacă n < nmax:

2. Incrementează n cu cn

ii. Crearea populaţiei de x RNA-uri cu mcm straturi ascunse si ncn neuroni ascunşi pentru

fiecare strat ascuns.

iii. randomizarea ponderilor si a valorilor de prag ale fiecarui cromozom.

iv. Repetă

1. Calculează ieşirea reţelei pentru fiecare valoare

2. Evaluează potrivirea fiecarui cromozom:

a. Calculează eroarea pentru fieacare neuron de ieşire on

b. Calculează eroarea pentru fiecare neuron ascuns


artificiale

95

3. Selectarea cromozomilor pentru recombinare

4. Repetă

a. Intercalarea cromozomilor

b. Mutaţie a descendenţilor

5. Până când toţi cromozomii selectaţi au fost recombinaţi.

v. Pânaă criteriul este îndeplinit vi. Determina valoarea calitaţii pentru arhitectura reţelei curente

vii. Stochează valoarea calitaţii pentru arhitectura curentă în vectorul de calitaţi

b) Până când se ajunge la numarul membrilor din comitet

c) Verificare

viii. Prezintă fiecare set de date de verificare

ix. Incrementează cu 1 vectorul de erori al comitetului pentru RMSE > rmax pentru fiecare

set de date de verificare

d) dacă n == nmax:

x. Incrementează m cu cm

3. Până când se ajunge la mmax

4. Compararea soluţiilor de RNA stocate in funcţie de calitate

5. Prezintă cea mai bună soluţie

Sfarşit

Algoritmul 7 - Comitet de evoluţie hibrid

Detaliere:

nc: Numarul de membri ai comitetului

np: Numarul de cromozomi per comitet

mmin /mmax: Numarul Minim/Maxim de straturi ascunse

nmin /nmax: Numarul Minim/Maxim de neuroni per mn

cn /cm: Contoare neuroni/straturi ascunşi

: Intrarea efectivă

: Eroarea pentru intrarea la neuronal de ieşire on pntru generaţia curentă

: Eroarea pentru neuronal ascuns

rmax: RMSE permis

Algoritmul – Comitetul de evoluţie hibrid - aratăcontrariul soluţiilordejaprezentate, si anume algoritmul

genetic cu propagareînapoipentruînvăţare ce afost utilizat anterior. Acest lucrueste datorat comitetului de

evoluţiehibrid care suportă doarînvăţareageneticăcu feed-forward aRNA siSHOCIDrecurent pentru RNA,

ceea ce facealgoritmulun pic maicomplicat, ca şi în cadrulSRANN-urilorneuronii dinstratul decontext, în

caz că avem de aface cu unSRANN cu 3 straturi, trebuie de asemeneamajorată cu un increment al

neuronilor din stratul ascuns. SRANNsconţinedouă straturide contextpe fiecarestrat ascuns, astfel

încâtprelucrareadevineceva maidificilă atunci cândevolueazănumărulde straturiascunse. Numărul maxim

destraturiascunse este o constantăcuvaloarea 2, după cumRNAcu douăstraturiascunsepoate

aproximaoricehartăbunacu oriceacurateţe169

. În prezent, SHOCIDsprijinăcomitetele hibride

adaptivepentruînvăţareageneticăcu feed-forward a RNAşiSHOCID pentru RNA, şi revenire simulată a

RNA cu feed-forward.

7.5.5 Fişierul de informaţie al agentului După ces-a sfarşit formarea, SHOCIDsalveazăsoluţiaDM, dar şi informaţii despresoluţieîntr-un

fişiersuplimentar. Acest lucru este necesarpentrucă la aplicareauneia dintresoluţiilestocatesistemul are

nevoie din nou de număruldeneuronide intrare, neuroni de ieşire şiîn cazulunui comitet, număruldemembri

ai comitetului, precum şi numele acestora. Opţiunileposibile sunt:utilizatorul sa fie lasat să furnizeze



artificiale

96

această informaţie când este aplicată soluţia sausă o scrieînaşa-numitul fişier de informaţie al agentului.

Exemplificat, fişierul de informaţii alagentului pentruun comitetcu 4membriconţineurmătoarele informaţii:

4

C:\...\SHOCID\committees\ga\FFANNGAC_2012-01-01_13-25-33_Member_1.net




2

1

Primul număr (4)estenumăruldemembrii ai comitetului, care este utilizat pentru a analizafişierul şipentru a

localizanumăruldeneuronide intrare(2), a carui poziţieeste apoiutilizată pentru

alocalizanumăruldeneuronide ieşire(1). Între acestea, fişierul conţinenumeleagenţilorunici ai RNA, carevor

fi deschiseşi aplicateproblemei enunţatede catreSHOCID când începe prelucrarea.

Numeleagenţiloruniciconţin informaţii despredata creăriilor, tipulşi modul lorde formare.

Literelemajusculearatăcăagenţiiunicisuntreţele neuronale artificiale cu feed- forward(FFANN), formaţi cu

unalgoritm genetic(GA) şi membrii comitetului(C). Numele fişierului de informaţiide

susesteFFANNBPC_2012-01-01_13-25-42.txt.

8 Rezultateexperimentale Sistemului i-au fost furnizate datede formare pentrutoatesoluţiile saleprin aplicarea de metodede

învăţaresupravegheate. În cadrulacestui capitol, precizia şiperformanţade formareasoluţiiloraplicatesunt

demonstrate prin stocarea datelorrezultateexperimental. Fiecare testa fostaplicatde cinci ori, ceea ce

înseamnă căcinci soluţiiaufost formateşi aplicatepe datelede verificare. Mai alescomparareametodelor de

formare şi învaţare dejacunoscute şiabordărileANN,cu celedezvoltatedeSHOCID, şi anume:

Reţeaua neuronală artificială SHOCIDrecurentă,

Reţeaua neuronală artificială corticală

Reţeaua neuronală artificială „deep belief-like”

Evoluţia structurală SHOCID prin:

o Agent unic de evoluţie

o Comitet hibrid adaptiv

NeuroEvoluţie transgenetică

Sistem artificial imunitar inspirat de NeuroEvoluţie este de importanţă. Nu numai

funcţionalitateasistemuluia fost verificată,a fost de asemeneademonstrat cănoile soluţii le

depăşeascpe cele existenteîn fiecare aspect. Rezultatelefiecărei încercăriunicesă conţinăurmătoarele

informaţii:

o ParametriioferiţiSHOCID

o Informaţii despretipul desoluţie

o Iteraţii/generaţiinecesare

o Rezultate

8.1 Opţiunea de testare Black-Scholes

Acest capitoloferă informaţiile tuturortestelor care aufost efectuatecutoate tipurileposibilede soluţiide

clasificare. Secţiunea de clasificări esteîmpărţităîntr-o secţiunede verificare a sistemului, dovedind

căsistemul estecapabilde a învăţaşi de a rezolvaprobleme cu cerinţe neliniare, şio secţiunede testare,

dovedind că SHOCIDestecapabil de a creasoluţii cucapacitatea de a învăţaprobleme NPşirezolvarea

acestora.

Datele financiare prezentate în continuare redaupreţurileopţiuniiBlack-Scholespentrunivelurilede

volatilitatemergând de la 20la sutala 200la suta, pentrutimpul defuncţionare5 la 15zile,iar preţul final

mergând de la 70de dolarila 130 dedolari. Preţul de stoc afost stabilitla 100de dolari, iarprofitul la0%la

generareade date.170

Numărul deseturi de datede învăţata fost de1530. Cu toate acestea,pentruaceastăa doua

170 Scientific Consultant Services (2003): Neural Network Test Data [04-04-2012]; URL: http://www.scientific-consultants.com/nnbd.html


artificiale

97

problemăprezentatăelaborarea nu conţineieşirileideale obţinute, deoarece sunt necesare 1530de

liniipentrufiecareiteraţie.Pentrucolectarea de informaţii detaliate, prototipulSHOCIDpoate fi aplicat. Mai

mult decât atât, nunumaiRMSEa fost importantde învăţat, dar şi agenţilor unici RNA le-afost permisă

numaio abatere absolută de lavaloarearealăînvăţată lavaloarea ţintăde 5dolari.

Număruldeseturi de datede formare: 1530

Număruldeseturi de datede verificare: 100

Număruldedomeniide intrare: 3

Număruldedomeniide ieşire: 1

8.2 Evoluţie mică (tratament simulat de formare) agent unic 1

Primul tratament simulatde formarea fost aplicatproblemeiBlack-Scholespentru a servidreptcomparator

pentruNeuroEvoluţiatransgenetică, careutilizează de asemenea învăţareaSA.

Parametrii:

Normalizarea: Da

Domenii de intrare: 3

Domeniide ieşire: 1

Straturile ascunse: 1

Neuroniiascunşi: 5

RMSEpermis: 1 la suta

Abatereaabsolută permisă de la ţintă: 5

Tabel 2 – Tratarea simulată pentru agent unic 1

Rulare Iteraţie de formare RMSE Final

1 855 2.3440388409399297E-4

2 755 2.4878078905289343E-4

3 560 2.4221577041141782E-4

4 643 3.2309789223214857E-4

5 764 3.3617530058731646E-4

Soluţia numarul 1 a fost aplicată pe seturile de date de test şi s-a obţinut un succes de clasificare de 83% în

cadrul parametrilor permişi. 17% din date au fost clasificate incorect, cu o inexactitate între 5.22 şi 13.48%.

Figura 34 – Procesul de tratare simulat - prezintă o funcţionare tipică SA (rularea 3), cu o ameliorare a

erorii continuă şi fără aberanti, comparativ cu valorile aberanterilor în cazul rularii transgenetice unde sunt

foarte frecvente.

Figura 24 – Rulare tratament simulat

8.3 Evoluţie mică (tratament simulat de formare) agent unic 2

Al doilea tratament simulat de formare a fost aplicat problemei Black-Scholes pentru a servi drept

comparator pentru RNA corticală, care se foloseşte de asemenea de învăţarea SA. Cu toate acestea,

diferenţa este că setările sugerate pentru test, de catre servicii de consultanţă ştiinţifice171

au fost utilizate în

171 Scientific Consultant Services (2003): Neural Network Test Data [01-05-2012]; URL: http://www.scientific-consultants.com/nnbd.html


artificiale

98

rularile 1-3, au fost 22 de neuroni în primul stratul ascuns şi 8 în al doilea. Rulările 4 şi 5 au primit 40 de

neuroni ascunşi în stratul ascuns secund, astfel încât să poată fi direct In comparaţie cu numarul de neuroni

din RNA corticală, care are 41 de neuroni ascunşi în stratul cortexului comun (care de fapt este al doilea

strat ascuns din RNA corticală).

Parametrii:

Normalizarea: Da



Straturile ascunse: 2

Neuroniiascunşi pe stratul 1: 22

Neuroniiascunşi pe stratul 2 rularile 1-3: 8

Neuroniiascunşi pe stratul 2 rularile 1-3: 40

RMSEpermis: 1 la suta


Tabel 4 – Tratarea simulată pentru agent unic 2


1 363 2.3151416966918833E-4

2 258 2.7189890778372424E-4

3 454 2.41296129499371E-4

4 2,396 2.599023163521219E-4

5 634 3.8e73543294647323E-4


cadrul parametrilor permişi. 18% din date au fost clasificate incorect, cu o inexactitate între 0,15 şi 12,39%.

8.4 Agent unic cu NeuroEvoluţie transgenetică LaNeuroEvoluţiatransgenetică, evoluţiamaterialuluigeneticgazdăa trebuit săcontinue până s-a ajuns la

RMSEdur(RMSE multiplu de10)şi o abateredurabsolută(abatere multiplu de10)a fostatinsă pentrujumătate

dinseturile de date. Prin urmare, sumadeiteraţiide formarenecesarepentrumaterialulgeneticgazdăa fostîntre

2şi 20 deiteraţiide formare pentrutoate testele, iarsymbiont-ula fostmultmai micdecâtnumărulde

iteraţiinormale pentru formarea SA. Existaşansa camaterialulgeneticgazdăsă poată fiaproape perfect,

astfelcă un numărfoarte micde iteraţiide formareeste necesar, precum arată rularea4 dinTabelul 5-Agent

unic cu NeuroEvoluţie transgenetică.

Parametrii:

Normalizarea: Da



RMSE permis: 1 la sută

Eroare totală absolută permisă: 1 la sută


Table 3 - Agent unic cu NeuroEvoluţie transgenetică


1 77 3.5057844479903635E-4

2 160 3.4247769680988745E-4

3 202 3.487392294087293E-4

4 2 1.656776733035686E-4


artificiale

99

5 229 2.4754446860207526E-4



Figura 35 – Rularea transgenetică prezintă o NeuroEvoluţie tipic transgenetică (rularea 3), îmbunătăţind

calitatea acestuia în mod constant cu valori extreme, unde unii vectori transgenetici îmbunătăţesc calitatea

generală a soluţiei, dar nu RMSE:

Figura 25 – Rulare Transgentică

8.5 Agent unic cu procesare corticală

Pentruprelucrareacorticală, SHOCID a creat structuricorticaleRNAîn conformitate cunormele sale

neuronalede determinare. De aceea, pentru căstratul deintrare a avut nevoie de 3neuroni, SHOCID a

calculat3neuronipentrufiecarestratcortical iniţial, 3 neuronipentrufiecare stratcorticalsecundarşi

5neuronipentrustratulcortexuluicomun. În plus, reţeauase foloseşte de2cortexurişide un tratament de

formare simulat.

Parametrii:

Normalizarea: Da



Straturi ascunse: 5 (cortex 1 şi 2 ascunşi 1 şi 2, cortex 2 ascuns 1 şi 2, straturile cortexului comun)

Neuroni ascunşi: 3 pentru fiecare cortex ascuns 1, 3 pentru fiecare cortex ascuns 2, şi 5 neuroni ai

cortexului comun.


Eroare totală absolută permisă: 1 la sută


Tabel 4 – Agent unic cu procesare corticală


1 19 3.177617858199725E-4

2 17 3.5229360164145416E-4

3 43 3.1727696709350957E-4

4 46 3.2487922742420623E-4

5 23 3.8020559871233036E-4

Soluţia numărul1 a fostaplicată peseturile de datede testşi a obţinutun succes de clasificarede 94% în

cadrulparametrilorpermişi. 6%dindateaufostclasificate incorect, cu o inexactitateîntre3.37şi1,61%. Figura

36– Rularea tratament cortical simulat prezintăo rulare tipiccorticalăSA (rularea 3), îmbunătăţind calitatea

acestuiaîn mod constantşi rapid:


artificiale

100

Figure 26 – Rulare tratament cortical simulat

8.6 RNA recurrentă SHOCID

RNA recurentă SHOCID utilizează de asemenea, un tratament deînvăţaresimulat, dar într-adevăr, este

nevoie deun număr marede iteraţiipânăformarea poatefi terminată. Cu toate acestea,exactitateaRNA

formate peseturile de datenoi esteremarcabilă.

Parametrii:

Normalizarea: Da



Straturi ascunse: 1

Neuroni ascunşi: 5 comun.



Tabel 5 – Agent unic pentru RANN cu SHOCID


1 7,921 1.5121387365211512E-4

2 8,146 1.3459667973694537E-4

3 6,922 1.6435243504325978E-4

4 7,533 1.53245758325124376E-4

5 6,433 1.43214876154609342E-4

Soluţia numărul1 a fostaplicată peseturile de datede testşi s-a obţinutun succes de clasificarede 94% în

cadrulparametrilorpermişi. 6%dindateaufostclasificate incorect, cu o inexactitateîntre26.52şi49.75%.

Figura 37– Rularea RANN cu SHOCID -prezintă rularea unui algoritmgenetictipicde învăţare(rularea1),

îmbunătăţeşte calitatea acestuiaîn mod constant, fără valori extreme:

8.1 Evoluţia (algoritm de formare genetic)

Algoritmul de formare genetică a fost aplicatproblemeiBlack-Scholespentru a servidreptcomparator

pentruNeuroEvoluţietransgenetică, care este de asemenea, bazată pemetodade învăţare a algoritmului

genetic. Rulărileau fost efectuatecuun privilegiustaticla procentajul de împerechere pentru fiecare

individ(25%), dimpotrivă, NeuroEvoluţia inspirata AIS, unde aceast intervalscadecu succesde

învăţarecontinuă. Cu toate acestea,algoritmulgenetic de învaţare nu beneficiază deun număr maredeindivizi

deîmperechere pentru cămajoritatea au o calitatefoarte proastă.


artificiale

101

Figura 27 – Rulare RANN cu SHOCID

Parametrii:

Normalizarea: Da




Eroare totală absolut permisă: 5 la sută


Tabel 6 – Agent unic de evoluţie


1 358 3.9354381495050465E-4

2 1,596 2.5508401891065016E-4

3 1,354 2.6646150025270337E-4

4 1,062 4.7124965056923035E-4

5 2,003 3.3848295100590405E-4



Figura 38 – Rulare genetică prezintă rularea unui algoritm de învăţare tipic genetic (rularea 1),

îmbunătăţeşte calitatea acestuia în mod constant, fără valori extreme:

Figura 28 – Rulare genetică

8.2 NeuroEvoluţie inspirată de sistemul imunitar artificial

NeuroEvoluţia inspirată de AIS aplică un algoritm genetic de învaţare, dar cu o rată de schimbare pentru

privilegiul de a se împerechea. Până la 80% din problemă a fost învăţată cu succes, SHOCID a permis la

50% dintre indivizi să se împerecheze, ca prin intermediul operatorilor inspiraţi de AIS calitatea generală a

populaţiei este mult mai mare decât în algoritmul standard de învăţare genetică, care în spre deosebire de

aceasta din urmă, nu agravează şansa de a învăţa cu succes problema generală.


artificiale

102

Parametrii:

Normalizarea: Da






Tabel 7 – Agent unic AIS


1 74 4.670250453136827E-4

2 67 4.4639857614472197E-4

3 68 4.507603817615167E-4

4 63 4.8510335491603105E-4

5 71 4.773511168672394E-4

Soluţia numărul 1 a fost aplicată pe seturile de date de test şi s-a obţinut un succes de clasificare de 71% în


Figura 39 – Rulare inspirata AIS arată o rulare tipică de învăţare inspirată de AIS (rulare 2), îmbunătăţeşte

calitatea acestuia în mod constant, fără valori extreme, dar cu salturi în grafic care indică în mod clar unde

operaţiunile inspirate de AIS au crescut foarte mult calitatea populaţiei generale:

Figura 29 – Rulare inspirată de AIS

8.3 RNA-uri “Deep belief-like”

RNA-urile “deep belief-like” se folosesc la tratamentul de învaţare simulat, atât în maşinile Boltzmann şi

MLP finale.

Parametrii:

Normalizarea: Da



Straturi ascunse: 3




Tabel 8 – Agent unic de RNA DB-like


1 16 9.966282764783177E-4

2 5 7.864950633377531E-4


artificiale

103

3 6 9.565366982744945E-4

4 18 9.397388187292288E-4

5 6 8.51492249623108E-4

Soluţia numarul 1 a fost aplicată pe seturile de date de test şi s-a obţinut un succes de clasificarea 100% în

parametrii permişi. 0% din datele au fost clasificate incorect.

Figura 40 – Rularea RAN DB-like arată o rulare tipică de învăţare RAN DB-like (rularea 1), îmbunătăţeşte

calitatea acestuia rapid, fără valori extreme:

Figura 30 – Rulare RAN DB-like

9 Concluzii Capitolul oferă

Un scurt rezumat al contribuţiilor originale, împarţit în:

o Contribuţii de natură teoretică

o Contribuţiide natură tehnică

o Contribuţiide natură practice

Un rezumat scurt al ipotezelor facute la începutul proiectului de cercetare şi dezvoltare

Activităţi de diseminare, precum şi o imagine de ansamblu a direcţiilor viitoare de cercetare în

domeniu.

9.1 Contribuţii originale

Inovaţiilede cercetareşi proiectul SHOCIDde dezvoltarecare s-au facut în domeniulde data miningse

bazează peinovaţiiledin domeniulinteligenţeicomputaţionale, deoarece ambele auscopul de a găsio soluţie

optimăsau aproape optimă pentru problema de data mining. Data mining-ul SHOCID nu ar fiposibil

fărăaplicareaparadigmelorgenericede informaţiide calcul, noilemetodeRNAde formare şide noile tipuri de

RNA pentru clasificaresi predicţiedezvoltate în timpulfazei decercetare. Pentru oimagine de ansamblumai

bună, contribuţiileau fostîmpărţite îndomenii de cercetare ale inteligenţei computaţionale, ale data mining-

ului şiinformaticiicuantice: teoretice, tehniceşi practice. Explicaţiidetaliate potfigăsiteîn cadrullucrarii de

cercetareprezentate.

9.1.1 Contribuţii teoretice

1)Specificaţii ale reţelei neuronale artificiale corticale Acest tip de reţele neuronale artificiale a fost inspirat de aspecte teoretice ale conştiinţei umane. Mai ales

atunci când încearcă să rezolve probleme de clasificare sau de serii de timp, cele mai aplicate structuri de

reţele neuronale artificiale, cum ar fi feed-forward sau MLP recurente, tind sa arate o performanţă şi

precizie scăzută atunci când se ocupă cu seturi de date multiple care conţin numeroase intrări (predictori) şi

/ sau atribute ţintă. Acest lucru este independent de metodele de învăţare aplicate, funcţiile de activare,

deviaţii, etc .. Crearea de cortexuri în combinaţie cu o creştere intensă a numărului de ponderi în cadrul

unei reţele neuronale artificiale permite eludarea acesteia. Prelucrarea nu este efectuată numai de către un


artificiale

104

singur strat ascuns orizontal (sau cortex), ci de mai multe straturi paralele ascunse. Intrarea este procesată

cu feed-forward pentru fiecare cortex al reţelei neuronale artificiale.

2) Specificaţiile ale reţelei neuronale artificiale recurente SHOCID

Reţeaua neuronală artificială recurentă SHOCID este la fel ca şi reţelele neuronale artificiale recurente

Elman şi Jordan, procesează valorile sale de intrare în faţă şi este capabilă să se folosească de mai multe

metode de învăţare. Cu toate acestea, aşa cum calculele din cadrul acestei reţele sunt mai intense din punct

de vedere computaţional decât în alte reţele neuronale artificiale recurente, metoda de învăţare preferată se

bazează pe o adaptare genetică a ponderilor. Faţă de reţelele neuronale artificiale recurente Elman şi

Jordan, reţeaua neuronală artificială recurentă SHOCID este, de asemenea, în măsură să aplice evoluţia

structurală SHOCID172

. Aceasta este o metodă similară cu NEAT care conduce nu numai o adaptare a

ponderilor, dar de asemenea, o scădere a neuronilor si straturilor din interiorul unei reţele neuronale

artificiale pentru stabilirea soluţiei optime pentru un enunţ de problemă de data mining.

3) Specificaţii ale reţelei neuronale artificiale „deep belief”

SHOCID se foloseşte de maşini restrânse Boltzmann173

pentru pregătirea structurilor reţelelor neuronale

artificiale pentru sarcinile de clasificare în domeniul de data mining. Masinile Boltzmann restricţionate

sunt numite reţele „deep belief”174

, care invaţă să extragă o reprezentare ierarhică profundă a datelor de

formare. Cu toate acestea, maşinile Boltzmann folosite în cadrul SHOCID sunt cele standard şi urmeză

acelaşi scop ca şi maşinile Boltzmann restricţionate în reţelele deep belief. Abordările deep belief introduse

nu adună împreună direct maşinile Boltzmann, dar extrage ponderile ce s-au adunat din formarea pentru

inducerea acestora într-o reţea neuronală artificială cu feed-forward. Rezumând, aceasta funcţionează prin

normalizarea datelor prezentate atât bipolare cât şi multiplicative, ieşirea de la prima a fost utilizată pentru

formarea maşinilor Boltzmann, iar de la a doua pentru formarea reţealei neuronale artificiale cu feed-

forward.

4)Specificaţii ale NeuroEvoluţiei transgenetice

NeuroEvoluţia transgenetică prin includerea ambilor simbionţi şi transferul orizontal de gene este o

abordare nouă în învăţarea RNA. Algoritmii transgenetici sunt folosiţi pentru efectuarea unei căutări prin

simularea stocastică a interacţiuni endosimbiotice între o gazdă şi o populaţie de endosimbiont, precum şi

schimbul de informaţii între gazdă şi endosimbionţi de către agenţi175

. Prin combinarea uneia dintre

abordările de învăţare SHOCID cu un organism gazdă, care funcţionează ca domeniu genetic, şi de vectori

transgenetici atât performanţa de învăţare cât şi preciziea pot creşte până la un grad considerabil. Un alt

avantaj este faptul că punerea în aplicare a vectorilor transgenetici creşte masiv şansa de a îndeplini

criteriile de oprire, ca şi algoritmii de învăţare, cum ar fi cei cu propagare în spate nu pot oscila sau bloca în

minime locale ca urmare al transferului inevitabil al materialului genetic gazdă.

5)Specificaţiile NeuroEvoluţiei inspirate de sistemul imunitar artificial

NeuroEvoluţia bazată pe sistemul imunitar artificial este o combinaţie între algoritmii de învăţare genetică

şi punctele forte ale unui sistem imunitar artificial, care scade numărul de generaţii necesare pentru găsirea

unei soluţii potrivite într-o masă mare. În timpul formarii nu este creată numai o soluţie, ci populaţii de

soluţii, care permit în primul rând evoluţia soluţiilor pe baza paradigmelor cunoscute de evoluţie genetică,

care sunt

Selecţia

Împerecherea

Mutaţia

172 Neukart Florian. et al. (2011): Problem-dependent, genetically evolving Data Mining solutions; Proceedings of DAAAM 2011, 2011 22nd World Symposium

173Smolensky Pavel (1986): Information processing in dynamical systems: Foundations of harmony theory. In Rumelhart, D. E. and McClelland, J. L.,

editors, Parallel Distributed Processing: Volume 1: Foundations, pages 194-281. MIT Press, Cambridge, MA. 174 Hinton Geoffrey E., Salakhutdinov Ruslan R. (2006): Reducing the dimensionality of data with neural networks, Science, vol. 313, no. 5786, pp. 504–507,

2006. 175Abraham Ajith, Hassanien Aboul-Ella, Siarry Patrick, Engelbrecht Andries (2009): Foundations of Computational Intelligence Volume 3 Global Optimization;

Berlin Heidelberg: Springer-Verlag, p. 425



artificiale

105

În plus, operatorii imunologici sunt efectuati o dată la fiecare generaţie pe populaţia curentă. Astfel, fiecare

individ din fiecare populaţie luată în considerare este supus schimbării continue, în cazul în care este

suficient de puternic pentru a depăşi selecţia naturală şi de a supravieţui invaziilor altor populaţii.

Operaţiunile bazate pe AIS care sunt efectuate sunt

Selecţie clonală,

Hipermutaţie somatică,

Teoria pericolului, şi

Selecţia negativă.

Operaţiunile nu se intampla din întâmplare, ci o dată la fiecare generaţie de indivizi. Cu toate acestea,

există un eveniment suplimentar care este probabil să apară şi care influenţează mărimea şi structura

populaţiilor, în special o infecţie cu virus. Un virus reduce numărul de indivizi într-o populaţie, în mod

contrar selecţiei clonale. Astfel, mecanismele de control al dimensiunilor populaţiei trebuie să fie puse în

aplicare, care sunt:

eliminarea indivizilor;

hiperrecombinarea

controlul naşterii.

În cele din urmă, cauzalitatea este de cea mai mare importanţă în cadrul paradigmei introduse, că populaţia

soluţie nu se schimbă numai din generaţie în generaţie, dar, de asemenea, şi în interiorul unei generaţie.

Pentru operaţiunile bazate pe sistemul imunitar numai indivizii din generaţieile actuale contează. Mai mult

decât atât, intrările şi ieşirile folosite de o populaţie pentru învăţarea au într-adevăr o semnificaţie, sau cu

alte cuvinte au o semnificaţie de-alungul timpului, pentru evoluţia genetică a fiecărui individ.

6)Specificatii ale maşinilor cu comitet SHOCID

SHOCID este capabil de a combina reţele neuronale artificiale pentru maşini cu comitet. Cu toate acestea,

prin aplicarea unei maşini cu comitet detectarea unei soluţii corecte este foarte probabilă, dar, din păcate

detectarea uneia optimă nu este. În cadrul valorii totale a datelor de formare, numai un procent din

totalitatea datelor este folosit pentru formare, iar seturile de date rămase sunt folosite pentru verificarea

soluţiei. Datorită verificării, poate fi, prin urmare, determinat cât de precis rezolvă problema prezentată

acest model creat de data mining. Astfel, aplicarea maşinilor cu comitet este partea sistemului de

determinare a soluţiei optime în non-evoluţionar (arhitectură de reţea neuronală artificială adaptivă),

precum şi în metodele de formare evoluţionare, efectuate de aplicarea comitetului democratic de reţea

neuronală artificială, constând din agenţi unici de reţele neuronale artificiale, luând o decizie finală.

7)Specificaţii ale evoluţiei structurale SHOCID

Ca şi în cazul tuturor algoritmilor de învăţare, SHOCID determină numărul de neuroni de intrare în funcţie

de numărul de seturi de date de intrare şi se aplică formula descrisă în 5 Evoluţia concepută şi strategii de

învăţare pentru determinarea numărului de neuroni ascunşi. Cu toate acestea, structura nu este numai

adaptată pe verticală, dar şi pe orizontală, ceea ce înseamnă că algoritmul caută soluţia optimă pentru

arhitectură stocastic. Astfel, un nou tip de algoritm meteuristic (genetic) pentru modificarea nu numai a

ponderilor ci, de asemenea, arhitectura de feed-forward si de feed-forward recurent pentru reţele neuronale

artificiale în timpul fazei de formare până ce o soluţie optimă sau aproape de optimă detectată de sistem a

fost specificată.

8)Specificaţii si propuneri ale unei reţele neuronale artificiale cuantizate

Ştiinţade calcul cuanticăîn asocierecuparadigmelede calcul ale neuroştiinţei, în special cele dindomeniul

retelelorneuronale artificiale, pare a fipromiţătoare pentrucă oferă o perspectivăasupraunuiposibil

viitoralinteligenţei artificiale. În cadrul acesteiaelaborarea la elaborarea reţelei

neuronalăartificialăcuanticăau fost repartizate efectealemecanicii cuanticesimulatepeun calculatorvon

Neumannşi a fostpropusăpentru a fiprelucratăpe uncomputer cuantic. Computerelecuantice mai devreme

sau mai târziuvor înlocuiclasicele maşini vonNeumann, motivaţiapentruaceastă parteacercetării. Deşi

reţeauaneuronală artificialăcuantică propusăeste una cu feed forwardclasică folosindu-sede efectele

mecanicii cuantice, i-a fost dedicat un capitol propriu, în funcţie denoutatea şialteritatea sa. O astfel de

formarenu poate fi simulatădecât pe o maşină vonNeumann, care estedestul delentă şi nuse

aplicăpractic(dartotuşinecesarăpentru demonstrareateoremei), deşiceledin urmăpotfiutilizate pentru a


artificiale

106

simulaun mediuadecvat pentrucalcululcuantic. Aceasta este ceea cea fostrealizatîn

cursulcercetăriiSHOCIDpentru a arătaşi dovediavantajelecalculuicuanticpentru

procesareareţelelorneuronale artificiale.

9)Specificaţii ale imputari unei valori prin învaţare genetică a reţelei neuronale artificiale

Pentru datelecare nulipsescîn mod aleatoriu a fost propus un algoritmde învăţare genetică al uneireţele

neuronaleartificiale.

9.1.2 Contribuţii tehnice

1)Dezvoltareasistemului careaplicăinteligenţă computaţională de nivel înalt în data mining.

Ca unul dintrerezultatele acesteilucrari, sistemul software genetic bazat pe cunoştinţe

neurocomputaţionale176

, denumit în continuare" System applying High Order Computational Intelligence in

data mining " (SHOCID), aplică paradigmele de inteligenţă computaţională, metode şi

tehniciîndomeniuldata mining-ului, a fost dezvoltat.

Până acum, (10-11-2012), sistemul este compus din:

112 clase java

145 Java server pages, în total

120 000 linii de cod fără librariile externe

2)Simularea comportamentului computaţional cuantic

A fost dezvoltat pentruverificareaefectelorcuantice, cum ar fi superpoziţialiniară şiîncrucişarea,

simulareaunui mediuadecvat pentruuncomputer cuantic, urmatădesimulareareţeleineuronale

artificialecuantice presupuse pe uncalculatorvonNeumann.

9.1.3 Contribuţii practice

Sistemul a fost şi vafi în continuareaplicat înindustriade SAP, aşa cumeste utilizat înurmătoarele forme:

1)Data mining ca serviciu de consultanţă

Ideea din spatele "data mining caun serviciu de consultanţă" estede a

aplicaparadigmeştiinţificedindomeniile deinteligenţăcomputaţionalăşi statistici cu privireclient-date pentru

a răspundela multiple întrebări. Acest lucruparedificil, şi într-adevăreste.Cu toate acestea,în acest moment,

nu este necesar să se înţeleagăexact ceea cepoate fi acoperit cumaşinile de învăţareşi demodul în

careîntrebărilevor primi răspuns. Ceea ceeste importantîn această etapăeste motivul pentru caretrebuie să se

facă: clienţidiferiţi audiferite întrebăricare, teoretic, le-ar putearăspundeprin analizaşi prelucrarea

datelorlor, dar, practic nu pot, la fel ca încele mai multe companiinuoamenii de ştiinţa calculatoarelor,

matematicieni saustatisticienisuntfolosiţi pentruastfel descopurispeciale.În plus, poate fi importantpentru

unclientsă răspundă la oîntrebareo dată, dar nu înviitor, cum ar fio bancădoreşte să işi dea seamacegrup

dinclienţiilorar putea pleca, eventual, pentru o altă bancăînainte de a secunoaşte. Acest lucru

arpermitecontramăsuri activeînainte de ase întamplaastfel de evenimentenesatisfăcătoare. O astfel debancă

nu ar vedeanicicerinţade a angajasau deforma unexpert în data mining, nicicerinţade licenţiereoricefel de

softwarede data mining. Data miningcaun serviciu de consultanţăconţinesubserviciileurmătoare:

Furnizarea deconsultanţiinstruiţi, care vor

lucraîmpreunăcuclientul

înţelegereaenunţuluiproblemei

o esteclasificareaproblemeiîntr-un domeniudeData Mining,

o formularea corectă matematic

o colectarea de date necesare

o pregatirea datelor pentru consultantul ştiinţific să poată termina

dezvoltarea unei soluţii specifice Data Mining, bazat pe un cadru de lucru Data Mining

Asigurarea capacităţii de arăspundela întrebărileclienţilorşi

să prezinterăspunsurileîntr-o manierăîn care clientul estecapabilde a lucreze cu ele.

2)Data mining cu SAP HANA

176Cloete Ian, Zurada Jacek M. (2000): Knowledge-Based Neurocomputing; Cambridge: MIT Press


artificiale

107

Ideea este de apune în aplicare structurile de reţele neuronale artificiale introduseşi algoritmiide

învăţaredirect peSAPHANAprin intermediulRNA, un limbaj de programarepotrivit pentrucalcululstatistic.

Acest lucrupermite, din cauzaSAPHANA tehnologia in-memory, de înaltăperformanţă în data mining.

9.2 Revizuireaipotezelor

LaînceputulproiectuluiSHOCIDde cercetare şi dezvoltares-au făcut cinciipoteze:

1.Sistemul este capabilsă procesezecele mai multe dintre clasificarile numerice prezentate, predicţii cu serii

de timpa datelor şi probleme de clustering în data mining prin aplicarea paradigmelor DM bazate pe

evoluţieşiproblemele ei de arhitectură independente.

2.Printrestructurile cunoscutedeja de RNA, celenou dezvoltate, în combinaţie cumetodeinspirate din natură

vor fi aplicate şimetodede învăţare în evoluare. Celedin urmăvordepăsiabordările existente.

3.În funcţie de utilizareasa de clasificare şide predicţie în serii de timpşi tipurilerecentdezvoltate deRNA-

uri, combinate cu(nou dezvoltaţii) algoritmievolutivipentru adaptareastructurii unor astfel de RNA,

corectitudineasoluţiilorsistemuluiva ajunge la 80 - 100% înaplicarea practică, deşi nuau fostdezvoltate peun

enunţ deproblemă specifică.

4.Potrivitacestei arhitecturiorientate pe rezultat, sistemul nuare nevoie deutilizator săînţeleagăparadigmele

de Data Miningaplicate.

5.Un computercuanticeste utilpentru procesareareţelelorneuronale artificiale complexe, cum ar ficreierul

uman. Astfel, vafi propus un conceptteoretic aluneireţele neuronalecuanticefacând unprim pas

spreviitorulinteligentei artificiale.

ad 1.

Verificarea şi testarea intensăaarătat căaceastăipotezăs-a dovedit. SHOCIDeste, în conformitate cumetodele

salede prelucrareinteligenteşi tipuride soluţii,capabilsă rezolveenunţuri multiple de

problemedateminingbazat pe abordărievolutive. În plus, evoluţia soluţiilor SHOCID, precum şi

tipurileintroduseRNAcontribuieladata miningşi la cercetarea RNA ca şi performanţele extraordinare ale

sistemelor software. Devine capabilesă înveţeşi să rezolve probleme de clasificare şide predicţie în serii de

timp mult maiprecisşi mai rapid.

ad 2. şi 3.

Verificareaşi testareaa arătat căîntr-adevăr,sistemuleste capabil sărezolve enunţuri de probleme variate

dedata mining, nunumai cuo preciziede 80, darpeste 90%.Scopul major altestelor de clasificare intensivă şi

detaliată a fostdovada căstructurilenou-dezvoltate RNA,şi anume:

RNA recurent SHOCID,

RNA corticală

RNA deep belife-like

Şi metodele de învăţare introduse, care sunt

NeuroEvoluţia transgenetică

NeuroEvoluţia bazată pe sistemul imunitar artificial

dar şi strategiile de evoluţie SHOCID, care sunt

agent unic de evoluţie şi

comitet hibrid adaptiv

depaşesc performanţelesoluţiilor existenteatât îneficienţa învăţăriicât şi acurateţe. Ambele structuriRNAnu

vincuproblemefrecventapărute la RNA cufeed-forward, deoarece acestea potfi învăţatecu intrărinoişi

rămânstabileîn ceea ce priveştedateledejaînvăţate. Prin urmare, ambele suntbine-potrivitepentru a

minimizaefecteledilemeistabilitate-plasticitate. În plus, NeuroEvoluţia inspirată de sistemul imunitar

transgeneticca strategiile de învăţare SHOCIDcontribuieintensîndomeniul de cercetare al

inteligenţeicomputaţionale,atât canu sunt doarabordărinoi înstrategiile de învăţareRNA, darde asemenea,

sedatorează performanţelorlor de foarte bună utilizare practică. Operaţiunile inspirate de sistemul imunitar

artificial deschido ramurăcomplet nouîn cercetarea RNA, aşa cum abordarile AISnu aufost aplicateîn

strategiilede învăţare RNA, ci în prelucrarearezultatelor RNA.

ad 4.

Această ipotezăesteparţial adevarată, aşa cum utilizatorul are nevoie

selectează metoda de procesare

selectează tipul de soluţie, şi


artificiale

108

conectează sursa de date

înainte ca sistemulsă fie capabilsă procesezeintrarea. Aşa cum prevede intern sistemul,

calculeazăsaudeterminătoţi parametriinecesaripentrumetodele de prelucrareşi tipuride soluţii, chiar şicele

mai complexe, nu este necesarca utilizatorul săînţeleagămodul în care lucreazăparadigmele de bază. Cu

toate acestea,nuesteposibil să se creezefuncţiide cost, astfel încâtorice problemăgenericăpoate fi rezolvată,

care necesită ca utilizatorul săînţeleagă, cel puţin parţial,problemaprezentată şisă ştie, cefuncţiede

costpotrivită arfi. Concluzia este că proiectulSHOCIDpoate fi consideratun succesşi

toateobiectiveleplanificate de cercetare şidezvoltare nu au fost numai atinse, dar a şi depăşite.

ad 5.

Cunoştinţele despre mecanica cuanticăumană are,în zilele noastre, permisia de acreea un concept

teoreticpentru oreţea neuronală artificialăcuantică optimizatăpentru a fiprocesatepe uncomputer cuantic. Cu

toate acestea,simulareaunuisistem fizic, deci uncomputer cuanticpotrivit pentrureţeaua

neuronalăartificialănecesitămai mult decâtputerea de procesarepe care o oferă calculatoarele actuale. Prin

urmare, suplimentar laconceptulteoretic alreţeleineuronaleartificialecuantice, ar putea fi făcute

doarsimulăricu problemesimple. Deci,toate acestea au avut succesşi ne permit să tragem concluzia

căabordarea propusămergeîndirecţia corectă.

9.3 Dezbateri

Dezbaterile muncii de cercetare conţin,pe lângăsistemului softwarerăspânditîn întreaga lume, următoarele

publicaţii:

Capitole din carţi

1. Neukart Florian (2012): Accuracy through Complexity – One Step further in Time-Series

Prediction and Classification; Knowledge Discovery in Databases

Hârtii de conferinţă / publicaţii din jurnale

2. Neukart Florian, Moraru Sorin-Aurel (2012): On Quantum Computers and Artificial Neural

Networks. Journal of Signal Processing Research, vol. 2, 1, 2013

3. Neukart Florian, Moraru Sorin-Aurel (2012): Cortical Artificial Neural Networks and their

Evolution - Consciousness-inspired Data Mining. Journal of Energy and Power Engineering, issue number

not yet known

4. Neukart Florian, Moraru Sorin-Aurel, Grigorescu Costin-Marius, Szakazs-Simon Peter (2012):

Artificial Immune System-inspired NeuroEvolution. Proceedings of DAAAM, 2012

5. Szakacs-Simon Peter, Moraru Sorin-Aurel, Neukart Florian (2012): Signal conditioning

techniques for health monitoring devices. Telecommunications and Signal Processing (TSP) 2012, 35th

International Conference on


Transgenetic NeuroEvolution. Proceedings of OPTIM 2012


Cortical Artificial Neural Networks and their Evolution - Consciousness-inspired Data Mining.

Proceedings of OPTIM 2012

8. Neukart Florian, Moraru Sorin-Aurel, Szakazs-Simon Peter (2011): Problem-dependent,

genetically evolving Data Mining solutions. Proceedings of DAAAM, 2011

9. Neukart Florian, Moraru Sorin-Aurel, Grigorescu Costin-Marius (2011): High Order

Computational Intelligence in Data Mining - A generic approach to systemic intelligent Data Mining.

Proceedings of Speech Technology and Human-Computer Dialogue (SpeD), 2011 6th Conference on, p. 1-

9.

10. Grigorescu Costin-Marius, Moraru Sorin-Aurel, Neukart Florian, Badea Milian (2010): Buffering

application for an industrial monitoring software system. Proceedings of Optimization of Electrical and

Electronic Equipment (OPTIM), 2010 12th International Conference on.

11. Aschbacher Helmut, Neukart Florian, Schatzl, Sebastian (2009): The Use of Business Intelligence

and Data Mining for improving the Detection of Customer Needs in Service Engineering; Campus02: Graz

Monografii

12. Neukart Florian (2012): Data Mining as a Consulting Service (DMaaCS), Germany: SAP

Deutschland GmbH & Co. KG

https://www.researchgate.net/researcher/84402537_Szakacs-Simon_Peter

https://www.researchgate.net/researcher/84402878_Moraru_Sorin-Aurel

https://www.researchgate.net/publication/230612931_Signal_conditioning_techniques_for_health_monitoring_devices?ev=prf_pub_p2



http://ieeexplore.ieee.org/xpl/mostRecentIssue.jsp?punumber=5507484



artificiale

109

13. Neukart Florian (2012): Are deep artificial neural network architectures a suitable approach for

solving complex business-related problem statements? Scribd. - The World's Largest Online Library

14. Neukart Florian (2012): A sample algorithm for the system-side adaptation of artificial neural

network architectures. Scribd. - The World's Largest Online Library

9.4 Direcţii de cercetare pentru viitor

Existăîncă locpentru îmbunătăţireasistemului, precum şide cercetareviitoare, SHOCID se va axa pemodul

în caresistemul poatefiaplicat practicîn scenariide afaceri, eventual de cătrecelepredefiniteaxate pegrupuri

de clienţi, cum ar fi bancarsau de fabricaţie. Accentul se pune peavansareasistemuluiîntr-un modasa cavafi

de folospracticîn întreprinderi-ştiinţava deveniun factormai importantnu numai înteoretică, ci, de asemenea,

în industria data mining-ului aplicată practic. Accentul pe termen scurtal cercetăriise va

aflapeNeuroEvoluţiatransgeneticăintrodusă şiposibilităţile salede soluţionare asituaţiilorde datamining. Mai

alesNeuroEvoluţiatransgenetică, paradigmelede lateoriasistemului imunitar artificial şi a reţelelor deep

beliefpar săpromiţătoare. În plus, o combinaţieacercetării prezente cuRNA-uri conectate arbitrar, precum şi

alţi algoritmide învăţare, cum ar fi algoritmul neuron cu neuron la care se va lucra, precum şistrategiile

deînvăţareprofundevor fiincluseîn sistem. Cercetarea viitoareva vizamecanica cuanticămai în detaliu, cu

privire lamodul în care aceastapoatefi de folosîndomeniulinteligenţei artificiale. Estedoar o chestiune

detimp pânăcând calculatoarelecuanticeşi efectele lor,care nu sunt încăsută la sutăînţelese,

vorînlocuicomputereleclasiceaşa cum le cunoaştemastăzi, şinumai computerelecuantice

vorpermitesimulareaunei reţeleneuronaleartificialecucapacităţile pe care le arecreierul uman.

http://www.scribd.com/doc/106578683/Are-deep-artificial-neural-network-architectures-a-suitable-approach-for-solving-complex-business-related-problem-statements




artificiale

110

Bibliografie(Selecţie)

Cărţi

1. Abraham Ajith, Crina Grosan, Pedrycz Witold (2008): Engineering Evolutionary Intelligent Systems;

Berlin Heidelberg: Springer-Verlag

2. Abraham Ajith, Hassanien Aboul-Ella, Siarry Patrick, Engelbrecht Andries (2009): Foundations of

Computational Intelligence Volume 3 Global Optimization; Berlin Heidelberg: Springer-Verlag

3. Abraham Ajith, Hassanien Aboul-Ella, Snáel Vaclav (2009): Foundations of Computational

Intelligence Volume 4: Bio-Inspired Data Mining; Berlin Heidelberg: Springer-Verlag

4. Abraham Ajith, Hassanien Aboul-Ella, Snáel Vaclav (2009): Foundations of Computational

Intelligence Volume 5: Function Approximation and Classification; Berlin Heidelberg: Springer-

Verlag

5. Abraham Ajith, Hassanien Aboul-Ella, de Leon F. de Carvalho André Ponce, Snáel Vaclav (2009):

Foundations of Computational Intelligence Volume 6: Data Mining; Berlin Heidelberg: Springer-

Verlag

6. Adeli Hojjat, Hung Shih-Lin (1995):Machine Learning Neural Networks, Genetic Algorithms and

Fuzzy Systems; John Wiley and Sons, New York

7. Anderberg Michael R. (1973): Cluster Analysis for Applications, New York: Academic Press Inc.

8. Heaton Jeff (2010): Introduction to Encog 2.5 for Java, Rev. 3; Chesterfield: Heaton Research, Inc.

9. Heaton Jeff (2008): Introduction to Neural Networks for Java, 2nd ed.; Chesterfield: Heaton Research,

Inc.

10. Heaton Jeff (2010): Programming Neural Networks with Encog 2 in Java; Chesterfield: Heaton

Research, Inc.

11. Hebb Donald (1949): Organization of behaviour; New York: John Wiley

12. Hornik Mark F., Marcade Erik, Venkayala Sunil (2007): Java Data Mining: Strategy, Standard, and

Practice. A Practical Guide for Architecture, Design, and Implementation (Morgan Kaufmann Series

in Data Management Systems); San Francisco: Elsevier, Inc.

13. Inuiguchi Masahiro, Hirano Shoji, Tsumoto Shusaku (2003): Rough Set Theory and Granular

Computing; Berlin: Springer-Verlag

14. Jain Lakhmi C. (2008): Computational Intelligence Paradigms: Innovative Applications; Berlin

Heidelberg: Springer-Verlag

15. Jain Lakhmi C., Nguyen Ngoc Thanh (2009): Knowledge Processing and Decision Making in Agent-

Based Systems; Berlin Heidelberg: Springer-Verlag

16. Jain Lakhmi C. (1998): Soft Computing for Intelligent Robotic Systems: Physica-Verlag

17. Jensen Finn V., Nielsen Thomas Dyhre (2001): Bayesian Networks and Decision Graphs; Berlin:

Springer-Verlag

18. Vasantha Kalyani D., Rajasekaran Sundaramoorthy (2009): Pattern Recognition Using Neural and

Functional Networks; Berlin Heidelberg: Springer-Verlag

19. Katz Bruce F. (2011): Neuroengineering the future - Virtual minds and the creation of immortality;

Massachusetts: Infinity Science Press LLC

20. Kaynak Okyay, Zadeh Lofti A., Türksen Burhan (1998): Computational Intelligence: Soft Computing

and Fuzzy-Neuro Integration with Applications; Berlin: Springer-Verlag

21. Kemper Hans-Georg, Mehanna Walid, Unger Carsten (2010): Business Intelligence – Grundlagen

und praktische Anwendungen, 3rd ed.; Wiesbaden: Vieweg+Teubner Verlag | Springer Fachmedien

22. Kreiszig Erwin (1999): Advanced Engineering Mathematics, 8th ed.; Singapore: John Wiley & Sons

23. Krengel Ulrich (1988): Einführung in die Wahrscheinlichkeitstheorie und Statistik;

Braunschweig/Wiesbaden 1988: Verlag Friedrich Vieweg & Sohn

24. Kolman Eyal, Margaliot Michael (2009): Knowledge-Based Neurocomputing: A Fuzzy Logic

Approach; Berlin Heidelberg: Springer-Verlag

25. Kramer Oliver (2009): Computational Intelligence: Eine Einführung; Berlin Heidelberg: Springer-

Verlag

26. Mange D., Tomassin M. (1998): Bio-Inspired Computing Machines. Presses, Laussanne:

Polytechniques et Universitaries Romandes


artificiale

111

27. Mermin David N. (2007): Quantum Computer Science: An Introduction; Cambridge: Cambridge

University Press

28. Kung Sun.Y. (1993): Digital Neural Networks. Englewood Cliffs: PTR Prentice Hall

29. Lau Clifford (1991): Neural networks, theoretical foundations and analysis; Los Alamitos: IEEE Press

30. Levy Steven (1997): Artificial Life: A Report From the Frontier: Where Computers Meet Biology;

New York: Vintage Books

31. Liu Dikai, Wang Lingfeng, Tan Kay Chen (2009): Design and Control of Intelligent Robotic Systems;

Berlin Heidelberg: Springer-Verlag

32. Mandic Danilo P., Chamber Jonathon (2001): Recurrent Neural Networks for Prediction: Learning

Algorithms, Architectures, and Stability; New York: Wiley

33. Mallat Stephane (1999): A Wavelet Tour of Signal Processing; Boston MA: Academic Press

34. Nedjah Nadia et al. (2009): Innovative Applications in Data Mining; Berlin Heidelberg: Springer-

Verlag

35. Nedjah Nadia et al. (2009): Intelligent Text Categorization and Clustering; Berlin Heidelberg:

Springer-Verlag

36. Nolfi Stefano, Floreano Dolfi (2000): Evolutionary Robotics: The Biology, Intelligence, and

Technology of Self-Organizing Machines; Bradford Books

37. Onwubolu Godfrey C. (2009): Hybrid Self-Organizing Modeling Systems Berlin Heidelberg:

Springer-Verlag

38. Ott Edward (2002): Chaos in Dynamical Systems, UK: Cambridge University Press

39. Padgham Lin, Winikoff Michael (2004): Developing Intelligent Agent Systems: A Practical Guide to

Designing, Building, Implementing and Testing Agent Systems (Wiley Series in Agent Technology);

New York: Wiley

40. Phillips-Wren Gloria, Ichalkaranje Nikhil (2008): Intelligent Decision Making: An AI-Based

Approach (Studies in Computational Intelligence); Berlin Heidelberg: Springer-Verlag

41. Rahm Erhard (2009): Data Cleansing: Problems and Current Approaches; Leipzig: University of

Leipzig

42. Ruan Da, Hardeman Frank, van der Meer Klaas (2008): Intelligent Decision and Policy Making

Support Systems (Studies in Computational Intelligence); Berlin Heidelberg: Springer-Verlag

43. Ritter Helge, Martinez Thomas, Schulten Klaus (1991): Neuronale Netze. Eine Einführung in die

Neuroinformatik selbstorganisierender Netzwerke; Addison Wesley

44. Tahir Mukarram A. (2007): Java Implementation of Neural Networks; USA: Booksurge Publishing

Inc.

45. Teshnehlab M., Watanabe K. (1999): Intelligent Control Based on Flexible Neural Networks

(Intelligent Systems, Control and Automation: Science and Engineering); Dordrecht: Kluwer

Academic Publishers

46. Tolk Andreas (2009): Complex Systems in Knowledge-based Environments: Theory, Models and

Applications (Studies in Computational Intelligence); Berlin Heidelberg: Springer-Verlag

47. Tsau Lin Y., Xie Ying, Wasilewska Anita, Liau Churn-Jung (2008): Data Mining: Foundations and

Practice; Berlin Heidelberg: Springer-Verlag

48. Venugopal K. R., Srinivasa K. G., Patnaik L. M. (2009): Soft Computing for Data Mining

Applications (Studies in Computational Intelligence); Berlin Heidelberg: Springer-Verlag

49. Watanabe Keigo, Hashem M. M. A. (2004): Evolutionary Computations: New Algorithms and Their

Applications to Evolutionary Robotics; Heidelberg: Springer-Verlag

50. Watson Ian (1997): Applying Case-Based Reasoning: Techniques for Enterprise Systems; San

Francisco: Morgan Kaufmann

51. Wasserman Philip D. (1989): Neural Computing: Theory and Practice; New York: Van Nostrand

Reinhold

52. Yin Yong, Kaku Ikou, Tang Jiafu, Zhu JianMing (2011): Data Mining: Concepts, Methods and

Applications in Management and Engineering Design (Decision Engineering), UK: Springer-Verlag

Articole/ Capitole din cărţi/ Lucrări




http://www.amazon.de/Complex-Systems-Knowledge-based-Environments-Computational/dp/3540880747/ref=sr_1_1?s=books-intl-de&ie=UTF8&qid=1327070300&sr=1-1


artificiale

112

53. Aschbacher Helmut, Neukart Florian, Schatzl, Sebastian (2009): The use of Business Intelligence

and Data Mining for improving the detection of Customer Needs in Service Engineering; Graz:

Campus02 University of Applied Sciences

54. Behrman Elizabeth C., Niemel Jari, Steck James E., Skinner S. R. (1996): A quantum dot neural

network; Proceedings of the 4th Workshop on Physics of Computation, p. 22–24

55. Bahrammirzaee Arash (2010): A comparative survey of artificial intelligence applications in finance:

artificial neural networks, expert system and hybrid intelligent systems; Neural Computing and

Applications, 8(19): 1165 – 1195

56. Bonet Blai et al. (2001): Planning and Control in Artificial Intelligence: A Unifying Perspective;

Applied Intelligence, 3(14): 237 – 252

57. Bartz-Beielstein Thomas et al. (2005): Sequential Parameter Optimization; MCKAY, B.: Proceedings

of the IEEE Congress on Evolutionary Computation, IEEE Press, 1: p. 773–780

58. Bezdek James (1980): A convergence theorem for the fuzzy isodata clustering algorithms. IEEE

Trans. Pattern Analysis and Machine Intelligence 2, 1–8

59. Burnet Frank M. (1959): The Clonal Selection Theory of Acquired Immunity. Cambridge University

Press.

60. Cheng Tai W., Goldgof Dimitry, Hall Lawrence (1998): Fast fuzzy clustering. Fuzzy Sets and

Systems 93, 49–56

61. Cover T. M., Hart P.E. (1967): Nearest neighboring pattern classification. IEEE Trans. Information

Theory 13, 21–27

62. Dave R. N., Krishnapuram R. (1997): Robust clustering methods: a united view. IEEE Trans. Fuzzy

Systems 5, 270–293

63. de Castro L. N., Von Zuben F. J. (2001): An immunological approach to initialize centers of radial

basis function neural networks. In Proc. of 5th Brazilian Conference on Neural Networks, 79–84

64. DiVincenzo David. P. (2001): Dogma and heresy in quantum computing; Quantum Information

Comp. 1, 1.

65. Edelman G. (2001): Naturalizing consciousness: A theoretical framework; Proceedings of the National

Academy of Sciences USA, 100, 5520 - 5524

66. Elman J. L. (1990): Finding Structure in Time; Cognitive Science, 14, 179-211

67. Eschrich S., Ke J., Hall L., Goldgof D. (2003): Fast accurate fuzzy clustering through data reduction.

IEEE Trans. Fuzzy Systems 11, 262–270

68. Ezhov Alexandr A., Ventura Dan (-): Quantum neural networks, BSTU Laboratory of Artificial

Neural Networks

69. Fahrmeir L. et al. (1996): Regressionsanalyse; In: Fahrmeir, L. et al. (Hrsg.): Multivariate statistiche

Verfahren. 2nd ed.; Berlin, New York, S. 93 - 168

70. Forrest S., Perelson A. S., Allen L., Cherukuri R. (1994). Self-nonself discrimination in a computer. In

Proceedings of 1994 IEEE Symposium on Research in Security and Privacy, p. 132–143

71. Frawlwy William J. et al. (1992): Knowledge Discovery in Databases - An Overview; AI Magazine:

213-228

72. Frean M. (1990): The upstart algorithm: a method for constructing and training feed-forward neural

networks; Neural Computation 2: 198–209

73. Garrett Simon M. (2005): How Do We Evaluate Artificial Immune Systems?; Evolutionary

Computation 13(2): 145-178

74. Grigorescu Costin-Marius, Moraru Sorin-Aurel, Neukart Florian, Badea Milian (2010):

BUFFERING APPLICATION FOR AN INDUSTRIAL MONITORING SOFTWARE SYSTEM.

Proceedings of Optimization of Electrical and Electronic Equipment (OPTIM), 2010 12th

International Conference on, p. 780-785.

75. Grover Lov K. (1996): A fast quantum mechanical algorithm for database search, Proceedings of the

28th Annual ACM Symposium on the Theory of Computation, pp.212-219.

76. Hinton Geoffrey E., Sejnowski Terrence J. (1983): Optimal Perceptual Inference. Proceedings of the

IEEE conference on Computer Vision and Pattern Recognition, Washington DC, pp. 448-453.

http://www.springerlink.com/content/?Author=Arash+Bahrammirzaee

http://www.springerlink.com/content/l642014607095252/

http://www.springerlink.com/content/0924-669x/

http://www.springerlink.com/content/0924-669x/14/3/





artificiale

113

77. MacQueen J. B. (1967): Some Methods for Classification and Analysis of Multivariate Observations;

Proceedings of 5th Berkeley Symposium on Mathematical Statistics and Probability; Berkeley:

University of California Press, 1:281-297

78. Mascioli F. et al. (1995): A constructive algorithm for binary neural networks: the oil spot algorithm;

IEEE Trans Neural Netw 6(3): 794–797

79. Matzinger P. (2002): The Danger Model: A renewed sense of self. Science, 296(5566): 301–305

80. Narayanan Ajit; Menneer Tammy (2000): Quantum artificial neural network architectures and

components; Information Sciences, volume 124. 1-4, p. 231–255

81. Neukart Florian, Moraru Sorin-Aurel, Grigorescu Costin-Marius, Szakazs-Simon Peter (2012),

Artificial Immune System-inspired NeuroEvolution. Proceedings of DAAM, 2012


Transgenetic NeuroEvolution. Proceedings of OPTIM 2012


Cortical Artificial Neural Networks and their Evolution - Consciousness-inspired Data Mining.

Proceedings of OPTIM 2012

84. Neukart Florian (2012): Accuracy through Complexity - One Step further in Time-Series Prediction

and Classification, Knowledge Discovery in Databases

85. Neukart Florian, Moraru Sorin-Aurel, Szakazs-Simon Peter (2011): Problem-dependent, genetically

evolving Data Mining solutions. Proceedings of DAAAM 2011

86. Neukart Florian, Moraru Sorin-Aurel, Grigorescu Costin-Marius (2011): High Order Computational

Intelligence in Data Mining - A generic approach to systemic intelligent Data Mining. Proceedings of

Speech Technology and Human-Computer Dialogue (SpeD), 2011 6th Conference on, p. 1-9.

87. Neukart Florian (2012): Are deep artificial neural network architectures a suitable approach for

solving complex business-related problem statements? Scribd. - The World's Largest Online Library

88. Neukart Florian (2012): A sample algorithm for the system-side adaptation of artificial neural

network architectures. Scribd. - The World's Largest Online Library





artificiale

114

Inteligenţa computatională în data mining şi calcul cuantic, precum şi consideraţii privind viitorul inteligenţei

artificiale

Conducător ştiinţific Doctorand

Prof. univ. dr. ing. Sorin-Aurel MORARU MSc. ing. Florian NEUKART

Cuvinte cheie: inteligenţă computaţională, data mining, reţele neurale artificiale, calcul cuantic

În cadrul tezei, este tratat şi dezvoltat un sistem generic de data mining care aplică paradigmele, metodele şi tehnicile

inteligenţei computaţionale în domeniul data mining. SHOCID a fost realizat în perioada februarie 2010 - octombrie

2012 pentru dovedirea funcţionalităţii paradigmelor inventate de autor în domeniul inteligenţei computaţionale,

printre altele utilizate pentru rezolvarea problemelor dificile nedeterministe polinomiale de timp. Aceste inovaţii

cuprind aplicarea a trei noi tipuri de reţele neurale artificiale pentru clasificare şi predicţia seriilor de timp, realizand

reţele neurale artificiale feed-forward şi recurente. Mai mult, pentru căutările stocastice, sistemul beneficiază de

algoritmi insipiraţi din viaţă şi natură, cum este cel transgenetic NeuroEvolution, care stimulează relaţia dintre un

organism gazdă si un endosimbiont, sau aplicarea operatorilor imunologici. O altă secţiune importantă este dovedirea

modalităţii prin care reţelele neurale artificiale pot beneficia de pe urma calculatoarelor cuantice. A fost propusă o

paradigmă de reţea neurală artificială cuantică, care spre deosebire de unele deja introduce care alocă efecte din

mecanică cuantică în algoritmi corespunzători calculatoarelor bazate pe arhitecturi von Neumann, tinteşte cu

adevărat implementarea pe un calculator cuantic.

Este specificat şi aplicat un nou tip de algoritm metaeuristic pentru modificarea nu numai a ponderilor, dar şi a

arhitecturii reţelelor neurale artificiale tip feed-forward şi feed-forward recurente în timpul fazei de antrenare. Alte

avantaje ale noului sistem sunt aplicarea noilor tipuri de algoritmi pentru determinarea calităţii unei reţele neurale

artificiale şi determinarea pe partea de sistem a funcţiilor activităţii neuronale. În plus, este capabil să determine

soluţia optimală în abordările de învăţare neevolutivă, prin aplicarea unui comitet democratic de agenţi ai reţelei

neurale artificiale. Astfel, SHOCID nu se pretează numai la tehnici de data mining şi inţeligenţă artificială;

depinzănd de problemă, sistemul este capabil să combine tehnicile şi să decidă de sine stătător care strategie se

potriveşte cel mai bine.

System Applying High Order Computational Intelligence in Data Mining and Quantum Computational

Considerations on the Future of Artificial Intelligence

Scientific coordinator PhD Student

Prof. univ. dr. eng. Sorin-Aurel MORARU MSc. ing. Florian NEUKART

Keywords: Computational Intelligence, Data Mining, Artificial Neural Networks, Quantum Computational

Within the dissertation a generic data mining system applying computational intelligence-paradigms, methods and

techniques in the field of data mining, is introduced. SHOCID has been developed during the period from February

2010 until October 2012 for proofing the functionality of paradigms in the field of computational intelligence

invented by the author, amongst others used for solving non-deterministic polynomial-time hard problems.These

innovations comprehend the application of three new types of artificial neural networks for classification and time-

series prediction, outperforming common feed-forward or recurrent artificial neural networks. Besides, for stochastic

searches the system benefits from bio- and nature-inspired algorithms, such as the introduced transgenetic

NeuroEvolution, which simulates the relationship between a host organism and an endosymbiont, or the application

of immunological operators. Another important section is made up of how artificial neural networks may benefit

from quantum computers. A quantum artificial neural network paradigm has been proposed, which in difference to

several already introduced quantum artificial neural networks that apportion effects from quantum mechanics in

algorithms suitable for computers based on von Neumann architectures, indeed targets the implementation on a

quantum computer.

A new type of metaheuristic algorithm for altering not only the weights, but also the architecture of feed-forward and

recurrent feed-forward artificial neural networks during the phase of training is specified and applied. The

application of new type of algorithm for determining the quality of an artificial neural network, and the system-side

determination of neuron activation functions used within an artificial neural network are advantages of the system.

Besides, it is capable of determining the optimal solution in non-evolutionary learning approaches by the application

of democratic committees of artificial neural network agents. SHOCID does not only fall back on complex data

mining and computational intelligence-techniques; depending on the problem, the system is able to combine

techniques and is, to some degree, able to decide on its own which strategy suits best.

http://en.wikipedia.org/wiki/NP_(complexity)


artificiale

115

CURRICULUM VITAE

Date personale

Nume, Prenume Neukart, Florian

Telefon Mobil: +4915143819332

E-mail [email protected]

Nationalite Austriac

Data naşterii 05.05.1982

Experienţă profesională

Data Iunie 2011 – prezent

Poziţia Consultant în tehnologii, cercetător, manager de proiect

Activităţi Consultant in domeniul Business Intelligence, baye de date, Software

Engineering, Data Mining. Cercetător în domeniul Data Mining şi

Inteligenţă Computaţională

Angajator SAP Deutschland AG & Co. KG

Data Februarie 2009 – iunie 2011

Poziţia Inginer consultant, manager de proiect

Activităţi Consultant în domeniul Business Intelligence, baze de date, Software

Engineering, Data Mining.

Angajator Altran Group: Altran Austria GmbH

Data Septembrie 2007 – Februarie 2009

Poziţia Consultant tehnic, arhitect software, cercetător

Activităţi Consultant şi software arhitect în domeniul Business Intelligence şibaze

de date.

Angajator UPPER Network GmbH

Data Februarie 2007 – iulie 2007

Poziţia Inginer de proces

Activităţi Reproiectare procese de business Business process redesign şi proiect de

diplomă

Angajator OMV Exploration & Production

Data Iulie 2006 – decembrie 2006

Poziţia Internship

Activităţi Inginerie software, cercetare diversă

Angajator OMV Solutions GmbH

Date Ianuarie 2004 – Iulie 2006

Position Lector asociat

Activities Lector pentru Matematică, Engleyă, Germană şi Franceză pentru toate

nivelurile de educaţie

Angajator Begleitendes Lernsystem GmbH

Educaţie şi pregătire

Data Octombrie 2010 – prezent


artificiale

116

Calitatea Doctorand

Instituţia UniversitateaTransilvaniadin Braşov

Date Octombrie 2008 – februarie 2010

Diploma Dipl.-Ing. În Tehnologia Informaţiei

Instituţia CAMPUS 02 University of Applied Sciences Graz

Data Octombrie 2003 – iune 2007

Diploma Dipl.-Ing.(FH) în profesii tehnice şi ştiinţifice

Instituţia Joanneum University of Applied Sciences Kapfenberg

Activitate ştiinţifică

Publicaţii ştiinţifice 17 (14 ca prim autor)

Abilităţi şi competenţe

Limbi străine Engleză, franceză

Abilităţi tehnice Sisteme Chipcard

Abilităţi IT Inteligenţă computaţională: Data Mining, Evolutionary Programming,

Agent Oriented Programming

Limbaje de programare / Markup: Java SE, Java EE, Python, C, Visual

Basic, Javascript,HTML, XML (xslt, xsl [fo], XHTML (1, X)HTML 5

Sisteme de baze de date: SQL-Server, Oracle, DB2, MS-Access, MySQL,

Limbaje: Ansi-SQL, PL/SQL, T-SQL

Altele Fizică: Particle Physics, Quantum Physics

Methodică: Business Systems Engineering, Sales & Service Management,

Sociotechnical Systeme, Critical Systems, Software Process

Modelling, Requirements Engineering, Architectural

Design, Configuration Management, Software Tests, Rapid Application

Development, Data Definition, Data Warehouses, IT-Projekt

Management

Web Server:APACHE, Internet Information Server, JBoss, Zope,

Misc: PLONE, Joomla, Cryptography,Chipcardsystems, Linux, Data

Structures

https://www.researchgate.net/topic/data_mining/&ev=prf_research_skills

https://www.researchgate.net/topic/java_ee/&ev=prf_research_skills

https://www.researchgate.net/topic/python/&ev=prf_research_skills

https://www.researchgate.net/topic/4a8a08f09d37b73795649038408b5f33/&ev=prf_research_skills

https://www.researchgate.net/topic/visual_basic/&ev=prf_research_skills



https://www.researchgate.net/topic/javascript/&ev=prf_research_skills

https://www.researchgate.net/topic/html/&ev=prf_research_skills

https://www.researchgate.net/topic/oracle/&ev=prf_research_skills

https://www.researchgate.net/topic/mysql/&ev=prf_research_skills

https://www.researchgate.net/topic/pl_sql/&ev=prf_research_skills

https://www.researchgate.net/topic/t-sql/&ev=prf_research_skills

https://www.researchgate.net/topic/Market_Driven_requirement_engineering/&ev=prf_research_skills

https://www.researchgate.net/topic/architectural_design/&ev=prf_research_skills



https://www.researchgate.net/topic/configuration_management/&ev=prf_research_skills

https://www.researchgate.net/topic/apache/&ev=prf_research_skills

https://www.researchgate.net/topic/jboss/&ev=prf_research_skills

https://www.researchgate.net/topic/plone/&ev=prf_research_skills

https://www.researchgate.net/topic/Joomla/&ev=prf_research_skills

https://www.researchgate.net/topic/Cryptography/&ev=prf_research_skills

https://www.researchgate.net/topic/Linux/&ev=prf_research_skills

https://www.researchgate.net/topic/Data_Structures2/&ev=prf_research_skills




artificiale

117

CURRICULUM VITAE

Personal information

Name, Surname Neukart, Florian

Telephone Mobil: +4915143819332

E-mail [email protected]

Nationality Austrian

Birth Date 05.05.1982

Professional experience

Date June 2011 – present

Position Technology consultant, researcher, project manager

Activities Consultant in the fields of Business Intelligence, databases, individual

Software Engineering, Data Mining. Researcher in the fields of Data

Mining and Computational Intelligence

Employer SAP Deutschland AG & Co. KG

Date February 2009 – June 2011

Position Consulting engineer, project manager

Activities Consultant in the fields of Business Intelligence, databases, individual

Software Engineering, Data Mining.

Employer Altran Group: Altran Austria GmbH

Date September 2007 – February 2009

Position Technical consultant, software architect, researcher

Activities Consultant, software architect and researcher in the fields of Business

Intelligence and databases

Employer UPPER Network GmbH

Date February 2007 – July 2007

Position Graduand and process engineer

Activities Business process redesign and diploma thesis

Employer OMV Exploration & Production

Date July 2006 – December 2006

Position Internship

Activities Individual software engineering, divers research activities

Employer OMV Solutions GmbH

Date January 2004 – July 2006

Position Associate lecturer

Activities Lecturer for Mathematics, English, German and French for all levels of

education

Employer Begleitendes Lernsystem GmbH

Education and training

Date October 2010 – present

Diploma PhD Student

Institution Transilvania University of Braşov


artificiale

118

Date October 2008 – February 2010

Diploma Dipl.-Ing. for Information Technology

Institution CAMPUS 02 University of Applied Sciences Graz

Date October 2003 – June 2007

Diploma Dipl.-Ing.(FH) for technical and scientific professions

Institution Joanneum University of Applied Sciences Kapfenberg

Scientific activity

Overall scientific

publications

17 (14 as first author)

Skills and Competences

Foreign languages English, French

Technical skills Chipcard systems

IT skills Computational Intelligence: Data Mining, Evolutionary Programming,

Agent Oriented Programming

Programming Languages / Markup Languages: Java SE, Java

EE, Python, C, Visual Basic, Javascript,HTML, XML (xslt, xsl [fo],

XHTML (1, X)HTML 5

Database Systems: SQL-Server, Oracle, DB2, MS-Access, MySQL,

Query Languages: Ansi-SQL, PL/SQL, T-SQL

Other Physics: Particle Physics, Quantum Physics

Methodic qualifications: Business Systems Engineering, Sales & Service

Management, Sociotechnical Systeme, Critical Systems, Software

Process Modelling, Requirements Engineering, Architectural

Design, Configuration Management, Software Tests, Rapid Application

Development, Data Definition, Data Warehouses, IT-Projekt

Management

Web Server:APACHE, Internet Information Server, JBoss, Zope,

Misc: PLONE, Joomla, Cryptography,Chipcardsystems, Linux, Data

Structures

https://www.researchgate.net/topic/data_mining/&ev=prf_research_skills




https://www.researchgate.net/topic/python/&ev=prf_research_skills

https://www.researchgate.net/topic/4a8a08f09d37b73795649038408b5f33/&ev=prf_research_skills


https://www.researchgate.net/topic/javascript/&ev=prf_research_skills

https://www.researchgate.net/topic/html/&ev=prf_research_skills

https://www.researchgate.net/topic/oracle/&ev=prf_research_skills

https://www.researchgate.net/topic/mysql/&ev=prf_research_skills

https://www.researchgate.net/topic/pl_sql/&ev=prf_research_skills

https://www.researchgate.net/topic/t-sql/&ev=prf_research_skills

https://www.researchgate.net/topic/Market_Driven_requirement_engineering/&ev=prf_research_skills




https://www.researchgate.net/topic/configuration_management/&ev=prf_research_skills

https://www.researchgate.net/topic/apache/&ev=prf_research_skills

https://www.researchgate.net/topic/jboss/&ev=prf_research_skills

https://www.researchgate.net/topic/plone/&ev=prf_research_skills

https://www.researchgate.net/topic/Joomla/&ev=prf_research_skills

https://www.researchgate.net/topic/Cryptography/&ev=prf_research_skills

https://www.researchgate.net/topic/Linux/&ev=prf_research_skills




Documents

Universitatea Transilvania din Braşov - old.unitbv.roold.unitbv.ro/Portals/31/Sustineri de doctorat/Rezumate/Neukart.pdf · reţele neuronale artificiale, precum şi descrierea de