Adaptácia architektúry NS

Uniformne prepojené NS môžu aproximovať ľubovoľnú funkciu, aletyp funkcie, ktorú sa môžu naučiť silne závisí na topológii sietegeneralizácia = schopnosť dávať správne výstupy aj na vstupy,ktoré ešte siete nevidela

príliš malé siete sa nedokážu naučiť správne zobrazeniepríliš veľké siete zle generalizujú

3 metódy automatického návrhu topológie siete: rast, prerezávanie(prunning) a dekompozíciarast - začína sa s príliš malými sieťami a postupne sa pridávajúneuróny

kaskádový algoritmus učenia koreláciízačína so vstupnými neurónmi priamo spojenými s výstupnýmiobmedzenú dobu sa učí; keď chyba neklesne pod nejakú hranicu, tak sapridá neurón (vstupy - vstupné a doteraz pridané neuróny)

Adaptácia architektúry NS

Prerezávanie – začne sa s veľkou sieťou a postupne sa rušia spoje, dokiaľsa chyba nezhorší

napr. sa rušia spoje s váhami blízkymi 0

Dekompozícia – napr. adaptívne spojenie lokálnych expertovzačne sa so skupinou pod-sietí s rovnakými vstupmi a výstupmi, ale s rôznouarchitektúrouv priebehu učenia moduly súťažia v učení sa vzorov; rôzne pod-siete sa naučiarôzne vzory

porovnanie s evolučným učením architektúry NSvyššie uvedené algoritmy sú založené na učení s učiteľom, keď máme dostatok vzorov<vstup, požadovaný výstup>umelá evolúcia: menšia spätná väzba, ale zakódovať (a adaptovať) je možné ľubovoľnúcharakteristiku systému (váhy, topológiu, senzoricko/mororický systém, štruktúru tela, …)vyššie uvedené algoritmy - iba zmeny učením, ale umelá evolúcia učenie i rast

Kódovanie na úrovni buniek

Rast nervovej sústavy:delenie buniek a diferenciáciamigrácia neurónov do konečnej polohyrast spojov

Cangelosi (1994) - delenie buniek a migráciagenotyp - pravidlá delenia a migrácie (v 2D)zobrazenie genotypu na fenotyp - začne sa s 1 bunkou, delí sa a bunkyputujú do konečných pozícií v rovine; potom narastú spoje medzi nimi

počet delení je geneticky zhora obmedzenývývoj končí pred „oživením“

Grau (1994) - delenie a diferenciáciaprepis genotypu na fenotyp - začne s 1 bunkou, pokračuje delením atransformáciami

Kódovanie na úrovni buniek

Grau (1994) - pokračovaniegenotyp: pravidlá pre delenie a transformácie (pridávanie novýchspojov, zmena váh)rôzne formy delenia, napr.

Grauova simulácia šesťnohéhorobota

Genotyp: binárny stromprepis do fenotypu: založí sa neurón zodpovedajúci koreňu stromu

• uzol popisuje operácie, ktoré sa majú na bunke vykonať• podstromy popisujú, čo sa má urobiť na potomkoch po delení• terminálne uzly sa ďalej nedelia• vylepšená verzia: inšpirovaná genetickým programovaním - terminálny uzol sa

môže odkazovať na iný strom - Automatické Definovanie Neurónových podsietí(ADNS)

– kompaktnost– evolúcia môže využiť opakujúce sa štruktúry

aplikácia: šesťnohý robot• a) bez ADNS robot chodil v 1/2 behov

– kríženie - zámena podstromov

• b) s ADNS robot chodil v 2/2 behov– genotyp obsahoval 3 stromy, odazy iba v lexikografickom usporiadaní– kríženie - zámena podstromov (aj celých stromov)

Paramtre Grauovej simuláciešesťnohého robota

Vyhodnocovanie: 7 rôznych konfigurácií nôh v rôznych epocháchfitness: ujdená vzdialenosť; počiatočná konfigurácia nôh v rôznychsubpopuláciách bola menenágenotyp: strom

14 rôznych symbolov, niektoré s parametrom (napr. C_4 „urež 4 spoje“)genetické operátory sa aplikovali dokiaľ sa nenašiel kód zostrojiteľnej siete alemax 2 hodinypoč. populácia - stromy s 60 uzlami; 600 uzlov maximumpopulácia na 32 ostrovoch na toroide, každá 64 jedincovpravdepodobnosť spárovania úmerná vzdialenosti na toroidepotomkovia: buď dvoch rôznych jedincov, alebo iba jedného rodičamutácia 0,5%

Grauova simulácia šesťnohéhorobota

S ADNS výsledné siete dobre štruktúrovanéS ešte podrobnejším modelom robota - bez špecifikácie architektúry a informáciíako je možné rozdeliť problém na podúlohy je možné pomocou ADNS nájsťriadenie pre chodiaceho robota – 1.000.000 generácií

Kodjabachian a Meyer (1998) jednoduché geometricky orientovanékódovanie buniek (JGOKB)

simulovaný šesťnohý robotneuróny pestujú spoje na 2D podklade; ich poloha ovplyvňuje možnosti spojovkríženie - zámena podstromov GPgenotyp - 6 inštrukcií

DIVIDE - delenie;GRAW/DRAW - vstup./výstupný spoj s parametrami uhol, vzdialenosť a váhaSETTAU/SETBIAS - nastavenie časovej konštanty/prahu bunkyDIE - zomri!

Kodjabachian a Meyer

Fitness: ujdená vzdialenosť + člen podporujúci pohyb nôhstabilný genetický algoritmus; 200 jedincov v populáciigenotypy rozmiestnené na kružnicinový jedinec:

náhodne sa zvolí bod kružnice Pnáhodne sa zvolia dvaja jedinci blízko P - pravdepodobnosť zvolenia jenepriamo úmerná vzdialenosti od Putvorí sa nový jedinec a ohodnotí sa

• kríženie a 2 druhy mutácie– podstrom nahradený kompatibilným podstromom– mutácia parametra

• obmedzenia: max. 3 po sebe idúce delenia, max. počet spojov na bunku 4,všetky podprogramy musia byť korektné stromy (gramatikou)

turnajom sa zvolí sused v blízkosti P, ktorý bude nahradený novýmjedincom

Kodjabachian a Meyer

manuálne obmedzenia - veľkosť substrátu, pozíciesenzorických/motorických buniek (4 na každú nohu), počet a pozíciezárodkových buniek (6)naučil sa chodiť už po asi 100 000 vyhodnoteniach; stabilné chodenie1/5 behov

Kodjabachian a Meyer - pokračovaniepridaný ďalší modul s 2 svetlocitlivými senzormi na kúsok podkladu vľavoselekcia podľa toho, ako rýchle sa jedinec dostane k svetlupo 20 000 vyhodnoteniach doučené - robot vedel prísť k svetlupridali ďalší modul s dotykovými senzormi - po 20 000 vyhodnoteniach robotvedel hľadať svetlo a vyhýbať sa prekážkam

Záver

Kódovanie a prevod genotypu na fenotyp silne ovplyvňuje rozvíjateľnosťsystémuväčšinou je zobrazenie genotypu na fenotyp uskutočnené skôr než jedineczačne „žiť“ak nie, tak sa realizuje pri raste organizmu a zvyšuje prispôsobiteľnosťjedinca na prostrediekódovanie býva zložité (kvôli potrebe kódovať rôzne typy neurónov, vzorovspojení, …) a jeho jednotky sú navrhnuté na riešenie konkrétnehoproblémunovšie pokusy - spojiť

kompaktné kódovanie - pár vlastností generického neurónu; dĺžka genotypuúmerná počtu neurónovs ontogentickou adaptáciou - váhy sa adaptujú v priebehu života

je to efektívnejšie než vyvíjať parametre pre každý spoj zvlášťevolúcia si volí kódovanie založené na neurónoch oproti kódovaniu spojov

Kráčajúce stroje

Zložitejšie riadenie než roboty na kolách, každá noha aspoň 2stupne voľnosti (šesťnohý robot - 12 stupňov voľnosti)tradičný geometrický prístup - model robota a odvodenie dráh nôh -zložitérobotika založená na správaní - chodenie emergentná vlastnosť -koordinácia viacerých modulovzmenšenie zložitosti - využitie symetriíChôdza

statická - ťažisko stále nad polygónom bodov dotyku nôh spodkladom; jednoduchšia; hmyzdynamická - ťažisko cyklicky vychádza von a vracia sa do tohotopolygónu; rýchlejšia chôdza, väčšie telo, vyššia hmotnosť tela, aj hrošíterén

Typy chôdze

Statickátrojkrok

štvorkrok (8-nohé), vlnový krok

Dynamickákrok (mimochod)klus

Jednoduchý model

Brooks (1989)ručne zostavený konečný automat, pre každú nohu rovnakýstav automatu závisí na jeho stave a na stave ostatných automatov

Maes, Brooks (1990)koordinácia nôh sa dá naučiť metódou pokusov a omylovdoplnenie

kolo vzadu - pozitívne hodnotenie pri posune dopredudotykový senzor odspodu - negatívne hodnotenie pri páde

Evolúcia simulovaného chrobáka

Beer, Galagher (1992) - simulovaný šesťnohý chrobák; evolúciamôže nájsť robustný riadiaci systém chôdze s minimom dopreduzadaných parametrov

nohadva stavy

• stoj (na zemi)• švih (zdvihnutá)

pohon nohy - stav (hore, dole), pootočenie dopredu, pootočenie dozadusenzor - uhol medzi nohou a telom5 neurónov - pohon (3), skryté (2)

Newtonovská dynamika, keď stratí rovnováhu, tak padá

uhlovýdetektor

uhlovýdetektor

uhlovýdetektor

uhlovýdetektor

uhlovýdetektor

uhlovýdetektor

chodidlo

švih dozadu

švih dopredu

chodidlo

švih dozadu

švih dopredu

chodidlo

švih dozadu

švih dopredu

chodidlo

švih dozadu

švih dopredu

chodidlo

švih dozadu

švih dopredu

chodidlo

švih dozadu

švih dopredu

Beer, Galagher

Riadiaci systém - 50 parametrovRiadenie nohy - 40 parametrov: 25 vzájomné spoje, 5 spoje z uhlovéhodetektoru, 5 prahov, 5 časových konštántpriečne spoje (5) a pozdĺžne spoje (5) rovnaké pre všetky neuróny

populácia 500 jedincov po 200 bitoch; jednoduchý genetický algoritmusohodnotenie jedinca

náhodná pozícia nôh a náhodné stavy neurónovvzdialenosť ujdená v pridelenom čase - 2 merania s/bez uhlového senzoru

výsledky - vždy sa vyvinul trojkrok; s uhlovými senzorami rýchlejšiachôdza; 4 fázy učenia

1. Zatlačil všetkými 6 nohami a spadol dopredu2. Nekoordinované pohyby nôh s nejakým pohybom dopredu, časté pády3. Najlepší mali statickú stabilnú chôdzu4. Doladený statický krok

Najstarší evolučný robotickýexperiment

Lewis a kol. (1992) - NS riadiaca šesťnohého robota; každá noha s2 stupňami voľnosti

inkrementálna evolúcia a funkcionálna dekompozíciaevolúcia riadenia jednej nohykoordinácia nôh

robot 35 cm dlhý a 12 cm vysoký; bez senzorovpopulácia 10 jedincov; genotyp: váhy v greyovom kóde;jednoduchý genetický algoritmus s elitizmom (2)fitness: experimentátor2 neuróny na jednu nohu - zdih, švih

keď oscilovali s fázovým posunom 90°, tak noha robila kroky

T0

T1

X0

X1

švih

zdvih

riadenie nohy

T0, T1 časové konštanty

A

A

A

B

B

B

C

C

C

C

D D

D D

prepojenéoscilátory

L1

L2

L3

R1

R2

R3

Lewis a kol. (1992) - evolúciariadenia jednej nohy robota

1. Fáza - evolúcia riadenia pre nohugenotyp: 2 váhy a 2 prahy = 4x8 bitové čísla v greyovom kódenáhodná inicializácia z intervalu [-8, 8]fitness: vizuálne z obrazovky počítača

ak sú oba neuróny v rovnakom stave – 0 bodovak jeden > 0 a druhý < 0 – 5 bodovak aspoň jeden neurón zmení stav – 10 bodovak sú oscilácie tlmené až do 0 – 25 bodovak sa oscilácie netlmia do 0, ale ich amplitúda nie je ešte 1 – 40 bodovstabilné oscilácie v celom intervale [0,1] – 60 bodovkeď aspoň polovica jedincov dosiahla max. skóre 60 bodov (po 17generáciách) vývoj prechádza do 2. fázy

Lewis a kol. (1992) - evolúciariadenia oscilátorov

2. Fázagenotyp obsahuje parametre oscilátora pre nohu (z prvej fázy) aparametre spojov medzi oscilátormi (A,B,C,D - 4x8 bitov) inicializovanéna 0 + 1 bit predný/spätný švih

výsledky:po ďalších 10 -35 generáciách stabilná chôdzanajprv vlnenie, potom trojkrok

Novšie experimenty

Gomi, Ide (1998): 8-nohý robot bez senzorovcelý vývoj na fyzickom robotenajprv vlnitá chôdza, potom štvorkrok

Jakobi (1998) vyvíjal riadenie pre rovnakého robota, ale formouminimálnej simulácie; naviac bral do úvahy aj vstupy zo senzorov(infra a dotykové čidlá) - robot sa mal vyhýbať prekážkam

robustné riadenie sa vytvorilo po 3500 generáciáchv porovnaní s experimentami Gomiho a Ideho nebol riadiaci systém takrobustný (bol na hraniciach technických možností)

Gruau (1994) - evolúcia architektúry - viz. začiatok prednáškyIjspeert (1998) - na základe modelu mihule (simulovaný model,ktorý vedel plávať) vyvinul (simulovaný) model salamandra, ktorývedel plávať i chodiť (plaziť sa)

Novšie experimenty

Sony (1998) - robotický pes Aiboovláda viacej typov chôdze, hlavne dynamické

Honda (2000) - ASIMO (Advanced, Step in, Inovative, MObility)

Novšie experimenty

http://schalburg.homepage.dk/Spider/Spider.html