68
POLITECHNIKA W W Z INFORMATYKI W INFORMATYKI I Z - Praca Magisterska sztucznych sieci neuronowych Andrzej Pastusiak Promotor Ocena:

NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

  • Upload
    others

  • View
    1

  • Download
    0

Embed Size (px)

Citation preview

Page 1: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

POLITECHNIKA W52&à$:6.$�

W<'=,$à2:<��Z$.à$'��INFORMATYKI

W<'=,$à��INFORMATYKI I Z$5= '=$1,$ :\EU]H H�:\VSLD VNLHJR�������-����:URFáDZ

Praca Magisterska

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�

sztucznych sieci neuronowych

Andrzej Pastusiak

Promotor����GU�KDE��+DOLQD�.ZD QLFND Ocena:

:URFáDZ�����

Page 2: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

&KFLDáE\P� EDUG]R� VHUGHF]QLH� SRG]L NRZDü� PRMHPX� SURPRWRURZL� L� RSLHNXQRZL naukowemu, Pani dr hab. Halinie KZD QLFNLHM�� ]D� RSLHN � QDXNRZ � RUD]� ]D� ZV]HON SRPRF� QLH]E GQ � Gla napisania niniejszej pracy.

']L NXM � UyZQLH � firmie System Services�� NWyUHM� VSU] W� SRVáX \á� GR� Z\NRQDQD� ZL NV]R FL�SUH]HQWRZDQ\FK�REOLF]H �

Page 3: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

Streszczenie

3UDFD� MHVW� SUyE �ZV]HFKVWURQQHM�RFHQ\�]DSURSRQRZDQHM�SU]H]�+XJR� GH� *DULV� LGHL� PRGXáyZ� &R'L�� E G F\FK� HZROXF\MQ\P�SRGHM FLHP� GR� NRQVWUXNFML� VLHFL� QHXURQRZ\FK� ]D� SRPRF �DXWRPDWX� NRPyUNRZHJR�� 3U]HGVWDZLRQR� ZSá\Z� X \W\FK�algorytmów ewolucyjnych na uzyskiwane wyniki oraz SRUyZQDQLH� ]� QLHNWyU\PL� ZáDVQR FLDPL� V]WXF]Q\FK� VLHFL�neuronowych. Zawiera ponadto opis skonstruowanego na SRWU]HE\� EDGD � V\VWHPX� UyZQROHJáHJR� RUD]� XVSUDZQLH �SRSUDZLDM F\FK�MHJR�HIHNW\ZQR ü�

Abstract

This paper is a thorough attempt to evaluate CoDi model introduced by Hugo de Garis. CoDi is an evolutionary approach to constructing neural networks inside cellular automata. The influence of applied genetic algorithms and comparison with selected properties of neural networks is presented. The paper also contains the description of parallel system designed during research, and outlines the solutions improving its efficiency.

Page 4: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

6SLV�WUH FL

:VW S 1

1. Algorytmy ewolucyjne 3 1.1 Charakterystyka GA 4

1.1.1 Klasyczny GA 5 1.2 GA vs. EA 7 1.3 Porównanie EA z metodami klasycznymi 7

2. Sieci neuronowe 10 2.1 Podstawy biologiczne a model matematyczny neuronu 11

3. Automaty komórkowe 13 3.1 Cellular neural networks 15

3.1.1 3U]\NáDG\�G]LDáDQLD�&11 17

4. 0RGXá�&R'L 19 4.1 $OJRU\WP�G]LDáDQLD 19

4.1.1 Automat komórkowy 20 4.1.2 Faza wzrostu 22 4.1.3 Faza sygnalizacji 24

4.2 Kodowanie analogowe 26

5. 0RGXá\�&R'L�L�V]WXF]Q\�Py]J 27 5.1 Maszyna CAM-Brain (CBM). 27

5.1.1 0RGXá�DXWRPDWX�NRPyUNRZHJR�&$ 27 5.1.2 -HGQRVWND�REOLF]DM FD�SU]\VWRVRZDQLH�)(8 28 5.1.3 Jednostka algorytmu genetycznego GAU 29 5.1.4 3DPL ü�SRá F]H �PL G]\PRGXáRZ\FK�0,0 29 5.1.5 ,QWHUIHMV�]HZQ WU]Q\ 29

5.2 Robokoneko 29 5.3 Sztuczny mózg 30 5.4 Napotkane problemy 30

6. Opis systemu 32 6.1 Reprezentacja genetyczna oraz operatory 33

7. Implementacja 35 7.1 5y QLFH�PL G]\�LPSOHPHQWDFMDPL�FRGL�VORZ�L�FRGL�IDVW 35 7.2 6]\ENR ü�DOJRU\WPX�VHNZHQF\MQHJR 36 7.3 =UyZQROHJOHQLH�REOLF]H 38

7.3.1 .RPXQLNDFMD�PL G]\�SURFHVDPL 38 7.3.2 $OJRU\WP�REFL DQLD�SURFHVRUyZ 39 7.3.3 Komunikacja w oparciu o gniazdka uniksowe (sockets) 39 7.3.4 .RGRZDQLH�SU]HV\áDQHM�LQIRUPDFML 40 7.3.5 UzyskaQH�SU]\ SLHV]HQLH 40

Page 5: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

8. 3U]HSURZDG]RQH�GR ZLDGF]HQLD 43 8.1 (NVSHU\PHQW\�ZVW SQH 43 8.2 Rozpoznawanie wzorców statycznych 44

8.2.1 =GROQR FL�JHQHUDOL]DFML 47 8.3 'HWHNWRU�SRUXV]DM FHM�VL �OLQLi 49

8.3.1 3RGHM FLH�HZROXF\MQH 49 8.3.2 3RGHM FLH�0RQWH�&DUOR 50 8.3.3 3RUyZQDQLH�]GROQR FL�JHQHUDOL]DFML 52 8.3.4 Metody kodowania 53

9. Podsumowanie 56

Literatura 58

Dodatek A - �,QVWUXNFMD�REVáXJL 60

Page 6: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�VLHFL�QHXURQRZ\FK 1

:VW S

6]WXF]QH� VLHFL� QHXURQRZH�� GR� QDXF]DQLD� NWyU\FK� VWRVXMH� VL � DOJRU\WP\� HZROXF\MQe, Z\GDM � VL � E\ü� WHPDWHP� V]HURNR� ]QDQ\P�� ,VWQLHMH� ZLHOH� GUyJ� XPR OLZLDM F\FK�]DSU] JQL FLH� DOJRU\WPyZ� Z]RURZDQ\FK� QD� HZROXFML� GR� WZRU]HQLD� VLHFL� R� SR GDQ\FK�ZáD FLZR FLDFK�� -HGQDN H� ]HVSyá� QDXNRZFyZ� VNXSLRQ\FK�ZRNyá� RVRE\�+XJR� GH�*DULVD�w Japonii zainicjRZDá� EDGDQLD� QDG� EDUG]R� RELHFXM F\P� NLHUXQNLHP� á F] F\P� DXWRPDW\�komórkowe z algorytmami genetycznymi [int 04]. Jakkolwiek prace nad tworzeniem VLHFL�QHXURQRZ\FK�Z�RSDUFLX�R�DXWRPDW\�NRPyUNRZH�E\á\�SURZDG]RQH�ZF]H QLHM��]HVSyá�GH� *DULVD� VNRQVROLGRZDá� GRW\FKF]DVRZH� GR ZLDGF]HQLD� L� Z\SUDFRZDá� VSyMQ\� SURVW\�model.

3U]HGVWDZLRQ\� SU]H]� GH� *DULVD� PRGHO�� ]ZDQ\� PRGXáDPL� &R'L�� PLDá� SRF] WNRZR�VáX \ü� GR� EXGRZ\� V]WXF]QHJR�Py]JX�–�ZVW SQLH�NRWD�� SRWHP�PDáHJR�G]LHFND� >%XO 98]. 0RGHO� WHQ�PR H�E\ü�SRPRFQ\�GOD�RVL JQL FLD�EDUG]R�DPELWQHJR��ZU F]�IXWXU\VW\F]QHJR��FHOX��%LRU F�MHGQDN H�SRG�XZDJ �DNWXDOQH�UH]XOWDW\��SR]RVWDáD�GR�SU]HE\FLD�GURJD�Z\GDMH�VL �E\ü�GáXJD��D�FHO�RGOHJá\�

=DSUH]HQWRZDQD�Z\ HM�LGHD��Z\GDZDáD�VL �QD�W\OH�QRZDWRUVND�L�LQWHUHVXM FD��L �X]QDQR�za celowe zaM FLH� VL � EOL HM� W\P� WHPDWHP�� 1LQLHMV]D� SUDFD� MHVW� SUyE � ZV]HFKVWURQQHM�RFHQ\� ]DSURSRQRZDQHM� LGHL� RUD]� SRUyZQDQLHP�� JG]LH� MHVW� WR� PR OLZH�� ]� ZáDVQR FLDPL�LVWQLHM F\FK� VLHFL� QHXURQRZ\FK�� 3U]HGVWDZLRQ\� MHVW� WDN H� ZSá\Z� X \W\FK� DOJRU\WPyZ�ewolucyjnych, na uzyVNLZDQH�Z\QLNL��1LHEDJDWHOQ\�ZSá\Z� QD� SURZDG]RQH� EDGDQLH�PLDá�IDNW�� L � PRF� REOLF]HQLRZD�� QLH]E GQD� GR� HIHNW\ZQHJR� V\PXORZDQLD� PRGXáX� &R'L�� MHVW�RJURPQD�� &HFK � DOJRU\WPyZ� HZROXF\MQ\FK� MHVW� LFK� ]DFKáDQQR ü� QD� PRF� REOLF]HQLRZ ��JG\ � X]\VNLZDQH� Z\QLNL� V � W\P� OHSV]H�� LP� ZL FHM� ]RVWDQLH� Z\NRQDQ\FK� REOLF]H ��:\PXVLáR� WR�� VNRQVWUXRZDQLH� LPSOHPHQWDFML� Z\VRNRZ\GDMQHJR� V\VWHPX� UyZQROHJáHJR�GR� REOLF]H � HZROXF\MQ\FK� RUD]� ZSURZDG]HQLH� NLONX� XVSUDZQLH � SRSUDZLDM F\FK� MHJR�HIHNW\ZQR ü��NWyUH�UyZQLH �]RVWDá\�]DSUH]HQWRZDQH�

:� NROHMQ\FK� UR]G]LDáDFK� SU]HGVWDZLRQR� Z\QLNL� SURZDG]RQ\FK� Z� UDPDFK� QLQLHMV]HM�SUDF\�EDGD ��3RF] ZV]\�RG�SRGVWDZ�WHRUHW\F]Q\FK�� LVWRWQ\FK�Z�NRQWHN FLH�RPDZLDQ\FK�]DJDGQLH �� RSLV� V\VWHPX� L� VSHF\ILN � LPSOHPHQWDFML� UyZQROHJáHM�� RPyZLHQLH� Z\QLNyZ�przeprowadzon\FK�GR ZLDGF]H ��FKDUDNWHU\VW\N �V\VWHPX�PDM FHJR�SRVáX \ü�GR�EXGRZ\�V]WXF]QHJR�Py]JX�ZUD]� ]� NUyWN � SROHPLN � L� QDV]NLFRZDQLHP� QDSRWNDQ\FK� SUREOHPyZ��GR� ZQLRVNyZ� L� SU]HGVWDZLHQLD� G]LHG]LQ�� Z� NWyU\FK� PRGXá\� &R'L� Z\GDM � VL � SRVLDGDü�zastosowania. I tak kolejnH�UR]G]LDá\�REHMPXM �

5R]G]LDá� SLHUZV]\�� Algorytmy ewolucyjne,� RGNU\ZD� SRGVWDZ\� SRV]XNLZDQLD� UR]ZL ]D �]D� SRPRF � REOLF]H � HZROXF\MQ\FK�� =ZLHUD� NUyWN � FKDUDNWHU\VW\N � L� SRUyZQDQLH� GR�LVWQLHM F\FK�PHWRG�UR]ZL ]\ZDQLD problemów.

5R]G]LDá� GUXJL�� Sieci neuronowe, zawiera krótkie wprowadzenie do najistotniejszych ]DJDGQLH � ]� QLPL� ]ZL ]DQ\FK�� ZUD]� ]� SU]HGVWDZLHQLHP� WHUPLQRORJLL� L� NRU]HQL� WHM�dziedziny nauki.

5R]G]LDá�WU]HFL��Automaty komórkowe, jest krótkim wprowadzeniem do teorii automatów NRPyUNRZ\FK��ZUD]�]�SU]\NáDGHP�LFK�]DVWRVRZD �Z�URERW\FH�

5R]G]LDá� F]ZDUW\�� 0RGXá CoDi,� MHVW� Z\F]HUSXM F\P� RSLVem zaproponowanego przez de Garisa modelu.

5R]G]LDá� SL W\��0RGXá\ CoDi i sztuczny mózg,� MHVW� RSLVHP� ]DáR H � RUD]� LPSOHPHQWDFML�VSU] WRZHM� PRGXáyZ� &R'L�� PDM F\FK� QD� FHOX� VWZRU]HQLH� V]WXF]QHJR� Py]JX�� =DZLHUD�UyZQLH �NUyWN �SROHPLN �L�SUyE �SU]\EOL HQLD�SUREOHPyZ�VWRM F\FK�SU]HG�MHJR�WZyUFDPL�

Page 7: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�VLHFL�QHXURQRZ\FK 2

5R]G]LDá�V]yVW\��Opis systemu, zawiera istotne detale stworzonego systemu.

5R]G]LDá�VLyGP\��Implementacja,�SUH]HQWXMH�Z\SUDFRZDQH�UR]ZL ]DQLH�UyZQROHJáH��ZUD]�]�ZSURZDG]RQ\PL�RSW\PDOL]DFMDPL�L�RPyZLHQLHP�HIHNW\ZQR FL�VWZRU]RQHJR�V\VWHPX�

5R]G]LDá� yVP\��Przeprowadzone GR ZLDGF]HQLD,� SUH]HQWXMH� ]GRE\WH�GR ZLDdczenia oraz RPDZLD�X]\VNDQH�Z\QLNL�SRGF]DV�SU]HSURZDG]RQ\FK�EDGD �

5R]G]LDá� G]LHZL W\�� Podsumowanie,� SRGVXPRZXMH� ]GRE\W � ZLHG] � RUD]� QDNUH OD�SRWHQFMDOQH�G]LHG]LQ\�GDOV]\FK�]DVWRVRZD �RSLV\ZDQHJR�PRGHOX�

ZamieszczRQR� UyZQLH �dodatek A,� NWyU\� MHVW� LQVWUXNFM �REVáXJL�GR�F] FL�RSUDFRZDQHJR�V\VWHPX��PRJ F\�VWDQRZLü�SRGVWDZ �L�SRPRF�Z�GDOV]\FK�EDGDQLDFK�

Page 8: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�VLHFL�QHXURQRZ\FK 3

1. Algorytmy ewolucyjne

:� FL JX� RVWDWQLFK� ��� ODW� QDUDVWDáR� ]DLQWHUHVRZDQLH� V\VWHPDPL�� Z� NWyU\FK� GR�UR]ZL ]\ZDQLD� ]DGD � VWRVXMH� VL � ]DVDG\� HZROXFML� L� G]LHG]LF]QR FL�� -HGQ\P� ]� WDNLFK�SRGHM ü� V � DOJRU\WP\� JHQHW\F]QH� �GAs – ang. Genntic Algorithms�� UR]ZLQL WH� SU]H]�Johna Hollanda oraz jego kolegów i studentów z Uniwersytetu w Michigan. Najkrócej XMPXM F�� *$� WR� DOJRU\WP\� SRV]XNiwania oparte na mechanizmach doboru naturalnego i G]LHG]LF]QR FL�� à F] �Z� VRELH� HZROXF\MQ � ]DVDG �SU]H \FLD�QDMOHSLHM� SU]\VWRVRZDQ\FK�]�V\VWHPDW\F]Q �� FKRü� ]UDQGRPL]RZDQ � Z\PLDQ � LQIRUPDFML�� WZRU] F� PHWRG � REGDU]RQ �MDN �GR] �SRP\VáRZR FL [Gol 98].

:V]\VWNLH� PHWRG\� V\PXODFML� URGRZLVND� RSDUWH� QD� REVHUZDFML� L� PRGHORZDQLX�HZROXFML� ]D� SRPRF � NRPSXWHUD�� QD]\ZD� VL �ZVSyOQ\P� WHUPLQHP�REOLF]H � HZROXF\MQ\FK�(EA – ang. Evolutionary Computation), a wszelkie wykorzystywane w tych obliczeniach algor\WP\� RNUH OD� VL � WHUPLQHP� DOJRU\WP\� HZROXF\MQH� �EAs –ang. Evolutionary Algorithms) [Kwa 99]. :�V\VWHPDFK� W\FK�Z\VW SXMH�SRSXODFMD�SRWHQFMDOQ\FK�UR]ZL ]D ��pewien proces selekcji oraz pewne operatory „genetyczne”. Wszystkie systemy korzystDM FH�]�]DVDG\�HZROXFML�RNUH ODQH�E G �PLDQHP�programu ewolucyjnego.

5]HF]� MDVQD��GOD�GDQHJR�]DGDQLD�PR QD� VWZRU]\ü�ZLHOH�SURJUDPyZ�HZROXF\MQ\FK��7DNLH�SURJUDP\�PRJ �VL �Uy QLü�ZLHORPD�V]F]HJyáDPL��0RJ �PLHü�LQQH�VWUXNWXU\�GDQ\FK�UHSUH]HQWXM FH� SRV]F]HJyOQH� RVREQLNL�� LQQH� PHWRG\� WZRU]HQLD� SRSXODFML� SRF] WNRZHM��LQQH� VSRVRE\� XZ]JO GQLDQLD� RJUDQLF]H � Z\VW SXM F\FK� Z� ]DGDQLX�� LQQH� SDUDPHWU\��-HGQDN�G]LDáDM �RQH�ZHGáXJ�WHM�VDPHM�]DVDG\��SRSXODFMD�RVREQLNyZ�SRGOHJD�WUDQVIRUPDFML�i w trakcie procesu ewolucyjnego RVREQLNL�VWDUDM �VL �SU]HWUZDü�

=H� Z]JO GX� QD� EDUG]R� V]\ENL� UR]ZyM� W\FK� G]LHG]LQ� Z� RVWDWQLP� F]DVLH� SRZVWDáR�SHZQH� ]DPLHV]DQLH� WHUPLQRORJLF]QH� L� F] VWR� XWR VDPLD� VL � DOJRU\WP\� HZROXF\MQH� ]�DOJRU\WPDPL� JHQHW\F]Q\PL�� :HGáXJ� QDMEDUG]LHM� SRSXODUQHM� NODV\ILNDFML [Kwa 99@� Z UyG�DOJRU\WPyZ� HZROXF\MQ\FK� Z\Uy QLD� VL � WU]\� JáyZQH� NODV\�� Z\ZRG] FH� VL � ]� Uy Q\FK�NRU]HQL�L�VWRVXM FH�Uy QH�WHFKQLNL� - algorytmy genetyczne (GAs – ang. Gennetic Algorithmes) - strategie ewolucyjne (ESs – ang. Evolutionary Strategies) - programowanie ewolucyjne (EP - ang. Evolutionary Programming)

=DWHP�*$�ZHGáXJ� WHM�NODV\ILNDFML� MHVW�VSHF\ILF]Q\P�SU]\SDGNLHP�($��'R ü�F] VWR�Z� RGQLHVLHQLX� GR� DOJRU\WPyZ� JHQHW\F]Q\FK� X \ZD� VL � SRM ü� Ä]PRG\ILNRZDQ\� DOJRU\WP�genetyczny”, „specjalizowany algorytm genetyczny”, „niestandardowy algorytm JHQHW\F]Q\´�� 3UDZGRSRGREQLH� Z\QLND� WR� ]� IDNWX�� L � VDPR� ÄDOJRU\WP� JHQHW\F]Q\´�PRJáRE\� E\ü� P\O FH�� =� GUXJLHM� VWURQ\� ÄDOJRU\WP� HZROXF\MQ\´� E\áE\� WHUPLQHP� ]E\W�V]HURNLP� L�QLH�RGGDZDá�EOLVNLHJR�SRNUHZLH VWZD�VWRVRZDQ\FK�UR]ZL ]D �GR�NODV\F]QHJR�GA.

'R�IRUPDOQHJR�RSLVX�($�SU]\M áR�VL � VWRVRZDü�QRPHQNODWXU �SVHXGR-ELRORJLF]Q �L�QLHNWyUH� RNUH OHQLD� ]DF]HUSQL WR� ZSURVW� ]� ELRORJLL� L� JHQHW\NL�� ($� V � DOJRU\WPDPL�probabilistycznymi [Mic 96@�L�RSHUXM �QD�populacji�VNáDGDM FHM�VL �]�osobników�:�ND GHM�iteracji t�JHQHUXMH�VL �SRSXODFM �RVREQLNyZ� },...,{)( 1

tn

t xxtP = ��.D G\�RVREQLN�SU]HGVWDZLD�PR OLZH� UR]ZL ]DQLD� UR]SDWU\ZDQHJR� ]DGDQLD� L� Z� SURJUDPLH� HZROXF\MQ\P� MHVW�UHSUH]HQWRZDQ\�SU]H]��E\ü�PR H�VNRPSOLNRZDQ ��VWUXNWXU �GDQ\FK�6��.D GH�UR]ZL ]DQLH�

tix RFHQLD� VL � QD� SRGVWDZLH� SHZQHM� PLDU\� MHJR� ÄGRSDVRZDQLD´� �DQJ�� fitness��� 7DN� ZL F�

QRZ � SRSXODFM � Z� LWHUDFML� �t���� WZRU]\� VL � SU]H]� VHOHNFM � RVREQLNyZ� QDMOHSLHM�dopasowanych (faza selekcji). 3HZQH� RVREQLNL� QRZHM� SRSXODFML� SRGOHJDM � GRGDWNRZR�WUDQVIRUPDFML� �ID]D� ]PLDQ\�� ]D�SRPRF �RSHUDWRUyZ�ÄJHQHW\F]Q\FK´��GDM F�Z� WHQ� VSRVyE�

Page 9: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�VLHFL�QHXURQRZ\FK 4

QRZH� UR]ZL ]DQLH��0RJ � WR�E\ü� WUDQVIRUPDFMH� MHGQRDUJXPHQWRZH� �mi (typu mutacji), w NWyU\FK� QRZH� RVREQLNL� SRZVWDM � SU]H]� ]PLDQ � SRMHG\QF]HJR� � RVREQLND� ):( SSmi → , i

transformacje wieloargumentowe cj� �W\SX� NU]\ RZDQLD��� Z� NWyU\FK� QRZH� RVREQLNL�SRZVWDM �SU]H]�á F]HQLH�F] FL�NLONX��GZyFK�OXE�ZL FHM��RVREQLNyZ� )...:( SSSmi →×× .

Po wielu takich krokach program� ]ELHJD� VL � L VSRG]LHZDP\� VL �� H� QDMOHSV]H� RVREQLNL�UHSUH]HQWXM �UR]ZL ]DQLH�OH FH�EOLVNR�RSW\PDOQHJR��UR]ZL ]DQLH�UR]V GQH��>Mic 96].

1.1 Charakterystyka GA

'OD�NODV\�DOJRU\WPyZ�PDM F\FK�VZRMH�SRGáR H�Z�*$��RVREQLN�RNUH ORQ\�MHVW�SU]H]�swóM� JHQRW\S� �UHSUH]HQWDFM � JHQRZ �� MDN� L� SU]H]� VZyM� IHQRW\S�� F]\OL� ]HZQ WU]QH�XZLGRF]QLHQLH� JHQyZ�� 'OD� SRUyZQDQLD� ELRORJLD� RSHUXMH� QD� SRSXODFMDFK� \Z\FK�RUJDQL]PyZ��]�NWyU\FK�ND G\�MHVW�Z\Uy QLRQ\�SU]H]�VZyM�XQLNDWRZ\�NRG�'1$�RNUH ODQ\�genotypem. Dalej odpowLHGQLR� QS�� JHQ�Z]URVWX� �F] ü� JHQRW\SX�� RNUH OD�Z]URVW�� F]\OL�FHFK � RVREQLF] � Z]URVWX� �F] ü� IHQRW\SX��� :� SU]\URG]LH� RUJDQL]P� VNáDGD� VL � ]� ZLHOX�FKURPRVRPyZ��NWyUH�]�NROHL�VNáDGDM �VL �]�SRMHG\QF]\FK�JHQyZ��*HQ\�WH�PLHV]DM �VL �]H�VRE �SRGF]DV�NU]\ RZDQLD�VL �RVREQLNyZ��3URFHV� WHQ�QLH�MHVW�SU]\SDGNRZ\�L�U] G] �QLP�FLVáH�UHJXá\�JHQHW\F]QH��FKRü�QLH�GR�NR FD�MHV]F]H�SU]H]�QDV�SR]QDQH��$E\�SURFHV�WDNLHM�HZROXFML�QDVW SLá�VSHáQLRQH�PXV] �E\ü�QDVW SXM FH�ZDUXQNL� - RVREQLN�PXVL�SRVLDGDü�]GROQR ü�UHSURGXNFML�� - musL�LVWQLHü�OLF]QD�SRSXODFMD�RVREQLNyZ�� - Z� SRSXODFML� QD� ND G\P� HWDSLH� HZROXFML� SRZLQQD� Z\VW SRZDü� Uy QRURGQR ü� FHFK�

RVREQLF]\FK��D�FR�]D�W\P�LG]LH�L�]GROQR FL�SU]HWUZDQLD�RVREQLNyZ�Z� URGRZLVNX��

*$� UR]SRF]\QD� G]LDáDQLH� RG� VWZRU]HQLD� PRFQR� ]Uy QLFRZDQHM� SRSXlacji SRF] WNRZHM� RVREQLNyZ�� .D G\� ]� RVREQLNyZ� UHSUH]HQWXMH� SRWHQFMDOQH� UR]ZL ]DQLH�SRVWDZLRQHJR� *$� SUREOHPX�� 'OD� NODV\F]QHJR� *$� ]D]Z\F]DM� ]DNáDGD� VL �� H�RGZ]RURZDQLH� FL JX� NRGRZHJR� Z� SU]HVWU]H � UR]ZL ]D � MHVW� MHGQR]QDF]QH�� MHGQDN� GOD�ND GHJR� RVREQLND� SU]\SLVDQD� MHVW� ZDUWR ü� NRQG\FML�� PLHU] FD� MHJR� SU]\VWRVRZDQLH� GR�\FLD�Z� URGRZLVNX�� URGRZLVNR�SRSXODFML� MHVW�RNUH ORQH�SU]H]� W]Z�� IXQNFM �FHOX��NWyUD�RNUH OD� ZDUWR ü� NRQG\FML� RVREQLND��:�XSURV]F]HQLX� SURFHV� HZROXFML� V\PXORZDQ\� SU]H]�GA polega na modyfikowaQLX� RVREQLNyZ� WDN�� DE\� Z� Z\QLNX� WHJR� SU]\V]áH� SRNROHQLD�SRVLDGDá\�OHSV] �NRQG\FM �

:� SU]HFLZLH VWZLH� GR� ZL NV]R FL� PHWRG� RSW\PDOL]DF\MQ\FK�� *$� UR]SRF]\QD�UyZQROHJOH� SU]HV]XNLZDQLH� SU]HVWU]HQL� UR]ZL ]D � Z� ZLHOX� SXQNWDFK�� :� WUDG\F\MQ\FK�metodach optymalizacjL� IXQNFML� FL Já\FK� L� Uy QLF]NRZDOQ\FK� EDGDQH� MHVW� V VLHG]WZR�SXQNWX�VWDUWRZHJR��D�QDVW SQLH�GRNRQ\ZDQH�MHVW�SU]HPLHV]F]HQLH�Z�NLHUXQNX�]ZL ]DQ\P�]� ORNDOQ\P� JUDGLHQWHP��:� WHQ� VSRVyE� ]QDOH]LRQ\� SXQNW� VWDMH� VL � SXQNWHP� VWDUWRZ\P�Z�QDVW SQHM� LWHUDFML�� 6 � WR� V]ybkie metody lecz ograniczone do wyznaczenia lokalnego RSWLPXP�� 0HWRG\� WH� QLH� GDM � SHZQR FL�� F]\� RVL JQL WH� RSWLPXP� MHVW� ORNDOQH� F]\� WH �JOREDOQH��EH]�RJUDQLF]H �QD�SU]HVWU]H �SRV]XNLZD �OXE�ZLHG]\�QD�WHPDW�UR]ZL ]\ZDQHJR�SUREOHPX�� 3RZ\ V]H� WHFKQLNL� QLH� SDPL WDM � ZF]H QLHMV]HM� VHNZHQFML� UXFKyZ� Z�SU]HVWU]HQL� UR]ZL ]D � L� QLH� V � Z� VWDQLH� Z\GRE\ü� FHQQ\FK� LQIRUPDFML� R� NV]WDáFLH� IXQNFML�celu na podstawie poprzednich ruchów. Inaczej jest w przypadku GA. Wychodzi on poza ]Z\NáH� VHNZHQF\MQH� EDGDQLH� ND GHJR� RVREQLND� w populacji. Identyfikuje on i Z\NRU]\VWXMH�ZVSyOQH�GREUH�F] FL� MX �RGQDOH]LRQ\FK�UR]ZL ]D ��RVREQLNyZ��W]Z��EORNL�EXGXM FH� �DQJ�� building blocks��� %ORNL� EXGXM FH� RGSRZLDGDM � SRZL ]DQ\P� ]H� VRE �]DOH QR FLDPL�JHQRP��

Page 10: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�VLHFL�QHXURQRZ\FK 5

1.1.1 Klasyczny GA

Jak wspomniano, algorytm gHQHW\F]Q\� RSHUXMH� QD� ]ELRU]H� FL JyZ� NRGRZ\FK�UHSUH]HQWXM F\FK� NRQNUHWQH� UR]ZL ]DQLD�� ]ZDQ\P� SRSXODFM �� =DNáDGD� VL �� H� FL J� WDNL�MHVW�ELQDUQ\�R�VWDáHM�GáXJR FL�

&] VWR� VWRVXM F� DQDORJL � ELRORJLF]Q � FL J� WDNL� QD]\ZDQ\� MHVW� chromosomem. Analogicznie jak w orJDQL]PDFK� \Z\FK��Z�FKURPRVRPLH�PR QD�Z\Uy QLü�SRV]F]HJyOQH�JHQ\� ELQDUQLH� NRGXM FH� SHZQH� FHFK\� RVREQLND�� NWyUH� MHGQR]QDF]QLH� RNUH ODM � SRáR HQLH�Z� SU]HVWU]HQL� UR]ZL ]D �� 3U]\VWRVRZDQLH� RVREQLND� �DQJ� fitness) to funkcja SU]\SRU] GNRZXM FD� OHSV]\P� RVREQLNRP� �UR]ZL ]DQLRP��ZDUWR FL� Z\ V]H� QL � JRUV]\P��/LF]ED�FL JyZ�ZFKRG] F\FK�Z�VNáDG�SRSXODFML� MHVW�VWDáD��.ROHMQH�LWHUDFMH�*$�SRSU]HG]D�wylosowanie SRSXODFML� SRF] WNRZHM�� NWyUD� VNáDGD� VL � ]� RVREQLNyZ� R� ORVRZR�Z\JHQHURZDQ\FK�ZDUWR FLDFK�JHQyZ�

:� NROHMQ\P� HWDSLH� QDVW SXMH� RFHQD� ZV]\VWNLFK� RVREQLNyZ� ZFKRG] F\FK� Z� VNáDG�populacji (rys 1.1). Obliczenie funkcji przystosowania polega na zdekodowaniu osobQLNyZ��F]\OL�XWZRU]HQLX�UR]ZL ]DQLD�L�MHJR�RFHQLH�SRSU]H]�IXQNFM �SU]\VWRVRZDQLD�

-H HOL� Z� SRSXODFML� ]QDMGXMH� VL � RVREQLN� VSHáQLDM F\� SRVWDZLRQH� SU]HG� DOJRU\WPHP�warunki (warunek stopu��� DOJRU\WP�PR H�]DNR F]\ü�G]LDáDQLH��:�SU]HFLZQ\P�Z\SDGNX�na populacji SU]HSURZDG]D� VL � RSHUDFMH� JHQHW\F]QH�� :� SRGVWDZRZHM� ZHUVML� DOJRU\WPX�SLHUZV] � F]\QQR FL � MHVW� GRNRQDQLH� selekcji. Tworzony jest nowy zbiór osobników na SRGVWDZLH� SU]\SRU] GNRZDQHJR� LP� SU]\VWRVRZDQLD�� *HQHUDOQD� ]DVDGD� MHVW� WDND�� H� LP�ZL NV]H� SU]\VWRVRZDQLH�� W\P� ZL NV]H� MHVW� SUDZGRSRGRELH VWZR�� H� RVREQLN� E G]LH�SU]HQLHVLRQ\�GR�QRZHM�SRSXODFML��,P�SU]\VWRVRZDQLH�Z\ V]H�W\P�OLF]QLHM�UHSUH]HQWRZDQ\�E G]LH� GDQ\� RVREQLN� Z� QRZHM� SRSXODFML�� 7UDG\F\MQLH� VWRVRZDQ � PHWRG � Z\ERUX�osobników jest metoda ruletki [Gol 98@��:�PHWRG]LH�WHM�ND GHPX�RVREQLNRZL�RGSRZLDGD�VHNWRU�QD� WDUF]\�UXOHWNL�R�UR]PLDU]H�SURSRUFMRQDOQ\P�GR� MHJR�SU]\VWRVRZDQLD�Z]JO GHP�sumy przystosowania wszystkich osobników w populacji. Selekcji osobników dokonuje VL � NU F F� Z\NDOLEURZDQ � WDUF] � UXOHWNL� W\OH� UD]\�� MDN� OLF]QD� MHVW� SRSXODFMD�� =D� ND G\P�UD]HP�GR�QRZHJR�SRNROHQLD�Z\ELHUDQ\�MHVW�RVREQLN��NWyUHJR�ZVND]DáD�WDUF]D�UXOHWNL��

Z\EyU�SRSXODFML�SRF] WNRZHM

ocena przystosowania osobników

&]\�RVL JQL WR�]DGRZDODM FH�UR]ZL ]DQLH"

selekcja

NU]\ RZDQLH

mutacja

:\QLN�G]LDáDQLD�algorytmu

Tak

Nie

Rysunek 1.1��6FKHPDW�EORNRZ\�G]LDáDQLD�*$

Page 11: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�VLHFL�QHXURQRZ\FK 6

3R� ]DNR F]HQLX� UHSURGXNFML� QD� SRZVWDáHM� SRSXODFML� GRNRQXMH� VL � SRGVWDZRZ\FK�operacji genetycznych: - NU]\ RZDQia - mutacji

3U]\� NU]\ RZDQLX� SHZLHQ� SRG]ELyU� RVREQLNyZ� SRZVWDá\FK� Z� Z\QLNX� VHOHNFML�GRELHUD� VL � Z� SDU\� �]D]Z\F]DM� Z� VSRVyE� ORVRZ\��� 'OD� WDN� SRZVWDáHM� SDU\� Z\ELHUD� VL ��UyZQLH � ORVRZR�� SXQNW� Z� ELQDUQ\P� FL JX� NRGRZ\P�� 7DN� Z\]QDF]RQH� SRGFL JL�QDVW SQLH� Z\PLHQLD� VL � PL G]\� RVREQLNDPL� X]\VNXM F� GZD� QRZH� RVREQLNL� R�]PRG\ILNRZDQ\FK�FKURPRVRPDFK��&] VWR�PyZL�VL ��L �]�URG]LFyZ�SRZVWDM �SRWRPNRZLH�(rys 1.2).

.U]\ RZDQLH� PR QD� LQWHUSUHWRZDü� MDNR� Z\PLDQ � LQIRUPDFML� JHQHW\F]QHM� PL G]\�SRWHQFMDOQ\PL� UR]ZL ]DQLDPL�� :\ELyUF]\� PHFKDQL]P� VHOHNFML� SRZRGXMH�� H� SRGVWDZ �WZRU]HQLD�QRZ\FK�UR]ZL ]D �V �QDMOHSV]H�GRW\FKF]DVRZH�FL JL�NRGRZH�

0XWDFMD� SROHJD� QD� ORVRZHM� ]PLDQLH� MHGQHJR� OXE� ZL FHM� JHQyZ� Z\EUDQHJR�FKURPRVRPX��]�SUDZGRSRGRELH VWZHP�UyZQ\P�F] VWR FL�PXWDFML��U\V�1.3). Powszechnie MHVW� X]QDZDQD� ]D� RSHUDFM � GUXJRU] GQ � Z]JO GHP� NU]\ RZDQLD�� 3U]HFLZG]LDáD� RQD�Z\QLV]F]DM FHM� ERJDFWZR� UHSUH]HQWDFML� RSHUDFML� VHOHNFML� RUD]� JU] QL FLX� SRV]XNLZD �Z�optimach lokalnych.

']L NL� SRZ\ V]\P� RSHUDFMRP� RWU]\PXMH� VL � ILQDOQLH� SRSXODFM � SRWRPQ �� E G F �ED] �GR�NROHMQ\FK�LWHUDFML�DOJRU\WPX�

-DN� ZLGDü� NOXF]RZ\P� ]DJDGQLHQLHP� *$� MHVW� ]GHILQLRZDQLH� IXQNFML� RFHQLDM FHM�RVREQLNL� RUD]� ]DNRGRZDQLH� SDUDPHWUyZ� UR]ZL ]\ZDQHJR� SUREOHPX� Z� SRVWDFL� FL JX�ELQDUQHJR�R�VWDáHM�GáXJR FL�

$OJRU\WP�JHQHW\F]Q\�GOD�ND GHJR�V]F]HJyOQHJR�]DGDQLD�PXVL�]DZLHUDü�QDVW SXM FH�SL ü�HOHPentów:

1. SRGVWDZRZ �UHSUH]HQWDFM �SRWHQFMDOQ\FK�UR]ZL ]D �]DGDQLD� 2. VSRVyE�WZRU]HQLD�SRF] WNRZHM�SRSXODFML�SRWHQFMDOQ\FK�UR]ZL ]D � 3. IXQNFM � RFHQLDM F �� NWyUD� JUD� URO � URGRZLVND� L� RFHQLD� UR]ZL ]DQLD� ZHGáXJ� LFK�

dopasowania,

SXQNW�NU]\ RZDQLD

osobnik 1

osobnik 2

osobnik 1

osobnik 2

NU]\ RZDQLH

Rysunek 1.2��.U]\ RZDQLH

osobnik

mutacja nowy osobnik

punkt mutacji

Rysunek 1.3. Mutacja

Page 12: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�VLHFL�QHXURQRZ\FK 7

4. SRGVWDZRZH�RSHUDWRU\��NWyUH�ZSá\ZDM �QD�VNáDG�SRSXODFML�G]LHFL� 5. ZDUWR FL� Uy Q\FK� SDUDPHWUyZ� X \ZDQ\FK� Z� DOJRU\WPLH� JHQHW\F]Q\P� �UR]PLDU�

SRSXODFML��SUDZGRSRGRELH VWZD�X \FLD�RSHUDWRUyZ�JHQHW\F]Q\FK��LWS���

1.2 GA vs. EA

W [Mic 96@�]GHILQLRZDQR�W �Sá\WN �L�F] VWR�QLHGRVWU]HJDOQ �Uy QLF �PL G]\�GZRPD�SRM FLDPL�� 3RGVWDZRZD� Uy QLFD� NRQFHSF\MQD� PL G]\� NODV\F]Q\PL� *$� L� ($� WNZL� Z�GHILQLFML� VWUXNWXU� GDQ\FK� RSLVXM F\FK� FKURPRVRP� RVREQLND� RUD]� RSHUDWRUDFK�JHQHW\F]Q\FK�� :� NODV\F]Q\P� *$� ]DNáDGD� VL �� H� FKURPRVRP� MHVW� UHSUH]HQWRZDQ\� Z�postaci�FL JX�ELWyZ�R�VWDáHM�GáXJR FL�RUD]�GRSXV]F]D�GZD�RSHUDWRU\�JHQHW\F]QH��PXWDFMH�RUD]�NU]\ RZDQLH� �DQJ� corssing over���7DNLH�SRGHM FLH� QLH�XZ]JO GQLD�Z� DGHQ�VSRVyE�VSHF\ILNL� UR]ZL ]\ZDQHJR� ]DGDQLD�� :\PDJD�� DE\� QDWXUDOQD� UHSUH]HQWDFMD� SXQNWX� ]�przestrzeni UR]ZL ]D � E\áD� ]DNRGRZDQD� SRSU]H]� FL J� ELQDUQ\�� &] VWR� GOD� ]áR RQ\FK�VWUXNWXU� GDQ\FK� WDNLFK� MDN�PDFLHU]H� OXE� GU]HZD�� WDNLH� SU]HM FLH� ]� SXQNWX�Z� SU]HVWU]HQL�UR]ZL ]D � QD� SRVWDü� ELQDUQ � QLH� MHVW� WU\ZLDOQH�� 'RGDWNRZR� NODV\F]QH� RSHUDWRU\�JHQHW\F]QH� MDN� NU]\ RZDQLH� L� PXWDFMD� RSHUXM FH� Z\á F]QLH� QD� FL JDFK� ELWyZ�� QLH�XZ]JO GQLDM �V]F]HJyOQ\FK�ZáDVQR FL�NRGRZDQHM�VWUXNWXU\��(IHNWHP�]DVWRVRZDQLD�W\FK H�RSHUDWRUyZ� PRJ � E\ü� QRZH� VWUXNWXU\� QLH� VSHáQLDM FD� QDU]XFRQ\FK� RJUDQLF]H �� =DWHP�SLHUZRWQH� ]DGDQLH� PXVL� E\ü� ]PRG\ILNRZDQH� GR� RGSRZLHGQLHM� SRVWDFL� QDGDM FHM� VL � GR�algorytmów genetycznych. Wymaga to zdefiniowania dekodera do i z postaci binarnej na SRVWDü�UHSUH]HQWXM F �SXQNW�Z�SU]HVWU]HQL� UR]ZL ]D ��=D]Z\F]DM�QLH� MHVW� WR�SURVWH��3U]\�SU]HM FLX� QD� SRVWDü� ELQDUQ � L� VWRVowaniu klasycznych operatorów genetycznych nie XZ]JO GQLD�VL �VSHF\ILNL�NRGRZDQHM�VWUXNWXU\��

:� RGUy QLHQLX� RG� *$� SURJUDP\� HZROXF\MQH� QLH� Z\PDJDM � ]PLDQ\� ]DGDQLD�� OHF]�modyfikacji reprezentacji chromosomowej i zastosowania odpowiednich operatorów genetyczn\FK�� 'R� NRGRZDQLD� SXQNWX� Z� SU]HVWU]HQL� UR]ZL ]D � X \ZD� VL � QDWXUDOQHM�UHSUH]HQWDFML�UR]ZL ]DQLD�L�QD�WDNLHM�UHSUH]HQWDFML�GHILQLXMH�VL �RSHUDWRU\�JHQHW\F]QH�

2EHFQLH� F] VWR� RGFKRG]L� VL � >Mic 96] od algorytmów genetycznych w kierunku bardzLHM� HODVW\F]Q\FK� SURJUDPyZ� HZROXF\MQ\FK�� 0LPR�� L � *$� V � GREU]H� RSUDFRZDQH�WHRUHW\F]QLH� QLH� ]DGDá\� HJ]DPLQX� Z� ZLHOX� ]DJDGQLHQLDFK� SUDNW\F]Q\FK�� :\GDMH� VL �� H�JáyZQD� SU]\F]\QD� QLHSRZRG]H � MHVW� WDND� VDPD�� MDN� LFK� VXNFHVX� –� QLH]DOH QR ü� RG�rozpatrywanej dziedziny.

1.3 Porównanie EA z metodami klasycznymi

Algorytmami genetycznymi� OXE�� MDN�ZVSRPQLDQR�ZF]H QLHM��Z� V]HUV]\P�]QDF]HQLX�algorytmami ewolucyjnymi RNUH OD�VL �DOJRU\WP\�SRV]XNLZDQLD�UR]ZL ]D ��NWyUH�G]LDáDM �w oparciu o mechanizmy doboru naturalnego i dziedzLF]QR FL�>int 01].

%DGDQLD� QDG� W � JDá ]L �ZLHG]\� ]RVWDá\� UR]ZLQL WH� SU]H]� -RKQD�+ROODQGD� RUD]� MHJR�ZVSyáSUDFRZQLNyZ� ]� 8QLZHUV\WHWX� 0LFKLJDQ� Z� 86$� L� ED]XM � QD� ]QDQ\FK� QDP�GRW\FKF]DV� ]DVDGDFK� IXQNFMRQRZDQLD� SRSXODFML� RUJDQL]PyZ� \Z\FK, zdolnych do SU]HWUZDQLD�Z�]PLHQQ\P� URGRZLVNX�QDWXUDOQ\P�

:LHOH� SUREOHPyZ� PR QD� SU]HGVWDZLü� MDNR� SRV]XNLZDQLH� QDMOHSV]HJR� UR]ZL ]DQLD�VSR UyG�]ELRUX�ZV]\VWNLFK�PR OLZ\FK�UR]ZL ]D � WZRU] F\FK�G]LHG]LQ �UR]ZL ]DQLD�RUD]�VSHáQLDM F\FK� QDU]XFRQH� ]� JyU\� RJUDQLF]HQLD�� $OJRU\WP\� UR]ZL ]XM FH� GDQH� ]DGDQLH�SRZLQQ\� SU]HV]XNDü� FDá � SU]HVWU]H � UR]ZL ]D � L� Z\EUDü� WH� UR]ZL ]DQLD�� NWyUH� V �QDMOHSV]H� �RSW\PDOQH��� 3URFHV� SRV]XNLZDQLD� RSWLPXP� QD]\ZD� VL � RSW\PDOL]DFM , a jego FHOHP� MHVW� ]QDOH]LHQLH� QDMOHSV]HJR� UR]ZL ]DQLD� – optimum globalnego. Zwykle jednak

Page 13: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�VLHFL�QHXURQRZ\FK 8

SU]HV]XNDQLH�FDáHM�SU]HVWU]HQL�QLH�MHVW�PR OLZH��-HGQ �]�PHWRG�MHVW�]DZ HQLH�SU]HVWU]HQL�UR]ZL ]D � SRSU]H]� RJUDQLF]HQLH� ]DNUHVyZ� SDUDPHWUyZ� RSLVXM F\FK� SUREOHP�� 1DMOHSV]H�UR]ZL ]DQLH�Z�SU]HVWU]HQL�]DZ RQHM�QD]\ZDQH�MHVW optimum lokalnym [int 02].

3RGF]DV� UR]ZL ]\ZDQLD� ]áR RQ\FK� SUREOHPyZ� F] VWR� RND]XMH� VL �� H� NODV\F]QH�PHWRG\�RSW\PDOL]DFML�]DZRG] ��,VWQLHM �RF]\ZL FLH�JUXS\�]DGD ��GR�NWyU\FK�VWRVXMH�VL �MH�]� SRZRG]HQLHP�� 3RQL HM� Z� ZLHONLP� VNUyFLH� SRUyZQDQH� V � PHWRG\� NODV\F]QH� ]�PHWRG �SRV]XNLZDQLD�VWRVRZDQ �SU]H]�$(�� Metody analityczne Z\PDJDM � ]QDMRPR FL� SU]HVWU]HQL� UR]ZL ]D � Z� IRUPLH� Z]RUyZ�PDWHPDW\F]Q\FK��:LHOH� SUREOHPyZ� MHGQDN� QLH�PR QD� áDWZR� RSLVDü� ]D� SRPRF �Z]RUyZ�matematycznych inne, nawet áDWZH� GR� VIRUPDOL]RZDQLD�� V � QLHUR]ZL ]\ZDOQH�PHWRGDPL�DQDOLW\F]Q\PL�� 0HWRG\� DQDOLW\F]QH� UR]ZL ]\ZDQLD� WDNLFK� SUREOHPyZ�� F] VWR� V �RSUDFRZDQH� GR� NRQNUHWQHJR� ]DJDGQLHQLD� L� QLH� V � áDWZR� DGDSWRZDOQH� GR� LQQ\FK�SUREOHPyZ�L�LQQHM�SU]HVWU]HQL�UR]ZL ]D � Metody pr]HJO GRZH� SROHJDM � QD� VSUDZG]HQLX� ZV]\VWNLFK� PR OLZ\FK� SXQNWyZ�SU]HVWU]HQL� UR]ZL ]D �� 2F]\ZLVW � EDULHU � VWRVRZDOQR FL� WHM� PHWRG\� MHVW� UR]PLDU�SU]HVWU]HQL�UR]ZL ]D ��3U]HVWU]H �WDND�GRGDWNRZR�PXVL�E\ü�G\VNUHWQD��DE\�SRV]XNLZDQLH�]DNR F]\áR� VL � Z� VNR F]RQHM� OLF]ELH� NURNyZ�� ,FK� JáyZQ � ]DOHW � MHVW� WR�� H� MDNR� MHG\QH�PHWRG\� ]DZV]H�GDM � JZDUDQFM � QD� WR�� H� ]QDOH]LRQH�SU]H]�QLH� UR]ZL ]DQLH� MHVW�RSWLPXP�globalnym. Metody poszukiwania� ORVRZHJR� SROHJDM � QD� ORVRZ\P� Eá G]HQLX� SR� SU]HVWU]HQL�UR]ZL ]D � ]� QDG]LHM �� H� Z� NR FX� �WUDILRQH�� ]RVWDQLH� JOREDOQLH� RSW\PDOQH� UR]ZL ]DQLH��:�RGUy QLHQLX�RG�PHWRG�SU]HJO GRZ\FK�QDGDM � VL � GR�SU]HV]XNLZDQLD�QLHSU]HOLF]DOQ\FK�SU]HVWU]HQL� UR]ZL ]D �� MHGQDN� QLH� GDM � JZDUDQFML� ]QDOH]LHQLD� RSWLPXP� JOREDOQHJR� Z�VNR F]RQHM�OLF]ELH�NURNyZ�

Metod\� VWRVRZDQH� SU]H]� $(� SROHJDM � QD� VDPRGRVWRVRZDQLX� �DGDSWDFML�� UHJXá�SU]HV]XNLZDQLD� SU]HVWU]HQL� UR]ZL ]D � GR� NRQNUHWQHJR� ]DGDQLD�� ']LHMH� VL � WR� Z� VSRVyE�DXWRPDW\F]Q\��EH]�]DDQJD RZDQLD�F]áRZLHND��']L NL� WHPX�PRJ �RQH�E\ü�VWRVRZDQH�EH]�]PLDQ� GR� Uy Q\FK� ]DGD �� ,FK� GRGDWNRZ � ]DOHW � MHVW� WR�� H� SURZDG] � SRV]XNLZDQLD�JOREDOQLH� QDMOHSV]HJR� UR]ZL ]DQLD�� ,FK� ZDG � MHVW� ]D � EUDN� SHZQR FL� FR� GR� WHJR�� H�MDNLHNROZLHN� GREUH� UR]ZL ]DQLH� ]RVWDQLH� ]QDOH]LRQH�� 0RJ � SU]HV]XNLZDü� ]DUyZQR�przestrzenie dyskretne jak i niepoliczalne. (Klasyczny GA poszukuje w przestrzeniach G\VNUHWQ\FK�� JG\ � SU]HVWU]H � UR]ZL ]D � MHVW� MHGQR]QDF]QLH� GHILQLRZDQD� SU]H]�FKURPRVRP��PRJ F\�SU]\M ü�VNR F]RQ �OLF]E �ZDUWR FL��

$QDOLW\F]QH� PHWRG\� SRV]XNLZDQLD� V � ]� SRZRG]HQLHP� VWRVRZDQH� GOD� FL OH�RNUH ORQ\FK� ]DGD �� SRGF]DV� JG\� QLHNODV\F]QH� PHWRG\� PDM � ZL NV] � HIHNW\ZQR ü� GOD�szerokiego spektrum problemów. 3RGVWDZRZH�Uy QLFH�SRPL G]\�($�D�PHWRGDPL�WUDG\F\MQ\PL�V �QDVW SXM FH� - ($�SURZDG] �SRV]XNLZDQLD�Z\FKRG] F�QLH�]�MHGQHJR�SXQNWX��OHF]�]�SHZQHM�LFK�

populacji, - ($�NRU]\VWDM �W\ONR�]�IXQNFML�FHOX��QLH�]D �MHM�SRFKRGQ\FK�OXE�LQQ\FK�SRPRFQLF]\FK�

informacji, - ($�QLH�SU]HWZDU]DM �EH]SR UHGQLR�SDUDPHWUyZ�]DGDQLD��OHF]�LFK�]DNRGRZDQ �SRVWDü� - ($�VWRVXM �SUREDELOLVW\F]QH��D�QLH�GHWHUPLQLVW\F]QH�UHJXá\�Z\ERUX�

Zalety te RUD]�GX D� HODVW\F]QR ü�Z� LPSOHPHQWDFML�($� VSUDZLDM �� H�QDGDM �VL �RQH�GR�]DGD ��Z�NWyU\FK�EDUG]R�QLHZLHOH�PR QD�SRZLHG]LHü�R�SU]HVWU]HQL�UR]ZL ]D ��1LHVWHW\�EDUG]R�SRZD Q\P�PDQNDPHQWHP�($�MHVW� LFK�GáXJL�F]DV�G]LDáDQLD�RUD]�WR�� H�QLH�]DZV]H�V � RQH�Z� VWDQLH� ]QDOH ü� JOREDOQH� RSWLPXP� OXE� QDZHW� UR]ZL ]DQLH� EOLVNLH� RSW\PDOQHPX��-H HOL� ]RVWDQLH� RGQDOH]LRQH� MDNLH � UR]ZL ]DQLH� SUREOHPX� QLH� PDP\� SHZQR FL�� F]\�RGQDOH]LRQ\� SXQNW� Z� SU]HVWU]HQL� UR]ZL ]D � MHVW� QDMOHSV]\P� ]� PR OLZ\FK� UR]ZL ]D �

Page 14: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�VLHFL�QHXURQRZ\FK 9

(optimum globalnym). Innego� URG]DMX� QLHGRJRGQR FL � ]ZL ]DQ � ]� ($� MHVW� WR�� H� GOD�U]HF]\ZLVW\FK� ]DVWRVRZD �QDOH \� ]D�ND G\P� UD]HP� LQG\ZLGXDOQLH�GRELHUDü�RGSRZLHGQLH�dla problemu operatory genetyczne.

Page 15: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�VLHFL�QHXURQRZ\FK 10

2. Sieci neuronowe

Sieci neuronowe (ang. NNs - Neural Networks) to skrócona forma terminu sztuczne sieci neuronowe (ang. ANNs - Artificial Neural Networks), powszechnie stosowanego w pracach z zakresu sztucznej inteligencji (ang. AI - Artificial Intelligence). 6ZH�SRF] WNL�Z\ZRG] � MHV]F]H� ]� ODW� ��-W\FK�� NLHG\� WR� WUZDá\� SUDFH� QDG� badaniem komórek R URGNRZHJR� XNáDGX� QHUZRZHJR� ]ZLHU] W� L� F]áRZLHND�� F]\OL�neuronów. Koniec lat 50-tych i SRF] WHN� ��-W\FK� WR� SUDFH� PL G]\� LQQ\PL� Rosenblatta i Wightmana nad pierwszymi modelami neuronów i sieci. Lata 60-te i 70-WH� ZL � VL � ]� ]DKDPRZDQLHP�EDGD � SR� SXEOLNDFML� NVL NL� 0LQVNL¶HJR� L� 3DSHWD� ������� Z\ND]XM FHM� SRZD Q �RJUDQLF]RQR ü�SROD� ]DVWRVRZD � liniowych� VLHFL� QHXURQRZ\FK��5HQHVDQV�QDVW SLá�GRSLHUR�w latach 80-W\FK�� NLHG\� WR� SRZV]HFKQD� GRVW SQR ü� NRPSXWHURZ\FK� WHFKQLN� V\PXODFML�SU]\F]\QLáD� VL �GR� LQWHQV\ILNDFML�EDGD ��2EHFQLH�QDZHW�Z�SUDVLH�FRG]LHQQHM�SRMDZLDM �VL �DUW\NXá\�R�11V�

3RF] WNRZH� SUDFH� QDG� 11V� E\á\� LQVSLURZDQH� SU]H]� PRGHOH� ELRORJLF]Q\FK�QHXURQyZ�]QDMGXM F\FK�VL �Z�XNáDGDFK�QHUZRZ\FK�]ZLHU] W� L� OXG]L��$F]NROZLHN��ZUD]�]�rozwojem tej dyscypliny, tHUPLQ� WHQ� ]DF] á� REHMPRZDü� ]QDF]QLH� V]HUV]H� VSHNWUXP�PRGHOL��NWyU\FK� LGHD� MX �]QDF] FR�RGELHJDáD�RG�DQDORJLL�ELRORJLF]Q\FK��2EHFQLH�Z�ZLHOX�SXEOLNDFMDFK�PR QD� VSRWNDü� Uy QRUDNLH�GHILQLFMH�11V��1DMRJyOQLHM� U]HF]�XMPXM F�PR QD�11V� ]GHILQLRZDü� MDNR� ZLHOH� SURVW\FK� SURFHVRUyZ� �QHXURQyZ�� SRá F]RQ\FK� VLHFL �SRá F]H �� SRSU]H]� NWyU � Z\PLHQLDQH� V � LQIRUPDFMH� L� UyZQROHJOH� SU]HWZDU]DQH��1DMEDUG]LHM� NODV\F]Q\P� SU]\NáDGHP� 11� MHVW� VLHü� ZDUVWZRZD�� JG]LH� ND G\� ]� QHXURQyZ�PD� SHZQ � OLF]E � ZHM ü� RUD]� MHGQR� Z\M FLH�� 6\JQDá\� ZHM FLRZH� V � Z� VSRVyE�QLHVNRPSOLNRZDQ\� SU]HWZDU]DQH� L� GDM � Z� RGSRZLHG]L� Z\M FLH� QHXURQX�� 7D� LQIRUPDFMD�MHVW�QDVW SQLH�SU]HV\áDQD�Z�VSRVyE�FL Já\�GR�QHXURQyZ�ZDUVWZ\�QDVW SQHM��U\V��2.1).

:\Uy QLü� PR QD� VLHFL� MHGQRNLHUXQNRZH� �DQJ�� feed forwarded), gdzie informacja MHVW� SU]HV\áDQD� ]� ZHM ü� VLHFL� GR� Z\M ü� L� QLH� Z\VW SXM � F\NOH� Z� SRá F]HQLDFK�� RUD]�rekurencyjne (ang. feedback, bidirectional��]H�VSU] HQLDPL�]ZURWQ\PL��JG]LH�GRGDWNRZR�Z\M FLD� QHXURQX� PRJ � E\ü� SRZL ]DQH� ]� MHJR� ZHM FLDPL� E G � EH]SR UHGQLR�� E G � ]D�SR UHGQLFWZHP�LQQ\FK�QHXURQyZ�WZRU] F\FK�VLHü��-HVW�WDN H�ZLHOH�PRGHOL�11V��NWyUH�QLH�PLDá\� ELRORJLF]QHM� LQVSLUDFML� L� WUDNWRZDü� MH� QDOH \� EDUG]LHM� MDNR� PRGHOH� PDWHPDW\F]QH��VLHFL� +RSILHOGD�� VDPRRUJDQL]XM FH� VL � PDS\�� MHGQDN� LFK� ZáDVQR FL� QLHU]DGNR�SU]\SRPLQDM �ZáDVQR FL�XNáDGyZ�QHUZRZ\FK�LVWRW� \Z\FK�

Rysunek 2.1. Schemat typowej sieci neuronowej

Page 16: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�VLHFL�QHXURQRZ\FK 11

2PDZLDM F� SRGZDOLQ\� OH FH� X� SRGVWDZ� WHM� G\VF\SOLQ\� QDOH \� ZVSRPQLHü� LFh NODV\ILNDFM � ]H� Z]JO GX� QD� VSRVyE� nauki. Nauka sieci jest to proces przygotowywania VLHFL� GR� UR]ZL ]\ZDQLD� NRQNUHWQHJR� SUREOHPX�� NWyU\� NV]WDáWXMH� VLHü� SRá F]H � L�OXE�VSRVyE� SU]HWZDU]DQLD� LQIRUPDFML� SU]H]� QHXURQ\�� 3URFHV� QDXNL� VLHFL� PR QD� SRG]LHOLü� QD�dwie kategorie: - XF]HQLH�QDG]RURZDQH��]ZDQH�WDN H�QDXN �]�QDXF]\FLHOHP��DQJ� supervised learning), - uczenie nienadzorowane (ang. unsupervised learning).

8F]HQLH�QDG]RURZDQH�WR�WDNLH��JG]LH�QD�ZHM FLD�VLHFL�SRGDMH�VL �SHZQH�SREXG]HQLH�L�QDVW SQLH��Z�]DOH QR FL�RG�RWU]\PDQHM�RGSRZLHG]L��QD�Z\M FLDFK�VLHFL� WDN�SRSUDZLD�VL �SDUDPHWU\� L�OXE� DUFKLWHNWXU � VLHFL�� DE\� VLHü� QD� SUH]HQWRZDQH� Z]RUFH� �SREXG]HQLD��RGSRZLDGDáD� ]� FRUD]� PQLHMV]\P� Eá GHP�� 'OD� VLHFL� ZDUVWZRZ\FK� SU]\NáDGHP� WDNLHJR�sposobu nauki jest algorytm wstecznHM� SURSDJDFML� Eá GX� �DQJ��back propagation), gdzie ]PLHU]RQD� Uy QLFD� PL G]\� RGSRZLHG]L � VLHFL� D� ZDUWR FL � RF]HNLZDQ � �]ZDQD� Eá GHP�sieci�� MHVW� QDVW SQLH� SURSDJRZDQD� ZVWHF]�� QD� ZV]\VWNLH� QHXURQ\� PDM FH� ZSá\Z� QD�SRZVWDá\�Eá G��Z�WDNL�VSRVyE��DE\�SU]\�NROHMQHM�SUH]HQWDFML�WHJR�VDPHJR�Z]RUFD�Eá G�E\á�PQLHMV]\��&] VWR�SURFHV�QDXNL� MHVW�SURFHVHP� LWHUDF\MQ\P�VáX F\P�GR�Z\WZRU]HQLD�VLHFL�R�SR GDQ\FK�ZáDVQR FLDFK��8F]HQLH�QLHQDG]RURZDQH�FKDUDNWHU\]XMH� VL � W\P�� L � D�SULRUL�QLH� ]DNáDGDP\� QLF� RGQR QLH� RGSRZLHG]L� MDN � PDP\� RWU]\PDü� RG� VLHFL�� =D]Z\F]DM� VLHü�VáX \� ZWHG\� GR� RGQDMGRZDQLD� SHZQ\FK� ]DOH QR FL� Z� DNW\ZDFMDFK� E G F\FK� GDQ\PL� GOD�SURFHVX� XF]HQLD�� =D]Z\F]DM� WDNLH� SRGHM FLH� VWRVXMH� VL � GR� ]DJDGQLH � NODV\ILNDFML��UR]SR]QDZDQLD�REUD]yZ��GR�ZVW SQHJR�SRG]LDáX�GDQ\FK�ZHGáXJ�NODV�SRGRELH VWZD��DQJ� clustering).

2EHFQLH� 11V� V � V]HURNR� VWRVRZDQH� GR� ZLHOX� ]áR RQ\FK� ]DJDGQLH � LQ \QLHUVNLFK��,FK�]GROQR FL�GR�XRJyOQLDQLD�RUD]�RSHURZDQLD�QD�GDQ\FK�QLHSHZQ\FK�L�QLHSHáQ\FK�F] VWR�]QDMGXM � ]DVWRVRZDQLH� Z� V\VWHPDFK� UR]SR]QDZDQLD� RUD]� NODV\ILNDFML�� *áyZQ\PL�GRPHQDPL� ]DVWRVRZD � MHVW� UR]SR]QDZDQLH� REUD]yZ�� JáRVX�� V\JQDáyZ�� MDN� UyZQLH �optymalizacja, kompresja danych, aproksymacja funkcji lub modelowanie, gdzie procesy IL]\F]QH�QLH�GR�NR FD�V �]QDQH�OXE�Z\VRFH�]áR RQH�

Istnieje wiele roG]DMyZ� VLHFL� QHXURQRZ\FK� L� ZLHOH� FKDUDNWHU\VW\N�� NWyU\PL�PR QD�MH� RSLV\ZDü�� :� QLQLHMV]\P� UR]G]LDOH� SU]HGVWDZLRQ\� ]RVWDá� W\ONR� ZLHU]FKRáHN� JyU\�]DJDGQLH � ]ZL ]DQ\FK� ]� DNWXDOQ\PL� EDGDQLDPL� Z� ]DNUHVLH� 11�� RUD]� SRGVWDZRZH�terminy. Tematyka ta jest dobrze przedstawiona w literaturze zagranicznej jak i krajowej [ XU 96, Oso 97@�� D� SRGVWDZ\� G]LHG]LQ\� V � GREU]H� XV\VWHPDW\]RZDQH�� 3RQL HM� ]RVWDQLH�przedstawionych kilka ciekawszych modeli sieci neuronowych oraz terminologia istotna Z�NRQWHN FLH�WHPDWX�QLQLHMV]HM�SUDF\�

2.1 Podstawy biologiczne a model matematyczny neuronu

-DN� MX � ]RVWDáR� ZVSRPQLDQH�� SLHUZRZ]RUHP� V]WXF]QHM� VLHFL� QHXURQRZHM� MHVW�ELRORJLF]Q\�XNáDG�QHUZRZ\��-HVW�WR�]áR RQD�VWUXNWXUD��NWyUHM�JáyZQH�HOHPHQW\�WR�NRPyUNL�nerwRZH��QHXURQ\�� L�SRá F]HQLD�PL G]\�QLPL��'OD�SRND]DQLD�SR]LRPX�]áR RQR FL�PR QD�SRZLHG]LHü�� H� OLF]ED� NRPyUHN� QHUZRZ\FK�Z�Py]JX�F]áRZLHND�Z\QRVL�RNRáR���10�� ]D �OLF]ED�SRá F]H �PL G]\�QLPL�VL JD���15��6]\ENR ü�SU]HWZDU]DQLD�Py]JX�RFHQLDQD� MHVW�QD�1018 operaFML�QD�VHNXQG �>Muc 96].

Page 17: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�VLHFL�QHXURQRZ\FK 12

Pojedynczy neuron biologiczny (rys. 2.2�� VNáDGD� VL � ]� FLDáD� NRmórki, wielu dendrytów i aksonu [XU 96, Cri 97]. Informacja dociera do neuronu poprzez dendryty, QDVW SQLH� MHVW�SU]HWZDU]DQD��D�RGSRZLHG �MHVW�Z\V\áDQD�GR�DNVRQX��3RPL G]\�QHXURQDPL�V\JQDá\� V �SU]HV\áDQH�SRSU]H]� ]á F]D�akson-GHQGU\W�� ]ZDQH�V\QDSV ��:HZQ WU]�QHXURQX�SU]HZRGQLFWZR� PD� FKDUDNWHU� HOHNWU\F]Q\�� 1DWRPLDVW� SRá F]HQLH� V\QDSW\F]QH� SU]HZRG]L�LPSXOV\�QD�GURG]H�FKHPLF]QHM��$NVRQ�GDQHJR�QHXURQX�SRá F]RQ\�MHVW�SRSU]H]�V\QDSV\�]�dendrytami wielu innych neuronów. Neuron rHDJXMH� VWRVRZQLH� GR� ZDUWR FL� ZV]\VWNLFK�VZRLFK� SREXG]H � RWU]\PDQ\FK� SRSU]H]� GHQGU\W\�� ,PSXOV\� SU]\FKRG] FH� PRJ � E\ü�SREXG]DM FH� OXE� KDPXM FH�� :DUXQNLHP� Z\VáDQLD� RGSRZLHG]L� GR� DNVRQX� MHVW�� DE\�SRWHQFMDá� SREXG]DM F\� SU]HZ\ V]\á� SRWHQFMDá� KDPXM F\� R� ZDUWR ü� ]ZDQ � SURJLHP�SREXG]HQLD�� 3R� Z\VáDQLX� SREXG]HQLD� QHXURQ� MHVW� SU]H]� SHZLHQ� F]DV� QLHDNW\ZQ\� L� QLH�Z\V\áD� DGQ\FK� V\JQDáyZ� �RNUHV� RSRUQR FL��� .UyWNL� RNUHV� Z\VáDQLD� SREXG]HQLD� SU]H]�QHXURQ� QD]\ZD� VL �Z\VWU]DáHP� �DQJ�� fire���1DOH \� ]ZUyFLü�XZDJ �� H�Z�RGUy QLHQLu od SU]HWZDU]DQLD� F\IURZHJR�� ELRORJLF]QH� QHXURQ\� G]LDáDM � DV\QFKURQLF]QLH�� D� LPSXOV\�QHUZRZH�QLH�V �V\QFKURQL]RZDQH�Z�F]DVLH��

7DND�LQWHUSUHWDFMD�QHXURQyZ�MHVW�GX \P�XSURV]F]HQLHP�ZLHG]\�QHXURELRORJyZ��DOH�Z\VWDUF]DM FD� GR� ]UR]XPLHQLD� SRGZDOLQ�� MDNLH� OHJáy u podstaw NNs. Biologiczne LQVSLUDFMH� PLDá\� ZSá\Z� QD� WHUPLQRORJL � 11�� NWyUH� ]DSR \F]\á\� ZLHOH� WHUPLQyZ� ]�QHXURELRORJLL�� ,� WDN� MHGQRVWNL� REOLF]HQLRZH� F] VWR� V � ]ZDQH� - neuronami�� LFK�ZHM FLD� - dendrytami, a Z\M FLD - aksonami.

drzewo dendrtów

akson

synapsy

CiaáR�NRPyUNL

Rysunek 2.2. „Biologiczny” neuron

Page 18: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�VLHFL�QHXURQRZ\FK 13

3. Automaty komórkowe

Za twóUF � DXWRPDWyZ� NRPyUNRZ\FK� �DQJ� CA – Cellular Automata�� XZD D� VL �-DQRVD� YRQ� 1HXPDQQD�� : JUD� SUDFXM FHJR� Z� 3ULQFHWRQ�� DXWRUD� Ä0DWKHPDWLFDO�)RXQGDWLRQV� RI� 4XDQWXP� 0HFKDQLFV´�� 9RQ� 1HXPDQQ� ]QDQ\� MHVW� WDN H� HNRQRPLVWRP� ]�SUDF�QDG� WHRUL �.H\QHVD��:�NR FX� ODW���-W\FK�]DMPRZDá�VL �PRGHOHP�ÄSLHUZRWQHM�]XS\´�–� FLHF]\�� ]� NWyUHM� PLDáR� SRZVWDü� \FLH�� -DN� ZLDGRPR�� ZSURZDG]Lá� GR� VZHJR� PRGHOX�G\VNUHWQ\� F]DV� L� SU]HVWU]H �� 1DMVá\QQLHMV]\P� FK\ED� DXWRPDWHP� MHVW� Life autorstwa angielskiego matematyka Johna H. Conwaya. W Life mR QD� ZLG]LHü� PRGHO� \M FHJR�URGRZLVND�� JG\ � Z� X \FLX� V � SRM FLD� Ä \Z\FK´� L� ÄPDUWZ\FK´� NRPyUHN�� $OH� MHVW� WR�DXWRPDW�XQLZHUVDOQ\��F]\OL�]GROQ\�GR�ND GHM�RSHUDFML�ORJLF]QHM�>.Xá 00].

Automat komórkowy� PR QD� SRVWU]HJDü� MDNR� PRGHO� REOLF]HQLRZy [Siw@�� 0DM �IRUP � VLHFL� LGHQW\F]Q\FK�RGG]LDáXM F\FK�QD� VLHELH� DXWRPDWyZ�]ZDQ\FK�komórkami (ang. cells). Automat komórkowy -�MHVW�SRM FLHP�PDWHPDW\F]Q\P�L�FKDUDNWHU\]XMH�VL � - VLHFL �NRPyUHN� { }i w przestrzeni D wymiarowej,

- zbiorem stanów { }is �SRMHG\QF]HM�NRPyUNL�]DZLHUDM F\�ki elemntów. Zwykle

ZV]\VWNLH�NRPyUNL�DXWRPDWX�PDM �WDNL�VDP�]ELyU�VWDQyZ� - UHJXáDPL�)�RNUH ODM F\FK�VWDQ�NRPyUNL�Z�FKZLOL�t+1�Z�]DOH QR FL�RG�MHM�VWDQX�Z�

chwili t�RUD]�NRPyUHN�M �RWDF]DM F\FK� ( ) ( )( ) )O(ij,}{F1si ∈=+ tst j , gdzie )O(i jest

otoczeniem i-tej komórki. Taka jest definicja automatu komórkowego tzw. deterministycznego�� -H OL� SRQDGWR�funkcja F ]DOH \� RG� ]PLHQQHM� ORVRZHM�� WR� DXWRPDW� QD]\ZDP\ probabilistycznym. 'RGDWNRZR�Z\Uy QLD�VL �RWRF]HQLD�W\SX�Moore’a��JG]LH�]D�V VLHG]WZR�NRPyUNL�si�XZD D�VL � ZV]\VWNLH� NRPyUNL� VW\NDM FH� VL � ]� Vi� NUDZ G]L � OXE� URJLHP� RUD]� RWRF]HQLH� von Neumanna, JG]LH�V VLHG]WZHP�V �W\ONR�NRPyUNL�SU]\OHJDM FH�NUDZ G]L ��U\s. 3.1).

-DN� ZLGDü�� ZD QH� SDUDPHWU\� DXWRPDWX� WR� Z\PLDU� VLHFL� D, liczba stanów pojedynczej komórki k� RUD]� RWRF]HQLH�� &] VWR� X \ZDQ\P� SDUDPHWUHP� MHVW� SURPLH � r RWRF]HQLD�� D� QRWDFM � GOD� RNUH OHQLD� FDáHM� URG]LQ\� DXWRPDWyZ� MHVW� SRGDQLH� GZyFK� OLF]E��(k,r)�� 1RWDFMD� WD� QLH� MHVW� SUHF\]\MQD�� QLH� SRGDMH� Z\PLDUX� VLHFL�� Z� ]ZL ]NX� ]� F]\P� QLH�PXVL� E\ü� MDVQH�� F]\� QS�� GOD� DXWRPDWX� GZXZ\PLDrowego otoczenie jest otoczeniem von Neumanna czy otoczeniem Moore'a.

3U]\NáDGHP� DXWRPDWX� NRPyUNRZHJR� PR H� E\ü� DXWRPDW� Life. Automat Life jest ]GHILQLRZDQ\� QD� GZXZ\PLDURZHM� VLHFL� NZDGUDWRZHM�� D� ZL F�D=2��0R QD� VRELH� W � VLHü�Z\REUD Dü� MDN� SDSLHU� Z� NUDWN �� .D GD� NUDWND� WR� SRMHG\QF]D� NRPyUND�� =ELyU� VWDQyZ�

a b Rysunek 3.1. (a) otoczenie von Neumanna, (b) otoczenie Moore’a

Page 19: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�VLHFL�QHXURQRZ\FK 14

ND GHM�NRPyUNL�]DZLHUD�W\ONR�GZD�HOHPHQW\��N ����,QDF]HM�PyZL F��NRPyUND�MHVW�Ä \ZD´�����OXE�ÄPDUWZD´������5HJXáD� DXWRPDWX�/LIH�MHVW�QDVW SXM FD��MH OL�Z�RWRF]HQLX�NRPyUNL��QLH�OLF] F�MHM�VDPHM��V �Z�F]DVLH� t �WU]\�NRPyUNL� \ZH��WR�Z�F]DVLH� 1+t ta komórka jest \ZD� � 1=F ��� -H HOL� Z� MHM� RWRF]HQLX� Z� F]DVLH� t � V � GZLH� NRPyUNL� \ZH�� D� RQD� VDPD�UyZQLH � MHVW� \ZD�� WR� SR]RVWDMH� \ZD� UyZQLH � Z� F]DVLH� W��� � 1=F ��� :� SR]RVWDá\FK�przypadkach jest ona martwa w czasie t+1 (0=F ). Life jest automatem deterministycznym.

1DMGRNáDGQLHM� ]EDGDQ � URG]LQ � DXWRPDWyZ� >.Xá 00@� V � MHGQRZ\PLDURZH� �D=1) automaty deterministyczne o 2 stanach komórki (k=2�� L� RWRF]HQLX� VNáDGDM F\P� VL � ]�QDMEOL V]\FK� V VLDGyZ�� =JRGQLH� ]� SRZ\ V] � QRWDFM � WH� DXWRPDW\� R]QDF]DP\� MDNR� ��������Zatem argumentem funkcji F� MHVW� VWDQ� �� NRPyUHN�� ND GD� PR H� E\ü� Z� �-óch stanach funkcja F�PXVL�ZL F�E\ü�RNUH ORQD�GOD��3 ��Uy Q\FK�NRQILJXUDFML�L�SU]\MPXMH�MHGQHQ�]��-yFK�VWDQyZ��0R QD�ZL F�RNUH OLü�W �IXQNFM �QD��8 ����VSRVREyZ��FR�GDMH�����PR OLZ\FK�DXWRPDWyZ��7DN�RNUH ORQH�DXWRPDW\�QD]\ZDP\�]D�:ROIUDPHP�– elementarnymi��&] VWR�RNUH OD� VL � DXWRPDW� HOHPHQWDUQ\�� SRGDM F� ZDUWR FL� IXQNFML� F stanów otoczenia w QDVW SXM FHM�NROHMQR FL��

001001010011100101110111 �

=JRGQLH�]� W �NRQZHQFM �Z\VWDUF]\�SRGDü�FL J�R PLX� OLF]E���� OXE����:\JRGQLH�MHVW�WUDNWRZDü�WHQ�FL J�MDNR�NROHMQ\�QXPHU�automatu elementarnego, od 0 do 255, zapisany w SRVWDFL�GZyMNRZHM��1D�SU]\NáDG�GOD�DXWRPDWX����UHJXáD�F�MHVW�]GHILQLRZDQD�QDVW SXM FR�

111� 110� 101� 100� 011� 010� 001� 000�

0� 1� 0� 1� 1� 0� 1� 0�

Rysunek 3.2. Efekt d]LDáDQLD�DXWRPDWX����–�G\ZDQ�6LHUSL VNLHJR

Page 20: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�VLHFL�QHXURQRZ\FK 15

$XWRPDW����MHVW�UyZQRZD Q\�G]LDáDQLX�;25�QD�VWDQDFK�V VLDGyZ�NRPyUNL�FHQWUDOQHM��:\Uy QLD� VL � RQ� W\P�� H� ]� MHGQHM� NRPyUNL� SURGXNXMH� IUDNWDO�� G\ZDQ� 6LHUSL VNLHJR�(rys. 3.2).

Szczególne znaczeQLH� SU]\SLV\ZDá� :ROIUDP� DXWRPDWRP� W]Z�� legalnym, które VSHáQLDM � SHZQH� GDQLD� GRGDWNRZH�� 0LDQRZLFLH� ]DFKRZDQ\� MHVW� VWDQ� SUy QL� �DQJ��quiescent state), czyli ostatni bit w regule F jest równy 0, oraz funkcja F jest symetryczna, F(abc)=F(cba). Te warunki ogUDQLF]DM �]ELyU�GR����DXWRPDWyZ��$XWRPDW\�HOHPHQWDUQH� V � URG]LQ � áDWZ � GR� EDGDQLD�� ER� MHVW� LFK� VWRVXQNRZR� QLHZLHOH�� :� VNáDG�URG]LQ\�������ZFKRG]L�MX � 273 automatów.

3.1 Cellular neural networks

-HGQ\P� ]� FLHNDZV]\FK� SRá F]H � VLHFL� QHXURQRZ\FK� L� DXWRPDWyZ� NRPyUNRZ\FK� V �komórkowe sieci neuronowe (ang. CNNs - Cellular Neural Networks). Wykorzystywane V � JáyZQLH� GR� ZVW SQHJR� SU]HWZDU]DQLD� REUD]yZ� SU]\� LFK� UR]SR]QDZDQLX� ]D� SRPRF �systemów komputerowych.

.RQFHSFMD�&11��QDURG]LáD�VL �Z������Z�ODERUDWRULRP�Z�%HUNHOH\�]D�VSUDZ �/HRQD�2��Chua [Mer 97]. Jednym z najistotniejszych powodów stosowania CNNs w UR]SR]QDZDQLX� REUD]yZ� MHVW� PR OLZR ü� EDUG]R� V]\ENLHJR� SU]HWZDU]DQLD� REUD]yZ� ]D�SRPRF � &11V� ]UHDOL]RZDQ\FK� MDNR� XNáDG\� VSU] WRZH� bardzo wielkiej skali integracji (ang. VLSI��� &11V� VNáDGDM � VL � ]� VLHFL� QLHOLQLRZ\FK� NRPyUHN� �HOHPHQWyZ��SU]HWZDU]DM F\FK��3RGREQLH�� MDN�Z� VLHFLDFK�QHXURQRZ\FK� LFK�ÄLQWHOLJHQFMD´�ELHU]H�VL �]H�ZVSyáG]LDáDQLD� ZLHOX� SRá F]RQ\FK� HOHPHQWyZ�� -HGQDN H� Z� RGUy QLHniu od NN ich SRá F]HQLD�SU]HELHJDM �W\ONR�GR�QDMEOL V]\FK�V VLDGyZ�Z�VHQVLH�JHRPHWU\F]Q\P�VLHFL��QL �SRPL G]\� ZDUVWZDPL� HOHPHQWyZ�� MDN� WR� F] VWR� E\ZD� Z� Z\SDGNX� VLHFL� QHXURQRZ\FK��1DMF] FLHM� UR]SDWU\ZDQ\P� NV]WDáWHP� VLHFL� MHVW� UHJXODUQD�� NZDGUDWRZD�� GZXZ\Piarowa VLDWND�� $F]NROZLHN� F]DVHP� UR]ZD D� VL � VLHFL� ]EXGRZDQH� QD� ED]LH� WUyMN WyZ��V]H FLRN WyZ��3RQL HM�SU]HVWDZLRQD�]RVWDQLH�LGHD�&11V�RSDUW\FK�QD�VLDWFH�NZDGUDWX

jiC , gdy NjMi ≤≤≤≤ 1,1 �� RNUH OD� NRPyUN � Z� GZXZ\PLDURZHM� SU]HVWU]eni MxN

NRPyUHN�� .D GD� ]� NRPyUHN� RGG]LDáXMH� W\ONR� ]H� VNR F]RQ � OLF]E � NRPyUHN� ]� MHM�RWRF]HQLD�� RGOHJá\FK� QLH� GDOHM� QL � SURPLH � RWRF]HQLD� r. Obszar interakcji jest zwany SROHP�ZUD OLZR FL��DQJ��– receptive field��L�GHILQLXMH�VL �QDVW SXM FR�

{ }{ } 0;1;1,,max),(),( ≥≤≤≤≤≤−−= rNlMkrjliklkCjiNr (3.1)

=D]Z\F]DM�&11�GHILQLXMH�VL �QDVW SXM FR� ( )( )nn

nnn

XY

UXX

==

+

+

1

1 , (3.2)

gdzie U�WR�PDFLHU]�]DZLHUDM FD�REUD]�ZHM FLRZ\��Y to macierz obrazu wyM FLRZHJR, a X WR�VWDQ�ZHZQ WU]Q\�NRPyUHN�DXWRPDWX�� �WR�IXQNFMD�SU]HM FLD�DXWRPDWX�GR�QDVW SQHJR�stanu, a � WR� IXQNFMD� SU]HM FLD�X na Y�� 5R]SLVXM F� SRVWDü�PDFLHU]RZ � XZ]JO GQLDM F�IXQNFM �V VLHG]WZD�PR HP\�SRZ\ V]H�UyZQDQLH�]DSLVDü�MDNR�

{ }( )( )1

,1

,

,,,1

, ),(,,++

+

=

∈=n

jin

ji

rn

lkn

jin

jin

ji

xy

jiNxuxx

γ

φ (3.3)

&11�]PLHQLD� VWDQ�NRPyUHN�Z�ND G\P�F\NOX�V\QFKURQLF]QLH� L�GHWHUPLQLVW\F]QLH�]JRGQLH�]� IXQNFM � . Operacja ta jest wykonywana rówQRF]H QLH�GOD�ZV]\VWNLFK�NRPyUHN� L� MHVW�QD]\ZDQD� NRPyUNRZ � RSHUDFM � ORJLF]Q � �DQJ�� CLO - Cellular Logic Operation).

Page 21: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�VLHFL�QHXURQRZ\FK 16

2EOLF]HQLD� NR F] � VL � SR� VSHáQLHQLX� ]DGDQHJR� NU\WHULXP� VWRSX�� NWyU\P� ]D]Z\F]DM� MHVW�XVWDELOL]RZDQLH�VL �XNáDGX��

3U]HGVWDZLRQ\�PRGHO� ]DNáDGD� LVWQLHQLH�G\VNUHWQHJR�F]DVX��'7-CNN – Discrete Time CNN��1DMF] FLHM�MHGQDN�VWRVRZDQ\�PRGHO�&11�RGELHJD�QLHFR�RG�NODV\F]QHJR�SRGHM FLD�&$�� JG]LH� ND GD� ]PLDQD� VWDQX� ]ZL ]DQD� MHVW� ]� SRMHG\QF]\P� NURNLHP� LWHUDFML� L�]DVWRVRZDQLX� &/2� RUD]� ]DNáDGD� LVWQLHQLH� FL JáHJR� F]DVX� �&7-CNN - Continuous Time CNN��� 5y QLFD� WNZL� Z� V\PXORZDQLX� ]DFKRZDQLD� FL JáHJR� Z� F]DVLH�� ]D� SRPRF �G\VNUHWQHM�OLF]E\�NURNyZ��VWRVXM F�FDáNRwanie numeryczne. Model ten uwidoczniony jest na rysunku 3. 3 i opisuje je równanie:

( )jiji

jiNlkljkilk

jiNlkljkilk

jiji

xfy

IubyaR

x

dt

dxC

rr

,,

),(),(,,

),(),(,,

,,

=

+++−= ∑∑∈

++∈

++ (3.4)

gdzie C�WR�NRQGHQVDWRU�FDáNRZDQLD��R – rH]\VWRU�VSU] HQLD�]ZURWQHJR��A i B to macierze o wymiarach [2r+1, 2r+1]. Macierz A�]ZDQD�MHVW�RSHUDWRUHP�VSU] HQLD�]ZURWQHJR��DQJ��feedback operator), B�WR�PDFLHU]�NRQWUROQD��:VND QLNL�Z�W\FK�PDFLHU]DFK�Z\JRGQLH�MHVW�QXPHURZDü�RG�–r do +r zamiast od 1 do 2r���WDN�� H� URGNRZ\�HOHPHQW�PD�LQGHNV�a0,0. I MHVW� VWDá\P� SREXG]HQLHP� �DQJ��bias) f� MHVW� IXQNFM �SURJRZ ��SU]HGVWDZLRQ �QD�Z\NUHVLH�3.1�L�]GHILQLRZDQ �Z]RUHP�

2

11)(

−−+=

xxxf (3.5)

Rysunek 3.3. Model CT-CNN [Mer 97]

Page 22: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�VLHFL�QHXURQRZ\FK 17

&11� RSHUXM � QD� REUD]DFK� PRQRFKURPDW\F]Q\FK� WDN�� H� –1 odpowiada bieli, a

+1 F]HUQL�� 3UREOHPDW\F]QH� PR H� E\ü� ]DVWRVRZDQLH� SRZ\ V]HJR� Z]RUX� GR� NRPyUHN�brzegowych, które� QLH� SRVLDGDM � ZV]\VWNLFK� V VLDGyZ�� :WHG\� ]D]Z\F]DM� DUELWUDOQLH�]DNáDGD� VL �� H� ZDUWR FL� SR]D� REV]DUHP� 1[0� PDFLHU]\� Y i X� PDM � SHZQ � ZDUWR ü��zazwyczaj 0. =DNáDGDM F�� H�C i R� V � UyZQH���� L� H�VXPD�LORF]\QyZ� ljkilk ya ++ ,, odpowiada iloczynowi

korelacji (ang. correlation product���PR HP\�SRZ\ V]H�UyZQDQLH�]DSLVDü�

( )XY

IUBYAXX

fdt

d

=

+⊗+⊗+−= (3.6)

:DUXQNL�SRF] WNRZH�PR QD�GOD�&11�XVWDZLü�Z�GZRMDNL�VSRVyE� - 2EUD]�ZHM FLRZ\� MHVW� SRF] WNRZ\P�VWDQHP�&11��PDFierz X���3U]\� WDNLP�]DáR HQLX�

tylko macierz A�L�,�V �LVWRWQH�QDWRPLDVW��B=0 - :�GUXJLP�Z\SDGNX�VWDQ�SRF] WNRZ\�DXWRPDWX�MHVW�]D]Z\F]DM�VWDá �ZDUWR FL ��D�REUD]�

ZHM FLRZ\�MHVW�SRGDZDQ\�SRSU]H]�PDFLHU]�NRQWUROQ �B.

3.1.1 3U]\NáDG\�G]LDáDQLD�&11

1D� VWURQDFK� :::� PR QD� RGQDOH ü� VSRUR� DSOLNDFML� SR]ZDODM F\FK� VDPRG]LHOQLH�SRHNVSHU\PHQWRZDü� ]� ]DSUH]HQWRZDQ\P� PRGHOHP�� :HGáXJ� DXWRUD� SRQL V]H� RGV\áDF]H�]DVáXJXM �QD�XZDJ � http://www.isi.ee.ethz.ch/~haenggi/CNN16_neg.html http://www.isi.ee.ethz.ch/~haenggi/CNN_web/CNNsim_adv.html

3.1.1.1 :\NU\ZDQLH�NUDZ G]L :DUXQNL�SRF] WNRZH�>int 08]:

X(0)=0 U�W��WR�REUD]�ZHM FLRZ\

=

000

010

000

A ,

−−−−−−−−

=111

181

111

B , 1−=I (3.7)

Wykres 3.1: Wykres funkcji f(x)

Page 23: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�VLHFL�QHXURQRZ\FK 18

3R� XVWDELOL]RZDQLX� VL � XNáDGX� )( ∞→tX RWU]\PXMHP\� NUDZ G]LH� Z\RGU EQLRQH� Z�REUD]LH�ZHM FLRZ\P��U\V��3.4).

3.1.1.2 Usuwanie szumu 6WDQ�SRF] WNRZ\�&11�Z�FKZLOL���-X(���WR�REUD]�ZHM FLRZ\, U����MHVW�UyZQLH �REUD]HP�ZHM FLRZ\P [Mer 97].

=

010

121

010

A , 0B = , I=0 (3.8)

Rysunek 3.5� SU]HGVWDZLD� NROHMQH� LWHUDFMH�G]LDáDQLD�&11�XVXZDM FHM� ]DQLHF]\V]F]HQLD��V]XP��]�REUD]X�ZHM FLRZHJR��D��

Rysunek 3.4��(IHNW�G]LDáDQLD�&11

Rysunek 3.5��(IHNW�G]LDáDQLD�&11�>Mer 97]

Page 24: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�VLHFL�QHXURQRZ\FK 19

4. 0RGXá�&R'L

-DN�ZVSRPQLDQR�ZH�ZVW SLH�V]WXF]QH�VLHFL�QHXURQRZH��NWyU\FK�QDXND�RSLHUD�VL �R�DOJRU\WP\� HZROXF\MQH� Z\GDM � VL � E\ü� WHPDWHP� V]HURNR� ]QDQ\P�� ,VWQLHMH� ZLHOH� GUyJ�XPR OLZLDM F\FK� ]DSU] JQL FLH� HZROXFML� L� DOJRU\WPyZ� VHOHNFML� GR� WZRU]HQLD� VLHFL� R�SR GDQ\FK� ZáD FLZR FLDFK�� -HGQDN H� ]HVSyá� QDXNRZFyZ� VNXSLRQ\FK� ZRNyá� RVRE\�+XJR� GH� *DULVD� Z� -DSRQLL� ]DLQLFMRZDá� EDGDQLD� QDG� EDUG]R� RELHFXM F\P� NLHUXQNLHP�á F] F\P� DXWRPDW\� NRPyUNRZH� ]� DOJRU\WPDPL� JHQHW\F]Q\PL� >int 04]. Jakkolwiek prace QDG�WZRU]HQLHP�VLHFL�NRPyUNRZ\FK�Z�RSDUFLX�R�&$�E\á\�SURZDG]RQH�ZF]H QLHM��]HVSyá�GH� *DULVD� VNRQVROLGRZDá� GRW\FKF]DVRZH� GR ZLDGF]HQLD� L� Z\SUDFRZDá� VSyMQ\� SURVW\�PRGHO�� 3XEOLNXM F� V]F]HJyá\� Z\NRU]\VWDQ\FK� DOJRU\WPyZ� RUD]� LFK� NRG� UyGáRZ\�XPR OLZLá� V]HURNLHM� U]HV]\� EDGDF]\� RGWZRU]HQLH� LFK� HNVSHU\PHQWyZ� RUD]� ZáDVQH�innowacje.

1RZDWRUVNLP�SRGHM FLHP� MHVW�ZSURZDG]HQLH�JHQHW\F]QLH�NRGRZDQHM� ID]\�Z]URVWX��JG]LH� QD� SRGVWDZLH� FKURPRVRPX�� NRPyUNL� DXWRPDWX� SU]HNV]WDáFDM � VL � Z� DNVRQ\��GHQGU\W\� DOER� QHXURQ\�� 6DP� DXWRPDW�NRPyUNRZ\� VNáDGD� VL � ]� V]H FLHQQ\FK�NRPyUHN�� D�ND GD� ]� QLFK� � Z� ID]LH� V\JQDOL]DFML� Z� VSRVyE� RGPLHQQ\� SU]HZRG]L� V\JQDá\� GR� L� RG�NRPyUHN� V VLDGyZ� DXWRPDWX�� :V]HONLH� DOJRU\WP\� L� VSRVyE� G]LDáDQLD� DXWRPDWX�NRPyUNRZHJR� ]RVWDá\� V]F]HJyáRZR� RSLVDQH� Z� SRQL V]\P� UR]G]LDOH�� $XWRU� VWDUDá� VL � MH�RSLVDü� PR OLZLH� SUHF\]\MQLH� ED]XM c na pracy [Kor 98@� RUD]� UyGáDFK� DSOLNDFML� Z� &�XGRVW SQLRQHM�SU]H]�DXWRUyZ�>int 05@��3RQLHZD �LVWQLHM �UR]ELH QR FL�L�QLHMDVQR FL�PL G]\�ZVSRPQLDQ �SUDF � L�NRGHP� UyGáRZ\P�� MDNR�SRGVWDZ �GR�RSLVX�SU]\M WR�NRG� UyGáRZ\��JG\ � ]DSHZQLD� RQ� QDMEDUG]LHM� IRUPDOQ\� RSLV� X \W\FK� DOJRU\WPyZ� QLH� SR]RVWDZLDM F\�QLHMDVQR FL� Z� SU]HFLZLH VWZLH� GR� RSLVX� ZHUEDOQHJR�� 3RQDGWR�� ]� SRUyZQDQLD� DSOLNDFML� L�SUDF\�Z\QLND��L �WD�DSOLNDFMD�E\áD�SRGVWDZ �SUH]HQWRZDQ\FK�Z\QLNyZ�

4.1 $OJRU\WP�G]LDáDnia

Model CoDi (ang. Collect and Distribute) operuje w trójwymiarowej przestrzeni DXWRPDWX� NRPyUNRZHJR�� .D GD� MHJR� NRPyUND� NRQWDNWXMH� VL � ]� ND G\P� ]� �� V VLDGyZ�VW\NDM F\FK� VL � FLDQDPL� �V VLHG]WZR� YRQ�1HXPDQQD��� )D]D� WZRU]HQLD� VLHFL� QHXURQRZHM�przebiega w 2 etapach. Pierwszy to faza wzrostu, gdzie na podstawie chromosomu NRQVWUXRZDQD� MHVW� VWUXNWXUD� VLHFL� L� SRV]F]HJyOQH� NRPyUNL� QDELHUDM � VSHF\ILF]Q\FK�ZáDVQR FL�� 'UXJL� HWDS� WR� ID]D� V\JQDOL]DFML�� JG]LH� Z� WDN� VNRQVWUXRZDQHM� VLHFL� SRGDMH� VL �V\JQDá\�ZHM FLRZH� QD� QHXURQ\�ZHM FLRZH�RUD]� V �RGF]\W\ZDQH�RGSRZLHG]L� ]� QHXURQyZ�Z\M FLRZ\FK�� 1HXURQDPL� PRJ � E\ü� W\ONR� QLHNWyUH� NRPyUNL� OH FH� QD� U]DGV]HM� VLDWFH��[�[��� .D GD� NRPyUND� SRVLDGD� VZRM � RULHQWDFM � Z� SU]HVWU]HQL� �'�� W]Q�� MHGHQ� ]�NLHUXQNyZ� MHVW� Z\Uy QLRQ\� L� RERN� W\SX� NRPyUNL�� GHF\GXMH� R� MHM� UHDNFML� QD� ERG FH��:L]XDOQD�SRVWDü�PRGXáX�&R'L�SR�ID]LH�Z]URVWX�SU]HGVWDZLRQD�MHVW�QD�U\VXQNX�4.1.

:� ID]LH� Z]URVWX� NRPyUNL� QD� SRGVWDZLH� FKURPRVRPX� L� SREXG]H � ]� V VLHGQLFK�NRPyUHN� SU]HNV]WDáFDM � VZyM� W\S�� :D QH� MHVW�� H� MHGHQ� FKURPRVRP� GHWHUPLQXMH� MHGQ �NRQNUHWQ �VLHü��:�WUDNFLH�ID]\�Z]URVWX�ND GD�]�NRPyUHN�PR H�SU]HNV]WDáFLü�VZyM�W\S�QD� - pusta -�QLH�ELHU]H�XG]LDáX�Z�ID]LH�V\JQDOL]DFML��JG\ �QLH�SU]HZRG]L�V\JQDáyZ� - neuron -� �� ]� �� SRá F]H � V � GHQGU\WDPL� �GRVWDUF]DM � LPSXOVyZ�� �� V � DNVRQDPL�

UR]V\áDM � RGSRZLHG � QHXURQX�� 1HXURQ� SRVLDGD� DNXPXODWRU� ��� ELW\�� VXPXM F\�QDSá\ZDM FH� V\JQDá\� L� ÄRGSDODM F\´� �DQJ� fire) pobudzenie, kiedy przekroczona ]RVWDQLH�ZDUWR ü�SURJRZD��.RPyUND�PR H�E\ü�]RULHQWRZDQD�QD���Uy Q\FK�VSRVREyZ w przestrzeni 3D,

Page 25: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�VLHFL�QHXURQRZ\FK 20

- dendryt -�SRVLDGD���ZHM ü�L�MHGQR�Z\M FLH��:�Z\SDGNX�GRNáDGQLH�MHGQHJR�SREXG]HQLD�QD�MHGQ\P�]�SL FLX�ZHM ü��Z\V\áD�SREXG]HQLH�QD�VZRMH�Z\M FLH�

- akson -�3U]HFLZLH VWZR�GHQGU\WX��3RVLDGD���ZHM FLH�L���Z\M ü��:�ND G\P�F\NOX�sygnalizacji rozV\áD�V\JQDá�]�ZHM FLD�QD�Z\M FLD�

3RF] WNRZR�Z�ID]LH�Z]URVWX�DXWRPDW�VNáDGD�VL �]�VDP\FK�SXVW\FK�NRPyUHN��NWyUH�]DZLHUDM � �� ELWRZ\� FKURPRVRP�� 7R� RQ� E G]LH� GHF\GRZDá� R� NLHUXQNX� Z]URVWX� GU]HZ�GHQGU\WyZ�L�DNVRQyZ��Z]URVW�SURVWR��VNU W�Z�OHZR��SRG]LDá�Z�OHZR�L�SUDZR�LWS���5D]HP�jest 26�PR OLZR FL��3R]\FMH�QHXURQyZ�ZHM FLRZ\FK�L�Z\M FLRZ\FK�V �XVWDORQH��QDWRPLDVW�LQIRUPDFMD� R� SRáR HQLX� SR]RVWDá\FK� QHXURQyZ� ]DZDUWD� MHVt w chromosomie. Neurony Z\V\áDM � V\JQDá\�AKSON_SIG i DENDRYT_SIG� GR� V VLHGQLFK�NRPyUHN��3XVWH�NRPyUNL�QD� SRGVWDZLH� W\FK� V\JQDáyZ� SU]HNV]WDáFDM � VL � E G � Z� GHQGU\W\� E G � Z� DNVRQ\� RUD]�XVWDZLDM � VZRM � RULHQWDFM � Z� SU]HVWU]HQL� �'� L� SURSDJXM � V\JQDá� GDOHM�� 7Dk wzrasta WUyMZ\PLDURZH�GU]HZR�DNVRQyZ�L�GHQGU\WyZ��NWyUH�VW\ND�VL �]�DQDORJLF]Q\PL�GU]HZDPL�Z\URVá\PL�RG�LQQ\FK�QHXURQyZ�

:� ID]LH� V\JQDOL]DFML� GRVWDUF]DQH� V � SREXG]HQLD� GR� QHXURQyZ�� D� WH� SURSDJXM � MH�dalej do aksonów, z aksonów do dendrytów innych neuronóZ�� :� ND G\P� F\NOX�SU]HV\áDQD� MHVW� ELQDUQD� LQIRUPDFMD� W\ONR� PLHG]\� V VLHGQLPL� NRPyUNDPL�� 3RQLHZD �SU]HWZDU]DQD� LQIRUPDFMD� PD� FKDUDNWHU� ELQDUQ\� SRZVWDMH� SUREOHP� SU]HNV]WDáFHQLD�V\JQDáyZ�ZHM FLRZ\FK�L�Z\M FLRZ\FK�QD�]�SRVWDFL�ELQDUQHM�GR�QD�SRVWDü�FL Já �

Tak� SRZVWDáHM� VLHFL� SRGDMH� VL � V\JQDá\� L� RGF]\WXMH� RGSRZLHG]L�� 1D� WHM� SRGVWDZLH�RNUH ODQ\� MHVW� VWRSLH � SU]\VWRVRZDQLD� �ILWQHVV�� GDQHJR� RVREQLND� �FKURPRVRPX���5HSURGXNRZDQH� V � QDMOHSV]H� RVREQLNL�� 1D� FDáHM� SRSXODFML� VWRVXMH� VL � VWDQGDUGRZH�RSHUDWRU\� NU]\ RZDQLD� L� PXWDFML�� 3R� VHWNDFK� SRNROH � HZROXXM � PRGXá\� R� SR GDQ\FK�ZáD FLZR FLDFK�RNUH ORQ\FK�IXQNFM �SU]\VWRVRZDQLD�

4.1.1 Automat komórkowy

$XWRPDW� NRPyUNRZ\� WR� WUyMZ\PLDURZD� NRVWND� ]áR RQD� ]� V]H FLHQQ\FK� NRPyUHN��.D GD� ]� NRPyUHN� PR H� SU]HND]\ZDü� LPSXOV\� W\ONR� GR� V VLDGyZ�� ]� NWyU\PL� VW\ND� VL �FLDQ �� :� RSLV\ZDQ\P� PRGHOX�� DXWRPDW� NRPyUNRZ\� XPR OLZLD� EXGRZDQLH� VWUXNWXU\�VLHFL�QHXURQRZHM�RUD]�SR�MHM�]EXGRZDQLX��Z]UR FLH��]D�SRPRF �WHJR�VDPHJR�DXWRPDWX�]�QLH]QDF]QLH� ]PLHQLRQ\PL� UHJXáDPL� XPR OLZLD� REOLF]HQLH� ZDUWR FL� Z\M ü sieci na SRGVWDZLH� ZHM ü�� 7DNLH� SRGHM FLH� GDMH� GX H� PR OLZR FL� LPSOHPHQWDFML� DOJRU\WPX�EH]SR UHGQLR�]D�SRPRF �XNáDGyZ�VSU] WRZ\FK��

Neuron

Dendryt

Akson

Rysunek 4.1��7UyMZ\PLDURZ\�PRGHO�PRGXáX�&R'L

Page 26: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�VLHFL�QHXURQRZ\FK 21

=DUyZQR� ID]D� Z]URVWX� VLHFL� MDN� L� ID]D� REOLF]HQLD� Z\M ü� �V\JQDOL]DFML��SU]HSURZDG]DQD� MHVW�Z�ZLHOX�NURNDFK��ZHGOH� UHJXá�� NWyUH�RSLVXM � MDN�PDM �]DFKRZ\ZDü�VL � NRPyUNL� DXWRPDWX� Z� ]DOH QR FL� RG� ]PLDQ� Z� LFK� V VLHG]WZLH� –� �� SU]\OHJDM F\FK�NRPyUHN�� 'OD� WUyMZ\PLDURZHM� NRVWNL�� ND GD� NRPyUND� Z\PLHQLD� Z� MHGQ\P� F\NOX�LQIRUPDFMH� ]� �� V VLDGDPL� �SyáQRFQ\P� �1�� �� SRáXGQLRZ\P� �6��� ]DFKRGQLP� �:), wschodnim (E), górnym (G), dolnym (D)).

&KURPRVRP�SU]HQRVL� FDáD� LQIRUPDFM � SRWU]HEQ � GR�Z]URVWX� VLHFL�� 3U]HQRVL� RQ� GOD�ND GHM�NRPyUNL�QDVW SXM F �LQIRUPDFM ��U\V��4.2): - LQIRUPDFM �GOD�ID]\�Z]URVWX��&Kneuron – 1 bit. Informuje czy dana komórka jest

neuronem, - LQIRUPDFM �GOD�ZV]\VWNLFK�NRPyUHN�GR�ID]\�Z]URVWX��'HWHUPLQXMH�RQD�VSRVyE�

wzrostu drzew dendrytów lub aksonów: Chwzrostu –���ELWyZ��SR�MHGQ\P�QD�ND G\�kierunek w 3D,

- LQIRUPDFM �W\ONR�GOD�QHXURQyZ�Z�ID]LH�V\JQDOL]DFML�R�]QDNX�ZHM ü��F]\�V\JQDá\�QDSá\ZDM FH�]�Uy Q\FK�NLHUXQNyZ�GR�QHXURQX�V �SREXG]DM FH��F]\�KDPXM FH��&Kznaku –���ELWyZ��SR�MHGQ\P�QD�ND G\�NLHUXQHN�Z��'�

3R]D� LQIRUPDFMD� FKURPRVRPRZ �� GRGDWNRZR� ND G\� DXWRPDW� NRPyUNRZ\�FKDUDNWHU\]XM �SR]\FMH�ZHM ü�RUD]�SR]\FMH�Z\M ü��6 � WR�NRPyUNL��NWyUH�E G �SREXG]DQH�V\JQDáDPL� ZHM FLRZ\PL� �ZHM FLH� VLHFL�� RUD]� NRPyUNL�� NWyUH� GRVWDUF]DM � Z\M FLD�� :�przedstawianym moGHOX� LQIRUPDFMH� WH� V � ]DGDQH� ]� JyU\� -� ZHM FLD� OH � QD� VDP\P� GROH�NRVWNL� � FLDQD�'���1DWRPLDVW�Z\M FLD�V � UR]PLHV]F]RQH�Z� URGNRZHM� MHM�F] FL��D�QLH�MDN�SRGSRZLDGDáDE\� LQWXLFMD�SR�SU]HFLZQHM�VWURQLH��F]\OL�QD� FLDQLH�8��']LHMH�VL �WDN�GODWHJR�H� NRVWND� SRVLDGD� ]DZLQL FLD� �DQJ��wrap-around�� L� NRPyUNL� ]� GROQHM� FLDQ\� á F] � VL � ]�

komórkami górnej. 7UDNWRZDQLH� SR]\FML� ZHM ü� L� Z\M ü� MDNR� VNáDGRZ\FK� FKURPRVRPX� SRGOHJDM F\FK�

PXWDFMRP�Z\GDMH�VL �QLHZáD FLZH��JG\ �LFK�]PLDQD�VSRZRGRZDáDE\�WDN�ZLHON �]PLDQ �Z�zachowDQLX� VLHFL�� L � UHV]WD� LQIRUPDFML� QLHVLRQHM� SU]H]� FKURPRVRP� VWDáDE\� VL �EH]ZDUWR FLRZD�

,VWRWQH�MHVW�WDN H� H�QHXURQ\�QLH�PRJ �E\ü�UR]PLHV]F]RQH�Z�GRZROQ\FK�SR]\FMDFK��D� W\ONR� Z� NRPyUNDFK� OH F\FK� QD� SHZQHM� VLDWFH��:� PRGHOX� SU]\M WR�� H� VLDWND� WD� MHVW�2x2x3�� 2]QDF]D� WR�� H� QHXURQHP� PR H� ]RVWDü� W\ONR� NRPyUND� ]H� ZVSyáU] GQ � ;� L� <�SRG]LHOQ �SU]H]���L�=�SRG]LHOQ �SU]H]����=DáR HQLH�WR�SRZRGXMH�� H�QHXURQ\�QLH�V VLDGXM �]H�VRE ��FR�XSUDV]F]D�UHJXá\�DXWRPDWX��3RZLQQR�WDN H�SU]\ SLHV]Dü�HZROXFM ��JG\ �]E\W�J VWH�SRáR HQLH�QHXURQyZ�QLH�SRZLQQR�ZSá\Q ü�SR]\W\ZQLH�QD�]DFKRZDQLH�VLHFL��

-DN� MX �]RVWDáR�ZVSRPQLDQH��NRVWND�SRVLDGD�]DZLQL FLD��ZHM FLH�L�Z\M FLH�NRPyUHN�]� GRáX� NRVWNL� MHVW� SRá F]RQH� ]� RGSRZLDGDM F\P� Z\M FLHP� L� ZHM FLHP� NRPyUNL� ]� JyU\�

Chromosom neuron (czy komórka jest neuronem)

1 bit

Chromosom wzrostu

6 bitów

&KURPRVRP�ND GHM�]�NRPyUHN

Chromosom znaku

6 bitów

Rysunek 4.2��,QIRUPDFMD�NRGRZDQD�SU]H]�FKURPRVRP�GOD�ND GHM�z komórek

Page 27: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�VLHFL�QHXURQRZ\FK 22

kostki. Podobnie z pozosWDá\PL� FLDQDPL�� :� WHQ� VSRVyE� QLH� PD� ]GHJHQHURZDQ\FK�NRPyUHN�� &KRü� PR QD� WDN H� ]DáR \ü�� H� ZV]\VWNLH� ZHM FLD� QD� ]HZQ WU]Q\FK� FLDQDFK�NRVWNL�V �QLHDNW\ZQH��UyZQH����

4.1.2 Faza wzrostu

3LHUZV]D� F] ü� UHJXá� DXWRPDWX� NRPyUNRZHJR� MHVW� ]DNRGRZDQD� Z� FKURPRVRPLH��który ulega ewolucji z wykorzystaniem podstawowych algorytmów genetycznych. Druga F] ü� MHVW� VWDáD� L� QLH� XOHJD� HZROXFML�� :� RSLV\ZDQ\P� PRGHOX� Z� ID]LH� Z]URVWX� ND GD�NRPyUND�SU]HFKRZXMH�QDVW SXM FH�LQIRUPDFMH� - typ (2 bity), - bramka (0-5, 3 bity), orientacja komórki w przestrzeni. Dla aksonów wskazuje

NLHUXQHN�ZHM FLD��DOH�GOD�GHQGU\WyZ�L�QHXURQyZ�NLHUXQHN�Z\M FLD� - IO�SREXG]HQLD�RG�V VLDGyZ�����EXIRUyZ��GOD�ND GHJR�NLHUXQNX�SR���ELW\�� 5D]HP����ELWyZ��3RQDGWR�Z\NRU]\VW\ZDQH�V �LQIRUPDFMH�SU]HQRV]RQH�SU]H]�FKURPRVRP�w polu Chwzrostu i Chneuronu (rys. 4.3).

.D GD�NRPyUND�Z�WHM�ID]LH�SU]HNV]WDáFL�VL �Z�MHGQ �]���W\SyZ� - pusta - neuron - akson - dendryt

3RF] WNRZR� ZV]\VWNLH� NRPyUNL� V � SXVWH� SR]D� W\PL�� NWyUH� PDM � Z� FKURPRVRPLH�ustawiony Chneuron��2QH�RG�UD]X�VWDM �VL �QHXURQDPL�–��NWyUH�QDVW SQLH�SREXG] �V VLDGyZ�GR� SU]HNV]WDáFHQLD� VL � E G �Z� GHQGU\W\�� E G �Z� DNVRQ\��Z� HIHNFLH� á F] F� ]H� VRE � LQQH�neurony [Kor 98].

Aktywne pole Chneuron� SRZRGXMH� H� Z� W\P� PLHMVFX� VLHFL� ]QDMGXMH� VL � QHXURQ�� 1D�podstawie 6 bitowego pola Chwzrostu� PRGXOR� ��� QHXURQ� XVWDZLD� VZRM � EUDPN �� NWyUD�RNUH OD� RULHQWDFM � � Z� SU]HVWU]HQL� �'�� .LHUXQHN� ZVND]\ZDQ\� SU]H]� EUDPN � L� GR� QLHJR�SU]HFLZQ\� VWDQLH� VL � Z\M FLHP� QHXURQX� –� NLHUXQNLHP� Z]URVWX� DNVRQyZ�� 3R]RVWDáH� ��NLHUXQNL�WR�ZHM FLD�–�Z�W\FK�NLHUXQNDFK�E G �URVá\�GU]HZD�GHQGU\W\F]QH��']L NL�V\PHWULL�OLF]ED�U]HF]\ZLVW\FK�RULHQWDFML�QHXURQX�UHGXNXMH�VL zatem do 3.

:�ND G\P� F\NOX� �� EXIRUyZ� IO� VSHáQLD� URO � GZXNLHUXQNRZHJR�SRá F]HQLD�PL G]\�QHXURQDPL�� 3U]HG� UR]SRF] FLHP� F\NOX� Z� EXIRUDFK� ]QDMGXM � VL � V\JQDá\� ZHM FLRZH�QDGFKRG] FH� ]� �� NLHUXQNyZ�� .D GD� NRPyUND� QD� SRGVWDZLH� VZRMHJR� W\SX�� NLHUXQNX�

Typ komórki

2 bity

Bramka

3 bity

6\JQDá\�RG���GR�V VLDGD

Chromosom neuron (czy komórka jest neuronem)

1 bit

Chromosom wzrostu

6 bitów

Wykorzystywana informacja

chromosomu

Ustalane w trakcie fazy

wzrostu

%XIRU\�SU]HND]XM FH�LQIRUPDFMH�PL G]\�NRPyUNDPL

N

2 bity bit

W

2 bity bit

S

2 bity bit

E

2 bity bit

G

2 bity bit

D

2 bity bit

Rysunek 4.3��,QIRUPDFMD�Z\NRU]\VW\ZDQD�SU]H]�ND G �NRPyUN �Z�ID]LH�Z]URVWX

Page 28: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�VLHFL�QHXURQRZ\FK 23

bramki oraz wDUWR FL�ZHM ü��PR H�]PRG\ILNRZDü�VZyM�W\S�RUD]�XPLHV]F]D�Z���EXIRUDFK�IO� V\JQDá\� Z\M FLRZH�� :� QDVW SQ\P� F\NOX� VWDQ � VL � RQH� V\JQDáDPL� ZHM FLRZ\PL� ��V VLHGQLFK� QHXURQyZ�� .D G\� ]� �� V\JQDáyZ� Z\M FLRZ\FK� ]RVWDQLH� UR]HVáDQ\� Z� ��NLHUXQNDFK� L� VWDQLH� VL � SRMHG\QF]\P� V\JQDáHP�ZHM FLRZ\P� V VLHGQLHJR� QHXURQX��:� WHQ�VSRVyE�EXIRU\�VSHáQLDM �SRGZyMQ �URO �ZHM ü�L�Z\M ü� :DUWR FL�ZHM FLD�Z\M FLD�PRJ �E\ü�QDVW SXM FH� - NIEAKTYWNE - AKSON_SIG - DENDRYT_SIG

)D]D�Z]URVWX�SRZLQQD�WUZDü�WDN�GáXJR��GRSyNL�QDVW SXMH�Z]URVW�SRá F]H �

2WR�UHJXá\�DXWRPDWX�Z�ID]LH�Z]URVWX�

5HJXá\�QHXURQX

-H HOL� NRPyUND� MHVW� QHXURQHP�� WR� QLH]DOH QLH�RG�SREXG]H �ZHM FLRZ\FK�Z\V\áD�Z�NLHUXQNX� ZVND]\ZDQ\P� SU]H]� EUDPN �� RUD]� GR� QLHJR� SU]HFLZQ\P��AKSON_SIG, a we ZV]\VWNLFK� SR]RVWDá\FK� DENDRYT_SIG. W ten sposób RG� QHXURQX� ]DF]Q � RGUDVWDü�GHQGU\W\� L� DNVRQ\�� =DFKRZDQLH� QHXURQX� Z� ID]LH� Z]URVWX� QLH� MHVW� ]DOH QH� RG�RWU]\P\ZDQ\FK�QD�ZHM FLX�V\JQDáyZ�

5HJXá\�NRPyUNL�SXVWHM

-H HOL� NRPyUND� MHVW� SXVWD� SR� ]DNR F]HQLX� F\NOX�PR H� SU]HNV]WDáFLü� VL �Z�GHQGU\W�lub akson lub daleM�SR]RVWDü�SXVW �

-H HOL� GRNáDGQLH� MHGQR� ]� ZHM ü� QLHVLH� SREXG]HQLH� AKSON_SIG, to komórka SU]HNV]WDáFD� VL �Z� DNVRQ��:�SROX� EUDPND� ]RVWDQLH� ]DSDPL WDQ\�NLHUXQHN� VN G�QDGHV]áR�SREXG]HQLH�� 3y QLHM�� Z� ID]LH� V\JQDOL]DFML�� ]� WHJR� NLHUXQNX� DNVRQ� E G]LH� RF]HNLZDá�wHM FLD�� NWyUH� E G]LH� SU]HV\áDá� GDOHM�� 6]H FLRELWRZ\� &Kwzrostu� RNUH OD�� Z� NWyU\FK�NLHUXQNDFK� ]RVWDQLH� SURSDJRZDQ\� V\JQDá�AKSON_SIG. W kierunkach, dla których bity Chwzrostu� V � XVWDZLRQH�� NRPyUND� Z\V\áD� AKSON_SIG�� 3R]RVWDáH� Z\M FLD� E G �nieaktywne.

Przez „wyV\áD´� QDOH \� UR]XPLHü� SR]RVWDZLHQLH� Z� EXIRUDFK� IO� ZDUWR FL�AKSON_SIG, DENDRYT_SIG lub NIEAKTYWNE��:DUWR ü� WD� MHVW�Z\M FLHP�NRPyUNL�Z�GDQ\P�F\NOX��NWyUD�Z�QDVW SQ\P�F\NOX�E G]LH�ZHM FLHP�V VLHGQLHM�NRPyUNL�

Zatem komórka pusta po otrzymaniu pobudzenia AKSON_SIG�]PLHQLD�VL �Z�DNVRQ�L�SURSDJXMH�GDOHM�Z]URVW�GU]HZD�Z�NLHUXQNDFK�RNUH ORQ\FK�SU]H]�&Kwzrostu.

3RGREQLH� Z\JO GD� SRVW SRZDQLH�� JG\� GRNáDGQLH� MHGQR� ]� ZHM ü� QLHVLH� SREXG]HQLH�DENDRYT_SIG�� .RPyUND� SU]HNV]WDáFD� VZyM� W\S� QD� GHQGU\W��:� SROX� EUDPND� ]RVWDQLH�zaSDPL WDQ\�NLHUXQHN�� VN G�QDGV]HGá� V\JQDá�DENDRYT_SIG��:\M FLH�]�GHQGU\WX�E G]LH�SU]HND]\ZDQH�ZáD QLH�Z�NLHUXQNX�]DSDPL WDQ\P�Z�SROX�EUDPND��1D�SRGVWDZLH�&Kwzrostu ]RVWDQLH� SURSDJRZDQ\� V\JQDá�DENDRYT_SIG tylko w wybranych kierunkach (buforach IO��SREXG]DM F dalszy wzrost drzewa dendrytów.

*G\� SXVWD� NRPyUND� SREXG]DQD� MHVW� ZL FHM� QL � MHGQ\P� V\JQDáHP�� QLH� UHDJXMH��:V]\VWNLH�MHM�Z\M FLD�SU]\MPXM �VWDQ�NIEAKTYWNE.

5HJXá\�DNVRQX

-H HOL�NRPyUND�MHVW�DNVRQHP��WR�Z�ND G\P�F\NOX�XVWDZLD�EXIRU\�Z\M FLRZH�QD�SRGVWDZLH�6 bitów Chwzrostu��'OD�W\FK�NLHUXQNyZ��GOD�NWyU\FK�ELW�MHVW�XVWDZLRQ\��NRPyUND�Z\V\áD�AKSON_SIG.

Page 29: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�VLHFL�QHXURQRZ\FK 24

5HJXá\�GHQGU\WX

*G\�NRPyUND�MHVW�GHQGU\WHP�SRVW SXMH�DQDORJLF]QLH�MDN�DNVRQ��]�W\P� H�UR]V\áDQ\�MHVW�DENDRYT_SIG.

'RGDWNRZH�UHJXá\

:� RSLVDQ\P� DXWRPDFLH� Z\VW SXMH� SHZQD� DV\PHWULD� SU]\� UR]V\áDQLX� V\JQDáyZ�AKSON_SIG i DENDRYT_SIG��1HXURQ�JHQHUXMH���UD]\�ZL FHM�GHQGU\WyZ�QL �DNVRQyZ��'ODWHJR�Z�PRGHOX�ZSURZDG]RQR�SHZQ �NRUHNW ��6 �GZD�F\NOH��Z�NWyU\FK�UR]V\áDQH�V �tylko� V\JQDá\� AKSON_SIG�� SR� F]\P� QDVW SXMH� MHGHQ� F\NO�� JG]LH� UR]V\áDQH� V � W\ONR�V\JQDá\�DENDRYT_SIG. W ten sposób dysproporcja zostaje wyrównana.

4.1.3 Faza sygnalizacji

:�ID]LH�Z]URVWX�X]\VNDOL P\�VLHü�SRá F]RQ\FK�QHXURQyZ��7DN�VNRQVWUXRZDQD�VLHü�QLH�SRGOHJD� MX �QDXFH�� MDN� WR�PD�PLHMVFH�Z�NODV\F]Q\FK�VLHFLDFK�QHXUonowych, gdzie po GREUDQLX� WRSRORJLL� VLHFL� GRELHUD� VL � ZDJL� SRá F]H �� 1DOH \� ]ZUyFLü� XZDJ �� H� VLHü� MHVW�VLHFL � V\QFKURQLF]Q �� D� VWDQ� ZHM ü� L� Z\M ü� Z� ND G\P� F\NOX� XOHJD� ]PLDQLH�� $NVRQ\� L�GHQGU\W\� PRJ � WZRU]\ü� VSU] HQLD� ]ZURWQH�� G]L NL� F]HPX� SRZLQQD� LVWQLHü� PR OLZR ü�]DSDPL W\ZDQLD� V\JQDáyZ� SRGDZDQ\FK� QD� ZHM FLH�� .LHUXQHN� SU]HSá\ZX� LQIRUPDFML�PL G]\�SRV]F]HJyOQ\PL�W\SDPL�NRPyUHN�XZLGDF]QLD�U\VXQHN�4.4.

:�ID]LH�V\JQDOL]DFML�ND GD�NRPyUND�]DZLHUD�SR]D�SRODPL�XVWDORQ\PL�Z�ID]LH�Z]URVWX� - typ (2 bity), - bramka (0-�����ELW\��NLHUXQHN�Z\M FLD�� 7DN H� - IO�SREXG]HQLD�RG�V VLDGyZ����EXIRUyZ��GOD�ND GHJR�NLHUXQNX��ELW�� - znaczniN�RSy QLRQHJR�SREXG]HQLD��=23�����ELW�� - aktywacja (4 bity).

dendryt

akson

akson

dendryt

dendryt

neuron

Rysunek 4.4�� 6WUXNWXUD� SU]HSá\ZX� LQIRUPDFML� PL G]\�komórkami automatu

Page 30: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�VLHFL�QHXURQRZ\FK 25

5D]HP� ��� ELWyZ�� 'RGDWNRZR� QHXURQ\� Z\NRU]\VWXM � LQIRUPDFM � SRFKRG] F � ]�chromosomu - Chznaku (rys 4.5���3RF] WNRZR�ZV]\VWNLH�SROD�V �Z\]HURZDQH��SR]D�W\SHP�L� EUDPN �� NWyUH� Z� ID]LH� V\JQDOL]DFML� QLH� SRGOHJDM � PRG\ILNDFMRP�� :HM FLH� GRVWDUF]DQH�MHVW�GR�QHXURQyZ�ZHM FLRZ\FK��Z�SRVWDFL�ELQDUQHM��-HG\QFH�RGSRZLDGD�]ZL NV]HQLH�SROD�DNW\ZDFMD�R����]HUX�EUDN�]PLDQ��:�WHQ�VSRVyE�PR QD�SRGDZDü�LQIRUPDFM �ELQDUQ ��NWyUD�ZUD]� ]� F]DVHP� �OLF]E � F\NOL�� PR H� VL � ]PLHQLDü�� 3RGREQLH� PR QD� RGF]\W\ZDü�SREXG]HQLH�]�QHXURQyZ�Z\M FLRZ\FK�SR�ND G\P�F\NOX�V\JQDOL]DFML��-H HOL aktywacja jest Uy QD�RG����PR QD�SU]\M ü�� H�QHXURQ�MHVW�SREXG]RQ\��2WU]\PXMHP\�RGSRZLHG �ELQDUQ ��]PLHQQ � Z� F]DVLH�� 1DOH \� SDPL WDü�� DE\� GR� VLHFL� ZSURZDG]Lü� RGSRZLHGQL � OLF]ED�QHXURQyZ��NWyUH� V �SREXG]DQH�Z�ND G\P�F\NOX��:� WHQ� VSRVyE�GRVWDUF]DQH� MHVW� SHZien SR]LRP�SREXG]HQLD�GOD�FDáHJR�PRGXáX�

Bufory IO�VSHáQLDM �DQDORJLF]Q �URO �MDN�Z�ID]LH�V\JQDOL]DFML��1D�SRF] WNX�ND GHJR�F\NOX� � SU]HFKRZXM � ZHM FLD� RG� V VLDGyZ�� D� SR� MHJR� ]DNR F]HQLX� ]DZLHUDM � LQIRUPDFM ��NWyUD� MHVW� RGSRZLHG]L � QHXURQX� Z� GDQ\P� NLHUXQNX�� 3R� ]DNR F]HQLX� F\NOX� Z\M FLD�zgromadzone w buforach IO� GDQH� V � UR]V\áDQH� GR� EXIRUyZ� IO� V VLDGyZ�� VWDM F� VL � LFK�ZHM FLDPL�Z�NROHMQ\P�F\NOX� 2WR�UHJXá\�DXWRPDWX�Z�ID]LH�V\JQDOL]DFML�

5HJXá\�SXVWHM�NRPyUNL

3XVWD�NRPyUND�QLH�UHDJXMH�L�QLH�Z\V\áD� GQ\FK�SREXG]H �

5HJXá\�QHXURQX

'OD�ZV]\VWNLFK�NLHUXQNyZ�Z]URVWX�GHQGU\WyZ��NLHUXQNL�UR QH�RG�NLHUXQNX�EUDPND�L�GR�QLHJR�SU]HFLZQHJR��VXPRZDQH�V �LFK�SREXG]HQLD�ZHM FLRZH�]�EXIRUyZ�IO��=�W\P�� H�MH HOL�ELW�Z�FKURPRVRPLH�]QDNX�RGSRZLDGDM F\�GDQHPX�NLHUXQNRZL� MHVW�XVWDwiony na 0, to pobudzenie traktowanej jest jako dodatnie (+1), w przeciwnym wypadku dane SREXG]HQLH�WUDNWRZDQH�MHVW�MDNR�KDPXM FH�L�PD�ZDUWR ü��-����'R�VXP\�GRGDMH�VL �ZDUWR ü�pola aktywacji.

-H HOL� WDN� X]\VNDQD� DNW\ZDFMD� QHXURQX� MHVW� ! ��� WR� XVWDZLDQ\� MHVt znacznik RSy QLRQHJR�SREXG]HQLD��=23��RUD]�]HUXMH�VL �SROH�DNW\ZDFML��=23�LQIRUPXMH�� H�QHXURQ�Z�QDVW SQ\P�F\NOX�PD�ÄZ\SDOLü´�W]Q��XVWDZLü�VZRMH�Z\M FLD�Z�NLHUXQNX�DNVRQyZ��:�WHQ�VSRVyE� V\PXORZDQH� MHVW� ]DFKRZDQLH� SUDZG]LZ\FK� QHXURQyZ�� NWyUH� UHDJXM � QD�poEXG]HQLH� ]� QLHZLHONLP� RSy QLHQLHP� > XU 96@�� :� QDVW SQ\P� F\NOX�� MH HOL� =23� MHVW�XVWDZLRQ\�� QHXURQ�QD� VZRLFK�Z\M FLDFK� �Z�NLHUXQNX�EUDPNL� L� SU]HFLZQ\P��XVWDZLD�VWDQ�aktywny oraz zeruje ZOP.

Typ Komórki

2 bity

Bramka

3 bity

Aktywacja

4 bity

0RG\ILNRZDQH�Z�ND G\P�cyklu fazy sygnalizacji

Ustalone w trakcie wzrostu

Chromosom znaku

6 bitów

Wykorzystywana informacja chromosomu

ZOP

1 bit

6\JQDá\�RG���GR�V VLDGD

N

1 bit bit

W

1 bit bit

S

1 bit bit

E

1 bit bit

G

1 bit bit

D

1 bit

bit

Rysunek 4.5��,QIRUPDFMD�Z\NRU]\VW\ZDQD�SU]H]�ND G �NRPyUN �Z�ID]LH�V\JQDOL]DFML

Page 31: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�VLHFL�QHXURQRZ\FK 26

-H HOL� �VXPDU\F]QD�DNW\ZDFMD�MHVW�Z�SU]HG]LDOH�–7.����WR�ZDUWR ü�WD�]DSLV\ZDQD�MHVW�do pola aktywacja. W ten sposób aktywacja jest kumulowana w neuronie do momentu, JG\�SU]HNURF]\�RQD�E G �SUyJ�GROQ\�–���E G �JyUQ\���

*G\� FDáNRZLWD� DNW\ZDFMD� MHVW� �-8, to pole jest zerowane. W ten sposób neuron reaguje na PRFQH�SREXG]HQLD�KDPXM FH�

5HJXá\�DNVRQX

8VWDZLD� QD� ZV]\VWNLFK� �� Z\M FLDFK� RUD]� Z� SROX� DNW\ZDFML� ZDUWR ü� RGF]\WDQ � ]�ZHM FLD� DNVRQX�� :HM FLH� DNVRQX� WR� SREXG]HQLH�� NWyUH� QDGFKRG]L� ]� NLHUXQNX�wskazywanego przez pole bramka.

5HJXá\�GHQGU\WX

Gdy pobudzone jest GRNáDGQLH� MHGQR� ZHM FLH� NRPyUNL�� QLH� OLF] F� Z\M FLD�ZVND]\ZDQHJR�SU]H]�SROH�EUDPND��WR�Z\M FLH�GHQGU\WX�MHVW�XVWDZLDQH�Z�VWDQ�DNW\ZQ\��:�SU]HFLZQ\P�SU]\SDGNX�ZV]\VWNLH�Z\M FLD�GHQGU\WX�V �QLHDNW\ZQH�

4.2 Kodowanie analogowe

6\JQDá\� RWU]\P\ZDQH� ]� VLHFL� PDM � SRVWDü� G\VNUHWQ �� 3RZVWDMH� ]DWHP� SUREOHP� MDN�SU]HNV]WDáFLü� FL J� G\VNUHWQ\FK� ZDUWR FL� � �� L� �� QD� ZDUWR FL� FL JáH�� :� >Kor 98] SU]HGVWDZLRQR� PHWRG � 6,,&� �Spike Interval Information Coding). Polega ona na Z\PQR HQLX� V\JQDáX� Z\M FLRZHJR� ]� VLHFL� SU]H]� VSHFMDOQ\� ILOWU�� 6WUXPLH � ELWyZ�Z\M FLRZ\FK� SRZLQLHQ� E\ü� SU]\QDMPQLHM� WDN� GáXJL� MDN� LOR ü� SUyEHN� ILOWUD�� )LOWU�przedstawiony jest na wykresie 4.1��3RF] WNRZH�ZDUWR FL���Z\QLNDM �]�IDNWX�� H�SLHUZV]H�SUyENL�Z\M FLRZH�QLH�PDM � ]QDF]HQLD�� JG\ � VLHü�PXVL�PLHü� F]DV�QD�SURSDJDFM �SHZQHJR�SR]LRPX�SREXG]HQLD�SR�FDá\P�PRGXOH�

.ROHMQH� ZDUWR FL�Z\M FLD� V �PQR RQH� SU]H]� NROHMQH�ZDUWR FL� ILOWUX. W ten sposób X]\VNXMHP\� SLHUZV] � FL Já �ZDUWR ü��1DVW SQLH� SU]HVXZDP\� ILOWU�R���SUyEN �Z\M FLRZ �GR� SU]RGX� ��� ELW�� L� SRQRZQLH�PQR \P\� NROHMQH� ]HUR-MHG\QNRZH�ZDUWR FL�Z\M FLD�SU]H]�RGSRZLDGDM FH� ZDUWR FL� ILOWUX�� 7DN� RWU]\PXMHP\� NROHMQH� SUyENL� RF]HNLZDQHM� FL JáHM�IXQNFML�� %á G� NZDGUDWRZ\� RGOHJáR FL� SUyEHN� X]\VNDQHM� IXQNFML� RG� IXQNFML� GDQHM�PR H�SRVáX \ü�MDNR�IXQNFMD�ILWQHVV�SU]\�RFHQLH�HZROXRZDQ\FK�XNáDGyZ�

7DN� ]GHILQLRZDQD� RSHUDFMD� QRVL� QD]Z � NRQZROXFML� �DQJ�� convolution). Odwrotna RSHUDFMD� ]DPLHQLDM FD� V\JQDá� DQDORJRZ\� Z� ELQDUQ\� QRVL� QD]Z � GHNRQZROXFML�(ang. deconvolution).

Wykres 4.1. Filtr konwolucji i dekonwolucji

Page 32: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�VLHFL�QHXURQRZ\FK 27

5. 0RGXá\�&R'L�L�V]WXF]Q\�Py]J�

Hugo de Garis jest szefem laboratorium badawczego Brain Builder Group w ATR (Advanced Telecommunications Research Institute) w Kyoto. Oryginalnym celem projektu „CAM-Brain Project́ � ]� ����� URNX� E\áR� ]EXGRZDQLH� ]� Z\NRU]\VWDQLHP�PRGXáyZ�&R'L��GR�URNX������V]WXF]QHJR�Py]JX�VNáDGDM FHJR�VL �]�PLOLDUGD�QHXURQyZ��2ZH�PRGXá\�PLDá\�Z]UDVWDü�L�HZROXRZDü�Z�VSHFMDOQ\P�XU] G]HQLX�RSDUW\P�QD�XNáDGDFK�VSU] WRZ\FK�)3*$��Field Programmable Gate Array) nazywanym CAM-Brain Machine, NWyUH� PR H� ]PLHQLDü� VWDQ\� NRPyUHN� ]� V]\ENR FL � ���� POG��V� L� Z\HZROXRZDü� MHGHQ�PRGXá� Z� FL JX� VHNXQG\�� =DNáDGDQR�� H� ]� WDN � SU GNR FL � PR OLZH� E G]LH� VWZRU]HQLH�V]WXF]QHJR� Py]JX�� ']LHVL WNL� W\VL F\� PRGXáyZ� PR QD� E\� á F]\ü� Z� ]GHILQLRZDQ �ZF]H QLHM� DUFKLWHNWXU � V]WXF]QHJR� Py]JX�� :\HZROXRZDQH� PRGXá\� PLDá\� E\ü�SU]HFKRZ\ZDQH� Z� SDPL FL� L� G]L NL� V]\ENR FL� &%0� PLDá\� NRQWURORZDü� WZRU]RQHJR�robota – kota, nazwanego Robokoneko�����PDUFD������$75�RWU]\PDáR�G]LDáDM FH�&%0��NWyUH� E\áR� SURMHNWRZDQH� L� EXGRZDQH� RG� VW\F]QLD� ������:� FL JX� URNX� ����� ]HVSyá� GH�*DULVD�SUyERZDá�VWZRU]\ü�Py]J�VNáDGDM F\�VL �]�������PRGXáyZ�L�GR����POQ��QHXURQyZ�NRQWUROXM F\FK�]DFKRZDQLD�URERWD�>Bul 98,Tup 99].

5.1 Maszyna CAM-Brain (CBM).

6]WXF]Q\� Py]J� ZVSRPDJDQ\� SU]H]� &%0� ]DZLHUD� ������ PRGXáyZ� QHXURQRZ\FK��ND G\� ]DZLHUDM F\�PDNV\PDOQLH� ����� QHXURQ\�� D�ZL F� UD]HP� �����PLOLRQyZ� QHXURQyZ��.D G\� PRGXá� PR H� RWU]\PDü� V\JQDá\� ]� GRFKRG] F\FK� DNVRQyZ� RG� PDNV\PDOQie 188 LQQ\FK�PRGXáyZ��SU]\�F]\P�ND G\�]�W\FK�DNVRQyZ�PR H�VL � MHV]F]H�UR]JDá ]LDü�L� á F]\ü�]� ZLHORPD� GHQGU\WDPL�� .D G\� PRGXá� Z\V\áD� Z\FKRG] FH� JDá ]LH� DNVRQyZ� GR�PDNV\PDOQLH�������LQQ\FK�PRGXáyZ�

2FHQLD� VL �� H� V]\ENR ü� SU]HWZDU]DQLD� &%0� MHVW� U] GX� ������ komputerów PII ���0+]�� =DVDGQLF] � FHFK �&%0� MHVW� WR�� H� QHXURQ\� QLH� V � U F]QLH� SURMHNWRZDQH�� OHF]�HZROXRZDQH� VSU] WRZR�� $OJRU\WP\� JHQHW\F]QH� RSHUXM � QD� FKURPRVRPDFK�UHSUH]HQWXM F\FK� VLHFL� QHXURQRZH� R� Uy Q\FK� WRSRORJLDFK� L� IXQNFMDFK�� 1DMOHSLHM�Z\NRQXM FH�GDQ � IXQNFM �V �Z\ELHUDQH� L� UHSURGXNRZDQH�]�Z\NRU]\VWDQLHP�UHNRPELQDFML�L� PXWDFML�� 3R� NLONXVHW� SRNROHQLDFK� X]\VNXMH� VL � VNRPSOLNRZDQH� VLHFL� R� ]DáR RQHM�IXQNFMRQDOQR FL� L� QLH� MHVW� NRQLHF]QD� ZLHG]D� D� SULRUL� SU]\� ]DáR HQLX�� H� ]QDQD� MHVW�SR GDQD�IXQNFMD�ZHM FLD�Z\M FLD� &%0�VNáDGD�VL �]���ZL NV]\FK�EORNyZ� – PRGXá�DXWRPDWX�NRPyUNRZHJR��DQJ��CA Module), – SDPL FL�JHQRW\SX�L�IHQRW\SX�*30��DQJ��Genotype/Phenotype Memory), – MHGQRVWNL�OLF] FD�SU]\VWRVRZDQLH�)(8��DQJ��Fitness Evaluation Unit), – jednostki algorytmu genetycznego GAU (ang. Genetic Algorithm Unit), – SDPL FL�SRá F]H �PL G]\PRGXáRZ\FK�0,0��DQJ��Module Interconnection Memory), – LQWHUIHMVX�]HZQ WU]QHJR�

5.1.1 0RGXá�DXWRPDWX�NRPyUNRZHJR�&$

6WDQRZL� RQ� VSU] WRZ\� UG]H � &%0�� 6]\ENR ü� HZROXFML� Py]JX� MHVW� SU]\VSLHV]RQD� ]D�SRPRF � Z\VRFH� UyZQROHJáHJR� Z\NRQDQLD� XDNWXDOQLH � VWDQyZ� NRPyUHN�� 0RGXá� &$�VNáDGD� VL � ]� LGHQW\F]Q\FK� VSU] WRZR� MHGQRVWHN� ORJLF]Q\FK� �NRPyUHN��� XáR RQ\FK� Z�WUyMZ\PLDURZ � VWUXNWXU � ��[��[��� NRPyUHN�� .RPyUNL� ZDUVWZ\� JyUQHM� V � SRá F]RQH�rekurencyjnie z komórkami tworzF\PL� ZDUVWZ � GROQ �� DQDORJLF]QLH� SRá F]RQH� V �

Page 33: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�VLHFL�QHXURQRZ\FK 28

ZDUVWZ\�ERF]QH��3R]ZDOD�WR�QD�]ZL NV]HQLH�]GROQR FL�Z]URVWX�DNVRQyZ�L�GHQGU\WyZ��:�WUDNFLH� REOLF]H � SU]HWZDU]DQ\� MHVW� W\ONR� MHGHQ� PRGXá�� ']L NL� Z\NRU]\VWDQLX�RGSRZLHGQLFK�EXIRUyZ��Z�WUDNFLH�SUDF\�MHGQHJR�PRGXáX�QDVW SQ\�MHVW�MX �NRQILJXURZDQ\�i nie ma przerw w pracy FPGA.

3RZLHU]FKQLH� V]H FLDQX� PDM � ]HZQ WU]QH� SRá F]HQLD� SR]ZDODM FH� QD� SU]\MPRZDQLH�V\JQDáyZ� ]� LQQ\FK�PRGXáyZ��.D GD� SRZLHU]FKQLD�PD�PDFLHU]� ���SRá F]H �SRZWyU]RQ �po drugiej stronie, co daje 192 pRá F]HQLD��7U]\�SRá F]HQLD�SRáR RQH�Z�FHQWUDOQHM�F] FL�ND GHM�]�SRZLHU]FKQL�L�MHGQR�GRGDWNRZH�Z�URJX�VWDQRZL �SXQNW\�Z\M FLD�V\JQDáyZ�

0RGXá� &$� MHVW� ]EXGRZDQ\� ]� XU] G]H � )3*$� ;LOLQ[� ;&������ 6 � RQH� Z� SHáQL�UHNRQILJXURZDQH��SRVLDGDM �������NRPyUHN� ORJLF]Q\FK�]DZLHUDM F\FK�SU]HU]XWQLN��NWyU\�PR H� ]PLHQLDü� VWDQ� ]� F] VWRWOLZR FL � ����0+]�� .RPyUNL� SRá F]RQH� V � ]� V VLDGDPL� QD�NLONX� SR]LRPDFK� VHPDQW\F]Q\FK� ]DSHZQLDM F� MHGQDNRZ\� F]DV� SURSDJDFML� QLH]DOH QLH� RG�GáXJR FL� SRá F]HQLD�� :� FHOX� VWZRU]HQLD� PRGXáX� Z� ND G\P� XU] G]HQLX� ;&�����NRQILJXURZDQH� V � LGHQW\F]QH� NRPyUNL� ORJLF]QH� ZUD]� ]� �-bitowymi szynami V\JQDáRZ\PL�� ;&����� PR H� Z� VSRVyE� RSW\PDOQ\� PRGHORZDü� ���� ��[�[��� NRPyUHN�&R'L��7DNL�HOHPHQWDUQ\�EORN�NRPyUHN�Z\PDJD�����SRá F]H �Z�FHOX�UHDOL]DFML�ZL NV]HJR�bloku 6 ukáDGyZ�)3*$��:�VXPLH�NRQLHF]Q\FK�MHVW����XNáDGyZ�;&������DE\�]EXGRZDü�V]H FLDQ� ��[��[���� &%0� ]DZLHUD� ZL F� ��� SRá F]RQH� PL G]\� VRE � XNáDG\� )3*$��&] VWRWOLZR ü�]PLDQ\�VWDQyZ�NRPyUHN�PR QD�Z\EUDü�VSR UyG������������L����0+=��=�W �F] VWRWOLZR FL � ZV]\VWNLH� ������ NRPyUNL� V � XDNWXDOQLDQH� UyZQROHJOH�� FR� RGSRZLDGD�V]\ENR FL�����GR�����PLOLDUGyZ�NRPyUHN�QD�VHNXQG �

.D G\�]����XNáDGyZ�)3*$�]DZLHUD����0%�SDPL FL�SU]HFKRZXM FHM�JHQRW\S�L�IHQRW\S�PRGXáyZ�QHXURQRZ\FK�FR�GDMH�Z�VXPLH������0%��&%0�PR H�G]LDáDü�Z�GZyFK�WU\EDch –� HZROXFML� L� QRUPDOQHJR� G]LDáDQLD�� 7U\E� HZROXFML� REHMPXMH� ID] � Z]URVWX� L� ID] �V\JQDOL]DFML�� :� F]DVLH� ID]\� Z]URVWX� SDPL ü� SU]HFKRZXMH� FKURPRVRP\� HZROXXM FHM�SRSXODFML� PRGXáX� �JHQRW\S��� 0RGXá� ������ NRPyUHN� SRWU]HEXMH� SRQDG� ��� NLORELWyZ�SDPL FL�

W trybie d]LDáDQLD� SDPL ü� SU]HFKRZXMH� IHQRW\S� Z\HZROXRZDQ\FK� PRGXáyZ�� 'DQH�IHQRW\SX�RSLVXM �GU]HZD�DNVRQyZ�L�GHQGU\WyZ�RUD]�QHXURQ\�]DZDUWH�Z�ND G\P�PRGXOH��'DQH� WH� V � áDGRZDQH� GR� PRGXáX� &$� Z� FHOX� VNRQILJXURZDQLD� JR� ]JRGQLH� ]�Z\HZROXRZDQ �IXQNFM �

3DPL ü� MHVW� ZL F� Z\NRU]\VW\ZDQD� GR� V]\ENLHM� UHNRQILJXUDFML� XNáDGyZ� )3*$��5HNRQILJXUDFMD�RGE\ZD�VL � UyZQROHJOH�]�G]LDáDQLHP�PRGXáX�G]L NL�GXDOQ\P�UHMHVWURP�Z�ND GHM� NRPyUFH�� *ZDUDQWXMH� WR� Sá\QQH� G]LDáDQLH� EH]� NRQLHF]QR FL� RF]HNLZDQLD� QD�SU]HáDGRZDQLH� VL �PRGXáX�Z� WU\ELH� HZROXFML�� F]\�G]LDáDQLD��3DPL ü�PR H�REVáXJLZDü�GR�������SRá F]RQ\FK�PRGXáyZ�QDUD]�

5.1.2 -HGQRVWND�REOLF]DM FD�SU]\VWRVRZDQLH�)(8

6\JQDá\�Z�&%0�VWDQRZL � FL JL� LPSXOVyZ�– sekwencje jedynek rozdzielonych zerami podobne do tych w biologicznych neuronach. Informacja reSUH]HQWXM FD� ]HZQ WU]QH� OXE�ZHZQ WU]QH� ERG FH� MHVW� NRGRZDQD� Z� SRVWDFL� FL JyZ� LPSXOVyZ� PHWRG �Spike Interval Information Coding��UR]G]LDá�4.2).

*G\� PRGXá� MHVW� HZROXRZDQ\�� OLF]RQH� MHVW� MHJR� SU]\VWRVRZDQLH��:� ID]LH� V\JQDOL]DFML�moGXá� RWU]\PXMH� GR� ���� Uy Q\FK� FL JyZ� LPSXOVyZ� L� JHQHUXMH� GR� �� Uy Q\FK� FL JyZ�Z\M FLRZ\FK�� 3RUyZQDQLH� LFK� ]� SR GDQ\P� Z\M FLHP� SR]ZDOD� QD� RNUH OHQLH�SU]\VWRVRZDQLD� PRGXáyZ�� 2EOLF]DQLH� SU]\VWRVRZDQLD� MHVW� ZVSRPDJDQH� SU]H]� MHGQRVWN �VNáDGDM F � VL � ]� EXIRUD� FL JX� ZHM FLRZHJR�� EXIRUD� FL JX� GRFHORZHJR� RUD]� HOHPHQWX�OLF] FHJR�SU]\VWRVRZDQLH��:�ND G\P�F\NOX�]HJDURZ\P�FL J�ZHM FLRZ\�MHVW�SRELHUDQ\�]H�VWRVX�L�SRGDZDQ\�QD�ZHM FLH�PRGXáX��:�W\P�VDP\P�F]DVLH�SRELHUDQ\�MHVW�FL J�GRFHORZ\��

Page 34: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�VLHFL�QHXURQRZ\FK 29

HE\� PR QD� JR� E\áR� SRUyZQDü� ]� ELH F\P� Z\M FLHP� PRGXáX�� (OHPHQW� OLF] F\�SU]HSURZDG]D� NRQZROXFM � L� OLF]\� VXP �EH]Z]JO GQ\FK� Uy QLF�NV]WDáWX� IDOL� GOD� FDáHM� ID]\�V\JQDOL]DFML�� 3R� ]DNR F]HQLX� ID]\� V\JQDOL]DFML� PLDUD� SU]\VWRVRZDQLD� MHVW� QDW\FKPLDVW�GRVW SQD�

5.1.3 Jednostka algorytmu genetycznego GAU

:� FHOX� Z\HZROXRZDQLD� PRGXáX� UHDOL]RZDQD� MHVW� SRSXODFMD� PRGXáyZ� SRSU]H]�Z\OLF]HQLH� LFK� SU]\VWRVRZDQLD� ]JRGQLH� ]� SRZ\ V] � SURFHGXU �� 'R� GDOV]HM� UHSURGXNFML�Z\ELHUD� VL � SRG]ELyU� QDMOHSV]\FK�PRGXáyZ��à F]HQLH� L�PXWDFMD�Z\EUDQ\FK�PRGXáyZ� V �wykonywane przez C%0�]�RNUH ORQ �GOD�ID]\�JHQHW\F]QHM�SU GNR FL ��:�WHM�ID]LH�ND GD�NRPyUND� VWRVXMH� PDVNL� NU]\ RZDQLD� L� PXWDFML� RUD]� UHMHVWU\� URG]LFyZ� L� SRWRPVWZD��*HQHUDFMD� FKURPRVRPX� SRWRPND� QDVW SXMH� ZL F� Z� FL JX� QDQRVHNXQG� EH]SR UHGQLR� Z�VSU] FLH�� DOJRU\WP� VHOHNFML� Z\NRQ\ZDQ\� MHVW� QD� GRá F]RQ\P� SU]H]� V]\Q � 3&,�komputerze.

5.1.4 3DPL ü�SRá F]H �PL G]\PRGXáRZ\FK�0,0

3DPL ü� WD� MHVW� Z\NRU]\VW\ZDQD� Z� WU\ELH� G]LDáDQLD�� NLHG\�Z\PDJDQD� MHVW� ZVSyáSUDFD�ZLHOX�PRGXáyZ� IXQNFMRQXM F\FK� MDNR� MHGHQ�Py]J��.D G\�PRGXá�PR H�RWU]\PDü�V\JQDá\�od ���� LQQ\FK�� /LVWD� PRGXáyZ� UyGáRZ\FK� MHVW� SU]HFKRZ\ZDQD� Z� ]HZQ WU]Q\P�NRPSXWHU]H�� 'OD� ND GHJR� ]� ������ PRGXáyZ� SDPL ü� V\JQDáyZ� SU]HFKRZXMH� WU]\� ����ELWRZH�FL JL� LPSXOVyZ�Z\M FLRZ\FK��:�WU\ELH�G]LDáDQLD�SRGF]DV�NRQILJXURZDQLD�PRGXáX�EXIRU� V\JQDáyZ� ZHM FLRZ\FK� UyZQLH � MHVW� áDGRZDQ\� PDNV\PDOQLH� ���� FL JDPL�LPSXOVyZ�� NWyUH� ]RVWDá\� ]DSDPL WDQH� SRGF]DV� SRSU]HGQLFK� V\JQDOL]DFML� PRGXáyZ�UyGáRZ\FK��:�W\P�VDP\P�F]DVLH�WU]\�FL JL�Z\M FLRZH�ELH FHJR�PRGXáX�V �]DSLV\ZDQH�Z� SDPL FL� V\JQDáyZ�� -DN� ZLGDü� F\NOLF]QH� SU]HáDGRZ\ZDQLH� PRGXáyZ� ZL H� VL � ]�FL Já\P�]DSLV\ZDQLHP�L�RGWZDU]DQLHP�FL JyZ�]�SDPL FL�V\JQDáyZ�

'OD�������PRGXáyZ�V]\ENR ü�G]LDáDQLD�&%0�SR]ZDOD�ND GHM�NRPyUFH�SURSDJRZDü�Z�SU]\EOL HQLX� ���-ELWRZH� FL JL� LPSXOVyZ� QD� VHNXQG �� 7DNL� FL J�PR H� ]DZLHUDü� ��� EDMW\�infoUPDFML� ]DNRGRZDQHM� PHWRG � 6,,&�� .D G\� QHXURQ� GRVWDMH� GR� �� FL JyZ�� QHXURQ\� Z�Py]JX� SU]HWZDU]DM � GR� ���� PLOLRQyZ� FL JyZ�� 6W G� V]\ENR ü� SU]HWZDU]DQLD� LQIRUPDFML�SU]H]� ZV]\VWNLH� QHXURQ\� MHVW� U] GX� ��*%�V�� 3U]\� ]DáR HQLX�� H� NRPyUNL� GHQGU\WyZ�]DMPXM � RN�� ���� SU]HVWU]HQL� NRPyUNRZHM� L� PDM � UHGQLR� ���� JDá ]L� SU]HSXVWRZR ü�informacyjna dendrytów wynosi ok. 36GB/s.

5.1.5 ,QWHUIHMV�]HZQ WU]Q\

$UFKLWHNWXUD�SR]ZDOD�QD�SU]HV\áDQLH�L�RGELyU�FL JyZ�LPSXOVyZ�QLH�W\ONR�GR�]�SDPL FL�V\JQDáyZ� OHF]� UyZQLH � SRSU]H]� ]HZQ WU]Q\� LQWHUIHMV�� .D G\� PRGXá� PR H� RWU]\PDü� GR�����L�Z\VáDü�GR���FL JyZ�GR�XU] G]HQLD�]HZQ WU]QHJR��QS��URERWD��V\VWHPX�SU]HWZDU]DQLD�PRZ\�� LWG��:�Py]JX� ]� ������PRGXáDPL� V]\ENR ü� LQIRUPDF\MQD�Z\QRVL�GR����.%�V�QD�PRGXá�L�����0%�V�FDáR FLRZR�

5.2 Robokoneko

Celem projektu CAM-Brain�E\áR�SRF] WNRZR�VNRQVWUXRZDQLH�V]WXF]QHJR�NRWD��NWyU\�Z� ]DáR HQLDFK� PLDá� VL � XF]\ü�� ]DSDPL W\ZDü� L� PLDá� SU]\SRPLQDü� ]DFKRZDQLH� \ZHJR�NRWD��&]áRQNRZLH�SURMHNWX�SU]\]QDM �� H�Z\EyU�Z\QLNá�]�SRZRGyZ�F]\VWR�VWUDWHJLF]Q\FK��7ZRU]HQLH�Py]JX�ZFL �MHV]F]H�MHVW�Z�ID]LH�NRQFHSF\MQHM��D�V]WXF]Q\�NRW�PLDá�]DSHZQLü�zainteresowanie sponsorów oraz mediów.

Page 35: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�VLHFL�QHXURQRZ\FK 30

3UDZLGáRZH� ]DFKRZDQLH� NRWD� PLDáR� ]RVWDü� RVL JQL WH� SRSU]H]� ]DVWRVRZDQLH�RGSRZLHGQLHJR�]ELRUX�UHJXá��$E\�Z\HZROXRZDü�PRGXá\�NRQWUROXM FH�UXFK\�NRWD��Z\GDMH�VL � FHORZH� SRELHUDQLH� VWDQX� SRUXV]DM F\FK� QLP� VLOQLNyZ� L� SRGDZDQLH� JR� QD� ZHM FLH�PRGXáyZ�� 3ODQRZDQR� UyZQLH � LQVWDODFM � SU]\VSLHV]HQLRPLHU]\� L� \URVNRSyZ�GRVWDUF]DM F\FK�GRGDWNRZ\FK�GDQ\FK�RUD]�PLNURIRQyZ��NDPHU��F]XMQLNyZ�GRW\NRZ\FK�

0RGXá\� NRQWUROL� UXFKX� PLDá\� E\ü� HZROXRZDQH� QD� V\PXODWRU]H� NRPSXWHURZ\P��V\PXOXM F\P� U]HF]\ZLVWH� PHFKDQLF]QH� URGRZLVNR�� 0HFKDQLF]Q\� SRPLDU�SU]\VWRVRZDQLD� MHVW� ERZLHP� QLHSUDNW\F]Q\� L� ]E\W� ZROQ\�� 3RF] WNRZR� URERW� PLDá� E\ü�V\PXORZDQ\� SURJUDPRZR� ]D� SRPRF � QDU] G]LD� V\PXODFML� U]HF]\ZLVWR FL� - Working Model 3D� RUD]� RSURJUDPRZDQLD� SRá F]RQHJR� ]� &%0� SR]ZDODM FHJR� QD� DXWRPDW\F]Q\�SRPLDU� L� REOLF]HQLH� SU]\VWRVRZDQLD�� 5]HF]\ZLVW\� URERW� QLH� MHVW� Z\VWDUF]DM FR�QLH]DZRGQ\�GOD�QDXNL�]DFKRZD �UXFKRZ\FK�NRWD��NWyUD�Z\PDJD�SU]HFLH �W\VL F\�LWHUDFML��W\HZROXRZDQH�Z� W\P� URGRZLVNX� UR]ZL ]DQLH�PLDáR�E\ü�ZSURZDG]RQH�GR� V]WXF]QHJR�Py]JX� L� XPR OLZLü� SU]HWHVWRZDQLH�� F]\� JHQHURZDQH� V\JQDá\� SRZRGXM � LGHQW\F]QH� ]�]DáR RQ\P�]DFKRZDQLH�URERWD�

5.3 Sztuczny mózg

7ZyUF\� SURMHNWX� ]DNáDGDOL� GXDOQ\� VSRVyE� RVL JQL FLD� FHOX�– zbudowania sztucznego Py]JX��:�]DáR HQLDFK�SUDFH�PLDá\�E\ü�RSDUWH�R�NRQFHSFM �bottom-up i top-down��3RP\Vá�WZRU]HQLD� Py]JX� SRF] ZV]\� RG� SRMHG\QF]\FK� PRGXáyZ� UHDOL]XM F\FK� SURVWH� IXQNFMH��á F]RQ\FK� Z� FRUD]� EDUG]LHM� VNRPSOLNRZDQH� V\VWHP\� D � GR� VWZRU]HQLD� SHáQHJR� Py]JX��PR QD� QD]ZDü� VWUDWHJL � bottom-up. Strategia top-down� Z\PDJD� FDáR FLRZHM� ZL]ML�� MDN�SRZLQQD�Z\JO GDü� UROD� L�ZVSyáSUDFD�PRGXáyZ�VNáDGDM F\FK�VL �QD�Py]J��0R H�RQD�E\ü�skuteczna w przypadku prostych tworów, np. Robokoneko. W przypadku bardziej zDDZDQVRZDQ\FK�SURMHNWyZ�VNXWHF]QD�PR H�VL �RND]Dü�VWUDWHJLD�top-down-top.

$UFKLWHNW� QDMZ\ V]HJR�SR]LRPX�SURSRQXMH� VFKHPDW� V]WXF]QHJR�Py]JX��G]LHO F�JR�QD�PRGXá\� R� MDVQR� RNUH ORQ\FK� IXQNFMDFK��:\]QDF]D� VL � SRWHP�RVRE\�� ]�NWyU\FK�ND GD�]DMPLH� VL � NRQNUHWQ\P� EORNLHP�� 'DOHM� SRVW SXMH� VL � DQDORJLF]QLH�� G]LHO F� SUREOHP� QD�FRUD]� PQLHMV]H� IUDJPHQW\�� D � QD� NWyU\P � SR]LRPLH� X]\VNDQH� ]RVWDQ � EORNL� GDM FH� VL �]UHDOL]RZDü� Z� PRGXOH� &R'L�� :\HZROXRZDQH� PRGXá\� ZUDFDM � GR� DUFKLWHNWD� Z\ V]HJR�SR]LRPX�� NWyU\� GRGDMH� JHQ\� NRGXM FH� SRá F]HQLD� PL G]\� PRGXáDPL�� SR� F]\P� WHVWXMH�G]LDáDQLH� FDáHJR� EORNX�� :� UD]LH� SRWU]HE\� PRG\ILNXMH� ]DáR HQLD� L� RGV\áD� PRGXá\� GR�SRQRZQHM� UHDOL]DFML�� *RWRZ\� EORN� SU]HND]XMH� GR� SR]LRPX� Z\ V]HJR�� :� WHQ� VSRVyE�JRWRZH�IUDJPHQW\�SU]HFKRG] �]�SRZURWHP�GR�Z\ V]\FK�SR]LRPyZ��GRFLHUDM F�Z�NR FX�GR�QDMZ\ V]HJR��JG]LH�]áR RQ\�]RVWDQLH�Py]J��

5.4 Napotkane problemy

3URMHNW� Z� RVWDWQLP� F]DVLH� VWUDFLá� QD� UR]JáRVLH�� -DNNROZLHN� MHVW� GDOHM� NRQW\QXRZDQ\��SRVWDZLRQ\� FHO� Z\GDMH� VL � MHV]F]H� EDUG]R� RGOHJá\��:\GDMH� VL �� H� DQLPDWRURP� Srojektu RG�SRF] WNX�EUDNXMH�NRQFHSFML�� MDN�]�SRMHG\QF]\FK�PRGXáyZ�VWZRU]\ü�XU] G]HQLH��NWyUH�PLDáRE\� ]GROQR FL� ]DSDPL W\ZDQLD�� XF]HQLD� VL � L� VDPRLVWQHJR� GRVNRQDOHQLD� VZHJR�]DFKRZDQLD��-DNNROZLHN�PRGXá\�&R'L�V �FLHNDZ\P�SRGHM FLHP�GR�11V��R�W\OH�SUDFH�QDG�sLHFLDPL�QHXURQRZ\PL�SURZDG]RQH�V �RG� ODW���-W\FK��UR]G]LDá�2). Koncepcja top-down i bootom-up�� EDUG]LHM� SU]\SRPLQD� VSRVyE� QD� QDSLVDQLH� SURJUDPX� VSHáQLDM FHJR�VSHF\ILNDFM �� =D� SRPRF � &%0� PR QD� Z\KRGRZDü� Z� NUyWNLP� F]DVLH� ZLHOH� PRGXáyZ�VSHáQLDM F\FK� SRVWDZLRQH� ]DGDQLH�� á F]\ü� MH� Z� ZL NV]H� FDáR FL�� MHGQDN� PR QD� UyZQLH �]DLPSOHPHQWRZDü� WDN � NRQFHSFM � ]D� SRPRF � VWDQGDUGRZ\FK�PHWRG� SURJUDPLVW\F]Q\FK��

Page 36: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�VLHFL�QHXURQRZ\FK 31

]DPLDVW� PR]ROQLH� HZROXRZDü� PRGXá\� R� ]DGDQ\FK� ZáDVQR FLDFK�� 0RGXá\� &R'L� PDM �teoretycznLH� ]GROQR ü� ]DSDPL W\ZDQLD� LQIRUPDFML�� G]L NL� PR OLZR FL� Z\NV]WDáFHQLD� VL �VSU] H � ]ZURWQ\FK� PL G]\� QHXURQDPL�� MHGQDN� WD� LQIRUPDFMD� MHVW� SU]HWZDU]DQD� SU]H]�PRGXá� Z\HZROXRZDQ\�ZHGOH� FL OH� ]DGDQ\FK� NU\WHULyZ�– funkcji fitness.� 6W G�ZV]HONLH�zachowania moduáX� �OXE� ZLHOX� PRGXáyZ�� V � Z� SHZLHQ� VSRVyE� ]DSURJUDPRZDQH� L�QDU]XFRQH� RGJyUQLH�� 0R QD� ZVW SQLH� ]DSURMHNWRZDQ\� Py]J� GRXF]Dü� ]D� SRPRF �SURFHVyZ�HZROXF\MQ\FK��MHGQDN�MDN�Z\RGU EQLü�NWyU\�HOHPHQW�ZLHORPRGXáRZHM�VWUXNWXU\�]DZLyGá�� MH HOL� QD� SU]\NáDG� Robokoneko pU]HZUyFL� VL �� 3UREOHPDW\F]QH� Z\GDMH� VL �UR]VWU]\JQL FLH�� F]\� MHVW� WR� XNáDG� RGSRZLHG]LDOQ\� ]D� UR]SR]QDZDQLH� RWRF]HQLD�� MHJR�]DSDPL W\ZDQLH��F]\�]D�SRUXV]DQLH�VL �

.RQFHSFMD� ZLHOX� PRGXáyZ�� VSURZDG]D� VL � Z� JUXQFLH� U]HF]\� GR� HZROXFML� MHGQHJR�ROEU]\PLHJR� PRGXáX, którego funkcja fitness� RFHQLD� ]DFKRZDQLH� VL � ÄPy]JX´� MDNR�FDáR FL�� 3U]\� ROEU]\PLHM� OLF]ELH� QHXURQyZ� LVWQLHMH� ]DSHZQH� UR]ZL ]DQLH� Z� SU]HVWU]HQL�UR]ZL ]D � GOD� WDNLHJR� PRGXáX�� MHGQDN� NRQLHF]QH� MHVW� ]GHILQLRZDQLH� IXQNFML�SU]\VWRVRZDQLD� L� ]QDOH ü� WDNL� PRGXá� Z� UR]V GQ\P� F]DVLH�� 'HNRPSR]\FMD� FDáR FL� QD�PQLHMV]H� EORNL�� QD� SHZQR� UHGXNXMH� F]DV� SRV]XNLZD � L� SRZRGXMH�� H� RWU]\PDQH� Z\QLNL�PRJ � E\ü� ]DGRZDODM FH�� MHGQDN� SU]\SRPLQDM � QRZ\� M ]\N� SURJUDPRZDQLD�� RSDUW\� QD�PRGXáDFK� &R'L�� 7DNLH� SRGHM FLH� QLH� Z\NV]WDáFL� MHGQDN H� DGQ\FK� ]DFKRZD � SR]D�zaprogramowanymi w procesie dekompozycji.

Page 37: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�VLHFL�QHXURQRZ\FK 32

6. Opis systemu

,VWRWQ\P� SUREOHPHP�� NWyU\� QDOH \� UR]ZD \ü� Z\NRU]\VWXM F� *$� MHVW� GREUH�]GHILQLRZDQLH� IXQNFML� SU]\VWRVRZDQLD� GOD� RVREQLNyZ� SRSXODFML� NRGRZDQ\FK� ]D� SRPRF �zestawu genów zawartych� Z� FKURPRVRPLH�� :� ZL NV]R FL� ]DVWRVRZD � RSHUDFMH�JHQHW\F]QH�WDNLH�� MDN�NU]\ RZDQLH�L�PXWDFMD�PDM �]QLNRP\�ZSá\Z�QD�V]\ENR ü�SURFHVyZ�HZROXF\MQ\FK�� D� QDMEDUG]LHM� F]DVRFKáRQQ � F] FL � LPSOHPHQWDFML� MHVW� DOJRU\WP� REOLF]DQLD�IXQNFML� SU]\VWRVRZDQLD�� ']LHMH� VL � WDN� JáyZQLH� ]D� VSUDZ � WHJR�� H� ]D]Z\F]DM� GR�X]\VNDQLD�GREU\FK�Z\QLNyZ� OLF]ED�RVREQLNyZ�ELRU F\FK�XG]LDá�Z�HZROXFML�SRZLQQD�E\ü�PR OLZLH�QDMZL NV]D��/LF]E\�SRNROH �UyZQLH �QLH�QDOH \�]PQLHMV]Dü��DE\�GDü�PR OLZR ü�*$� GREUHJR� SU]HV]XNDQLD� SU]HVWU]HQL� UR]ZL ]D �� QLH� GRSXV]F]DM F� GR� XW\NDQLD� Z�optimach lokalnych.

3RGREQLH� MHVW� Z�Z\SDGNX�PRGXáyZ�&R'L�� MHGQDN H�� MDN� VWZLHUG]RQR�ZH�ZVW SQ\FK�WHVWDFK�� F]DV� REOLF]HQLD� IXQNFML� SU]\VWRVRZDQLD� MHVW� QDSUDZG � GX \� L� RNUH OHQLH�pojedynczego przystosowania dla rozpatrywanej� NODV\� SUREOHPyZ� MHVW� U] GX� VHNXQG��=DNáDGDM F� VNURPQH�ZLHONR FL� SRSXODFML� ���� L� OLF]E �SRNROH �QD������FDá\� HNVSHU\PHQW�QDOH \�V]DFRZDü�Z�GQLDFK�

:� WUDNFLH� SUDF� GR ü� V]\ENR� VWDáR� VL � MDVQH�� L � SU]HSURZDG]HQLH� SODQRZDQ\FK�HNVSHU\PHQWyZ� ]D� SRPRF � LPSOHPHQWDFML� Z\NRU]\VWXM FHM� W\ONR� MHGHQ� SURFHVRU�� PR H�E\ü� EDUG]R� WUXGQH�� OXE�ZU F]� QLHPR OLZH� ]H�Z]JO GX� QD� ROEU]\PL � LOR ü� REOLF]H �� MDNLH�QDOH \�Z\NRQDü�Z�WUDNFLH�V\PXODFML�PRGXáX�&$�E G FHJR�PRGXáHP�&R'L�

-DN�ZLDGRPR�DOJRU\WP\�JHQHW\F]QH�V �NODV �SUREOHPyZ��NWyUH� ZLHWQLH�QDGDM �VL �GR�SDUDOHOL]DFML� L� UR]SUDV]DQLD�� -HGQDN H� WH� ]� QDWXU\� UyZQROHJáH� DOJRU\WP\�� ]D]Z\F]DM�UR]ZL ]XMH�VL �VHNZHQF\MQLH�>Gol 98@��&HFK �*$�MHVW�WR�� H�LFK�]DSRWU]HERZDQLH�QD�PRF�REOLF]HQLRZ � MHVW� GX H�� ,P� ZL FHM� PRF\� REOLF]HQLRZHM� SRFKáRQLH� SURFHV� HZROXFML�� W\P�PR HP\�E\ü�SHZQLHMVL�� H�Z\QLNL� V � EOL HM� RSWLPXP�JOREDOQHJR�SUREOHPX�SRVWDZLRQHJR�SU]HG� *$�� :� FHOX� ]UHDOL]RZDQLD� PR OLZLH� GX HM� OLF]E\� HNVSHU\PHQWyZ� Z� UR]V GQ\P�F]DVLH�� QLH]E GQH� Z\GDáR� VL � RSUDFRZDQLH� RERN� LPSOHPentacji sekwencyjnej, LPSOHPHQWDFML�UyZQROHJáHM�

0RGXá\� &R'L� MDNR� DXWRPDW\� NRPyUNRZH� QDGDM � VL � ZLHWQLH� GR� ]UyZQROHJOHQLD��MHGQDN� NRPXQLNDFMD� PL G]\� SRV]F]HJyOQ\PL� NRPyUNDPL� DXWRPDWX� SRZLQQD� E\ü� V]\END��ich liczba wielka, a operacje wykonywane w komórce zE\W� SURVWH�� DE\� UR]SDWU\ZDü�]UyZQROHJOHQLH�REOLF]H �QD�SR]LRPLH�NRPyUHN�SRMHG\QF]HJR�PRGXáX��3U]\�WDN�GUREQ\FK�RSHUDFMDFK� EDUG]LHM� DGHNZDWQD� MHVW� NRQVWUXNFMD� VSHFMDOQHJR� VSU] WX� RSDUWHJR� R� )3*$�(ang. - Field Programmable Gate Array). 7DNLH� UR]ZL ]DQLH� MHVW� MX � VWZRU]RQH� L�IXQNFMRQXMH� �UR]G]LDá�5.1���5R]SDWUXM F�PR OLZH� GR�Z\NRU]\VWDQLD� ]DVRE\� REOLF]HQLRZH�RSUDFRZDQR� LPSOHPHQWDFM �� Z� NWyUHM� ]UyZQROHJORQD� ]RVWDáD� QDMEDUG]LHM� NRV]WRZQD� ]�punktu mocy obliczeniowej operacja – obliczanie przystosowania.

=DáR RQR�� H� ]UyZQROHJOHQLX� XOHJQLH� VDP� SURFHV� Z\]QDF]DQLD� SU]\VWRVRZDQLD�SRMHG\QF]HJR� RVREQLND�� QDWRPLDVW� FDá\� SURFHV� HZROXFML� E G]LH� VFHQWUDOL]RZDQ\�� 3URFHV�master� E G]LH� SU]HFKRZ\ZDá� DNWXDOQ\� VWDQ� SRSXODFML�� D� SURFHV\�slave otrzymywaü�E G �]DGDQLD�REOLF]DQLD�SU]\VWRVRZDQLD�SRMHG\QF]\FK�RVREQLNyZ��&HQWUDOQ\�SURFHV� MHVW� WDN H�odpowiedzialny za wykonywanie wszelkich operacji genetycznych na materiale JHQHW\F]Q\P��VHOHNFMD��NU]\ RZDQLH��PXWDFMD��

7DNLH� SRGHM FLH� MDN� SU]HGVWDZLRQH� Z� UR]G]Lale 7� SR]ZROLáR� Z\GDWQLH� SU]\ SLHV]\ü�prowadzone eksperymenty.

Page 38: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�VLHFL�QHXURQRZ\FK 33

6.1 Reprezentacja genetyczna oraz operatory

Reprezentacja genotypu

*HQRW\S� UHSUH]HQWRZDQ\� MHVW�Z�QDMSURVWV]\� ]�PR OLZ\FK� VSRVREyZ��&KURPRVRP\�ND GHM� NRPyUNL� ]DSLV\ZDQH� V � NROHMQR� Z� SDPL FL�� 2SHUDFMD� PXWDFML� QD� ND G\P� ]� SyO�chromosomu (Chneuronu, Chwzrost oraz Chznaku�� PR H� E\ü� Z\NRQ\ZDQD� ]� Uy Q\P�SUDZGRSRGRELH VWZHP�� 3U]\� NU]\ RZDQLX� � XZ]JO GQLDQD� MHGQDN H� MHVW� WUyMZ\PLDURZD�relacja komórek.

Skalowanie funkcji przystosowania

Zastosowano algorytm skalowania liniowego zaproponowany przez Davida Goldberga w [Gol 98@��*ROGEHUJ�Z�VZ\P�PRGHOX�]DSURSRQRZDá�VNDORZDQLH�SU]\VWRVRZDQLD�ZHGáXJ�wzoru:

baff +=’ (6.1)

SU]\�]DFKRZDQLX�GZyFK�SRGVWDZRZ\FK�]DáR H �

avgavg ff =’ (6.2)

avgmult fCf ⋅=max’ (6.3)

gdzie f i f ′ to przystosowanie pierwotne oraz po przeskalowaniu indeksy dolne

R]QDF]DM � SU]\VWRVRZDQLH� UHGQLH� RUD]� PDNV\PDOQH� Z� SRSXODFML�� multC � RNUH OD�� Z� LOX�NRSLDFK� E G]LH� UR]PQR RQ\� QDMOHSV]\� RVREQLN�� =D]Z\F]DM� SU]\MPXMH� VL � multC równe 2

i WDND�ZDUWR ü�]RVWDáD�SU]\M WD�ZH�ZV]\VWNLFK�WHVWDFK��-H HOL�Z�SRSXODFML�LVWQLHM �RVREQLNL�GX R� JRU]HM� SU]\VWRVRZDQH� RG� UHGQLHM�� ]� UyZQDQLD� RWU]\PDP\� ZDUWR FL� XMHPQH�� :�WDNLP�Z\SDGNX�*ROGEHUJ�SURSRQXMH�]DVW SLHQLH�GUXJLHJR�ZDUXnku przez 0’min =f .

Sposoby selekcji

:�SURJUDPLH�]RVWDá\�]DLPSOHPHQWRZDQH�GZD�SRGVWDZRZH�DOJRU\WP\�VHOHNFML� 1. Metoda ruletki , stochastyczna z powtórzeniami - roulette(pop_size,alpha) 2. 0HWRGD�VWRFKDVW\F]QD�ZHGáXJ�UHV]W�]�SRZWyU]HQLDPL�- roulette2(pop_size,alpha) gdzie pop_size to poziom nasycenia populacji, a alpha jest tempem dochodzenia rozmiaru populacji do poziomu nasycenia.

'OD�ND GHJR�RVREQLND�Z�SRSXODFML� OLF]RQD� MHVW� MHJR�ZDUWR ü�SU]\VWRVRZDZF]D� if , po

czym poddawana jest skalowaniu. W wyniku otrzymujemy if ′ .

:DUWR ü� RF]HNLZDQD� iλ liczby potomków i-tego osobnika w populacji N(t) jest równa

VWRVXQNRZL� MDNR FL� �ZDUWR FL� SU]\VWRVRZDZF]HM�� WHJR� RVREQLND� GR� UHGQLHM� MDNR FL�populacji�� ]PRG\ILNRZDQD� R� DNWXDOQ\� �Z� GDQ\P� F]DVLH�� VWRSLH � QDV\FHQLD� URGRZLVND�S(t):

)(’

’tS

f

f

avg

ii =λ

(6.4)

sizepop

tNsizepopalphatS

_

)(_1)(

−+= (6.5)

gdzie N(t) jest rozmiarem populacji w chwili t. Parametr alpha reguluje tempo dochodzenia rozmiaru populacji do poziomu nasycenia URGRZLVND�pop_size��]Z\NOH�]DNáDGDP\�alpha=1) [Kwa 99].

Page 39: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�VLHFL�QHXURQRZ\FK 34

$OJRU\WP� ]PRG\ILNRZDQR� ZSURZDG]DM F� HOHPHQW� VHOHNFML� HOLWDUQHM� WDN�� HE\�RNUH ORQ\� SURFHQW� QDMOHSV]\FK� RVREQLNyZ� SU]HFKRG]Lá� GR� QDVW SQHJR� SRNROHQLD� EH]�DGQ\FK� RSHUDFML� JHQHW\F]Q\FK� �NU]\ RZDQLH�� PXWDFMD��� :� UDPDFK� HNVSHU\PHQWyZ�]DNáDGD� VL � MHGQDN� EUDN� HOLWDUQHM� VHOHNFML�� D� X \ZDQ\P� PRGHOHP� VHOHNFML� MHVW� PHWRGD�stochastyc]QD�ZHGáXJ�UHV]W�]�SRZWyU]HQLDPL�

Mutacja

2SHUDWRU� PXWDFML� ]� ]DGDQ\P� SUDZGRSRGRELH VWZHP� GOD� ND GHM� ]� �� JUXS� PDWHULDáX�genetycznego (Chneuronu, Chwzrost, Chznaku) ]PLHQLD�ND G\�]�ELWyZ�QD�SU]HFLZQ\��

Page 40: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�VLHFL�QHXURQRZ\FK 35

7. Implementacja

3U]\� V\PXODFML� PRGXáyZ� &R'L� NU\W\F]Q\P� SURblemem jest czas obliczania funkcji SU]\VWRVRZDQLD� SRMHG\QF]HJR� PRGXáX� QD� SRGVWDZLH� ]DGDQHJR� FKURPRVRPX�� :� FHOX�RVL JQL FLD� PDNV\PDOQHM� Z\GDMQR FL� GOD� ND GHJR� HNVSHU\PHQWX� WZRU]RQ\� MHVW� RVREQ\�SURJUDP� Z\NRQDZF]\� ]� ]DV]\W\PL� ZHZQ WU]� QLHNWyU\PL� VWDá\PL� HNVSerymentu, a QDVW SQLH� MHVW� Z\ZRá\ZDQ\� SURFHV� NRPSLODFML� L� NRQVROLGDFML� WDN� SU]\JRWRZDQHJR�HNVSHU\PHQWX� GDM F� Z� Z\QLNX� SURJUDP� Z\NRQ\ZDOQ\�� -DN� VL � RND]DáR�� WDNLH� SRGHM FLH�LVWRWQLH� SU]\ SLHV]\áR� F]DV� Z\NRQDQLD�� Z� SRUyZQDQLX� ]� V\PXODWRUHP� &R'L�proponowanym SU]H]� JUXS � *$%5,� ]� *GD VND� >int 07@� RVL JQL WR� V]DFXQNRZH�SU]\ SLHV]HQLH� U] GX� �-�� UD]\�� ']L NL� ]DV]\FLX� WDNLFK� VWDá\FK� MDN� UR]PLDU� PRGXáX� Z�SURJUDP� Z\NRQ\ZDOQ\� NRPSLODWRU� PR H� JHQHURZDü� ]QDF]QLH� OHSLHM� ]RSW\PDOL]RZDQ\�kod dostosowaQ\� GR� NRQNUHWQHJR� ]DGDQLD�� ']L NL� ]DVWRVRZDQLX� ZLHOX� V]DEORQyZ� &���VWZRU]RQD� LPSOHPHQWDFMD� PR H� E\ü� Z� VSRVyE� GRZROQ\� PRG\ILNRZDQD� L� NRGXMH�LQIRUPDFM � R� F]\VW\FK� DOJRU\WPDFK� EH]� LFK� XNRQNUHWQLDQLD�� 'RSLHUR� Z� ID]LH� NRPSLODFML�SRV]F]HJyOQH�V]DEORQ\�V �XNRQNUHtniane parametrami eksperymentu.

3U]\ SLHV]HQLH� ]RVWDáR� WDN H� RVL JQL WH� G]L NL� VSU\WQHM� LPSOHPHQWDFML� QLHNWyU\FK�DOJRU\WPyZ�� 3RUyZQDQLH� RU\JLQDOQ\FK� DOJRU\WPyZ� LPSOHPHQWDFML� PRGXáX� &R'L�(codi.slow�� ]H� ]PRG\ILNRZDQ � ZHUVM � UHDOL]XM F � WHQ� VDP� DOJRU\WP� �codi.fast�� ]RVWDáR�V]F]HJyáRZR� SU]HGVWDZLRQH� SRQL HM��:SURZDG]RQH� XVSUDZQLHQLD� L� PRG\ILNDFMH� ]RVWDQ �przedstawione dalej.

7.1 5y QLFH�PL G]\�LPSOHPHQWDFMDPL�FRGL�VORZ i codi.fast

:� NODV\F]Q\P� SRGHM FLX� �codi.slow�� EDUG]R� F]DVRFKáRQQ � F] FL � DOJRU\WPX� MHVW�wymianD� LQIRUPDFML� PL G]\� NRPyUNDPL� DXWRPDWX� NRPyUNRZHJR�� =DNáDGDM F�� L � Z�WUyMZ\PLDURZHM� SU]HVWU]HQL� PR HP\� Z\Uy QLü� �� NLHUXQNyZ�� SyáQRFQ\� �1��� SRáXGQLRZ\��6��� ZVFKRGQL� �(��� ]DFKRGQL� �:��� JyUQ\� �*�� RUD]� GROQ\� �'��� LQIRUPDFMH� PL G]\�V VLHGQLPL� NRPyUNDPL� V � UR]V\áDQH� Z� �� NURNDFK�� 1DMSLHUZ� LQIRUPDFMH� V � SU]HV\áDQH� ]�NLHUXQNX�1�GR�6��QDVW SQLH�]�6�GR�1��L�DQDORJLF]QLH�]�(�GR�:��]�:�GR�(���]�*�GR�'�L�'�GR�*��'OD�VWDQGDUGRZHJR�UR]PLDUX�PRGXáX����[��[����GDMH�WR���F\NOL�SR�������SU]HVáD �GOD�jednego cyklu sygnalizacji.

Na rysunku 7.1 jest pokazany uproszczony do postaci jednowymiarowej schemat NRPyUHN�� .D GD� ]� NRPyrek pobiera ze swoich buforów IO informacje. W lewym ]QDMGXMH� VL � LQIRUPDFMD� QDSá\ZDM FD� RG� OHZHJR� V VLDGD�� D� Z� SUDZ\P� RG� SUDZHJR�� 3R�SU]HWZRU]HQLX� W\FK� LQIRUPDFML�� LQIRUPDFMD� GOD� OHZHJR� V VLDGD� SR]RVWDMH� Z� OHZ\P�buforze, a dla prawego w prawym. Po zaktualizowaniu stanu przez wszystkie komórki, QDVW SXMH�]DPLDQD� LQIRUPDFML�]�V VLDGXM F\PL�NRPyUNDPL��/HZ\�EXIRU�ND GHM�]�NRPyUHN�MHVW� ]PLHQLDQ\� ]� SUDZ\P� EXIRUHP� MHM� OHZHJR� V VLDGD�� 7DN� Z\JO GD� WR� Z� SRGHM FLX�codi.slow.

Rysunek 7.1�� .RPXQLNDFMD� PL G]\� NRPyUNDPL� DXWRPDWX� Z� SU]\SDGNX�SRGHM FLD�codi.slow

Page 41: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�VLHFL�QHXURQRZ\FK 36

Ä6SU\WQLHMV]\P´� UR]ZL ]DQLHP� MHVW� WDNLH�� NWyUH� Z\PDJD� W\ONR� RJUDQLF]RQHM� OLF]E\�SU]HVáD � �codi.fast��� 0R QD� VRELH� Z\REUD]Lü�� H� GR� SU]HV\áDQLD� LQIRUPDFML� PL G]\�komyUNDPL�X \ZD�VL �SU]HVXZDM FHM�WD P\��U\V��7.2���7D PD�A transportuje informacje z SUDZHM� VWURQ\� Z� NLHUXQNX� OHZHM�� :� RGZURWQ\P� NLHUXQNX� WUDQVSRUWXMH� MH� WD PD� B. .RPyUND�FKF F�SU]HWZRU]\ü�LQIRUPDFM �RGF]\WXMH�GDQH�QDSá\ZDM FH�RG�SUDZHJR�V VLDGD�]� WD P\�A�� D� OHZHJR� ]� WD P\�B�� 3R� MHM� SU]HWZRU]HQLX� ]DSLVXMH� LQIRUPDFM �� GOD� OHZHJR�V VLDGD�QD� WD PLH�A� �WDP�VN G�QDGHV]áD� LQIRUPDFMD�RG�SUDZHJR���$QDORJLF]QLH�SRVW SXMH�Z\V\áDM F�GDQH�GR�V VLDGD�SUDZHJR��3R�W\P�NURNX�RE\GZLH�WD P\�SU]HVXZDM �VL �R�MHGQ �MHGQRVWN �� WUDQVSRUWXM F� W\P� VDP\P� ]DSLVDQH� LQIRUPDFMH� PL G]\� NRPyUNDPL�� 3R]RVWDMH�MHV]F]H� SU]HQLH ü� LQIRUPDFM � SR]RVWDZLRQ � SU]H]� NRPyUN �X� Z� PLHMVFH� VN G� E G]LH� M �F]\WDü� Y�� 7R� SRGHM FLH� PR QD� XRJyOQLü� GOD� NRPyUHN� WUyMZ\PLDURZ\FK�� PDM F\FK� QLH GZX��D�V]H FLX�V VLDGyZ�

:�]DLPSOHPHQWRZDQ\P� DOJRU\WPLH� UROH� WD P� VSHáQLD� ]DUH]HUZRZDQ\�REV]DU�SDPL FL��NWyU\� SR]D� QLH]E GQ\P� UR]PLDUHP� GOD� SU]HFKRZDQLD� FDáHM� LQIRUPDFML�� SRVLDGD� MHV]F]H�UH]HUZ �QD� VZRLP�NR FX�� -HGQDN�RSHUDFMD�SU]HVXZX� WD P�QLH� MHVW�RSHUDFM �SU]HVXZDQLD�EORNyZ� SDPL FL�� D� MHG\QLH� RSHUDFM � ]PLDQ\� ZVND QLND� GHILQLXM FHJR� SRF] WNRZH�SRáR HQLH� GDQ\FK�� 'OD� WD P\� A� E G]LH� WR� SU]HVXQL FLH� ZVND QLND� SRF] WNX� GDQ\FK� Z�VWURQ � SUDZ �� 1LH]E GQH� VWDMH� VL � UR]V]HU]HQLH� R� MHGQ � MHGQRVWN � REV]DUX�przechowuM FHJR� GDQH� ]� SUDZHM� VWURQ\� L� Z� WR� PLHMVFH� VNRSLRZDQLH� LQIRUPDFML�SR]RVWDZLRQHM�SU]H]�NRPyUN �X��:� W\P�FHOX� MHVW� UH]HUZRZDQ\�REV]DU�SDPL FL�ZL NV]\�QL � OLF]ED� NRPyUHN� &$�� FR� SR]ZDOD� QD� Z\NRQ\ZDQLH� WHM� RSHUDFML� ZLHORNURWQLH� EH]�Z\NRQ\ZDQLD� NRSLRZDQLD� GX \FK� EORNyZ� SDPL FL�� &HQ � ]D� WDNLH� UR]ZL ]DQLH� MHVW�SR UHGQLH� Z\]QDF]HQLH� DGUHVX� SDPL FL�� VN G� NRPyUND� PD� RGF]\W\ZDü� L� ]DSLV\ZDü�LQIRUPDFMH�� *G\� REV]DU� URERF]\� SU]HVXQLH� VL � GR� NR FD� ]DUH]HUZRZDQHJR� EORNX�� FDáD�]DZDUWR ü�ÄWD P\´�MHVW�NRSLRZDQD�QD�MHJR�SRF] WHN�L�SURFHV�]DF]\QD�VL �RG�SRF] WNX�

7DNLH� UR]ZL ]DQLH� LVWRWQLH� UHGXNXMH� OLF]E � SU]HVáD �� QDWRPLDVW� Z� ID]LH� SU]HWZDU]DQLD�stanu przez poszczególne komórki automatu informacja jest mocno rozproszona po Uy Q\FK�REV]DUDFK�SDPL FL�

7.2 6]\ENR ü�DOJRU\WPX�VHNZHQF\MQHgo

:� WUDNFLH� SUDF� QDG� ]UyZQROHJOHQLHP� DOJRU\WPX� ]RVWDáR� SU]HSURZDG]RQ\FK� NLOND�LQWHUHVXM F\FK� SRPLDUyZ� F]DVyZ� Z\NRQDQLD� DOJRU\WPyZ� VHNZHQF\MQ\FK� QD� Uy Q\FK�PDV]\QDFK� R� Uy Q\FK� DUFKLWHNWXUDFK�� 7HVW� SROHJDá� QD� REOLF]HQLX� ���� IXQNFML�SU]\VWRVRZDQLD�PRGXáX�&R'L� R� UR]PLDUDFK���[��[����.D GH�REOLF]RQH�SU]\VWRVRZDQLH�Z\PDJDáR� SU]HSURZDG]HQLD� ID]\� Z]URVWX� L� V\JQDOL]DFML�� )D]D� V\JQDOL]DFML� PLDáD� VWDá �GáXJR ü� Z\QRV] F � ��� F\NOH�� 1DWRPLDVW� ID]D� Z]URVWX� E\áD� UHGQLR� GáXJD� QD� ��� F\NOL��'DMH�WR�RG����GR����F\NOL�SU]HVáD �Z�DXWRPDFLH�NRPyUNRZ\P��7HVW\�SU]HSURZDG]RQR�QD�

A

B

X Y

Rysunek 7.2�� .RPXQLNDFMD� PL G]\� NRPyUNDPL� DXWRPDWX� Z� SU]\SDGNX�SRGHM FLD�codi.fast

Page 42: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�VLHFL�QHXURQRZ\FK 37

kilku maszynach opisanych w tabeli 7.1�� Z� NWyUHM� SRGDQH� V � F]DV\� Z\NRQDQLD� GZyFK�wariantów implementacji tego samego algorytmu codi.slow i codi fast. Wyniki ]REUD]RZDQR�UyZQLH �QD�Z\NUHVie 7.1.

Pierwszy codi.slow� GR ü� LQWHQV\ZQLH� Z\NRQ\ZDá� SU]HSLV\ZDQLD� PLHG]\� V VLHGQLPL�EORNDPL� SDPL FL�� 'UXJL� codi.fast� LQWHQV\ZQLH�Z\NRQ\ZDá� RGZRáDQLD� SR UHGQLH� GR� VLOQLH�UR]SURV]RQ\FK� REV]DUyZ� SDPL FL�� -DN� ZLGDü�� LPSOHPHQWDFMD� codi.fast� �VN G� SRFKRG]L�nazwa) zdecydowanie lepiej radzi sobie na architekturach Pentium i Pentium II. Na LQQ\FK� DUFKLWHNWXUDFK� QLHFR� Z\GDMQLHMV]\� RND]Dá� VL � codi.slow�� :\GDMH� VL �� H� WDNLH�Z\QLNL�JáyZQLH�QDOH \�WáXPDF]\ü�UR]PLDUDPL�cache’a�L�MHJR�Z\GDMQR FL �

1D� Z\NUHVLH� ZLGDü� SRUyZQDQLH� Z\GDMQR FL� F]WHUHFK� DUFKLWHNWXU�� =RVWDá\� RQH�REOLF]RQH�]�QDVW SXM FHJR�Z]RUX�

wykonaniaczasMHzszybkoscindexarch

_*_

10000_ = (7.1)

3RZ\ V]\� Z]yU� SRZLQLHQ� GDZDü� WDNL� VDP� LQGHNV�� GOD� W\FK� VDP\FK� DUFKLWHNWXU��Uy QL F\FK� VL � W\ONR� WDNWRZDQLHP� SURFHVRUD� L� SRUyZQ\ZDü� Z\GDMQR ü� ]� �0+]�� =DWHP�VáXSHN�Z\ V]\�R]QDF]D�OHSV] �DUFKLWHNWXU �

0 DV]\QD 3 URFHVRU6 \V WHP �RSHUDF\ MQ\

Z egar

proces ora K ompilator codi.s low codi. fas t

GRF �W���GV �SZ U�Z URF �SO��9 &�� 3 HQWLXP : LQGRZV �17�� ��� V is ual C+ + 6 �� � � ��GRF �W���GV �SZ U�Z URF �SO��*&&� 3 HQWLXP : LQGRZV �17�� ��� GCC 2.8 .1 �� � � ��LN DU�W���GV �SZ U�Z URF �SO 3 HQWLXP �,, / LQX[ ��� GCC 2.8 .1 �� � ��VS��ZFVV �ZURF �SO 3 RZHU� $ ,; �� GCC 2.8 .1 �� � � ��DOLF H�F L�SZU�ZURF �SO 8 OW UD 6 XQ26 ��� GCC 2.8 .1 �� � � �� Tabela 7.1��&]DV\�Z\NRQDQLD�GOD�PDV]\Q�R�Uy Q\FK�DUFKLWHNWXUDFK

0

50

100

150

200

250

300

350

400

450

GRF�W��

�GV�SZ

U�ZURF�SO��9&

��

GRF�W��

�GV�SZ

U�ZURF�SO��*&

&�

LNDU�W�

��GV�SZU�ZUR

F�SO

VS��ZF

VV�ZUR

F�SO

DOLFH�FL�SZ

U�ZURF�SO

Cza

s w

yk

on

an

ia [

s]

codi.s low

codi.fas t

Wykres 7.1��&]DV\�Z\NRQDQLD�GOD�PDV]\Q�R�Uy Q\FK�DUFKLWHNWXUDFK

Page 43: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�VLHFL�QHXURQRZ\FK 38

3RUyZQDQLH� WR� QLH� MHVW� MX � WDN� QLHNRU]\VWQH� GOD� ,%0D� 63�� L� ZLGDü�� H� XVW SXMH�DUFKLWHNWXU]H�3HQWLXP�,,�JáyZQLH�V]\ENR FL �WDNWRZDQLD�MHGQRVWNL�FHQWUDOQHM�

7.3 =UyZQROHJOHQLH�REOLF]H

%DUG]R� GX H� SU]\ SLHV]HQLH� PR QD� RVL JQ ü� LPSOHPHQWXM F� PHFKDQL]P\� *$� Z�VSRVyE� UyZQROHJá\�� NWyU\� Z\GDZDü� VL � PR H� QDMQDturalniejszym sposobem realizacji. 7\ONR� G]L NL� WHPX�� L � ]RVWDáD� Z\NRQDQD� LPSOHPHQWDFMD� UyZQROHJOH� REOLF]DM FD� ILWQHVV�RVREQLNyZ� QD� ZLHOX� SURFHVRUDFK� L� PDV]\QDFK�� E\áR� PR OLZH� SU]\WRF]HQLH�prezentowanych wyników.

7.3.1 .RPXQLNDFMD�PL G]\�SURFHVDPL�

Komunikacja mL G]\� SURFHVDPL� master i slave przebiega w klasyczny sposób – za SRPRF � GZyFK� SRGZyMQ\FK� SDU� VNU]\ RZDQHM� RSHUDFML� MPI_Send i MPI_Recv�� .D GH�SU]HVáDQLH� GDQ\FK� VSURZDG]D� VL � GR� SU]HVáDQLD� ZDUWR FL� FDáNRZLWHM� �MPI_INT) RNUH ODM FHM� GáXJR ü� SDF]NL� GDQ\FK�GR�RGHEUDQLD��3DF]ND�GDQ\FK� VNáDGD� VL � ]�SU]HVáDQHM�ZáD QLH� OLF]E\� ]QDNyZ� �MPI_CHAR�� L� MHVW� Z\V\áDQD� DV\QFKURQLF]QLH� MPI_ISend. Na SRGVWDZLH�WDN�SU]HVáDQHM�LQIRUPDFML�RGELRUFD�UR]NRGRZXMH�QLH]E GQH�GDQH�

7DN� ]DSURSRQRZDQH� UR]ZL ]DQLH� MHVW� PR H� QLH]E\W� Z\GDMQH�� JG\ � QDGDZFD� PXVL�SU]HNRQZHUWRZDü�SU]HV\áDQH�GDQH�QD�SRVWDü�WHNVWRZ ��D�RGELRUFD�PXVL�MH�]LQWHUSUHWRZDü��-HGQDN H� MHVW� EDUG]R� Z\JRGQH� ]� SXQNWX� ZLG]HQLD� LPSOHPHQWDFML�� JG]LH� GDQH� PR HP\�WUDNWRZDü� MDNR� VWUXPLH � �SOLN�� WHNVWRZ\� L� GRGDWNRZR� GDM F� QLH]DOH QR ü� RG�Z\NRU]\VW\ZDQHM�DUFKLWHNWXU\�VSU] WRZHM�

Slave

.D G\� SURFHV� slave� SRF] WNRZR� F]HND� QD� GDQH� GR� REOLF]H �� 0R H� RWU]\PDü� E G �GDQH��E G � LQIRUPDFM �V\JQDOL]XM F ��DE\�]DNR F]\á�VZRMH�Z\NRQDQLH��SDF]ND�R�GáXJR FL����� 3R� RWU]\PDQLX� SDF]NL� SU]\VW SXMH� GR� REOLF]H �� 3R� LFK�Z\NRQDQLX� RGV\áD�Z\QLNL� �Z�SDF]FH��GR�SURFHVX�]DU] GF\�L�RF]HNXMH�QD�NROHMQH�]DGDQLH�

0

0,5

1

1,5

2

2,5

3

3,5

4

4,5

GRF�W��

�GV�SZ

U�ZURF�SO��9&

��

GRF�W��

�GV�SZ

U�ZURF

�SO��*&

&�

LNDU�W�

��GV�SZU�ZUR

F�SO

VS��ZF

VV�ZURF�SO

DOLFH�FL�SZ

U�ZURF�SO

ZVSyáF]\QQLN�DUFKLWHNWXU\��DUFKBLQGH[�

codi.s low

codi.fas t

Wykres 7.2��&]DV\�Z\NRQDQLD�GOD�PDV]\Q�R�Uy Q\FK�DUFKLWHNWXUDFK

Page 44: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�VLHFL�QHXURQRZ\FK 39

Master

3R� UR]SRF] FLX� SUDF\� LQLFMXMH� ZV]HONLH� QLH]E GQH� VWUXNWXU\� RUD]� VSRU] G]D� OLVW �ZVSyáSUDFXM F\FK� ]� QLP� SURFHVyZ� REOLF]HQLRZ\FK�� *URPDG]L� GDQH� R� ND Gym ze ÄZVSyáSUDFRZQLNyZ��F]\�SURFHV� MHVW�REFL RQ\�RUD]�REOLF]D�Z\GDMQR ü�ND GHJR�]�QLFK��1D�SRGVWDZLH� W\FK�GDQ\FK�Z\]QDF]D� OLF]E �REOLF]H � IXQNFML� ILWQHVV�GOD�ND GHJR�SURFHVX�GDM F � QDMV]\EV]\� F]DV� REOLF]HQLD� SU]\VWRVRZDQLD� ZV]\VWNLFK� RVREQLNyZ� SRSXODFML� ]DNáDGDM F�� H� Z\GDMQR ü� Z ]áyZ� SR]RVWDQLH� QLH]PLHQLRQD�� 1DVW SQLH� JHQHURZDQH� V �SDF]NL� GDQ\FK� L� UR]V\áDQH� GR� RF]HNXM F\FK� SURFHVyZ�� *G\� ZV]\VWNLH� SURFHV\� PDM �rozdzielone zadania zgodnie z planem dystrybucji, master� RF]HNXMH� QD� LQIRUPDFM � R�GáXJR FL�SDF]ki do odebrania od dowolnego z procesów (MPI_Wait). Po jej otrzymaniu SRELHUDQH� V � ZáD FLZH� Z\QLNL� REOLF]H � –� Z\QLNL� QD� Z\M FLDFK� PRGXáX� &R'L� ]� ID]\�V\JQDOL]DFML��3R�VWURQLH�SURFHVX�FHQWUDOQHJR�V �RQH�QDVW SQLH�SU]HNV]WDáFDQH�QD�ZáD FLZ �ZDUWR ü� IXQNFML� SU]\VWRVRZDQLD�� -H HOL� NRQLHF]QH�� GRNRQ\ZDQD� MHVW� NRUHNFMD� SODQX�SU]\G]LDáX�]DGD �L�G\VWU\EXRZDQH�MHVW�]DGDQLH�GOD�QLHREFL RQ\FK�SURFHVyZ�

7.3.2 $OJRU\WP�REFL DQLD�SURFHVRUyZ

:� UDPDFK� HNVSHU\PHQWX� HZROXF\MQHJR� NRV]W� REOLF]HQLRZ\� Z\]QDF]HQLD� ZDUWR FL�funkcji przyVWRVRZDQLD� QLH� ]PLHQLD� VL � ]QDF] FR�� :� WUDNFLH� SURZDG]RQ\FK� WHVWyZ�HOHPHQWHP�� NWyU\� QLHSRWU]HEQLH� VSRZDOQLDá� REOLF]HQLD� E\áD� NRQLHF]QR ü� ]ELHUDQLD�ZV]\VWNLFK�ZDUWR FL� ILWQHVV�SU]HG�SU]\VW SLHQLHP�GR�RSHUDFML�JHQHW\F]Q\FK� L�G\VWU\EXFM �NROHMQ\FK�]DGD �GR�SRV]F]HJyOQ\FK�Z ]áyZ��1DMSRZROQLHMV]\�Z ]Há�F] VWR�ZVWU]\P\ZDá�SUDF � SR]RVWDá\FK� PLPR� WHJR�� L � LQQ\� V]\EV]\� PyJáE\� Z\NRQ\ZDü� QDVW SQH� ]DGDQLD��$E\� ]DSHZQLü� RSW\PDOQH� Z\NRU]\VWDQLH� ZV]\VWNLFK� Z ]áyZ�� SURFHV� Master zbiera ostatnie 10 czasów obliczenia funkcji� ILWQHVV�� GOD� ND GHJR� ]� Z ]áyZ�� 1D� WHM� SRGVWDZLH�PR H� SURJQR]RZDü� F]DV\� ]DNR F]HQLD� REOLF]H � SU]H]� SURFHV\� slave. Przed SU]\VW SLHQLHP� GR� HZROXFML� NROHMQHJR� SRNROHQLD�� WDN� UR]NáDGD� OLF]E � REOLF]H � GOD�ND GHJR� Z ]áD�� DE\� FDáNRZLW\� F]DV� REOLF]HQLD� ILWQHVV� GOa wszystkich osobników SRNROHQLD� E\á� QDMNUyWV]\�� :� WUDNFLH�� JG\� QDSá\ZDM � Z\QLNL�� F]DV\� SURJQR]RZDQHJR�]DNR F]HQLD� REOLF]H � PRJ � XOHF� ]PLDQLH� L� REOLF]HQLD� PRJ � E\ü� SU]HVXQL WH� ]� Z ]áD�ZROQLHMV]HJR� QD� Z ]Há� V]\EV]\�� -DN� SRND]Dá\� WHVW\�� ZSURZDG]HQLH� WHM� PRG\fikacji SR]ZROLáR� SU]\ SLHV]\ü� REOLF]HQLD� DQJD XM F� WDN H� MHGQRVWNL� R� VWRVXQNRZR�PDáHM� PRF\�REOLF]HQLRZHM�Z]JO GHP�LQQ\FK�

']L NL�]DVWRVRZDQLX�SURJQR]RZDQLD�F]DVX�]DNR F]HQLD�]DGD ��SURFHVRU\�V �REFL DQH�Z� VSRVyE� RSW\PDOQ\�� 3U]\� GX HM� SRSXODFML� QDZHW� EDUG]R� ZROQH� Z ]á\� QLH� VSRZDOQLDM �REOLF]H ��

,QQ\P� VSRVREHP� QD� SU]\ SLHV]HQLH� PRJáDE\� E\ü� ]PLDQD� DOJRU\WPX� VHOHNFML� QD� WDNL��NWyU\� QLH� Z\PDJD� ]QDMRPR FL� ZV]\VWNLFK� IXQNFML� SU]\VWRVRZDQLD� SU]HG� SU]\VW SLHQLHP�do operacji genetycznych.

7.3.3 Komunikacja w oparciu o gniazdka uniksowe (sockets)

6SRVyE�SU]HV\áDQLD�GDQ\FK�RSDUW\�R�SDNRZDQLH�GDQ\FK�Z�SDF]NL�R�RNUH ORQHM�GáXJR FL�L�SU]HV\áDQLH�PL G]\�RGELRUF �L�QDGDZF �]RVWDá�JáyZQLH�QDU]XFRQ\�SU]H]�IDNW��L �PR OLZH�MHVW�UyZQLH �UR]SUDV]DQLH�REOLF]H �Z�RSDUFLX�R�JQLD]GND�XQiksowe (ang. sockets). Jest to UR]ZL ]DQLH� GX R� EDUG]LHM� HODVW\F]QH� L� SU]HQR QH�� JG\ � QLH� Z\PDJD� LQVWDODFML�RSURJUDPRZDQLD� ]DSHZQLDM FHJR� REVáXJ � 03,�� 8PR OLZLD� RQR� G\VWU\EXFM � ]DGD � ]D�SRPRF � UR]OHJá\FK� VLHFL� 7&3�,3� GR� KHWHURJHQLF]Q\FK� Z ]áyZ�� -DN� VL � RND]DáR�UR]ZL ]DQLH� WR� E\áR� GX R� Z\JRGQLHMV]H� Z� SUDNW\FH� L� ]� SRZRG]HQLHP� ]DVW SLáR�

Page 45: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�VLHFL�QHXURQRZ\FK 40

UR]ZL ]DQLH�RSDUWH�R�03,��-HJR�NRQVWUXNFMD� MHVW�DQDORJLF]QD�GR�WHJR�RSDUWHJR�R�03,�– MHG\Q �Uy QLF �MHVW�PHGLXP�-�SURWRNyá�7&3�Z�PLHMVFH�NRPXQLNDFML�03,�

Ten sam program wykonaZF]\� PR H� UHDOL]RZDü� IXQNFMH� VHUZHUD� REOLF]H � RUD]�FHQWUDOQHJR� SURFHVX� ]DU] GF\� HZROXFML�� :\EyU� GRNRQ\ZDQ\� MHVW� QD� SRGVWDZLH�SDUDPHWUyZ� OLQLL� NRPHQG�� 'OD� SURFHVX� PDM FHJR� E\ü� VHUZHUHP� REOLF]H � MHG\Q\P�SDUDPHWUHP� MHVW� SRUW�� QD� NWyU\P� SRZLQLHQ� QDVáXFKLZDü� QDGFKRG] F\FK� SRá F]H ��&HQWUDOQ\� SURFHV� VWHUXM F\� HZROXFM � MDNR� SDUDPHWU\� RWU]\PXMH� SOLN� ]� OLVW � DGUHVyZ� L�SRUWyZ�PDV]\Q��NWyUH�PDM �Z]L ü�XG]LDá�Z�REOLF]HQLDFK��3URFHV�WHQ��SRGREQLH�MDN�master SU]\� LPSOHPHQWDFML�RSDUWHM�R�ELEOLRWHN �03,��QLH�Z\NRQXMH�REOLF]H �D�MHG\QLH�á F]\�VL �]�procesami obliczeniowymi, dystrybuuje obliczenia oraz przeprowadza operacje JHQHW\F]QH�� ,PSOHPHQWDFMD� RSDUWD� R� JQLD]GND� ]RVWDáD� VWZRU]RQD� SU]\� Z\NRU]\VWDQLX�SU]HQR QHM�ELEOLRWHNL�socket++.�']L NL�WHPX�PR OLZH�MHVW�UR]SUDV]DQLH�REOLF]H �]DUyZQR�GR� V\VWHPyZ�XQLNVRZ\FK� L� V\VWHPyZ�RSHUDF\MQ\FK� ]� URG]LQ\�:LQGRZV��8PR OLZLD�RQD�SRWUDNWRZDQLH� SRá F]HQLD� 7&3� MDNR� RELHNWX� VWUXPLHQLRZHJR� &���� SR]ZDODM F� EDUG]R�Z\JRGQLH�RGZRá\ZDü�VL �GR�RSHUDFML�]ZL ]DQ\FK�]�NRPXQLNDFM �7&3�,3��

=H� Z]JO GX� QD� XWU]\PDQLH� SU]HQR QR FL� PL G]\� ZVSRPQLDQ\PL� V\VWHPDPL�RSHUDF\MQ\PL��VHUZHU\�REOLF]H �PRJ �REVáXJLZDü� W\ONR� MHGQR�QDGFKRG] FH�SRá F]HQLH�Z�GDQHM�FKZLOL��0R OLZR ü�REVáXJLZDQLD�ZLHOX�SURFHVyZ�FHQWUDOQ\FK�Z\GDMH�VL �]E\WHF]QD��JG\ � WDND� NRQNXUHQFMD� R� GRVW S� GR� SURFHVRUD� SRZRGRZDáDE\� VSDGHN� Z\GDMQR FL�REOLF]H �� 6DPH� REOLF]HQLD� PDM � FKDUDNWHU� UDF]HM� GáXJRWUZDá\� L� DNFHSWRZDQLH� ZL NV]HM�OLF]E\�SRá F]H �SURZDG]LáRE\�GR�SU]HFL HQLD�Z ]áD

7.3.4 .RGRZDQLH�SU]HV\áDQHM�LQIRUPDFML

: VNLP� JDUGáHP� SU]\� SRá F]HQLX� 7&3� RND]Dá� VL � UR]PLDU� SDF]NL�� JG\� E\á� ]D� GX \��PR OLZH� E\áR� Z\V\áDQLH� MHGQHM� SDF]NL� Z� GDQHM� FKZLOL�� JG\ � GDQH� EORNRZDá\� VL � QD�EXIRU]H�7&3��FR�SU]\�SRZROQ\P�SRá F]HQLX�MHVW�EDUG]R�QLHNRU]\VWQH�

3UREOHP� ]RVWDá� UR]ZL ]DQ\� ]D� SRPRF � GZyFK� SRSUDZHN�� 6NUyFRQR� UR]PLDU� SDF]Ni SU]H]� NRGRZDQLH� LQIRUPDFML� ]D�SRPRF �ELQDUQHJR� VWUXPLHQLD�EDMWyZ�DOH� WDN�� DE\�E\á�RQ�SU]HQR Q\� PL G]\� SODWIRUPDPL�� 3R]ZROLáR� WR� ]UHGXNRZDü� UR]PLDU� SDF]NL� NRGXM FHM�FKURPRVRP�RG� GZyFK� GR� WU]HFK� UD]\��'DZDáR� WR� RNRáR� �� .%�GDQ\FK� QLH]E GQ\FK�GR�SU]HVáDQLD� GR� Z ]áD� REOLF]HQLRZHJR�� 1DVW SQLH� XVWDZLRQR� EXIRU� 7&3� QD� PDNV\PDOQ\�rozmiar – 64 .%�� FR� SR]ZROLáR� UR]V\áDü� GDQH� UyZQROHJOH� GR� ZV]\VWNLFK� Z ]áyZ�MHGQRF]H QLH��

5R]ZL ]DQLH� ]�NRGRZDQLHP�ELQDUQ\P�FKURPRVRPX�RVWDWHF]QLH� ]DVWRVRZDQR� WDN H�Z�ZHUVML�03,�UHGXNXM F�LOR ü�SU]HV\áDQ\FK�GDQ\FK�PL G]\�Z ]áDPL�

7.3.5 8]\VNDQH�SU]\ SLHV]HQLH

'OD� DOJRU\WPyZ� XUXFKDPLDQ\FK� UyZQROHJOH� GHILQLXMH� VL � SU]\ SLHV]HQLH (p) i HIHNW\ZQR ü (e):

par

sek

t

tp = (7.2)

cpupar

sek

cpu nt

t

n

pe == (7.3)

gdzie tsek to czas wykonania algorytmu sekwencyjnego, tpar to czas wykonania algorytmu UyZQROHJáHJR��D�ncpu�MHVW�OLF]E �SURFHVRUyZ�ELRU F\FK�XG]LDá�Z�REOLF]HQLDFK�

3RVWDQRZLRQR� ]PLHU]\ü� WH� ZVSyáF]\QQLNL� GOD� UyZQROHJáHM� LPSOHPHQWDFML� ]DUyZQR� GOD�ZHUVML� RSDUWHM� R� ELEOLRWHN � 03,�� MDN� L� ZHUVML� RSDUWHM� R� JQLD]GND�� 3LHUZV]\� ]� WHVWyZ�

Page 46: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�VLHFL�QHXURQRZ\FK 41

przeprowadzono na IBMie SP2 –����Z ]áRZ\P�VXSHUNRPSXWHU]H��-HGQDN�]H�Z]JO GX�QD�WR�� L � PDV]\QD� E\áD� FDá\� F]DV� REFL RQD� SU]H]� LQQ\FK� X \WNRZQLNyZ�� XQLHPR OLZLáR� WR�SU]HGVWDZLHQLH�RELHNW\ZQ\FK�Z\QLNyZ�SU]\ SLHV]HQLD�

'UXJL� ]� WHVWyZ� PLDá� QD� FHOX� ]PLHU]HQLH� SU]\ SLHV]HQLD� X]\VNLZDQHJR� G]L NL�

]DDQJD RZDQLX�UyZQROHJOH�OLF] F\FK rozproszonych stacji PC z procesorami Pentium II i 3HQWLXP� SRá F]RQ\FK� VLHFL � Ethernet� R� SU]HSXVWRZR FL� ��� Mbitów. Do dystrybucji ]DGD � X \WR� UyZQROHJáHM� ZHUVML� V\VWHPX� RSDUWHM� R� JQLD]GND� XQLNVRZH�� 0DV]\Q\� QD�NWyU\FK� SU]HSURZDG]DQR� WHVW� QLH� PLDá\� UyZQHM� PRF\� REOLF]HQLRZHM� L� ZL NV]R ü� ]� QLFK�E\áD� Z\SRVD RQD� Z� MHGHQ� SURFHVRU� 3HQWLXP� ,,� ���� 0K]� L� :LQGRZV� 17� MDNR� V\VWHP�operacyjny. W tabeli 7.2 zebrano uzyskane wyniki, i zobrazowano je na wykresach 7.3-5. -DNR�WHVW�X \WR�]DGDQLD�RSLVDQHJR�Z�UR]G]LDOH�8.3�GáXJLHJR�QD���SRNROH �

-DN� ZLGDü� ]DVWRVRZDQLH� DOJRU\WPX� UyZQROHJáHJR�� Z� EDUG]R� LVWRWQ\� VSRVyE� PR H�ZSá\Q ü� QD� SU]\ SLHV]HQLH� F]DVX� REOLF]H �� (IHNW\ZQR ü� SRQL HM� �� PR QD� WáXPDF]\ü�GZRMDNR�� -HGQD� ]� PDV]\Q�� E G FD� SURFHVHP� master� G\VWU\EXXM F\P� ]DGQLD�� QLH� EUDáD�XG]LDáX� Z� REOLF]HQLDFK�� 'RGDWNRZR� UyZQROHJáH� SU]HWZDU]DQLH� ZSURZDG]DáR�NLONXVHNXQGRZ\� QDU]XW�� QD� WUDQVPLVM � Z]RUFyZ� WHVWRZ\FK� GR� ND GHM� ]�PDV]\Q� ELRU FHM�udziaá� Z� REOLF]HQLDFK�� 3RQLHZD � RSHUDFMD� WD� QLH� E\áD� ]UyZQROHJORQD�� SURZDG]L� WR� GR�VSDGNX� HIHNW\ZQR FL� SU]\� ZL NV]HM� OLF]ELH� PDV]\Q�� D� PDáHM� OLF]ELH� JHQHUDFML�� 0DV]\Q\�QLH� PLDá\� UyZQHM� PRF\�� FR� GRGDWNRZR� ]DNáyFD� SUH]HQWRZDQ\� REUD]�� 1LH� PQLHM�X]\VNLZDQH�SU]\ SLHV]HQLH�E\áR�EDUG]R�]QDF] FH�

0R QD� PLDáR� SRZLHG]LHü�� L � NODVWU\� VWDFML� URERF]\FK� SRá F]RQ\FK� VLHFL � Fast Ethernet� V � WDQL � L� EDUG]R� Z\GDMQ � DOWHUQDW\Z � GOD� GURJLFK� VXSHUNRPSXWHUyZ�RIHURZDQ\FK� QD� U\QNX�� =ZD \ZV]\� QD� SRZV]HFKQR ü� WDNLFK� UR]ZL ]D � L� PRF�

/LF]ED�PDV]\Q

F]DV�Z\NRQDQLD�>V@ SU]\ SLHV]HQLH HIHNW\ZQR ü

VHN� ����� ���� ���� ����� ���� ���� ����� ��� ���� ����� ��� ���� ����� ��� ���� ����� ��� ���� ����� ��� ���� ����� ��� ���� ������ ��� ���� ������ ��� ���� ����

Tabela 7.2. Czas wykonania

���

����

����

����

VHN� � � � � � � � � �� ��

OLF]ED�PDV]\Q

F]DV�Z\NRQDQLD�>V@

Wykres 7.3. Czas wykonania

����

����

����

����

����

����

����

� � � � � � � � �� ��OLF]ED�PDV]\Q

SU]\SLHV]HQLH

Wykres 7.4��3U]\ SLHV]HQLH

��������������������������������������������

� � � � � � � � �� ��OLF]ED�PDV]\Q

HIHNW\ZQRü

Wykres 7.5��(IHNW\ZQR ü

Page 47: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�VLHFL�QHXURQRZ\FK 42

doróZQXM F � VXSHUNRPSXWHURP�� Z\JRGQLHMV]H� PR H� RND]Dü� VL � SU]HSURZDG]DQLH�GáXJRWUZDá\FK� REOLF]H � ZáD QLH� Z� WDNLFK� URGRZLVNDFK�� =H� Z]JO GX� QD� VSHFMDOLVW\F]QH�RSURJUDPRZDQLH� Z� MDNLH� Z\SRVD RQH� V � VXSHUNRPSXWHU\�� E\ZDM � RQH� F] VWR�SU]HFL RQH�� GRVW S� GR� QLFK� MHVW� XWUXGQLRQ\�� D� RIHURZDQD� PRF� QLHZ\VWDUF]DM FD�� 'OD�SRUyZQDQLD�� GR ü� SU]HVWDU]Dá\� VXSHUNRPSXWHU� GRVW SQ\� ZH� :URFáDZVNLP� &HQWUXP�Sieciowo-Superkomputerowym –� ,%0�63��GOD�SU]\WRF]RQHJR�SU]\NáDGX��Z\NRU]\VWXM F��� ]� ��� Z ]áyZ� SRWU]HERZDá\� RNRáR� �� JRG]LQ� �RNRáR 10000 sekund). Wykorzystanie ZV]\VWNLFK����Z ]áyZ�PRJáRE\�WHQ�F]DV�]UHGXNRZDü�GR�RNRáR����PLQXW��MHGQDN�PDV]\QD�WD� MHVW� GR ü� PRFQR� REFL RQD� ]H� Z]JO GX� QD� ]DLQVWDORZDQH� RSURJUDPRZDQLH� L� WDNLH�SRVW SRZDQLH�� VSRZRGRZDáRE\� SURWHVW� LQQ\FK� X \WNRZQLNyZ��=HVSyá�ZVSyáG]LDáDM F\FK�VWDFML�URERF]\FK�3&�RND]Dá�VL �OHSV] �DOWHUQDW\Z �

:� WUDNFLH� SURZDG]RQ\FK� EDGD � RND]DáR� VL �� H� G]L NL� ]UyZQROHJOHQLX� REOLF]H � GOD�GX \FK� HNVSHU\PHQWyZ� L� GX \FK� SRSXODFML� Z\QLNL� E\á\� X]\VNLZDQH� SUDZLH� R� U] G�ZLHONR FL� V]\EFLHM�� -HGQDN H� VDPD� ELEOLRWHND� 03,� RND]DáD� VL � PDáR� SUDNW\F]QD�� JG\ �VWRVXQNRZR� WUXGQR� VWRVRZDü� M � Z� FDáNLHP� KHWHURJHQLF]Q\FK� UR]SURV]RQ\FK�URGRZLVNDFK�� ]H� Z]JO GX� QD� Z\PDJDQLD� ]JRGQR FL� VWRVRZDQ\FK� LPSOHPHQWDFML� 03,��

Instalacja takiego oprogramowania wymaga interwencji administratora, co nie zawsze MHVW� PR OLZH�� :� WUDNFLH� SUDF� QLHZLHOND� PRG\ILNDFMD� LPSOHPHQWDFML� 03,�� XPR OLZLáD�V]\ENLH� SU]HM FLH� QD�NRPXQLNDFM �RSDUW �R�JQLD]GND�XQLNVRZH� �sockets���=H�Z]JO GX�QD�UR]ZL ]\ZDQ\� SUREOHP�� SU GNR ü� NRPXQLNDFML� MHVW� PDáR� LVWRWQa, bardziej istotna jest PR OLZR ü� UR]SUDV]DQLD� REOLF]H � QD� PDNV\PDOQ � LOR ü� PDV]\Q�� 7DNLH� UR]ZL ]DQLH�RND]DáR� VL � R� ZLHOH� SUDNW\F]QLHMV]H�� JG\ � XPR OLZLáR� Z\NRQ\ZDQLH� REOLF]H � QD�KHWHURJHQLF]Q\FK� NODVWUDFK� RSDUW\FK� R� Uy QRUDNLH� V\VWHP\� RSHUDF\MQH� �:LQGRZV NT, /LQX[�� 6XQ26�� $,;�� ,5,;�� L� Uy QH� DUFKLWHNWXU\� VSU] WRZH� �3HQWLXP�� 6SDUF�� 3RZHU���MIPS).

Page 48: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�VLHFL�QHXURQRZ\FK 43

8. 3U]HSURZDG]RQH�GR ZLDGF]HQLD

$XWRU�SU]HSURZDG]Lá� W\ONR�QLHZLHONL� SRG]ELyU� HNVSHU\PHQWyZ�� MDNLH�Z\GDZDá\�PX�VL �FHORZH��3U]\F]\QD�WNZLáD�JáyZQLH�Z�EDUG]R�GX \P�F]DVLH�REOLF]H �L�]DSRWU]HERZDQLX�QD� PRF� REOLF]HQLRZ �� :� SRF] WNRZHM� ID]LH� ]RVWDáR� SU]HSURZDG]RQ\FK� NLOND�HNVSHU\PHQWyZ� PDM F\FK� QD� FHOX� RJyOQH� ]DSR]QDQLH� VL � ]� QRZ\P� SRGHM FLHP� GR�HZROXFML� VLHFL� QHXURQRZ\FK�� .ROHMQH� PLDá\� ZHU\ILNRZDü� ZQLRVNL� Z\NRU]\VWXM FH�zdRE\W �ZLHG] �

8.1 (NVSHU\PHQW\�ZVW SQH

:�SRF] WNRZHM� ID]LH� SU]HSURZDG]RQR� V]HUHJ� HNVSHU\PHQWyZ�� NWyUH�PLDá\� XVWDOLü�MDNLH� RSHUDWRU\� JHQHW\F]QH� L� LFK� SDUDPHWU\� ]DSHZQLDM � QDMV]\EV]H� SRV]XNLZDQLD�RSW\PDOQ\FK�PRGXáyZ��:\NRQDQR� V]HUHJ� HNVSHU\PHQWyZ� ED]XM F\FK� QD� Vtandardowym problemie wykorzystywanym przy testach NNs - funkcji xor, która na pojedynczym Z\M FLX� SRGDM � Z\QLN� Uy QLF\� V\PHWU\F]QHM� PL G]\� ZV]\VWNLPL� ZHM FLDPL�� :� W\P� FHOX�SU]HSURZDG]RQR�ZLHOH� XV\VWHPDW\]RZDQ\FK� SRPLDUyZ� ]� Uy Q\PL� UR]PLDUDPL�PRGXáyZ��liczE � ZHM ü� IXQNFML� xor�� UR]PLDUHP� SRSXODFML�� SUDZGRSRGRELH VWZDPL� PXWDFML� L�NU]\ RZDQLD�� 1LHVWHW\�� QLH� SR]ZROLá\� RQH� GRNáDGQLH� QDV]NLFRZDü� VSRVREX� GRERUX�SDUDPHWUyZ� HZROXF\MQ\FK� WDN�� DE\� DOJRU\WP� JHQHW\F]Q\� RGQDMGRZDá� GREUH� UR]ZL ]DQLD�problemu. Odnaleziono jednak kilka tendencji.

1DMEDUG]LHM� ZLGRF]Q\P� ZQLRVNLHP� E\áR� WR�� H� SRZL NV]DQLH� OLF]E\� RVREQLNyZ� Z�SRNROHQLX� SRZRGXMH�� L � ]QDMGRZDQH� UR]ZL ]DQLD� V � GX R� OHSV]HM� MDNR FL��:\GDMH� VL � WR�RF]\ZLVWH�� JG\ � LP� ZL FHM� RVREQLNyZ�� W\P� ZL FHM� SXQNWyZ� SU]HVWU]HQL� MHst SU]HV]XNLZDQ\FK��DOH�MHGQRF]H QLH�Z\GáX D�VL �F]DV�REOLF]H �

,QQ\P�]�LQWHUHVXM F\FK�VSRVWU]H H �E\á�IDNW�� L �Z\QLNL�V �OHSV]H�SU]\�]GHILQLRZDQLX�NLONX� ZHM ü� Z� Uy Q\FK� F] FLDFK� PRGXáX� L� SRGDZDQLH� QD� QLH� VWDáHJR� SREXG]HQLD�� %H]�DGQHJR� SREXG]HQLD� XNáDG� QLH� MHVW� Z� VWDQLH� JHQHURZDü� LQQ\FK� SREXG]H �� 'RVWDUF]HQLH�WDNLFK�ZHM ü�E G F\FK�RGSRZLHGQLNDPL�ZHM FLD�bias�Z�NODV\F]Q\FK�11V�SRZRGRZDáR�L �PRGXá\�GX R�V]\EFLHM�QDELHUDá\�SR GDQ\FK�FHFK�ZUD]�]�NROHMQ\PL�JHQHUDFMDPL�

1LH� XGDáR� VL � XVWDOLü� RSW\PDOQ\FK� ZDUWR FL� ZVSyáF]\QQLND� NU]\ RZDQLD� ZUD]� ]�GREUDQ\P� GR� QLHJR� ZVSyáF]\QQLNLHP� PXWDFML�� 3U]\F]\Q\� PR QD� VL � GRSDWU\ZDü� Z�VNURPQ\FK� ZLHONR FLDFK� SRSXODFML� –� QDMZL NV]H� WHVWRZDQH� SRSXODFMH� OLF]\á\� ���RVREQLNyZ��3U]\�UR]PLDUDFK� LQIRUPDFML�JHQHW\F]QHM�ZDKDM FHM�VL �RG�kilku do kilkunastu NLOREDMWyZ�� WDN� VNURPQD� UHSUH]HQWDFMD� SXQNWyZ� SU]HVWU]HQL� UR]ZL ]D � QLH� ]DSHZQLD�HIHNW\ZQHJR� G]LDáDQLD� RSHUDWRUD� NU]\ RZDQLD�� *áyZQ\P� PRWRUHP� ÄSRVW SX´� E\á�RSHUDWRU� PXWDFML�� NWyU\� ZSURZDG]DM F� SU]\SDGNRZH� ]PLDQ\�� SU]HV]XNLZDá� SXQNW\�przHVWU]HQL� Z� RWRF]HQLX� RGQDOH]LRQ\FK� UR]ZL ]D �� -HGQDN� ]HURZ\� ZVSyáF]\QQLN�NU]\ RZDQLD� QLH� E\á� Z\ERUHP� QDMOHSV]\P�� -HJR� QLHZLHOND� ZDUWR ü� ]DSHZQLDáD� U]DGNLH�PDNURPXWDFMH�� SR]ZDODM FH� QD� Z\PLDQ � QDJURPDG]RQ\FK� PXWDFML� RUD]� XWZRU]HQLH�osobnika o genotypie mocnR� RGELHJDM F\P� RG� DNWXDOQ\FK� RVREQLNyZ�Z\VW SXM F\FK�Z�populacji.

2GQDOH]LRQH�RSWLPXP�SUDZGRSRGRELH VWZD�GOD�ZVSyáF]\QQLND�PXWDFML��WR��������D�NU]\ RZDQLD� ������ ZLHONR ü� SRSXODFML� ]RVWDáD� GRELHUDQD�Z� GDOV]\FK� HNVSHU\PHQWDFK� QD�60.

=DXZD RQR� SRQDGWR�� L � IXQNFMD� SU]\VWRVRZDQLH� QLH� SRZLQQD� E\ü� OLF]RQD�QDW\FKPLDVW�SR�SRGDQLX�SLHUZV]HJR�V\JQDáX��6\JQDá�SRGDZDQ\�QD�ZHM FLH�PXVL�]RVWDü�Z�PRGXOH� SRSUDZQLH� SU]HWZRU]RQ\�� FR� Z\PDJD� NLONXG]LHVL FLX� F\NOL� V\JQDOL]DFML�� DE\�]RVWDá�UR]SURSDJRZDQ\�SR�ZV]\VWNLFK�NRPyUNDFK�PRGXáX��D�Z�V]F]HJyOQR FL�GRWDUá��E\ü�

Page 49: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�VLHFL�QHXURQRZ\FK 44

PR H� SR� SU]HWZRU]HQLX�� GR� Z\M FLD�Z\M ü� XNáDGX�� :� W\P� FHOX� SRPLMDQR� SLHUZV]H�NLONDG]LHVL W� RGSRZLHG]L� QD� Z\M FLX�� %DUG]LHM� LQWHUHVXM FH� Z\GDM � VL � E\ü� PRGXá\�SRSUDZQLH� SU]HWZDU]DM FH� V\JQDá�� D� QLH� W\ONR� WH�� NWyUH� V � JR� Z� VWDQLH� SU]HWZRU]\ü�PR OLZLH�QDMV]\EFLHM�

:� WUDNFLH� SUDF� QLH]E GQH� RND]DáR� VL � SU]HEDGDQLH� JHQHUDWRUyZ� OLF]E�SVHXGRORVRZ\FK� ]DLPSOHPHQWRZDQ\FK� Z� ELEOLRWHNDFK� VWDQGDUGRZ\FK� Uy Q\FK�kompilatorów C++ (GCC i Visual C++���=DXZD RQR�� H�]PLDQD�SODWIRUP\�QD�NWyrej jest XUXFKDPLDQ\� HNVSHU\PHQW� PD� ZSá\Z� QD� Z\QLNL�� 2ND]DáR� VL �� H� JHQHUDWRU\� OLF]E�SVHXGRORVRZ\FK� PRFQR� VL � Uy QL � L� GREyU� RGSRZLHGQLHJR� JHQHUDWRUD�� PR H� F]DVHP�SU]HV G]Lü� R� SRUD FH� OXE� VXNFHVLH� FDáHM� HZROXFML�� 'REU\P� SU]\NáDGHP�� NWyU\� WR�VWZLHUG]Lá�� E\áD� SURVWD� LPSOHPHQWDFMD� V\PXOXM FD�SRNHURZH� UR]GDQLH�NDUW��3URJUDP�PLDá�VWZLHUG]Lü�� F]\� SUDZGRSRGRELH VWZD� Z\ORVRZDQLD� SRNHURZ\FK� XNáDGyZ� NDUW�� V � ZH�ZV]\VWNLFK� NRPSLODWRUDFK� MHGQDNRZH�� ]JRGQH� ]� Z\OLF]HQLDPL� WHRUHW\F]Q\PL�� 2Wy �skonstruowany prosty algorytP� VNRPSLORZDQ\� ]D� SRPRF �Visual C++� ]DFKRZ\ZDá� VL �zgodnie z oczekiwaniami. Natomiast skompilowany GCC�G]LDáDá� UyZQLH �SRSUDZQLH��DOH�W\ONR� QD� SODWIRUPDFK� XQLNVRZ\FK�� 3URJUDP� VNRPSLORZDQ\�*&&� QD� SODWIRUP �Windows SRND]\ZDá�� H� SUDZGRSRGRELH VWZR� Z\ORVRZDQLa pokera lub koloru jest równe 0. 3U]\F]\QD� WNZLáD� Z� F\NOLF]QR FL� RGZRáD � GR� JHQHUDWRUD� L� Z� W\P� Z\SDGNX� QLH� E\áR�PR OLZR FL� Z\ORVRZDQLD� �� UD]\� SRG� U] G� WHM� VDPHM� OLF]E\�PRGXOR� ���:\GDMH� VL �� H�Z�Z\SDGNX�PRGXáyZ�&R'L�JHQHUDWRU��MDNL�GRVWDUF]DM �SURGXFHQFL�bibliotek standardowych, nie ma istotnego znaczenia, jednak rozpatrzenie tej kwestii jest niebagatelne w przypadku NRQVWUXNFML� LPSOHPHQWDFML� Z\NRU]\VWXM F\FK� DOJRU\WP\� SUREDELOLVW\F]QH��=PRG\ILNRZDQR� Z\NRU]\VW\ZDQ\� JHQHUDWRU� WDN�� DE\� ND GH� RGZRáDQLH� GR� QLHJR�� E\áR�SRSU]HG]RQH�SU]\SDGNRZ ��SVHGRSU]\SDGNRZ ��OLF]E �RGZRáD �

8.2 Rozpoznawanie wzorców statycznych

-HGQ � ]� G]LHG]LQ�� Z� NWyUHM� 11V� V � V]HURNR� VWRVRZDQH�� MHVW� NODV\ILNDFMD�� 'REU\�NODV\ILNDWRU� SRZLQLHQ� XPLHü� GREU]H� SU]\SRU] GNRZ\ZDü� Z]RUFH� SRGDZDQH� Z� WUDNFie EXGRZ\� NODV\ILNDWRUD�� 3R]D� W\P� NU\WHULXP�� LVWRWQH� MHVW�� DE\� NODV\ILNDWRU� PLDá� ]GROQR FL�XRJyOQLDQLD� V]F]HJyOQ\FK� SU]\SDGNyZ� VáX F\FK� GR� MHJR� EXGRZ\� �QDXNL�� Z� UHJXá\�EDUG]LHM� RJyOQH�� WDN� DE\� Z]RUFH� QLJG\� QLH� SUH]HQWRZDQH� E\á\� UyZQLH � SUDZLGáRZR�klasyfikowane.

:� W\P� HNVSHU\PHQFLH� SRVWDQRZLRQR� ]EDGDü� F]\� PRGXá� &R'L�� SRVáXJXM F� VL � W\ONR�PHFKDQL]PDPL� HZROXF\MQ\PL�� MHVW� Z� VWDQLH� QDXF]\ü� VL � UR]SR]QDZDü� Z]RUFH�� -DNR�wzorce wybrano 10 reprezentacji graficznych cyfr arabskich od 0 do 9, podawanych na siatce 7x7 pikseli (rys. 8.1��� :]RUFH� ZHM FLRZH� E\á\� VWDW\F]QH� L� QLH� ]PLHQLDá\� VL � Z�F]DVLH��Z�RGUy QLHQLX�RG�HNVSHU\PHQWX�SUH]HQWRZDQHJR�Z�UR]G]LDOH������

Page 50: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�VLHFL�QHXURQRZ\FK 45

:� W\P� FHOX� Z\NRU]\VWDQR� PRGXá� R� UR]PLDUDFK� ��[��[��� ]� ��� ZHM FLDPL�UR]PLHV]F]RQ\PL� UyZQRPLHUQLH� QD� SáDV]F]\ QLH� ] ��� 1DWRPLDVW� Z� SáDV]F]\ QLH� ] ���]QDMGRZDáR� VL � ��� ��� ��� �� OXE� ���Z\M ü�Z� ]DOH QR FL�� LOH� UR]SR]QDZDQR�Z]RUFyZ�� 3U]\�rozpoznawaniu N wzorców, dla pierwszego z nich oczekiwano samych jedynek na SLHUZV]\P� Z\M FLX�� D� QD� SR]RVWDá\FK� Z\M FLDFK� PLDá\� SRMDZLü� VL � VDPH� ]HUD�� 'OD�GUXJLHJR� Z]RUFD� MHG\QNL� PLDá\� SRMDZLü� VL � QD� GUXJLP� Z\M FLX� LWG�� :VSyáF]\QQLN�NU]\ RZDQLD� XVWDORQR� QD� ������ D� PXWDFML� QD� ������� (ZROXFMH� SU]HU\ZDQR� SR� �����JHQHUDFML�]����RVREQLNDPL�ND GD�

Funkcja fitness�E\áD�]GHILQLRZDQD�WDN��DE\�SUHPLRZDü�UR]ZL ]DQLD��JG]LH�QD�MHGQ\P�]�Z\M ü� E\áD� SU]HZD DM FD� OLF]ED� GREU\FK� RGSRZLHG]L�� 3UHPLRZDQR� WDN H� EDUG]R� PRFQR�RVREQLNL�� NWyUH�QD�ZáD FLZ\P�Z\M FLX�JHQHURZDá\����'RGDWNRZR�]DáR RQR�� H�QD�GREU\�Z\QLN�RF]HNXMHP\�GRSLHUR�SR����F\NODFK�V\JQDOL]DFML�RG�UR]SRF] FLD�SRGDZDQLD�V\JQDáX�QD�ZHM FLH�� WDN�DE\�PRGXá�PLDá�F]DV�QD�SU]HVáDQLH�L�SU]HWZRU]HQLH�LQIRUPDFML�ZHM FLRZHM��:� WHQ� VSRVyE� RFHQLDQH� E\áR� W\ONR� ��� ]� ��� F\NOL�� )RUPDOQLH� DOJRU\WP� RFHQ\�SU]\VWRVRZDQLD�Z\JO GDá�WDN�

fitness=0 LI�QD�Z\M FLX�SRZLQQD�SRMDZLü�VL �MHG\QND� { if(liczba_jedyneks>=30)fitness = fitness + liczba_wzorców*liczba_jedynek/44; else fitness = fitness + 0.5*liczba_wzorców*liczba_jedynek/44; } else { if(liczba_zer>30)fitness = fitness + liczba_ zer/44; else fitness = fitness + 0.5*liczba_ zer/44; } //Normalizacja fitnes s =fitness/(2*liczba_wzorców-1);

3RGDZDQR�ZV]\VWNLH� WHVWRZDQH�Z]RUFH� L� QD� WHM� SRGVWDZLH� REOLF]DQR� UHGQL �ZDUWR ü�przystosowania –� PDNV\PDOQLH� ��� 1D� SRQL V]\FK� Z\NUHVDFK� SU]HGVWDZLRQH� V � Z\QLNL�ewolucji.

Rysunek 8.1��:]RUFH�XF] FH�– 10 cyfr arabskich na siatce 7x7 pikseli

Page 51: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�VLHFL�QHXURQRZ\FK 46

���

���

���

���

���

���

���

���

���

� ��� ��� ��� ��� ���� ���� ���� ���� ���� ����

SRNROHQLH

SU\VWRVRZDQLH

PDNV\PDOQHUHGQLH

Wykres 8.1��(ZROXFMD�XNáDGX�UR]SR]QDM FHJR���Z]RUFH��F\IU\ 0 i 1)

���

���

���

���

���

���

���

���

���

� ��� ��� ��� ��� ���� ���� ���� ���� ���� ����SRNROHQLH

SU\VWRVRZDQLH

PDNV\PDOQHUHGQLH

Wykres 8.2��(ZROXFMD�XNáDGX�UR]SR]QDM FHJR���Z]RUFH��F\IU\ 0-3)

���

���

���

���

���

���

���

���

���

� ��� ��� ��� ��� ���� ���� ���� ���� ���� ����SRNROHQLH

SU\VWRVRZDQLH

PDNV\PDOQHUHGQLH

Wykres 8.3��(ZROXFMD�XNáDGX�UR]SR]QDM FHJR���Z]RUFyZ��F\IU\ 0-5)

Page 52: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�VLHFL�QHXURQRZ\FK 47

-DN� ZLGDü�� DOJRU\WP\� HZROXF\MQH� V � Z� ]GROQH� Z\WZRU]\ü� VWUXNWXU � DXWRPDWX�NRPyUNRZHJR� ]GROQHJR� GR� UR]SR]QDZDQLD� Z]RUFyZ�� 0R QD� ]DXZD \ü�� H� Z\UD QLH�JRUV]H� SU]\VWRVRZDQLH� PD� XNáDG� UR]SR]QDM F\� ZV]\VWNLH� ��� F\IU�� 0LDá� RQ� MHGQDN�QDMWUXGQLHMV]H�]DGDQLH��F\IU\���L���GR ü�WUXGQR�RGUy QLü�RG������OXE���

8.2.1 =GROQR FL�JHQHUDOL]DFML

&] VWR� VWDZLDQ\P� NU\WHULXP� RFHQ\� VLHFL� QHXURQRZ\FK� V � LFK� ]GROQR FL� GR�JHQHUDOL]DFML� �XRJyOQLDQLD�� RUD]� XVXZDQLD� V]XPX� OXE� ]QLHNV]WDáFH � ]�SUH]HQWRZDQ\FK� LP�wzorców w trakcie klasyfikacji. Zazwyczaj wymaga sL �� DE\� QDXF]RQD� VLHü�� GOD�Z]RUFD�QLJG\� QLH� SUH]HQWRZDQHJR� Z� WUDNFLH� QDXNL�� GDZDáD� RGSRZLHG � ]JRGQ � ]� QDMEOL V]\P Z]RUFHP�FL JX�XF] FHJR��3U]H]�QDMEOL V]\�UR]XPLH�VL �SHZQ �]DGDQ �PHWU\N �RGOHJáR FL�PL G]\�Z]RUFDPL��'OD�Z]RUFD� OH FHJR�Z� UyZQ\FK� �OXE�SUDZLH� UyZQ\FK��RGOHJáR FLDFK�GR� NLONX� Z]RUFyZ� ]� FL JX� XF] FHJR�� MHM� RGSRZLHG]L � SRZLQQD� E\ü� UHGQLD� ZD RQD�Z\XF]RQ\FK�RGSRZLHG]L�GOD� V VLHGQLFK�Z]RUFyZ��SURSRUFMRQDOQD�GR�RGOHJáR FL�GR�QLFK��7DNLH�SRGHM FLH�MHVW�]JRGQH�]�LQWXLFM �

���

���

���

���

���

���

���

���

���

� ��� ��� ��� ��� ���� ���� ���� ���� ���� ����SRNROHQLH

SU\VWRVRZDQLH

PDNV\PDOQHUHGQLH

Wykres 8.4��(ZROXFMD�XNáDGX�UR]SR]QDM FHJR���Z]RUFyZ��F\IU\ 0-8)

���

���

���

���

���

���

���

���

���

� ��� ���� ���� ���� ���� ���� ���� ����SRNROHQLH

SU\VWRVRZDQLH

PDNV\PDOQHUHGQLH

Wykres 8.5��(ZROXFMD�XNáDGX�UR]SR]QDM FHJR����Z]RUFyZ��F\IU\ 0-9)

Page 53: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�VLHFL�QHXURQRZ\FK 48

3RVWDQRZLRQR� ]EDGDü� MDN�� ÄZ\KRGRZDQH´� Z� WHQ� VSRVyE� UR]ZL ]DQLD�� E G �UR]SR]QDZDü�Z]RUFH��3RQLHZD �QLH�RVL JQL WR�SU]\VWRVRZDQLD�UyZQHJR����ZD QH�Z\GDMH�VL � MDNLHJR� URG]DMX� Eá G\� V � SRSHáQLDQH� SU]\� NODV\ILNDFML�� -DNR� SLHUZV]H� SU]HEDGDQR�RVREQLNL�� NWyU\FK� ]DGDQLHP� E\áR� UR]SR]QDZDQLH� �� Zzorców. W tym celu ostatnie pokolenie z ewolucji prezentowanej na wykresie 8.3�SRGGDQR�GDOV]HM�HZROXFML�]�VHOHNFM �HOLWDUQ � L� ]PQLHMV]RQ\P� ZVSyáF]\QQLNLHP� PXWDFML�� D� ]ZL NV]RQ\P� NU]\ RZDQLD�� 0LDáR�to na celu uzyskanie najlepszego osoEQLND� ]�RWRF]HQLD� MX � ]QDOH]LRQ\FK��3U]HZLG\ZDQLD�QLH� ]DZLRGá\� L� SR�NROHMQ\FK�����HSRNDFK�X]\VNDQR�RVREQLND�]�SU]\VWRVRZDQLHP�EOLVNLP�PDNV\PDOQHPX�� D� GRNáDGQLH� ������� 1DVW SQH� ����� SRNROH � HZROXFML� QLH� RGQDOD]áR� MX �lepszego osobnika.

Tak odnalezione rozwi]DQLH� SRGGDQR� LQWHUDNW\ZQ\P� WHVWRP�� :V]\VWNLH�SUH]HQWRZDQH� Z]RUFH� E\á\� UR]SR]QDZDQH� QLHPDO� EH]Eá GQLH�� ,QWHUHVXM FH� RND]Dá\� VL �WHVW\� ]�Z]RUFDPL�QLJG\�QLH�SUH]HQWRZDQ\PL��2ND]DáR�VL �� H�XNáDG�UR]SR]QDZDá�Z]RUFH�QD�SRGVWDZLH�NLONX�FHFK�RGUy QLDM F\FK�GDQ\ wzorzec od innych. Na rysunku zaznaczono REV]DU\�QDMEDUG]LHM�ZSá\ZDM FH�QD�]DNODV\ILNRZDQLH�GDQHJR�Z]RUFD�GR�GDQHM�NDWHJRULL�

3R]RVWDáH�SLNVHOH��SR]D�]D]QDF]RQ\PL��PLDá\�]QLNRP\�ZSá\Z�QD�WR�F]\�GDQ\�Z]RU]HF�MHVW�NODV\ILNRZDQ\�GR�]DGDQHM�NDWHJRULL��0R QD�Z\VQXü�VW G�ZQLRVHN�� H�ÄZ\KRGRZDQ\´�XNáDG� E\á� QLF]\P� LQQ\P� MDN� IXQNFM � ORJLF]Q � SU]HNV]WDáFDM � ��� ZHM ü� Z� ��� Z\M ü��Funkcja ta jest realizowana przH]�VNRPSOLNRZDQ\�XNáDG�SRá F]H � L�PL G]\�QHXURQDPL�Z�PRGXOH� &R'L� L� ]� SRZRG]HQLHP� VSHáQLD� QDU]XFRQ\� FHO� HZROXFML�� $E\� Z\NV]WDáFLü�]GROQR FL� JHQHUDOL]DFML� SRGREQH� GR� W\FK� REVHUZRZDQ\FK� GOD� VLHFL� QHXURQRZ\FK�XF]RQ\FK� PHWRG � ZVWHF]QHM� SURSDJDFML�� QLH]E GQH� Z\GDMH� VL � WDNLH� VNRQVWUXRZDQLH�funkcji fitness�� DE\� SUHPLRZDáD� WDNLH� RVREQLNL�� NWyU\FK� ]GROQR FL� GR� UR]SR]QDZDQLD�]PRG\ILNRZDQ\FK�OXE�]QLHNV]WDáFRQ\FK�Z]RUFyZ�V �ZL NV]H�

Przeprowadzono podobny eksperyment dla przypadku rozpoznawania 10 wzorców. Jednak tu miPR� ]DVWRVRZDQLD� HOLWDUQHJR� VSRVREX� HZROXFML� QLH� XGDáR� VL � Z\HZROXRZDü�PRGXáX� UR]SR]QDM FHJR�SRSUDZQLH�ZV]\VWNLH����Z]RUFyZ��0DNV\PDOQH�SU]\VWRVRZDQLH�MDNLH�XGDáR�VL �X]\VNDü�WR��������0RGXá�F] VWR��GOD�SUH]HQWRZDQHJR�Z]RUFD�RGSRZLDGDá�jedynkami na kilku wyM FLDFK�� D� QLH� W\ONR� QD� SRMHG\QF]\P� Z\M FLX�� 1DMZL NV]H�SUREOHP\� VSUDZLDá\� F\IU\� R� ]EOL RQ\P� GR� VLHELH� Z\JO G]LH� ������������� )XQNFMD�SU]\VWRVRZDQLD� E\áD� VSHFMDOQLH� WDN� VNRQVWUXRZDQD�� DE\� SUHPLRZDü� SU]HGH� ZV]\VWNLP�SRSUDZQ � RGSRZLHG � QD�Z\M FLX� ]ZL ]DQ\P� ] rozpoznawanym wzorcem. Ten warunek ]RVWDá� VSHáQLRQ\�� FR� GDMH� XNáDGRZL� SU]\VWRVRZDQLH� ����� 3R]RVWDáH� ���� SUHPLRZDáR�RVREQLNL�� NWyUH� QD� SR]RVWDá\FK� Z\M FLDFK� PLDá\� VDPH� ]HUD�� 3U]\F]\Q � QLHPR OLZR FL�RGQDOH]LHQLD� WDNLHJR� UR]ZL ]DQLD�PR QD�XSDWU\ZDü�Z�PDá\FK� UR]PLDUDFK�PRGXáX��NWyUD�XQLHPR OLZLDáD� Z\WZRU]HQLH� RGSRZLHGQLHM� OLF]E\� SRá F]H �� ,QQ � SU]\F]\Q � PR H� E\ü�EDUG]R� J VWH� XSDNRZDQLH� Z\M ü� �D� WDN H�ZHM ü�� ZHZQ WU]� XNáDGX�� FR� SRZRGRZDáR�� H�V\JQDá\� GRFLHUDM FH� GR� MHGQHJR� Z\M FLD� ]DNáyFDá\� G]LDáDQLH� V VLHGQLFK�� :\GDMH� VL �� H�ND G\� XNáDG� PD� SHZQ � JUDQLF � SRMHPQR FL� LQIRUPDF\MQHM�� MDN � PR H� SU]HWZRU]\ü��]ZL ]DQ � ]� MHJR� UR]PLDUHP�� 1LH� MHVW� PR OLZH� PQR HQLH� UR]SR]QDZDQ\FK� Z]RUFyZ� Z�QLHVNR F]RQR ü�GOD�WHJR�VDPHJR�PRGXáX�L�Z�W\P�Z\SDGNX�WD�JUDQLFD�]RVWDáD�RVL JQL WD.

Rysunek 8.2. Najistotniejsze cechy rozpoznawanych wzorców

Page 54: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�VLHFL�QHXURQRZ\FK 49

8.3 'HWHNWRU�SRUXV]DM FHM�VL �OLQLL

8.3.1 3RGHM FLH�HZROXF\MQH

&HOHP� HNVSHU\PHQWX� E\áR� VSUDZG]HQLH�� F]\� PRGXá� &R'L� MHVW� Z� VWDQLH� SU]HWZDU]Dü�]PLHQLDM FH�VL �Z�F]DVLH�V\JQDá\��&]\�MHVW�PR OLZH�Z\HZROXRZDQLH�PRGXáX�]GROQHJR�GR�UR]SR]QDZDQLD� ]PLHQQHJR� Z� F]DVLH� V\JQDáX�� RUD]� ]PLHU]HQLH� ]GROQR FL� XRJyOQLDQLD� WDN�]QDOH]LRQHJR�PRGXáX�&R'L�

-DNR�]DGDQLH�]RVWDá�Z\EUDQ\�HNVSHU\PHQW�]�SRUXV]DM F �VL � OLQL �- (ang. Hubel Wiesel Line Motion Detector) [int 04]. :HM FLDPL� WHJR� HNVSHU\PHQWX� MHVW� VLDWND� ��[��� ZHM ü�UR]PLHV]F]RQ\FK� UyZQRPLHUQLH� QD� ]HZQ WU]Q\FK� FLDQDFK� PRGXáX� R� Z\PLDUDFK���[��[����:� ND G\P� F\NOX� V\JQDOL]DFML� QD� ZHM FLH� XNáDGX� MHVW� SRGDZDQD� MHGQD� NODWND�DQLPDFML�� D� ]DGDQLHP� XNáDGX� E G]LH� RGUy QLHQLH� MHGQHM� DQLPDFML� �VHNZHQFML� NODWHN�� RG�innych. :� RPDZLDQ\P� WH FLH� E\á\� �� DQLPDFMH� ND GD� GáXJD� ���� F\NOL� V\JQDOL]DFML�� FR�PR QD�SRUyZQDü�GR�����NODWHN�DQLPDFML��3LHUZV]\�Z]RU]HF�WR�SLRQRZD�OLQLD�SRUXV]DM FD�VL � ]� SUDZD� QD� OHZR�� GUXJD� OLQLD� SRUXV]DM FD� VL � ]� OHZD� QD� SUDZR�� $QDORJLF]QH� GZD�SU]\NáDG\�GOD� OLQLL�SRUXV]DM FHM�VL �]�GRáX�GR�JyU\��2NUHV�SRUXV]DQLD�VL � OLQLL�WR����F\NOL��F]\OL� OLQLD�SU]HE\ZDáD�FDá\�REV]DU�SROD���UD]\�Z�WUDNFLH�HNVSHU\PHQWX��0RGXá�PLDá�MHGQR�Z\ FLH�� NWyU\P� PLDá� Z\V\áDü� MHG\QNL� Z� PRPHQFLH�� JG\� SRGDZDQH� ZHM FLH� MHVW� OLQL �SRUXV]DM F � VL � ]� OHZHM� VWURQ\� QD� SUDZ �� :� LQQ\FK� Z\SDGNDFK� Z\M FLH� PLDáR� E\ü�QLHDNW\ZQH��JHQHURZDü�]HUD���)XQNFMD�fitness�E\áD�]GHILQLRZDQD�QDVW SXM FR�

fitness=0; if(rozpoznawany_wzorzec) ���LI�OLF]EDBMHG\QHN! ��� GOXJR üBZ]RUFD� fitness=fitness=6*liczba_jed \QHN�GOXJR üBZ]RUFD� else ������ILWQHVV� ��� �OLF]EDBMHG\QHN�GOXJR üBZ]RUFD� else ���LI�OLF]QDBMHG\QHN� ��� GOXJRVFBZ]RUFD�ILWQHVV ILWQHVV�� OLF]EDBMHG\QHN�GáXJR üBZ]RUFD else fitness ILWQHVV���� OLF]EDBMHG\QHN�GáXJR üBZ]RUFD� fitness=fitness*4.0/9.0;

7DN� ]GHILQLRZDQH� SU]\VWRVRZDQLH� E\áR� REOLF]DQH� GOD� ND GHJR� ]� SUH]HQWRZDQ\FK�Z]RUFyZ� L� QD� MHJR� SRGVWDZLH� E\áR� Z\OLF]DQH� UHGQLH� SU]\VWRVRZDQLH� PRGXáX��0DNV\PDOQD� ZDUWR ü� SU]\VWRVRZDQLH� RVREQLND� Z\QRVLáD� ��� .RQVWUXNFMD� WD� SR]ZDOD�SUHPLRZDü� UR]ZL ]DQLD� JHQHUXM FH� Ä]GHF\GRZDQH´� RGSRZLHG]L�� -DN� SRND]Dá\�GR ZLDGF]HQLD��EH]�WDNLHM�SUHVML�]D]Z\F]DM�($�QLH�MHVW�Z�VWDQLH�Z\GRVWDü�VL �]�ORNDOQHJR�RSWLPXP�VSURZDG]DM FHJR�VL �GR�JHQHURZDQLD�UyZQHM�OLF]by jedynek i zer dla wszystkich Z]RUFyZ�� 3UHPLXMH� RQ� WDN H� VRZLW � QDJURG � ]D� UR]SR]QDQLH� ZáD FLZHJR� Z]RUFD�� :�WUDNFLH�EDGD �F] VWR�($�XW\NDá�Z�RSWLPXP��NWyUH�GDZDáR�Z\VRNL�fitness,�D�RGSRZLHG]L �E\á\�]DZV]H�VDPH�]HUD��$E\�QLH�GRSX FLü�GR�WDNLHJR�UR]ZRMX�HZolucji wykrycie wzorca, NWyU\� PD� E\ü� UR]SR]QDQ\�� MHVW� SUHPLRZDQH� EDUG]LHM� QL � SUDZLGáRZD� NODV\ILNDFMD�wzorców niepoprawnych. Przebieg ewolucji pokazano na wykresie 8.6.

Page 55: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�VLHFL�QHXURQRZ\FK 50

3RQL HM� ]QDMGXM � VL � RWU]\PDQH� Z\QLNL� GOD� QDMOHSV]HJR� RVREQLND� Z� RVWDWQLP�SRNROHQLX��SR�XVXQL FLX�SLHUZV]\FK����F\NOL� �]������SRPLMDQ\FK�SU]\�REOLF]HQLX� IXQNFML�fitness��2GSRZLHG �PRGXáX�QD�SRGDQLH�Z]RUFD��QD�NWyU\�PRGXá�PLDá�RGSRZLDGDü�VDP\PL jedynkami: 11111101111111011111110011101111001111111101111111111111011111110111111100101011110011111111011111111111110111111101111111011010110100111111110111111111111101111111011111

2WR� WU]\� RGSRZLHG]L� PRGXáX� GOD� Z\XF]RQ\FK� Z]RUFyZ�� GOD� NWyU\FK� RF]HNLZDQ RGSRZLHG]L �E\á\�VDPH�]HUD� 01110000000000000100010111000010000000001001110000011100000000000000000001110000100000010010011100000111000000000000000000011100001000000000100111000001110000000000000000

00000000000000000000000000010000001011100000001000000000000000000000000000000010110010111000000101000000000000000000000000000001000000101110010000100000000000000000000000

00001000000101110000000100000000000000000000000000000001011001011100000010100000000000000000000000000000100000010111001000010000000000000000000000000000000101100101110000

„WyhodRZDQ\´� XNáDG� ]RVWDá� WDN H� SU]HEDGDQ\� SRG� N WHP� RGSRZLHG]L� QD� V]XP�� 3U]H]�V]XP� QDOH \� UR]XPLHü� ����NODWHN� DQLPDFML� ]�PDWU\F ���[���ZHM ü�� JG]LH�ND GH� ]�ZHM ü�SU]\MPXMH�ZDUWR FL� ORVRZH��� OXE���]�UyZQ\P�SUDZGRSRGRELH VWZHP��8NáDG�RGSRZLDGDá�SUDZLH�GRNáDGQLH�SRáRZ ���L����6WRVXQHN�OLF]E\�MHG\QHN�GR�GáXJR FL�RGSRZLHG]L�Z\QRVLá������� ]� RGFK\OHQLHP� VWDQGDUGRZ\P� ]� ��� SUyE� ������� -DN� ZLGDü�� XNáDG� ]DUHDJRZDá�´]XSHáQ\P� QLH]GHF\GRZDQLHP´� QD� Z]RUFH� QLH� SUH]HQWRZDQH� Z� WUDNFLH� QDXNL� FR� PR H�GRZRG]Lü� SHZQ\FK� ZáDVQR FL� XRJyOQLDQLD� L� UR]SR]QDZDQLD�� RUD]� UR]Uy QLDQLD� W\ONR�Z]RUFyZ�� SRG� N WHP� NWyU\FK� E\á� SURZDG]RQ\� SURFHV� QDXNL� ]� Z\NRU]\VWDQLHP� ($��3U]HSURZDG]RQ\� ]RVWDá� WDN H� WHVW�� F]\� PRGXá� PD� ]GROQR FL� XRJyOQLDQLD�� Z� Z\SDGNX�SUH]HQWDFML�Z]RUFyZ�QLH�Z\VW SXM F\FK�Z�FL JX�XF] F\P��:\QLNL� WH�V �RPyZLRQH�GDOHM�w rozdziale 8.3.2, wraz z porównaniem ich z wynikami metody Monte Carlo.

8.3.2 3RGHM FLH�0RQWH�&DUOR

:� WUDNFLH� SURZDG]RQ\FK� EDGD � ]RVWDáR� RGNU\WH�� L � ZDUWR ü� ZVSyáF]\QQLND�NU]\ RZDQLD� PD� ]QLNRP\� ZSá\Z� QD� SROHSV]HQLH� RWU]\P\ZDQ\FK� Z\QLNyZ�� =E\W� GX D�MHJR� ZDUWR ü�� VXJHURZDQD� ]D]Z\F]DM� QD� SR]LRPLH� NLONX� G]LHVL W\FK�� XQLHPR OLZLDáD�Z\SUDFRZDQLH� GREU\FK� UR]ZL ]D � SU]\� WHVWDFK� ]� IXQNFM �xor��0DáD�� QD� SR]LRPLH� MHGQHM�G]LHVL WHM��Z\GDZDáD�VL �QDMEDUG]LHM�RSW\PDOQD��0R QD�SU]\SXV]F]Dü�� H�SU]\� WDN�GX \P�FKURPRVRPLH�� VL JDM F\P� Z� W\P� HNVSHU\PHQFLH� RNRáR� �� �� �� ������� bitów ≈ 22 NLOREDMW\�� NU]\ RZDQLH� G]LDáDáR�� MDN� PDNURPXWDFMD�� Z]ERJDFDM F� QLHNLHG\� ERJDFWZR�JHQRW\SyZ� Z\VW SXM F\FK� Z� SRMHG\QF]\P� SRNROHQLX�� D� W\P� VDP\P� SU]HFLZG]LDáDáR�

���

���

���

���

���

���

���

���

���

� ��� ��� ��� ��� ���� ���� ���� ���� ���� ����SRNROHQLH

SU\VWRVRZDQLH

PDNV\PDOQHUHGQLH

Wykres 8.6. Przebieg ewolucji

Page 56: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�VLHFL�QHXURQRZ\FK 51

XW\NDQLX� Z� RSWLPDFK� ORNDOQ\FK�� &DáNRZLW\� EUDN� NU]\ RZDQLD�� UyZQLH � GDZDá� SRGREQH�Z\QLNL� �DF]� JRUV]H�� QL � MHJR� VWRVRZDQLH�� =DWHP� HZROXFMD� RSDUWD� W\ONR� R� SU]\SDGNRZH�SRV]XNLZDQLD� SU]HVWU]HQL� UR]ZL ]D � QLHZLHOH� RGOHJá\FK� RG� DNWXDOQLH� RGnalezionych RSWLPyZ�Z� SHZLHQ� VSRVyE� SU]\SRPLQD� FKDRW\F]QH� SRV]XNLZDQLD�PHWRG �0RQWH�&DUOR��:D QH� ]DWHP� Z\GDáR� VL � SRUyZQDQLH� RWU]\P\ZDQ\FK� Z\QLNyZ� ]� EDUG]R� QDLZQ\P�VSRVREHP�SRV]XNLZDQLD�UR]ZL ]D �SUREOHPX�–�PHWRG �0RQWH�&DUOR�

W tym celu powtórzono eksperyPHQW� ]� SRUXV]DM F � VL � OLQL �� -HGQDN� WX� ND GH�ÄSRNROHQLH´� WR� ]HVWDZ� ��� FDáNRZLFLH� ORVRZR� VWZRU]RQ\FK� FKURPRVRPyZ�UHSUH]HQWXM F\FK� SXQNW� ]� SU]HVWU]HQL� UR]ZL ]D �� Ä3RNROHQLH´� JG\ � Z� PHWRG]LH� 0RQWH�&DUOR� WUXGQR� PyZLü� R� SRNROHQLDFK�� D� NROHMQR� WZRU]RQH� RVREQLNL� QLH� PDM � ]H� VRE �DGQHJR� ]ZL ]NX�� -HGQDN� GOD� XWU]\PDQLH� DQDORJLL� GR� SRSU]HGQLR� SUH]HQWRZDQ\FK�Z\QLNyZ� HZROXF\MQ\FK�� WDNLH� SRGHM FLH� E G]LH� GREU]H� VáX \ü� FHORP� SRUyZQDZF]\P�obydwu metod.

:\QLNL� RWU]\PDQH� GOD� QDMOHSV]HJR� UR]ZL ]DQLD� X]\VNDQHJR� PHWRG � 0RQWH� &DUOR�(analogicznie jak w rozdziale 8.3.1): 00000000001011111111111111111110011111111111111111111111111111111111111111111111100111111111111111111111111111111111111111111111111001111111111111111111111111111111111111

01100000000000000000000000000000000000000000000000011000000000000000000000000000000000000000000000000110000000000000000000000000000000000000000000000001100000000000000000

00011010101010101010101010101010101010101010101010101100000000000000000000000000000000000000000000000001101010101010101010101010101010101010101010101010110000000000000000

00000000000000000010101010101001111111111111111111111111111111111111111111111111001010101010101010101010101010101010101010101010100111111111111111111111111111111111111111

-DN�ZLGDü�� WDN� RGQDOH]LRQ\�XNáDG�GR ü�GREU]H� UR]SR]QDá� OLQLH�SRUXV]DM F � VL � ]� OHZD�na prawo (pierwszy wiersz prezentowanych wyników – oczekiwano samych jedynek). 'REU]H� W � OLQL � RGUy QLDá� RG� OLQLL� SRUXV]DM FHM� VL � ]� OHZD� QD� SUDZR� �GUXJL� ZLHUV]� – RF]HNLZDQR�VDP\FK�]HU��� -HGQDN�GX R�JRU]HM�NODV\ILNRZDá�OLQLH�SRUXV]DM FH�VL �SLRQRZR���� RVWDWQLH� ZLHUV]H��� 2WU]\PDQH� QDMOHSV]H� SU]\VWRVRZDQLH� E\áR� R� RNRáR� ����� QL Vze od WHJR�]QDOH]LRQHJR�GURJ �HZROXF\MQ ��6SUDZG]RQR�UyZQLH �UHDNFM �XNáDGX�QD�SRGDQLH����Z]RUFyZ� ]DZLHUDM F\FK� V]XP��6WRVXQHN� OLF]E\� MHG\QHN�GR�GáXJR FL�RGSRZLHG]L�Z\QRVLá������� ]� RGFK\OHQLHP� VWDQGDUGRZ\P� ������� &R� MHVW� EDUG]R� ]EOL RQ � RGSRZLHG]L � GR�XNáDGX�RWU]\PDQHJR�GURJ �HZROXF\MQ ��'RZRG]L�WR�� H�L�WDN�XWZRU]RQ\�XNáDG��UHDJRZDá�]JRGQLH�]�LQWXLFM ��QD�QLH�SUH]HQWRZDQH�Z�WUDNFLH�QDXNL�Z]RUFH�

���

���

���

���

���

���

���

���

���

� ��� ��� ��� ��� ���� ���� ���� ���� ���� �����SRNROHQLH�

3U]HVWRVRZDQLH�QDMOHSV]HJR�RGQDOH]LRQHJR�

�RVREQLND�

Wykres 8.7. PrzebieJ�SRV]XNLZDQLD�RSWLPXP�PHWRG �0RQWH�&DUOR

Page 57: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�VLHFL�QHXURQRZ\FK 52

8.3.3 3RUyZQDQLH�]GROQR FL�JHQHUDOL]DFML

7HVWRZL�QD� ]GROQR FL�JHQHUDOL]DFML� SRGGDQR���RVREQLNL�RPDZLDQH�Z�UR]G]LDOH�8.3.1 i 8.3.2�� -DNR� WHVW� LFK� ]GROQR FL� GR� UR]SR]QDZDQLD� QLJG\� QLH� SUH]HQWRZDQ\FK� Z]RUFyZ�Z\EUDQR� OLQL � SRUXV]DM F � VL � ]� LQQ �SU GNR FL �Z�VWRVXQNX�GR�WHM��QD� MDNLHM�RSDUWD�E\áD�selekcja najlepszych mRGXáyZ�

-DN� ZLGDü� QD� Z\NUHVLH� 8.8�� PRGXá� GOD� V]HURNLHJR� VSHNWUXP� SU GNR FL� UR]SR]QDMH�SUDZLGáRZR� �ZL NV]H� ZDUWR FL�� ]DUyZQR� OLQL � SRUXV]DM F � VL � ]� SUDZD� GR� OHZD�� JG]LH�RF]HNLZDQR�MHG\QHN�QD�Z\M FLX��RUD]�WH�OLQLH��JG]LH�VSRG]LHZDQR�VL �X]\VNDü�]HUD��:LGDü�Z\UD QH� RSWLPXP�Z� SXQNFLH� ��� JG]LH� SU GNR FL� WHVWRZH� SRNU\ZDá\� VL � ]�Z\XF]RQ\PL��2GSRZLHG � XNáDGX� MHVW� ]XSHáQLH� LQQD� QL � GOD� V]XPX�� JG]LH� MDN� ZVSRPQLDQR� Z� 8.3.1, X]\VNLZDQR�UyZQ �OLF]E �]HU�L�MHG\QHN��FR�QD�Z\NUHVLH�RGSRZLDGDáRE\�ZDUWR FL�����

$QDORJLF]Q\� WHVW� GOD� RVREQLND� RGQDOH]LRQHJR�PHWRG �0RQWH�&DUOR�Z\JO GD� ]XSHáQLH�odmiennie.

���

���

���

���

���

���

���

���

���

� � � �

VWRVXQHN�SU GNR FL�WHVWRZHM�GR�Z\XF]RQHM

VWRVXQHN�OLF]E\�ZDUWRFL�RF]HNLZDQ\FK�GR�

GáXJRFL�RGSRZLHG]L

SUDZR���OHZROHZR���SUDZRGyá���JyUDJyUD���Gyá

Wykres 8.8��=GROQR FL�JHQHUDOL]DFML�GOD�RVREQLND�RGQDOH]LRQHJR�SU]H]�($

Page 58: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�VLHFL�QHXURQRZ\FK 53

Na wykresie 8.9� ZLGDü� Z\UD QLH�� H� XNáDG� X]\VNDQ\� W � PHWRG � JHQHUXMH� EDUG]R�chaotyczne odpowiedzi dla zEOL RQ\FK� Z]RUFyZ�� :\VW SXMH� ZSUDZG]LH� RSWLPXP� Z�SXQNFLH� MHGHQ�� MHGQDN H�GOD�Z]RUFyZ�]�QLH]QDF]QLH�]PLHQLRQ �SU GNR FL �SRUXV]DQLD�VL �OLQLL�RGSRZLHG]L�V �VNUDMQLH�Uy QH�

3RUyZQDQLH� GZyFK� ]DSUH]HQWRZDQ\FK� Z\NUHVyZ� XQDRF]QLD�� H� SURFHV\� HZROXF\MQH�charakter\]XM � VL � SHZQ � SU]HZDJ � QDG� SU]\SDGNRZ\PL� SRV]XNLZDQLDPL� Z� SU]HVWU]HQL�UR]ZL ]D �� 2GQDOH]LRQH� ]D� SRPRF �($� UR]ZL ]DQLD� FHFKXMH� VWDELOQR ü� RUD]�� MDN�PR QD�SU]\SXV]F]Dü�� UR]ZL ]DQLD� WH� SRZLQQ\� PLHü� ZL NV]H� ]GROQR FL� JHQHUDOL]DFML��2GQDOH]LRQ\� ]D� SRPRF � ($� SXQNW� Z� SU]HVWU]HQL� UR]ZL ]DQLD� DNXPXOXMH� ERZLHP�ZLHOH�GR ZLDGF]H � SRNROH � HZROXFML�� 3RZLQQR� WR� ]DWHP� SUHPLRZDü� RVREQLNL� R� EDUG]LHM�VWDELOQ\FK� FHFKDFK�� E G FH� F] VWR� SURGXNWHP� NU]\ RZDQLD� ]� LQQ\PL� RVREQLNDPL�� 7DNL�proces wymusza odnajdowanie raczej optimów SRáR RQ\FK�Z�RWRF]HQLX� LQQ\FK�GREU\FK�RSWLPyZ��5R]ZL ]DQLD�RGQDMGRZDQH�]D�SRPRF �PHWRG�SU]\SDGNRZHJR�SRV]XNLZDQLD�QLH�SUHIHUXM �WDNLFK�UR]ZL ]D ��$NXPXODFMD�]PLDQ�Z�RVREQLNDFK�($�SRZRGXMH�� H�LFK�FHFK\�V �Z� VSRVyE� Sá\QQ\� GRVWRVRZ\ZDQH�Z� NLHUXQNX�Z\]QDF]RQ\P� IXQNFM �SU]\VWRVRZDQLD��']L NL� WHPX�Z� FKURPRVRPLH� MHVW� RGáR RQD� SDPL ü� GR ZLDGF]H � ]HEUDQ\FK�Z�NROHMQ\FK�generacjach.

8.3.4 Metody kodowania

,VWRWQ � NZHVWL � SU]\� SURMHNWRZDQLX� ($� MHVW� UR]ZD HQLH� RGSRZLHGQLHJR� VSRVREX�NRGRZDQLD� UR]ZL ]DQLD�� RUD]� ]DSURMHNWRZDQLH operatorów genetycznych. Chromosom NRGXM F\�PRGXá�&R'L� FKDUDNWHU\]XMH� VL � GX �GáXJR FL �� GRFKRG] F �GR����NLOREDMWyZ��=DNRGRZDQLH� W\FK� LQIRUPDFML� Z� WDNL� VSRVyE�� DE\� SRV]F]HJyOQH� JHQ\� NRGRZDá\�VSHF\ILF]QH� ZáDVQR FL� HZROXRZDQHJR� PRGXáX� Z\GDMH� VL � QLHPR OLZe. Dowolna zmiana MHGQHJR� ELWX� FKURPRVRPX�� D� ]DWHP� MHGQHJR� ELWX� MHGQHM� ]� NRPyUHN� DXWRPDWX�� PR H�WHRUHW\F]QLH�]PLHQLü�VWUXNWXU �FDáHM�NRGRZDQHM�VLHFL�QHXURQRZHM��

%\ü� PR H� MDNR ü� HZROXFML� PRJáDE\� E\ü� SRSUDZLRQD� VWRVXM F� NRGRZDQLH�� JG]LH�poszczególna cecha fenotypowa, nie jest kodowana przez tylko jeden gen, ale ich zbiór (efekt poligeniczny��� -HGQRF]H QLH� MHGHQ� JHQ� QLH� PXVL� ZSá\ZDü� W\ONR� QD� MHGQ � FHFK �SURMHNWRZDQHJR�XNáDGX� �efekt plejtropowy���$E\� VSUDZG]Lü�� F]\� WDNLH�SRGHM FLH�ZSá\QLH�

���

���

���

���

���

���

���

���

���

� � � �

VWRVXQHN�SU GNR FL�WHVWRZHM�GR�Z\XF]RQHM

VWRVXQHN�OLF]E\�ZDUWRFL�RF]HNLZDQ\FK�GR�

GáXJRFL�RGSRZLHG]L

SUDZR���OHZROHZR���SUDZRGyá���JyUDJyUD���Gyá

Wykres 8.9��=GROQR FL�JHQHUDOL]DFML�GOD�RVREQLND�RGQDOH]LRQHJR�PHWRG �0RQWH�&DUOR

Page 59: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�VLHFL�QHXURQRZ\FK 54

QD� V]\ENR ü� OXE� MDNR ü� SURFHVX� HZROXFML�� SRZWyU]RQR� HNVSHU\PHQW� ]� UR]G]LDáX� 8.3.1 VWRVXM F�RGPLHQQ\�VSRVyE�NRGRZDQLD�

Na rysunku 8.3� ZLGDü� LGH �� Z� MDNL� VSRVyE� UR]V]HU]RQR� VWDQGDUGRZ\� FKURPRVRP� R�HOHPHQW\� SOHMRWURSRZR FL� L� SROLJHQLF]QR FL�� =REUD]RZDQR� �� SR]LRP\� VSRVREX�NRGRZDQLD� LQIRUPDFML�� FKRü� Z� U]HF]\ZLVWR FL� E\áR� LFK� ��� .D G\� SR]LRP� SU]HFKRZXMH�infRUPDFM � GRW\F] F � ZV]\VWNLFK� NRPyUHN� PRGXáX�� &HFK\� IHQWRW\SRZH� X]\VNXMH� VL �VWRVXM F� IXQNFM �xor�GOD� LQIRUPDFML�]�ND GHJR�SR]LRPX�X]\VNXM F�ILQDOQ\�FKURPRVRP��QD�SRGVWDZLH�NWyUHJR�EXGRZDQ\� MHVW�PRGXá��=PLDQD�SRMHG\QF]HJR�ELWX�GDQ\FK�poziomu 0, ZSá\QLH� W\ONR� QD� MHGQ � NRPyUN �� poziomu 1 na 8, natomiast poziomu 4� MX � QD� �����NRPyUHN�� :VSyáF]\QQLNL� PXWDFML� SRV]F]HJyOQ\FK� SR]LRPyZ� GREUDQR� WDN�� DE\�SUDZGRSRGRELH VWZR� ]PLDQ\� FHFK\� IHQRW\SRZHM� E\áR� WDNLH� VDPR� QLH]DOH QLH� RG� WHJR��NWyU\� ELW� E G]LH� ]PLHQLRQ\�� =DWHP� SUDZGRSRGRELH VWZR�PXWDFML�poziomu 1 jest 8 razy mniejsze od poziomu 0��2SHUDFMD�NU]\ RZDQLD�]DFKRG]L�GOD�ZV]\VWNLFK�SR]LRPyZ�Z�W\P�samym miejscu. Dla poziomów�ZL NV]\FK�RG���RGQDMGXMH�VL �QDMEOL V] �SR]\FM �SRG]LDáX�FKURPRVRPX�RGSRZLDGDM F �PLHMVFX�SRG]LDáu poziomu 0.

:V]HONLH� SDUDPHWU\� E\á\� LGHQW\F]QH� MDN� Z� GR ZLDGF]HQLX� ]� UR]G]LDáX� 8.3.1. :\GáX RQR� MHG\QLH� F]DV� HZROXFML� GR� ����� JHQHUDFML�� -HM� SU]HELHJ� SRND]DQR� QD� U\VXQNX�8.10.

akson komó

rka

akson komó

rka

akson

komórka

komórka akso

n

akson komó

rka

akson

komórka

komórka

akson komó

rka

akson

komórka

komórka akso

n komórka

akson komó

rka

akson

komórka

komórka

akson

Chrom. kom.

akson

Chrom. kom.

akson

Chrom. kom.

Chrom. kom.

akson

Chrom. kom.

akson

Chrom. kom.

akson

Chrom. kom.

Chrom. kom.

akson

Chrom. kom

akson

Chrom. kom.

akson

Chrom. kom.

Chrom. kom.

akson

Chrom. kom.

akson

Chrom. kom.

akson

Chrom. kom.

Chrom. kom.

akson Chromoso m

ZSá\ZDM Fy na 8

komórek

akson Chromoso m

ZSá\ZDM Fy na 8

komórek

akson

Chromoso m ZSá\ZDM Fy

na 8 komórek

Chromoso m ZSá\ZDM Fy

na 8 komórek

Chromosom ZSá\ZDM Fy

na 64 komórki

Poziom 0 Poziom 1 Poziom 2

Rysunek 8.3. Schemat chromosomu z efektem plejotropowym i poligenicznym

Page 60: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�VLHFL�QHXURQRZ\FK 55

-DN� PR QD� ]DXZD \ü�� WDNLH� SRGHM FLH� IDNW\F]QLH� SU]\F]\QLáR� VL � GR� V]\ENLHJR�ZVSLQDQLD� VL � RVREQLNyZ�QD� V]F]\W�Z�SRF] WNRZHM� ID]LH�� OHF]�Z�Sy QLHMV]HM�ZLGDü�GX R�U]DGV]H�ÄVNRNL´�QDMOHSV]HJR�SU]\VWRVRZDQLD�GR�JyU\��:\QLNDü�WR�PR H�]�IDNWX��L �]PLDQ\�JHQRW\SRZH� Z� W\P� SRGHM FLX� ]DFKRG]Lá\� U]DG]LHM� OHF]� REHMPRZDá\� ZL NV]\� REV]DU�PDWHULDáX�JHQHW\F]QHJR��FR�VSU]\MDáR�UR]ZRMRZL�Z�SLHUZV]\P�RNUHVLH�� OHF]�SRZRGRZDáR�MHJR� ]DKDPRZDQLH� Z� Sy QLHMV]\P�� JG]LH� QLH]E GQH� E\á\� PQLHMV]H�� EDUG]LHM� VXEWHOQH�PRG\ILNDFMH�]DFKRZDQLD�PRGXáX�

:LGDü� MHGQDN�� H� Z� SRF] WNRZ\P� RNUHVLH� SRV]XNLZD � WDNLH� SRGHM FLH� MHVW� EDUG]R�NRU]\VWQH�� =DVWRVRZDQLH� RSHUDWRUyZ�� NWyU\FK� G]LDáDQLH� ]PLHQLD� VL � Z� F]DVLH� OXE� MHVW�]DOH QH� RG� DNWXDOQ\FK� SDUDPHWUyZ� SRSXODFML�� SR]ZROLü� SRZLQQR� QD� Z\GRE\FLH� FHFK�NRU]\VWQHJR� G]LDáDQLD� HIHNWX� SOHMRWURSRZHJR� L� SROLJHQLF]QHJR� RUD]� VWDQGDUGRZHJR�SRGHM FLD��U\V��8.6).

���

���

���

���

���

���

���

���

���

� ��� ��� ��� ���� ���� ���� ���� ���� ���� ���� ���� ����SRNROHQLH

SU\VWRVRZDQLH

PDNV\PDOQHUHGQLH

Wykres 8.10. Przebieg ewolucji z wykorzystaniem efektu plejotropowego i poligenicznego

Page 61: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�VLHFL�QHXURQRZ\FK 56

9. Podsumowanie

W pracy zaprezenWRZDQR� ZV]HFKVWURQQ � DQDOL] � PRGHOX� ]DSURSRQRZDQHJR� SU]H]�Hugo de Garisa –�PRGXáX�&R'L��:\ND]DQR�� H�SURSRQRZDQ\�PRGHO��]�SRZRG]HQLHP�MHVW�Z�VWDQLH�UR]SR]QDZDü�V\JQDá\�]PLHQQH�Z�F]DVLH�L�SRVLDGD�]GROQR FL�JHQHUDOL]DFML��MHGQDN�podobnie jak w przypadku klasycznych sieci neuronowych, uzyskanie dobrych efektów XRJyOQLDQLD�� Z\PDJD� GREUHJR� ]DSURMHNWRZDQLD� XNáDGX� �VLHFL�� RUD]� RGSRZLHGQLHM�SUH]HQWDFML� Z]RUFyZ� XF] F\FK�� :� Z\SDGNX� PRGXáyZ� &R'L� QLH]E GQH� Z\GDMH� VL �]ZL ]DQLH� IXQNFML� SU]\VWRVRZDQLD� HZROXRZDQ\FK� PRGXáyZ� ]H� ]GROQR FL � XRJyOQLDQLD��,QDF]HM�� ]DPLDVW� RGQDOH ü� UR]ZL ]DQLD� RJyOQH�� DOJRU\WP\� HZROXF\MQH� RGQDMG � SLHUZV]H�GREUH�UR]ZL ]DQLH��NWyUH�SRNU\ZD�VL �]�FL JLHP�XF] F\P�

8GDáR� VL � UyZQLH � Z\ND]Dü�� H� DOJRU\WP\� HZROXF\MQH� V � GREU\P� QDU] G]LHP�� SU]\�przeszukiZDQLX� SU]HVWU]HQL� UR]ZL ]D �� WDN� GX HM�� MDN� ZLHORNLOREDMWRZ\� FKURPRVRP�PRGXáX�&R'L��3RUyZQDQR�WR�SRGHM FLH�]�SURVW �PHWRG �0RQWH�&DUOR� L�]DREVHUZRZDQR��H� HZROXF\MQH� SRGHM FLH� MHVW� ]QDF] FR� OHSV]H� QLH� W\ONR�� MH OL� FKRG]L� R� V]\ENR ü�SRV]XNLZD �� OHF]� UyZQLH � MDNR ü� ]QDOH]LRQ\FK� UR]ZL ]D �� =EDGDQR� WDN H�ZSá\Z� HIHNWX�SOHMRWURSRZHJR� L� SROLJHQLF]QHJR� QD� SU]HELHJ� HZROXFML�� JG]LH� RGNU\WR�� L � WDNL� VSRVyE�NRGRZDQLD��PR H�SRSUDZLü�HIHNW\ZQR ü�($�Z�SRF] WNRZHM�ID]LH�HZROXFML�

:\ND]DQR� SRQDGWR�� H� SU]\� LPSOHPHQWDFML� DOJorytmów probabilistycznych, istotnym SUREOHPHP��PR H� E\ü�Z\EyU�X \ZDQHJR�JHQHUDWRUD� OLF]E�SVHXGRORVRZ\FK�� -HJR�Eá GQD�NRQVWUXNFMD�PR H�SURZDG]Lü�GR�P\OQ\FK�ZQLRVNyZ�E G �Z\QLNyZ�

1LH�XGDáR�VL �]EDGDü��HIHNWX�G]LDáDQLD�NRGRZDQLD�6,,&��UR]G]��4.2���NWyUH�Z\ PLHQLFLH�QDGDZDü� VL � SRZLQQR� GR� NRGRZDQLD� LQIRUPDFML� DQDORJRZ\FK�� =UH]\JQRZDQR� WDN H� ]�WHVWX� QDG� ]GROQR FLDPL� ]DSDPL W\ZDQLD� SU]H]� PRGXá� &R'L�� NWyUHJR� VWUXNWXUD� SRá F]H �PR H�E\ü�VWUXNWXU �UHNXUHQF\MQ ��1LHPQLHM� MHGQDN�EDGDQLD�WDNLH�]RVWDá\�SU]HSURZDG]RQH�SU]H]�JUXS �*$%5,�>int 07@�L�VXJHUXM �� H�PR QD�Z\HZROXRZDü�PRGXá\�&R'L�]GROQH�GR�]DSDPL W\ZDQLD�LQIRUPDFML�ZHZQ WU]�PRGXáX�

&HFK � FKDUDNWHU\VW\F]Q � PRGXáyZ� &R'L�� RGUy QLDM F � M � RG� ZLHOX� LQQ\FK� VLHFL�neuURQRZ\FK�� MHVW� XPLHM WQR ü� SU]HWZDU]DQLD� V\JQDáyZ� FL Já\FK�� ]PLHQLDM F\FK� VL � Z�czasie. W rozdziale 8.3��Z\ND]DQR�� H�XNáDG\�&R'L��PRJ �VNXWHF]QLH�RSHURZDü�QD�WDNLFK�V\JQDáDFK�� 0R QD� ZQLRVNRZDü�� H� ]DVWRVRZDQLH� PRGXáyZ� Z� FHOX� Rbróbki takich V\JQDáyZ� MDN� PRZD� OXG]ND� SRZLQQR� SU]\QLH ü� LQWHUHVXM FH� UH]XOWDW\�� Ä:\KRGRZDQLH´�PRGXáyZ� UR]SR]QDM F\FK� G ZL NL�� OXE� Z\RGU EQLDM F\FK� SHZQH� FKDUDNWHU\VW\NL� ]�SUH]HQWRZDQ\FK�V\JQDáyZ�Z\GDMH�VL �UHDOQH�L�ZDUWH�NRQW\QXDFML�

W celu przeprowadzeniD� RPDZLDQ\FK� Z� SUDF\� GR ZLDGF]H �� QLH]E GQH� VWDáR� VL �VNRQVWUXRZDQLH� UyZQROHJáHJR� V\VWHPX� REOLF]DQLD� IXQNFML� SU]\VWRVRZDQLD� PRGXáyZ��3UDFH� QDG� W\P� V\VWHPHP� ]DRZRFRZDá\� XVSUDZQLHQLDPL�� NWyUH� Z\GDWQLH� SU]\ SLHV]\á\�SURFHV�HZROXFML�UHGXNXM F�LVWRWQLH�F]DV�REOiczania funkcji fitness.

=H� Z]JO GX� QD� RJUDQLF]RQH� PR OLZR FL� Z� GRVW SLH� GR� PDV]\Q� R� GX HM� PRF\�REOLF]HQLRZHM� SU]HSURZDG]RQR� W\ONR� F] ü� SODQRZDQ\FK� HNVSHU\PHQWyZ�� 'RVW S� GR�WDNLFK� XU] G]H � MDN� RSLV\ZDQ\� Z� UR]G]LDOH� 5.1 CBM, umR OLZLáE\� VNUyFHQLH� F]DVX�REOLF]H � R� �� U] G\� ZLHONR FL�� ']L NL� WDNLP� UR]ZL ]DQLRP�� EDGDQLD� PLDá\E\� EDUG]LHM�FKDUDNWHU� LQWHUDNW\ZQ\� QL � ZVDGRZ\� L� XPR OLZLá\E\� SRGM FLH� EDUG]LHM� DPELWQ\FK� SUyE�]EDGDQLD� WHJR� QLHZ WSOLZLH� LQWHUHVXM FHJR� SRGHM FLD� GR� V]WXF]QHM� inteligencji i sieci neuronowych.

$XWRU� MHVW� SU]HNRQDQ\�� H� ZUD]� ]� UR]ZRMHP� WHFKQRORJLL� LQIRUPDW\F]Q\FK� L�HOHNWURQLF]Q\FK�� Z� QLHGáXJLP� F]DVLH� XNáDG\� )3*$� ]\VNDM � SRSXODUQR ü� WDN H� Z�XU] G]HQLDFK� NODV\� 3&�� 6WUXNWXUD� ORJLF]QD� WDNLHJR� XNáDGX� E G]LH� PRJáD� ]RVWDü�G\QDPLF]QLH� SU]HSURJUDPRZDQD�� QD� \F]HQLH� DSOLNDFML�� ']L NL� WDNLP� UR]ZL ]DQLRP�

Page 62: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�VLHFL�QHXURQRZ\FK 57

PR OLZH� VWDQLH� VL � Eá\VNDZLF]QH� Ä]DLQVWDORZDQLH´� Z� UD]LH� SRWU]HE\� Z\VSHFMDOL]RZDQHM�NDUW\� JUDILF]QHM�� SURFHVRUD� V\JQDáRZHJR� OXE� NRSURFHVRUD� Z\VRNLHM� GRNáDGQR FL� OXE�XU] G]HQLD� VSU] WRZR� V\PXOXM FHJR� PRGHO� &R'L�� :V]\VWNLFK� W\FK� IXQNFML� GRVWDUF]\�SRMHG\QF]\�XNáDG�)3*$��SU]HSURJUDPRZ\ZDQ\�QD� \F]HQLH��

3U]\� WDNLP� ]DáR HQLX� NRPyUNRZH� VLHFL� QHXURQRZH� PRJ � ]\VNDü� QD� ]QDF]HQLX� L�SRSXODUQR FL�� 2EHFQLH� QDMZL NV] � EDULHU � GOD� LFK� UR]ZRMX� MHVW� EDUG]R� GáXJL� F]DV�symulacji ich zachowania. W [Gol 98@�PR HP\�SU]HF]\WDü�

Ä-HVW�ZLHONLP�SDUDGRNVHP�� H�Z� ZLHFLH��Z�NWyU\P�DOJRU\WP\�VHNZHQF\MQH�SU]HNV]WDáFD� VL � Z� UyZQROHJáH�� ]D]Z\F]DM� G]L NL� QLH]OLF]RQ\P� WULNRP� L�áDPD FRP�� DOJRU\tmy genetyczne (z natury w wysokim stopniu UyZQROHJáH�� V � UHDOL]RZDQH� VHNZHQF\MQLH� ]D� SRPRF � UyZQLH�nienaturalnych chwytów.”

$QDORJLF]QH� VWZLHUG]HQLH� PR QD� VIRUPXáRZDü� Z� NRQWHN FLH� ZLHOX� SUDF� QDG�VLHFLDPL�QHXURQRZ\PL��D�NRPyUNRZ\PL�Z�V]F]HJyOQR FL�

Page 63: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�VLHFL�QHXURQRZ\FK 58

Literatura

[Gol 98] David E. Goldberg Algorytmy genetyczne i ich zastosowania, WNT, Warszawa 1995

[Kwa 99] +DOLQD�.ZD QLFND�Obliczenia ewolucyjne w sztucznej inteligencji, Oficyna Z\GDZQLF]D�3ROLWHFKQLNL�:URFODZVNLHM��:URFáDZ�����

[Mic 96] Zbigniew Michalewicz Algorytmy genetyczne + struktury danych = programy ewolucyjne, WNT, Warszawa 1996

[int 01] http://www.arkus.wroc.pl/si.htm �

[int 02] Andrzej Pastusiak Dokumentacja projektu oraz referat z seminarium z przedmiotu „Algorytmy genetyczne” http://www.ci.pwr.wroc.pl/~pastusia/ga3d.htm

> XU 96] -DFHN� XUDGD��0DULXV]�%DUVNL��:RMFLHFK�- GUXFK��Sztuczne sieci neuronowe, PWN, Warszawa 1996�

[Oso 97] 6WDQLVáDZ�2VRZVNL��6LHFL�QHXURQRZH�Z�XM FLX�DOJRU\WPLF]Q\P, WNT, Warszawa 1997

[Cri 97] Francis Crick, =GXPLHZDM FD�KLSRWH]D��3UyV]\ VNL�L�V-ka, Warszawa 1997

>.Xá 00] .U]\V]WRI�.XáDNRZVNL, Automaty komórkowe, 2000, http://fatcat.ftj.agh.edu.pl/~bold/skrypt/main

[int 04] Strona domowa Hugo de Garisa http://www.hip.atr.co.jp/~degaris/

[int 05] .RG� UyGáRZ\�LPSOHPHQWXM F\�PRGHO�&R'L��ftp://ftp.hip.atr.co.jp/pub/Dept6/degaris/codes/CoDi-1Bit.tar.gz

[Kor 98] Michael Korkin, Norberto. E. Nawa, Hugo de Garis A ‘Spike Interval Information Coding’ Representation for ATR's CAM-Brain Machine (CBM), 1998, http://www.hip.atr.co.jp/~degaris/papers/ices98.html

[int 06] Strona domowa Hugo de Garisa http://www.hip.atr.co.jp/~degaris/

[int 07] *GD VN�$UWLILFLDO�%UDLQ�,QLWLDWLYH�- http://www.pg.gda.pl/~buller/eecs.html

[Siw] 3DZHá�6LZDN��Cellular automata http://staff.sk-kari.put.poznan.pl/siwak/Tutorials/CellularAutomata/index.html

[Boc 93] Nino Boccara, Eric Goles, Servet Martinez, Pierre Pico Cellular Automata and Cooperative Systems, Kluwer Academic Publishers 1993.

>&L 98] Sebastian &L FLR��3URMHNWRZDQLH�VLHFL�QHXURQRZ\FK�]D�SRPRF �DOJRU\WPX�genetycznego��3UDFD�PDJLVWHUVND��3ROLWHFKQLND�:URFáDZVND��:URFáDZ�����

[Muc 96] Grzegorz Mucha, Zastosowanie sztucznych sieci neuronowych do analizy Z\EUDQ\FK�]DJDGQLH �PHFKDQLNL�NRQVWUXNFML� Praca magisterska, Politechnika .UDNRZVND��.UDNyZ�������'RVW SQD�SRG�DGUHVHP��http://www.twins.pk.edu.pl/~grzes/pol/dyplom/

[Mer 97] Lionel Merlat, Axel Köneke, Jean Merclé, A tutorial introduction to Cellular Neural Networks. ������3UDFD�GRVW SQD�SRG�DGUHVHP�http://www.sic.rma.ac.be/~lmerlat/Publis/essaim97.zip

[int 08] http://lab.analogic.sztaki.hu/csl-word/csl_contents.html

Page 64: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�VLHFL�QHXURQRZ\FK 59

[Bul 98] Andrzej Buller, 6]WXF]Q\�Py]J��WR�MX �QLH�IDQWD]MH��3UyV]\ VNL�L�6-ka, Warszawa 1998

[Tup 99] Konrad Tupaj, Modelowanie mózgu, fizjologii komórki nerwowej, procesów XP\VáRZ\FK�F]áRZLHND, Seminarium z przedmiotu Sieci Neuronowe II, 3ROLWHFKQLND�:URFáDZVND�����

Page 65: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�VLHFL�QHXURQRZ\FK 60

Dodatek A - �,QVWUXNFMD�REVáXJL�

=DV]\FLH�WDNLFK�VWDá\FK�MDN�UR]PLDU�PRGXáX�ZHZQ WU]�NRGX�SURJUDPX��GDMH�PR OLZR ü�NRPSLODFML� PR OLZLH� QDMOHSLHM� ]RSW\PDOL]RZDQHJR� NRGX� GRVtosowanego do konkretnego ]DGDQLD��'ODWHJR�Z�ID]LH�JHQHURZDQLD�SRMHG\QF]HJR�HNVSHU\PHQWX�QLH]E GQD�RND]DáD�VL �ID]D� NRPSLODFML�� 'R� NRQWUROL� ZV]\VWNLFK� SDUDPHWUyZ� HZROXFML� QLH]E GQD� MHVW� LQJHUHQFMD�w kod programu w pliku codi.cpp��'DMH� WR�SHáQ �HODVW\F]QR ü� L�PR OLZR ü� LQJHUHQFML�Z�QDMGUREQLHMV]H�GHWDOH�HZROXFML��-HGQDN H�Z\PDJD�WR�XPLHM WQR FL�SURJUDPRZDQLD�Z�&���RUD]�]QDMRPR FL�V]F]HJyáyZ�SU]\M W\FK�UR]ZL ]D ��$E\�]DWHP�XSUR FLü�WHQ�SURFHV��]RVWDá�VWZRU]RQ\� SURJUDP� XáDWZLDM F\� SODQRZDQLH� VWDQGDUGRZ\FK� HNVSHU\PHQWyZ� JHQHUXM F�stosunkowo ogólny eksperyment, gdzie wszelkie dane podajemy z konsoli i na tej SRGVWDZLH�JHQHURZDQ\� MHVW�RGSRZLHGQL�QDJáyZHN�SU]HWZDU]DQ\�QDVW SQLH�DXWRPDW\F]QLH�Z� SR GDQ\� SURJUDP� Z\QLNRZ\�� 1DOH \� SRGNUH OLü�� L � WDNLH� UR]ZL ]DQLH� ]RVWDáR�SRG\NWRZDQH� ]DSHZQLHQLHP� PLQLPDOQHJR� F]DVX� REOLF]H �� JG\ � F]DV� Z\JHQHURZDQLD�SURJUDPX� Z\QLNRZHJR� ]� SU]\JRWRZDQ\FK� GDQ\FK� MHVW� QLHZVSyáPLHUQLH� PDá\� GR� F]DVX�FDáNRZLWHM� HZROXFML� L� SR]ZDOD� SU]\ SLHV]\ü� WHQ� SURFHV� NLONXNURWQLH�� :\JHQHURZDQ\�SURJUDP� PR H� SRVáX \ü� GR� SU]HSURZDG]HQLD� HNVSHU\PHQWX�� =D� SRPRF � SOLNyZ�G\VNRZ\FK�PR QD�]DGDZDü�UR]PLHV]F]HQLH�ZHM ü�Z�PRGXOH�&R'L�RUD]�ZDUWR FL�ZHM ü�L�RF]HNLZDQ\FK� Z\M ü�� -DNR� IXQNFM � SU]\VWRVRZDQLD� SU]\� WDNLP� SRGHM FLX� REOLF]D� VL �RGOHJáR ü� +DPPLQJD� PL G]\� Z\M FLHP� RF]HNLZDQ\P� D� RWU]\PDQ\P�� :DUWR ü� WD� MHVW�QDVW SQLH� QRUPDOL]RZDQD� GR� ]DNUHVX� >���@�� WDN� H� �� RGSRZLDGD� ZV]\VWNLP� Z\M FLRP�RGZUyFRQ\P��D���ZV]\VWNLP�ZHM FLRP�SRSUDZQ\P�

,PSOHPHQWDFMD�]RVWDáD�SU]\JRWRZDQD�QD�SODWIRUP �/LQX[�RUD]�NRPSLODWRU�Z�ZHUVML�FR�najmniej ������ ZUD]� ]� ]DLQVWDORZDQ � RGSRZLHGQL � GR� ZHUVML� NRPSLODWRUD� ELEOLRWHN �OLEVWGF����:V]HONLH�HNVSHU\PHQW\�QDOH \�]DF] ü�RG�UR]SDNRZDQLD�ELEOLRWHNL��

tar xzf codi-0.5.tar.gz

3U]HFKRG] F� GR� NDUWRWHNL� QDOH \� ]EXGRZDü� SURJUDP� XáDWZLDM F\� SU]HSURZDG]DQLH�eksperyPHQWyZ�EH]�SRWU]HE\�]QDMRPR FL�&���L�]DZLáR FL�LPSOHPHQWDFML�

cd codi make codi_setup

RUD]�Z\ZRáDü�SURJUDP�

./codi_setup

1DVW SQ\P� NURNLHP� MHVW� VWZRU]HQLH� NDWDORJX� ]DZLHUDM FHJR� GDQH� ZHM FLRZH� GOD�eksperymentu oraz przygotowanie plików z opisem eksperymentu.

mkdir xor_experiment

Z�NDWDORJX�W\P�QDOH \�XPLH FLü�FR�QDMPQLHM���SOLNL�

plik input.pos

:�SLHUZV]HM�OLQLL�]DZLHUD�OLF]E �ZHM ü�GR�PRGXáX��D�Z�QDVW SQ\FK�NROHMQR�LFK�ZVSyáU] GQH�;�<�=�Z�PRGXOH��1S��

2 0 0 0 3 2 0

Page 66: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�VLHFL�QHXURQRZ\FK 61

plik output.pos

Analogiczny format jak inSXW�SRV��'HILQLXMH�SR]\FMH�Z\M ü�PRGXáX�RUD]�LFK�OLF]E ��1S��

1 0 0 12

SOLNL�]ZLHUDM FH�VHULH�ZHM ü�L�Z\M ü

Jest to seria par plików i0, o0, i1, o1, .. .innn, onnn. 3DUD� ]DZLHUD� ZHM FLH� GR�PRGXáX� &R'L� RUD]� RF]HNLZDQ � RGSRZLHG � QD� Z\M FLX�� 'OD�

ND GHM� WDNiej pary wykonywana jest faza sygnalizacji. Funkcja przystosowania jest UHGQL � IXQNFML� SU]\VWRVRZDQLD� PRGXáX� GOD� ND GHJR� WHVWyZ�� 3OLNL� R� SRVWDFL� i??? UR]SRF]\QDM � VL � OLF]E � LGHQW\F]Q � ]� OLF]E � ZHM ü� SRGDQ � Z� SOLNX� input.pos�� 1DVW SQLH�XPLHV]F]RQH� V � OLQLH� ]DZLHUDM FH� V\JQDá�� MDNL� PD� E\ü� SRGDZDQ\� Z� NROHMQ\FK� F\NODFK�V\JQDOL]DFML�QD�SRV]F]HJyOQH�ZHM FLD��3OLNL�R�SRVWDFL�o???�PDM �WDNL�VDP�IRUPDW��]�W\P� H�RSLVXM � RF]HNLZDQH� Z\M FLH� GOD� WDN� ]DGDQHJR� ZHM FLD� L� V � RQH� Z\NRU]\VW\ZDQH� GR�RNUH OHQLD� SU]\VWRVRZDQLD� PRGXáX�� 1DOH \� SRGNUH OLü�� H� OLF]ED� ELWyZ� Z� ND GHM� OLQLL��pliku i??? i o???�SRZLQQD�E\ü�]JRGQD��JG\ �RNUH OD�RQD�OLF]E �F\NOL�ID]\�V\JQDOL]DFML�GOD�GDQHJR� WHVWX�� 0LHG]\� Uy Q\PL� WHVWDPL� WD� ]JRGQR ü� QLH� PXVL� E\ü� ]DFKRZDQD�� 1S�� 'OD�Z\HZROXRZDQLD�PRGXáX�UHDOL]XM FHJR�IXQNFM �;25�QD�GZyFK�ZHM FLDFK� Plik i0:

2 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

Plik o0:

1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

Plik i1:

2 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

Plik o1:

1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

Plik i2:

2 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

Plik o2:

Page 67: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�VLHFL�QHXURQRZ\FK 62

1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

Plik i3:

2 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

Plik o3:

1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

3URJUDP�VDP�UR]SR]QD�OLF]E �WHVWyZ�XPLHV]F]RQ\FK�Z�NDWDORJX�HNVSHU\PHQWX�

Generacja programu wykonalnenego

1DVW SQLH�Z�JáyZQ\P�NDWDORJX�SURJUDPX�QDOH \�Z\ZRáDü�SURJUDP�JHQHUXM F\�odpowiedni do naszych potrzeb program wykonawczy:

./codi_setup

Zadaje on seri�S\WD �

Enter module sizes X is multiply of 3, Y is multipl y of 2 and Z is multiply of 2 X Y Z:

1DOH \� ZSURZDG]Lü� UR]PLDU� PRGXáX� Z� WU]HFK� Z\PLDUDFK� RGG]LHODM F� OLF]E\� ELDá\PL�znakami.

Enter population size:

5R]PLDU� SRSXODFML� RVREQLNyZ�� 6HOHNFMD� E G]LH� VL � RGE\ZDü� Z� VSRVyE� VWRFKDVW\F]Q\�ZHGáXJ� UHV]W� ]� SRZWyU]HQLDPL� ]H� ZVSyáF]\QQLNLHP� DOSKD� UyZQ\P� ����� SRF]\QDM F� RG�SRSXODFML�R�SRGDQHM�ZLHONR FL�]�ORVRZR�Z\ORVRZDQ\PL�FKURPRVRPDPL��(ZROXFMD�QLH�MHVW�elitarna.

Enter xover rate:

:VSyáF]\QQLN�FURVVLQJ�RYHU�

Enter mutation rate:

:VSyáF]\QQLN� PXWDFML�� 'OD� ZV]\VWNLFK� HOHPHQWyZ� FKURPRVRPX� �&Kneuronu, Chwzrost, Chznaku) na takim samym poziomie.

Number of generations:

/LF]ED�JHQHUDFML�� SR�NWyU\FK�PD�]DWU]\PDü�VL �SURFHV�HZROXFML�D�VWDQ�SRSXODFML�]RVWDQLH�zapisany w pliku output.6

Enter experiment dir:

Page 68: NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci …docus.no-ip.com/papers/mgr_nolinks.pdf · Praca Magisterska (ZROXXM FHDXWRPDW\NRPyUNRZHMDNRPHWRGDZ]URVWX sztucznych sieci neuronowych

(ZROXXM FH�DXWRPDW\�NRPyUNRZH�MDNR�PHWRGD�Z]URVWX�VLHFL�QHXURQRZ\FK 63

.DWDORJ� Z� NWyU\P� XPLH FLOL P\� SRZ\ HM� ]GHILQLRZDQH� SOLNL� Z]JO GHP� ELH FHJR�katalogu

Enter fitness log name:

1D]ZD�SOLNX��JG]LH�E G �]DSLV\ZDQH�GOD�ND GHJR�SRNROHQLD�WUyMNL�SRVWDFL� Numer pokolenia, najlepsze przystosowaniH�� UHGQLH�SU]\VWRVRZDQLH

Enter version (1-single thread, m-mpi parallel exec utable, s-socket master process)

1DOH \�ZSLVDü��� 1D� SRGVWDZLH� W\FK� GDQ\FK� ]RVWDQLH� Z\JHQHURZDQ\� SOLN� H[SHULPHQW�K� GHILQLXM F\�ZV]HONLH� SDUDPHWU\� PRGXáX�� 1S�� R� WDNLHM� SRVWDFL� �Z� Nomentarzach dodano opis QLHNWyU\FK�SDUDPHWUyZ�QLH�RSLVDQ\FK�SRZ\ HM��

#define EXP_AUTO_GENERATED #define FAST 64 #define MAX_GENERATIONS 1000 #define SPACESIZEX 12 #define SPACESIZEY 8 #define SPACESIZEZ 8 #define POP_SIZE 12 #define XOVER_RATE 0.001 #define MUT_RATE_A 0.001 #define MUT_RATE_B 0.001 #define OUTPUT_FILE "xor_experiment/xor_12_8_8_A" #define EXPERIMENT_DIR "xor_experiment/" #define BIN_CHROMO_IO �GHILQH�;B*5,'����������1HXURQ\�PXV] �E\ü�UR]PLHV]F]RQH�QD� #define Y_GRID 2 // sietce 3x2x2 #define Z_GRID 2 �GHILQH�$;21B'(1'5,7B5$7,2������:VSyáF]\QQLN�Z]URVWX�DNVRQyZ�L�GHQGU\WyZ�opisany w [1] #define GROW_LOG 3 //Proces wzrostu logowany do pliku output.3 #define SIG_LOG 4 //Proces sygnalizacji logo wany do pliku output.4 #define FIT_LOG 5 //Fitness osobników zapisywany do pliku output.5 �GHILQH�'803B/2*�������3OLN�]�SRSXODFM �NR FRZ �WR�RXWSXW��

3R�Z\JHQHURZDQLX�SRZ\ V]HJR�SOLNX�Z\ZRá\ZDQ\� MHVW� SURJUDP�make, który tworzy program wykonywalny o nazwie codi. Jego uruchomienie rozpocznie proces ewolucji SR]RVWDZLDM F� LQIRUPDFM �R�SU]HELHJX�HZROXFML�Z�SOLNX�R�]DGDQHM�QD]ZLH�RUD]�SRSXODFM �NR FRZ �Z�SOLNX�output.6��:V]\VWNLH�SOLNL�E G �XPLHV]F]RQH�Z�NDWDORJX�HNVSHU\PHQWX�

3URJUDP� Z� ZHUVML� SRG� V\VWHP\� XQLNVRZH� MHVW� GRVW SQ\� SRG� DGUHVHP

http://www.ci.pwr.wroc.pl/~pastusia/download/codi-0.5.tar.gz.