كامپيوتر مهندسي دانشكده اطالعات فناوري و

اميركبير صنعتي دانشگاه( تهران تكنيك ) پلي

رقابتيرقابتي يادگيرييادگيري تحقيقاتيتحقيقاتي گزارشگزارش

ماشينماشين يادگيرييادگيري درسدرس

شيري دكتر : آقاي استادوحدت : عليرضا دهنده ارائه

84131038

1385 بهار

چكيده

است: يافته سازمان عمده بخش دو در گزارش اين عمده هايروش تا داريم سعي مطالعاتي گزارش اين اول بخش در

بدقت را انديافته گسترش و بسط اخير سال چند در كه رقابتي“ ”يادگيري كنيم. مقايسه يكديگر با را آنها و كنيم مطرح مثالي كدام هر از كنيم، بررسي

هايمثال از بايستي شود فراهم مختلف هايروش مقايسه امكان اينكه براي ترملموس و بهتر روش هر كارآيي ميزان و عملكرد تا كرد استفاده يكساني گزارش اين اول بخش هايمثال تمامي تهيه براي منظور اين شود. به مشخص

اين شود. در فراهم مقايسه امكان تا كنيممي استفاده يكساني افزارنرم از و كنيممي تقسيم عمده دسته3 به را رقابتي يادگيري هايروش انواع بخش

كنيم. مي بيان جزئيات با و تفكيك به را دسته هر خصوصيات ”نقشه بنام رقابتي يادگيري هايروش از يكي سراغ به دوم بخش در

بسيار اخيرا و داديم توضيح اول بخش در كه(GSOM) رشديابنده“ خودسامانده-متنوع هايمثال ارائه به آن بيشتر توضيح ضمن و رويممي گرفته قرار توجه مورد در لذا و است متنوعي انواع داراي خودGSOM روش پردازيم. البتهمي آن از تري

كنيم.مي بيان نيز را هاروش اين از تعدادي دوم بخش

2

فهرست مطالب6--------------------------------------------------: يادگيري رقابتي بخش اول

6-----------------------------------------------------------------مقدمه: 1فصل 7------------------------- خصوصيات مشترك و قرارداهاي نوشتاري: 2فصل 10----------------------------------------------رقابتي يادگيري : اهداف3 فصل10------------------------------------------------------خطا کردن حداقل1-311--------------------------------------------------آنتروپي کردن حداکثر2-312----------------------------------------------------------ويژگي نگاشت3-312-------------------------------------------------------------ديگر اهداف4-313-----------------------------------------------سخت رقابتي : يادگيري4 فصلLBG (Batch Update: LBG)------------------------14 اي:دسته بروزرساني1-416---(On-line Update: Basic Algorithm) پايه خط: الگوريتمروي بروزرساني2-43-4 k-means-----------------------------------------------------------------1618------(Exponentially Decaying Learning Rate) نمايي نزولي يادگيري نرخ4-421-------------------------شبکه ثابت ابعاد بدون نرم رقابتي يادگيري: 5 فصل21-------------------------------------------------(Neural Gas) عصبي گاز1-523--------------------(Competative Hebbian Learning) هب رقابتي يادگيري2-524----------------------------(Growing Neural Gas) رشديابنده عصبي گاز3-527-----------------------------------------------------------ديگر هاي روش4-528-----------------------------شبکه ثابت ابعاد با نرم رقابتي يادگيري: 6 فصل28----------(Self-Organizing Feature Maps) خودسامانده ويژگي هاي نقشه1-630---------------(Growing Cell Structures) رشديابنده سلولي ساختارهاي2-633---------------------------------(Growing Grid) رشديابنده توري شبکه3-638-----------------------------------------------------------ديگر هاي روش4-639------------------------------رشديابنده خودسامانده هاي: نقشهدوم بخش41------------------------معماري عصبي خودمولد براي تحليل داده: 7فصل 41-------------------رشديابنده خودسامانده نقشه الگوريتم از اي نسخه1-7GSOM-----------------------------------------------------43 ديگر هاي مدل2-746------------------خروجي ابرمکعبي فضاهاي براي GSOM گوريتم: ال8 فصل47------------------------ابرمکعبي فضاي در رشد براي GSOM الگوريتم1-850-----------------------------------------------------------واقعي هاي مثال2-8

53---------------------هاي خودسامانده رشديابندههايي از نقشهمثال: 9فصل 53-------------------------------------------الگوها بندياول: دسته مثال1-956-----------------------------------------------هاداده دوم: نمايش مثال2-958-------------------------------------------------------------------- نتيجه3-960---------------------------------------------------------------------------مراجع

3

اشكال فهرست

شكل9 دالني سازي مثلث ورونوئي، کاري موزائيک ،R2 فضاي در نقاط مجموعه2.1

شكل9 آن تفكيك بهمراهD ورودي داده مجموعه2.2

شكلLBG 1 سازي شبيه4.1

5 شكل1 حلقه شکل به يکنواخت احتمال توزيع يک برايk-means سازيشبيه مراحل4.2

8 شكل4.3

احتمال توزيع3 براي ورودي سيگنال40000 از پسk-means سازيشبيه متفاوت

18

شكل4.4

هارمونيك سري و نمايي نزول يادگيري تابع مقايسه

19

شكل4.5

به يکنواخت احتمال توزيع يک براي سخت رقابتي يادگيري سازيشبيه مراحل حلقه شکل

20

شكل4.6

3 براي ورودي سيگنال40000 از پس سخت رقابتي يادگيري سازيشبيه متفاوت احتمال توزيع

20

شكل2 حلقه شکل به يکنواخت احتمال توزيع يک براي عصبي گاز سازيشبيه مراحل5.1

2 شكل5.2

احتمال توزيع3 براي ورودي سيگنال40000 از پس عصبي گاز سازيشبيه متفاوت

22

شكل5.3

به يکنواخت احتمال توزيع يک براي هب رقابتي يادگيري سازيشبيه مراحل حلقه شکل

24

شكل5.4

توزيع3 براي ورودي سيگنال40000 از پس هب رقابتي يادگيري سازيشبيه متفاوت احتمال

24

شكل5.5

به يکنواخت احتمال توزيع يک براي رشديابنده عصبي گاز سازيشبيه مراحل حلقه شکل

27

شكل5.6

توزيع3 براي ورودي سيگنال40000 از پس رشديابنده عصبي گاز سازيشبيه متفاوت احتمال

27

شكل6.1

يکنواخت احتمال توزيع يک براي خودسامانده ويژگي نقشه سازيشبيه مراحل حلقه شکل به

30

شكل6.2

3 براي ورودي سيگنال40000 از پس خودسامانده ويژگي نقشه سازيشبيه متفاوت احتمال توزيع

30

شكل6.3

احتمال توزيع يک براي رشديابنده سلولي ساختارهاي سازيشبيه مراحل حلقه شکل به يکنواخت

33

شكل6.4

براي ورودي سيگنال40000 از پس رشديابنده سلولي ساختارهاي سازيشبيه متفاوت احتمال توزيع3

33

3 به يکنواخت احتمال توزيع يک براي رشديابنده توري شبکه سازيشبيه مراحل شكل

4

7 حلقه شکل6.5 شكل6.6

3 براي ورودي سيگنال40000 از پس رشديابنده توري شبکه سازيشبيه متفاوت احتمال توزيع

37

شكل4 شود گرفته رشد روند طي در بايستي که تصميمي توصيف8.1

8 شكل4 رشد صحيح جهت يکننده تعيين معيار توصيف8.2

9 شكلGSOM 5 نقشه8.3

2 شكل5 نظارت باGNG شبکه با بندي دسته9.1

4 شكل5 سنتيRBF شبکه يک از استفاده با بندي دسته9.2

6 شكل5 خودسامانده ويژگي نقشه9.3

7 شكل5 رشديابنده خودسامانده توري شبکه يک9.4

8

5

اول بخش

يادگيري رقابتي

1 فصل مقدمه

هاي نسبتا زيادي وجود دارند که مدل“يادگيري رقابتي”در زمينه باشد.هايي ميبا بقيه داراي تفاوتاهداف مشابهي دارند ولي روش کار هر کدام

دربردارهاي يادگيري، توزيع تعداد معيني هدف مشترک همه اين الگوريتم ها بايستي )به نحوي( بيانگربردارفضاي با ابعاد نسبتا باال است. توزيع اين

هاي ورودي باشد. توزيع سيگنال هاي وابسته به يادگيري رقابتيدر اين بخش سعي داريم تا تعدادي از روش

هايي که آنها را ذکر مي کنيمي تمامي روشرا مرور کنيم. براي اينکه مقايسه کنيم. در ضمن پس مياستفادهآسان باشد، از اصطالحات و واژگان مشترکي

هاي يادگيري رقابتي نيز مثالي از نحوه عملكرد آناز معرفي هر يك از روش كنيم. براي اينكه بتوانيم به يك مقايسه كمي در ميان روش هايروش ارائه مي

هايكنيم. تمامي مثالهاي يكساني استفاده مييادگيري رقابتي برسيم، از مثال تهيهDemoGNG v1.5 [1]افزاري ارائه شده در اين گزارش توسط بسته نرم

است. شده يادگيري هايروش توانمي است، داده انجام Fritzke كه بنديتقسيم طبق بر ب( و سخت رقابتي كرد: الف( يادگيري تقسيم اصلي گروه2 به را رقابتي

از پس كه است واحدهايي تعداد بندي تقسيم اين مبناي كه نرم رقابتي يادگيرييابند. مي وفق ورودي بردار بسمت عمليات از مرحله هر

و اصطالحات2 فصل است: در زير ساختار داراي گزارش از بخش اين با مرتبط هاي روش انواع ميان مشترك خصوصيات نيز و نياز مورد واژگان

هاي روش انواع مشترك اهداف3 فصل است. در آمده رقابتي يادگيري يعني رقابتي يادگيري از نوع اولين4 است. فصل آمده رقابتي يادگيري

همه ميان در برنده بردار تنها كه هاييمدل يعني سخت“ رقابتي ”يادگيري يادگيري” 6 و5 فصل كند. درمي بيان را يابد،مي وفق ورودي هايسيگنال

برنده بردار بر عالوه هامدل اين در كه شودمي داده توضيح نرم“ رقابتي پرداخته هاييمدل به5 فصل يابند. درمي وفق نيز شبكه ديگر واحدهاي از تعدادي

را هاييمدل نيز6 فصل و نيست ثابتي ابعاد داراي شبكه آنها در كه شود ميهستند. ثابتي شبكه ابعاد داراي كه دهدمي توضيح

6

2 فصل نوشتاري قراردادهاي و مشترک خصوصيات

داراي دهيم،مي توضيح را آنها گزارش از بخش اين در که هاييمدلهستند. مشترکي خصوصيات

است: واحد Nاي از هر شبکه داراي مجموعه2.1

باشد، داراي يک بردار مرجع متناظر ميcبطوريکه هر واحد 2.2

باشد. مي ورودي فضاي پذيرنده حوزه مرکز يا موقعيت بيانگر که باشد( وجوددر ميان واحدهاي شبکه، يک مجموعه )که ممکن است تهي

دارد که 2.3

و شامل اتصاالت همسايگي بدون وزن و متقارن مي باشد: 2.4

عصبي شبکه مانند شبکه در موجود داروزن اتصاالت با اتصاالت اين هاروش از بعضي در اتصاالت ندارند. اين ارتباطي هيچ اليه، چند پرسپتروني

شوند. مي استفاده آن مکاني هايهمسايه به برنده تطبيق توسعه براي هاي مکانياي از همسايه را بعنوان مجموعهNc، مجموعه c براي واحد

کنيم: مستقيم آن تعريف مي2.5

-بعدي توسط يک تابع چگالي احتمالnکنيم که سيگنال ورودي و فرض ميوسته پي

2.6

است. د شده و يا توسط يک مجموعه داده آموزشي محدود تولي2.7

A که يکي از واحدهاي مجموعه ، واحد برنده براي سيگنال ورودي شود. است، بعنوان واحدي با نزديکترين بردار مرجع، تعريف مي

2.8

ميان تساوي باشد. زمانيکهمي برداري اقليدسي نورم بيانگر آن در که برنده بعنوان تصادفي بصورت واحدها اين از يکي باشد، برقرار واحد چند

وابستگي و دهيممي نشانs توسط تنها را برنده اوقات شود. بعضيمي انتخاب برنده، واحد بر عالوه بخواهيم نظر مورد روش در کنيم. اگرمي حذف را به آن

-امينi دهيم، دخالت الگوريتم در نيز را واحدها ديگر حتي يا نزديک واحد دومين

7

و نزديک واحد دومين s2 برنده، واحد s1) دهيممي نشانsi توسط را نزديک واحد .) ... هستند: اهميت حائز بسيار مشابه، هندسي مفهوم دو هاشبکه از نوع اين در

از: عبارتند دو اين (Voronoi Tessellation) ورونوئي كاري الف( موزائيک

(Delaunay Triangulation) دالني سازي ب( مثلث

درw1 , w2 ,…, wNبا در نظر گرفتن يک مجموعه از بردارهاي داده شده wi مربوط به يک بردار ويژه Vi الف( منطقه ورونوئي 2.1 )شکل Rnفضاي

wi تعريف مي شود که Rnاي از تمامي نقاط در فضاي بصورت مجموعه

نزديکترين بردار به اين نقاط است: 2.9

يابد، اختصاص ورونوئي منطقه چند به نقطه يک که باشد ممکن زمانيکه فضاي در نقطه هر تا شودمي انتخاب تصادفي بطور ورونوئي مناطق اين از يکي

Rnيابد. اختصاص ورونوئي منطقه يک به فقط شود: اي محدب است که بصورت زير تعريف ميهر منطقه ورونوئي ناحيه

2.10

کاري موزائيک ورونوئي، هايچندضلعي به شبکه تفکيک عمليات اين به کارامد هاي ب(. الگوريتم2.1 )شکل گويندمي دريکله کاري موزائيک يا ورونوئي

وجود بعدي2 هايداده مجموعه براي تنها ورونوئي کاري موزائيک محاسبه برايشود. مي استفاده نيز باال ابعاد با هاييداده براي مفهوم اين از دارد. ولي

لبه يک داراي آنها متناظر ورونوئي مناطق که نقاطي جفت تمام اگر بعدي(n-1) ابرسطح يک -بعدي،n فضاي )براي کنيم متصل بهم را باشد مشترک ج(. اين2.1 )شکل گويندمي دالني سازي مثلث عمل، اين آيد( بهمي بدست اهميت حائز جنبه چند از سازي مثلث هايروش انواع ميان در سازي مثلث روش

بهينه توابع يابيدرون براي سازي مثلث اين که است شده اثبات است. مثال را دالني سازي مثلث از زيرگرافي هب رقابتي يادگيري روش آنکه است. جالب

باشد.مي داده شامل که است ورودي فضاي از اينواحي به محدود که کندمي ايجاد را بصورت منطقه ورونوئي بردارcبراي سادگي منطقه ورونوئي واحد

کنيم. مرجع آن بيان مي2.11

cها باشد، براي هر واحد در صورتيکه ورودي، يک مجموعه محدود از داده کنيم که در آن بيان ميD از Rcي مجموعه ورونوئي را بصورت زيرمجموعه

: ( 2.2 واحد برنده است )شکل cواحد 2.12

8

)ج( مثلث ورونوئي، کاري )ب( موزائيک ،R2 فضاي در نقاط - )الف( مجموعه2.1 شکل دالني سازي

يک براي ورونوئي هايمجموعه بهD )الف( تفکيک ،D ورودي داده - مجموعه2.2 شکل حوزه از ايداده نقاط شامل ورونوئي مجموعه )ب( هر مرجع، بردارهاي از ويژه مجموعه

است. متناظر ورونوئي

9

3 فصلرقابتي يادگيري اهداف

هستند. ناسازگار يکديگر با مواقع بعضي در و متنوع رقابتي يادگيري اهدافکنيم. مي اشاره اهداف اين از تعدادي به اينجا در

خطا کردن حداقل1-3

يکي از مهمترين اهداف، حداقل کردن ”خطاي کوانتيزاسيون يا اعوجاج ( است. در شرايطي که ورودي يک توزيع سيگنالexpectedموردانتظار“ )

، بنحويwc باشد، هدف پيداکردن مقاديري براي بردارهاي مرجع پيوسته است که خطاي

3.1

است. c واحد به مربوط ورونوئي منطقهVc آن در که شود حداقل باشد، بايستيDو بطور مشابه اگر ورودي يک مجموعه داده محدود

خطاي3.2

است. c واحد ورونوئي مجموعهRc آن در که شود حداقل است، مهم بسيار خطا کردن حداقل آن در که نمونه کاربرد يک

-کانال طول در داده که برداري کوانتيزاسيون است. در برداري“ ”کوانتيزاسيون انديس تنها داده بردار هر براي شود،مي فرستاده کم باند پهناي با ارتباطي هاي

مجموعه که است آن بر شود. فرضمي فرستاده مرجع بردار تريننزديک گيرنده و فرستنده براي(codebook) شودمي فرستاده که مرجعي بردارهاي

استخراج براي شده دريافت هايانديس از گيرنده است. بنابراين شده شناخته که اطالعات از قسمتي شرايط کند. دراينمي استفاده متناظر مرجع بردارهاي

رود. اميدمي بين از است مرجع بردار تريننزديک تا جاري داده بردار فاصله برابر اگر خاص شرايط شوند. درمي بيان3.2 و3.1 معادالت با خطا اين رياضي

با مناطقي زير داراي ها)داده باشد شده بنديخوشه بصورت هاداده توزيع روش توسط آمده بدست سازيفشرده نرخ باشد(، زياد احتمال چگالي

است. کم بسيار اعوجاج ميزان و زياد بسيار برداري کوانتيزاسيون

آنتروپي کردن حداکثر2-3

10

گاهي اوقات نياز است تا بردارهاي مرجع طوري توزيع شوند که شانس، برابر باشد: برنده شدن هر بردار مرجع براي يک سيگنال ورودي تصادفي

3.3

ترين واحد دراگر توليد يک سيگنال ورودي و متعاقب آن نگاشت به نزديکA را به متغيرهاي تصادفي را بعنوان آزمايشات تصادفي که مقدار X

معادل حداکثر کردن آنتروپي3.3دهد، تعبير کنيم، آنگاه تساوي نسبت ميخواهد بود: 3.4

است. رياضي اميد اپراتور آن در که توليد شده باشد،اگر داده ورودي توسط يک توزيع احتمال پيوسته

معادل عبارت زير خواهد بود: 3.3آنگاه 3.5

متناظر شرايطي3.3 باشد، آنگاه Dاگر ورودي، مجموعه داده محدود شامل تعداد ثابت و برابري ازRcخواهد بود که هر مجموعه ورونوئي

بردارهاي داده باشد. 3.6

) قوي آنتروپي، کردن حداکثر براي مرجع بردارهاي انتخاب مزاياي از يکيrobust)بردار خطاي( يک يا )و بود. حذف خواهد حاصل سيستم ذاتي بودن گذارد. مي تاثير هاداده از کوچکي بخش بر تنها مرجع

همزمان بصورت است ممکن خطا کردن حداقل و آنتروپي کردن حداکثر دو اين باشد، غيريکنواخت خيلي هاداده توزيع اگر خاص نباشد. بطور ممكن نظر در را سيگنال توزيع مثال بود. براي خواهند متفاوت بسيار هدف

از کوچک منطقه يک به مربوط ورودي هايسيگنال درصد50 آن در که بگيريد توزيع يک به مربوط ورودي هايسيگنال درصد50 نقطه( و )شبيه ورودي فضاي

بايستي آنتروپي کردن حداکثر باشد. براي بزرگ ابرمکعب يک در غيريکنواخت خطا کردن حداقل براي گيرد. و قرار منطقه هر در مرجع بردارهاي از نيمي

کاهش باعث )تا گيرد قرار نقطه شبيه فشرده منطقه در بردار يک تنها بايستي بايستي بردارها بقيه شود( و منطقه آن هايسيگنال براي کوانتيزاسيون خطاي

شوند. پراکنده ابرمکعب در يکنواخت بصورت

ويژگي نگاشت3-3

به را باال ابعاد با ورودي هايسيگنال توانمي شبکه هايمعماري از برخي در در موجود همساني روابط برخي که نحوي به داد، نگاشت پايين ابعاد با ساختار

”نگاشت را موضوع باشند. اين موجود نيز نگاشت از پس اوليه هايداده است. پركاربرد و پراهميت بسيار هاداده کشيدن تصوير به در و نامندمي ويژگي“

11

باشد ثابتي ابعاد داراي شبکه که است آن موضوع اين براي الزم شروط از يکيخودسامانده. هاينقشه در مثال

ورودي داده فضاي از نگاشت که: اين است اين شودمي مطرح که سئوالي ديگر بعبارت يا است، توپولوژي“ ”حافظ ميزان چه تا شبکه گسسته ساختار به

براي(quantitative) كَمي معيار شوند. تعداديمي حفظ ميزان چه تا هاشباهت ,Bauer) توپوگرافيک حاصلضرب قبيل از اندشده مطرح ميزان اين ارزيابي

Pawelzik, 1992)توپوگرافيک تابع يا و (Villmann et al., 1994) .

ديگر اهداف4-3

استفاده نيز چگالي“ ”تخمين براي توان مي را رقابتي يادگيري هايروش هايسيگنال از ناشناخته احتمال چگالي از تخميني توليد براي يعني کرد

ورودي. -داده از افرازي آن در که است، بندي“ ”خوشه ممکن، اهداف از ديگر يکي

فاصله که بنحوي است انتظار مورد ها“”خوشه يا هازيرگروه به ورودي هاي بين هاداده فاصله و اي( کمخوشه درون )واريانس خوشه يک داخل هاداده

خوشه هايروش از زيادي باشد. انواع اي( زيادخوشه ميان )واريانس هاخوشه ها. مرورخوشه تعداد نبودن يا بودن معين اساس بر مثال است موجود بندي

است. آمدهDubes (1998) وJain توسط بندي خوشه هايروش بر جامعي است. ممکن نيز نظارت“ با ”يادگيري با رقابتي يادگيري هايروش ترکيب

رقابتي يادگيري از که است شعاعي“ پايه توابع هاي”شبکه آن انواع از يکي Moody, Darken 1989; Fritzke) است شده استفاده شعاعي مراکز قراردادن براي

1994b)اندشده ترکيب رقابتي يادگيري هايروش با نيز محلي خطي هاي . نقشه (Walter et al., 1990; Martinez et al., 1993; Fritzke 1995)براي شرايط ترينساده . در

ورودي/ خروجي روابط توصيف براي خطي مدل يک از ورونوئي منطقه هرشود. مي استفاده ورونوئي منطقه در هاداده

12

4 فصلسخت رقابتي يادگيري

شامل (،بگيرد“ را همه ”برنده يادگيري )يا سخت رقابتي يادگيري-تصميم واحد يک تطبيق براي تنها ورودي سيگنال هر آن در که است هاييروش

به بروزرساني عمليات انجام است. با برنده واحد واحد، آن که کندمي گيري آورد. در بدست را متفاوتي خاص هايروش توانمي خطروي يا ايدسته هايروش از بايستي )که ممکن ورودي هايسيگنال ( تماميLBG )مثال ايدسته هايروش ارزيابي تطبيقي گونه هر از پيش و ابتدا در باشند(، آمده محدود مجموعه يکk )مثال خطروي هايروش در مقابل شود. درمي تکرار بار چند مرحله شوند. اينمي

-meansپذيرد.مي انجام ورودي سيگنال هر ورود از پس دقيقا بروزرساني ( عمل آنها تطبيق نرخ که دارند. انواعي وجود عمده نوع دو خطروي هايروش ميان در

است. نزولي و متغير آنها تطبيق نرخ که انواعي و است ثابت وجود احتمال سخت رقابتي يادگيري هاي روش ميان در مهم مشکل يک مقداردهي بدليل )احتماال که هستند واحدهايي است. اينها مرده“ هاي”واحد و شوندنمي اعالم برنده ايورودي سيگنال هيچ براي و نامناسب( هيچگاه اوليه

کلي وظيفه پيشبرد در واحدها است. اين ثابت هميشه موقعيتشان بنابراين است ممکن حتي خطا( و کردن حداقل )مثال کنندنمي کمکي هيچگونه شبکه قابل که هستند شبکه منابع از قسمتي زيرا باشند، نيز مضر شبکه براي

استفاده مرده واحدهاي ايجاد از جلوگيري براي حل راه باشند. يکنمي استفاده مرجع بردارهاي اوليه مقداردهي براي با مطابق متمايز نمونه بردارهاي از

است. تصادفي بصورت مرجع بردارهاي ماند: اگرمي باقي همچنان زير مشکل ولي

موردانتظار اوليه محلي چگالي آنگاه شوند، اوليه مقداردهي با مطابق و خاص اهداف از برخي براي است ممکن امر بود. اين خواهد با متناسب

خيلي و باشد خطا کردن حداقل هدف اگر مثال باشد. براي بهينه نيمه از زياد، احتمال چگالي با مناطق براي تا است بهتر آنگاه باشد، غيريکنواخت

آنچه به نسبت کمتري مرجع بردارهاي از )يعني کنيم استفاده کمتري هاينمونه از کم، احتمال چگالي با مناطق براي کنيم( و استفاده شود،مي بيان توسط بردارهاي توزيع تطبيق براي ممکن روش کنيم. يک استفاده بيشتري هاينمونه و درج تعيين براي محلي آماري معيارهاي از استفاده خاص، هدف يک به مرجعاست. واحدها حذف نيز گاهي

اوليه هايمقداردهي که است آن سخت رقابتي يادگيري در ديگر مشکل يک محلي کامال تطبيق آورند. حتي بدست نيز متفاوتي نتايج است ممکن متفاوت

شروع نقطه آن از که ضعيف محلي مينيمم يک از را سيستم نيست قادر نيز ”برنده روند تغيير مشکل اين براي حل راه دهد. يک نجات را است کرده بکار در بگيرد“ را بيشترين ”برنده به سخت رقابتي يادگيري در بگيرد“ را همه

از تعدادي بلکه برنده تنها نه شرايط اين باشد. درمي نرم رقابتي يادگيري

13

وابستگي کاهش باعث روش اين کلي يابند. بطورمي تطبيق نيز ديگر واحدهايشود. مي اوليه مقداردهي به

LBG (Batch Update: LBG) اي: دسته بروزرساني1-4

کند که به اين طريق کار مي [ 2 ] )يا لويد تعميم يافته( LBGالگوريتم هايبصورت مکرر تمامي بردارهاي مرجع را به ميانگين حسابي مجموعه

براي اينکه يکالزمتوان نشان داد که شرط کند. ميورونوئي آنها منتقل مي، خطاي اعوجاج مجموعه از بردارهاي مرجع

4.1

شرط مرکزثقل را ارضاءwcرا حداقل کند، آن است که هر بردار مرجع هاي ورودي و معيارکند. در شرايطي که از يک مجموعه محدود از سيگنال

شود:فاصله اقليدسي استفاده شود، شرط مرکزثقل به صورت زير خالصه مي4.2

است. c واحد ورونوئي مجموعهRc آن در کهاست: زير قرار بهLBG کامل الگوريتم

ci واحد N (N<<M) را بنحوي مقداردهي اوليه کن که شامل A. مجموعه 1

باشد. 4.3

يکديگر( از متفاوت )ولي تصادفي بصورت مرجع بردارهاي بنحويکهشوند. انتخابD محدود داده مجموعه از

کنيد. محاسبه را آنRc ورونوئي مجموعه واحد هر . براي2د: . بردار مرجع هر واحد را به ميانگين مجموعه ورونوئي آن منتقل کني3

4.4

برويد. 2 مرحله به کنند، تغيير هاwc از هرکدام3 گام در . اگر4برگردانيد. خروجي بعنوان را جاري مرجع بردارهاي . مجموعه5 تغيير عدم يا نزول که شود مي گفته لويد تکرار3 و2 مرحله دو مجموع به از محلي مينيمم يک به رسيدنLBG کند. الگوريتممي تضمين را اعوجاج خطاي

)براي کند مي تضمين لويد تکرارهاي از محدودي تعداد در را اعوجاج خطاي تابعببينيد(. را4.1 شکل مثال

اکثر در ،(Fritzke, 1997) دارد نامLBG-U کهLBG الگوريتم هاينسخه از يکي بهبود راLBG الگوريتم توسط شده يافته محلي مينيمم تا است قادر مواقع

بخشد.

14

باشد. مي داده قلم100 شامل کهD داده )الف( مجموعه ،LBG سازي - شبيه4.1 شکل و اندشده اوليه مقداردهي تصادفي بصورتD در موجود نقاط از مرجع بردار20)ب(

بردارهاي ط( موقعيت تا است. )ج شده داده نشان آن متناظر ورونوئي کاري موزائيک رنگ با اند،نشده منتقل لويد قبلي تکرار در که مرجع لويد. بردارهاي تکرار چند از پس مرجعاست. شده همگرا لويد تکرار7 از پسLBG سازي شبيه اين اند. درشده داده نشان سياه

:On-line Update ( پايه الگوريتم خط: روي بروزرساني2-4Basic Algorithm (

15

ايدسته هاي روش که است بزرگ آنقدرD داده مجموعه مواقع برخي جريان يک بصورت ورودي داده نيز ديگر شرايط برخي شوند. در مي غيرعملي

شوند.مي غيرعملي ايدسته هايروش بطوريکه است، نامحدود طول با پيوسته شکل به که است خطروي بروزرساني از استفاده شرايط اين در ممکن حل راهشود: مي بيان زير

باشد ci واحد N را بنحوي مقداردهي اوليه کنيد که شامل A. مجموعه 14.5

با مطابق و تصادفي بصورت ، آنها مرجع بردارهاي بطوريکه باشند. شده انتخابکنيد. توليد با مطابق تصادفي ورودي سيگنال . يک2د: را تعيين کني. واحد برنده 3

4.6

د: تطبيق دهي. بردار مرجع واحد برنده را بسمت 44.7

کنيد. تکرار را2 مرحله برسيد، مراحل از معيني تعداد به زمانيکه . تا5 تعيين را ورودي سيگنال بسمت برنده تطبيق ميزان يادگيري نرخ اينجا در

روش چند يابد، کاهش زمان طول در يا باشد ثابت اينکه به کند. بستهميدارد. وجود متفاوت

3-4 k - means

توان نرخ يادگيري را با گذشتبجاي استفاده از يک نرخ يادگيري ثابت مي زمان کاهش داد. يک راه جالب براي اين روش آن است که براي هر واحد

از يک نرخ يادگيري مستقل استفاده کرده و آنرا مطابق سري هارمونيکتنظيم کنيم:

4.8

هاي ورودي است که ، بيانگر تعداد سيگنالtکه در اين رابطه پارامتر زمان شناختهk-meansاند. اين الگوريتم بنام باعث برنده شدن اين واحد خاص، شده

برابرشده است که اتفاقا نام مناسبي است زيرا هر بردار مرجع است که اين واحد خاص تااي هاي وروديميانگين حسابي سيگنال

به اين ترتيب است: wcکنون به ازاي آنها برنده شده است. مقادير متوالي

4.9

4.10

4.11

16

شدن برنده باعث که هايسيگنال مجموعه که داشت توجه بايد منطقه از خارج که باشد عناصري شامل است ممکن شوند،مي خاص واحد يک

مرزهايwc تطبيق مرحله در هر که است آن باشند. دليلc واحد جاري ورونوئي حسابي ميانگين بيانگر اگرچه دهد. بنابراينمي تغيير راVc ورونوئي منطقه است ممکنt زمان در ولي است، شده برنده آنها ازاي به که است هاييسيگنالگيرند. قرار ديگر واحدهاي به مربوط ورونوئي مناطق در بردارها اين از بعضي

- آن است که اين روش الزاما همگرا نميk-meansنکته مهم در مورد روش جمع سري هارمونيک واگرا است: شود زيرا حاصل

4.12

هاي ورودي و بابدليل اين واگرايي حتي پس از تعداد زيادي از سيگنال ، نيز ممکن است تغييرات بزرگي برايمقادير کوچک براي نرخ يادگيري

ولي بهر حال اين تغييرات بزرگ خيلي غيرمحتمل هر بردار ورودي رخ دهد. سازي هنگاميکه توزيع سيگنال ثابت باشد، بردارهاي مرجعهستند و در شبيه

کنند. در حقيقت نشان داده شده است کهگيرند که زياد تغيير نميمقاديري مي بنحويwc بصورت مجانبي به پيکربندي که در آن هر بردار مرجع k-meansروش

آن همزمانVcقرار گرفته باشد که با مقدار مورد انتظار منطقه ورونوئي شود. باشد، همگرا نمي

4.13

است. 4.2 مرکزثقل شرط پيوسته صورت باال معادله که داد نشان توانمي را مانند حلقه داده توزيع يک براي سازيشبيه مراحل از تعدادي4.2 شکل

براي را تطبيق مرحله40000 از پس نهايي نتايج نيز4.3 دهد. شکل مي نشاندهد. مي نشان ديگر توزيع3

هاي)شكل آمد، خواهد بحث ادامه در كه آن مشابه هايشكل و4.3 شكل در دو هر در )الف( توزيع شكل ( درDemoGNG v1.5 افزارنرم بسته از آمده بدست خورده سايه بخش در احتمال چگالي است. ولي يكنواخت خورده سايه بخش بخش در )ب( توزيع شكل است. در پاييني خورده سايه بخش برابر10 بااليي انحراف موجود دايره11 از يك )ج( هر شكل در است. و يكنواخت خورده سايه-مي نشان را است شده برده بكار داده توليد براي كه گاوسي كرنل يك معيار

هستند. مشابهي اوليه احتمال داراي گاوسي هايكرنل دهد. تمامي

17

حلقه. شکل به يکنواخت احتمال توزيع يک برايk-means سازيشبيه - مراحل4.2 شکل ورونوئي کردن )ح( موزائيک نهايي، )ز( حالت مياني، و( حاالت تا )ب اوليه، )الف( حالت

. نهايي حالت با متناظر با )منطقه دهدمي نشان را اوليه حالت در موجود هايخوشه مرجع بردارهاي نهايي توزيع

ببينيد(. شکل چپ سمت و پائين در را باالتر بردار چگالي

احتمال توزيع3 براي ورودي سيگنال40000 از پسk-means سازي - شبيه4.3 شکلمتفاوت.

Exponentially Decaying ( نمايي نزولي يادگيري نرخ4-4Learning Rate (

هاي خودسامانده و با استفاده از نرخروش ديگري كه در زمينه نقشه .(.Ritter, et alتطبيق نزولي ابداع شده است، نرخ يادگيري نزولي نمايي است )

Ritterو همكارانش براي اعمال تغييرات در نرخ يادگيري از تابع نمايي زير كنند: استفاده مي

4.14

18

كل تعدادtmax و يادگيري نرخ براي نهايي و اوليه مقادير و آن در كهاست. شده انجام تطبيق مراحل و مشخص پارامترهاي )با هارمونيك سري با يادگيري نرخ اين4.4 شكل در

نرخ سازيشبيه مراحل ابتداي در خاص است. بطور شده داده ثابت( نمايش اينطور توان است. مي بزرگتر بسيار هارمونيك سري از نمايي نزولي يادگيري

رفته بين از نويز اين تدريجا ولي است نويز داراي سيستم ابتدا در كه كرد تعبير است. تابكاري(simulated annealing) شده سازيشبيه تابكاري مشابه بنابراين و

كه ايمحلي هايمينيمم از تا دهدمي را امكان اين سيستم به شده سازيشبيه وk-means روش كه ابتدايي هايكند. آزمايش فرار شود، آن دچار است ممكن

نرخ روش كه دهندمي نشان نمايي نزولي يادگيري نرخ با رقابتي يادگيري دارد كمتري حساسيت ضعيف، اوليه مقداردهي به نسبت نمايي نزولي يادگيري

-k به نسبت كمتري خطاي ميانگين زيادي بسيار داده هايتوزيع انواع براي وmeansدارد وجود مرجع بردار يك فقط كه خاصي موارد در دهد. تنها مي ،

نتايجي با نتايج آورد. اين بدستk-means به نسبت بهتري نتايج تواننمي هيچگاه متفاوت هاييادگيري نرخ از تعدادي وk-means آزمايش از پسMoody وDarken كه

-مي كردند استفاده آنها كه هايييادگيري نرخ جمله دارد. از مطابقت دادند انجام توسط شده استفاده نرخ مجذور كه اييادگيري نرخ و ثابت يادگيري نرخ به توان

بزرگترk اگر كه دهدمي نشان آنها برد. نتايج نام ، استk-means روشدارد. متغير يادگيري نرخ به نسبت بدتري نتايجk-means روش باشد،1 از

هارمونيك سري و نمايي نزول يادگيري تابع - مقايسه4.4 شكل-مي را منحني دو بين . تفاضل پارامترهاي با

رود. مي بين از تدريجا كه گرفت درنظر خطا بعنوان توان

را مانند حلقه داده توزيع يک براي سازيشبيه مراحل از تعدادي4.5 شکل براي را تطبيق مرحله40000 از پس نهايي نتايج نيز4.6 دهد. شکلمي نشان

سازيشبيه دو هر در شده استفاده دهد. پارامترهايمي نشان ديگر توزيع3. و ،از: عبارتند

19

يک براي نمايي نزولي يادگيري نرخ با سخت رقابتي يادگيري سازيشبيه - مراحل4.5 شکل )ز( حالت مياني، و( حاالت تا )ب اوليه، حلقه. )الف( حالت شکل به يکنواخت احتمال توزيع

. نهايي حالت با متناظر ورونوئي کردن )ح( موزائيک نهايي،

40000 از پس نمايي نزولي يادگيري نرخ با سخت رقابتي يادگيري سازي - شبيه4.6 شکلمتفاوت. احتمال توزيع3 براي ورودي سيگنال

20

5 فصل شبکه ثابت ابعاد بدون نرم رقابتي يادگيري

شده بيان نرم رقابتي“ ”يادگيري قلمرو از روش چند فصل اين در داراي فصل اين در موجود هايروش تمامي بعد، فصل هايمدل خالف است. بر

شود.نمي تحميل شبکه به ثابت“ ”ابعاد با توپولوژي هيچ که است خاصيت اين عصبي(. در )گاز ندارد وجود توپولوژي هيچ اصال ها روش اين از يکي در حتي

در است ممکن و دارد بستگي داده محلي ابعاد به شبکه ابعاد ديگر، هايشبکهکند. تغيير ورودي فضاي

) Neural Gas ( عصبي گاز1-5

با را شبکه واحدهاي ، ورودي سيگنال هر ازاي به [ 3 ] عصبي گاز الگوريتم ”ترتيب اين مبناي کند. برمي مرتب با آنها مرجع بردارهاي فاصله به توجه قدرت و يافته تطبيق واحدهاي يابند. تعدادمي تطبيق واحدها از تعدادي رتبه“

به عصبي گاز کامل يابد. الگوريتممي کاهش زماني برنامه يک طبق بر تطبيقاست: زير قرار

باشد ci واحد N را بنحوي مقداردهي اوليه کنيد که شامل A. مجموعه 15.1

، بصورت تصادفي و مطابق با بطوريکه بردارهاي مرجع آنها د: را مقداردهي اوليه کنيt باشند. پارامتر زمان انتخاب شده5.2

کنيد. توليد با مطابق و تصادفي بصورت را ورودي . سيگنال2 ترتيب يعني کنيد، مرتب تا آنها فاصله به توجه با راA عناصر . تمامي3 و به مرجع بردار تريننزديک که بيابيد بنحوي را هايانديس نزديک مرجع بردار -امينk-1 (k=1,2,…,N-1)، و به نزديک مرجع بردار دومين

به توجه . باکه: دارند وجود بردارk بنحويکه هستند، بهاست. با متناظرk تعداد بيانگر شده، ذکر الگوريتم

مرجع را مطابق با . بردارهاي45.3

هاي زماني زير وجود داشته باشد: بنحوي تطبيق دهيد که وابستگي5.45.55.6

را افزايش دهيد: t. پارامتر زمان 55.7

برويد. 2 مرحله بهt<tmax . اگر6

21

مقادير و مناسب اوليه مقادير زمان، به وابسته پارامترهاي براي سازيشبيه مراحل از تعدادي5.1 کرد. شکل انتخاب بايستي را نهايي پس نهايي نتايج نيز5.2 دهد. شکلمي نشان را مانند حلقه داده توزيع يک براي

دهد. پارامترهايمي نشان ديگر توزيع3 براي را تطبيق مرحله40000 از ، ، ،از: عبارتند سازيشبيه دو هر در شده استفاده

. و

حلقه. شکل به يکنواخت احتمال توزيع يک براي عصبي گاز سازيشبيه - مراحل5.1 شکل ورونوئي کردن )ح( موزائيک نهايي، )ز( حالت مياني، و( حاالت تا )ب اوليه، )الف( حالت

نهايي. حالت با متناظر

احتمال توزيع3 براي ورودي سيگنال40000 از پس عصبي گاز سازي - شبيه5.2 شکلمتفاوت.

( Competative Hebbian Learning ) هب رقابتي يادگيري2-5

هايروش با ترکيب با بلکه شودنمي استفاده تنهايي به معموال [ 4 ] روش اين دهدنمي تغيير را مرجع بردارهاي عنوان بهيچ روش شود. اينمي برده بکار ديگر

روش گرفت(. اين نظر در صفر برابر آنرا يادگيري نرخ توانمي ديگر )بعبارت

22

است شده کند. ثابتمي توليد شبکه واحدهاي بين همسايگي هايلبه تعدادي تنها است. توپولوژي حافظ بهينه بصورت گردد،مي ايجاد طريق اين به که گرافي که

مجموعه با متناظر دالني سازي مثلث به متعلق گراف اين يلبه هر خاص بطور قرار به هب رقابتي يادگيري کامل است. الگوريتم شده داده مرجع بردارهاي

است: زير

: ci واحد N را بنحوي مقداردهي اوليه کنيد که شامل A. مجموعه 1 باشد 5.8

با مطابق و تصادفي بصورت ، آنها مرجع بردارهاي بطوريکه باشند. شده انتخاب

را بصورت يک مجموعه تهي مقداردهي ، Cمجموعه اتصاالت د: اوليه کني

5.9

کنيد. توليد با مطابق و تصادفي بصورت را ورودي . سيگنال2د: را مطابق عبارات زير تعيين کنيs2 و s1. واحدهاي 3

5.10

و 5.11

برقرار نيست، اين اتصال را برقرارs2 و s1. اگر اتصال بين واحدهاي 4کنيد:

5.12

دهيد. ادامه ورودي هايسيگنال اتمام تا را2 . مرحله5 را مانند حلقه داده توزيع يک براي سازيشبيه مراحل از تعدادي5.3 شکل

براي را تطبيق مرحله40000 از پس نهايي نتايج نيز5.4 دهد. شکلمي نشان سازيشبيه دو هر در شده استفاده دهد. پارامترهايمي نشان ديگر توزيع3

. و ، ، ، ،از: عبارتند

23

به يکنواخت احتمال توزيع يک براي هب رقابتي يادگيري سازيشبيه - مراحل5.3 شکلحلقه. شکل

ورونوئي کردن )ح( موزائيک نهايي، )ز( حالت مياني، و( حاالت تا )ب اوليه، )الف( حالتنهايي. حالت با متناظر

-موقعيت برابر هميشه اوليه هايموقعيت زيرا است، وابسته اوليه مقداردهي به کامال روش ايناست. نهايي هاي

توزيع3 براي ورودي سيگنال40000 از پس هب رقابتي يادگيري سازي - شبيه5.4 شکلمتفاوت. احتمال

) Growing Neural Gas ( رشديابنده عصبي گاز3-5

طول در واحدها تعداد زيرا است متفاوت عصبي گاز روش با [ 5 ] روش اين مکانيزم روش اين يابد(. درمي افزايش )عمدتا کندمي تغيير خودساماندهي روال با هب رقابتي يادگيري توپولوژي توليد و رشديابنده سلولي ساختارهاي رشد

تعداد با را خود کار است. شبکه شده ايجاد جديد مدل يک و شده ترکيب يکديگر کند.مي اضافه را جديد واحدهاي مکررا و کندمي شروع واحدها از کمي بسيار روال طول در محلي خطاي معيارهاي از جديد، واحدهاي درج مکان تعيين براي

بيشترين داراي که واحدي نزديکي در جديد واحد شود. هرمي استفاده تطبيق

24

قرار به رشديابنده عصبي گاز الگوريتم کامل شود. مراحلمي درج است، خطااست: زير

c2 و c1 واحد 2 را بنحوي مقداردهي اوليه کنيد که شامل A. مجموعه 1

باشد: 5.13

با مطابق و تصادفي بصورت ، آنها مرجع بردارهاي بطوريکه باشند. شده انتخاب

را بصورت يک مجموعه تهي مقداردهي ، Cمجموعه اتصاالت د: اوليه کني

5.14

کنيد. توليد با مطابق و تصادفي بصورت را ورودي . سيگنال2 را با استفاده از s2 و دومين واحد نزديک s1. واحد برنده 3

عبارات زير تعيين کنيد: 5.15

و 5.16

د: اتصالي برقرار نيست، اين اتصال را ايجاد کنيs2 و s1. اگر بين 45.17

را برابر صفر قرار دهيد )لبه را ”تازه“s2 و s1سن اين اتصال جديد بين کنيد(:

5.18

. مربع فاصله بين سيگنال ورودي و واحد برنده را به متغير خطاي5محلي اضافه کنيد:

5.19

هاي مستقيم توپولوژيکي آنها. بردارهاي مرجع واحدهاي برنده و همسايه6 از کل فاصله تا سيگنال ورودي تطبيق و را بترتيب بوسيله کسرهاي

دهيد: 5.205.21

است. s1 توپولوژيکي مستقيم هايهمسايه مجموعه کهد: را افزايش دهيs1هاي خارج شده از . سن تمامي لبه7

5.22

که شد ايجاد واحدي کنيد. اگر حذف را amax از بيشتر سن با هايي. لبه8کنيد. حذف نيز را واحد آن اند،شده حذف آن هايلبه تمامي

25

پارامتر از صحيحي ضريب برابر شده ايجاد ورودي هايسيگنال تعداد . اگر9کنيد: درج شبکه به زير بطريق را جديد واحد يک باشد،

واحدqد: با بيشترين خطاي انباشته شده را تعيين کني5.23

هاي در ميان همسايهq واحد fبا بيشترين خطاي انباشته شده را تعيين د:کني

5.24

واحد جديدrرا به شبکه اضافه کرده و بردار مرجع آنرا از روي د: يابي کني درونf و qواحدهاي

5.25

هايي را به شبکه اضافه کنيد تا اتصال بين لبهr و واحدهاي q و f د: را حذف کنيf و qبرقرار شود و اتصال بين

5.26

متغيرهاي خطاي واحدهايq و fد: کاهش دهي5.27

متغير خطايr را با استفاده از متغيرهاي خطاي واحدهاي q و f محاسبه کنيد:

5.28

د: . متغيرهاي خطاي تمامي واحدها را کاهش دهي105.29

شبکه( برقرار کارآيي ميزان يا و شبکه اندازه )مثال توقف معيار . اگر11 برويد. 2 مرحله به است، نشده

را مانند حلقه داده توزيع يک براي سازيشبيه مراحل از تعدادي5.5 شکل براي را تطبيق مرحله40000 از پس نهايي نتايج نيز5.6 دهد. شکلمي نشان

سازيشبيه دو هر در شده استفاده دهد. پارامترهايمي نشان ديگر توزيع3. و ، ، ، ،از: عبارتند

26

به يکنواخت احتمال توزيع يک براي رشديابنده عصبي گاز سازيشبيه - مراحل5.5 شکلحلقه. شکل

ورونوئي کردن )ح( موزائيک نهايي، )ز( حالت مياني، و( حاالت تا )ب اوليه، )الف( حالتاست. شده داده قرار100 برابر شبکه اندازه نهايي. حداکثر حالت با متناظر

توزيع3 براي ورودي سيگنال40000 از پس رشديابنده عصبي گاز سازي - شبيه5.6 شکلمتفاوت. احتمال

ديگر هاي روش4-5

روشيDesieno(1988)دارند. وجود شبکه ثابت ابعاد بدون نيز ديگري هايمدل خصوصيت شوند،مي برنده مکررا که واحدهايي به آن در که کرد پيشنهاد را

از آنها فاصله به جريمه مقدار يک بنابراين و کردندمي دريافت بد“ ”وجدان تمامي تا شودمي باعث جديد خصوصيت کند. اينمي اضافه ورودي سيگنال آنتروپي شدن حداکثر باعث امر اين که شوند برنده مساوي بطور تقريبا واحدها

در اوليه احتمال حذف براي همكارانش وKangas (1990) شود. همچنينمي

27

واحدهاي ميان در را مينيمم پوشاي درخت از استفاده هامدل از بعضي توپولوژيكردند. پيشنهاد همسايگي

28

6 فصل شبکه ثابت ابعاد با نرم رقابتي يادگيري

شده بيان نرم رقابتي“ ”يادگيري قلمرو از هايي روش فصل اين در شود. يکي انتخاب ابتدا در بايستي که هستندk ثابت شبکه ابعاد داراي که است

فضاي از نگاشت يک ايشبکه چنين که است آن ثابت شبکه ابعاد مزاياي از يک تا شودمي باعث امر دهد. اينمي انجام -بعديk ساختار به -بعديn ورودي هاداده کشيدن تصوير به براي که آوريم بدست پايين ابعاد با هاييداده از نمايشدارد. زيادي کاربرد

Self-Organizing ( خودسامانده ويژگي هاي نقشه 1-6Feature Maps (

Willshaw, Von der Malsburg مطالعات وKohonen [6]مطالعات از مدل اين که است عصبي گاز مدل شبيه حدي تا مدل است. اين گرفته ريشه(1976) قدرت و نزولي همسايگي بازه از مدل اين در زيرا شده، ايجاد آن از قبل مدتها

مدل دو اين ميان عمده تفاوت است. ولي شده استفاده نزولي تطبيق طول در و باشد(aij) بعدي2 توري شبکه بشکل بايستي که است آن توپولوژي

است. تغيير غيرقابل خودساماندهي روال در اين شبکه توري شکل از فاصله براي تعيين ميزان قدرت تطبيق واحد

r = akm در هنگام برنده شدن واحد s = aijشود. اندازه فاصله برابر استفاده مي است. Manhattan يا همان فاصله L1نورم

6.1

Ritterو همكارانش پيشنهاد کردند که براي تعيين ميزان نسبي قدرت واحد برنده است(، از تابع زيرs در شبکه )با فرض اينکه rتطبيق واحد دلخواه

استفاده شود. 6.2

کند: گاوسي مطابق رابطه زير تغيير ميبنابراين انحراف معيار 6.3

کامل هستند. مراحل مناسب نهايي مقدار و اوليه مقدار آن در کهاست: زير قرار به خودسامانده ويژگي نقشه الگوريتم

29

ci واحد را بنحوي مقداردهي اوليه کنيد که شامل A. مجموعه 1

باشد: 6.4

با مطابق و تصادفي بصورت ، آنها مرجع بردارهاي بطوريکه باشند. شده انتخاب

مستطيلي توري شبکه يک بشکل را ،C اتصاالت مجموعهکنيد. اوليه مقداردهي

د: را مقداردهي اوليه کنيtپارامتر زمان 6.5

کنيد. توليد با مطابق و تصادفي بصورت را ورودي . سيگنال2د: را تعيين کني. واحد برنده 3

6.6

را مطابق عبارت زير تطبيق دهيد: r. هر واحد 46.7

که در آن 6.8

و 6.9

د: . پارامتر زمان را افزايش دهي56.10

برويد. 2 مرحله بهt < tmax . اگر6

را مانند حلقه داده توزيع يک براي سازيشبيه مراحل از تعدادي6.1 شکل براي را تطبيق مرحله40000 از پس نهايي نتايج نيز6.2 دهد. شکلمي نشان

سازيشبيه دو هر در شده استفاده دهد. پارامترهايمي نشان ديگر توزيع3. و و ، ، ،از: عبارتند

30

يکنواخت احتمال توزيع يک براي خودسامانده ويژگي نقشه سازيشبيه - مراحل6.1 شکلحلقه. شکل به

ورونوئي کردن )ح( موزائيک نهايي، )ز( حالت مياني، و( حاالت تا )ب اوليه، )الف( حالت روال ابتداي در بزرگ همسايگي بازه و بزرگ تطبيق نرخ از نهايي. استفاده حالت با متناظر

کند.مي پيدا کاهش زمان گذشت با در که شود مي قوي تطبيق باعث تطبيق

3 براي ورودي سيگنال40000 از پس خودسامانده ويژگي نقشه سازي - شبيه6.2 شکلمتفاوت. احتمال توزيع

Growing Cell ( رشديابنده سلولي ساختارهاي2-6Structures (

عمده است. تفاوت رشديابنده عصبي گاز مدل مشابه تقريبا [ 7 ] مدل اين الزاما مدل اين در که است شبكه توپولوژي بر شده اعمال محدوديت در آن

قبل ازk صحيح عدد که باشد بعديk (simplex) هايسيمپلکس شامل بايستي-k سيمپلکس يک شبکه هر اوليه پيکربندي و اساسي است. عنصر شده انتخاب

. k=3 براي چهاروجهي وk=2 براي مثلث ،k=1 براي خط است. مثال بعدي

31

آوريجمع و هاگره مرجع بردارهاي بروزرساني براي شبکه پيکربندي يک در انجام بايستي تطبيق مراحل از تعداد يک گره، هر در محلي خطاي اطالعات

شوند. روند.مي بکار جديد واحدهاي درج موقعيت تعيين براي خطا اطالعات اين

مقدار بيشترين داراي کهq گره به متصل لبه بلندترين جديد واحد هر درج براي شبکه به بنحوي اضافي هايلبه شود. سپسمي تقسيم نيم دو به است، خطا

بعديk هايسيمپلکس شامل مجددا شده حاصل ساختار که شوندمي اضافهاست: زير قرار به رشديابنده سلولي ساختارهاي الگوريتم کامل باشد. مراحل

کنيد. انتخاب ( راk) شبکه . ابعاد1: ci واحد k+1 را بنحوي مقداردهي اوليه کنيد که شامل Aمجموعه باشد 6.11

با مطابق و تصادفي بصورت ، آنها مرجع بردارهاي بطوريکه باشند. شده انتخاب

واحد هر که کنيد اوليه مقداردهي بشکلي را ،C اتصاالت مجموعه را بعديk سيمپلکس يک توپولوژي شبکه، يعني باشد، متصل واحدها ديگر به

باشد. داشتهکنيد. توليد با مطابق و تصادفي بصورت را ورودي . سيگنال2د: را تعيين کنيs. واحد برنده 3

6.12

. مربع فاصله بين سيگنال ورودي و واحد برنده را به متغير خطاي4 محلي اضافه کنيد:

6.13

هاي مستقيم توپولوژيکي آنرا. بردارهاي مرجع واحد برنده و همسايه5: از کل فاصله تا سيگنال ورودي تطبيق دهيد و بترتيب بوسيله کسرهاي

6.146.15

است. s توپولوژيکي مستقيم هايهمسايه مجموعه که از صحيحي ضريب برابر کنون تا شده ايجاد ورودي هايسيگنال تعداد . اگر6

کنيد: درج شبکه به زير بطريق را جديد واحد يک باشد، پارامتر واحدqد: با بيشترين خطاي انباشته شده را تعيين کني

6.16

کرده متصلf واحد به راq واحد )کهq گره به متصل لبه بلندترين تقسيم با و ايجاد را(r,f) و(q,r) کنيد. اتصاالت اضافه راr جديد واحد نيم، دو است( به

مجددا که بنحوي شبکه ساختار مجدد ساختن کنيد. براي حذف را(q,f) اتصال

32

مشترک هايهمسايه تمامي به نيز راr واحد باشد، بعديk هايسيمپلکس شاملqو f(. مجموعه در موجود واحدهاي تمامي به )يعني کنيد متصل

بردار مرجع واحد جديدr را با استفاده از بردارهاي مرجع واحدهاي q د: يابي کني درونfو

6.17

هاي متغيرهاي خطاي تمامي همسايهrد: را کاهش دهي6.18

متغير خطاي واحد جديدrهاي آن را با مقدار ميانگين همسايه مقداردهي کنيد:

6.19

د: . متغيرهاي خطاي تمامي واحدها را کاهش دهي76.20

شبکه( برقرار کارآيي ميزان يا و شبکه اندازه )مثال توقف معيار . اگر8 برويد. 2 مرحله به است، نشده

را مانند حلقه داده توزيع يک براي سازيشبيه مراحل از تعدادي6.3 شکل براي را تطبيق مرحله40000 از پس نهايي نتايج نيز6.4 دهد. شکلمي نشان

سازيشبيه دو هر در شده استفاده دهد. پارامترهايمي نشان ديگر توزيع3. و ، ، ،از: عبارتند

احتمال توزيع يک براي رشديابنده سلولي ساختارهاي سازيشبيه - مراحل6.3 شکلحلقه. شکل به يکنواخت

ورونوئي کردن )ح( موزائيک نهايي، )ز( حالت مياني، و( حاالت تا )ب اوليه، )الف( حالتنهايي. حالت با متناظر

33

براي ورودي سيگنال40000 از پس رشديابنده سلولي ساختارهاي سازي - شبيه6.4 شکلمتفاوت. احتمال توزيع3

( Growing Grid ) رشديابنده توري شبکه3-6

پايه است. قوانين افزايشي هايشبکه از ديگر يکي رشديابنده توري شبکه با رشديابنده عصبي گاز و رشديابنده سلولي ساختارهاي مورد در شده استفاده ديگر شود. بعبارتمي اعمال شکل مستطيل توري شبکه يک به کوچکي تغييرات

ويژگي نقشه از افزايشي نسخه يک را رشديابنده توري شبکه توانميگرفت. درنظر خودسامانده

طي دقيق“. در تنظيم فاز و رشد فاز”است: مجزا فاز دو داراي مدل اين شود،مي تشکيل کوچک بسيار اندازه با مستطيلي شبکه يک ابتدا در رشد، فاز اندازه به که يابدمي رشد آنجا تا هاستون و سطرها شدن افزوده با شبکه اين

از تنها فاز اين شود. در برآورده خاصي کارايي معيار يا و برسد نظر مورد-نمي تغييري شبکه اندازه دقيق، تنظيم فاز شود. درمي استفاده ثابت پارامترهاي

براي مناسب نهايي مقادير پيداکردن براي نزولي يادگيري نرخ يک از و کندشود. مي استفاده مرجع بردارهاي

هاي ويژگي خودسامانده، ساختار شبکه يک شبکه توريمشابه نقشه است. مجددا از معيار فاصله2x2( است. اين شبکه توري در ابتدا aijبعدي )2

s = aij در هنگام برنده شدن واحد r = akmبراي تعيين ميزان قدرت تطبيق واحد

است: L1شود. معيار فاصله استفاده شده نيز نورم استفاده مي6.21

با فرضrهمچنين تابع استفاده شده براي تعيين قدرت تطبيق واحد باشد: هاي خودسامانده و بشکل زير مي مشابه نقشهsبرنده بودن واحد

6.22

در پارامتر ماند. اينمي ثابت سازيشبيه طول تمام در عرض، پارامتر ولي کوچکي مقدار تقريبا خودسامانده هاينقشه در شده استفاده مقدار با مقايسه تمام از کسري رشديابنده، توري شبکه رشد طي شود. درمي گرفته درنظر هاينقشه شود. درمي کاسته يابند،مي تطبيق برنده واحد با همزمان که واحدها

34

همسايگي عرض و شبکه ثابت اندازه توسط وضعيتي چنين نيز خودسامانده زير قرار به رشديابنده توري شبکه الگوريتم کامل آيد. مراحلمي بوجود نزولياست:

رشد: فاز. طول و عرض شبکه را تعيين کنيد: 1

6.23

ci واحد را بنحوي مقداردهي اوليه کنيد که شامل Aمجموعه

باشد: 6.24

با مطابق و تصادفي بصورت ، آنها مرجع بردارهاي بطوريکه باشند. شده انتخاب

مستطيلي توري شبکه يک بشکل را ،C اتصاالت مجموعهکنيد. اوليه مقداردهي

د: را مقداردهي اوليه کنيtپارامتر زمان 6.25

کنيد. توليد با مطابق و تصادفي بصورت را ورودي . سيگنال2د: را تعيين کني. واحد برنده 3

6.26

. متغير شمارنده محلي برنده را افزايش دهيد: 46.27

د: . پارامتر زمان را افزايش دهي56.28

را مطابق r. هر واحد 66.29

د که در آن تطبيق دهي6.30

هاي ورودي ايجاد شده براي شبکه جاري برابر ضريب. اگر تعداد سيگنال7اگر: باشد، يعنيصحيحي از پارامتر

6.31

دهيد: انجام را زير عمليات آنگاه واحدq د: را تعيين کني با بيشترين مقدار

6.32

همسايه مستقيمq و fد: با بزرگترين فاصله بردار مرجع را تعيين کني6.33

35

نسبي موقعيت به توجه با qو fدهيد: ادامه را زير حالت دو از يکي در يک سطر از شبکه توري قرار دارند، يعني: f و q: 1حالت

6.34

oهايستون بين واحد با جديد ستون يک qو fکنيد. درجoمرجع بردارهاي از استفاده با را جديد واحدهاي مرجع بردارهاي

کنيد. يابيدرون مشابه، سطر در آنها مستقيم هايهمسايهoد. ها را تنظيم کنيمتغير تعداد ستون

6.35

: در يک ستون از شبکه توري قرار دارند، يعنيf و q: 2حالت 6.36

oهايسطر بين واحد با جديد سطر يک qو fکنيد. درجoمرجع بردارهاي از استفاده با را جديد واحدهاي مرجع بردارهاي

کنيد. يابيدرون مشابه، ستون در آنها مستقيم هايهمسايهoد. ها را تنظيم کنيمتغير تعداد سطر

6.37

هاي محلي را صفر کنيد: مقادير تمامي شمارنده6.38

د: پارامتر زمان را صفر کني6.39

. اگر اندازه شبکه هنوز به ميزان مورد نظر نرسيده باشد، يعني: 86.40

برويد. 2 مرحله به سپس

دقيق: تنظيم فازکنيد. توليد با مطابق و تصادفي بصورت را ورودي . سيگنال9

د: را تعيين کني. واحد برنده 106.41

د: را مطابق عبارت زير تطبيق دهيr. هر واحد 116.42

که در آن 6.43

و با 6.44

برويد. 9 مرحله بهt < tmax . اگر12

36

را مانند حلقه داده توزيع يک براي سازيشبيه مراحل از تعدادي6.5 شکل براي را تطبيق مرحله40000 از پس نهايي نتايج نيز6.6 دهد. شکلمي نشان

از: عبارتند رشد فاز در شده استفاده دهد. پارامترهايمي نشان ديگر توزيع3 و ، از: عبارتند دقيق تنظيم فاز در و و ،

مانند(. مي باقي تغيير بدون و )مقادير

به يکنواخت احتمال توزيع يک براي رشديابنده توري شبکه سازيشبيه - مراحل6.5 شکلحلقه. شکل

ورونوئي کردن )ح( موزائيک نهايي، )ز( حالت مياني، و( حاالت تا )ب اوليه، )الف( حالتنهايي. حالت با متناظر

توزيع3 براي ورودي سيگنال40000 از پس رشديابنده توري شبکه سازي - شبيه6.6 شکل متفاوت. احتمال

توزيع با که است بزرگي عرض به طول نسبت ( داراي4x26) شده انتخاب )الف( توپولوژي طي در نيز ديگري هايتوپولوژي است ممکن اوليه، شرايط به دارد. بسته همخواني موجود

هاينقشه در )که مربع شکل از نيز توزيع دو اين هايج( توپولوژي و دهد. )ب رخ سازيشبيه توزيع در و15x7 توپولوژي کاکتوس توزيع است. در شده خارج شود(،مي استفاده خودسامانده

است. شده انتخاب الگوريتم توسط خودکار بصورت12x9 توپولوژي مخلوط

37

از افزايشي هايروش ديگر با رشديابنده توري شبکه الگوريتم مقايسه با ديده که تفاوتي رشديابنده، عصبي گاز و رشديابنده سلولي ساختارهاي قبيل

درج هنگام در ايشمارنده متغير هيچ که است توپولوژي( آن از )جدا شودمي درج از پس ، مقادير تمامي مقابل شود. درنمي منتشر مجددا جديد واحدهاي

به راجع آماري اطالعات تمامي ديگر شوند. بعبارتمي صفر ستون يا سطر يک آوريجمع براي رود. بنابراينمي بين از درج هر از پس )پيروزي(، برد فرکانس تعداد بعدي، مرحله در جديد واحدهاي درج موقعيت تعيين براي کافي اطالعات

باشد. اين شبکه اندازه با متناسب بايستي درج يمرحله هر در تطبيق مراحل را کاري شود. چنينمي محاسبات شدن پيچيده و الگوريتم سازيساده باعث امر

-مي نيز رشديابنده سلولي ساختارهاي و رشديابنده عصبي گاز هايشبکه براي به درج هر از پس شده انباشته اطالعات انتشار عدم به منجر که داد انجام توان

شود. مي محاسباتي بار افزايش قيمت را کننده تنظيم يک وظيفه کند، مي تعيين را همسايگي بازه که پارامتر

در موجود واحدهاي آنگاه شود، انتخاب بزرگ بسيار آن مقدار دارد. اگر شبکه آرايش و بود خواهند مشابهي نسبتا مرجع بردارهاي داراي همسايگي

به و رسيد خواهد بنظر کلي ورودي( بسيار فضاي به کردن تصوير از )پس بسيار آن مقدار اگر يافت. و نخواهد تطبيق ورودي هايداده توزيع به خوبي تطبيق هم از مستقل تا شودمي داده امکان اين واحدها به شود، انتخاب کوچک

شبکه الگوريتم شود، نزديک صفر به بيشتر و بيشتر پارامتر يابند. هنگاميکهشود. مي نزديک سخت رقابتي يادگيري به رشديابنده توري

را رشديابنده توري شبکه الگوريتم خودسامانده، ويژگي هاينقشه مشابه بدليل کرد. ولي اعمال نيز دو از بيشتر ابعاد با شبکه ساختارهاي به توانمي

سه و دو يک، هايشبکه تنها باال ابعاد با هايداده نمايش در موجود مشکالترسند. مي بنظر مفيد بعدي

ديگر هاي روش4-6

Bauer, Villman (1995) دارند. وجود شبکه ثابت ابعاد بدون نيز ديگري هايمدل دهد. برخالفمي گسترش را ابرمکعبي توري شبکه يک که کردند ارائه را روشي بصورت را شبکه براي مناسب ابعاد آنها الگوريتم رشديابنده، توري شبکه روش

کند. مي پيدا خودکارBlackmore, Miikkulainen (1992)در تا دادند اجازه و کردند طراحي را اي شبکه

براي جديدي روش ارائه باRodrigues, Almeida (1990)کند. رشد بعدي2 ايصفحه دهند. عليرغم افزايش را خودسامانده هاينقشه سرعت توانستند يابيدرون

روش همانند نيست قادر روش اين آنها، روش در سرعت توجه قابل افزايشBauer, Villmannعرض و طول براي را متفاوتي ابعاد رشديابنده توري شبکه يا

کند. انتخاب توري شبکه

38

دوم بخش

(GSOM) رشديابنده خودسامانده نقشه

) اختصار به ياSelf Organizing Feature Map (SOFM) خودسامانده ويژگي نقشهSOM)شکل توري شبکه يک در هانورون آن در که است عصبي شبکه نوعي n نيز ”نقشه“ آن به اغلب که عصبي يشبکه نوع اين اند. دريافته آرايش بعدي بردار به آنها وزن بردار که هايينورون جديد، ورودي هر اعمال با شود،مي گفته

-مي رقابت به کوهونن رقابتي يادگيري قانون طبق بر هستند نزديک ورودي با وزن بردار تفاوت و شده انتخاب برنده بعنوان وزن بردار تريننزديک و پردازند

شود.مي اضافه وزن بردار به ضريبي با شودمي محسوب خطا که ورودي بردار نقشه ،SOM نقشه هاي نسخه تريناستفاده پر و ترينمهم از يکي

Self-Generating ياGrowing Self-Organizing Map (GSOM) رشديابنده خودساماندهSelf-Organizing Map شود. درمي ناميده GSOMکم نورون تعداد يک با شبکه

بيشتر، هاينورون به نياز صورت در و آموزش پيشرفت کند. بامي بکار شروع-مي شبکه رشد باعث و شوندمي منشعب مرزي هاينورون از جديد هاينورون

را شبکه ورودي، هايداده از موجود اطالعات به توجه با نيز اوقات شوند. گاهي توجه با اگر زمان گذشت با و آموزش ادامه کنيم. درمي ايجاد نورون تعدادي با-نورون تعداد که دهد تشخيص الگوريتم رشد، الگوريتم در موجود معيارهاي به

از تدريج به هانورون است، زياد ورودي هايداده بهينه ارائه براي نقشه هاي نقشه به هانورون باشد، بيشتري هاينورون به نياز اگر و شوندمي حذف نقشهشوند. مي اضافه

تغيير( )يا رشد در آنها توانايي عصبي هايشبکه نوع اين مزيت ترينمهم ارائه براي شبکه شودمي باعث آنها( است. که اتصاالت و هانورون )تعداد ساختار

از ،(Data mining) کاوي داده قبيل از مسائلي شود. در داده تطبيق مسئله بهتر رشد توانايي اين بزند، حدس را هاداده ساختار تواندنمي شبکه طراح که آنجا

است. مهم بسيار معموليSOM همانند شبکه اين که است آنGSOM مهم مزاياي ديگر از يکي

شودمي ناشي آنجا از خصوصيت دهد. اينمي تشخيص را هاورودي پراکندگي توزيع کنندمي رقابت يکديگر با جديد ورودي هر ازاي به موجود نقشه وزن بردارهاي که وزن بردارهاي از تعدادي يا )برنده( و وزن بردار يک رقابت اين نتيجه در و

شوند. مي نزديک ورودي بردار آن( به هايهمسايه از تعدادي و )برنده است بزرگ ابتدا ها( در وزن تطبيق )براي همسايگي ،SOM آموزش طي در

يابدمي کاهش يک عدد تا خطي بصورت(ordering) سازي مرتب مرحله در و اين در وزن بردارهاي سازي يابد(. مرتب مي کاهش نورون يک به )همسايگي

نقشه دقيق تنظيم براي تنها ديگر مراحل درحاليکه افتد،مي اتفاق اوليه يمرحلههستند. نياز )همگرايي( مورد

39

هاي وزن با که شوندمي مقداردهي طوري جديد وزن هايگره که آنجا از ندارد سازي مرتب فاز به نيازيGSOM باشند، داشته تطبيق موجود همسايگي

اندازه جائيکه تا دارد نياز زيادي تکرارهاي به کوچک همسايگي هر براي ولي مشابه آغازين، ثابت همسايگي يابد. اين کاهش واحد يک به همسايگي طي در است. بنابراين نياز آن به همگرايي براي که استSOM در همسايگي

يک با جديد ورودي هر براي را همسايگي اندازه و يادگيري نرخGSOM رشد، فاز نرخ و همسايگي کاهش بوسيله هاوزن کند. تطبيقمي مقداردهي اوليه مقدار

ورودي براي و برسد، واحد يک به همسايگي که آنجا تا پذيرد،مي انجام يادگيري شوند.مي مقداردهي دوباره بعدي جديد

در هم و نظارت با آموزش در هم عصبي هايشبکه اين از محققان از بعضي عصبي هايشبکه اين جديد هايمدل اند. اگرچهکرده استفاده نظارتبي آموزش

مزاياي اند،شده ترپيچيده بسيار خود همنوع قديمي ثابت هايمدل با مقايسه درهستند. بازيابي قابل پويا هايمدل ازاين مهمي بسيار آنها از استفاده رشديابنده، خودسامانده هاي نقشه مهم کاربردهاي ديگر از

کنترل قابل عصبي شبکه رشد سلول، هر کنترل است. با هاداده بندي خوشه در داشته وجود بنديخوشه در نامطلوبي هاي سلول اگر بود. همچنين خواهد عمل الگوريتم اين کرد. حذف مجازي بصورت را هاسلول اين توانمي باشند، قابل بصورت ديده، آموزش عصبي شبکه و کندمي تقويت را بنديخوشه

اين ويژگي ترينيابد. مهممي وفق زمان به وابسته ورودي فضاي به انعطافي بندي از: دسته عبارتند کندمي توجيه بنديخوشه در را آنها از استفاده که هاشبکه پذير انعطاف تطبيق نيز و آموزش از پيش هاکالس اطالعات بدون ورودي فضاي

از بنديخوشه براي کهGSOM هاي شبکه زمان. در به وابسته ورودي فضاي به پيچيده هايورودي براي مثال دارد وجود نيز هاييمحدوديت شود،مي استفاده آنها

به تواندنمي يادگيري الگوريتم نيز و شودمي خارج خود طبيعي شکل از شبکهيابد. وفق زمان به وابسته ورودي فضاي

که کرد طراحي طوري را رشد الگوريتم بايد هاشبکه از نوع اين حل براي يادگيري روند در بتوانيم تا باشد داشته وجود يادگيري نرخ کنترل براي مکانيزمي

کنيم. جلوگيري عصبي شبکه اعوجاج از ساختار يک نيازمند خودسامانده هاينقشه آموزش استاندارد مدل متاسفانه

بسيار امر ابتداي در شبکه ياندازه باشد. اگرمي شده تعيين پيش از ينقشه داده انتصاب خاصي نورون به زيادي غيرمشابه بردارهاي و شود انتخاب کوچک هاينورون به مشابه بردارهاي و شود انتخاب بزرگ شبکه ياندازه يا شوند،

به تا شود تکرار بسيار بايد آموزش روند شوند، داده انتصاب نقشه در متفاوتي مطلوب ياندازه محاسبه براي هاييروش منظور اين برسيم. به بهينه ينقشهاند. شده معرفي رشد، روند طي در نقشه

با بيشتر آشنايي ضمن تا است آن بر سعي گزارش اين از7 فصل در را هاشبکه از نوع اين کاربردهاي از تعدادي رشديابنده خودسامانده هاينقشه

) رشديابنده خودسامانده الگوريتم از اينسخه نيز8 فصل کنيم. در بررسيGSOM)ورودي فضاي نقشه هايوزن همزمان تطبيق باعث که کنيممي معرفي را

براي عصبي ينقشه اين شود. ازمي خروجي فضاي توپولوژي نيز و را داده که شودمي استفاده کند،مي حفظ را همسايگي که برداري کوانتيزاسيون

40

انتها دهد. درمي نگاشتA خروجي فضاي به باال ابعاد با ورودي فضاي ازكنيم. مي اشاره GSOM هايشبكه كاربردهاي از مورد دو به نيز9 قصل در و

7 فصل

داده تحليل براي خودمولد عصبي معماري عالقه ايجاد باعث (Self-Generating) خودمولد عصبي هايشبکه زياد مزاياي

در هم عصبي هايشبکه اين از محققان از است. بعضي شده آنها از استفاده در هايمدل اند. اگرچهکرده استفاده نظارتبي آموزش در هم و نظارت با آموزش

بسيار خود همنوع قديمي ثابت هايمدل با مقايسه در عصبي هايشبکه اين جديدهستند. بازيابي قابل پويا هايمدل ازاين مهمي بسيار مزاياي اند،شده ترپيچيده

تغيير( )يا رشد در آنها توانايي عصبي هايشبکه نوع اين مزيت ترينمهم ارائه براي شبکه شودمي باعث آنها( است. که اتصاالت و هانورون )تعداد ساختار

از ، (Data mining) کاوي داده قبيل از مسائلي شود. در داده تطبيق مسئله بهتر رشد توانايي اين بزند، حدس را هاداده ساختار تواندنمي شبکه طراح که آنجا

است. مهم بسيار خودمولد عصبي شبکه معماري کاربردهاي مورد در مهمي مقاالت کنون تا

در کاوي داده برايGSOM است. مزاياي شده منتشر نظارت با آموزش با اين است. در توجه مورد بسيار که است موضوعاتي جمله از نياز هاداده تحليل

بعنوان را آنها توانمي کنيم، استفاده ساده هايداده مجموعه از اگر هاشبکه نوع در GSOM هايمحدوديت از کرد. برخي تلقي (Benchmark) آزمايشي داده مجموعه

بايد اند. بنابراينشده بيان نيز (real) واقعي هايداده آناليز و نگاشت هنگام بکار نيز ترواقعي هايداده براي آنرا بتوان تا دهيم گسترش طوري را الگوريتم را [ 8 ] يافته گسترش GSOM هاي الگوريتم از نوع يک فصل اين ببريم. در

کنيم. مي بررسي

خودسامانده نقشه الگوريتم از اي نسخه1-7 رشديابنده

در که است نظارتبي GSOM نوعي بخش اين در ما بحث مورد عصبي شبکه هايداده دادن نمايش براي هانورون اين که است گره4 داراي اوليه حالت

مشابه هاگره هايوزن مقادير رشد، سير اين با کنند. همزمانمي رشد وروديشوند. مي خودساماندهي SOM روش

است: ترتيب اين به GSOM الگوريتم اين روند

اوليه مقداردهي فاز. 1کنيد. مقداردهي طبيعي اعداد توسط را ابتدايي گره4 وزن بردارهاي1.1

41

کاربر نياز با مطابق ورودي هايداده براي را(GT) رشد آستانه1.2کنيد. محاسبه

رشد فاز. 2کنيد. ارائه شبکه به را ورودي2.1 ويژگي نقشه به يافته نگاشت ورودي بردار به وزن بردار ترين نزديک2.2

مرحله (. اينSOM مشابه اقليدسي فاصله معيار )با کنيد تعيين )برنده( را جاريکه: کرد خالصه ترتيب اين به توان مي را

کند: ر را ارضاء اي پيدا کنيد که رابطه زي7.1

گره موقعيت بردار و وزن بردار ورودي، بردار ترتيب بهq وw وv آن در کههستند. طبيعي اعداد مجموعه و ها

تطبيق بردار وزن تنها برروي بردار برنده و بردارهاي موجود در2.3 هااي از گرهشود. اين همسايگي شامل مجموعههمسايگي برنده اعمال مي

اين همسايگي براي تطبيق بردارGSOMاست که حول گره برنده هستند. در در ابتداي الگوريتم کوچک است )تطبيقSOMوزن نسبت به همسايگي در

ها(. ميزان تطبيق )نرخ يادگيري( نيز در طي مراحل آموزشمحلي وزن يابد. حتي در داخل هر همسايگي، بردارهاي وزني کهبصورت نزولي کاهش مي

يابند.به بردار برنده نزديکتر هستند، بيشتر از بردارهاي دورتر تطبيق ميکه: ح داد توان توضيتطبيق وزن را به اين روش مي

7.2

است مثبت پارامترهاي از اي دنباله يادگيري نرخ آن، در که قبل jگره وزن بردارهاي وکند. مي ميل صفر بسمت با که باشند. مي تکرار امين در برنده نورون همسايگي و تطبيق از بعد و

k زمان در عصبي شبکه در موجود هايگره تعداد به GSOM در کاهشدارد. بستگي

تفاوت با است برابر خطا ) مقدار دهيد افزايش را برنده خطاي مقدار2.4وزن( بردارهاي و ورودي بردار بين

است(، رشد آستانه GT وi گره کلي خطاي TE )بطوريکه اگر2.5 ها همسايه بين را هاوزن نيست، مرزي گرهi اگر و بده رشد راi مرزي هاي گره

کنيد. توزيع هايوزن با که کنيد مقداردهي طوري را جديد يگره وزن بردارهاي2.6

يابند. تطبيق همسايه هايگرهبازگردانيد. اش اوليه مقدار به را يادگيري نرخ2.7 به گره رشد کاهش و هاورودي تمام ارائه زمان تا را2.7 تا2.2 مراحل2.8

کنيد. تکرار حداقل، سطح يک

هموارسازي فاز. 3

42

نظر در را کوچک اوليه همسايگي يک و دهيد کاهش را يادگيري نرخ3.1بگيريد. را همسايگانش و برنده وزن رشد، فاز مشابه و کنيد پيدا را برنده3.2

دهيد. تطبيق

GSOM ديگر هاي مدل2-7

يادگيري نرخ تطبيق1-2-7

از: عبارتست مشابه بحث قبلي، قانون تطبيق نرخ يادگيري7.3

ثابت مقدار يک بصورت که است يادگيري نرخ کاهش ميزان بطوريکه است. تکرار امينt در يادگيري نرخLR و است شده سازي پياده شود. همگرا صفر بهLR(t) ، با شودمي باعث فوق معادله در از استفاده

امر اين ولي (،SOM )مشابه شودمي مقداردهي بزرگ مقدار يک با LR ابتدا درشود. مي مشکل بروز باعث GSOM در ابتدايي هايگره تعداد بودن کم بدليل

بسيار ورودي بردارهاي با حتي ابتدايي، هايگره تعداد بودن کم بدليل شوند. اينمي انتخاب برنده هايهمسايه بعنوان مشابهي هايگره نيز متفاوت

که آنجا شود. ازمي متفاوت جهات در وزن بردارهاي شديد نوسان باعث امر اين شوند،مي مشخصي جهت در نقشه رشد باعث شده مرتب داده بردارهاي بهبود ها،ويژگي مقادير طبق بر ورودي داده کردن مرتب با توانمي را وضعيت

اندازه به نقشه شوند، ارائه هاورودي از متفاوتي انواع زمانيکه بخشيد. بنابراين باشد. نداشته نوسان جديد ورودي بسمت هاگره تمام طوريکه کندمي رشد کافي

ولي است، عملي شده شناخته کوچک داده مجموعه يک با روش اين اگرچه داده، تحليلگر زيرا نيست ممکن ناشناخته هايداده از اي مجموعه کردن مرتبداند. نمي را هاداده هايويژگي بين رابطه

يک قانون کاهش نرخ يادگيري جديد ارائهAlahakoonبعنوان يک راه حل کند. اينهاي شبکه عصبي کار ميداده است که با توجه به تعداد جاري گره

شود: قانون به اين صورت بيان مي

7.4

دادن تغيير نقشه( براي در جاري هايگره )تعداد nاز تابعي آن در که توجه با است، مقدار بيشترين داراي ابتدا در که LR(t) بطوريکه است LR مقدار

و نقشه رشد با که است تابعي يابد. يعنيمي کاهش جاري هايگره تعداد به در گيرد. مقدارمي خود به يابنده کاهش مقادير ها،گره تعداد افزايش آزمايش ابتداي در را0.125 مقدار که بوده بعدي بخش آزمايش ابتداي )در هستند کم هاگره تعداد هنگاميکه گره(. بنابراين4 )با دهد مي بدست

مقدار با ابتدا در LR که هرچند يابند،مي تطبيق کمتري نرخ با هارشد( وزن فاز شود مي شديدي نوسانات کاهش باعث امر بود. اين شده مقداردهي بزرگي

داد. مي رخ امر ابتداي در روش اين از استفاده عدم صورت در که

43

ها وزن محلي همسايگي تطبيق2-2-7

و است بزرگ ابتدا ها( دروزن تطبيق )براي همسايگي ،SOM آموزش طي در يابد. مرتبمي کاهش يک عدد تا خطي بصورت (ordering) سازيمرتب مرحله در

ديگر مراحل درحاليکه افتد،مي اتفاق اوليه يمرحله اين در وزن بردار سازيهستند. نياز )همگرايي( مورد نقشه دقيق تنظيم براي تنها

هايشوند که با وزنهاي وزن جديد طوري مقداردهي مياز آنجا که گره نيازي به فاز مرتب سازيGSOMهمسايگي موجود تطبيق داشته باشند،

ندارد ولي براي هر همسايگي کوچک به تکرارهاي زيادي نياز دارد تا جائيکه اندازه همسايگي به يک واحد کاهش يابد. اين همسايگي ثابت آغازين، مشابه

است که براي همگرايي به آن نياز است. بنابراين در طيSOMهمسايگي در را براي هر ورودي نرخ يادگيري و اندازه همسايگي GSOMفاز رشد،

ها بوسيله کاهشکند. تطبيق وزنجديد با يک مقدار اوليه مقداردهي مي پذيرد، تا آنجا که همسايگي به يک واحدهمسايگي و نرخ يادگيري انجام مي

هابرسد، و براي ورودي جديد بعدي دوباره مقداردهي شود. به روزرساني وزن هاي متفاوت( باعثهاي داراي همپوشاني )همپوشاني براي وروديدر همسايگي

توانيم تطبيق وزن ها درايجاد بي نظمي در نقشه نخواهد شد، بنابراين ميGSOMم: را اينگونه در نظر بگيري

7.5

،,...,, هاي وزن از شده مرتب مجموعه يک که است توجه قابل تمام اگر زيرا دهند، نمي دست از را خود نظم باال معادالت با تطبيق بوسيله جفتهاي اين از کدام هيچ نسبي ترتيب توان نمي باشند مرتب جزئي، هاي دنباله

خودساماني(، و مقداردهي )بوسيله هاوزن اگر داد. بنابراين تغيير را شد. نخواهد نظمي بي ايجاد باعث نيز هاوزن آتي دادن تطبيق باشند، مرتب

مرزي غير هاي گره وزن توزيع3-2-7

-مي توليد را جديد هايگره عصبي، شبکه مرزي هايگره از تنها GSOM شبکه است بعدي2 ساختار يک داراي هميشه شبکه که آنست روش اين کند. مزيت

روش اين است. محدوديت ترمناسب (visualize) کشيدن تصوير به براي که با مناطقي وجود بدليل غيرمرزي گره يک خطاي مقدار که دهدمي رخ هنگامي هايگره توانايي عدم امر اين رود. دليل فراتر GT حد از ها داده در باال چگالي

ممکن آمده بدست نقشه باشد. بنابراينمي جديد هايگره توليد در غيرمرزي داده از متناسبي نباشد. ارائه ورودي هايداده ازتوزيع مناسب ارائه يک است

در که باورند اين بر ها شود. بيولوژيستمي ناميده نمايي“، بزرگ ”عامل ورودي اهميت حسي، هاي ويژگي ارائه مخصوص مناطق مغزي، بيولوژيک هاينقشه

با را GSOM تا نداريم تصميم کنند. اگرچهمي بيان را متناظر هايويژگي مجموعه ارائه که اند رسيده نتيجه اين به محققان ولي کنيم، مقايسه بيولوژيک هايپديده

براي است ممکن ويژگي، نقشه يک در منطقه، در وقوع فرکانس با متناسب

44

اين به و کند تعيين را باال فرکانس با مناطق بتواند تا باشد مفيد داده تحليلگرآورد. بدست هاداده توزيع از تخميني وسيله به اي شبکه يابد. اگرمي تحقق خودساماني روند بوسيله فرايند اين SOM در يافتن گسترش باعث محدود تکرار تعداد يک بياوريم، بوجود بزرگ کافي اندازه به کنند، رشد بايستي هاگره GSOM در اينکه به توجه شود. با مي نقشه

-مي نياز نقشه يافتن گسترش براي مرزها از رشد اندازي راه براي مکانيزمي توزيع مکانيزم امر، اين براي همکارانش و Alahakoon منظور اين باشد. به

کردند. سازي پياده را زير خطاي ي غير مرزيهنگاميکه اين روند براي رشد بکار رود، مقدار خطاي برنده

ابد: ي( کاهش مي7.6مطابق معادله )7.6

آستانه رشد هستند. مقدار خطايGT خطاي برنده و بطوريکه ابند. ( افزايش مي ي7.7هاي برنده طبق معادله )نزديکترين همسايه

7.7

مقدار و برنده همسايگي امينi خطاي مقدار درآن که کند. مقاديرمي کنترل را خطا افزايش که است FD يا توزيع“ ”عامل بنام ثابتي

FD آزمايش در Alahakoon است. بازه در بيشترين داراي که گرهي خطاي ( مقدار7.6) معادله از استفاده با بنابراين

(7.7) معادله از استفاده يابد. بامي کاهش رشد آستانه نصف به باشد خطا دو اين يابند. بنابراينمي افزايش گره، هاي همسايه نزديکترين خطاي مقدار طرف به است، خطا بيشترين داراي که گرهي از خطا گسترش باعث معادله گره رشد توانايي ( ايجاد7.7) ( و7.6) معادله هدف شود. بنابراينمي خارج،غيرمستقيم(. بصورت )هرچند است مرزي غير هايگره براي

45

8 فصل

خروجي ابرمکعبي فضاهاي براي GSOM الگوريتم باعث که کنيممي معرفي را GSOM الگوريتم از اي نسخه فصل اين در-مي خروجي فضاي توپولوژي نيز و ورودي فضاي نقشه هايوزن همزمان تطبيق

محدود يافته تعميم ابرمکعب يک به خروجي فضاي اتصال GSOM شود. در تطبيق موضوعات از مختلف هايجهت در گسترش و ابعاد تعداد آن در که است،

نيز و ترکيبي هاي داده براي GSOM الگوريتم از حاصل نتايج انتها باشد. درميشود. مي بيان واقعي هايداده

هاي عصبي مهم بوجودهاي خودسامانده از ترکيب انواعي از شبکهنقشه هاي عصبي درهمه ابعاد حسي و مناطق محرکمي آيند. در مغز انسان نقشه

هاي عصبي برايمغزي شکل گرفته اند. در مباحث فني از نقشه کوانتيزاسيون برداري که همسايگي را حفظ مي کنند استفاده مي شود که

نگاشت ميA به فضاي خروجي داده را از فضاي ورودي با ابعاد باال بعدي از پيش تعيين شده مي باشد، درd يک شبکه مستطيلي Aدهند. معموال

متناظر باهاي ديگر نيز قابل قبول هستند. بردارهاي وزني حاليکه ترتيب را بيان مي کنند. نگاشتV هستند که موقيت خاصي در نورون هاي

شود: توسط قانون زير بيان مي8.1

را بگونه اي تطبيق ميها وزن هاي SOMبراي انجام اين نگاشت، دهند که فضاي ورودي به بهترين شکل و با کمترين تغيير به فضاي خروجي

-شوند، نزديک به نقشه ارائه ميvي نگاشت پيدا کنند. دنباله اي از نقاط داده هاي ديگر درهاي نورون بهمراه وزن انتخاب شده و وزن آن sترين نورون

شوند: منتقل ميv بسمت sهمسايگي 8.2

که در فضاي بوسيله تابع همسايگي sقرارگرفتن در همسايگي شود. خروجي ارزيابي مي شود که معموال بشکل تابع گاوسي است، تعيين مي

8.3

مورد ابعاد و خروجي فضاي توپولوژي انتخاب به همسايگي حفظ ويژگي است. بنابراين وابسته است، ناشناخته اوليه احتمال يک که ورودي داده نياز

اگر باشد. بنابراين شده مشخص آموزش از پيش بايستيA خروجي فضاي شود. بنابراين مي ايجاد مشکالتي باشد، شبکه توسط همسايگي حفظ هدف

انواع از يکي بخش اين (. در هايوزن نه )و داد تطبيق راA ساختار توانمي رشد روال و معمولي SOM هايوزن تطبيق از ترکيبي که ،GSOM هايالگوريتم فضاي تا است نياز اينجا گردد. درمي معرفي است، ابرمکعبي خروجي فضاهاي

46

در ابعاد تا دهيم مي اجازه ولي )مستطيلي( باشد ابرمکعب يک بشکل خروجي که کنيممي بيان اينگونه را مطلب باشند. اين متغير ابرمکعب مختلف هايجهت

نشان شکل به را خروجي فضاي هاي موقعيتاست. هاگره کل تعداد بيانگر که دهيم مي

ابرمکعبي فضاي در رشد براي GSOM الگوريتم1-8

يکBauer [9] و Villmann مورد بحث، GSOMبراي شبکه عصبي نوروني را براي شروع الگوريتم بکار گرفتند که مطابق الگوريتم2پيکربندي

SOMمعمولي آموزش مي بيند و با توجه به معيار خاصي که در زير به آن -کند. مجددا آموزش ميها را به فضاي خروجي اضافه ميشود، نوروناشاره مي

ها به يک تعدادها را افزايش مي دهد تا زمانيکه تعداد نورونبيند و نورون ماکزيمم از پيش تعيين شده برسند. در طي اين روند، توپولوژي فضاي

d، و ، باقي مي ماند که در آن براي خروجي به شکل است. است. بنابراين پيکربندي اوليه Aتعداد ابعاد جاري

شبکه عصبي از اين وضعيت شروع به رشد مي کند. يادگيري با اضافه کردن ها در يکي از جهاتي که توسط فضاي خروجي پوشش داده شده است،گره

و يا با اضافه کردن يک بعد جديد يعنييعني (. اينکه کدام بعد بايد8.1 صورت مي گيرد )شکل

رشد کند و يا اينکه آيا نياز به ايجاد بعد جديد است، بر اساس ميزان نوسانات-( به يک نورون مشترک نگاشت داده شده8.1 که بر اساس معادله )vنقاط

ي نوروناند )يعني در ميان نقاط داده ي ماسک شده در سلول ورونوئي r تعيين مي شود. در هنگام بازسازي ،)v از نورون r که از ، خطاي

شود، رابطه ي زير محاسبه مي

8.4

شبکه مجدد کردن تصوير نتيجه در که ماند مي باقي مختلف جهات ميان در آيد. بنابراين مي ( بوجود8.2 )شکلA ورودي فضاي به خروجي فضايباشد. ميi جهت در واحد بردار بيانگر

تابع معيار براي رشد الگوريتم در اينجا بايد گره ها را در جهتي که داراي ي ميانگين خطا است، اضافه کند. در ابتدا بايستي خطاهايبزرگترين اندازه

براي رشد در يک را براي بدست آوردن بزرگي خطاي باقيمانده به تنهايي کافيجهت جديد ارزيابي کنيم. واضح است که استفاده از

نيست، زيرا در فضاي ورودي با ابعاد زياد و با وجود نويز در همه جهات، بدليل بوجود آيد که خود باعث“ ممکن است مقادير بزرگي براي 1”نفرين ابعاد

است معني اين به و رگرسيون يا بندي طبقه مسائل خصوصيات از يکي ابعاد نفرين 1 بايستي که شود مي پارامترها از زيادتري تعداد ايجاد باعث زيادتر ابعاد با ويژگي فضاي که

تقويت نياز مدل در Over fitting احتمال پارامترها تعداد افزايش با نتيجه شود. در زده تخمين هايويژگي از اي مجموعه زير که شود مي حاصل زماني کارآيي تعميم بهترين شود. يعني مي

روند. بکار موجود

47

اضافه کردن ابعاد جديد مي شود )البته اين امر براي داده ي ورودي الزامي را براي تمام محرک ها درندارد(. در عوض ما مقادير خطاي باقيمانده ي

را بدست مي آوريم و اولين مولفه اصلييک سلول ورونوئي خاص را بدست ، برروي جهت آنها را محاسبه مي کنيم. تصوير

دهد: مي8.5

شود. گرفته رشد روند طي در بايستي که تصميمي - توصيف8.1 شکلداد. رشد جديد جهات يا و موجود جهت در توان مي را موجود شبکه يک

کنيم وسپس بزرگي انحراف را براي هر محرک بصورت مجزا نرماليزه ميم. کنيها را محاسبه ميسپس ميانگين بزرگي

8.6

رشد است ي اندازه بزرگترين داراي که جهتي در است ممکن شبکه يک جهت پوشش براي خروجي فضاي در جديد اليه يک از اگر ديگر، طرف کند. از ضريبي با تقريبا جهت اين در انحراف کنيم، استفاده ورودي مانيفولد ازi خاص

يابد. مي کاهش از بنابراين مي توان تصميم گيري را بر مبناي بزرگي انحراف

پس از رشد، انجام داد. در اينجا راه حلي براي ايجاد تعادل بين اين دو روش ارائه مي شود: jو انتخاب جهت رشد

8.7

48

رشد صحيح جهت يکننده تعيين معيار - توصيف8.2 شکل

مقداردهي را جديد هايگره بايد شد، انتخاب رشد مطلوب جهت هنگاميکه را هاگره توان مي باشد، گسترش يک داراي رشد جهت در شبکه کرد. اگر

فاز يک رشد، مرحله از کرد. پس اضافه خروجي فضاي از ياليه به ساختار اينکه به توجه گيرد. با صورت بايستي نقشه مجدد تنظيم براي آموزش

فاز دارد. بنابراين وجود ترتيب خوردن برهم احتمال است، کرده تغيير نقشه SOM آموزش مشابه شود. بهرحال آغاز مجددا جديد مقدار يک با بايد آموزش تا شود اختيار کوچکي مقادير آموزش فاز انتهاي در بايد براي معمولي شوند، رعايت متضاد جنبه دو اين اينکه دهد. براي نشان را هاداده توزيع جزئيات

انتهاي کوچک مقادير و ابتدا در بزرگ مقادير )با اي اره دندان روش يک به بايد يادگيري فاز هر طي در شده انجام سازي شبيه کند. در سيکل( تغيير هر

در کاهش نحوه تغيير با را توجهي قابل اثر يابد. ما مي کاهش نمايي بصورت که است آن ذکر قابل اثر کنيم. تنهانمي مشاهده شده منتج هاي نقشه ساختار را داده توزيع نوسانات تمام تواند مي حد چه تا نقشه که کند مي تعيين اندازه هاي SOM در و نيست، منحصربفرد GSOM الگوريتم براي اثر کند. اين دنبال

افتد. مي اتفاق هم معمولي ي بهينه را ايجاد کند واين الگوريتم بايد يک فضاي خروجي تطبيق شده

بنابراين نقشه منتج شده بايستي بخوبي همسايگي را حفظ کند. بهرحال ميزان حفظ همسايگي در طي اين تطبيق، نه اندازه گيري و نه تقويت مي شود. بنابراين اين خصوصيت، ويژگي مستقلي است که بايد جداگانه مورد

بررسي قرار گيرد. براي اين منظور چندين روش اندازه گيري بکار رفته اند. Pکنيم. در طي محاسبات استفاده ميPدر اينجا ما از حاصلضرب توپوگرافيک

k، بايستي تعيين شوند که در آن و دنباله r، براي هر گره )فاصله آن در فضاي خروجي اندازه گيري شده است( و rامين همسايه

،k امين همسايه r ارزيابي شده و )فاصله آن در فضاي ورودي بين استفاده مي کنيمPکنند. معادله اي که از آن براي محاسبه است(، را بيان مي

است: ر آمده در زي

49

8.8

زير بصورت و باشد داشته منفي يا مثبت مقداري تواند ميP آن در که در و باشد مي کمي ابعاد داراي خروجي فضاي باشد، شود: اگر مي تفسير دو هر باشد. در مي زيادي ابعاد داراي خروجي فضاي باشد، اگر مقابل خروجي فضاي باشد، اگر شود. تنها مي مختل همسايگي رابطه موردکند. مي مطابقت ورودي داده توپولوژي با تقريبا

واقعي هاي مثال2-8

نقاط است، شده انجام GSOM الگوريتم برروي که آزمايشاتي سري يک در ها، مربع ها، مستطيل ها، خط )مانند ساده هندسه با ورودي فضاهاي از داده

هندسه با خروجي فضاهاي به خاصي، پارامترهاي به وابستگي بدون ها(، مکعب داده نقاط براي را هايي نقشه مثال شوند. بعنوان مي داده نگاشت مشابه هاي برروي و هستند کمي ابعاد داراي ولي پوشانند نمي را ورودي فضاي تمام که اي بعدي3 ورودي فضاي يک بگيريد. ما درنظر دارند، قرار غيرخطي مانيفولد يک ي داده نقاط آن در که کنيم رسم را خروجي نتايج بتوانيم تا کنيممي انتخاب را

شوند: مي مشخص زيرs وr پارامترهاي بوسيله

-مي اجرا زير پارامترهاي با و ها داده مجموعه اين برروي را GSOM الگوريتمکنيم:

گره تعداد وd=2 ابعاد تعداد با را خروجي فضاي GSOM الگوريتم انتها، درکند. مي تنظيم جهت دو در و برابر هايي

مانيفولد توانمي آيا که کنيم مي بررسي را موضوع اين ما بعدي اجراهاي در را مختلف(، جهات همه در نويز وجود )با زيادتر ابعاد با فضاهاي در داده

مي زياد تا را ورودي فضاي ابعاد ما منظور اين خير. به يا داد تشخيص گيريم. همچنين مي نظر در باال پارامترهاي مشابه را پارامترها و کنيم

و يکنواخت توزيع با تصادفي متغيري آن در که است داده جديد سري با GSOM اين سازي شبيه شود. با مي انتخاب

نويز پائين سطوح با نويز بدون حالت با را تفاوتي هيچگونه شده، داده تغيير هاي ابعاد نويز از باالتري سطوح نکرديم. در مشاهده

يک تا )در شوند مي تقويت الگوريتم توسط خروجي فضاي اضافي يک افزايش يابد(. اين مي گسترش با و خروجي فضاي يک از داده نقاط انحراف نتيجه بلکه شودنمي محسوب الگوريتم در ضعف نقطه

ابعاد تا کندمي سعي نقشه موجود، هاي گره به توجه است. با بعدي2 مانيفولد ابعاد و وابسته داده ابعاد بين تمايز دهد. طريقه نمايش نيز را10 تا4 اضافي

50

در گسترش از جلوگيري براي پارامتر کنترل چگونگي نيز و وابسته غير نويز ديگر جاي در و گنجد نمي خروجي فضاي رشد مبحث اين در وابسته، غير ابعاد

شود. مي بحث آن از-داده با GSOM الگوريتم تست براي هاييآزمايش Bauer و Villmann همچنين

گرفت. انجام گفتاري هاي داده برروي اول دادند. آزمايش انجام نيز واقعي هاي مرتبه هر و مرتبه10 که )آلماني( است رقم10 شامل ورودي داده مجموعه

منجر GSOM شبکه اين پردازش است. پيش شده بيان متفاوتي يگوينده توسط رشد شد. الگوريتم بعدي19 ورودي فضاي يک در ويژگي بردار1023 ايجاد به

GSOM هايي نقشه گره با گفتاري داده مجموعه اين براي بحث مورد کند. با مي ايجاد را گرهج( وب( ،با: الف( ميزان به توجه با را ها نقشه اين اکنونP توپوگرافيک حاصلضرب از استفاده

از: عبارتند ترتيب به آمده بدست کنيم. مقادير مي بررسي آنها همسايگي حفظ

هايي نقشه همچنين معمولي، هاي نقشه به مقادير اين کردن مرتبط براي شرايط اين دهيم. در مي آموزش را5 تا1 ابعاد با و ثابت خروجي فضاي با را

مقادير:

گرده رشد آنها خروجي فضاي که هايي نقشه آيند. بنابراين مي بدستکنند. مي حفظ را همسايگي ثابت، خروجي فضاي با هايينقشه خوبي به است

LANDSAT-TM ي ماهواره تصاوير از Bauer و Villmann دوم آزمايش در تهيه طيفي باند7 در را زمين تصاوير LANDSAT-TM کردند. ماهواره استفاده

6 باند در و متر30x 30 ،7 و5 تا1 باندهاي در تصاوير اين کند. رزولوشن مي را طيف کل از مناسبي هايحوزه طيفي باندهاي است. اين متر60x 60 تنها

اقليمي هاي ويژگي همچنين و سنگ آب، گياه، پوشش تمايز و شناسايي جهت پيکسل هر با متناسب باندهاي شدت يعني طيفي دهد. اطالعات مي بدست طيفي( باندهاي )تعداد با بردار يک توسطLANDSAT از صحنه

حرارتي(، )باند6 باند در رزولوشن بودن درشت شود. بدليل مي داده نمايش به LANDSAT هاي داده است. بنابراين استفاده بدون معموال باند اين اطالعات

طبقه هر شود. هدف مي داده نشان بعدي6 فضاي در نقاط از ابرهايي شکل داده نقاط از هايي زيرمجموعه به داده فضاي تقسيم فضا، اين در کننده بندي منطقه جنگل، دريا، مثل خاص ويژگي يک با متناظر خاص گروه يک به که است

شود(، مي بيان خاص نمونه ي داده بردار يک توسط ويژگي )هر غيره و صنعتي ابعاد با SOM از استفاده رؤيت قابل نتايج حصول براي روش است. يک متعلق بصورت راA شبکه هاي نورون موقعيت تا بود خواهيم قادر است. سپس

به آن در که دهيم نشانC رنگ فضاي در ، رنگ بردارهاي شود مي ايجاد باعث روش هستند. اين آبي و سبز قرمز، هاي رنگ شدت ترتيب

تصوير از رنگي نسخه يک تا دهيم اختصاص را خاصي رنگ برنده نورون هر به تا رنگ بعدي3 فضاي به بعدي6 فضاي از را هاداده ما که آنجا از برسيم. ولي اوليه

)ناسازگاري دهد رخ ميان اين در مشکالتي است ممکن دهيم، مي نگاشت هانباشد. خوبي کيفيت داراي نقشه گرافيکي نتايج تا شود مي باعث ابعاد( که

51

گره x 16 16 ( باc گره، x 4 64 ( باb گره، a) 28 x 9 با GSOM - نقشه8.3 شکلبعدي2 مانيفولد برروي وزن گره. بردارهاي x 6 x 6 7 ( باd ودارند. قرار است، شده داده پوشش داده نقاط با که فضاي از

شمال به مربوط تصويري از Bauer و Villmann قسمت اين در مثال، براي با GSOM الگوريتم اينجا کردند. در استفاده (Leipzig) اليپزيگ غربي از بعد2 تنها که نگاشتي يعني شودمي نورون 18x16 با اينقشه ايجاد به منجر

نتايج آيا ببينيم اينکه کند. براي مي استفاده را ممکن هاي رنگ بعدي3 فضاي ابعاد با SOM هاي شبکه خير، يا است سازگار ديگر هاي روش نتايج با روش اين

x 6 x 6 7 و x 16 16 ، 256 تعداد با ترتيب )به داديم آموزش نيز را از استفاده با ها نقشه اين براي همسايگي حفظ ميزان نورون(. ارزيابي

را مقادير ،P توپوگرافيک حاصلضرب GSOM نقشه دهد. بنابراينمي بدست بعدي سه و دو يک، هاينقشه اين براي

خطاي و سعي هايروش از حاصل ينقشه با زيادي مشابهت شده، حاصل مي کار بخوبي رشد الگوريتم که دهند مي نشان مثال دو دارد. اين فرسا طاقت

دهند. مي بدست را نوروني هاي شبکه از مناسبي ساختارهاي و کند

52

9 فصل هاي خودسامانده رشديابندههايي از نقشهمثال

از پيش تعيينساختارهاي رشديابنده )يا افزايشي( داراي هاي شبکهمدل شده نيستند. در مقابل، آنها توسط افزايش متوالي )و گاهي اوقات حذف(

ها ممکن استشوند. در نگاه اول اين شبکهعناصر تشکيل دهنده، ايجاد مي ثابت مانند شبکه عصبيساختارهاي داراي تر از شبکهقدري پيچيده

هاي خودسامانده )که توپولوژي آنها از ابتداپرسپتروني چند اليه و يا نقشه عنوکند( برسند. براي رشد دادن اين معلوم است و در طي يادگيري تغيير نمي

هاي درج مناسب و نيز معياري براي چگونگيها بايستي استراتژياز شبکهتوقف رشد آنها تعيين شود.

هايشبکهتر از آيا براي اين پيچيدگي مضاعف، بايستي کاري اضافه استفادهمعمولي انجام دهيم؟ آيا هيچ دليل عملي يا حتي دليل موجهي براي

خودسامانده هاي شبکههاي رشديابنده وجود دارد؟ اصوال چرا بايد از شبکهاز کرد؟ استفادهرشديابنده

آن است که سئواالت مطرح شده فوق را بهمراهبردر اين قصل سعي رشديابندهخودسامانده هاي شبکهچند مثال عملي تشريح کنيم تا به مزاياي

پي ببريم. غير و رشديابنده هايشبکه بتوانيم تا کنيممي ارائه مثال دو فصل اين در

. [ 10 ] کنيم مقايسه هم با را رشديابنده

الگوها بندي اول: دسته مثال1-9

خطاي معيار يک تعيين امکان رشديابنده هايشبکه مهم خصوصيات از يکي معيار يک الگو بندي دسته مورد است. در جديد واحدهاي درج براي دلخواه توسط که RBF شبکه يک9.1 شکل است. در بندي دسته خطاي واضح، خطاي يک اينجا در است. مسئله شده داده نمايش شده، ايجاد GNG نظارت با روش هم از خوبي به که است بزرگ خوشه دو شامل هاداده و کالسه دو بنديدسته نزديک يکديگر به تقريبا که است ترکوچک خوشه چهار همچنين و اندشده جدا

نيستند. فشرده زياد شکل نظر از و هستند هاداده توزيع با که شودمي مراکز توزيع باعث خطا بر مبتني رشد روند

توسط بزرگ هايخوشه نهايي شبکه است. در متفاوت ايمالحظه بطورقابل-گاوسي اکثر درحاليکه شوند،مي بندي دسته بزرگ نسبتا هايگاوسي از کمي تعداد

-يافته تجمع است، ترسخت آنها جداکردن که ترکوچک هايخوشه با مناطقي در هااند.

53

که دهدمي نشان راRBF شبکه يک شکل نظارت. اين باGNG شبکه با بندي - دسته9.1 شکل است. شده توليد درج معيار بعنوان بندي دسته خطاي با و نظارت باGNG روش توسط

طول ميانگين توسط )که گاوسي معيارهاي )ب( انحراف شده ايجاد هايلبه و ها)الف( گره-آستانه توسط که آمدهبدست تصميم )د( مناطق شبکه خام اند( )ج( خروجيشده محاسبه لبه

است. آمده بدست خام خروجي سازي

است. شده داده نشان9.2 شکل در تر مرسومRBF شبکه يک مقابل در يک با ورودي بردار فضاي در مراکز از معيني تعداد توزيع با ابتدا در شبکه اين

هب رقابتي يادگيري قانون با همراهNG روش از مثال اين )در بندي دسته روش سازيفعال اند. توابعشده تثبيت مراکز موقعيت است(. سپس شده استفاده مرکز لبه طول ميانگين برابر شده، انتخاب عرض يک داراي مراکز باگاوسي خطي خروجي واحد به هاوزن آموزش براي هستند. سپس متناظر مربوطه

شود. اگرچهمي استفاده دلتا قانون از دارد، را کالس دو تفکيک وظيفه که منفرد کامال آموزشي الگوهاي ولي است، برابر شبکه دو اين اندازه مثال اين در

هايخوشه به واحدها از زيادي تعداد اختصاص امر اين اند. دليلنديده آموزش بندي دسته براي نياز مورد واحدهاي کمبود آن نتيجه که است ساده ولي بزرگاست. دشوارتر هايخوشه

است؟ متفاوت اينقدر سنتيRBF و نظارت باGNG شبکه دو اين نتايج چرا-داده ورودي بخش از تنها سنتيRBF شبکه در استفاده مورد بندي خوشه روش

کند( بنابراينمي صرفنظر هاکالس هايبرچسب از )و کندمي استفاده آموزشي هاي را ورودي فضاي از خاصي قسمت بندي دسته سختي ميزان تواندنمي شبکه اين روش يک که کاري بيشترين هستند، مشابه هاداده همه که آنجا گيرد. از نظر در

54

که کند توزيع ايبگونه را مراکز که است آن دهد انجام تواندمي کننده بنديخوشه مراکز دوم فاز دهد. در قرار پوشش تحت را ورودي داده از قسمتي مرکز هر

با خطي خروجي واحد به گاوسي واحدهاي هايلبه هايوزن بلکه يابندنمي انتقال-کالس داده بينند. نقاطمي آموزش موجود، خورده برچسب هايداده از استفاده

سازي فعال بردار يک گيرند،مي قرار گاوسي يک منطقه در که مختلف هاي فعال -بعدي33 فضاي در حتي خطي خروجي واحد و کنندمي تحريک را مشابه دو هر بعد مثال اين )در کند تفکيک هم از را آنها تواندنمي نيز گاوسي واحد سازي داده رخ دوم شبکه در که است اتفاقي احتماال است( اين33 برابر شبکه

است. و کندمي شروع را خود کار واحد چند با تنها نظارت باGNG شبکه مقابل در

در حاليکه در شود مي شروع واحد)هاي( خروجي به هاوزن آموزش بسرعت بسيار تطبيق ميزان )اين شوند مي داده تطبيق نيز مراکز موقعيت زمان همان دسته خطاي هستند(. اگر کوچک بسيار تطبيق پارامترهاي زيرا است ناچيز فضاي از قسمت آن که گاوسي واحد نزديکترين در خطا اين دهد، رخ بندي

واحد کوتاهي مدت از شود. پس مي انباشته دارد، پوشش تحت را ورودي بيشترين واحد )اين شده تعيينq دارد، را خطا ميزان بيشترين که گاوسي خود به مربوط ورودي فضاي در موجود هايداده بندي دسته براي را مشکل که شود مي اضافه ورودي فضاي از قسمت آن به جديد واحد يک دارد( و دهد. اين مي قرار پوشش تحت راq واحد به مربوط هايداده از قسمتي يک در کند. اگر عمل خوب کافي ميزان به شبکه که شودمي تکرار آنجا تا مراحل آن در داده چگالي اگر حتي ندهد رخ بندي دسته خطاي ورودي فضاي از منطقه شد. نخواهد اضافه منطقه آن به جديدي واحد هيچ باشد، زياد بسيار منطقه

است ترمشکل بندي دسته عمل که مناطقي در تنها را خود منابع شبکه بنابراينکند. مي متمرکز مشکل عصبي هايشبکه تمامي در بلکه و هاشبکه از نوع اين در مهم نکته باشد.مي بحراني هاشبکه از نوع دو هر براي مشکل زيادي" است. اين "برازش

به شبکه دهيم، افزايش را سنتيRBF شبکه در استفاده مورد مراکز تعداد اگر بندي دسته صحيح بطور آموزشي هايداده تمامي که رسيد خواهد اينقطه

به توجه بدون را مراکز نظارت بدون بندي خوشه روش که آنجا شد. از خواهد آساني به هاداده بندي دسته عمل که مناطقي در کند، مي توزيع آنها هايبرچسب در زيادي برازش باعث امر اين که گيرند مي قرار بيشتري مراکز شود،مي انجام

معياري بايستي نظارت باGNG شبکه در ديگر طرف شود. ازمي مناطق آن خواهد ادامه رشد به شبکه اينصورت غير در زيرا شود، تعيين رشد توقف براي

زيادي برازش باعث که شوندمي اضافه شبکه به آنجا تا جديد واحدهاي و داد کارايي ميزان مشاهده امر اين از جلوگيري براي ساده روش شود. يک هاداده

شود.نمي استفاده آموزش در که است مجزا ارزيابي مجموعه يک برروي شبکه آن در آموزش نکند، پيشرفت ارزيابي مجموعه اين کارايي ميزان هنگاميکه

شود. مي متوقف نقطه

55

33 باRBF شبکه يک شکل سنتي. درRBF شبکه يک از استفاده با بندي - دسته9.2 شکل مراکز ابتدا (. درDarken وMoody) شود مي تشکيل فاز دو در که است شده داده نشان واحد

قانون بهمراهMartinez عصبي گاز روش از مورد اين شوند. درمي توزيع نظارت بدون روش به خوشه روش از استفاده ولي است شده استفاده ارتباطات ايجاد براي هب رقابتي يادگيري

ثابت مراکز موقعيت دوم فاز کند. درمي توليد را مشابهي نتايج نيزk-means مانند ديگري بندي شود.مي استفاده دلتا قانون از منفرد، خطي خروجي واحد به هاوزن آموزش براي و است،

محاسبه لبه طول ميانگين توسط )که هاگاوسي معيارهاي )ب( انحراف هالبه و ها)الف( گره براي شبکه چگونه دهد مي نشان که تصميم )د( مناطق شبکه خام اند( )ج( خروجيشده استGNG شبکه برابر اياندازه داراي شبکه اين کند. اگرچهمي پيدا تعميم جديد هايداده

نيست. آموزشي هايداده تمامي بندي دسته به قادر ولي

ها داده دوم: نمايش مثال2-9

اهميت از روز هر زياد ابعاد با و پيچيده هاي)نمايش( داده کشيدن تصوير به از نگاشتي خودسامانده ويژگي هاينقشه كه آنجا شود. ازمي برخوردار بيشتري

-مي شبکه( انجام )توپولوژي کم ابعاد با ساختار به ورودي باالي ابعاد با فضاي داده کشيدن تصوير به براي خودسامانده ويژگي هاينقشه از اغلب دهند،

)و شکل مستطيل -بعدي2 توري شبکه يک اغلب ساختار شود. اينمي استفاده ابعاد کاهش و نگاشت عمل اينSOM است. شبکه واحدها شکل( از مربع گاهي

هايداده توپولوژيک ارتباط حد چه تا که است اين سئوال ولي دهدمي انجام را توسط توپولوژي حفظ معيار براي دقيقي تعريف اخيرا کند؟ مي حفظ را اصلي

56

Villmannبين عيني مقايسه که شده ارائه توپوگرافيک تابع نام با همکارانش و است. ساخته پذير امکان را مختلف هايمعماري توسط را ساده داده مجموعه يک نمايش که است آن هدف مثال اين در

رشديابنده، توري شکبه )ب( روش و خودسامانده ويژگي )الف( نقشه هايروش که است آمده بدست1x 9 مستطيلي ناحيه يک از هاداده کنيم. اين بررسي

است. درآمده سفيد و سياه برنگ ترساده نمايش براي توابع و پارامترها با خودساماندهي روند از وx 15 15 آرايه يک ازSOM براي

در آزمايش اين است. نتايج شده استفاده است، کرده ارائهRitter که نزولي در ورودي فضاي در شبکه(projection) است. تصوير شده داده نشان9.3 شکل است. از )ب( آمده9.3 شکل در نقشه برروي داده نمايش )الف( و9.3 شکل اريب بصورت را هاداده نقشه اين که شويممي متوجه شده داده نشان شکل

دراز( و و باريک )مستطيل داده شامل مانيفولد شکل که آنجا دهد. ازمي نمايش نيست. عجيب زياد آمده بدست نتيجه است، متفاوت )مربع( تقريبا نقشه شکل

بصورت توپولوژي ولي است گرفته صورت ديگري به آنها از يکي از نگاشتياست. شده حفظ جزئي

شود، استفاده رشديابنده توري شبکه يک توسعه براي هاداده همين از اگر است. در متفاوت کامال است، شده داده نشان9.4 شکل در که همانطور نتايج تناظر ورودي فضاي در حقيقي فواصل و نقشه برروي نمايش بين شبکه اين

است. برقرار بهتري

دوبعدي1x9 تطبيق يکنواخت توزيع با ناحيه يک به که خودسامانده ويژگي - نقشه9.3 شکل شکل و شبکه ساختار بين تفاوت است. بدليل واحد15x15 شامل شبکه است. اين يافته

است. اريب نمايشي داراي حاصل نتيجه داده مانيفولد

57

کشيدن تصوير به در رشديابنده توري شبکه روش خصوصيات از ديگر يکي تفکيک به نتايج مشاهده از پس است. اگر برخوردار زيادي اهميت از داده

و بيشتر نقشه تا داد اجازه و داد ادامه سازيشبيه به توانمي باشد، نياز بيشتري بسيار عمل اين مدل، متغيرهاي تمام بودن ثابت به توجه کند. با رشد بيشتر يک در است آمده قبل شکل در که خودسامانده ويژگي نقشه است. ولي ساده تطبيق( قدرت و همسايگي )بازه پارامترها شبکه اين رسد. درمي اتمام به نقطه

اندازه افزايش براي خاصي راه و يابندمي کاهش خاصي زمانبدي با و بتدريج فعلي آمده بدست ترتيب دادن دست از بدون آن مجدد ساماندهي و شبکه شبکه يک با مراحل تمامي تکرار تفکيک افزايش براي حل راه ندارد. تنها وجود به شبکه اندازه که بود مطمئن تواننمي نيز اينصورت در است. حتي تربزرگ

نيز بزرگتري هايشبکه تا باشد الزم است ممکن و است بزرگ کافي اندازه نتايج همه از توانمي رشديابنده توري شبکه از استفاده با شود. ولي امتحانکرد. استفاده قبلي مرحله در آمده بدست

قبلي شبکه مشابه توزيع يک به مانند که رشديابنده خودسامانده توري شبکه - يک9.4 شکل 6x43 شبکه يک به خودکار بصورت و شده شروع2x2 ساختار يک با است. شبکه يافته تطبيق

نسبت مشابه تقريبا که است17/7 برابر شبکه عرض/ طول يابد. نسبتمي گسترشاست. داده مانيفولد

نتيجه3-9

هايشبکه از استفاده از انگيزه تا کرديم سعي قبل هايقسمت در هايمدل انواع بر مروري ابتدا کنيم. در بيان بوضوح را رشديابنده خودسامانده

خطاي اطالعات بر مبتني ”درج قوانين اساس بر آنها همه که داشتيم افزايشي آنها توپولوژي بر شده اعمال هايمحدوديت در آنها تفاوت تنها و محلي“ انباشته

مثال دو با و ساختيم مرتبط ديگر هايروش به را افزايشي هايمدل اين است. ما-روش خاص نظارت( مزاياي بي يادگيري از ديگري و نظارت با يادگيري از )يکيداديم. نشان را افزايشي هاي

از: عبارتند خالصه بطور مزايا اين

58

توان مي طريق اين به که مسئله به وابسته خطاي معيار از استفاده امکان باشد(. الزم درج گاه )هر کرد معين را جديد واحدهاي موقعيت

فازهاي است، شده استفاده ثابت پارامترهاي از هامدل اين در که آنجا از روال قطع امکان لذا ندارد وجود خودساماندهي روال در متفاوتي

شده متوقف قبال که خودساماندهي روال يک ادامه يا و خودساماندهيدارد. وجود است،

روال شروع از پيش شبکه اندازه شوند: تعيين تعيين بايستي کمتري اعداد بصورت کارايي معيار يک بوسيله آنرا توانمي اما نيست الزم خودساماندهي

و نهايي اوليه، مقدار تعيين به نيازي پارامتر هر کرد. براي تعيين غيرمستقيمشود. تعيين بايستي آن مقدار تنها بلکه باشدنمي زمان با آن تغيير تابع

59

مراجع

[1] Hartmut S. Loos, and Bernd Fritzke, “DemoGNG v1.5” Software Package, cooperating: I.) Systems Biophysics, Institute for Neural Computation, Ruhr-Universität Bochum and II.) Neural Computation Group, Artifical Intelligence Institute, Computer Science Department, Technical University Dresden Germany

[2] Y. Linde, A. Buzo, and R. M. Gray, “An Algorithm For Vector Quantizer Design,” IEEE Transaction on Communication, Vol. COMM-28(1), pp. 86-95, Jan 1980.

[3] M. Martinetz, and K. J. Schulten, “A Neural Gas Network Learns Topologies,” Artificial Neural Networks, pp 397-402. North Holland, Amsterdam, 1991.

[4] T. M. Martinetz, “Competitive Hebbian Learning Rule Forms Perfectly Topology Preserving Maps,” In ICANN'93: International Conference on Artificial Neural Networks, pp 427-434, Amsterdam, 1993, Springer.

[5] B. Fritzke, “A Growing Neural Gas Network Learns Topologies,” Advances in Neural Information Processing Systems 7, pp 625-632, MIT Press, Cambridge MA, 1995.

[6] T. Kohonen, “Self-Organized Formation of Topologically Correct Feature Maps,” Biological Cybernetics, Vol. 43, pp. 59-69, 1982.

[7] B. Fritzke, “Growing Cell Structures – A Self-Organizing Network for Unsupervised and Supervised Learning,” Neural Newtorks 7(9), pp 1441-1460, 1994.

[8] L. D. Alahakoon, S. K. Halgamuge, and B. Srinivasan, “A Self-Generating Neural Network for Data Analysis,” IJCNN'1999, International Joint Conference on Neural Networks, IEEE

[9] H. U. Bauer, and Th. Villmann, “The GSOM-Algorithm for Hypercubical Output Spaces in Self-Organizing Maps,” Tr-95-030, International Computer Science Institute, Berkeley, 1995.

[10] B. Fritzke, “Growing Self-Organizing Networks - Why?,” ESANN'96, European Symposium on Artificial Neural Networks, D-Facto Publishers, Brussels, pp. 61-72, 1996.

60