المحاضرة 9 شبكات عصبية

الشبكات العصبيـــــــــــــةNeural Networks

) آلي ) حاسب الرابعة الفرقة

المقرر أستاذبحيري/ محمد جمال د

المحاضرة التاسعــــة

ترابـــــــــــــــط العينــــــــــــــة

Pattern Association

شبكة هوب فيلد المتقطعة (Discrete Hopfield Net)

الشبكات المتقطعة تتشابه مع شبكة الترابط •الذاتي التكرارية.

شبكة هوب فيلد هي شبكة عصبية متصلة •.% فيما بينها داخليا

كل وحدة في الشبكة ترتبط مع جميع •الوحدات األخرى.

تستخدم هذه الشبكة مصفوفة أوزان •متناظرة. و بدون وصالت ذاتية كما بالعالقة:-

wij = wji & wii = 0

شبكة هوب فيلد المتقطعة (Discrete Hopfield Net)

شبكة هوب فيلد تختلف عن شبكات الترابط •التكرارية بشيئين هما:

تقوم وحدة واحدة بتحسين تنشيطاتها في لحظة معينة 1.)معتمدة على االشارة المستقبلة من كل وحدة أخرى(

كل وحدة تستمر في استقبال اإلشارة الخارجية، 2.باالضافة إلى االشارة القادمة من وحدات أخرى في

الشبكة.تابع باستخدام يسمح المتزامن غير التحديث مبدأ ستخدام إن . و ليابونوف تابع أو الطاقة تابع باسم يعرف خاص تفعيل

تنشيطها يقارب و الشبكة قدرة من يحسن استخدامه.) مستقرة ) ثابتة مجموعة إلى

البنية الهندسيــــــــــــــــــةلشبكة هوب فيلد المتقطعة

Y1 Y2 Yi Yn

w12 w1i w1n

w2i w2nw21

wn1

wi2 win

wni

wn2

الخوارزميــــــــــــــــــــــــة. فيلد هوب شبكات من العديد يوجد

الثنائية العينات من مجموعة ,s)p(, p = 1, 2لتخزين…,p-: يلي كما

األوزان مصفوفة نستخدم :W={wij}فإننا العالقة وفق

تستخدم • كي بسهولة فيلد هوب شبكة تعديل ممكن. القطبية ثنائي فيلد هوب شبكات في

ps,,ps,,psps ni1

0w,ij:1ps.2.1ps.2w iiP

1pjiij

الخوارزميــــــــــــــــــــــــةاستخدمت فقد فيلد هوب لشبكات الثاني الشكل أما

البنسبة و الدخل أشعة لتمثيل القطبية ثنائي التمثيلالدخل عينات لتخزين المستخدمة األوزان لمصفوفة

S)p(:

: بالشكل تعرف فإنها

ps,,ps,,psps ni1

0w&ji:ps.psw iiP

1pjiij

شبكة أجل من التطبيق خوارزميةالنتقطعة فيلد هوب

لتخزين ) 1. هيب قاعدة باستخدام األوزان تهيئةنفذ( تتقارب لم الشبكة تفعيالت طالما ، العينات

من 8→2الخطوات

من 2. الخطوات نفذ اختبار شعاع كل أجل من3→7.

الشعاع 3. تفعيالت )X )yi=xi, i=1,…,nضع

من 4. الخطوات وحدة 7→5نفذ كل أجل yiمن

.5: بالعالقة الخرج وحدة دخل احسبj

jijii w.yxin_y

هوب شبكة أجل من التطبيق خوارزميةالنتقطعة فيلد

.6: بالعالقة الخرج وحدات تنشيط احسب

القيمة 7. .yiوزع األخرى الوحدات جميع إلى

.8. التقارب عملية أختبر: الحظ

.I الصفر يساوي عادة% العتبة جهد.II عشوائي بشكل يتم الوحدات تحديث.III التحويل معدل بنفس hحدث ت أن يجب وحدة كل

ii

iii

ii

i

in_yif0

in_yify

in_yif1

y

فيلد: هوب شبكة اختبار مثالفي خطأين بإحداث المتقطعة

شعاع من الثاني و األول المكونمحزن الشعاع • لدينا أن في (1,1,1,0)لنفرض خطأين بإحداث و

الشعاع لدينا ينتج الشعاع .(0,0,1,0)مكونات

ألشعة • الثنائي التمثيل تستخدم فيلد هوب شبكة من بالرغم. القطبية ثنائي بشكل ممثلة األوزان مصفوفة أن إال دخلها،

تتم • لألشعة التشيطات تحسين أن نفترض سوف. عشوائي بشكل

• : التنشيط ترتيب يكون سوف هذا مثالنا ,Y1ففيY4, Y3, Y2

•-: يلي كما السابقة الخوارزمية خطوات تسلسل نتبع سوف


شعاع من الثاني و األول المكونمحزن

.1: بالشكل كما العينات لتخزين األوزان تهيئة

الدخل 2. شعاع الخطوات )x = )0,0,1,0نقدم ننفذ والتالية:

)Y = )0,0,1,0نجعل 3.

الوحدة 4. لتحسين Y1نختار لك و عشوائي بشكلتنشيطها.

0111

1011

1101

1110

w



.5 : الخرج وحدة احسب

.6 : الخرج تنشيط y_in1 > 0 →y1 = 1احسب

على Yبعد التحديـــــــــث تصبح 7.الصورة:

Y = )1, 0, 1, 0( لتحديث Y4: نختار الوحدة 4األن نكرر الخطوة

تنشيطها بشكل عشوائي

101000

w.yw.yw.yw.yxw.yxin_yj

41431321211111jj11




.6 : الخرج تنشيط y_in4 < 0 →y4 = 0احسب




201010


44434324214144jj44








200011


43433323213133jj33






Y = )1, 1, 1, 0(اختبر الشبكة من أجل تحقق التقارب أم ال.8.

201010


42432322212122jj22

التحليــــــــــــــــــــــــــــــــلالطاقة (Energy Function)تابع

بتابع • الطاقة تابع يلد هوب العالم استبدل لقد ” “ تابع ” أو الطاقة تابع يدعى جديد تنشيط

ليبانوف“.حدود • فوق متزايد غير و محدود التابع هذا

النظام.العصبية • الشبكات في التابع هذا استخدام يتم

إلى التقارب من الشبكة تتمكن كي التكرارية. التشيطات من مستقرة مجموعة

•: الصورة على الطاقة تابع i

iiji i

iij

ijji yyxwyyE 5.0


بمقدار • الشبكة فعالية تغير حال تابع Δyiفي فإن: بمقدار سيتحول الشبكة

واحدة • لوحدة يمكن أنه على تدل العالقة هذه. اللحظة نفس في تنشيطاتها تحدث أن فقط

فعالية • فيهما تتغير فقط حالتين نناقش سوف :-Δyiبمقدار yالعصبون

j ij i i ij

E y w x . y


العصبون • فعالية فيهما تتغير فقط حالتين نناقش سوفy بمقدارΔyi-:

كانت • . ”yiإذا قيمة إلى سيتحول التغير فإن إذا“ 0موجبةكان:

للوحدة • % سالبا % تغيرا يعطي في yiوهذا التغير هذا يكون و : بالشكل الطاقة ΔE<0تابع

كانت • . yiإذا ستتحول التنشيط قيمة فإن الصفر تساوي: حيث موجبة قيمة إلى

للوحدة • % موجبا % تغيرا يعطي في yiوهذا التغير هذا يكون و : بالشكل الطاقة ΔE>0تابع

ij

jiji wyx

ij

jiji wyx


الخالصــــــــــةفي • التغير أن نقول أن نستطيع سبق يأخذ Δyمما

. سالبة لها الكمية نفس كانت إذا سالبة قيمة• ، تتزايد أن يمكن ال الطاقة تابع قيمة أن نقول بهذا

ستصل الشبكة فإن ، محدود الطاقة تابع بماأن وتغير يحصل ال عندها حيث مستقرة توازن حالة إلى

. تكرارات عدة حدثت لو حتى بالطاقة

ذاكرة الترابط ثنائية االتجاهBidirectional Associative Memory )BAM(

شبكات )• التخالفي( BAMان الترابط شبكات أوالمترابطة العينات من مجموعة تخزن التكرارية

االرتباط مصفوفات جمع عن ناتجة مصفوفة بواسطةالمصفوفة ) القطبية لكل n× mالثنائية الخاريجي للجداء

تخزينها (. يراد عينة• ، طبقتين من الشبكة لهذه الهندسية البنية وتتألف

. وتعد االتجاه ثنائية ربط بمسارات بعضها مع هذه ترتبطو ) خلفا باتجاهين اشارتها ،ترسل تكرارية شبكة الشبكة

العملية اماما( بتكرار وتستمر الشبكة، طبقتي بينتوازن حالة الى الشبكة عصبونات جميع تصل حتى

عدة) : أجل من ثابتة عصبون كل فعالية تبقي أيخطوات (.

ذاكرة الترابط ثنائية االتجاهBidirectional Associative Memory )BAM(

من • لها مقدم دخل الي تستجب أن الشبكات لهذه يمكنالخوارزمية ،وفي االتجاه ثنائية االوزان الن ، طبقة أجل

طبقة الي التحديث تبادل بامكاننا فانه ، التاليةبالرمز )• للطبقات نشير بدال( y-Layer, x-Layerسوف

. خرج أو دخل كطبقات تسميتها منشبكات • من أنواع ثالث هي:BAMوتوجد

.1 BAM % ثنائيا الشفرة

.2 BAM القطبية ثنائية

.3 BAMالمستمرةتأخذ • المعمارية بنيتها فان الشبكات هذه لجميع وبالنسبة

في االختالف ولكن التالي الشكل في الموضح الشكلاالشعة تمثيل أسلوب

البنيــــــة الهندسية

Y1 Yj Ym

X1 Xi Xn

w11 w1iw1n wj1 wji wjn wm1

wmi

wmn

الهندسية البنيــــــة

الشبكات • عكسية BAMتتميز تغذية شبكات بأنهاو للعنونة قابلة محتوى ذاكرة ذات و خطية غير

من -× فيها الطبقة تتكون و ، تخالفي ترابط ذاتn– والطبقة ، وتتميزخطوط mمن yوحدة ، وحدة

االتجاه ثنائية بأنها الطبقات بين االتصالالطبقة • من االشارات أرسلت اذا ترمز x→yأي

بالشكل الوزن أرسلت ،wمصفوفة اذا والطبقة من مصفوفة y→x االشارات ترمز

بالشكل .wTالوزن

الخوارزميـــــــــــــــــــــةمتكافئين: المتقطعة BAMشبكة 1. شكلين يوجد

ثنائي ) أو ثنائي بشكل وحداتها تنشيط لتمثيلبواسطة(. األوزان حساب يتم سوف القطبية

القطبية ثنائية للصيغة الخارجية الجداءات مجموع. التدريب شعاع ألزواج

.2: األوزان المستخدمة توضع األوزان مصفوفة إن : الخرج و الدخل أشعة أزواج ,)s)p(: t)pلتخزين

p=1, …,P : حيثs)p( = )s1)p(, s2)p(, …, sn)p(( كذلك المصفوفة ))t)p( = )t1)p(, t2)p(, …, tn)pو و

الممثلة و الدخل أشعة لتخزين المستخدمة : بالعالقة تعطى الثنائي بالشكل

p

jiij 1pt2.1ps2w

الخوارزميـــــــــــــــــــــة

ثنائي 2. بالشكل ممثلة دخل أشعة أجل من أما : بالعالقة تعطى القطبية

.3 : شبكات أجل من يستخدم التنشيط BAMتوابعمعتمدين تنشيط، كتابع الخطوة تابع المتقطعة

. الدخل أشعة تمثيل شكل على تمثيله في: k ثنائيا ممثلة دخل أشعة أجل تابع من يكون

أجل من :-yالطبقة-التنشيط يلي كما

p

jiij pt.psw

0in_yif0

0in_yify

0in_yif1

y

j

jj

j

j


: k ثنائيا ممثلة دخل أشعة أجل يكون منأجل من التنشيط كما xالطبقة-تابع

يلي:-

0in_xif0

0in_xifx

0in_xif1

x

i

ii

i

i


ثنائي بالشكل ممثلة دخل أشعة أجل منأجل القطبية : من التنشيط تابع يكون

:-yالطبقة- يلي كما

ثنائي بالشكل ممثلة دخل أشعة أجل منأجل القطبية : من التنشيط تابع يكون

:-xالطبقة- يلي كما

i

ii

ii

i

in_xif1

in_xifx

in_xif1

x

jj

jjj

jj

j

in_yif1

in_yify

in_yif1

y

كيف يتم التطبيق؟القادمة • اإلشارة أجل من الطريقة هذه تصميم تم لقد

- الطبقة -xمن الطبقة دخل yإلى شعاع أجل من و-xللطبقة- للطبقة الدخل اشارة فإن الصفر، يساوي

y. التنشيط تابع بتطبيق تتغير لن سوفإرسال • حال في مشابهة التدريب مرحلة ستكون و

الطبقة من .y→xاإلشارةالخوارزمية

من 1. مكونة مجموعة لتخزين األوزون و pتهيئة شعاع؛. للتنشيطات صفرية قيم اعطاء كذلك و صفرية بقيم

الخطوات 2. نفذ اختبار دخل كل أجل 8→3من

كيف يتم التطبيق؟العينة 3. .x قدم الدخل طبقة تنشيطات) الى ضع أي

(.x الطبقة- الحالي الدخل لعينة مطابقةالدخل 4. عينة قيم) y للطبقة-y قدم تكون ان ويمكن

صفرية(.الخطوات 5. نفذ متقاربة غير التنشيطات ان طالما

6→8.6- الطبقة في الوحدات تنشيطات دخل y حسن واحسب

: yالطبقة-

:) ( تنشيطات تفعيالت واحسب yj = f)y_inj(

- للطبقة األشارة ارسل ثم .xومن

i

ijij w.xin_y

كيف يتم التطبيق؟.7- الطبقة وحدات تنشيطات دخل x حسن واحسب

x:الطبقة-

: بالشكل الخرج تنشيط )xi = f)x_ini واحسب

- للطبقة األشارة ارسل ثم .yومن

.8 . التقارب عملية حدوث أجل من الشبكة اختبراألشعة تنشيطات وصلت عندئذ y؛xاذا توازن؛ حالة إلى

. السابقة الخطوات أعادة في استمر وإال توقف

i

Tijii w.yin_x

BAM)كيفية استخدام (الخالصة

لحساب • الخارجي الجداء :-yنستخدم هكذا X.W = )y_in1, y_in2( →)y1, y2(

• ) من ) االشارة شعاع إرسال يتم فتكون Y→Xثم ) مدور ) منقول هي الجديدة األوزان مصفوفة

W.

)y1, y2(.WT = )x_in1, …, x_inn(→) الشعاع)المطلوب

شبكة: األحرف BAM مثال لربطالقطبية ثنائي التشفير باستخدام

من • مكونين حرفين نستخدم نقطة 15سوف: يلي كما ثنائي ترميز إلى

1,11,1

###

..#

..#

..#

###

#.#

#.#

###

#.#

.#.


•: بالشكل للتخزين األوزان مصفوفة عن نعبر

20

02

02

02

20

20

02

02

20

02

20

20

02

20

20

11

11

11

11

11

11

11

11

11

11

11

11

11

11

11

11

11

11

11

11

11

11

11

11

11

11

11

11

11

11

C,Asample11Csample11Asample


الدخل • :Aعينة

)-11-11-111111-111-11(.W=)-14,16(→)-1,1(الدخل • :Cعينة

)-1111-1-11-1-11-1-1-111(.W=)14,18(→)1,1(في االتجاة ثنائية العصبية الشبكة أسلوب شاهد اآلن

. األشعة على تدربهاالشعاع .Yنراقب كمدخل يستخدم أن يمكن الذي

من األشارة إرسال أجل مصفوفة Y→Xمن تكونقول من هي الجديدة الشكل Wاألوزان على لتصبح

التالي:

200022002022022

022200220200200WT


بالعينة • المتعلقة الدخل شعاع أجل )A→)-1, 1منيكون:

= )-2 2 -2 2 -2 2 2 2 2 2 -2 2 2 -2 2(= )-1 1 -1 1 -1 1 1 1 1 1 -1 1 1 -1 1(

العينة هي هذه Aو

بالعينة • المتعلق الدخل شعاع :)C→)1, 1بالمثل يكون )1,1(.WT = )-2 2 2 2 -2 -2 2 -2 -2 2 -2 -2 -2 2 2( = )-1 1 1 1 -1 -1 1 -1 -1 1 -1 -1 -1 1 1(

العينة هي Cوهذه

200022002022022

022200220200200.1,1W.1,1 T

المثال الموجود بالكتاب صفحة 175

واجـــــــــــــــــــــــــــــــــــــب

الحمد لله رب العالمين

نهاية الفصل الثالث

الفصل الرابــــــــــــــع

الشبكات العصبية المبنية على التنافس

Neural Networks Based on Competition

الشبكات العصبية المبنية على التنافسو • القرار اتحاذ في قوة أكثر الشبكات من النوع هذا يكون

خرج بوحدة محددة االستجابة ستكون ذلك أساس على. فقط واحدة

مجموعة • بين التنافس لمفهوم % انتشارا األكثر الشكلشئ ) : كل يأخذ الرابح باسم يعرف Winner Takeعصبونات

All)من • فقط % واحدا عصبونا أن نتصور أن يمكن االقتراح هذا من

عند صفرية غير استجابة سيملك المتنافسة المجموعة. التنافس عملية اكتمال

باسم • تدعى االقتراح هذا على % اعتمادا صممت التي الشبكةMAXNET

يكون • فيها و المكسيكية القبعة باسم تعرف شبكة هناكأطراف في ينعدم و الشبكة مركز في أشدة على التنافس

الشبكة.

شبكات التنافس ذات األوزان الثابتة

فكرة • العصبية الشبكات من العديد تستخدمالتباين لتحسين ذلك و العصبونات بين التنافس

. األعصاب تنشيطات فيالرابح ) - • مبدأ اعتماد يتم األحيان معظم في

) قيمة - ذو للعصبون يسمح حيث الكل يأحذحالة في يكون بأن العظمى .onالتنشيط

MAXNETشبكة

•. التنافس مبدأ على تعتمد الشبكة هذهالعقدة • الختيار فرعية كشبكة تستخدم أن يمكن

. األكبر الدخل تمتلك التيبالرمز • الممثلة الشبكة كاملة mعقد عقد هي

الترابطات.يوجد • ال و متناظرة أوزان الشبكة هذه تستخدم

لشبكة تدريب .MAXNETخوارزميةخطوات • تسلسل يبين تطبيقي إجراء يوجد لكن

: المرحلة هذه في التعلم

MAXNETالبنية الهندسية لشبكة

A1

Aj

Am

Ai

-Є

-Є

-Є -Є

-Є

-Є

1

11

1

تطبيــــــــــــــــق

شبكة • في التفعيل تابع الشكل MAXNETيأخذالتالي:

•-: الشبكة لهذه التطبيق طريقة يلي فيمااجعل 1. األوزان و التنشيطات تهيئةالعقدة )aj)0و : Ajدخل

otherwise0

oxifxxf

m

10

jiif

jiif1w ij

تطبيــــــــــــــــقمن 2. الحطوات نفذ يتحقق، لم التوقف شرط أن طالما

3→5

.3: بالشكل العقد كل تنشيطات حدث

.4: القادم التكرار في الستخدامها التنشيطات خزن aj)old( = aj)new( ; j =1,...,m

.5. التوقف شرط اختبر

صفري، غير تنشيط عقدة من أكثر امتالك حال في. توقف إال و التعلم في استمر

الخطوة: ) في التابع( 3الحظ دخل الدخل (f)أن هوللعقدة فيها Ajالكلي بما العقد، جميع من ،Aj.

m,....,1j,olda.oldafnewajkkjj

MAXNETمثال: استخدام شبكة شبكة • لدينا أن وقيم MAXNETلنفرض عصبونات، بأربع

ثابتة و تنشيطات هذة العصبونات :(ɛ=-0.2)أوزان a1)0(=0.2, a2)0(=0.4, a3)0(=0.6, a4)0(=0.8

قيم تكون تكرارات عدة وفق الشبكة تدريب نتيجة: يلي كما التنشيطات

01a0xf

16.0f36.02.0f8.12.02.0f

8.06.04.02.02.0f

0a0a0a2.00af1a

1

43211

MAXNETمثال: استخدام شبكة

32.01a0xf

32.0f28.06.0f4.12.06.0f

8.04.02.02.06.0f

0a0a0a2.00af1a

3

42133

08.01a0xf

08.0f32.04.0f6.12.04.0f

8.06.02.02.04.0f

0a0a0a2.00af1a

2

43122

MAXNETمثال: استخدام شبكة

0.02a0xf

192.0f192.00.0f96.02.00.0f

56.032.008.02.00.0f

1a1a1a2.01af2a

1

43211

56.01a0xf

56.0f24.08.0f2.12.08.0f

6.04.02.02.08.0f

0a0a0a2.00af1a

4

32144

الجدول الذي كل الحسابات

a1)1( = 0.0 a2)1( = .08 a3)1( = 0.32 a4)1( = 0.56

a1)2( = 0.0 a2)2( = 0.0 a3)2( = 0.192 a4)2( =0.48

a1)3( = 0.0 a2)3( = 0.0 a3)3( = 0.096 a4)3( =0.442

a1)4( = 0.0 a2)4( = 0.0 a3)4( = 0.008 a4)4( =0.422

a1)5( = 0.0 a2)5( = 0.0 a3)5( = 0.0 a4)5( =0.421

الحـــــــــــــــــــــــــظ

تكرارات عدد توليد من الرغم علىللشبكة، مختلفة تنشيطات وفق

إال بتخزين يسمح ال أنه إالالخطوة عن الناتجة التنشيطات

في موضح هو كما األخير،الخوارزمية

تمت بحمد الله تعالى و فضله

Documents

المحاضرة 9 شبكات عصبية