المحاضرة 7 شبكات عصبية

الشبكات العصبيـــــــــــــةNeural Networks

) آلي ) حاسب الرابعة الفرقة

المقرر أستاذبحيري/ محمد جمال د

المحاضرة السابعـــــــــــة

ترابـــــــــــــــط العينــــــــــــــة

Pattern Association

ترابط العينةPattern Association

التابعة التعلم:• العينات بين ترابطات تشكيل عملية هو. واحد لصنف

ربط • على تعمل االنسان ذاكرة أن أرسطو الحظ لقد : و ) األفكار مثال بعضها مع المتشابهة العناصر

تحدث( التي لتلك معاكسة تكون قد التي و األحاسيس . التعلم مرحلة خالل النجاح أو التقارب من @ شيئا

تابعة • ما بعالقات ببعضها المشتركة العينات تكون قد : العشب ) رائحة مثال له @ قريبا @ نموذجا أو الصنف لنفسشعور أو صورة مع تتشارك أن يمكن @ حاليا المحصود

ما(.


) مسألة ) يعتبر العينات من مجموعة أو عينة إستذكار إن. تلقائي ترابط

التي مثال:- الموسيقى، قراءة تعلمنا قد أننا نفرضالنوتة أو المطبوعة، النوتة من القراءة مع تترابط

مع أو ، الموسيقية اآللة مفاتيح لوحة على الموجودة. الموسيقية اآللة أصابع

التي- الموسيقية للنوتة الشكل نفس نرى ألن نحتاج لن V إذاالصحيح الترابط على نحصل لكي باألصل منها تعلمنا

قادرة ستكون فإنها نوتات عدة النوتة كانت إذا ، للعينات ) نوتات ) عدة على الحصول إجل من التنبؤ التخمين على

) أجل ) من التنبؤ التخمين على قادرة ستكون فإنها. جديدة نوتة أجل من جيدة استجابة على الحصول


•: أخر من ) مثال إما شخص تمييز على القدرة ) عن @ جيدا تعبيرا صورة خالل من أو أخر شخص. الجديدة الحاالت لتمثيل البشرية الذاكرة سعة

التقليدية • الحاسب لبرامج بالنسبة المهمة هذه. @ جدا صعبة

المهمة • تكون االصطناعية العصبية الشبكات معسهلة.

البسيطة • العصبية الشبكات لبعض نتطرق سوفالمسائل لحل تتعلم أن يمكن التي و @ نسبيا

. العينات ترابط أو بتشارك المتعلقة


أحد • التشاركية الذاكرة ذات العصبية الشبكات تعتبرحل في تفيد التي العصبية الشبكات أنواع أهم

استرجاع و تخزين من الكمبيوتر هندسة مشاكلعلى االعتماد بدون الترابط على المعتمدة للمعطيات

. التخزين عنوانالعصبية • الشبكة في المعلومات تخزين يتم حيث

مبدأ على باالعتماد النظام في موزعة بطريقةاألوزان.

وحيدة • شبكات هي التشاركية الذاكرة شبكاتعليها تعتمد محددة أوزان على تعتمد و ، الطبقة

. للعينة االرتباطات مجموعة لتخزين الشبكة


الخرج • و الدخل أشعة من بزوج ترابط كل يعبر(s : t)

•: الربط ذواكر من نوعين يوجدالشعاع 1. لدينا كان للشعاع (t)إذا (s)مطابق

) هذه ) نسمي عندئذ به المقترنة المترابطة. الذاتية االقتران ذاكرة ذات بالشبكة الشبكة

األزواج 2. كانت إذا الزوج (s : t)أما عن s)مختلفة: s) بسم الشبكات هذه مثل تدعى عندئذ

. التخالفي االقتران ذاكرة الذاكرة شبكات


الحالتين • من حالة أي فيالسابقتين:

أزواج على فقط تتعلم لن الشبكة إنبل المحددة، التدريب عينات

الصحيح الخرج تعطي أن بإمكانهادخل منبة تقديم تم لو و حتى

الذي للدخل مطابق غير أو مطابق. الشبكة عليه تدربت

خوارزميات تدريب لترابط العينة

Training Algorithms for Pattern Association

قاعدة هيب من أجل ترابط العينةHebb Rule for Pattern Association

هذه الطريقة هي األسهل و األكثر •شيوعا في تحديد قيم األوزان من أجل

الشبكات العصبية ذات الذاكرة التشاركية.

هذه الطريقة شبية جدا بالطريقة التي •قدمناها قبل ذلك و لكنها موسعة عن

الخوارزمية السابقة.سوف نستخدم الجداءات الخارجية •

لألشعة لتحديد قيم األوزان.

(Algorithm)الخوارزمية

صفرية 1. بقيم األوزان (wij=0)هيئ(i=1,2,…,n( ,)j=1,2,…,m)حيث: ، nحيث: الدخل وحدات وحدات mعدد عدد

الخرج.التدريب 2. أشعة من زوج كل أجل من

: ) خرج ) : من ( s : t)دخل الخطوات 5→3نفذالتدريب • دخل إلى الدخل وحدات تنشيطات ضع

بالشكل: I = 1,2,…,nحيث (xi = si)الحاليالخرج • إلى الخرج وحدات تنشيطات ضع

بالشكل: j = 1,2,…,mحيث (yj = tj)الفعلي

(Algorithm)الخوارزمية

.5: العالقة وفق األوزان عدلWij)new( = wij)old( + xi.yj

(i=1,2,…,n( ,)j=1,2,…,m)حيث:

هيب قاعدة مع شاء إن أخرى مرة عودة لنا

Outer)الجداءات الخارجية Products)

هيب • قاعدة باستخدام األوزان ايجاد يمكن.) صفرية) بأوزان نبدأ

من • الخارجي الجداء وفق أيضا إيجاده يمكن.) خرج ) : دخل أشعة من أزواج أجل

•: شعاعين من الخارجي الجداء يتكون.1 : الدخل )s = )s1, s2, …, si, …, snشعاع

.2: الخرج )t = )t1, t2, …, tj, … tm شعاع


• : مصفوفات هيئة على الخرج و الدخل أشعة مثلنا لوبالشكل الدخل مصفوفة تمثل سطر (n x 1)حيث

لـ .S=STبالنسبة

بالشكل الخرج أشعة تمثل بوفق (x m 1)و عمود:-T = tالمصفوفة بالتالي و

mnjn1n

miji1i

m1j111

mj1

n

i

1

t.st.st.s

t.st.st.s

t.st.st.s

ttt.

s

s

s

T.S


الترابط • تخزين على يعمل المصفوفات استخدام إن(s : t). هيب لقاعدة بالنسبة

الترابطات من مجموعة ,s)p( : t)p(, p = 1, 2لتخزين…,p : حيث

األوزان • مصفوفة المجموعات هذه أجل من تكون وw= {wij}: بالعالقة

و هذا يسمى الجداء الخارجي للمصفوفات المطلوبة•

pt,,pt,,ptpt

and

ps,,ps,,psps

mj1

ni1

P

1pjiij pt.psw

Original Delta Rule

األصلية دلتا قاعدةالمخارج • ذات الشبكات في دلتا قاعدة تستخدم

المتعددة.الخرج • لوحدات تفعيل تابع دلتا قاعدة تستخدم

بين الفرق مربع تصغير مهمته واحدي، تابع هو. خرجها و الشبكة دخل

•-: العالقة نستخدم الشبكة خرج لحساب•-: في األوزان لتحديث المستخدمة العالقة أما

ij

. ; 1,..., ; 1,...,

the change of weights are:

w . .

ij ij j j i

j j i

w new w old t y x i n j m

and

t y x

i

ijij w.xy

Extended Delta Rule

الموسعة األصلية دلتا قاعدةوحدة • إلى الدخل من الوزن تحسين أو تطوير إن

-: التالية بالعالقة يعطى الخرج jijjij in_yf.x.yt.w

التخالفي الترابط ذات العصبية الشبكاتHetero Associative Memory Neural Networks

الذاكرة • ذات العصبية الشبكات مميزاتالتشاركية:-

األوزان 1. تحديد على القدرة

تخزين 2. على العينات (p)القدرة من مجموعةبالزوج ترابط كل عن يعبر و بعضها مع المترابطة

s)p(, t)p( حيثP=1,…,pشعاع- كل أن من ))s)pبفرض (nمكون مدخل –

شعاع- كل من ))t)pبفرض (mمكون مدخل – قاعدة- استخدام يمكن الشبكات من النوع هذا مع

. التعلم في دلتا قاعدة ستخدام أو التعلم في هيبانظر البنية الهندسية بالشكل التالي.1.

لذاكرة لشبكات الهندسية البنيةالتخالفي الترابط

X1

Xn

Xi

Ym

Yj

Y1

W1,1

W1,j

Wi,1

Wi,j

Wn,1

Wi,mWn,j

Wn,m

W1,m

( Procedure)طريقة التطبيق

قاعدة 1. أو قيب قاعدة باستخدام إما األوزان تهيئةدلتا.

.2 ) الخطوات ) نفذ بالجدول صف شعاع كل أجل من3→5.

لقيمة 3. مساوية الدخل طبقة وحدات تنشيطات ضعالحالي الدخل .Xiشعاع

بالعالقة : 4. الخرج وحدة دخل احسب

.5: بالعالقة الخرج وحدات تنشيطات حدد

iji

ij w.xin_y

0in_yif1

0in_yif0

0in_yif1

y

j

j

j

j

( Procedure)طريقة التطبيق

الخطوة القطبية ) :5تابع ثنائي التمثيل أجل منللخرج(

من • يكون الثنائي بالشكل ممثل خرج أجل من-: العالقة وفق تنشيط تابع استخدام المناسب

على • المعتمد التنشيط تابع استخدام حال في أماذاكرة ذات الشبكات في المستخدم و العتبة جهد

االتجاه ثنائية الشبكات (BAM)التشارك أجل من و-: بالعالقة عنها فيعبر التكرارية

0xif0

0xif1xf

jj

jjj

jj

j

in_yif1

in_yify

in_yif1

y

بسيطة أمثلةتخالفي ترابط ذاكرة ذات عصبية شبكة تدريب

هيب قاعدة باستخداملنفترض أن الشبكة قد تدربت •

لتخزين الجدول التالي من أزواج ,s)s1, s2, s3أشعة الدخل و الخرج

s4( : t)t1, t2(:

انظر الجدول التالي:•

بسيطة أمثلةتخالفي ترابط ذاكرة ذات عصبية شبكة تدريب

هيب قاعدة باستخدامS1 S2 S3 S4 t1 t2

1st )1, 0, 0, 0( 1st )1, 0(

2nd )1, 1, 0, 0( 2nd )1, 0(

3rd )0, 0, 0, 1( 3rd )0, 1(

4th )0, 0, 1, 1( 4th )0, 1(

بسيطة أمثلةتدريب شبكة عصبية ذات ذاكرة ترابط تخالفي باستخدام قاعدة

هيبشكل • على @ اعتمادا المسألة هذه اعتبار يمكن

. العينات تصنيف مسألة خرجهاقاعدة • على الشبكة هذه تدريب في نعتمد سوف

هيب.•-: بالعالقة األوزان حساب يتم سوف

jiij

jiijij

t.sw:where

t.soldwneww

مثال لشبكة الترابط التخالفي

X1

X2

X3

X4

Y1

Y2

w11

w12

w21

w31

w22

w41

w32

w42

التدريــــــــــــــــب

•. هيب لخوارزمية طبقاعملية • من خطوة كل في األوزان فقط نظهر سوف

. ألخرى خطوة من تتغير التي المعالجةالخطوات:-•

صفرية 1. بقيم األوزان تهيئة

.2 : األول التدريب زوج أجل )s:t )1, 0, 0, 0(: )1, 0من

.3X1 = 1, x2 = x3 = x4 = 0

.4 y1 = 1 and y2 = 0

.5W11)new( = w11)old( + x1.y1 = 0 + 1 = 1

التدريــــــــــــــــب

•) صفر) جميعها األوزان باقي•: أن ذلك معن

00

00

00

01

w

التدريــــــــــــــــب.2 : الثاني التدريب زوج أجل )s:t )1, 1, 0, 0(: )1, 0من

.3X1 = 1, x2 =1, x3 = x4 = 0

.4 y1 = 1 and y2 = 0

.5W11)new( = w11)old( + x1.y1 = 0 + 1 = 1

W21)new( = w21)old( + x2.y1 = 0 + 1 = 1

•: .) أن) ذلك معن صفر جميعها األوزان باقي

00

00

01

01

w

التدريــــــــــــــــب.2 : الثالث التدريب زوج أجل )s:t )0, 0, 0, 1(: )0, 1من

.3X4 = 1, x1= x2 = x3 = 0

.4 y1 = 0 and y2 = 1

.5W42)new( = w42)old( + x4.y2 = 0 + 1 = 1

: .) أن) ذلك معن صفر جميعها األوزان باقي

10

00

00

00

w

التدريــــــــــــــــب.2 : الرابع التدريب زوج أجل )s:t )0, 0, 1, 1(: )0, 1من

.3X3 = x4=1, x1 = x2 = 0

.4 y1 = 0 and y2 = 1

.5W32)new( = w32)old( + x3.y2 = 0 + 1 = 1

W42)new( = w42)old( + x4.y2 = 0 + 1 = 1

: .) أن) ذلك معن صفر جميعها األوزان باقي

10

10

00

00

w

التدريــــــــــــــــبأزواج 2. عن المعبرة الكلية األوزان مصفوفة تكون و

و السابقة المصفوفات جمع ناتج هي األربعة العينة-: التالي الشكل على تكون التي

20

10

01

02

W

10

10

00

00

10

00

00

00

00

00

01

01

00

00

00

01

W

تدريب الشبكة ذات ذاكرة الترابط التخالفي باستخدام قاعدة هيب و باستخدام الجداءات الخارجية

و • النتائج نفس على نحصل سوف بالمالحظةمن أسهل يكون أن ممكن أخر باسلوب لكن

. السابق االسلوبالدخل • شعاع عن نعبر سوف الطريقة هذه في

من المكونة المصفوفة .(n x 1)وفق سطر المصفوفة • وفق الخرج شعاع عن نعبر سوف و

من .(x m 1)المكونة عمود • ) جداء ) ضرب هي األوزان مصفوفة تكون و

. المصفوفتين هاتين

تابع التدريـــــــــب•: األول الخرج و الدخل شعاع اآلن لنأخذ

)1,0,0,0( & )1,0(•-: يلي كما الوزن مصفوفة حساب يكون و

W = ST.t

الدحل شعاع عن المعبرة الوزن مصفوفة هي و. تخزينها يتم أن يجب التي و األول

00

00

00

01

01.

0

0

0

1

w

تابع التدريـــــــــب•: الثاني الخرج و الدخل شعاع اآلن لنأخذ


W = ST.t

الدحل شعاع عن المعبرة الوزن مصفوفة هي و. تخزينها يتم أن يجب التي و الثاني

00

00

01

01

01.

0

0

1

1

w

تابع التدريـــــــــب•: الثالث الخرج و الدخل شعاع اآلن لنأخذ


W = ST.t

الدحل شعاع عن المعبرة الوزن مصفوفة هي و. تخزينها يتم أن يجب التي و الثالث

10

00

00

00

10.

1

0

0

0

w

تابع التدريـــــــــب•: الرابع الخرج و الدخل شعاع اآلن لنأخذ


W = ST.t

الدحل شعاع عن المعبرة الوزن مصفوفة هي و. تخزينها يتم أن يجب التي و الرابع

10

10

00

00

10.

1

1

0

0

w

تابع التدريـــــــــبأزواج 2. عن المعبرة الكلية األوزان مصفوفة تكون و

و السابقة المصفوفات جمع ناتج هي األربعة العينة-: التالي الشكل على تكون التي

20

10

01

02

W

10

10

00

00

10

00

00

00

00

00

01

01

00

00

00

01

W

اختبار شبكة الذاكرة ذات الترابط التخالفي باستخدام دخل التدريب

إنتاج • على الشكة قابلية باختبار اآلن سنقومتدريب أشعة كل أجل من الصحيح الخرج

الدخل.•-: التالي التنشيط تابع نستخدم سوف

الختبار • اإلجراء هذا خطوات باتباع اآلن سنقوم-: السابق المثال

0xif0

0xif1xf


الخطوات:-وصلنا • التي األوزان مصفوفة على نعتمد سوف

-: هي و سابقا لها

نفذ 2. األول التدريب زوج أجل من و اآلن.5→3الخطوات

)X = )1, 0, 0, 0ضع 3.

20

10

01

02

w


-: الخطوات تابع.4-: بالعالقة الخرج وحدات دخل نحسب

التفعيل 5. تابع على @ اعتمادا الشبكة خرج بإيجاد اآلن نقوم: الشكل وفق المعرف

من 6. الصحيحة االستجابة عن تعبر النتيجة هذه و. األولى التدريب عينة أجل

020100001w.xw.xw.xw.xin_y


4243232221212

4143132121111

00fin_yfy

12fin_yfy

22

11


الخطوات:-نفذ 2. الثاني التدريب زوج أجل من و اآلن

.5→3الخطوات

)X = )1, 1, 0, 0ضع 3.

.4-: بالعالقة الخرج وحدات دخل نحسب 020100101w.xw.xw.xw.xin_y


4243232221212

4143132121111


-: الخطوات تابعتابع 5. على @ اعتمادا الشبكة خرج بإيجاد اآلن نقوم

: الشكل وفق المعرف التفعيل

االستجابة 6. عن تعبر النتيجة هذه و. الثاني التدريب عينة أجل من الصحيحة

00fin_yfy

13fin_yfy

22

11


-: الخطوات تابعنفذ 2. الثالث التدريب زوج أجل من و اآلن


)X = )0, 0, 0, 1ضع 3.



4243232221212

4143132121111




االستجابة 6. عن تعبر النتيجة هذه و. الثالث التدريب عينة أجل من الصحيحة

12fin_yfy

00fin_yfy

22

11


-: الخطوات تابعنفذ 2. الرابع التدريب زوج أجل من و اآلن


)X = )0, 0, 1, 1ضع 3.



4243232221212

4143132121111




االستجابة 6. عن تعبر النتيجة هذه و. الرابع التدريب عينة أجل من الصحيحة

13fin_yfy

00fin_yfy

22

11


يعطي المصفوفات مبدأ استخدام أن الحظنا كما. الدخل عينات مع التعامل في أسهل امكانية

السابق األسلوب بنفس السابق المثال حل سنعيد ) الخطوات) وفق المصفوفات استخدام

التالية:-لها • وصلنا التي األوزان مصفوفة على نعتمد سوف

-: هي و سابقا

الخطوات 2. نفذ األول التدريب زوج أجل من و اآلن3→5.

20

10

01

02

w


-: الخطوات تابع.3X = )1, 0, 0, 0(

.4: التالية العالقة باستخدام

0,2

20

10

01

02

.0,0,0,1

getwe

in_y,in_yW.X 21


-: الخطوات تابع.5: الخرج وحدتي أجل من التفعيل تابع خرج نحسب

f)2( = 1, f)0( =0 = Y = )1,0(

أخر بأسلوب أو

0,10,2

20

10

01

02

.0,0,0,1

yin_y,in_yW.X 21


الخرج تنشيط شعاع أن النتيجة هذه من نالحظ وو ، األول التدريب عينة خرج لشعاع مطابقباقي استجابات على نحصل مشابه بشكل

: لدينا يكون و الدخل أشعة

العينات لجميع استجابت الشبكة أن نالحظ و. صحيح بشكل

0,13,0W.1,1,0,0

1,02,0W.1,0,0,0

0,10,3W.0,0,1,1

اختبار شبكة الذاكرة ذات الترابط من أجل دخل مشابه لدخل التخالفي

تدريباالختبار شعاع لدينا أنه و )X = )0,1,0,0لنفرض

األصلي التدريب شعاع عن يختلف Sالذيمن )1,1,0,0( = األول العنصر في باختالف

:و أن نجد التدريب خطوات باتباع

الدخل عينة تربط الشبكة فإن بالتالي و. لديها المحزن الخرج مع الجديد

0,10,1W.0,0,1,0

اختبار شبكة الذاكرة ذات الترابط من أجل دخل غير مشابه التخالفي

لدخل تدريباالختبار شعاع لدينا أنه و )X = )0,1,1,0لنفرض

عينات جميع عن يختلف أنه نالحظمنه بعنصرين السابقة .التدريب

: أن نجد التدريب خطوات باتباع

ليس العينة هذه عن الناتج الخرج أن نالحظ والتدريب عينات أجل من للشبكة معروفا~

السابقة.

1,11,1W.0,1,1,0

اختبار شبكة الذاكرة ذات الترابط التخالفي المستخدمة لتمثيل هجين للبيانات )ثنائي/ثنائي القطبية(



أشعة • من المشكلة الوزن مصفوفة باستخدام وتعطى الوزن مصفوفة فإن المقابلة، القطبية ثنائية

-: التالي بالشكل

pt,,pt,,ptpt

and

ps,,ps,,psps

mj1

ni1

P

1pjiij 1pt2.1ps2w

اختبار شبكة الذاكرة ذات الترابط التخالفي المستخدمة لتمثيل هجين للبيانات )ثنائي/ثنائي القطبية(

المثال • في المستخدمة التدريب أشعة أجل من والسابق:

•-: بالشكل الناتجة األوزان مصفوفة تكون و

s 1 1,0,0,0 : t 1 1,0

s 2 1,1,0,0 : t 1 1,0

s 3 0,0,0,1 : t 1 0,1

s 4 0,0,1,1 : t 1 0,1

44

22

22

44

11

11

11

11

.

1111

1111

1111

1111

Wt.SW T

اختبار شبكة الذاكرة ذات الترابط التخالفي المستخدمة لتمثيل ثنائي القطبية



أشعة • من المشكلة الوزن مصفوفة باستخدام وتعطى الوزن مصفوفة فإن المقابلة، القطبية ثنائية

-: التالي بالشكل

pt,,pt,,ptpt

and

ps,,ps,,psps

mj1

ni1

P

1pjiij pt.psw

اختبار شبكة الذاكرة ذات الترابط التخالفي المستخدمة لتمثيل ثنائي القطبية

المثال • في المستخدمة التدريب أشعة أجل من والسابق:

•-: بالشكل الناتجة األوزان مصفوفة تكون و

1,11t:1,1,1,11s

1,11t:1,1,1,11s

1,11t:1,1,1,12s

1,11t:1,1,1,11s

44

22

22

44

11

11

11

11

.

1111

1111

1111

1111

Wt.SW T

باستخدام األوزان إيجاد طريقةالخارجية الجداءات

دخل • شعاع نأخذ نوجد (s)سوف و خرج شعاع ثم wiمع : يكون ذلك W = w1+w2+…+wpبعد

يعطى • األولى العينة زوج تخزن التي الوزن مصفوفة إن: األشعة لهذه الخارجي بالجداء

S = )1, -1, -1, -1( t = )1, -1(

wi = siT.ti)p(

: الوزن مصفوفة تكون و

11

11

11

11

11.

1

1

1

1

w1


•: الثاني الزوج لتخزين مشابه بشكل و S = )1, 1, -1, -1( t = )1, -1(

wi = siT.ti)p(


11

11

11

11

11.

1

1

1

1

w2


•: الثالث الزوج لتخزين مشابه بشكل و S = )-1, -1, -1, 1( t = )-1, 1(

wi = siT.ti)p(


11

11

11

11

11.

1

1

1

1

w3


•: الرابع الزوج لتخزين مشابه بشكل و S = )-1, -1, 1, 1( t = )-1, 1(

wi = siT.ti)p(


11

11

11

11

11.

1

1

1

1

w4


ناتج • هي النهائية األوزان مصفوفة فإن بالتالي و: السابقة الجزئية المصفوفات جمع

44

22

22

44

11

11

11

11

11

11

11

11

11

11

11

11

11

11

11

11

W

تمت بحمد الله تعالى و فضله

Documents

المحاضرة 7 شبكات عصبية