الشبكات العصبيـــــــــــــةNeural Networks

) آلي ) حاسب الرابعة الفرقة

المقرر أستاذبحيري/ محمد جمال د

شبكة االنتشار العكسي )الخالفي( القياسية

Back-Propagation

المحاضرة الحادية عشرةالفصــــــــل الســــــــــادس

العكسي االنتشار شبكة) القياسية الخالفي)

حيدة و العصبية الشبكات محدودية على البرهان إنتأخراالهتمام في األهــــم العامل كانت الطبقة

. اكتشاف لكن و السبعينيات في العصبية بالشبكات ) فكرة) مستقل بشكل الباحثين من عدد قيل من

الشبكات لتدريب الخلفي العصبيةالمتعددة االنتشارالشبكات بروز إعادة في األساسي الدور لعب الطبقات

نطاق على المشاكل من الكثير لحل كأداة العصبيةالتدريب. طريقة الفصل هذا في نناقش وسوف واسع

) العامة ) دلتا قاعدة أو للخطأ الخلفي باالنتشار المعروفة . االنحذار طريقة عن عبارة بساطة بكل أنها التعليم في

الخطأ لمربع الصغرى القيمة إليجاد ذلك و التدريجيالشبكة قبل من الحاسوب الخرج لقيمة الكلي

العكسي االنتشار شبكة) القياسية الخالفي)

في • التدريب طرق من العديد استخدام تم لقدأو ) ، الطبقات متعددة الخلفي االنتشار شبكات

قواعد وفق األمامي االنتشار شبكات تدريب.) الخلفي أن االنتشار الشبكات لهده ويمكن

مجاالت في المشاكل من العديد لحل تستخدممتعددة.

أشعة • من مجموعة استخدام الشبكات هذه في يتموتستخدم الخرج أشعة من مجموعة لتحديد الدخل

. اإلشراف تحت التعلم أسلوب الشبكات هذه

العكسي االنتشار شبكة) القياسية الخالفي)

إلى • الوصول إلى الشبكات هذه تدريب عملية وتهدفاالستجابة على الشبكة قابلية بين التوازن من حالة

عملية في تستخدم التي الدخل لعينات الصحيحة ) الشبكة ) قابلية و الشبكة في تخزينها يتم التدريبغير لكن مشابه لدخل جيدة استجابة إعطاء على

. التدريب في المستخدم الدخل لذلك مطابقاالنتشار • بطريقة الشبكة تدريب يتضمن

: ) مراحل ) ثالث العكس الخلفي.1. الدخل تدريب لعينات األمامية التغذية مرحلةللخطأ 2. الخلفي واالنتشار الحساب مرحلة

. بالخرج المتعلق.3. األوزان توليف مرحلة

العكسي االنتشار شبكة) القياسية الخالفي)

و • الشبكة اختبار مرحلة تبدأ التدريب مرحلة بعدطور طور هي فقط واحدة مرحلة تتضمن التي

. األمامي االنتشارالمتدربة • الشبكة فإن ،[ بطيئا التعليم كان إذا حتى

. [ جدا سريع بشكل خرجها إشارة تنتج أن يمكنهاذلك و العكسي االنتشار طريقة تطوير تم لقد

. التدريبية العملية سرعة لتحسينأو ) • خفية بطبقة الطبقة متعددة العصبية الشبكات

و( مستمرة مقابلة عملية أي تتعلم أن يمكن أكثر. االختيارية للدقة ذلك

البنيـــــــــة الهندسيــــــــــة

متعددة • عصبية شبكة يبين التالي الشكلعدد من الخفية الطبقة تتكون حيث الطبقات

(Z. وحدة( ووحدات • الخرج طبقة وحدات ترفق أن يجب

االنحياز يرمز حيث ، بانحيازات الخفية الطبقةالخرج لوحدة وبالنسبة Wokبالرمز Ykبالنسبة

الخفية الطبقة .VoJبالرمز Zjلوحدات

البنيـــــــــة الهندسيــــــــــة

y1 yk ym

z1 zj zp

xi xi xn

1

1

w11

v11

vijvip

v1p

v1j

wpmwjm

w1mw1k

wp1

wj1

vi1

vn1

w01

w0kw0m

v01

v0j v0p

vnp

البنيـــــــــة الهندسيــــــــــة

أوزان لعمل [ مشابها [ دورا االنحيازات تلعبمن القادمة الوحدات من القادمة الترابطات

. واحد [ دائما خرجها قيمة التي الوحداتطور خالل المعلومات تدفق يظهر السابق الشكل

. التعلم لعملية األمامي االنتشارطوراالنتشار خالل االشارات إرسال عملية تتم

. األولى األشارات لتقدم المعاكس باالتجاه الخلفي

للشبكات تستخدم التالية الخوارزمية. الخفية الطبقة وحيدة

الخوارزميـــــــــــــــــة

إن تدريب هذه الشبكة يتضمن •ثالث مراحل اساسية هي:-

مرحلة االنتشار األمامي لعينة 1.تدريب الدخل.

مرحلة االنتشار الخلفي للخطأ.2.

مرحلة توليف أوزان الشبكة3.

الخوارزميـــــــــــــــــةتستقبل كل خالل مرحلة االنتشار األمامي:•

إشارة الدخل و من ثم تنشر (Xi)وحدة دخل هذه اإلشارة إلى كل وحدة من وحدات الطبقة

(z1, z2, …, zp)الخفية - ثم تحسب كل وحدة من وحدات الطبقة الخفية

بدورها قيمة التنشيط لهذه اإلشارة. إلى كل (ZJ)- بعد ذلك ترسل هذه الوحدات إشارتها

وحدة من وحدات طبقة الخرج. (Yk)- ثم تقوم كل وحدة من وحدات طبقة الخرج

لتشكل استجابة الشبكة (yk)بحساب تنشيطها من أجل عينة الدخل المعطاة.

الخوارزميـــــــــــــــــةتقوم كل وحدة خرج خالل مرحلة التدريب: •

مع قيمة الخرج ykبمقارنة تنشيطاتها المحسوبة لتحدد قيمة الخطأ الحاصل لهذه العينة tkالفعلي

] على قيمة الخطألتلك الوحدة. الحاصل فإن بناءا يتم حسابه، حيث ;δk( m,........,1=Kالعامل )

لتوزيع الخطأ على وحدات δkيستخدم العامل لتتم إعادته إلى كل الوحدات في Ykطبقة الخرج

الطبقة السابقة )وحدات الطبقة الخفية المرتبطة (.Ykمع وحدات الخرج

كذلك يستخدم هذا العامل )فيما بعد( لتحديث األوزان بين طبقة الخرج و الطبقة الخفية.

الخوارزميـــــــــــــــــة يتم حسابه بالنسبة )δj, )j=1, …, pفإن العامل بالمثل•

Zjلكل وحدة من وحدات الطبقة الخفية

ليس ضرورياi لنشر الخطأ خلفاi إلى وحدات طبقة الدخل و •( يستخدم لتحديث األوزان بين الطبقة δjلكن )العامل

الخفية و طبقة الدخل. قد حددت فإنه يتم توليف (δ)بعد أن تكون كل العوامل •

األوزان بالنسبة لجميع الطبقات في نفس اللحظة. )القادمة من وحدات wik- يتم التوليف بالنسبة لألوزان

( باالعتماد على Yk إلى وحدات الخرج Ziالطبقة الخفية بالنسبة لوحدات الطبقة الخفية Zi و التنشيط δkالعامل

Zj.

)القادمة من وحدات Vij- يتم التوليف بالنسبة لألوزان ( باالعتماد Zj إلى وحدات الطبقة الخفية Xiطبقة الدخل .(Xi)على تنشيط وحدة الدخل و δjعلى العامل

الرموز المستخدمة في الخوارزميـــــــــــــــــة

سنستخدم الرموز التالية في هذه الخوارزمية:-• X شعاع تدريب الدخل : X=)x1, x2, …, xn(

T )الخرج المرغوب( شعاع الهدف للخرج : T=)t1,t2,…,tm(

δk عامل تصحيح الخطأ لتوليف الوزن :Wik و الذي يكون ] لقيمة الخطأ في الخرج ، و يقدم معلومات عن Ykعائدا

] إلى Ykالخطأ في الوحدة و الذي يتم انتشاره عكسيا.Ykوحدات الطبقة الخفية التي تتغذى من الوحدة الطبقة

:δj عامل تصحيح الخطأ لتوليف الوزن Vij العائد النتشار .Zjمعلومات الخطأ من طبقة الخرج إلى الوحدة الخفية

الرموز المستخدمة في الخوارزميـــــــــــــــــة

:α.معدل التعلم xi وحدة الدخل ذات الترتيب : i

V0j االنحياز على الوحدة الخفية ذات الدليل : j

Zj وحدة الطبقة الخفية ذات الدليل : j حيث أن دخل ، و يعطى z_injوحدات الطبقة الخفية يرمز له بالرمز

بالعالقة:

و خرج وحدات الطبقة الخفيةZj قيمة الفعالية( و يتم حسابها وفق zi)التنشيط(( يرمز لها بالرمز

)zj = f)z_injالعالقة:

i

ijij0j V.xVin_z

الرموز المستخدمة في الخوارزميـــــــــــــــــة

W0k االنحياز على وحدة الخرج ذات الدليل : k.

Yk وحدة طبقة الخرج ذات الدليل : k حيث ان ، ويتم y_inkدخل هذه الوحدة يرمز له بالرمز

حسابه بالعالقة:

و Yk و خرج هذه الوحدة )تنشيطها( يرمز له بالرمز )yk = f)y_inkيتم حسابه وفق العالقة:

j

jkjk0k w.zwin_y

تابع التنشيــــــــــــــــط )التفعيل(

في التنشيط تابع يمتلك أن يجبمن العديد االنتشارالخلفي شبكات

يكون : أن يجب إذ ، الهامة الخصائصمستمر، - تابع

لالشتقاق،- قابل -، متناقص غير انسيابي

أن- يستحسن كله ذلــــك من األهم و. الحساب سهل مشتقة يكون

تابع التنشيــــــــــــــــط )التفعيل(قيمة • فإن المستخدمة، التنشيط توابع ألغلب بالنسبة

) يمكن ) المستقل للمتحول معينة نقطة في االشتقاق،للتحول ) النقطة تلك في أي التابع قيمة بلغة عنها التعبير

من ( يقترب أن التابع من يتوقع ، عادة المستقلمحددة قيمة من يقترب أنـــــــه أي ، اإلشباع منتطقة

. توابع أهم من و متقارب بشكل صغرى أو عظمىالنموذجية الثنائي التنشيط السيغمويد الذي تابع

المجال ] ضمن قيمة التالية[ :0,1يأخذ بالعالقة ويعرف

• : هو مشتقته و

•. التالي بالشكل كما التابع هذا و

x1

e1

1xf

xf1.xfxf 11'1

الثنائي السيغموند تنشيط تابع[0,1]مجالة

F)x(

X

تابع التنشيــــــــــــــــط )التفعيل(• ) التنشيط ) التعفيل لتوابع األخر الشائع الشكل أما

القطبية فهو ثنائي سيغمويد يأخذ تابع الذيالمجال ضمن :[1,1]-قيمته بالعالقة يعطى و

• : هو مشتقته و

•. التالي بالشكل كما التابع هذا و

1e1

2xf

x2

xf1.xf12

1xf 22

'2

ثنائي السيغموند تنشيط تابعمجالة [1,1]-القطبية

(Training Algorithm)خوارزمية التدريب .1) صغيرة ) عشوائية بقيم وضعها األوزان تهيئةمن 2. الخطوات نفذ الشرط يتحقق لم 10→3طالمامن 3. الخطوات نفذ تدريب زوج كل أجل 9→4من

) األمامي) باالتجاه Feedforwardالتغذية

دخل 4. وحدة كل إشارة (Xi, i = 1,2,…,n)تستقبل.xiدخلها الخفية الطبقة وحدات جميع إلى نشرها ثم

خفية 5. وحدة كل إشارات (Zj, j=1,…, p)تجمع و قيم-: يلي كما الموزونة دخلها

تنشيطها : تابع يطبق ذلك ترسل )Zj= f)z_injبعد واألعلى الطبقة وحدات جميع إلى التنشيط قيمة

) الخرج) طبقة

n

1iijiojj v.xvin_z

(Training Algorithm)خوارزمية التدريب

باالتجاه ) التغذية األمامي االنتشار طور تابعاألمامي(

خرج 6. وحدة كل إشارات (Yk; k=1,…,m)تجمع-: يلي كما الموزونة دخلها

خرجها إشارة لحساب التنشيط تابع تطبق ذلك بعدأي :

yj= f)z_inj(

p

1jjkjokk w.zwin_y

(Training Algorithm)خوارزمية التدريب

للخطأ الخلفي االنتشار مرحلة(Backpropagation of error)

الخرج 7. طبقة وحدات من وحدة كل ,Yk;k=1)تستقبل…,m) ) تدريب ) لعينة المقابلة المرغوبة الهدف العينة

الدخل.-: لها الخطأ معلومات حد حساب يتم بعدئذ

الوزن ) لتحديث المستخدم أوزانها تصحيح حد حساب يتم ثمwjk : ) [ Δwjk=α.δk.zjالحقا

الوزن ) لتحديث المستخدم انحيازها تصحيح حد wokاحسب :)[ نرسل Δwok=α.δkالحقا ثم من في δkو الوحدات إلى

. أدناه الطبقة

kkkk in_yf.yt

(Training Algorithm)خوارزمية التدريب

للخطأ الخلفي االنتشار مرحلة تابعالخفية 8. الطبقة في وحدة كل الـ (Zj; j=1,…,p)تجمع إشارات

δ( من -: ) يلي كما األعلى الطبقة في الوحدات

حد لحساب تنشيطها تابع مشتق مع القيمة هذه اضرب ثم من و-: يلي كما خطتها معلومات

الوزن ) لتحديث المستخدم أوزانها تصحيح حد حساب يتم vjkثم: )[ الحقا

Δvij=α.δj.xi

الوزن ) لتحديث المستخدم انحيازها تصحيح حد (:vojاحسب [ الحقا

Δvoj=α.δj

jkw.m

1kkjin_

jjj in_zf.in_

(Training Algorithm)خوارزمية التدريب

االنحيازات و األوزان تحديث مرحلةخرج 9. وحدة كل ( Yk; k=1,…, m)تحدث

-: يلي كما أوزانها و انحيازها wij)new( = wij)old( + Δwij ; )j=0,…, p(

خفية وحدة لكل حدث (Zj, j=1,…,p)بالنسبة-: يلي كما األوزان و االنحيازات

vij)new( = vij)old( + Δvij ; )i=0,…, n(

.10. التوقف شرط أحتبر

أمثـــــــــــــــــــــــلةكيفية • لتوضيح األمثلة من عدد نستعرض سوف

. الخلفي االنتشار شبكات تدريبمن :-• الشبكة تتكون

-: الدخل من )طبقة إدخال( 2تتكون وحدةالخفية - من: )الطبقة وحدات( 4تتكون -: الخرج فقط طبقة واحدة وحدة من تتكومالمنطقي • التابع نستخدم سوف المسألة هذه لحل

(XOR)ثنائي • أو الثنائي السيغمويد التابع نستخدم سوف

جميع على تطبيقة ويتم تنشيط كتابع القطبية. الخرج طبقة و الخفية الطبقة وحدات

أمثـــــــــــــــــــــــلةاألوزان • تهيئات مجموعات نفس نستخدم سوف

اختيارها يتم التي و األمثلة لجيع بالنسبة التاليةالمجال ضمن .[0.5, -0.5]عشوائيا

•: الخفية الطبقة وحدات لألوزان االبتدائية القيم.1: الخفية الطبقة لوحدات بالنسبة االنحيازات قيم

-.03378 0.2771 0.2859 -0.3329

.2: األولى الدخل وحدة من القادمة األوزان0.1970 0.3191 -0.1448 0.3594

.3: الثانية الدخل وحدة من القادمة األوزان0.3099 0.1904 -0.0347 -0.4861

أمثـــــــــــــــــــــــلةالطبقة • وحدات من القادمة االنتدائية األوزان لقيم بالنسبة

-: هي الخرج وحدة إلى الخفيةالخرج 1. وحدة على 0.1401-االنحيازاألولى 2. الخفية الوحدة من القادم 0.4919الوزنالثانية 3. الخفية الوحدة من القادم 0.2913-الوزنالثالثة 4. الخفية الوحدة من القادم 0.3979-الوزنالرابعة 5. الخفية الوحدة من القادم 0.3581الوزن

هو األمثلة كل في التعلم معدل أن α = 0.2الحظلعينات الكلي الخطأ مربع يصل حتى التدريب عملية تستمر

من أقل إلى األربعة .0.005التدريبللشبكة الهندسية البنية يبين التالي الشكل

المقترحة.

X1 X2

Z1 Z2 Z3Z4

Y

c

b

-0.3378

0.19700.3099

0.2771

0.2859

-0.3329

0.31910.1904

-0.1448

-0.03470.3594

-0.4861

0.3581-0.3979

-0.2913

0.4919

-0.1401

تمت بحمد الله تعالى و فضله