بيزی شبکه های با آشناييبه ساز بابک

مقدمه- 1‌از مي‌ش��ود.‌يكي حل مص��نوعي ه��وش كمك با انس��ان‌ها، مش��كالت از بس��ياري ام��روزه‌اس��ت.‌روش‌ه��اي آنها (‌درuncertainty) قطعيت ع��دم وجود مشكالت اين خصوصيات مهمترين‌نظريه پايه بر آنها اكثر كه شده‌اند پيشنهاد قطعيت عدم كنترل براي مصنوعي هوش در زيادي

‌کن��ترل ب��رای روش يك مي‌خ��واهيم مطالعه اين ش�ده‌اند.‌در نهاده بنا فازي نظريه و احتماالتBayesian) ب��يزي شبكه‌هاي نام به احتماالت نظريه پايه بر مسائل در قطعيت عدم Networks)را‌‌

كنيم. بررسي‌احتم�ال كه ‌است(query) درخواس�ت‌هايي ج�واب به ني��از بس��ياری هوشمند سيستم‌هاي در مشاهدات از تعدادي براساس را رويداد يك وقوع ‌يار تص��ميم سيس��تم يك در مي‌خواهن��د.‌مثال‌دندان بيروني رنگ و درد دندان مانند مشاهداتي براساس دندان خرابي احتمال پزشك، دندان

‌شي يك عض��ويت احتم��ال دس��ته‌بندي سيستم‌هاي در ديگر، مثال عنوان مي‌باشد.‌به مطلوب‌به دادن ج��واب فرايند اس��ت.‌به م��وردنظر شي ويژگي‌ه��اي براس��اس دس��ته‌ها از يك هر در

‌م��ورد در داده‌ه��ايي به ني��از اس��تنتاج فرايند هر و ‌مي‌گويند(inference) اس��تنتاج درخواس��ت‌ها،‌ادامه در که توض��يحاتی داريم.‌در را آن قطعيت ع��دم كن��ترل قصد كه ‌دارد(domain) یقلمروي‌کوچک اول ح��رف با را آنها مق��ادير و ب��زرگ اول ح��رف با را تص��ادفی متغير‌ه��ای آم��د، خواهدمی‌دهيم. ‌نشان(bold) پررنگ حروف با را بردار‌ها و ماتريس‌ها می‌دهيم.‌همچنين، نشان

كامل توام توزيع از استفاده با استنتاج1-1‌يك با كه مي‌كند ‌استفاده(full joint distribution) كامل توام توزيع از استنتاج روش ساده‌ترين

‌ب��ولي متغ��ير سه شامل تنها كه بگيريد نظر در را قلمرو مي‌دهيم.‌يك توضيح را آن ساده مثالToothache، Cavityو‌ Catch‌.مي‌باش��د‌Toothacheدرد، دن��دان دهن��ده ‌نش��ان Cavityدهن��ده ‌نش��ان‌

‌مي‌باش�د. دن��دان در پزشك دن��دان اب��زار ك�ردن گ�ير دهن��ده ‌نشانCatch و دندان بودن سوراخمي‌شود.‌ ‌ديده1 شكل در كه ‌است2×2×2 جدول يك كامل توام توزيع

ساده. قلمرو يک توزيع جدول: 1 شكل محاس��به را دلخ��واه رويداد هر احتمال مي‌توان جدول اين از استفاده با ‌احتم��ال ك��رد.‌مثالبا: است برابر رويداد

‌گفته كه همانطور ‌ح��الي در روي��داد يك ش��رطي احتمال محاسبه موارد بسياري در شد، قبال‌با روي��دادها ش��رطي مي‌باش��د.‌احتم��ال مطل��وب اس��ت، ش��ده داده مش��اهدات از بعضي كه

‌اس��ت. محاس��به قابل آنها توزيع ج��دول از عناصري جمع و شرطي احتمال فرمول از استفاده‌بص��ورت درد، دن��دان وج��ود ص��ورت در دن��دان در سوراخ يك احتمال محاسبه مثال، عنوان بهمي‌باشد: زير

‌محاسبه نيز را درد دندان وجود با دندان نبودن سوراخ احتمال مي‌توان ديگر مثال عنوان بهكرد:

‌براي مقداري چه اينكه به توجه بدون محاسبات اين در كه كنيد توجهCavityنرمال‌س��ازي براي عامل يك را آن مي‌توان واقع، مي‌ماند.‌در باقي ثابت كنيم، ‌محاسبه‌‌بررسي اين طول باشد.‌در ‌داشته1 برابر مجموعي توزيع تا كرد فرض‌يك در را قبلي عبارت دو نماد، اين مي‌كنيم.‌با استفاده ثابت‌هايي چنين دادن نشان براي از

کرد:‌ خالصه زير بصورت عبارت

‌دست كلي اس��تنتاج رويه يك به می‌ت��وان راح��تی به مث��ال اين در رفته بک��ار روش تعميم با‌مي‌ك���نيم بررسي را دارد وج���ود درخواست در متغ���ير يك تنها كه ح���التي اينج���ا، ي���افت.‌در‌درخواس�ت متغ�ير كني�د مي‌آين�د(.‌ف�رض بدس�ت ح�الت اين تعميم از بس�ادگي ديگ�ر )حالت‌ه�اي

(Cavityباشد، ‌در‌)دهد نشان را شواهد به مربوط متغيرهاي مجموعه مثال (Toothacheدر‌‌‌مشاهده متغيرهاي بقيه مجموعه و دهد نشان را براي شده مشاهده مقادير مثال(،با ‌درCatch) باشد نشده ‌بصورت کلی حالت در ها درخواست فرضيات، اين به توجه مثال(.‌

كرد: محاسبه را آنها زير بصورت مي‌توان و هستند

(1)‌‌‌‌‌‌‌(. متغيرهاي مقادير حاالت تمامي )يعني است ممكن مقادير تمامي روي بر مجموع كه

‌يك و مي‌دهند تشكيل را قلمرو متغيرهاي تمامي هم با و و كه كنيد توجهاست. محاسبه قابل براحتي مجموع بنابراين، و مي‌باشد توزيع جدول عناصر از زيرمجموعه

آنها راه حل و كامل توام توزيع با استنتاج مشكالت1-2‌پيوس��ته متغيره��اي ب��راي دارد.‌اوال، اساسي مش��كل سه كامل توام توزيع با استنتاج روش

‌اس��ت.‌دوم��ا، نامتن��اهي ج��دول يك به ني��از باشند، نداشته مشخصي و خاص توزيع يك آنها اگر زم�ان درخواس�ت ي�ك ب�ه ج�واب و دارد خان�ه توزي�ع ج�دول هم ب�ولي متغ�ير ب�راي ح�تي‌تع��داد براي كه زد تخمين آماري داده‌هاي از بايد را توزيع به مربوط احتماالت دارد.‌سوما، نياز

‌نمي‌باش��د.‌ب��راي موج��ود عمل در كه است زيادي بسيار داده‌هاي به نياز جدول در خانه نمايي‌آوردن بدست تا ش��ود ف��رض توزيع ب��راي ساده‌تري شكل كه مي‌شود سعي مشكالت اين حل‌متغيره��اي ب��ودن مس��تقل ف��رض ش��ده استفاده بسيار كه فرض‌هايي از باشد.‌يكي عملی آن

‌بس��يار ف��رض اس��ت.‌اين شده گرفته آن از نيز خوبي نتيجه‌‌هاي عمل در كه است بوده قلمرو‌وابس��تگي و ش��ود برداش��ته ح��دي تا محدوديت اين شد سعي دليل است.‌بهمين كننده محدود‌و درختي وابستگي فرض اساس شود.‌براين گرفته نظر در توزيع محاسبه در حدي تا متغير‌هاDirected) دور ب�ودن جهت‌دار گراف‌هاي بصورت وابستگي Acyclic Graph)ق�رار بررسي ‌م�ورد‌

‌مي‌رس��يم توزيع از م��دلي به دور بودن جهت‌دار گراف‌هاي بصورت وابستگي فرض گرفت.‌بااست. معروف بيزي شبكه‌هاي به كه

‌ش��بكه‌هاي ،2 قس��مت مي‌باش��د.‌در زير ت��رتيب به آمد خواهد بررسي اين در كه مط��البي‌استنتاج روش ،3 قسمت مي‌دهيم.‌در توضيح را آنها به مربوط مفاهيم و كرده تعريف را بيزي‌اين در تقري��بي اس��تنتاج روش بع��دي، قسمت مي‌دهيم.‌در توضيح را بيزي شبكه‌هاي در دقيق

‌ارائه شده گفته مطالب از جمع‌بندي‌اي آخر قسمت در نهايت، مي‌دهيم.‌در توضيح را شبكه‌هامي‌دهيم.

بيزي شبكه هاي- 2‌را درخواس��تي هر مي‌تواند كامل ت��وام توزيع شد، داده توضيح قبل قسمت در كه همانطور

‌يا و اس��تقالل مي‌دانيم ش��ود.‌همچ��نين بزرگ کنترلی غيرقابل بطور مي‌تواند ولي دهد، جواب‌الزم كامل توزيع محاس��به ب��راي كه احتم��االتي تع��داد مي‌تواند متغيرها بين ش��رطي اس��تقالل‌نام به داده ساختمان يك معرفي به قسمت اين دهد.‌در كاهش توجهي قابل طور به را است،‌توزيع و است متغيرها بين ش��ده ف��رض یها وابس��تگي دهنده نشان كه مي‌پردازيم بيزي شبكهمي‌كند.‌ تعيين دقيق بطور را وابستگی فرض‌های اين به توجه با كامل

‌احتم��االت مق��ادير اطالع��ات ش��امل آن رئ��وس كه است جهت‌دار گ��راف يك ب��يزي ش��بكهاست: زير خصوصيات و اجزا شامل شبکه اين دقيق‌تر هستند.‌بطور شرطی‌اين كه مي‌دهند تش��كيل را گ��راف رئ��وس مجموعه تص��ادفي، متغيرهاي از مجموعه يك �1

باشند.‌ پيوسته يا گسسته مي‌توانند متغيرها والد را باشد، راس به راس از يال يك اگر كه جهت‌دار يالهاي از مجموعه يك �2

مي‌ناميم.‌والد گره‌هاي تاثير كه دارد شرطي احتمال توزيع يك ، گره هر �3مي‌دهند. نشان عددی بصورت را گره اين روي بر

است. جهت‌دار دور بدون گراف يك واقع، در و ندارد جهت‌داري دور هيچ گراف �4‌مع��ني شهودي، است.‌بصورت قلمرو در شرطي وابستگي‌هاي دهنده نشان شبكه ساختار

‌اس�ت.‌باي�د ب�ه مس�تقيم وابس�تگی ي�ا و ب�ر مس�تقيم ت�اثير وج�ود ب�ه از ي�ال ي�ك‌مش��کلی ك�ار قلم��رو خ�بره ف��رد يك ب��راي مس��تقيم وابس��تگي‌هاي اين تع��يين که داشت توجه

دليل همين به و نمي‌باشد ‌آنچن��ان ش��بکه س��اختار تع��يين خ��بره ف��رد وج��ود ص��ورت در معموال‌داده س��اختمان گره‌ها، به مربوط شرطي توزيع تعيين ساختار، تعيين از نمی‌باشد.‌پس سخت‌كه آورد بدست را كامل ت��وام توزيع مي‌ت��وان آن از اس��تفاده با و مي‌كند كامل را ب��يزي ش��بكهشد. خواهد داده توضيح بزودي‌آژير يك تازگي به شما كنيد مي‌پردازيم.‌فرض مثال يك با شده ذكر مطالب توضيح به حال‌در اين، بر آيد.‌عالوه در بصدا كه دارد زيادي امكان دزدي، وقوع صورت در كه خريده‌ايد دزدي

‌دو ش��ما درآي��د.‌همچ��نين، بص��دا آژير كه است ممكن هم ض��عيف زلزله‌ه��اي وق��وع ص��ورت‌در شما با آژير صداي شنيدن صورت در داده‌اند قول‌ كه داريد جان و ماري های نام به همسايه‌مي‌زن��د. تلفن شما به آژير درآمدن صدا به صورت در هميشه بگيرند.‌جان تماس كارتان محل‌تلفن هم ص��ورت دراين و بگ��يرد اشتباه آژير با گاهي را شما تلفن صداي كه است ممكن ولي

‌نش��نود. را آژير ص��داي گاهي است ممكن و دارد دوست بلند صداي با را موسيقي بزند.‌ماري‌احتم��ال مي‌خ��واهيم اس��ت، ن��زده يا است زده تلفن كسي چه اينكه مش��اهده به توجه با ح��االاست. ‌آمده2 شكل در قلمرو اين بيزي كنيم.‌شبكه محاسبه را دزدي

جديد. آژير دستگاه قلمرو بيزی ‌شبکه:2 شكل‌شرطی احتماالت جدول‌های مورد در بعد و مي‌دهيم توضيح را شبكه اين ساختار ابتدا، در

‌روي بر مس��تقيم بط��ور زلزله و دزدي كه ديد مي‌ت��وان ش��بكه به توجه می‌دهيم.‌با توضيحاتی‌آنها زي��را ن��دارد، ت��اثير ماري يا جان زدن تلفن روي بر ولي مي‌گذارند، تاثير آژير درآمدن بصدا‌آژير به مرب��وط گ��ره از ش��ده خارج يال دو در موضوع اين كه مي‌زنند تلفن آژير شنيدن با تنها‌آگ��اه خفيف زلزله وق��وع از آنها كه مي‌دهد نش��ان ش��بكه اس��ت.‌بن��ابراين معل��وم ش��بكه در

نمي‌شوند.‌يا و مي‌دهد گ��وش موس��يقي به م��اري اينكه دادن نش��ان ب��راي گره‌اي كه داشت توجه بايد‌به ب��ودن(‌مرب��وط )احتم��الی قطعيت ع��دم در م��وارد نيس��ت.‌اين شبكه در مي‌زند زنگ تلفن

‌براي روشي كلي طور است.‌به شده داده تاثير آژير درآمدن صدار به گره از خروجي يال‌هاي‌شرطی، احتماالت واقع، ندارد.‌در وجود داد، اختصاص گره شبكه در بايد عواملي چه به اينكه شبكه در كه عواملي تمامي ‌طري��ق، اين دارند.‌به خود در خالصه طور به را نيامده‌اند، صريحا‌اين کن��د.‌م��يزان م��دل را پيچي��ده دني��اي يك با تقريبي طور به مي‌تواند ‌ساده(agent) عامل يك

داد. افزايش شبكه به مرتبط اطالعات كردن اضافه با مي‌توان را تقريب‌اگر )البته مي‌دهند نش��ان ش��رطي احتم��االت ج��دول‌هاي با را گره‌ها ش��رطي توزيع‌ه��اي

كه مي‌ش��ود اس��تفاده ديگ��ري روش‌ه��ايي از باشد پيوس��ته توزيع‌ها ‌خواهد اش��اره آنها به بع��دا‌ح��الت يك براي راس متغير مقادير احتمال مقدار دهنده نشان جدول‌ها اين در سطر شد(.‌هر‌را راس وال��دين به ممكن مق��داردهي‌هاي از يكي ش��رطي حالت مي‌باشد.‌هر خاصي شرطي‌زي��را نمي‌ش�ود، داده نم��ايش راس متغ��ير ب��راي ممكن مقدار آخرين جدول مي‌دهد.‌در نشان‌ب��ولي متغ��ير يك براي جدول يك كلي، طور است.‌به مقادير بقيه احتمال جمع منهاي يك برابر‌ي�ك ش�امل تنه�ا ن�دارد وال�دي هيچ ك�ه راس باش�د.‌ي�ك داش�ته باي�د مق�دار ب�ولي، وال�د ب�ا

مي‌دهند.‌ نشان را راس متغير مقادير اوليه احتماالت كه است سطربيزي شبكه هاي مفاهيم2-1

‌را ب��يزي شبكه يك مفهوم مي‌خواهيم اينجا در و شديد آشنا بيزي شبكه با قبلي، مطالب در‌اول، مفه��ومي ديد گ�رفت.‌از نظر در مي‌ت��وان مفه��وم دو بيزي شبكه يك كنيم.‌براي بررسي‌بصورت را شبكه مي‌توان دوم ديد ديد.‌از قلمرو كامل توام توزيع از تقريبی را شبكه مي‌توان

‌هم مع��ادل ديد دو دي��د.‌هر مي‌ده��د، نش��ان را متغيرها اس��تقالل و وابس��تگي كه س��اختاري‌مناسب اس��تنتاج روال ط��راحي ب��راي دوم ديد و ش��بكه ط��راحي ب��راي اول ديد و مي‌باش��ندمي‌باشد.

كامل توام توزيع نمايش2-1-1‌كامل ت��وام احتم��ال توزيع عنصر مي‌ده��د.‌هر ارائه را قلمرو از كامل توصيف يك شبكه يك‌درون اطالع��ات از اس��تفاده با مي‌ك��نيم(، ح��ذف خالصه‌سازي براي را كامل بعد به اين از )كه

‌متغ��ير مق��داردهي عطف بص��ورت مي‌ت��وان را توزيع در عنصر است.‌يك محاسبه قابل شبكه‌عنص�ر ي�ك مق�دار ش�بكه اطالع�ات ب�ه توج�ه گ�رفت.‌ب�ا نظ�ر در مانن�د

بصورت:

(2)‌‌‌

‌مي‌دهد. نشان را درون متغيرهاي مقادير كه مي‌شود محاسبه‌ش��رطي احتم��االت ج��دول‌هاي عناصر از تعدادي ضرب بصورت توام توزيع هرعنصر بنابراين،‌دادن نشان مي‌دهد.‌براي انجام را توام توزيع تجزيه نوعي به جدول‌ها اين و مي‌شود محاسبه

‌ش�ده دزدي نه و است آم�ده زلزله نه كه ح�الي در آژير آم�دن در بص�دا احتم�ال موض�وع، اين‌متغيرها اول ح��رف مي‌كنيم.‌از حساب را گرفته‌اند تماس دو هر ماري و جان حاليكه در استمي‌كنيم: استفاده آنها دادن نشان براي

‌آورد. بدست ب��يزي ش��بكه س��اختار ساختن براي ايده‌اي (‌مي‌توان2) فرمول از استفاده با‌روش ص��ريح ط��ور به ولي دارد، مع��ني‌اي چه ب��يزي شبكه يك كه مي‌كند مشخص فرمول اين

‌توجه نمي‌س��ازد.‌بايد معل��وم باش��د، قلم��رو از مناسب نمايش يك كه طوری را شبکه ساختن كه است متغيرها بين وابس��تگي از خاصي ن��وع بر فرض شبكه يك در داشت ‌واقعيت با لزوم��ا كه شبكه‌اي نه مي‌گرديم خوب شبكه يك دنبال تنها ما ندارد.‌بنابراين، تطابق ‌توام توزيع دقيقا

‌به (‌منجر2) فرم��ول كه مي‌دهيم نش��ان نباش��د(.‌ح��ال ممکن است ممكن )چون كند مدل رامي‌كند.‌ كمك شبكه ساخت فرايند به كه مي‌شود شرطي استقالل‌هاي مورد در فرضیchain) زنج��يره‌اي ق��انون به توجه با rule)توزيع عنصر يك احتم��ال مي‌ت��وانيم احتم��االت، ‌در‌بصورت: را توام

وقتي بيزي شبكه كه مي‌بريم پي (،2) فرمول با فرمول اين مقايسه بنويسيم.‌با ‌برابر دقيق��اباشيم: داشته شبكه در متغير هر براي كه است توام توزيع(3)‌‌‌‌‌شبكه كه مي‌كند (‌مشخص3) باشد.‌فرمول كه فرض اين با

وقتي تنها بيزي ‌تم��امي از مس��تقل ش��رطي بط��ور متغ��ير هر كه است ت��وام توزيع برابر دقيقا‌يك بخ��واهيم كه ص��ورتي در باش��د.‌بن��ابراين، رئ��وس انديس ترتيب در بعدي سئور متغيرهاي

‌وال��دهاي تا داريم ني��از باش��د، نزديك توام توزيع به خوبي حدي تا كه بسازيم خوب بيزي شبكه‌به منتسب راس وال��دين بايد شود.‌يعني حفظ خاصيت اين كه كنيم انتخاب طوري را راس هر

‌كنيم. انتخاب دارند مستقيم تاثير روي بر كه به منتسب رئوس از را، متغير MaryCalls وال��دين تع��يين تنها و س��اخته‌ايم ‌را3 شكل شبکه از قسمتی كنيد، فرض مثال، براي

‌كه ك��نيم انتخاب متغير اين از قبل متغيرهاي از بايد را متغير اين راس است.‌والدين باقيماندهمي‌شود. انتخاب آن والد عنوان به مي‌گذارد، تاثير آن بر مستقيم ‌بصورتAlarm تنها چون

‌را توام توزيع كه حال همان در مي‌توانند متغيرها استقالل گرفتن نظر در با بيزي شبكه‌هاي‌اس��تقالل كه قلمروهايي در باشند.‌اما قبول قابل هم محاسباتي نظر از ميدهند، نشان بخوبي

‌بين وابس��تگي موارد، بعضي كنند.‌در كمكي نمي‌توانند نيز شبكه‌ها اين است، كم متغيرها بين‌مقداري رفتن دست از مقابل در تا نمي‌شود، گرفته نظر در نيست قوي آنچنان كه متغيرهايي

‌متغيرها ك��ردن اضافه ترتيب اين، بر شود.‌عالوه قبول قابل محاسباتي نظر از شبكه دقت، از‌مناس�بي ش�بكه مي‌تواند كه قلم�رو‌اي ب�راي مي‌تواند و م�وثر بس�يار هم ش�بكه س�اختار براي‌ده��د.‌اين نتيجه محاس��باتي لح��اظ از قب��ول غيرقابل و زي��اد يال‌ه��اي با ش��بكه يك باشد داشته‌مي‌كنند روب��رو احتم��االتی حس��اب س��ختي با را ما بلكه دارند، بيشتري يال‌هاي تنها نه ها شبكه باشد مي‌تواند پيچي��ده بس��يار كه ‌و آژير درآم��دن بص��دا ص��ورت در زلزله وق��وع احتم��ال )مثال

دزدي(. گرفتن صورتبيزي شبكه هاي در شرطي استقالل رابطه هاي2-2‌اس��تفاده چگونه داديم نش��ان و كرديم ارائه بيزي شبكه‌هاي براي عددي مفهوم يك كنون تا‌را ك��ار اين ب��رعكس ما حقيقت، آورد.‌در بدست را بيزي شبكه ساختار مي‌توان مفهوم اين از‌کد ش��رطي وابس��تگي‌هاي )كه س��اختاري مف��اهيم از می‌ت��وانيم دهيم.‌ما انج��ام مي‌توانيم هم‌و ش��رطي احتم��االت جدول‌هاي آوردن بدست مي‌دهد(‌براي نشان را گرافي ساختار در شده‌ص��ورت دو از يكي با س��اختاري كنيم.‌مف��اهيم استفاده عددي مفاهيم آوردن بدست نتيجه، درشود: داده مي‌تواند هستند معادل كه زير‌وال��دهاي كه ص��ورتي در است خود غيربچه گره‌هاي از مستقل شرطي بصورت گره يك �1‌داده ص��ورت ‌درEarthquake ‌وBurglary ‌ازJohnCalls ،2 ش��كل در مث��ال براي و باشند داده را آن

است. ‌مستقلAlarm مقدار بودن شده‌ش��ده داده ص��ورت در ش��بكه ديگر گره‌ه��اي تمامي از مستقل شرطي بصورت گره يك �2‌ش��ده داده ص��ورت در ديگر عب��ارت به )يا آن فرزن��دان والدهاي و فرزندان آن، والدهاي بودنMarkov) م���اركوفي پوشش ب���ودن Blanket))‌‌آن ‌‌وJohnCalls از ‌مس���تقلBurglary ‌اس���ت.‌مثال

MaryCallsمقادير كه صورتي ‌در Alarmو‌ Earthquakeاست. باشند، شده ‌داده‌ج��داول و استقالل‌ها بيان نوع اين است.‌از ‌آمده3 شكل در نمايش نوع دو اين از توصيفي‌مف��اهيم و ع��ددي مف��اهيم آورد.‌بن��ابراين بدست را ت��وام توزيع مي‌ت��وان ش��رطي احتم��االتهستند.‌ معادل ساختاري

معمول. صورت دو به ساختاری مفاهيم ‌ارائه:3 شکل

شرطي توزيع هاي كارآمد نمايش2-3‌يك وال��دهاي تع��داد اگر ح��تي که داشت توجه بايد ش��رطي احتم��االت جدول تعيين مورد در‌زي�ادي دانش ب�ه ك�ه ش�ود حس�اب گ�ره آن ب�راي مق�دار باي�د باش�د، كوچ�ك ع�دد ي�ك گ�ره‌ك��نيم ف��رض كه است ح��االت ب��دترين اين حقيقت، اس��ت.‌در نياز مقدار تعداد اين تعيين برای‌بين اس��تاندارد و مش��خص رابطه يك مواقع بس��ياري و است دلخ��واه والدين و فرزندان رابطه

س��اده را ش��رطي توزيع تعيين كار كه است برقرار بچه و والدها مقادير ‌گ��ره يك مي‌كن��د.‌مثال است ممكن باشد. خود والدين بولي مقادير فصل لزوما

‌اين دارن��د.‌نم��ايش پيوس��ته‌ متغيره��ايي واقعي دني��اي مس��ائل از بس��ياري اين، بر عالوه‌روش دو م��وارد اينگونه نمي‌باش��د.‌در ممكن ج��دول بص��ورت متغيرها اين ش��رطي احتماالت

‌ايج��اد و است پيوس��ته متغيره��اي مق��ادير ك��ردن گسس��ته روش مي‌ش��ود.‌يك اس��تفاده كلي‌كه است اين روش اين اس��ت.‌مش��كل آنها گسسته مقادير براي شرطي احتماالت جدول‌هاي‌ب��زرگ بس��يار ن��يز جداول اندازه آن، بر عالوه و مي‌كند افت شدت به آن دقت و روش كارايي

‌از متن��اهي مجم��وعه‌اي با كه اس��تاندارد پيوس��ته توزيع‌ه��اي از اس��تفاده ديگر مي‌ش��ود.‌روش مي‌ش�وند، تعري�ف پارامتره�ا ‌بس�يار و اس�ت پ�ارامتر دو ش�امل نرم�ال توزي�ع ي�ك اس�ت.‌مثال

مي‌رود.‌ بكاربيزي شبكه هاي يادگيري2-4

‌يك ب��راي حتي شبكه کامل ايجاد كه است اين بيزي شبكه‌هاي از استفاده مشكالت از يكي‌ب��يزي ش��بكه‌هاي ي��ادگيري ب��راي زي��ادي تالش‌ه��اي باشد.‌بن��ابراين، مشكل مي‌تواند هم خبره

‌آن کننده تعيين شرطي احتماالت جداول و آن ساختار بيزي شبكه هر است.‌در گرفته صورت‌خودكار يادگيري کرد.‌براي تعيين را مورد دو اين يادگيري فرايند با بتوان بايد هستند.‌بنابراين،

‌ش�ده نه��اده بنا متغيرها بين وابس��تگي تع��يين پايه بر اص��لي ه��ای روش از يكی ش�بكه س�اختار‌ش��ده‌اند.‌با ط��راحي آن��تروپي معي��ار مانند زيادي معيارهاي وابستگي‌ها اين تعيين است.‌براي ك�ه روشی مانن�د معياره�ا اين از اس�تفاده ‌نس�بت را متغ�ير ه�ر وابس�تگي شد، داده توض�يح قبال

‌بيشتر آستانه‌اي يك از وابستگي‌شان معيار كه را آنها و مي‌سنجيم متغيرهاي به‌به متغيرها همه مقدار اگر ساختار، تعيين از مي‌كنيم.‌پس انتخاب والدهاي عنوان به بود،‌ش��مردن و نمونه تع��دادی )گرفتن معمولي احتمال تخمين از باشند، مشاهده قابل كامل طور‌قابل متغيرها از بعضي مي‌كنيم.‌اگر نمونه(‌استفاده مجموعه اين در رويداد يك اتفاقات تعداد

‌احتم��االت ج��داول مق��ادير مي‌ت��وان ن��ورونی شبكه يك آموزش از استفاده با نباشند، مشاهدهگرفت. ياد را شرطي

‌به مرب��وط م��وارد و آنها مف��اهيم ب��يزي، ش��بكه‌هاي م��ورد در مختص��ري توض��يحات ت��اكنون‌اس��تنتاج مي‌مان��د، باقي كه نكته‌اي تنها شبكه طراحي از پس نهايت شد.‌در ارائه آنها طراحي

مي‌باشد. آنها بردن بکار در ما اصلي هدف كه است شبكه‌ها اين با

بيزي شبكه هاي در دقيق استنتاج- 3 كه هم����انطور ‌به ج����واب احتم����الي، سيس����تم‌هاي ب����راي پايه عمل يك ش����د، گفته قبال

‌با را متغيرها از مجموعه يك ب��راي خ��اص مق��اديري وق��وع احتم��ال كه است درخواس��ت‌هايي‌بدانند. مشاهده(‌مي‌خواهند متغيرهاي مقداردهي )يك مشاهده تعدادي بودن شده داده فرض‌‌نش�انمي‌ك�نيم.‌ اس�تفاده ش�ده، ‌مع�رفي1 قس�مت در آنچ�ه مانن�د ای نمادگ�ذاري از اينج�ا در

‌نشان ، مشاهده متغيرهاي مجموعه دهنده نشان درخواست، متغير دهنده‌مشاهده كه متغيرهايي دهنده نشان و متغيرهاي براي شده مشاهده مقادير دهنده

‌است.مي‌گويند(‌ نيز مخفی متغيرهاي آنها به )كه نشده‌اند‌بصورت معمول درخواست است.‌يك برابر متغيرها كل مجموعه بنابراين

در جزX كه كرده‌ايم فرض سادگي براي اينجا است.‌ ‌شده مشاهده متغيرهاي ‌‌توض��يحات تعميم زيرا است، متغير يك مورد در تنها درخواست و هستند بولي متغيرها نيست،

است.‌ امكان‌پذير آساني به كلي حالت به

احتمالي عناصر تك تك محاسبه بوسيله استنتاج3-1‌تع��دادي تك‌تك جمع بصورت مي‌تواند درخواست يك محاسبه كه داديم ‌توضيح1 قسمت در‌از اس�تفاده با درخواس�ت، يك به ج�واب ديگ�ر، عب��ارت بپذيرد.‌با صورت توام توزيع عناصر از

بيزي شبكه يك كه آنجايي است.‌از (‌امكان‌پذير1) فرمول ‌مي‌دهد نش��ان را ت��وام توزيع دقيقا‌باش��د( صادق متغيرها وابستگي گراف بودن جهت‌دار دور بدون گراف خاصيت كه صورتي )در‌در عب�ارت ه�ر ك�ه مي‌ده�د (‌نش�ان2) فرم�ول ك�ه آنج�ايي از روش�ن‌تر، عب�ارت ب�ه و

‌بصورت بيزي شبكه است، محاسبه قابل شرطي احتماالت ضرب بصورت (‌چگونه1) فرمولدهد.‌ جواب درخواست‌ها به مي‌تواند دقيق‌محاسبه است.‌زيرا از عناصر تك تك محاسبه بوسيله استنتاج كه داشت توجه بايد‌شامل را حالت حالت بدترين در مي‌تواند و دارد ضرب به نياز عبارت‌توضيح به مثال يك ارائه با مي‌كنيم سعي مي‌شود.‌حال منجر ضرب به كه شود

مي‌رساند. دقيق استنتاج براي الگوريتم يك به را ما كه بپردازيم ايده‌ايدر نظر در را درخواست ‌اينجا بگيريد.‌‌ح�رف گ�رفتن نظر در (‌با1) فرم��ول به توجه ‌هس��تند.‌باAlarm ‌وEarthquake مخفي متغيره�اي

داريم:‌ متغيرها دادن نشان براي اسم‌ها اول

مي‌يابيم: دست زير بصورت عبارتي به بيزي شبكه ساختار به توجه با

برايB متغير دلخواه مقداردهی يک احتمال معادل اينجا در که است.‌ ‌اين محاسبه ‌‌هايي بهبود ولي مي‌باشد، آمده‌اند بدست ‌ضرب4 از كدام هر كه ‌عبارت5 جمع به نياز عبارت

‌گ�يري مجم�وع متغيره�اي از ‌مس�تقلش�ود.‌ مش�اهده مي‌توان�د عب�ارت در بيش�تر دقت ب�اهمچنين انتقال مجموع‌ها بيرون به مي‌تواند و است ‌مجموع خارج به مي‌تواند يابد.‌مي‌رسيم: زير فرمول به نكات اين گرفتن نظر در يابد.‌با انتقال روي بر گيري

‌ش�ده داده ‌نش��ان4 ش�كل در اس�ت، به��تر بس��يار که باال عبارت براساس محاسبه ساختاراست.

.بهينه‌تر عبارت محاسبه با درخواست به ‌جواب:4 شكل

متغير حذف الگوريتم3-2‌ح��ذف با مي‌تواند عناص��ر، تك ‌به تك محاس��به الگ��وريتم شد، ديده باال مثال در كه همانطور

‌است اين اصلي ايده واقع يابد.‌در بهبود عبارت، ساختار به توجه با تكراري محاسبات يكسري‌مق��دار از ب��ود نياز عبارت اين به که بعد دفعات و مي‌كنيم محاسبه بار يك تنها را عبارت هر كه

‌به منجر اي��ده مي‌باش��د(.‌اين پويا برنامه‌نويسي ن��وعي )اين ک��نيم اس��تفاده ش��ده محاس��به‌به راست از كه مي‌كند عمل ص��ورت اين به خالصه بط��ور كه مي‌ش��ود متغ��ير ح��ذف الگوريتم

‌مي‌كن��د. ح��ذف تك‌تك را آنها متغيرها حالت‌ه��اي محاس��به با و مي‌كند ح��ركت عب��ارت در چپ‌آن ب��راي تنها متغ��ير هر روي ك��ردن جمع و مي‌ش��ود ذخ��يره آين��ده اس��تفاده ب��راي مياني نتايج

‌كه داشت توجه مي‌گ��يرد.‌بايد ص��ورت اس��ت، وابس��ته متغ��ير اين به كه عب��ارت از قس��متي‌در و است مياني نتايج جداول اندازه به وابسته متغير حذف الگوريتم مكاني و زماني پيچيدگيمی‌شود.‌ ‌ديده5 شکل در الگوريتم باشد.‌اين از مي‌تواند حالت بدترين

متغير. حذف ‌الگوريتم:5 شکل‌خطي پيچي��دگي الگ��وريتم اين ب��يزي ش��بكه‌هاي از پرك��اربرد و خ��اص دس��ته‌اي ب��راي اما

‌كه هس��تند آنهايي شبكه‌ها، از دسته دارد.‌اين شرطي احتماالت جداول عناصر تعداد براساس‌چند يا و همبند يك شبكه‌هاي آنها به و دارد وجود جهت بدون مسير يك تنها آنها راس دو هر بين

‌ج��داول، عناصر مق��دار براس��اس خطي پيچيدگي داشت توجه ‌مي‌گويند.‌بايد(polytree) درخت‌به باش��د، مح��دود گره‌ها كل تع��داد از مس��تقل ب��اال حد يك به گره‌ها تم��امي والدهاي تعداد اگر

‌ش��بكه‌هاي اس��ت.‌ب��راي ش��بكه گره‌هاي تعداد اساس بر استنتاج فرايند كل بودن خطي معني‌نم��ايي پيچي��دگي ح�الت ب��دترين در مي‌تواند متغ��ير ح�ذف الگوريتم نباشند، همبند يك كه بيزيباشد(. محدود ثابت باالي حد يك به گره‌ها والدهاي تعداد اگر )حتي باشد داشته

بيزي شبكه هاي در تقريبي استنتاج- 4‌و زم��اني پيچي��دگي نظر از ب��يزي ش��بكه‌هاي در دقيق اس��تنتاج ش��د، دي��ده كه هم��انطور‌مش��كل اس��ت.‌اين نم��ايي ح��الت ب��دترين در و نمي‌باشد عملي بسياری مسائل در حافظه‌اي

‌در س��عي ش��بكه از نمونه‌گ��يري از اس��تفاده با كه شد الگوريتم‌ها از جدي��دي دسته ايجاد باعث‌روش دسته دو اينجا دارند.‌در درخواست سوال مورد احتمال از مناسب تقريب يك به رسيدن‌بط��ور هس��تند، م��اركوني زنج��يره نمونه‌گيري و مستقيم نمونه‌گيري كه الگوريتم‌ها از معروفمي‌شود. داده توضيح مختصر

مستقيم نمونه گيري روش هاي4-1‌مي‌ده��د. نشان بيزي شبكه‌ كه است توزيعي به توجه با نمونه‌گيري روش‌ها اين اصلي ايده‌از كه نم��ونه‌اي هر يع��ني مي‌باشد، مشاهدات وجود ساده ايده اين اعمال در مشكل مهمترين

‌باش�د. س�ازگار ش�ده مشاهده متغيرهاي مقدار با بايد و نمي‌باشد معتبر مي‌شود گرفته شبكه دومي كه است شده ارائه روش دو مشكل اين حل براي دارد. بيشتري كارايي معموال

كردن رد با نمونه گيري4-1-1‌و مي‌گيرد نمونه تعداد بيزي شبكه مي‌كند.‌از استفاده آمار در قديمي ايده يك از روش اين‌نظر در تقري��بي احتم��ال محاس��به فرايند در را هس��تند س��ازگار مش��اهدات با كه آنه��ايي تنها

‌كه مي‌شود اثبات داشت، توجه است.‌بايد شده داده ‌نشان6 شكل در الگوريتم مي‌گيرد.‌اين‌به نمونه‌ها تع��داد اگر مي‌ده��د.‌يع��ني نتيجه را ش��رطي توزيع از س��ازگار تقريب يك روش اين

مي‌كند.‌ ميل توزيع واقعي مقدار به تقريب كند، ميل بي‌نهايت

کردن. رد با نمونه‌گيری ‌الگوريتم:6 شكل

وزن دار نمونه گيري4-1-2‌براي كه مي‌باشد وزن‌دار نمونه‌گيري مستقيم، نمونه‌گيري روش‌هاي از روش دسته دومين

‌روش ب��زرگ مش��كالت از اس��ت.‌يكي ش��ده ط��راحي ردك��ردن با نمونه‌گ��يري مش��كل حل‌در و باشد كم مش��اهدات وق��وع احتم��ال اس��ت، ممكن كه است اين ردك��ردن با نمونه‌گ��يري

‌كمي خيلي نمونه‌ه��اي باقيمان��دن ب��اعث مي‌ش��ود.‌اين رد نمونه‌ها از اصلي قسمت يك نتيجه، و نمي‌باشند مناسب خوب، تقريب براي كه مي‌شود ‌قلمروه��اي در روش اين از استفاده عمالنمي‌باشد. امكان‌پذير پيچيده

‌تنها كه مي‌كند رفع ش��كل اين به را ردك��ردن با نمونه‌گ��يري مش��كل وزن‌دار نمونه‌گ��يري‌‌راE متغيره��اي مق��ادير روش هس��تند.‌اين مش��اهدات با س��ازگار كه مي‌كند ايج��اد نمونه‌هايي

‌داشت توجه مي‌كن��د.‌بايد ‌نمونه‌گ��يريY ‌وX متغيره��اي مقادير از تنها و مي‌گيرد نظر در ثابت‌را نمونه‌ها تع��داد تنها نمي‌ت��وان و نمي‌كند نمونه‌ها به يكس��اني توجه نمونه‌گ��يري ن��وع اين كه

‌وزني نم��ونه‌ هر به دليل ك��رد.‌بهمين اس��تفاده درخواست‌ها موردنظر احتماالت محاسبه براي‌از و مي‌گ��يرد نس��بت ديگر متغيره��اي مق��ادير به توجه با مش��اهدات وق��وع احتمال با متناسب

‌مي‌ش��ود.‌اين اس��تفاده درخواست م��وردنظر احتم��ال محاس��به ب��راي نمونه‌ها وزن‌ه��ای جمع‌س��ازگار تقري��بي نمونه‌گ��يري، روش اين كه داشت توجه است.‌بايد ‌آمده7 شكل در الگوريتم

‌مي‌دهد. نتيجه را

وزن‌دار. نمونه‌گيری :‌الگوريتم7 شكل

ماركوفي زنجيره نمونه گيري4-2‌را مق�ادير تم��امي نمونه هر توليد ب��راي مستقيم، نمونه‌گيري در شده داده توضيح روش دو‌روش‌هاي مقابل، باشد.‌در هزينه‌بر زماني نظر از است ممكن كه مي‌كنند نمونه‌گيري ابتدا از

‌مي‌آوردن��د. بدست قبلي نمونه در تص��ادفي تغيير يك با را نمونه هر ماركوفي زنجيره بر مبتني‌نمونه غيرمشاهده‌اي متغيرهاي از يكي تغير از تصادفي بصورت جديد نمونه هر دقيق‌تر، بطور‌مق��ادير مق��دار ب��ودن ش��ده داده ف��رض با متغ��ير آن از ك��ار اين مي‌آي��د.‌ب��راي بدست قبلي

‌ت���رتيب اين مي‌ش���ود.‌به نم���ونه‌برداري قبلي، نمونه در آن م���اركوفي پوشش متغيره���اي‌متغير‌ه��ای مختلف )مق��ادير نمونه‌ها فض��اي در ح��ركت به م��اركوفي زنج��يره نمونه‌گ��يري‌مي‌ش��ود. ‌ديده8 شكل در ايده اين براساس ساده‌اي شده(‌مي‌پردازد.‌الگوريتم غيرمشاهدهمي‌باشد. سازگار نمونه‌گيرهاي جز نيز ماركوفي زنجيره نمونه‌گيري كه كرد ثابت مي‌توان

وزن‌دار. نمونه‌گيری :‌الگوريتم8 شكل

بيشتر مطالعات و جمع بندي- 5‌ش��بكه مي‌باش��ند.‌يك قطعيت ع��دم كنترل براي قلمرو مناسب نمايش يك بيزي شبكه‌هاي

‌توزيع يك راس هر و تصادفي متغيرهاي آن رئوس كه است جهت‌دار دور بدون گراف يك بيزي‌نش��ان ب��راي مناسب راه يك ب��يزي ش�بكه‌هاي واق��ع، دارد.‌در خ��ود والدهاي براساس شرطي‌مي‌باش��ند.‌ش��بكه‌هاي مي‌كند، سريع را احتمالي استنتاج فرايند كه شرطي استقالل‌هاي دادن

‌ض��رب بص��ورت توزيع عنصر هر كه مي‌كنند تعيين قلمرو براي نيز توام توزيع يك واقع در بيزي‌ان��دازه كلي بط��ور مي‌باش��د.‌همچ��نين، رئ��وس ش�رطي احتم��االت ج��داول از عناصر تع��دادي‌احتم�االت ج�داول اين درون عناصر تع��داد از كوچك��تر نم��ايي بصورت بيزي شبكه يك گره‌هاي‌طراحي زيادي راه‌هاي شرطي توزيع‌هاي جداول كارآمد نمايش براي است.‌بنابراين، شرطي‌اس�ت. روش‌ها اين جمله از مح��دود پارامتره�اي با خ�اص توزيع‌هاي از استفاده كه است شده‌اس��ت. ش��ده ط��راحي بيزي شبكه‌هاي در كارآمد استنتاج براي زيادي روش‌هاي اين، بر عالوه

‌به منجر و نيس��تند عملي پيچي��ده قلمروه��اي در دارن��د، دقيق اس��تنتاج در سعي كه روش‌هايي‌مي‌ش�وند. م��اركوفي زنجيره نمونه‌گيري و دار وزن نمونه‌گيري مانند تقريبي استنتاج روشهاي‌ب��راي كني��د.‌همچ��نين، [‌رج��وع1] شش فصل به ب��يزي ش��بكه‌هاي كاربرده��اي مطالعه ب��راي‌‌و13 فص��ول به اس��تنتاج روش‌ه��ای بيش��تر جزئيات مشاهده و ها شبكه اين با تر جامع آشنايي

‌[3] مطالعه بيزي، شبكه يادگيري روش‌هاي عالقمند خواننده نهايت، كنيد.‌در [‌مراجعه‌2]14يافت.‌ خواهد مفيد را

مراجع[1] T. Mitchell, Machine Learning, McGraw Hill, 1997.

[2] S. Russell and P. Norvig, Artificial Intelligence: A Modern Approach, second edition, Prentice Hall, 2003.

[3] D. Heckerman, D. Geiger, and D. M. Chickering, Learning Bayesian Networks: The Combination of Knowledge and Statistical Data, Machine Learning, vol. 20, pp. 197-243, 1995.