"" اميرکبير صنعتي دانشگاه ""اطالعات فناوري و کامپيوتر مهندسي دانشکده

شيري : دکتر استاد

تفضلي : فائزه نگارش

84131029: دانشجوئي شماره

1385 بهار

چکيده

از بس33ياري کارايي بهبود و افزايش باعث خاص، هاي نمونه از استفاده و سازي ذخيره تص33ميم، درخت چ33ون م33واردي ش33امل باش33د. که مي ن33اظر با ي33ادگيري الگوريتمه33اي

که الگوريتمه33ايي ح33ال، اين ش33ود. با مي ش33ده توزيع ه33اي شبکه و بندي دسته قوانين ک33امال کنن33د، مي اس33تفاده افزايشي ي33ادگيري مس33ائل حل در خ33اص ه3اي نمونه از تنها

IBL(Instance هم33ان ام33ر، اين ب33راي اينجا در ش33ده بررسي ان33د. روش نش33ده بررسيBased Learning).است

از بخش33هاي از استفاده جاي به افزايشي، يادگيري الگوريتمهاي ديگر خالف برIBL در اس33تفاده مش33خص ه33اي نمونه س33ري يک از بي33ني پيش فاز طول در شده کامپايل قبل ها نمونه ميان بندي رده براي شباهت توابع از الگوريتمها اين که آنجائي از شود. و مي

باشند. مي نيز احتمالي مفاهيم تشريح به قادر کنند، مي استفاده

مطالب فهرست

5- مقدمهInstance Based Learning7 هاي - الگوريتم

IB1 7 الگوريتم IB29 الگوريتم IB311 الگوريتم

2

14جستجو الگوريتم از استفاده باIBL سازي - بهينهIBL16 هاي الگوريتم بر اي دامنه پارامترهاي - تاثير

16ويژگي هر براي رخداد احتمال تاثير k 17 پارامتر تاثير

18يادگيري منحني 19سازي ذخيره فضاي k19 بهينه مقدار 20نويز سطح تاثير

22کاربردها - برخي22ديناميک گيري تصميم درIBL از استفاده 26توابع تخمين درIBL از استفاده

28گيري - نتيجه29- منابع

اشکال فهرست

IBL8 فضاي مرزهاي – 1 شکلIB2 9 فضاي – 2 شکلIB210 در نويز به حساسيت و سازي ذخيره فضاي کاهش – 3 شکلIB212 وIB1 به نسبتIB3 در نويز فيلترهاي بهتر عملکرد – 4 شکلNN17-1 در انتظار مورد دقت بر تاثير – 5 شکلKnn18 دقت برk مقدار تاثير – 6 شکل

3

18 بهينهKNN و1NN يادگيري منحني – 7 شکل سطح به دسترسي براي نياز مورد آموزشي هاي نمونه تعداد – 8 شکل بهينهKNN و1NN براي نظر مورد دقت

19k20 بهينه مقدار – 9 شکل بهينهKNN و1NN انتظار مورد دقت بر تاثير – 10 شکل

aو مرتبط ويژگي (نويز bکالسي (نويز21

IBLT23 فرآيند – 12 شکل

مقدمه از بخش33هاي از استفاده جاي به افزايشي، يادگيري الگوريتمهاي ديگر خالف برIBL در

اس33تفاده مش33خص ه33اي نمونه س33ري يک از بي33ني پيش فاز طول در شده کامپايل قبل ها نمونه ميان بندي رده براي شباهت توابع از الگوريتمها اين که آنجائي از شود. و مي

روش33هاي واق33ع، باش33ند. در مي نيز احتمالي مفاهيم تشريح به قادر کنند، مي استفادهIBLگونه هيچ معم3وال واق3ع، آورن33د. در مي خ3اطر به را شان دريافتي داده همه دقيقا مي محاس33بات داراي گ33يري تص33ميم و گويي پيش زمان در تنها و نداشته آموزشي فاز

و گش33ته مشابه هاي نمونه دنبال به داده پايگاه در گزارش يک گرفتن با باشند. سپس،کند. مي ايجاد خروجي مقدار محاسبه برايonline محلي مدل يک

4

اند، شده گرفتهNN(Nearest Neighbor) الگوي کننده بندي دسته ازIBL الگوريتمهاي بن33دي دس33ته بيني پيش براي منتخب هاي نمونه از استفاده و ذخيره به حال عين در که

پردازد. مي س33ازگاري حفظ ش33ان، اوليه ه33دف و ب33وده افزايشي غيرNN يافته تغيير الگوريتمهاي

ب33راي ولي کنند مي خالصه را داده اگرچه باش33د، مي اوليه آموزشي مجموعه با کامل دهن33د. نمي انج33ام تالشي ن33يز جديد هاي نمونه مورد در بندي دسته دقت کردن حداکثر

،IBL الگوريتمهاي مقابل، ندارند. در توجهي نويز مساله به واقع در و ب33وده افزايش گيرند. مي نظر دز نيز را بندي دسته دقت ساختن حداکثر

ان33د. اين ش33ده ارائه سيس33تمها اين مش33کالت از ب33رخي حل ب33رايCBR سيس33تمهاي حل طي در و داده تغي33ير را ح33االت که تف33اوت اين با هس33تند، هاIBL مشابه سيستمها

،IBL واقع کنن33د. در مي اس33تفاده ن33يز ح33الت يک از بخش33هايي از مس33اله الگ33وريتم فضاي کاهش بندي، دسته براي مناسب حاالت انتخاب به که استCBR شده متمرکزکند. مي کمک ويژگيها ارتباط يادگيري و نويز کردن متعادل سازي، ذخيره

: چون مواردي به توان ميIBL مشکالت از ه33اي نمونه هس33ته ذخ33يره دليل به محاس33باتي لح33اظ از س33نگين کنن33ده بن33دي دس33ته

امک33ان ع33دم الگ33وريتم، تش33ابه تابع انتخاب به حساسيت نويز، به حساسيت آموزشي، به توجه با کم مفيد اطالعاتي حصول و مقدار فاقد ويژگيهاي يا و عددي مقادير کاربردنمود. اشاره داده، ساختار

مي ها نمونه ن33ويز س33ازي متعادل و سازي ذخيره فضاي مشکل رفع در سعي اينجا درباشد.

اس33ت. آنها س33اده ک درIBL روش33هاي ق33وت نقطه اس33ت، مش33خص که ط33ور هم33ان دارن33د. تمرکز ش33ده داده آموزشي هاي از( نمونه )بخشي برIBL سيستمهاي معموال

و مش33کالت س33بب ي33ادگيري ه33اي نمونه تنها به ها نمونه ک33ردن مح33دود که چند هرباشد. مي محدوديتهايي

اس33ت. ش33ده پرداختهIBL کنن33ده س33ازي پي33اده الگ33وريتم سه به ابت33دا بررسي اين در نمونه ب33راي جستجويي روش باال، در شده اشاره محدوديتهاي اين بر غلبه براي سپس

ت33اثير با رابطه در س33وم، بخش اس33ت. در ش33ده پيش33نهاد کلي ص33ورت به مناسب هاي از متوس33طي ح33الت آن33اليز واقع در و آن عملکرد روند بر الگوريتم مختلف پارامترهاي

بن33دي دسته از همه شده بررسي الگوريتمهاي که، است شده بحثIBL الگوريتمهاي در ي3ادگيري روش اين ک3اربرد دو به نه3ايت در کنن3د. و مي اس3تفادهKNN ه3اي کننده

است. شده اشاره توابع تخمين و(DDM) ديناميک گيري تصميم

5

Instance Based Learning الگوريتمهاي را ها نمونه که است ت33ابعي واقع است. در مفهوم يکIBL الگوريتمهاي اوليه خروجي

نمونه مجموعه استفاده چگونگي با مفاهيم کند. اين مي نگاشت مختلف هاي گروه بهشوند. مي تعيين شده، انتخاب بندي دسته و تشابه توابع توسط فعلي هايSimilarity) تشابه تابع function)آموزشي نمونه ميان تشابه : محاسبه iه33اي نمونه و

باشد. مي عددي مقادير صورت به خروجي نظرکه مورد کارائي نتايج و تشابه تابع خروجي : دريافت(Classification Function) بندي دسته تابع

مي ارائهi ب33راي اي بندي دسته که موردنظر، فضاي در موجود هاي نمونه بندي دستهدهد.

Concept) فضا روزکنن33ده به Description Updater)بن33دي دس33ته ک33ارائي : نگه33داري ،i دريافت ها. با نمونه مورد در گيري تصميم و رکوردها دس33ته و تشابه تابع خروجي

دهد. مي ارائه را يافته تغيير فضاي جاري، فضاي و بندي ن33يز مش33ابه بندي دسته مشابه، هاي نمونه استوارندکه فرض اين برIBL الگوريتمهاي

طبق بر جديد ه33اي نمونه بن33دي دس33ته براي شان محلي باياس به منجر امر دارند. اين هر ع33ددي رنج س33ازي نرمال با باياس شود. اين مي همسايگي ترين شبيه بندي دسته

آيد. مي بدست ويژگي ه33اي خالصه مثال متفاوتند، ناظر با يادگيري روشهاي ديگر از بسياري با الگوريتمها اين

ي33ادگيري، الگوريتمهاي دهند. اکثر نمي ارائه قوانين يا و تصميم درخت مانند مشخصي مي ک33ار به ش33ده ارائه ه33اي نمونه م33ورد در و آورده بوج33ود ها نمونه مي33ان از تعميمي

،IBL الگوريتمهاي مقايسه در برند. بنابراين، تعميم يک س3ازي ذخ3يره ع3دم دليل به هنگ33ام به آنها اصلي کار حال اين دارند. با عهده بر ارائه زمان در کمتري کار مشخص،

هاي نمونه ميان تشابهات مقايسه به که است، بندي دسته براي بعدي هاي نمونه ارائه نعميم ذخ3يره به ني3از ش3دن ط3رف بر ب3اعث نکته پردازد. اين مي جديد و شده ذخيره گ33رفتن نظر در با س33نگين، بروزرس33اني ه33اي هزينه نيازمند که شود، مي فضا در ثابت

باشد. مي شده، بيني پيش خطاي

6

IB1 الگوريتم زير ص33ورت به آن تش33ابه تابع که باشد، مي نمونه پايه بر يادگيري الگوريتم ترين ساده

است:

در نم33ادي و ب33ولين مق33ادير ب33راي و عددي مقادير براي کهميشود. گرفته نظر

يابند. مي بهبود آموزش ممتد-با خطوط با شده داده نشان– IBL فضاي مرزهاي– 1 شکلباشند. مي هدف فضاي همسايگي چهار کننده تعيين چين، نقطه خطوط

IBLمنطقا ش33ده اده ويژگيهاي چنانچه کند. مثال نمي عمل درستي به موارد برخي در که است ش33ده نيس33ت. ث33ابت يادگيري به قادر نباشد، کافي هدف مفهوم تشريح براي

دارد. بهينه بيز روش برابر دو خطايي ميزانNN روش معمول، حالت در از بزرگي کالس روي برIBL بودن اجرا قابل دهنده نشان واقع در الگوريم، اين تحليل نياز مورد هاي نمونه تعداد باالي حد که گردد مي مشخص ضمن در و باشد، مي فضاهاباشد. مي فضا آن حدود اندازه به نيز اي چندجمله يادگيري براي

مفاهيم برخيIBL الگوريتمهاي که اي نمونه سايزهاي : ايجاد(Coverage lemma) پوشش -اصل

دارند. نياز مناسب عملکرد براي کهx از فاصله به نقاطي :مجموعه)(x –ball حول -فاصله استC از نقاطي همهC مجموعه يک هسته ،>0 هر : براي)(core- -هسته

باشد.C داخل نيز آنها معمول فاصله کهسازي ذخيره فضاي کاهش

براي که هستند هايي نمونه تنها ،C به مربوط هسته و همسايگي ميان هاي نمونه قابل ک33اهش باش33ند. بن33ابراين مي ني33از م33ورد فضا مرزه33اي از دقيقي تخمين ايج33اد

خ33واهيم اطالع33ات حاوي هاي نمونه ذخيره تنها، با سازي ذخيره فضاي در اي مالحظه شود. با نمي شناخته فضا مرزهاي کامل شناخت بدون مجموعه اين داشت. متاسفانه

ش33ود. مي زده تخمينIB1 ش33ده بندي دسته اشتباه به هاي نمونه مجموعه با حال اينباشد. ميIB2 الگوريتم پايه مساله اين

IB2 الگوريتم

7

بن33دي دس33ته اشتباه به هاي نمونه تنها که تفاوت اين با است،IB1 مشابه الگوريتم اينکند. مي ذخيره را شده

ب33ود. اي33ده خواهدIB1 تخمين خ33وبي به تقريبا آموزشي نمونه100 از پسIB2 تخمين نمونه ش33ده، بندي دسته اشتباه به هاي نمونه اکثريت که است آن الگوريتم اين اصلي فضا به مرب33وط هسته خارج و همسايگي داخل در که هستن مرزها به نزديک هاييهستند. واقع

يابد. مي بهبود آموزش با نيزIB2 فضاي– 2 شکل

به طور قابل مالحظه اي، در م33واردي ک33ه نمون33هIB2فضاي ذخيره سازي مورد نياز خواهد ب33ود. ب33اIB1ها داراي تفاوتهاي بارز در فاصله شان از مرزها هستند، کمتر از

نس33بت ب33ه س33طح ن33ويز در مجموع33ه آموزش33يIB1 بس33يار بيش33تر از IB2اين ح33ال، حساس است، که سطح نويز در واقع احتمال جايگزيني مقدار هر ويژگي با مقداري تصادفي از فضاي ويژگيهاست. اين مساله بدان دلي3ل اس33ت ک3ه نمون3ه ه3اي ح33اوي نويز، به طور طبيعي اغلب به اشتباه دسته بندي مي شوند. همچ3نين فض3اي ذخ3يره

به سرعت با ب33اال رفتن س33طح ن33ويز، اف33زايش مي ياب33د. اين اف33زايشIB2سازي در باالتر از ميزان تغيير خطي در سطح نويز است، زيرا نمونه هاي نويز دار ب33ا احتم33ال

خيلي زياد به اشتباه دسته بندي شده و ذخيره مي شوند.

نويز سطح به نسبت ولي دهد مي کاهش را سازي ذخيره فضايIB2– 3 شکل

8

اند( شده گيري ميانگين تکرار50 طي در است.)نتايج حساس

IB2 با رابطه در تجربي تحقيقاتIB2س3ازي ذخيره فضاي اي مالحظه قابل طور به است قادر IB1ده3د. در ک3اهش را دقت اس33ت، ن33ويز فاقد نس33بتا ک33اربردي فض33اي که هنگامي است، شده مشاهده واقع

را بن33دي دسته دقتIB2 که اي درجه ميزان است. بنابراينIB1 مانندIB2 بندي دستهشد. بررسي پيچيده هاي داده پايگاه مورد در ميکند، الزم فضاي کاهش فداي

داده هاي پايگاه ويژگيهاي– 1 جدول

نياز مورد فضاي درصد و استاندارد خطاي دقت درصد– 2 جدول

به مش33ابه، بن33دي دس33ته دقت داش33تن عين درIB2 نويز، فاقد هاي داده پايگاه مورد در،(sparse)پراکن33ده هاي داده روي تست داشت. با نياز تري پايين سازي ذخيره فضاي

در چنداني کاهش هرچند و نکرده عمل قبل حالت خوبي به ويژگيها، گوناگوني دليل به در که نداش33ت. چ33را اي مالحظه قابل ک33اهش ن33يز نياز مورد فضاي ولي نداشت، دقت

فض33اهاي م33ورد ن33دارد. در وج33ود بخش هر مرزه33اي تع33يين براي کافي نمونه فضا، هر از تر پ33ايين مشخصا که بن33دي دسته هستيم. دقت کاراوي سريع کاهش شاهد نويزدار،

IB1،زيرا است IB2را دار نويز هاي نمونه بيشتر متعاقبا و کرده بندي دسته اشتباه به جديد هاي نمونه نادرست بندي دسته باعث بعدا خود نيز ها نمونه اين و کند مي ذخيره

گردد. ميIB3 الگوريتم آمدن بوجود باعث مشکل شوند. اين مي IB3 الگوريتم

اينکه تع33يين ب33راي روشي از که تف33اوت اين با باش33د، ميIB2 مش33ابه الگ33وريتم اين کنن33د، مي عمل خ33وبي به بن33دي، دس33ته ط33ول در ش33ده ذخ33يره ه33اي نمونه از کداميک الگوريتمه33اي و بن33دي دس33ته توابع باش33دو ميIB2 مانند تش33ابه، کند. تابع مي استفاده

باشند: مي ذيل تفاوتهاي شامل بروزرساني

9

1 . IB3دسته کارائي حاوي که کند، مي نگهداري را نمونه هر بندي دسته از رکوردي باشد. مي نمونه آن بندي

ک33داميک نمايد تعيين تا کند مي اعمال ها داده روي بر را اطميناني آزمون . همچنين2 متعاقبا باش33ند. و مي ن33ويز ح33اوي ک33داميک و خوب، هاي کننده بندي دسته ها نمونه از

کند. مي خارج بندي دسته از را هايي نمونه چنين،t آموزشي نمونه هر ازاي به نگه33داري ه33اي نمونه همه براي بندي دسته رکوردهاي

هاي نمونه از يک هيچ چنانچه شود.، مي بروزرسانيt همسايه ترين شبيه مشابه شده ح33داقل که شود مي سازي شبيه طوري الگوريتم اند، نشده پذيرفته هنوز شده ذخيره

مق333دار يک نش333وند، پذيرفته نه333ايت در يک هيچ اس333ت. اگر ش333ده پذيرفته نمونه يک و ب33وده ش33ده ذخيره هاي نمونه تعداد د که شود مي انتخاب[n,1] فاصله ازr تصادفي

گردد. مي بروزرساني شده، ذخيره مشابه نمونهr به متعلق بندي دسته رکورد بايس33تي که رکورده33ايي مجموعه باش33د، پذيرش مورد نمونه يک حداقل که صورتي در

ش33ده نرمال فاصله با برابر شعاعي باt جاري آموزشي نمونه حول شوند، بروزرساني نمونه ي33افتن عدم حالت اند. در شده واقع آن، قبول قابل همسايه نزديکترين وt ميان دورت33رين و نزديک33ترين فاص33له بين تص33ادفي مقداري با برابر شعاع مقدار قبول، قابل

باشد. ميt همسايگيIB3مالحظه قابل ط33ور به آن بن33دي دس33ته دقت که پذيرد مي را نمونه يک صورتي در را آن ص33ورت اين غير در و باشد، مربوطه کالس شده مشاهده فرکانس از بزرگتر اي

کند. مي حذف در اس33ت، ش33ده داده قرار بااليي اطمينان درجه پذيرش براي اطمينان، آزمون اين در

با حتي هايي نمونه حذف بر تمايل باشد. زيرا مي برعکس نمونه يک رد براي که حالياست. متوسط بندي دسته دقت

کنند. مي عملIB2 وIB1 از بهترIB3 نويز فيلترهاي– 4 شکل

10

آنها دار، نويز هاي نمونه بندي دسته رکورد که گيرد مي نظر در طور اينIB3 واقع، در هم باالتري يادگيري کارائي از کل طور کند. به مي مشخص نويز فاقد هاي نمونه از را مي برخ33وردار کالس فض33اي از ن33ويز ک33ردن فيل33تر هم و س33ازي ذخيره فضاي مورد در

IB1 به نس33بت تري پايين نياز مورد فضاي و باالتر بندي دسته دقت با حقيقت باشد. در،IB2 و در ح33ال، اين کن33د. با مي عمل نويزدار، آموزشي مجم.عه داشتن صورت در

دليل ب33دان امر ياب33د. اين مي ک33اهش کمي بن33دي دس33ته دقت نويز، وجود عدم صورت را پ3ايين بن3دي دس3ته دقت با م3رز به نزديک ه3اي نمونه برخي اشتباه بهIB3 که است ح33اوي ها نمونه که ب33ود خواهد بهينه زم33انيIB3 الگوريتم کند. بنابراين مي تصور نويز غ33ير باشند. در داشته همسايگانشان مشابه اي بندي دسته ها نمونه اغلب و بوده نويزبود. خواهدIB2 از تري پايين يادگيري نرخ داراي صورت، اين

در واقع باش33د. در مي ها نمونه ويژگيه33اي تع33داد به وابسته بسيارIB3 يادگيري کارائي وIB1 م33ورد )در باشد مي ضعيفي بسيار الگوريتم نامربوط، ويژگيهاي داشتن صورت

IB2است(. طور همين نيز ک33اهش ب33راي راه يک تنها س33ازي، ذخ33يره فضاي کاهش تکنيکهاي که، گفت توان مي

س33اختارهاي افزايش33ي، ي33ادگيري الگوريتمه33اي هستند. بسياري بندي دسته هاي هزينه براي نياز مورد مرجع ويژگيهاي تعداد کاهش براي توانند مي که کنند مي ايجاد اي داده اين33دکس ب33راي توانند مي ن33يز س33اختاري روند. هرمه33اي کار به بندي، دسته بيني پيش

روند. کار بهIBL الگوريتمهاي در ها نمونه

جستجو الگوريتم از استفاده باIBL سازي بهينه ط33راحي است ممکن بس3ياري ط33راحي ق3وانين از اس3تفاده با اطالع3اتي سيس3تمهاي از که اي پيچي33ده سيس33تمهاي تا س33اده حافظه پايه بر روش33هاي از ق33وانين ش33وند. اين

و استدالل از استفاده با زيادي هاي داده کردن فراهم منظور به کمي، نسبتا اطالعات

11

) نمونه پايه بر ي33ادگيري کن33د. روش33هاي مي تغي33ير کنن33د، مي اس33تفاده روش33ها ديگر ياIBL)، در موج33ود ابتک33ار و حافظه بر مبت33ني روش33هاي س33ادگي از ترکي33بي واقع در

مي ذخ33يره را س33اده داده سري يکIBL روشهاي واقع، باشد. در مي پيچيده روشهاي با ن33يز، باشند نمي موجود واضح طور به که اطالعاتي آوردن بدست به قادر ولي کنند،

باشند. مي استدالل روشهاي از استفاده مجموعه يک وO اش3ياء از مجموعه يک داش3تن باش3د: با مي زير ص33ورت به ي3ادگيري،C کالس مح33دود يک به را ش33يء يک که است نگاشت نمون33ه، فض33اي يک

مح33دودي تعداد از استفاده با يادگيري در سعي واقع درIBLکند. مي مربوط کالس باش3333333د. مي اش3333333ياء از مح3333333دودي مجموعه که دارد، فض3333333اها اين از

کنند. مي عمل موفق کامال معموال و آنهاست سادگي ،IBL بر مبتني روشهاي مزيت روش33ها اين در ژنتي33ک، نويسي برنامه يا و عص33بي ه33اي ش33بکه تصميم، درخت برخالف

و س33اده بس33يار فابليته33اي داراي روش33ها اين عالوه، نيس33ت. به اوليه پردازش به نيازي نمونه يک تغي33ير يا و جديد نمونه يک اف33زودن باش33ند، مي ن33يز افزايشي يادگيري کاراي

CDو ها نمونه از مح33دودي مجموعه از اس3تفاده ندارد. ولي اي اضافه عملکرد به نياز باي33اس يا و نامناسب دليل به است ممکن روش ب33راي مح33دوديت اين ايج33اد واقع در

CD به33ترين بايس33تي گ33ردد. بن33ابراين پايين دقت با بندي دسته به منجر ها، نمونه بودن براي راهنمايي عنوان به تنها آموزشي مجموعه ميان اين در و شود، انتخاب و جستجو

رود. مي کار به جستجو اينجستجو الگوريتم

ش33دن بهينه ب33راي که اس33ت، هاCD همه واقع در ش33ده، اش33اره جس33تجوي فض33اي همچن33ان جستجو فضاي حال اين شود. با محدود مشخصي مقدار به بايستي الگوريتم

،GA از اس33ت. اس33تفاده ناش33دني حل معمول، جستجوي روشهاي بربر در کل در به در اطالع33اتي گونه هيچ وج33ود ع33دم ص33ورت در فضاهايي، چنين با ارتباط قابليت دليلباشد. مي مناسب محلي، مينيمم در افتادن کمتر احتمال و ساختار مورد با حتي که است اي آموزشي هاي نمونه حذف مورد در ها، نمونه کاهش در تالش اکثر

شوند. مي بندي دسته درست نيز آموزشي مجموعه از حذف خص33وص به اش33تباه عملک3رد باعث تواند مي که است، نامرتبط ويژگيهاي ديگر مساله

روند بر ويژگيه33ايي چ33نين گردد. ح33ذفKNN مبناي بر هاي کننده بندي دسته مورد در معيار تنظيم بر عمدتا مشکل اين با مقابله گذارد. روشهاي نمي خاصي اثر بندي دسته

که است ه3اييCD از اس3تفاده روش اس3ت. يک ويژگي" متمرکز "انتخاب با و فاصله وي33ژگي يک ازاي به يکس33اني مقدار ها نمونه همه يعني تفاوتند، بي ويژگيهايي چنين به

باشند. داشته نامرتبط که دهد مي رخ هنگ33امي و اس33ت، م33رز به نزديک ه33اي نمونه مورد در توجه ديگر، نکته

خودش. کالس تا باشد نزديکتر ديگر کالس از ديگري نمونه به کالس، يک از اي نمونه،(IBL) نمونه پايه بر ي33ادگيري الگ33وريتم يک واق33ع، در الگ33وريتم اين ي33ادگيري ب33راي

مي ژنتيک الگ33وريتم از اس33تفاده با ها نمونه ب33راي جس33تجوهايي با ن33اظر(، مفهومي)با

12

به جس33تجو ه33دايت منظ33ور به تنها يادگيري براي شده داده آموزشي هاي باشد. نمونه مي آموزش33ي، ه33اي نمونه از وابس33تگي همين دليل به ش33وند. بن33ابراين مي گرفته کار

بيايد. کنارIBL شده اشاره مشکالت با تواند

IBL هاي الگوريتم بر اي دامنه پارامترهاي تاثير مع33وال و بوده يادگيري روشهاي ترين پراستفاده از يکي(IBL) نمونه مبناي بر يادگيري

بن33دي دس33ته مبن33اي بر آنها کنن33د. اک33ثر مي عمل خوبي به يادگيري مسائل با رابطه درباشند. مي(KNN) همسايگي نزديکترينK کننده

م3دل ب3يزين، روش با راKNN ي3ادگيري رفت3ار تئ33وري ص33ورت به محققين از بس3ياريPAC(probably ي33ادگيري approximately correct( ح33الت به33ترين م33دل و خط33اي ن33رخ ب33االي حد مث33ال ط33ور به که است ش33ده داده اند. نش33ان کرده مقايسه

KNNباشد. مي نامحدود يادگيري هاي نمونه تعدا داشتن فرض با بهينه بيز برابر دو در تحليلها گ33ردد. اين مي ارائهKNN کننده بندي دسته از متوسطي تحليلهاي اينجا در

ياm داش33تن با ش33ان مثبت هاي نمونه که، است کل تايn از نمونه فضايm با رابطه ايفا نقشي نه33ايي هدف در که نامربوطي ويژگيهاي و مرتبط ويژگيn از ويژگي بيشتر

وي33ژگي : نويز شود مي پرداخته نويز نوع سه بررسي به واقع باشد. در مي کنند، نميکالسي. نويز و نامرتبط ويژگي نويز مرتبط،

،n ازm تابع يک با هدف، نمونه فضاي در ارتب33اط در ب33ولين مرتبط وي33ژگيn ش33امل رخ تاn از وي33ژگيm ح33داقل چنانچه داش33ت، )مثبت( خواهدTrue مق33دار که هس33تيم

داشت. )منفي( خواهدFalse مقدار صورت اين غير در و دهند، م که است، هدف نمونه فضاهاي ازn/l ازm برايKNN انتظار مورد دقت ارائه هدفباشد. مي نامرتبط ويژگيهاي تعدادويژگي هر براي رخداد احتمال تاثير

13

تغي33ير با و داشته را دقت کمترين باشد، مرتبط ويژگيهاي رخداد احتمالp=1/2 چنانچه همه که است دليل اين به مس33اله ياب33د. اين مي اف33زايش دقت يک، يا و صفر سمت به

باشدp=0 چنانچ33ه، دارند تعلق منفي کالس به نمونه، فضاي از شده گرفته هاي نمونه،p=1 ص33ورت در و رخ33داد احتم33ال م33ورد باش33ند. در مي مثبت کالس به متعلق همه

م33ورد در ولي اس33ت، اثر بي منفي و مثبت ه33اي نمونه بر مس33لما نامرتب33ط، ويژگيهايکند. مي عملp مانند کننده بندي دسته دقت

ب33ا اف33زايش س33طح ن33ويز وي33ژگي1NNبه ازاي هر فضاي نمونه، دقت م33ورد انتظ33ار ز ب33ه م33يزان کمي ب33ه اين ن33وي1NNنامرتب33ط، کمي ک33اهش مي ياب33د. بن33ابراين دقت

است.وابسته

مرتبط ويژگيهاي برايp رخداد (احتمالNN a-1 در انتظار مورد دقت بر تاثير– 5 شکلbاحتمال) qنامرتبط ويژگيهاي براي

K پارامتر تاثير ط33ور به بهين33ه،K از بعدK اف33زايش باKNN انتظار مورد دقت نمونه، فضاي هر براي که هنگ33اميKNN بن33دي دس33ته ک33ارايي خص33وص يابد. به مي کاهش اي مالحظه قابل

است. ضعيف کامال است، آموزشي هاي نمونه تعداد به نزديکK مقدار،k مق33دار هر ازاي به انتظ33ار م33ورد دقت باش33د، نويز حاوي که حالتي در اف33زايش با

ياب33د. بن33ابراين مي ک33اهش اي مالحظه قابل مق33دار به نامرتب33ط، وي33ژگي ن33ويز س33طح هر ب33رايKNN دقت اس33ت. البته حساس نويز اين به شدت بهk مقدار از نظر صرف در خصوصا منفي ت33اثير يابد. اين مي کاهش باشد، زوج عدديk چنانچه نويزي، سطح مش33ابه کالسي ن33ويز ب33رايKNN است. رفتار اهميت حائزk زوج کوچک مقادير موردباشد. مي قبل نويز

14

ويژگيهاي و آستانه حد و نامرتبط ويژگي دو با اي (دامنهKnn . a دقت برk مقدار تاثير– 6 شکلمتغير مرتبط

bدهنده نشان منحني نامرتبط- هر ويژگي چندين و هدف نمونه فضاي5-3 شامل اي (دامنه باشد. مي مربوطه فضاي دقت باالترين

مختلف سطوح ازاي بهk مقدار از تابعي صورت بهKNN انتظار مورد دقتaو مرتبط ويژگي (نويز bکالسي (نويز

يادگيري منحني آرامي به و ش33ده ش33روع پايين ميزان از دقت يادگيري، هاي منحني در معمول طور به ي33ادگيري ن33رخ داراي ن33يز بهينهKNNياب33د. مي اف33زايش آموزشي مجموعه س33ايز با

با اغلب بهينهKNN ي33ادگيري ن33رخ واقع باش33د. در مي نمونه فض33اي هر براي مشابهي مرتبط ويژگيه33اي تع33داد به ک33امال1NN م33ورد در که ح33الي در کن33د، نمي تغي33ير مرتبطاست. وابسته

15

بهينهKNN و1NN يادگيري منحني– 7 شکلسازي ذخيره فضاي

ويژگيه33اي اف33زايش با نم33ائي ص33ورت به1NN ني33از م33ورد آموزشي ه33اي نمونه تع33داد نس33بت داراي ن33يز بهينهKNN ني33از م33ورد فض33اي يابد. همچ33نين مي افزايش نامرتبط،

توان مي ،k مقدار سازي بهينه با باشد. بنابراين مي نامرتبط ويژگيهاي تعداد با خطي بوج3ود نامرتبط ويژگيه3اي اف3زايش با که الزم، آموزشي ه3اي نمونه تع3داد افزايش از

بس33يارKNN ب33راي خوب کارائي حصول در مساله اين نمود. که جلوگيري است، امدهاست. اهميت حائز

1NN براي نظر مورد دقت سطح به دسترسي براي نياز مورد آموزشي هاي نمونه تعداد– 8 شکلنامرتبط ويژگيهاي تعداد از تابعي صورت به بهينهKNN و

k بهينه مقدار مق33دار نامرتبط، ويژگي زيادي بسيار تعداد داشتن حالت در شد، اشاره که طور هماناست. وابسته آموزشي هاي نمونه تعداد به شدت بهk بهينه

در حالتي که حاوي ن33ويز باش33يم ن33يز، اين مق33دار ک33امال نس33بت ب33ه ان33دازه مجموع33ه ، ب33ا اف33زايش تع33داد نمون33ه ه33ا حس33اسk بزرگ33تر از kآموزشي پس از مقدار بهينه

است. نويز وي33ژگي مرتب33ط ب33ه ط33ور خاص33ي ب33ر اين مق33دار م33وثر نمي باش33د. ن33ويز

16

kکالسي نيز صرف نظر از تعداد نمون33ه ه33اي آموزش33ي، ت33اثير عم33ده اي ب33ر مق33دار ندارد.

مجموعه سايز از تابعي صورت به دقت، باالترين به دستيابي برايk بهينه مقدار– 9 شکلآموزشي

نويز مختلف سطوح ازاي به آموزشي هاي نمونه تعداد از تابعي صورت بهk بهينه مقدارaو مرتبط ويژگي (نويز bکالسي (نويز

نويز سطح تاثير بهينه است.KNN قابل مقايسه با 1NN% مي باشد، دقت 0هنگامي که سطح نويز

تقريبا به صورت خطي ب33ا اف33زايش س33طح ن33ويز1NNبا اين حال، دقت مورد انتظار بهين33ه داراي ک3اهش کن3دتريKNNک3اهش مي ياب3د. در مقاب3ل، دقت م3ورد انتظ3ار

است.

17

ازاي به بهينهKNN و1NN انتظار مورد دقت بر تاثير– 10 شکلaو مرتبط ويژگي (نويز bکالسي (نويز

کاربردها برخي Dynamic Decision) ديناميک گيري تصميم درIBL از استفاده

Making)

18

IBLTگ33يري تص33ميم فرآين33دهاي زمينه در ي33ادگيري، مکانيزمه33اي ش33امل اي تئ33وري گانه سه صورت به نيز نمونه ،IBLT در ،CBR در حالت بحث است. مشابه ديناميک

شود. مي تعيين(SDU) کاربرد و تصميم موقعيت، اي مجموعه دهن33ده ارائه است. تص33ميم، محيطي حاالت از اي مجموعه موقعيت، يک مناسب گ33ذاري ارزش ک33اربرد، و باش33د، مي م33وقعيت يک بر اعمال قابل فعاليتهاي از

باشد. مي خاص موقعيت يک در تصميم يک بودنIBLTنمونه س33ري يک داش33تن معن33اي به تنها (SDU)،گ33ردآوري واقع در بلکه نيس33ت

: است زير مکانيزمهاي .SDU شامل هايي نمونه شکل به دانش نمونه: نگهداري پايه بر دانش- مي33ان ش33باهت اس33اس بر هاSDU حافظه شناس33ايي: بازي33ابي پايه بر بازي33ابي-

حافظه. در شده ذخيره هاي نمونه و جاري موقعيت پايه بر تص33ميمهاي به ابتک33اري تص33ميمهاي از تطبيقي: تط33بيقي هاي استراتژي-

ديناميک. فعاليت در متقابل تاثير مقدار اساس بر نمونه،متغير. جستجوي تداوم کنترل الزام: روش- تخص33يص نگه33داري و هاSDU ک33اربرد بروزرس33اني بازخورد: روش بروزرساني-

فعاليتها. به نتايج موقت اين مکانيزمها در زمينه فرآيند تصميم گيري رخ مي دهند. گامهاي اصلي ارائه ش33ده

ص، انتخ33اب و در فرآين33د تص33ميم گ33يري عبارتن33د از : شناس33ايي، تش33خيIBLTتوس33ط بازخورد.

IBLT فرآيند– 11 شکل

ن33وعي غ33ير و نوعي صورت به آنها بندي دسته و ها گزينه براي جستجو با گيري تصميمشود. مي آغاز و باشد موج33ود مش33ابه موقعيته33اي از ه33ايي نمونه چنانچه اس33ت، ن33وعي م33وقعيت يک

قبلي، تجربي33ات از آم33ده بوج33ود يا و ابتکاري کاربردي مقدار يک از استفاده با ها گزينه

19

اجراي يا و بيشتر هاي گزينه براي جستجو ميان انتخاب بعدي شوند. مساله مي تعيين تص33ميم که است نياز مورد وقتي بيشتر هاي گزينه واقع، است. در جاري گزينه بهترين DDM(Dynamic Decision Making) باشد. در ناراضي موجود انتخاب بهترين از گيرنده

اجراي از است. پس گيري تصميم براي باقيمانده زمان رضايت، تعيين اصلي فاکتور ، با برخورد و مشاهده با هاSDUيابند. مي تغيير تصميمها حافظه و محيط عمليات، يک

با اي مرحله يابن33د. در مي اف33زايش متف33اوت، گ33يري تص33ميم موقعيته33اي و انتخابها که است گ33ام اين ش33ود. در مي تع33يين گذش33ته تص33ميمهاي نت33ايج بازخورد، از استفاده

SDUجديد کاربرد و يافته تغيير ها SDU،ارائه را فع33اليت يک تناسب از بهتري ارائه ها دهند. مي

شناسايي کنند. مي کار به شروع محيط در مختلف هاي گزينه براي جستجو با ها، گيرنده تصميمIBLTحل راه يک از زم33ان ط33ول در شناسايي قابليتهاي که دهد مي پيشنهاد heuristic

ه3اي گيرن3ده ياب3د. تص33ميم مي توسعه جاري، موقعيت حل راه مستقيم بازيابي يک به انتخ33اب ب33راي را تص33ادفي تقريبا و منظم غ33ير جس33تجوي خبره، افراد خالف بر ناشي، راه و داده تش33خيص را م33وقعيت يک زم33ان، گذشت با ولي دهن33د، مي انج33ام ها گزينه

کنند. مي بازيابي را مربوطه حلهاي به اتکا تدريجي افزايش دليل به تفاوتها، اين که دهند مي نشانIBLT هاي تئوري ديگر

باشد. مي توجه کاهش و حافظه اندازه افزايش عين در تدريجي تمرکز صورت بهDDM در گيري تصميم تاثير افزايشباشد. مي حافظه

انتخ33ابي اطالع33ات، از اس33تفاده در تمرين، با افراد اطالعات، کاهش فرضيه اساس بر دارد. فع33اليت کيفيت و س33رعت بر مس33تقيم ت33اثير انتخ33اب اين کنن33د. که مي عمل

نمونه مي33ان تش33ابه مبناي بر توجه تمرکز و انتخاب اين که کند مي بيانIBLT همچنين هم33ان اين ش33د، اش33اره که ط33ور هم33ان باش33د.و مي فعلي محيط و قبلي،SDU ه33اي

باشد. ميIBL الگوريتمهاي ميان در معمول مکانيزم،IBLT اساس بر گيرند مي نظر در ن33وعي را موقعيت يک هنگامي گيرندگان تصميم اهميت با باش33د. آث33ار ج33اري م33وقعيت به نزديک ش33دت به قبلي، مشابه موقعيتهاي که

مبن33اي بر شناس33ايي واق33ع، دارن33د. در اي عمده نقش شناسايي فرآيند اين در محيطيباشد. مي ها نمونه تشابه و قبلي دانش يا و شونده هدايت توجه

م33وقعيت هيچ چنانچه ش33ود، مي گرفته نظر در ن33وعي غ33ير م33وقعيت يک حال، عين در زم33ان شناس33ايي فرآيند ح33االتي، چ33نين ک33رد. در بازي33ابي حافظه از نت33وان را مشابهي

گونه هيچ ب33دون محيط مختلف بخش33هاي به بايس33تي که ب33رد. چ33را خواهد بيش33تري مش33ابه، موقعيته33اي مش33اهده و تم33رين با نه33ايت نم33ود. در توجه مفه33ومي راهنم33اييشوند. مي خالصه جاري، اصلي فاکتورهاي به هدايت براي قبلي، معمول ويژگيهاي

تشخيص م33وقعيت آن و فعاليت يک دقت نوعي، غير يا و نوعي صورت به موقعيت تعيين از پس

شود. مي تعيين خاص

20

IBLTدهد: توابع مي ارائه تشخيص براي تابع دو heuristicن33وعي غير موقعيتهاي براي نوعي. موقعيتهاي مورد در پيشين دانش از استفاده و

ارتب33اط "فعاليت" در مفهوم بر تاکيد نوعي، موقعيت يک در بودن صورت درIBLT در ب3راي مش33ابه ه3اي نمونه از ک3داميک که، است مساله اين تعيين منظور بهSDU هر با

نمونه ب33ودن مفيد ت33اثير فع33اليت شوند. اين مي ترکيب جاري موقعيت کاربرد محاسبه نمونه کليه ،IBLT طبق بر واقع باشد. در مي فعلي مفهوم با آن ارتباط و گذشته در

مق33ادير ش33وند. س33پس، مي بازي33ابي حافظه از ج33اري م33وقعيت مش33ابه فع33ال، ه33اي مي ت33رکيب فعلي م33وقعيت جديد مق33دار عن33وان به قبلي، مش33ابه موقعيتهاي کاربردي

مي شکل قبلي دانش شدن جمع از کاربرد و شده، توليد جديدSDU هاي شوند. نمونهگيرد.

انتخاب انتخ33اب، به مرتبط ه33اي گزينه کليه که کنند مي ف33رض انتخ33اب منطقي ه33اي تئ33وري گيرن33ده تص33ميم توسط گزينه به33ترين و هس33تند، پاي33دار و پيوسته دقيق، شده، شناخته

ارزش يک به يک ها گزينه ک33ه، کند مي عمل طور اينIBL حال اين شود. با مي تعيين به33ترين اج33راي و بيش33تر ه33اي گزينه ب33راي جستجو ميان انتخابي سپس و شده گذاري دارد. و بس33تگي گيرن33ده تص33ميم نياز سطح به مساله شود. اين مي انجام جاري گزينه

مش33خص باقيمان33ده زم33ان يا و کارايي چون فاعلي، يا و فعلي فاکتورهاي با سطح اينگردد. مي به منجر وقفه و گيري تصميم براي باقيمانده زمان رضايت، اصلي فاکتور ،DDM در

و رخدادها موقت ارتباط تمرين، با بايستي گيرندگان است. تصميم خارجي رخدادهاي کنند. عمل دارد، را کارايي بهترين که زماني به نزديکتر بسيار و گرفته فرا را خروجيها

تص33ميم اج33راي از قبل ش33ده گ33ذاري ارزش ه33اي گزينه تع33داد کننده تعيين نياز، سطحاست.يابد. مي اداده شود، انتخاب گزينه يک که زماني تا شناسايي-تشخيص چرخه

بازخورد ايجادکنن33ده فعاليته33اي مي33ان ارتباط ايجاد و بوده تاخير معموالداراي بازخوردDDM در،(IBL) نمونه مبناي بر يادگيري است. مدلهاي مشکل آن در کمي بس33يار اطالع33ات

،IBLT طبق دهن33د. بر مي ارائه يادگيري در بازخورد جوابگويي چگونگي با رابطه از آينده هاي نمونه صورت اين به و شود، مي استفاده ها نمونهSDU تصحيح در بازخوردبود. خواهند دارا را باالتري موفقيت احتمال

توابع تخمين درIBL از استفاده

21

،IBL روش33هاي نمونه از و هس33ته رگرس33يون همس33ايگي، نزديک33ترين به ت33وان مي نمود. اشاره محلي، صورت به دار وزن خطي رگرسيون

باش33ند. سه توابع تخمين ب33راي مناس33بي انتخ33اب توانند مي اوق33ات گ33اهي روشها، ايندارد: وجود مساله اين براي مهم دليل

: پذير انعطاف استنتاجي باياس و کارانه محافظه نت33ايج همس33ايگي، نزديک33ترين چ33ون روشي کم، بس33يار هاي داده با

اف33زايش با داشت. ولي نخواهد وسيعي قياس قدرت واقع دهد. در مي ارائه حساسي ه33اي ش33بکه با تقابل در مثال تض33اد ياب33د. اين مي افزايش تابع پيچيدگي ها، داده ميزان روش هر مح33دود، طور است. به مشخص ندارند، خصوصيتي چنين که اليه چند عصبي عمل بگ33يرد. در فرا مشخصي دقت با را پيوسته تابع يک از اي تکه تواند مي اي محلي دارند وج3ود(NN) همس3ايگي نزديک3ترين از به3تر ايIBL روشهاي توابع، تخمين براي

حذف منظور به را ها داده دار وزن هاي ميانگين و کرده ايجاد محلي خطي مدلهاي کهکنند. مي محاسبه خروجي از نويز

: يادگيري پارامترهاي اوليه تعيين به نياز نسبت نويز هموارسازي ميزان کردن تعيينIBL يادگيري پارامترهاي مهمترين از يکي

ب3راي فاص3له معيار به توان مي پارامترها، ديگر باشد. از مي خروجي بودن مناسب به نم33ود. در اش33اره مرتب33ط، ويژگيه33اي تع33يين و گ33زارش و ورودي مي33ان تش33ابه تع33يين

مي و نيست، پارامترها اين مورد در اوليه گيري تصميم به نياز ،IBL يادگيري روشهاي سيس3تمها م3ورد در مس3اله برند. اين کار به خروجي تعيين براي را پارامتري هر توانند

و داده انج33امonline ص33ورت به را تص33ميمات بايس33تي که است اهميت ح33ائز خودک33ارنمايند. تنظيم جديد، داده به رسيدن با را يادگيري پارامترهاي همزمان

IBLباشد. مي عمومي-محلي طيف پوشاندن به قادر ه33اي داده س33ري يک پايه بر محلي هاي کننده گيري پيش نبايستي لزوماIBL روشهاي

باشند. محلي کوچک غ33ير ت33ابع داراي آنها در که باش33ند، مي ن33ويزي سيس33تمها ش33امل کاربردها از بس33ياري

از اس33تفاده تواند مي ت33ابع تخمين بهترين حالتي، چنين باشد. در مي هموار ولي خطيباشد. گزارش به داده همه%30 نزديکترين

اس33تفاده خطي محلي رگرس33يون و خطي تقريبا ت33ابع چنانچه ديگ33ر، حاالت بسياري دريابد. تغيير زننده تخمين عمومع هاي داده%80 به بايستي ميزان اين شود،

هزينه داده، پايگ33اه رشد هس33تند: با ج33دي مش33کل يک دارايIBL روش33هاي متاس33فانه انج3ام مش33کل اين رفع زمينه در زي3ادي يابد. تحقيق3ات مي افزايش نيز خروجي تعيينشوند. حذف باال مزاياي از برخي يک هر در است ممکن ولي است، شده

22

گيري نتيجه امک33ان که آنه33ا، س33ادگي جمله دارن33د. از ف33راواني مزاي33اي نمونه، پايه بر الگوريتمهاي

نمونهIBLکن333د. مي ف333راهم را ف333وق س333ازي بهينه اه333داف به رس333يدن و تحليل ويژگيه33اي و ن33ويز توانند مي که کن33د، مي پشتيباني را قوي نسبتا يادگيري الگوريتمهاي

گيرد. مي بر در نيز را متعادل پوشاني هم داراي فضاهاي و کرده متعادل را نامرتبط باش33ند. چ33را مي پاييني نسبتا بروزرساني هاي هزينه دارايIBL الگوريتمهاي همچنين

ه33اي هزينه ش33امل بروزرس33اني ب33ود. هزينه خواهد فعلي نمونه ذخ33يره به ني33از تنها که N که باش3333د، مي ويژگيها تست مرتبه به ني3333از که است بن3333دي دس3333ته

اس33تفاده ويژگيه33اي مجموعهA و ج33اري فض33اي در ش33ده ذخ33يره هاي نمونه مجموعهباشد. مي ها نمونه تشريح براي شده

نش33ان اينجا در که ح33الي در دارد، ب33االيي س33ازي ذخ33يره و حافظه به نيازNN الگوريتم دقت و يادگيري ميزان در کمي کاهش با زيادي ميزان به مشکل اين که شود مي داده

خ3وبي به داده ه3اي پايگ3اه روي بر الگ3وريتم اين چند اس3ت. هر حل قابل بن3دي دستهيابد. مي کاهش زيادي ميزان به نويز رفتن باال با آن کارائي ولي کند، مي عمل

23

منابع

[1] – David W.Aha, Dennis Kibler, Marc K.Albert, “Instance-Based Learning

Algorithms”, Machine Learning,6,37-66 (1991)

[2] – Seishi Okamoto, Nobuhiro Yugami, ” Effects of domain characteristics on

instance-based learning algorithms” , Theoretical Computer Science 298 (2003)207 –233

[3] – Matthias Fuchs ,”Instance-based Learning by Searching”

[4] – Cleotilde Gonzalez, Javier F. Lerch, Christian Lebiere, ” Instance-based learning in

dynamic decision making”, Cognitive Science 27 (2003) 591–635 , Received 16 January

2001; received in revised form 28 October 2002; accepted 10 January 2003

[5] – Kan Deng, Andrew W.Moore, ”Multiresolution Instance-Based Learning”. IJCAI-

95

24