ﻢﻬﻧ سرد ﻦﯿﺷﺎﻣيﺮﯿﮔدﺎﯾfumblog.um.ac.ir/gallery/101/lesson9-Decision-Tree-1spp.pdf11/21/2012 6 ﺖﺳا ﯽﻣﻮﻤﻋ يا هﺪﯾﺪﭘ شزاﺮﺑﺶﯿﺑ

11/21/2012

1

یادگیري درخت تصمیم )بخش سوم(

Learning Decision Tree

1

ماشین یادگیري)Machine Learning(

دانشگاه فردوسی مشهد دانشکده مهندسی

رضا منصفی

درس نهم

Wednesday, November 21, 2012

دانشگاه فردوسی -دانشکده مهندسی -یادگیری ماشین رضا منصفی -مشهد

11/21/2012

2

فهرست مطالبجستجوي فضاي فرضیه در یادگیري درخت تصمیم1.بایاس استقراء در یادگیري درخت تصمیم2.

.iبایاس هاي محدودیت و بایاس هاي تقدم.iiچرا فرضیه هاي کوتاه برتري دارند؟

نکاتی در یادگیري درخت تصمیم3..i اجتناب از بیش برازش داده ها

.aکاهش خطاي هرس.bساهرس قوانینپ

.iiترکیب ویژگی هاي مقدار پیوسته.iii معیارهاي جاي گزین براي انتخاب ویژگی ها.iv بررسی ویژگی هاي بدون مقدار در مثال هاي آموزشی.vبررسی ویژگی هایی با هزینه هاي مختلف

2Wednesday, November 21, 2012


11/21/2012

3

گفته شد 8مطالبی که در درس توابع دیگر یادگیري و مفهوم یادگیري براي کاربردي روشی تصمیم درخت یادگیري

گسسته مقدارتصمیم درخت استنتاج خانواده الگوریتم هاي پایین سمت به ریشه از رشد ID3عدي ویژگی بهترین حریصانه انتخاب مسیر این در وجدید انشعاب هاي براي بتوسط فرضیه فضاي کامل جستجوي ID3 )گسسته ي مقدار تابع هر نمایش یعنی

)تصمیم درخت هاي فضاي گسسته مقدار نمونه هاي روي تعریف شدهدر را فرضیه ها از محدودي مجموعه تنها که روش هایی اصلی مشکل از اجتناب نتیجه در

)نباشد موجود فرضیه فضاي در هدف تابع است ممکن( می گیرند نظرضمنی استقراي بایاس اولویت ID3 است کوچک تر درخت هاي شاملبراي که می دهد رشد اندازه اي تا تنها را درخت فرضیه فضاي در الگوریتم جستجوي

باشد کافی موجود آموزشی مثال هاي دسته بنديیادگیري در آموزشی داده هاي ازبیش برازش اجتناب اهمیت

تعمیم پذیري جهت تصمیم درخت



11/21/2012

4

بحث خواهد شد) 9(مطالبی که در این درس که دارد احتمال هستند، ممکن نمونه هاي از بخشی تنها آموزشی مثال هاي که آن جا از

ولی بخشد بهبود آموزشی مثال هاي در را کارایی که شود اضافه درخت به انشعاب هاییشود هستند مجموعه این از خارج که دیگر نمونه هاي روي کارایی کاهش باعث

ساهرس روش هاي اهمیتالبته و( یادگیري در بیش برازش از اجتناب براي تصمیم درخت پ )می برند به کار را اولویت بایاس که استقرایی استنتاج روش هاي دیگر

پایه الگوریتم به زیادي بسط هاي ID3، این .است شده ارائه مختلف محقق هاي توسط براي روش هایی شامل بسط هادرخت، پساهرس هستند، حقیقی مقدار داراي که ویژگی هایی بررسی مقدار، بدون ویژگی هاي داراي آموزشی مثال هاي از استفاده جدید، آموزشی مثال هاي فراهم شدن با تصمیم درخت هاي تدریجی تصحیحو اطالعات، بهره از به غیر ویژگی انتخاب معیارهاي از استفادهنمونه ها ویژگی هاي هزینه ي نظرگرفتن در



11/21/2012

5

Converting A Tree to Rules

5

Play Tennis = No (Outlook = Sunny) ∧ (Humidity = High)v

(Outlook = Rain) ∧ (Wind = Strong)

Play Tennis = Yes (Outlook = Sunny) ∧ (Humidity = Normal)v

(Outlook = Overcast)(Outlook = Rain) ∧ (Wind= Weak)

...........



11/21/2012

6

بیش برازش پدیده اي عمومی استمنحصر به درخت هاي تصمیم نیست و )Overfitting(بیش برازش پدیده

سایر روش هاي یادگیري ماشینی نیز با آن مواجه هستند:این پدیده غالباً وقتی اتفاق می افتد که

1) the hypothesis search is not biased toward simple models2) the hypothesis space is very large3) there is little training data4) there is a lot of noise in the training data

- :رخ داده استبیش برازش در عمل با دیدن شرایط زیر می توانیم بگوئیم که اعتبار تأییدو آموزشیدسته بندي مجموعه داده هاي /طبقه دقتاختالف زیاد بین مثالً رسیدن به درخت تصمیم خیلی بزرگ( پیچیده خیلیرسیدن به فرضیه و یا مدل هاي(



پرهیز از بیش برازشآموزشی داده هاي کامل دسته بندي مرحله ي به رسیدن از قبل درخت رشد از جلوگیري1.post) پساهرس .نیستند مفید که شاخه هائی هرس نمودن سپس و درخت کامل رشد به اجازه2. pruning)

اگرچه روش اول سرراست تر به نظر می آید ولی در عمل روش دوم بیش تر استفاده شده است زیرا ).مشکالت عمومی تعیین سطح آستانه(تخمین اندازه دقیق درخت در روش اول کار ساده اي نیست

11/21/2012

7

)Reduced-error pruning(کاهش خطاي هرس براي جلوگیري از بیش برازش ) validation(تأیید اعتبار به درستی چطور ممکن است که از مجموعه - :سؤال

استفاده کنیم؟ هرس خطاي کاهش« روي کَرد یک« )Reduced-error pruning( است، )به عنوان تصمیم درخت گره هاي از یک هر

) شود گرفته نظر در هرس کاندیدايشامل تصمیم گره هرس

و است، آن ریشه فوق گره که زیر درختی حذفو برگ، گره به عنوان فوق گره دادن قرار آن به فوق گره با مرتبط آموزشی مثال هاي طبقه بندي متداول ترین تخصیص

روي اولیه درخت از بدتر حاصل هرس شده ي درخت که می شوند حذف صورتی در تنها گره ها - :هرس عمل معیار نباشد اعتبار تأیید مجموعه تصادفی نظم هاي به واسطه ي که برگی گره ي هر که است آن کار این تأثیر )coincidental regularities( مجموعه ي در

دهد رخ اعتبار تأیید مجموعه ي در انطباق ها همان که است بعید زیرا شود، هرس احتماالً است شده اضافه آموزشیدرخت براي را دقت افزایش بیش ترین آن هرس که می شود انتخاب گره اي همیشه می شوند، هرس تکراري به طور گره ها

.باشد داشته به همراه اعتبار تأیید مجموعه ي روي تصمیمیابد کاهش اعتبار تأیید مجموعه ي روي درخت دقت( باشد مضر بیش تر هرسِ که می یابد ادامه جا آن تا گره ها هرس(



11/21/2012

8

اعتبار تأیید مجموعه ي روي دقت کم ترین و اندازه حداکثر داراي درخت هرس، شروع درآزمون مثال هاي روي دقت افزایش به دنبال و گره ها تعداد کاهش هرس، ادامه بااست شده تقسیم زیرمجموعه سه به موجود )داده هاي مجموعه( مثال هاي جا این در:-

آموزشی مثال هايو درخت هرس براي استفاده شده اعتبار تأیید مثال هاي روي بر شده استفاده بایاس دقت تخمین براي آزمون مثال هاي از مجموعه اي

آتی نشده دیده مثال هاي

8

چگونه در مورد اندازه ي درخت، تصمیم بگیریم؟)پساهرس) 2توقف زودهنگام و یا ) 1( صرف نظر از این که از چه روشی براي اندازه صحیح درخت به دست آمده

-:سؤال اساسی این است که از چه سنجه اي براي اندازه درست نهایی درخت استفاده شود(Training/validation sets) هرساستفاده از تأیید مجزا براي ارزیابی /هاي تعلیم مجموعه دادهاز 1)

استفاده از همه ي داده ها براي آموزش، اما استفاده از آزمون هاي آماري جهت تخمین این که آیا 2)......)مربع و -کاي -:از قبیل(هرس باعث بهبود وراي مجموعه ي آموزشی می شود /توسعه

استفاده از سنجش صریح پیچیدگی براي رمزگذاري مثال هاي آموزشی و درخت تصمیم، و توقف 3)این روش، مبتنی بر مکاشفه اي به نام . رشد درخت هنگامی که اندازه این رمزگذاري حداقل شود

است) Minimum Description Length(اصل حداقل طول توصیف Wednesday, November 21, 2012


11/21/2012

9

)Reduced Error Pruning(کاهش خطاي هرس

رشد کافی به اندازه تا می شود داده اجازه درخت به ابتدا .است شده ارائه Quinlan توسط روش این•- :می گردند هرس نمی شوند دسته بندي دقت افزایش باعث که گره هائی سپس .کندداده ها به دو مجموعه ي–

وآموزشی ) 1 .تقسیم می شوندتأیید اعتبار ) 2

.درخت با داده هاي آموزشی مطابق روش قبل یاد گرفته می شود–)nغیر برگ (سپس براي یک گره داخلی –

کالس برگ این به .می شود جاي گزین برگی با زیرشاخه این .می گردد حذف n زیرشاخه• داده نسبت )شاخه این تحت گرفته قرار مثال هاي اکثر طبقه بندي یعنی( اکثریت مثال هاي.می شود

عمل کرد هرس شده درخت اگر :می شود بررسی اعتبار تأیید مثال هاي برروي درخت عمل کرد•.می شود استفاده هرس شده درخت از داشت قبلی درخت با مساوي یا و بهتر

.باشد نداشته سودي بیش تر، هرس تا می یابد ادامه آن قدر هرس•



11/21/2012

10

روي دقت درخت تصمیم» کاهش خطا ي هرس«تاثیر

10

فوق شکل به عالوه، .شد داده نشان قبالً که چنان را اعتبار تأیید و آموزش مجموعه در دقت محور همان نمودار این .می دهد نشان نیز را است شده تولید ID3 توسط که درختی هرس خطاي کاهش تأثیر

جا، این در .نمایید دقت می شوند، هرس درخت از گره ها که هنگامی اعتبار، تأیید مجموعه ي روي دقت افزایش به.است مجزا آزمون و آموزشی مجموعه از شده، استفاده هرس براي که اعتبار تأیید مجموعه ي

Effect of Reduced Error Pruning



11/21/2012

11

Reduced Error Pruning

از مجموعه تأیید اعتبار مجزا استفاده می شود•

هرس•یک نود داخلی را به عنوان برگ در نظر می گیرد–متداول ترین دسته بندي را به آن اختصاص می دهد–نودها در صورتی حذف می شوند که نتیجه بدتر از درخت اولیه نشود–

روش•انجام بده تا زمانی که هرس نمودن مضر باشد–

)iteratively(نودها را هرس کن •بیش تر افزایش دهدمجموعه ي تأیید اعتبار را روي DTگره اي را انتخاب کن که حذف آن، دقت –

کوچک ترین نسخه از دقیق ترین زیردرخت تولید می شود

What if data is limited?



11/21/2012

12

استفاده از مجموعه ي مجزا از داده ها جهت هدایت هرس روشی مؤثر است به شرطی که مقدار زیادي داده در دسترس باشد

است این روش این اصلی اشکال :-اعتبار، تأیید مجموعه ي براي آن از بخشی نگه داشتن باشد، محدود داده که زمانی

می دهد کاهش قبل از بیش تر را آموزش براي موجود مثال هاي تعدادمواقع از بسیاري در عمل در که می شود پیشنهاد هرس براي دیگري روش بعدي بخش در

است داده نشان مناسبی عمل کرد است محدود داده که هنگامیموجود داده هاي بخش بندي شامل است، شده پیشنهاد بسیاري دیگر تکنیک هاي هم چنین

Cross-Validation( متعدد روش هاي به مختلف دفعه چندین & Resampling Methods(، گرفتن آن گاه K-fold قبیل از( نتایج میانگین Cross-Validation, 5*2 Cross-Validation, Bootstrapping(

و مالربا توسط و )ب1989( مینگرس توسط درخت هرس مختلف روش هاي تجربی ارزیابی است شده منتشر )1995( کارانش هم

12

اشکال هرس با داده هاي محدود



11/21/2012

13

)Rule post-pruning(قانون پساهرسدر عمل، یکی از روش هاي نسبتاً موفق براي یافتن فرضیه هاي دقیق،

نامیده می شود) Rule post-pruning(پساهرس قانون تکنیکی است که الگوریتم توسط هرس روش این از گونه اي C4.5 )از برآمده که می شود، استفاده )1993 لن کوین

.است اولیه ID3 الگوریتممی شود شامل را زیر مراحل قانون پساهرس:-

آموزشی، مجموعه از تصمیم درخت استنتاج1)و شود برازش ممکن حد تا آموزشی داده هاي به طوري که درخت دادن رشد روز اجازهشود داده بیش برازش ب

معادل، قوانین مجموعه به شده یادگرفته درخت تبدیل2)شود ایجاد قانونی برگ، گره ي تا ریشه از مسیر هر ازاي به که به طوري

شود آن تخمینی دقت بهبود باعث که پیش شرطی هر حذف با قانون هر )تعمیم( هرس3) شده، برآورد دقت به ترتیب هرس شده قوانین مرتب سازي4)

می شوند دسته بندي آتی نمونه هاي که هنگامی ترتیب به همین آن ها گرفتن نظر در و



11/21/2012

14

Rule Post-Pruning

14

پروسه داده شودبیش برازش اجازه (معمول ساخته شود صورت به درخت( هر مسیربه ازاي یک قانون (درخت را تبدیل به یک سري قوانین کن( کنبه تنهایی هرس هر قانون را

را حذف کنشرط ها اگر نتیجه خیلی دقیق است پیش قوانین را طبق دقت تخمینی مرتب کن استفاده کندسته بندي از قوانین طبق این ترتیب در



11/21/2012

15

می شود تولید قانونی درخت، در برگ گره ي هر ازاي به قانون پساهرس در• به عنوان آزمون مورد برگ تا ریشه مسیر در صفت ارزیابی هر•

قانون مقدم )antecedent( )precondition( )و گرفته شده نظر در )شرط پیش به عنوان برگ گره در دسته بنديقانون تالی )consequent( )postcondition( )شرط پس(

می شود داده قرارمی شود تفسیر زیر قانون به صورت ذیل درخت مسیر چپ ترین سمت مثال، به عنوان•

IF ( آفتابی = بینی پیش ) AND ( باال = رطوبت )THEN خیر =تنیس بازي

15

مقدم هر حذف با قوانین این از یک هر ادامه، در بدتر را قانون تخمینی دقت آن حذف که )پیش شرط(

می شود هرس نکند،پساهرس باشد، شده داده فوق قانون اگر مثال، به عنوان

رطوبت( و )آفتابی = پیش بینی( مقدم هاي حذف قانونگرفت خواهد درنظر را )باال =بهبود که را هرس مراحل این از هریک قانون پساهرس

بر کند تولید قانون تخمینی دقت در بیش تري مرحله به عنوان را دوم مقدم هرس سپس می گزیند،

که هرسی مرحله هیچ .می گیرد نظر در هرس بعدينمی پذیرد انجام شود قانون تخمینی دقت کاهش باعث



11/21/2012

16

-:شد اشاره قبالً که همان طور• مجموعه از مجزا که است اعتبار تأیید مثال هاي مجموعه ي از استفاده قانون، دقت برآورد براي راه یک1)

است آموزشی آموزشی مجموعه خود برمبناي است عمل کرد ارزیابی می شود، استفاده C4.5 توسط که دیگر، روش2)

داده که است حقیقت این جبران براي بدبینانه تخمین دلیل .بدبینانه برآورد یک از استفاده با است شده بایاس قوانین )سمت( نفع به که می دهد به دست برآوردي آموزشی

C4.5 بسته به کار که آموزشی اي مثال هاي روي قانون دقت محاسبه توسط را خود بدبینانه برآورد binomial( دوجمله اي توزیع فرض با را تخمینی دقت این معیار انحراف سپس نموده، محاسبه

distribution( می کند حساب.

Confidence( اطمینان سطح براي level( کارایی میزان به عنوان برآورد پایین حد آن گاه شده، داده انحراف برابر 1/96 تفریق با قانون دقت ،%95 اطمینان سطح براي مثالً،( می شود گرفته نظر در قانون )می شود برآورد بدبینانه به طور آموزشی، مجموعه روي شده مشاهده دقت از برآوردي معیار

که است این نهایی نتیجه•انحراف( است شده مشاهده دقت به نزدیک خیلی بدبینانه برآورد بزرگ، داده اي مجموعه براي

که حالی در ،)است کوچک خیلی معیارمی شود دور شده مشاهده دقت از بیش ترچه هر بدبینانه تخمین داده ها، مجموعه اندازه کاهش با.

بوده مفید عمل در وجود این با نیست، معتبر آماري نظر از مکاشفه اي روش این چه اگر• ,16Wednesday, November 21 است

2012دانشگاه فردوسی -دانشکده مهندسی -یادگیری ماشین

رضا منصفی -مشهد

11/21/2012

17

Pruning Techniques• Reduced error pruning (of nodes)

– Used by ID3

• Rule post-pruning – Used by C4.5



11/21/2012

18

را به قوانین تبدیل می کنیم؟ تصمیمچرا قبل از هرس، درخت -:دارد عمده مزیت سه•

تصمیم گره ي آن در که مختلفی زمینه هاي بین تمایز امکان قوانین به درخت تبدیل1) .می کند فراهم را است شده استفادهمی کند، تولید مجزا قانونی تصمیم درخت گره از مشخص مسیر هر چون متفاوت به طور می تواند مسیر هر براي )ویژگی آزمون( گره آن هرس به تصمیم

.پذیرد انجامداشت وجود که انتخاب هایی تنها می شد، هرس درخت خود اگر مقابل، در

بود اولیه شکل به آن حفظ )2 یا تصمیم گره کامل حذف )1 و درخت ریشه ي به نزدیک ویژگی هاي بین تمایز قوانین، به تصمیم درخت تبدیل2)

می برد بین از را هستند برگ ها نزدیک که آن هاییریشه هرس با چگونه این که مانند می شود اجتناب بغرنجی مسائل از رو، این از

بسازیم مجدداً را درخت داریم، نگه را زیردرخت از بخشی که حالی در درخت براي قوانین درك اوقات غالب .می برد باال را آن خوانایی قابلیت قوانین، به درخت تبدیل3)

است آسان تر افراد



11/21/2012

19

چرا درخت تصمیم را به قوانین تبدیل می کنیم؟)خالصه(

19

بین زمینه این که براي)context( هاي)شده است گره استفاده مختلفی که یک ) مسیرهايشد وتمایز قائل براي هرس هر گره مجزا تصمیم گیري نمود

تفاوتی بین گره ریشه و گره داخلی قائل نشد شد، چگونه درخت را دوباره ساخت، هیچ هرس اگر ریشه این که در مورد

سازمان دهی نیاز نیست

می دهدقابلیت خوانایی را افزایش



11/21/2012

20

)Incorporating Continous-Valued Attributes(استفاده از صفت هاي مقدار پیوسته 1)

معیارهاي جاي گزین براي انتخاب ویژگی ها2) )Alternative Measures for Selecting Attributes(

در مثال هاي آموزشی بررسی ویژگی هاي بدون مقدار3) )Handling Training Examples with Missing Attribute Values(

)Handling Attributes with Differing Costs(بررسی ویژگی هایی با هزینه هاي متفاوت 4)


دانشگاه فردوسی -دانشکده مهندسی -یادگیری ماشین رضا منصفی -مشهد 20

-:نکته ذیل بررسی می شود 4در ادامه مطالب

11/21/2012

21

)Incorporating Continous-Valued Attributes(استفاده از صفت هاي مقدار پیوسته ) 1 می پذیرد را گسسته مقادیر مجموعه که است صفت هایی به محدود ID3 از ما اولیه تعریف•

پیش بینی شده یادگرفته درخت توسط آن مقدار که )برچسب( هدف صفت نخست،1) .باشد گسسته مقدار باید می شود

باید هم می گیرند قرار وارسی مورد ،درخت تصمیمِ گره هاي در که صفت هایی ثانیاً،2) .باشند گسسته مقدار

پیوسته مقدار تصمیم صفت هاي به طوري که، گردد حذف می تواند آسانی به دوم محدودیت این• .گیرند قرار استفاده مورد شده یادگرفته درخت در بتوانند

گسسته مجموعه اي به را پیوسته صفت مقدار که جدید گسسته مقدار صفت هاي تعریف با عمل این• .شود انجام می تواند پویا به صورت کند، بخش بندي بازه ها از

Acجدید بولی صفت پویا به صورت می تواند الگوریتم است، پیوسته مقدار که A صفت براي واقع، در• .باشد اشتباه آن مقدار غیراین صورت در و صحیح بولی صفت مقدار A<c اگر که کند تولید

.شود انتخاب c آستانه ي براي مقدار بهترین چگونه که است این می ماند باقی که سؤالی تنها• آموزشی مثال روزهاي توصیف در است پیوسته مقدار داراي که را »دما« صفت بخواهیم کنید فرض•

.کنیم وارد جدول یادگیري کار از داراي تصمیم، درخت در مشخص گره اي به مربوط آموزشی مثال هاي که کنید فرض هم چنین•

.باشد »تنیس بازي« هدف ویژگیِ و »دما«صفت براي زیر مقادیر



11/21/2012

22

شود؟ تعریف باید آستانه بر مبتنی بولی صفت چه »دما« براي• .کند تولید را اطالعات بهره بیش ترین که کنیم انتخاب ايc آستانه داریم تمایل که است واضح• دسته بندي داراي که مجاوري مثال هاي تعیین سپس و ،A پیوسته صفت برحسب مثال ها مرتب سازي با•

A متناظر مقادیر بین که کنیم تولید کاندیدا آستانه هاي از مجموعه اي می توانیم هستند، متفاوت نهایی .دارند قرار

گیرد قرار باید کرانی چنین بین همیشه کند حداکثر را اطالعات بهره که cمقدار که داد نشان می توان• .)1991 فییاد(

.نمود ارزیابی را آن ها می توان کاندیدا، آستانه هاي این از هریک براي اطالعات بهره محاسبه با نتیجه در•

آستانه دو می کند، تغییر »تنیس بازي« صفت مقدار که جایی »دما« مقادیر به توجه با جاري، مثال در• کاندیدا صفت هاي از یک هر براي اطالعات بهره حال .)80+90/(2 و ،)48 +60 /(2 :دارد وجود کاندیدا

.شود انتخاب )دما<54( آن بهترین و شود محاسبه می تواند )دما<85 و دما<54( کاندیداي گسسته ي مقدار صفت هاي با می توانند آن گاه شده اند ایجاد پویا به صورت که بولی صفت هایی این•

.نمایند رقابت است، موجود تصمیم درخت رشد براي که دیگر آستانه، یک بر مبتنی بازه دو تنها ایجاد جاي به که داده اند روش این بر توسعه اي )1993( ایرانی و فییاد•

.می کند تقسیم بازه چندین به را پیوسته صفت ترکیب آستانه سازي با که کرده اند ارائه را روش هایی ،)1994( هم کاران و مورثی و )1991( برادلی و آتگوف•

.می کند تعریف را خصیصه ها پیوسته، مقدار صفت چندین خطی



11/21/2012

23

استفاده از صفت هاي مقدار پیوسته

23

جدید با مقادیر گسستهصفت هاي تعریف گسستهبه مجموعه ي بازه هاي پیوسته بخش بندي مقداري

Ac = TRUE if A < c and FALSE otherwiseHow to select best c? (high Information Gain)

Example: Temerature<54 Temerature54-85 Temerature>85



11/21/2012

24

معیارهاي جاي گزین براي انتخاب ویژگی ها) 2)Alternative Measures for Selecting Attributes (

زیادي مقادیر داراي که صفت هایی به سمت که است ذاتی بایاسی داراي اطالعات بهره سنجه ي• .است متمایل هستند

)1979 مارس 4 مثل( مقدار زیادي بسیار تعداد که بگیرید، نظر در را »تاریخ« صفت مثال، به عنوان• .باشد داشته می تواند

دیگر به نسبت را اطالعات بهره باالترین می کردیم، اضافه جدول داده هاي به را ویژگی این اگر• .می داشت صفت ها

کامل به طور آموزشی داده هاي در را هدف صفت به تنهایی تاریخ که است آن به خاطر این• .می کند دسته بندي

درختی تشکیل به منجر و شده انتخاب درخت ریشه گره براي تصمیم صفت به عنوان تاریخ لذا• .می کند طبقه بندي را آموزشی داده هاي کامالً که می گردید یک به عمق )عریض کامالً(

که آن علی رغم زیرا کرد، خواهد عمل ضعیف بعدي مثال هاي روي تصمیم درخت این مطمئناً،• )predictor( پیش بینی کننده ولی می کند )separator( تفکیک را آموزشی داده هاي کامل به طور

.نیست مناسبی -:به طور خالصه

بسیار ضعیفی است و این کامالً برآوردکننده خوب، ولی اي جداکننده” تاریخ“انتخاب ویژگی .است ماشین یادگیريمورد نیاز در پذیري تعمیممغایر با



11/21/2012

25

چیست؟ تاریخ صفت مشکل -:سؤال به آموزشی مثال هاي تفکیک موجب که دارد زیادي بسیار ممکن مقادیر ”تاریخ“ صفت•

.می شود کوچک خیلی زیرمجموعه هاي صورتی در داشت، خواهد آموزشی مثال هاي درباب باالیی بسیار اطالعات بهره خاطر، به همین•

.بود خواهد هدف تابع براي ضعیفی خیلی پیش بینی کننده مشاهده نشده، نمونه هاي روي کهیک راه براي اجتناب از چنین مشکلی، انتخاب صفت تصمیم مبتنی بر سنجه اي به •

. غیر از بهره اطالعات استGain( بهره نسبت است گرفته قرار استفاده مورد موفقیت با که جاي گزینی سنجه ي• ratio(

.است )1986 لن کوین(SI )Split به نام عبارتی معرفی با بهره، نسبت معیار• Information( )که است این به وابسته که

مانند صفت هایی جریمه باعث )می کند تقسیم را داده ها یک نواختی و وسعت چه با صفت یک.می شود تاریخ

25

||||log

||||),( 2

1 SS

SSASmationSplitInfor i

c

i

i



11/21/2012

26

که( A صفت توسط S افراز به واسطه که است مثال ها از زیرمجموعه تاSc، c تا S1 که به طوري• .می آید به دست )است مقداري c صفتی

,Information واقع در• SI Split آنتروپیS صفت به مقادیر نسبت A است. به نسبت را S آنتروپی تنها آن در که است، آنتروپی از ما قبلی استفاده با تضاد در مسأله این•

.می گرفتیم نظر در )می شد پیش بینی یادگرفته شده درخت توسط مقدارش که( هدف صفت.است شده تعریف زیر به صورت SI و بهره سنجه ي از استفاده با بهره نسبت معیار•

•SI را شده اند توزیع یک نواخت خیلی به صورت که هستند مقادیري داراي که صفت هایی انتخاب .می هد کاهش

جدا شده اند هم از )تاریخ مانند( A صفت توسط کامالً که را مثال n از مجموعه یک مثال، به عنوان• .بگیرید نظر در

مقدار مورد، این در SI بولی صفت مقابل، در .بود خواهد با برابر B همان که .بود خواهد 1 اندازه به SI داراي می کند تقسیم قسمت دو به دقیقاً را n مجموعه

سنجه براي بیش تري مقدار باعث B آن گاه باشند، یکسان اطالعات بهره داراي B و A صفت اگر•.شد خواهد بهره نسبت

26

),(),(),(

ASmationSplitInforASGainASGainRatio

n2log



11/21/2012

27

از استفاده در عمل در که مشکلی•اطالعات بهره سنجه ي به جاي صفت انتخاب براي اطالعات بهره نسبت سنجه ي

که زمانی باشد کوچک خیلی یا صفر می تواند کسر مخرج که است این می دهد رخ . ها،Si از یکی براي

تقریباً براي که صفت هایی براي یا باشد نشده تعریف اطالعات بهره که می شود باعث این• .باشد بزرگ خیلی هستند، یکسان مقدار داراي S مجموعه اعضاي تمام

مثالً کنیم اتخاذ را مکاشفه نوعی می توانیم مبنا، این بر صرفاً صفت ها انتخاب از اجتناب براي• باالي بهره داراي که صفت هایی براي تنها سپس کنیم، محاسبه را صفت هر بهره ي ابتدا در

.)1986 لن کوین( کنیم اعمال را بهره نسبت آزمون هستند میانگین

27

|||| SS i



11/21/2012

28

شده معرفی )1991( لوپزدي منتارس توسط که است فاصله بر مبتنی سنجه اي بهره، نسبت براي دیگر جاي گزین• .است شده طراحی فوق مشکل ساختن برطرف براي و

.است داده افرازهاي بین فاصله )متریک( سنجه تعریف بر مبتنی معیار این• .می شود ارزیابی کامل افراز و کرده ایجاد که داده اي افراز بین فاصله ي مبناي بر ویژگی هر• .کند دسته بندي را آموزشی داده هاي کامل به طور که است افرازي کامل، افراز• .می شود انتخاب باشد نزدیک تر کامل افراز به آن افراز که صفتی• صفت هایی سمت به سنجه این که کرده اثبات او است، کرده تعریف را فاصله سنجه این )1991( لوپزدي منتارس•

دقت که می دهد نشان که کرده منتشر را تجربی مطالعات هم چنین نیست، متمایل دارند زیادي مقادیر که دست به بهره نسبت و بهره سنجه توسط که درخت هایی با معنی داري تفاوت به دست آمده درخت هاي پیش بینی

.ندارد آمده اجتناب می دهد رخ بهره نسبت سنجه از استفاده در عمل در که مشکالتی از فاصله سنجه ي این به هرحال،•

متفاوتی بسیار مقادیر تعداد آن ها صفت هاي که داده هایی مجموعه براي سنجه این او تجربیات در و می کند،.است شده کوچک تري درخت هاي تولید باعث دارند،

منصور و کرنس آ،1989 مینگرس ،1984 هم کاران و بریمن( شده اند ارائه نیز انتخاب سنجه هاي دیگري تعداد• انتخاب سنجه هاي نسبی تاثیر مورد در تجربی تحلیل )آ1996( مینگرس )1996 هم کاران و دایتریچ ،1996

.است کرده تهیه گوناگون مسائل روي مختلف بارزي تفاوت هاي اند شده تولید مختلف انتخاب سنجه هاي توسط که نشده اي هرس درخت هاي اندازه درمورد او•

.است کرده گزارش و به توسعه دادن نسبت مختلف، انتخاب سنجه هاي برگزیدن که می رسد نظر به او، آزمایشی حوزه در حال این با•

.دارد نهایی دقت روي کم تري تأثیر پساهرس نمودن، روش



11/21/2012

29

معیارهاي انتخاب دیگر)خالصه(

29

: مشکلآن را انتخاب خواهد کرد)Gain(مقادیر زیادي باشد، بهره اطالعات صفت داراي اگر یک •یک ویژگی استفاده شودبه عنوان تصور کنید که تاریخ •

)Gain Ratio(نسبت بهره اطالعات استفاده از : راه کار

Si زیر مجموعه اي ازS است که در آنA داراي مقدارvi است)A می تواندc مقدار مختلف را برگزیند(

SS

SS

AS

ASmationSplitInforASGainASGainRatio

ic

i

i

12log),(mationSplitinfor

),(),(),(

A1=weather A2=day happy

sun 17.1.08 yes

rain 18.1.08 no

rain 19.1.08 no

sun 20.1.08 yes

sun 21.1.08 yes



11/21/2012

30

Practical issues on SI

30

If |Si| close to |S| thenSI=0 or very small

=> GR undefined or very large

Apply heuristics to select attributes1. compute Gain first2. compute GR only when Gain large enough (above average)



11/21/2012

31

Info

rmat

ion

Gai

n R

atio

31

..

..

.

.

..

..

.

.

Color?

red

yellow

green

SS

SS

ASmationSplitInfor ic

i

i

1

2log),(



11/21/2012

32

Information Gain and

Information Gain Ratio

32

A |v(A)| Gain(A) GainRatio(A)

Color 3 0.247 0.156

Outline 2 0.152 0.152

Dot 2 0.048 0.048



11/21/2012

33

Split information (SI)

33

آنتروپی S مقادیر به نسبت A

قبالً آنتروپیs اندازه گیري می شدنسبت به مقادیر هدفSI می دهدرا کاهش یک نواخت با مقادیرداراي توزیع خیلی صفت هایی احتمال انتخاب

e.g. : for n values =>SI= log2n , for Boolean (2value) value: SI=1

SS

SS

ASmationSplitInfor ic

i

i

1

2log),(

c

i 1Entropy(S) = - pi log2 pi



11/21/2012

34

در مثال هاي آموزشی بررسی ویژگی هاي بدون مقدار) 3)Handling Training Examples with Missing Attribute Values(

.باشد مقدار فاقد موجود، داده هاي صفت هاي از تعدادي است ممکن مواردي در• پیش بینی مختلف آزمایش هاي اساس بر را بیمار برآمد می خواهیم که پزشکی حوزه ي در مثال، به عنوان•

.باشد موجود بیماران از بخشی براي تنها خون، آزمایش نتیجه که است ممکن نمائیم، دارد، مشخص مقدار مذبور صفت آن ها در که دیگر مثال هاي مبناي بر که است متداول مواردي چنین در•

.شود زده تخمین مقدار، فاقد صفت مقدار

,Gain(S آن در که بگیرید نظر در را شرایطی• A) گره براي n تا است شده محاسبه تصمیم درخت از .است تصمیم گره این در آزمون براي ویژگی بهترین Aویژگی آیا شود مشخص

,x< که کنید فرض • c(x)< در موجود آموزشی مثال هاي از یکیS مقدار و است A(x) نیست مشخص.



11/21/2012

35

مقدار، فاقد صفت با مواجه در استراتژي یک1)گره در موجود آموزشی مثال هاي مقدار متداول ترین تخصیص n، صفت این بهگره مثال هاي بین مقدار متداول ترین تخصیص یا n دسته بندي داراي کهc(x) این به هستند

صفت توسط مستقیماً می تواند می گردد، ایجاد A(x) براي )جزئیات با( تخمینی مقدار چنین توسط که آموزشیمثال

.شود استفاده تصمیم درخت یادگیري موجود الگوریتم

متداول ترین تخصیص به جاي A ممکن مقادیر از یک هر به احتمالی تخصیص است، پیچیده تر اندکی دوم روش2)A(x) به مقدار

زده تخمین n گره در موجود مثال هاي در Aمختلف مقادیر مشاهده ي بسامد مبناي بر می تواند احتماالت این .شود

داراي n گره اگر است، شده داده A بولی ویژگی مثال، به عنوانبا مثال شش A=1 و با مثال چهار A=0 ،باشد

.است 0/4 برابر باشد A(x)=0 که این احتمال و 0/6 برابر باشد A(x)=1 که این احتمال می گوئیم آن گاهنمونه 0/6 حال x براي A=1 و انشعاب یک در 0/4 از x درخت دیگر انشعاب در

.می گیرند قرار35Wednesday, November 21,



11/21/2012

36

مقدار بدون صفت صورتی که در و می شوند استفاده اطالعات بهره محاسبه جهت کسري مثال هاي این•.شوند تقسیم مجدد درخت بعدي انشعاب هاي در می توانند مثال ها این شود، وارسی می بایست دیگري

آن ها ویژگی مقدار که جدیدي نمونه هاي دسته بندي براي یادگیري، از بعد می تواند مثال ها تقسیم همین•

.شود برده کار به نیست، معلوم

وزن جمع نمودن توسط که است، دسته بندي محتمل ترین واقع در جدید نمونه دسته بندي مورد، این در• .می شود محاسبه شده اند، دسته بندي درخت برگ گره هاي در مختلف روش هاي به که نمونه ها، بخش هاي

.است شده استفاده )1993 لن کوین( C4.5 الگوریتم در مقدار بدون صفت هاي با کار براي روش این•



11/21/2012

37

Unknown Attribute Values

37

Attribute A={x, y, z}( , , )y

( , , )z

( , )?,

( , , )x ( , , )x

( , , )y

( , )?,

( , , )y

( , , )z ( , , )z

( , , )y S =( , ) ?Gain S A

1. Assign most common value of A to the unknown one.Assign most common value of A with the

same target value, to the unknown one.2. Assign probability to each possible value.

Possible Approaches:

yx

( , , )x



11/21/2012

38

)Handling Attributes with Differing Costs(بررسی ویژگی هایی با هزینه هاي متفاوت ) 4.باشد داشته مرتبط هزینه هاي داراي نمونه صفت هاي است ممکن یادگیري مسایل از برخی در•

ضربان، دما، قبیل از صفت هایی برحسب را بیماران است ممکن بیماري ها، طبقه بندي یادگیري در مثالً• .کنیم توصیف آن مانند و خون، آزمایش نتیجه بافت شناسی، نتیجه

دارد وجود بیمار راحتی هزینه چه و پولی هزینه چه صفت ها، این هزینه در توجهی قابل تفاوت•

می کنند استفاده کم تر هزینه با صفت هاي از امکان حد تا که تصمیمی درخت هاي مواردي، چنین در• طبقه بندي تولید به که می کنیم استفاده باال هزینه داراي صفت هاي از زمانی تنها می شوند، داده ترجیح

.باشیم داشته نیاز اعتماد قابل•ID3 هزینه عبارت افزودن با می تواند صفت ها هزینه گرفتن نظر در جهت )cost( انتخاب معیار به

.گردد اصالح صفت، هزینه داراي صفت هاي که به طوري کنیم تقسیم آن هزینه بر را صفت بهره می توانیم مثال، به عنوان•

.شوند انتخاب کم تر تضمین را بهینه هزینه ي به حساس تصمیمی درخت ،)هزینه به حساس( سنجه اي چنین اگرچه•

.می دهد سوق پایین هزینه ي با صفت هاي سمت به را جستجو اما نمی کند،



11/21/2012

39

کار یک در را آن و نموده تشریح را روش ها این از یکی )1993( تن و )1990( شالیمر و تن• که این برحسب را مختلف اشیاء که بگیرد یاد باید روبات آن در که است برده کار به روبات مشاهده .کند دسته بندي شوند، دریافت روبات مکانیکی دست توسط می توانند آن ها چه گونه

ردیابی توسط هستند مختلف سنسورهاي از دریافتی اطالعات به مربوط که صفت ها کار این در• .می آید دست به روبات روي بر شده نصب متحرك صوتی

توسط صفت مقدار آوردن بدست براي که می شود اندازه گیري ثانیه هایی تعداد با صفت هزینه• .می شود صرف ردیاب عمل کرد و مکان یابی

دست از بدون زیر، معیار با اطالعات بهره صفت انتخاب معیار جاي گزینی با که دادند نشان آن ها•.است شده یادگرفته کاراتر تشخیص استرتژي هاي دسته بندي، دقت دادن

کرده توصیف را پزشکی تشخیص قوانین یادگیري براي آن کاربرد و مرتبط روشی )1998( نونز• .هستند متفاوت هزینه هاي با مختلف آزمایش هاي و عالئم صفت هاي او کار در .است

می کند استفاده متفاوت حدي تا صفت، انتخاب سنجه ي از او سیستم• مقابل در را هزینه نسبی اهمیت که است ثابتی به طوري که•

از گستره اي روي را روش دو این از تجربی سنجشی )1991( نونز .می کند تعیین اطالعات بهره است نموده ارائه کارها

39

)(),(2

ACostASGain

w

ASGain

ACost )1)((12 ),(

]1,0[w



11/21/2012

40

تصمیم، درخت یادگیري در اخیر کارهاي ازجملهConcept( هانت مفهوم یادگیري سیستم• Learning System, CLS( بریمان و فریدمان کار و است

Classification(سیستم به منتج که and Regression Tree, CART ( است شده .است داده شکل را درس این مباحث پایه کوئین لن ID3 سیستم•است ASSISTANT سیستم تصمیم درخت یادگیري زمینه در دیگر اخیر کار• مختلف سکوهاي روي اجرا براي تصمیم درخت قیاسی الگوریتم هاي پیاده سازي اکنون هم•

.است دسترس در تجاري به صورت کامپیوتري بسیاري )1993( کوئین لن خوب خیلی کتاب تصمیم، درخت استقرا مورد در بیش تر جزئیات براي•

.است آورده فراهم C4.5 براي اجرایی کدهاي و کرده بررسی را کاربردي مسائل از مختلف معیارهاي مقایسه مورد در تجربی مطالعه دو )1992( نیبلت و بانتین و )آ1993( مینگرس•

.اند کرده تهیه ویژگی انتخاب مختلف هاي استراتژي مورد در مطالعاتی )1995( هم کاران و مالربا و )آ1989( مینگرس•

.نموده اند فراهم هرس نمودن در داده اند قرار مقایسه مورد را یادگیري روش هاي دیگر و تصمیم درخت یادگیري که تجربیاتی•

کوئین لن ،1989 کوسیک مک و فیشر ،1995 هم کاران و دایتریچ( قبیل از مختلفی مقاالت یافت )1989 کاپولیس و وایس ،1991 هم کاران و تران ،1991 کاران هم و شاولیک آ،1988

.می شوند40Wednesday, November 21,



11/21/2012

41

Attributes with differing costs

41

Measuring attribute costs something prefer cheap attribute if possible use costly ones only if good gain Introduce cost term in selection measure (replaced gain by)

•Tan and Schlimmer (1990)

•Nunez (1988)where w ∈ [0,1] determines importance of cost

no guarantee in finding optimal cost-sensitive DT, but give bias towards cheapest

)(),(2

ACostASGain

w

ASGain

ACost )1)((12 ),(



11/21/2012

42

UCI Machine Learning Repository

• Currently maintain 189 data sets as a service to the machine learning community.

• http://archive.ics.uci.edu/ml/



11/21/2012

43

خالصه مطالب



؟چیست تصمیم درختاست باناظر یادگیري روشاست داده ها مراتبی سلسله ساختار با غیرپارامتریک روشیمی گردد پیاده سازي حل و تقسیم استراتژي از استفاده باهستند استقرائی یادگیري الگوریتم هاي]Alpaydin,2010, Mitchell,1997[درجه افزایش براي که می شود داده نمایش تصمیم درخت یک به صورت شده گرفته یاد تابع

می آورند در آن گاه-اگر قوانین از مجموعه ي صورت به را درخت انسان، براي آن خواناییشاخه هر می دهد، نشان را صفت یک روي بر آزمون یک داخلی گره هر تصمیم درخت در

می کند نگهداري را کالس یک برچسب برگ هر و می دهد نشان را ارزیابی از نتیجه اي

11/21/2012

44



مزایاگسسته و پیوسته داده هاي با کار قابلیت•هستند بشر براي فهم قابل و استخراج قابل شده گرفته کار به و شده تولید قوانین•ساده تصمیم گیري نواحی از استفاده•غیرضروري مقایسه هاي حذف•مختلف نمونه هاي براي متفاوت ویژگی هاي از استفاده•داده ها توزیع تابع تخمین به نیاز عدم•

محدودیت هابیش برازش یادگیري مشکل داراي•کرنل توابع از استفاده عدم•جداساز آستانه انتخاب در کافی دقت عدم• پیوسته ویژگی هاي در آستانه چند تعیین عدم• آستانه تعیین در نویز به زیاد حساسیت•تصمیم گره هر در ویژگی چند از استفاده مشکل بودن•باالست خطا احتمال کم، یادگیري نمونه هاي و زیاد کالس تعداد اگر•تصمیم گیري درخت تولید محاسباتی هزینه•است هزینه داراي درخت هرس نمودن•

11/21/2012

45



چارچوب الگوریتمیک براي درخت هاي تصمیم

است تعمیم خطاي رساندن حداقل به با بهینه تصمیم گیري درخت پیداکردن هدف معمول به طورحداقل به یا و گره تعداد رساندن حداقل به مثال، به عنوان نمود تعریف می توان نیز را دیگر هدف توابع

متوسط عمق رساندنمسأله یک آموزش، مجموعه با سازگار مینیمم تصمیم درخت یک ساخت NP–Hardمی باشد )Hancock et

al., 1996(دیده نمونه طبقه بندي براي نیاز مورد تست نمونه هاي تعداد به توجه با مینیمم دودویی درخت یک ساخت

Hyafil).می باشد NP–Complete مسأله یک ،)تست( نشده & Rivest, 1976)

شده داده تصمیم درخت یک براي مینیمم تصمیم درخت ساخت (Zantema & Bodlaender, یا و (2000 .می باشد NP–Hard مسأله ي شده شناخته تصمیم جداول از استفاده با بهینه تصمیم درخت ساخت

(Naumov, 1991)

کوچک کاربردهاي در تنها است بهینه تصمیم درخت الگوریتم از استفاده که می دهد نشان فوق نتایج استفاده )هیوریستیک( ابتکاري روش هاي از مشکل، این حل براي نتیجه، در .است امکان پذیر

:نمود تقسیم گروه دو به می توان را ابتکاري روش هاي کلی، به طور.می شودپایین به باال استنتاج (top–down)

باال به پایین استنتاج (bottom–up)

11/21/2012

46



چارچوب الگوریتمیک براي درخت هاي تصمیم

تصمیم درخت ساخت پایین به باال استنتاج مختلف روش هاي(Iterative Dichotomiser 3) ID3 (Quinlan, 1986)C4.5 Quinlan, 1993)CART (Breiman, 1984)فقط( هرس و ایجاد :مفهومی فاز دو شامل روش ها اینC4.5 و CART(حریصانه اند ذاتاً ها الگوریتم ایناستراتژي از استفاده با( می نمایند تصمیم درخت ساخت به اقدام بازگشتی رفتار با الگوریتم ها این

)حل و تقسیم

11/21/2012

47

)نوع کاربرد( انواع درخت هاي تصمیم



،می کنند استفاده دسته اي متغیرهاي از پیش بینی براي که تصمیم درخت هاي :طبقه بندي درخت هاي•.می دهند قرار رده ها یا دسته ها در را نمونه ها زیرا

.می کنند استفاده پیوسته متغیرهاي از پیش بینی براي که تصمیم درخت هاي :رگرسیون درخت هاي •

)روشنوع ( انواع درخت هاي تصمیمتصمیم درخت ID3تصمیم درخت C4.5چند متغیره و تک متغیره درخت هايچندتایی تصمیم درخت هاي افزایشی تصمیم درخت هاي ترکیبی تصمیم درخت هاي

11/21/2012

48



ID3 تصمیم درخت ویژگی هايمی باشد محدود و گسسته ویژگی هاي دامنه با داده ها دسته بندي به قادر فقط الگوریتم این. ندارد کارایی اصالً می برند، رنج قطعیت عدم از نوعی به که داده هایی یا نویزي داده هاي براي.هرس رویه هیچ الگوریتم این )Pruning Procedure( نمی برد به کار را.

C4.5 تصمیم درخت ویژگی هايالگوریتمC4.5 الگوریتم یافته ارتقاء گونه ID3 می باشدمی باشد نیز نویزي و پیوسته داده هاي دسته بندي به قادر الگوریتم اینمی باشد درخت کامل ساختن از بعد درخت هرس کردن الگوریتم این خصوصیت بهترین

کم تر مجاورش برگ هاي به نسبت آستانه میزان یک از درخت از برگ یک رخداد احتمال میزان اگر می نماید ترکیب مجاور برگ هاي با لزوم صورت در یا و می کند حذف را برگ آن باشد

تصمیم درخت هرس از هدف بیش برازش از جلوگیري جهت درخت ارتفاع کاهش داشته اند تأثیر درخت ساخت در که گم شده داده هاي تأثیر کم کردن و نویزي داده هاي حذف

11/21/2012

49



می کند استفاده داده ها تقسیم بندي براي را ورودي بعد یک تنها داخلی گره هر•(Alpaydin, 2010)می کند را جدا داده ها نوع تابع تصمیم به صورت عمودي و افقی این •

تک متغیره تصمیم درخت

چندمتغیره تصمیم درخت.می کنند استفاده اند داخلی گره هر در ویژگی یک از بیش شامل که جداسازهایی از•.می باشند ویژگی ها خطی ترکیب مبناي بر آزمون هایی داراي درخت ها این•.است بهتر متغیره تک درخت هاي به نسبت چندمتغیره تصمیم درخت هاي استنتاج کارایی• )NP-Complete( زمانی پیچیدگی داراي چندمتغیره تصمیم درخت هاي در چندمتغیره تصمیم تابع یافتن•

.است

11/21/2012

50



چندتایی تصمیم درخت هاي

این صورت در .باشد زیاد ویژگی ها تعداد و کم نمونه ها تعداد که است زمانی :تصمیم درخت هاي ساختار شناخته شده ضعف آن از یکی تنها ولی دارد وجود جداساز ویژگی به عنوان انتخاب براي یکسان و خوب ویژگی چندین تصمیم گره هر در

,Dietterich[ کرد انتخاب این امثال و اطالعات سودمندي مانند انتخاب معیارهاي توجه با می توان را ویژگی ها 1995[می گردد کم یادگیري نمونه هاي این با تصمیم درخت اعتماد قابلیت و سازگاري دقت، کار این با•

باال و سازگاري بهبود افزایش براي تصمیمی درخت به جاي تصمیم درخت هاي از مجموعه یک از استفاده :مشکل این حل راه,Buntine[ دارد وجود اعتماد قابلیت بردن 1992, Heath, 1993, Kwok, 1990, Shlien, 1990[

یادگیري نمونه هاي با )غیرمرتبط یا مرتبط( تصمیم درخت مجموعه ي که است این صورت به روش ها این اصلی ایده•می گردند ترکیب هم با آن ها نتایج سپس و می شود ساخته

هستند تر توصیف قابل ساده مسائل براي تر کوچک تصمیم هاي درخت• درخت هاي به نسبت ها آن اطمینان و توصیف قابلیت ولی هستند خوبی دقت داراي پیچیده و تر بزرگ تصمیم هاي درخت•

است کم تر کوچک تر

11/21/2012

51



افزایشی تصمیم هاي درخت

می باشد جدید داده اي نمونه هاي صحیح طبقه بندي عدم :تصمیم درخت مشکالت از یکی داده اي نمونه هاي صحیح طبقه بندي قابلیت می شوند ساخته داده نمونه مجموعه یک با این که دلیل به تصمیم هاي درخت•

.ندارند را جدید افزایشی تصمیم درخت :مشکل حل راه

,Utgoff[شد ارائه آتگاف توسط 'ID3 الگوریتم• 1988[ از دوباره را درخت جدید داده هاي نمونه هر آمدن با و می کند نگهداري را یادگیري نمونه هاي افزایشی تصمیم درخت این•

می کند به روزرسانی ابتدا,Fisher[ شد ارائه اسکالیمر و فیشر توسط ID4 الگوریتم• 1988, Schlimmer, 1986[

می شود ساخته دوباره شده داده آموزش تصمیم درخت از درخت زیر یک جدید نمونه آمدن با روش این در•,Utgoff[ آتگاف توسط 1989 سال در ID5 پیشرفته افزایشی تصمیم درخت الگوریتم• 1989a[ شد ارائه را

به روزرسانی درخت نیاز صورت در تا می شود نگهداري گره هر در ویژگی ها روي بر نمونه ها توزیع آمار الگوریتم این در• آیا که می شود وارسی و می گردد محاسبه توزیع روي بر نمونه آن اثر شود، درخت وارد جدید نمونه یک هرگاه .شود

نه یا دارد متفاوت ویژگی با فعلی گره جاي گزینی طریق از بازبینی به نیاز درخت

11/21/2012

52



ترکیبی تصمیم درخت هايتصمیم درخت با خوشه بندي و طبقه بندي روش هاي سایر یا و آماري روش هاي ترکیب :ایدهآماري تصمیم درخت هاي -1

CHi-squared)الگوریتم• Automatic Interaction Detector) CHAID نقطه معیار( آماري روش هاي از P( تولید براي ],Kass 1980[می کند استفاده تصمیم درخت

LMDT (Linear الگوریتم• Machine Decision Tree) ترکیب متغیره چند هاي آزمون بر مبتنی تصمیم درخت که ],Brodley 1995[ است ویژگی ها از خطی

,Quick) الگوریتم• Unbiased and Efficient Statistical Tree) QUESTدرخت به شبیه CART تک متغیره درختی ,Loh[ می کند استفاده خطی جداساز معیار از که است دودویی 1997[

ترکیبی تصمیم هاي درخت سایر - 2,Pang[ شد ارائه 2005 سال در SVMT نام با دودویی درخت• یک از استفاده با داده ها گره هر در ابتدا که ]2005

درخت و می شوند داده آموزش داده ها آن با SVM سپس و می شوند تقسیم مجموعه زیر دو به خوشه بندي الگوریتممی شود ساخته انتها تا بازگشتی به صورت

11/21/2012

53

انواع معیار هاي جداساز درخت هاي تصمیم



آنتروپی•جینی ضریب•)X2( )کاي مربع( دو ياک معیار•G معیار•P نقطه معیار•

آنتروپی و آنتروپی رابطه از استفاده با ID3 درخت و می دهد نشان را داده ها از مجموعه ناخالصی یا خالصی میزان آنتروپی

می کند انتخاب جداساز ویژگی بهترین تصمیم، گره هر در اطالعات سودمندي

c

cpcpSI 2log

AISIAGain res

A c

res acpacpapAI |log| 2

11/21/2012

54



جینی ضریب,CART]Breiman الگوریتم در جینی ضریب استفاده جداساز معیار به عنوان ],1996 Mehta[SLIQ و ]1984

.می گردد تعریف زیر به صورت جینی ضریب رابطه می شود

سپس، .می کند محاسبه باال رابطه از استفاده با را جینی ضریب اولیه داده هاي ویژگی هاي تمامی براي ابتدا الگوریتم اینمی آید به دست زیر رابطه از ویژگی ها از یک هر اطالعات سودمندي مقدار

a ویژگی انتخاب با آمده به وجود زیرشاخه بیان گر Aاست جداساز ویژگی به عنوان ام

21 j

jgini cpI

AIIAGainginiresgini

j jjres acpapAI

gini

2|1

11/21/2012

55



جینی ضریب و آنتروپی

0

0.2

0.4

0.6

0.8

1

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

دارمق

P(a)

Entropy

Gini Index

منحنی میزان ناخالصی براي دسته بندي با دو کالس با ضریب جینی و آنتروپی

11/21/2012

56



است ویژگی ها بین شباهت ارزیابی معیار نوعی• گره هر در ویژگی بهترین انتخاب براي )X2( )کاي مربع( کاي دو معیار از ],CHAID]1980 Kass تصمیم درخت•

.می کند استفاده تصمیم:می گردد تعریف زیر به صورت و می کند بررسی را برچسب ها و متغیرها بین رابطه معیار این•

.می گردد انتخاب جداساز ویژگی به عنوان باشد داشته را مقدار بیش ترین که ویژگی• امj کالس مشاهده •امj کالس انتظار مورد مقدار •• n است ویژگی ها تعداد

)X2( کاي دو معیار

ni

EEx

j ij

ijij ,,1,X2

2

ijxijE

11/21/2012

57



می گردد تعریف زیر به صورت G معیار .است اطالعات تئوري بر مبتنی معیارياست آنتروپی مقدار I و است ویژگی ها تمام براي ثابت و نمونه ها کل تعداد N که وقتی

G معیار

I2NG ] [Chandra, 2009تقسیم بندي است متمایز در هر زیر درخت پس از کالس هاي این معیار که اخیراً ارائه شده کاهش تعداد هدف

می گرددنقطه به شکل زیر تعریف معیار . استارائه شده ویژگی هاي دسته اي معیار براي این

و زیر مجموعه ) زیرشاخه راست(شامل همه نمونه هاي یادگیري در گره فعلی باشد، و به ترتیب زیر مجموعه باال Rوقتی که .به عنوان آستانه جداساز است Pبا انتخاب مقدار ) زیرشاخه چپ(پایین

، و بیان می کنند و تعداد نمونه هاي متعلق به کالس Rبه ترتیب تعداد کالس هاي متمایز را در و ، در مجموعه است

Pمعیار نقطه

2

21

1

1

22

1

11ointpSplittingSS C

i i

i

R

SC

i i

i

R

S

RnSn

CC

RS

RnSn

CC

RS

P

RC1SC2SC1S2S xni

1S2S

11/21/2012

58



مقدار آن گاه باشد تاریخ مانند کالسی در زیادي یکتاي مقادیر داراي ویژگی ها از یکی اگر :اطالعات سودمندي مشکل.می شوند تقسیم زیرشاخه زیادي تعداد به گره این در داده ها نمونه و می شود بزرگ اطالعات سودمندي

Gain( سودمندي نسبت از مشکل این رفع براي کوئینلن :مشکل حل راه Ratio( کرد استفاده جداسازي معیار به عنوان.

•v داده ها، تقسیم از بعد پدر گره زیرشاخه هاي تعداد • |D|پدر گره هاي نمونه کل تعداد•|Dj|زیرشاخه در تقسیم از بعد گرفته قرار هاي نمونه jام.

ASplitInfo

AGainAGainRatio

DD

DD

DSplitInfo jv

j

jA log

1

Gain( سودمندي نسبت Ratio( هزینه داراي ویژگی هاي براي جداسازي معیار به عنوان

سودمندي نسبت و اطالعات سودمندي

)()(2

ACostAGain

w

AGain

ACost )1)((12 )(

11/21/2012

59



C4.5 الگوریتم عمل کرد بهبود راه کارهاي

,Qin[ فازي تصمیم درخت هاي• 2005[

SVM.(Arun با تصمیم درخت ترکیب• Kumar and Gopal 2010)

Yi) تصمیم درخت هاي ساخت براي تکاملی الگوریتم هاي از استفاده• and Wanli 2011)

,Hansen[ هرس روند بهبود• 2007[

,Chen[ جداساز معیار تغییردادن• 2009[

,Qin[ فازي تصمیم درخت هاي 2005[

:هدف(Intelligible)اطالعات قابل فهم با ارائه مدل•و مدل کردن آن با دقت باال) Uncertainty(افزودن عدم قطعیت •

:ایده به کالسیک تصمیم هاي درخت درخت گره هاي برچسب در عددي مقادیر جاي به زبانی شرایط دادن قرار با•

شود تبدیل فازي تصمیم هاي درختمی شود مشخص خاص کالس یک در عضویت احتمال نمونه هر براي مرحله هر در•

11/21/2012

60

,Qin[ فازي تصمیم هاي درخت 2005[

2012/11/21چهار شنبه، یادگیری –دانشکده مهندسی –دانشگاه فردوسی مشهد درخت تصمیم -ماشین

].Qin, 2005[مقایسه درخت تصمیم با تابع تصمیم فازي

11/21/2012

61

SVM .[Arun با تصمیم درخت ترکیب Kumar and Gopal 2010]

SVM بند طبقه در تست سرعت افزایش :هدف دقت و کارایی علت به SVM بند طبقه و تست مرحله در بودن سریع علت به DTبند طبقه ترکیب :ایده

باال


[Arun Kumar and Gopal 2010] Arun Kumar, M. and M. Gopal (2010). "A hybrid SVM based decision tree." Pattern Recognition 43(12): 3977-3987.

11/21/2012

62

SVM .[Arun با تصمیم درخت ترکیب Kumar and Gopal 2010]

SVM بند طبقه در تست سرعت افزایش :هدفباال دقت و کارایی علت به SVM بند طبقه و تست مرحله در بودن سریع علت به DTبند طبقه ترکیب :ایده



11/21/2012

63

SVM .[Arun با تصمیم درخت ترکیب• Kumar and Gopal 2010]

SVM بند طبقه در تست سرعت افزایش :هدف•باال دقت و کارایی علت به SVM بند طبقه و تست مرحله در بودن سریع علت به DTبند طبقه ترکیب :ایده•



11/21/2012

64

Yi] تصمیم هاي درخت ساخت براي تکاملی هاي الگوریتم از استفاده and Wanli 2011]

دقت حداکثر با تصمیم درخت ساخت :هدفmultiage از استفاده :ایده genetic programming

:الگوریتم)می باشد DTهر عضو این مجموعه یک (ایجاد تصادفی جمعیت اولیه 1).DTانتخاب و گروه بندي افراد بر اساس سایز 2))بر اساس دقت طبقه بندي و سایز درخت(ارزیابی افراد در تمام گروه ها3)

.در هر گروه به طور مجزا Mutationو Select ،Crossoverانجام عملیات 4).اجتماع تمام افراد گروه در یک مجموعه5). 2خاتمه در صورت برقراري شرط پایانی درغیر این صورت رفتن به گام 6)


11/21/2012

65


معرفی نرم افزارهاي ترسیم درخت تصمیم

کاوي داده هاي افزار نرم•

•Orange: زبان به که ماشین یادگیري و مؤلفه بر مبتنی کاوي داده نرم افزار مجموعه Python است شده نوشته. )si/.biolab.//orange:http(

•R: پروژه از بخشی این که گرافیکی محیطی و داده کاوي آماري، محاسبات براي نویسی برنامه محیط شامل GNU )org/.project-r.//www:http( .است

•Weka: است شده نوشته جاوا زبان به که ماشین یادگیري نرم افزارهاي مجموعه اي. )nz/ml/weka/.ac.waikato.cs.//www:http(

•...

11/21/2012

66


Orange

11/21/2012

67


Orange

11/21/2012

68


Weka

11/21/2012

69


[Aitkenhead, 2008] Aitkenhead, M. J., "A co-evolving decision tree classification method," Expert Systems withApplications, vol. 34, pp. 18-25, 2008.

[Alpaydin, 2010] Alpaydin, E., Introduction to machine learning, 2'nd ed.: Cambridge, Mass. : MIT Press, 2010. [Bennett, 2000] Bennett, K. P., Cristianini, N., Shawe-Taylor, J. and Wu, D., "Enlarging the Margins in Perceptron

Decision Trees," Mach. Learn., vol. 41, pp. 295-313, 2000. [Breiman, 1984] Breiman, L., Friedman, J., Stone, C. J. and Olshen, R. A., Classification and Regression Trees. Monterey, CA:

Wadsworth and Brooks, 1984. [Brodley, 1995] Brodley, C. E. and Utgoff, P. E., "MULTIVARIATE DECISION TREES," Machine Learning, vol. 19, pp. 45-

77, 1995. [Buntine, 1992] Buntine, W., "Learning classification trees," Statistics and Computing, vol. 2, pp. 63-73, 1992. [Chandra, 2009] Chandra, B. and Varghese, P. P., "Moving towards efficient decision tree construction," Information

Sciences, vol. 179, pp. 1059-1069, 2009. [Chen, 2009] Chen, Y. L., Hu, H. W. and Tang, K., "Constructing a decision tree from data with hierarchical class labels,"

Expert Systems with Applications, vol. 36, pp. 4838-4847, 2009. [Dietterich, 1995] Dietterich, T. G. and Kong, E. B., "Machine learning bias, statistical bias and statistical variance of decision

tree algorithms," in Machine Learning: Proceedings of the 12th International Conference Tahoe City, CA, 1995. [Fisher, 1988] Fisher, D. H. and Schlimmer, J., "Concept simplification and prediction accuracy," in Proceedings of the Fifth

International Conference on Machine Learning Ann Arbor, MI: Morgan Kaufmann, 1988, pp. 22-28. [Han, 2006] Han, J. and Kamber, M., Data mining: concepts and techniques, 2'th ed.: Elsevier, 2006. [Hansen, 2007] Hansen, S. E. and Olsson, R., "Improving decision tree pruning through automatic programming," in

Proceedings of the Norwegian Conference on Informatics (NIK-2007), pp. 31-40, 2007. [Heath, 1993] Heath, D., Kasif, S. and Salzberg, S., "k-DT: A multi-tree learning method," in Proceedings of the 2nd

International Workshop on Multistrategy Learning, W. Harpers Ferry, Ed. George Mason University, 1993, pp. 138-149. [Kass, 1980] Kass, G. V., "An exploratory technique for investigating large quantities of categorical data," Applied Statistics, vol.

29, pp. 119-127, 1980. [Kwok, 1990] Kwok, S. W. and Carter, C., "Multiple decision trees," in Proceedings of the Fourth Annual Conference on

Uncertainty in Artificial Intelligence. vol. 4 Elsevier Science, Amsterdam: North-Holland Publishing Co., 1990, pp. 327-335.

منابع

11/21/2012

70


[Loh, 1997] Loh, W. Y. and Shih, Y. S., "Split selection methods for classification trees," Statistica Sinica, vol.7, pp. 815-840, 1997.

[Mehta, 1996 nist] Mehta, M., Agrawal, R. and Riassnen, J., "SLIQ: a fast scalable classifier for data mining," inIn Extending Database Technology Avignon, France, 1996 nist.

[Mitchell, 1997] Mitchell, T. M., Machine Learning: McGraw-Hill International, 1997. [Muller, 1994] Muller, W. and Wysotzki, F., "Automatic construction of decision trees for classification," Annals of

Operations Research, vol. 25, pp. 231-247, 1994. [Murphy, 1991] Murphy, P. M. and Pazzani, M., "ID2-of-3: Constructive induction of M-of-N concepts for

discriminators in decision trees," Proceedings of the Eighth International Workshop of Machine Learning, MorganKaufmann, pp. 183-192, 1991.

[Murphy, 1994] Murphy, P. M. and Pazzani, M., "Exploring the decision forest: An empirical investigation ofOccam.s Razor in decision tree induction," Journal of Artificial Intelligence Research, vol. 1, pp. 257-275, 1994.

[Pang, 2005] Pang, S., Sr, K. D. and Bang, S. Y., Face membership authentication using SVM classification treegenerated by membership-based LLE data partition vol. 16. New York, NY, ETATS-UNIS: Institute of Electricaland Electronics Engineers, 2005.

[Qin, 2005] Qin, Z. and Lawry, J., "Decision tree learning with fuzzy labels," Information Sciences, vol. 172, pp.91-129, 2005.

[Quinlan, 1986a] Quinlan, J. R., The effect of noise on concept learning. CA: Morgan Kaufmann: MachineLearning, 1986a.

[Quinlan, 1986b] Quinlan, J. R., "Induction of Decision Trees," Machine Learning 1, pp. 81-106, 1986b. [Quinlan, 1993] Quinlan, J. R., "C4.5: Programs for Machine Learning," Morgan Kaufmann, San

Mateo, California, 1993. [Quinlan, 2010] Quinlan, R., "Ross Quinlan's Home Page, Site address: <http://www.rulequest.com/Personal/>,"

(last accessed: May, 2010), 2010. [Rastogi, 2000] Rastogi, R. and Shim, K., "PUBLIC: A decision tree classifier that integrates building and

pruning," Data Mining and Knowledge Discovery, vol. 4, pp. 315-344, 2000. [Utgoff, 1988] Utgoff, P. E., "An incremental ID3," in Proceedings of the Fifth International Conference on

Machine Learning, M. M. K. Ann Arbor, Ed., 1988, pp. 107-120. [Utgoff, 1989a] Utgoff, P. E., "Incremental induction of decision trees," Machine Learning, vol. 4, pp. 161-

186, 1989a. [Utgoff, 1989b] Utgoff, P. E., "Perceptron Trees: a Case Study in Hybrid Concept Representations," Connection

Science, vol. 1, pp. 377–391, 1989b.

Documents

ﻢﻬﻧ سرد ﻦﯿﺷﺎﻣيﺮﯿﮔدﺎﯾfumblog.um.ac.ir/gallery/101/lesson9-Decision-Tree-1spp.pdf11/21/2012 6 ﺖﺳا ﯽﻣﻮﻤﻋ يا هﺪﯾﺪﭘ شزاﺮﺑﺶﯿﺑ