آشنايي با درخت هاي تصميم گيري

آشنايي با درخت هاي تصميم گيري

:ارائه دهندهاحمد نيك آبادي

8313177

:استاديدکتر شير

84بهار

2

فهرست مطالب

مقدمه•طراحي درخت تصميم گيري•(CART)پرسش هاي مطرح براي درخت تصميم گيري •ID3، C4.5الگوريتم يادگيري درخت •

يادگيري افزايشي درخت هاي تصميم گيري•يريم گي تصميکاربرد درخت ها•

3

مقدمه

4

مقدمه

وي!ژگي• دوت1ايي بردار :(X,Y) )الگ1و( وي1ژگي ب1ردار بي1انگر X و اس1ت Y همان ويژگي هاي مورد نظر هستند. Xبرچسب كالس مربوطه است. اجزاء

م!رتب• ويژگي ه1اي الگ!وي اگ1ر :X م1رتب مجموع1ه ي1ك از مق1اديري داراي مي ناميم .(numerical)يا عددي(orderd) را يك الگوي مرتب Xباشند،

: اگ1ر ويژگي ه1اي ب1ردار مق1اديري اختي1ار كنن1د ك1ه داراي ت1رتيب الگ!وي حتمي• مي نامند.(Categorical)طبيعي نباشند، آن را يك الگوي حتمي

پيوس1ته • ي1ا گسس1ته مق1ادير داراي اس1ت ممكن )م1رتب( ع1ددي ويژگي ه1اي باشند.

روش هاي دسته بندي:•تك مرحله ايچند مرحله اي

مقادير ويژگي ها:•پيوستهگسسته

5

معرفي درخت تصميم گيري و برخي تعاريف مورد نياز

:نمايي از يك درخت تصميم گيري

6


عم!ق متوس!ط مي1انگين تع1داد اليه ه1ا از ريش1ه ت1ا گره ه1اي پاي1اني را •مي ناميم.

ع!رض متوس!ط مي1انگين تع1داد گره ه1اي مي1اني در ه1ر س1طح درخت •درخت ناميده مي شود.

اين • در باش1ند ي1ك كالس مش1ترك داراي داخلي ح1داقل گ1ره دو اگ1ر داراي كالس ه1ا ك1ه مي ش1ود گفت1ه افت!ادگي ح1الت هم روي

(Overlap).هستند

7


تص!ميم درخت در ب!ردار ورودي ي!ك ب!ه انتس!اب كالس نح!وة گيري:

بردار ورودي در گره ريشه قرار مي گيريد.•بردار ورودي در ه1ر گ1رهي ك1ه ق1رار مي گ1يرد ب1ا توج1ه ب1ه ارزي1ابي انج1ام •

شده در يكي از شاخه ها پايين مي رود تا در يك برگ قرار بگيرد.برچس1ب ب1رگي ك1ه گ1ره در آن ق1رار مي گ1يرد ب1ه عن1وان برچس1ب ب1ردار •

برگردانده مي شود.

8


مزايا:قوانين توليد شده و به كارگرفته شده قابل استخراج و قابل فهم.1. پيوسته و گسسته.يکار با داده ها2. ساده.يري تصميم گياستفاده از نواح3..يرضروري غيسه هايحذف مقا4. مختلف. ي نمونه هاي متفاوت براي هايژگياستفاده از و5.احتياجي به تخمين تابع توزيع نيست.6.

9


:معايبدر مواردي كه هدف تخمين تابعي با مقادير پيوسته است مناسب نيستند.1.در موارد با تعداد كالس زياد و نمونه آموزشي كم، احتمال خطا باالست.2.هزينه محاسباتي باالي توليد درخت تصميم گيري.3.هرس كردن درخت نيز هزينه بااليي دارد.4.در مسائلي كه كالس هاي ورودي با نواحي مكعبي به خوبي جدا نشوند 5.

خوب عمل نمي كنند.زياد شدن گره پاياني در صورت روي هم افتادگي گره ها.6.انباشته شدن خطاي اليه ها بر روي يكديگر.7.طراحي درخت تصميم گيري بهينه مشكل است.8.

10

طراحي درخت تصميم گيري

11


اهداف اصلي درخت هاي تصميم گيري دسته بندي كننده:داده هاي ورودي را تا حد ممكن درست دسته بندي كنند.1.دانش آموخته شده از داده هاي آموزشي را به گونه اي عموميت 2.

ببخشند كه داده هاي ديده نشده را با باالترين دقت ممكن دسته بندي كنند.

در صورت اضافه شدن داده هاي آموزشي جديد بتوان به راحتي 3.درخت تصميم گيري را گسترش داد)داراي خاصيت افزايشي

باشند(. ساختار درخت حاصل به ساده ترين شكل ممكن باشد.4.

12


گام هاي الزم براي طراحي يك درخت تصميم گيري:انتخاب مناسبي براي ساختار درخت.1.انتخاب ويژگي هايي مورد نظر براي تصميم گيري در هر يك از 2.

گره هاي مياني.انتخاب قانون تصميم گيري يا استراتژي مورد استفاده در هر يك 3.

از گره هاي مياني.

13


روش هاي هيوريستيك ساخت درخت تصميم گيري:روش هاي پايين به باال1.روش هاي باال به پايين2.روش تركيبي3.روش هاي رشد دهنده-هرس كننده4.

14


روش هاي پايين به باال: درخت تصميم گيري از پايين به باال با حركت از برگ ها به سمت

ريشه ساخته مي شود. در هر مرحه دو يا چند كالس بر اساس معياري با يكديگر تركيب

مي شوند. فرآيند تركيب كالس ها تا زماني كه تنها يك كالس باقي بماند ادامه

مي يابد.

15


روش هاي باال به پايين :در روش هاي باال به پايين براي طراحي درخت تصميم گيري سه كار •

زير انجام مي گيرد:انتخاب يك قانون براي تقسيم گره ها.1.تصميم گيري در مورد اينكه چه گره هايي گره پاياني هستند.2.انتساب برچسب كالس به گره هاي پاياني.3.

اك1ثر كاره1اي انج1ام ش1ده در زمين1ه درخت ه1اي تص1ميم گ1يري روش •هاي باال به پايين هستند.

نمونه الگوريتم هاي باال به پايين:ID3، ID4، ID5R، C4.5، CART

16


روش هاي رشد دهنده-هرس كننده: در اين روش ابتدا درخت تصميم گيري با استفاده از روشي همچون

يك روش باال به پايين ساخته مي شود. در مرحله بعد با استفاده از يك الگوريتم هرس شاخه هاي اضافي

درخت حذف مي شوند.

از جمله اين الگوريتم هاست.CARTالگوريتم • نيز داراي يك الگوريتم هرس مي باشد.C4.5الگوريتم •

17


روش هاي تركيبي: در اين روش ها از هر دو روش باال به پايين و پايين به باال

استفاده مي شود.

18

پرسش هاي مطرح براي درخت تصميم گيري

(CART)

19

پرسش هاي مطرح براي درخت تصميم گيري CART

:CARTالگوريتم ساخت درخت Classification And Regression Trees (CART)Bereiman(1983) ارائه نرم افزاري با همين نام كه اين الگوريتم را پياده سازي مي

Salford Systemsكند توسط الگوريتم هاي ديگري مشابه الگوريتمCART پياده سازي شده و

بهتر عمل مي كنند.CARTنشان داده شده كه از

20


و CARTبراي س1اخت درخت تص1ميم گ1يري ب1ا اس1تفاده از الگ1وريتم •بس1ياري از الگ1وريتم ه1اي ديگ1ر س1اخت درخت باي1د ب1ه پرس1ش ه1اي زي1ر

پاسخ داد:ويژگي ها به مقادير دوتايي محدود مي شوند يا مي توانند چند مقدار 1.

داشته باشند؟ تعداد مقادير ويژگي ها تعداد خروجي هاي هر گره را مشخص مي كند.

در هر گره چه ويژگي بايد ارزيابي شود؟2.

چه موقع يك گره را به عنوان گره پاياني اعالم كنيم؟3.

اگر درخت تصميم گيري خيلي بزرگ شد چگونه مي توان آن را كوچكتر 4.)ساده تر( كرد؟ پاسخ اين پرسش الگوريتم هرس را مشخص مي كند.

اگر يك برگ درخت داراي ناخالصي بود چه برچسب كالسي به آن 5.نسبت داده مي شود؟

با نمونه هايي كه مقدار برخي ويژگي هاي آنان معلوم نيست چگونه 6. برخورد شود؟

21


تعداد انشعاب•انتساب برچسب كالس به برگ ها•مش!خص • آن!ان ويژگي ه!اي ب!رخي مق!ادير ك!ه نمونه ه!ايي

نيست

22


انتخاب ارزيابي و ناخالصي گره:ناخالص!ي • گ!يري ان!دازه زي1ر معياره!اي ه1اي وي1ژگي داراي باي1د

باشند: در صورتي كه كليه داده هاي يك گره به يك كالس تعلق داشته

شود. صفر آنباشند بايد مقدار در صورتي كه داده ها به صورت مساوي بين تمام كالس هاي

موجود تقسيم شده باشند بايد بيشترين مقدار خود را داشته باشد.

برخي روش هاي اندازه گيري ناخالصي:• ناخالصي انتروپي

ناخالصيGini

ناخالصي دسته بندي اشتباه

23


نمودار مقادير معيارهاي مختلف ناخالصي براي حالت دو كالسه

24


در ه!ر گ!ره از چ!ه ارزي!ابي ب!راي تقس!يم داده ه!ا اس!تفاده •كنيم؟

را داده ه1ا ناخالص1ي بت1وان آن از اس1تفاد ب1ا ك1ه رابطه اي داش1تن ب1ا ان1دازه گيري ك1رد ب1ه دنب1ال ارزي1ابي مي گ1رديم ك1ه ناخالص1ي داده ه1ا را ت1ا

حد ممكن كاهش دهد.از • كالس1ه دو م1وراد در ناخالص1ي ك1اهش م1يزان ان1دازه گيري ب1راي

رابطه

استفاده مي كنيم.

ب1ه ت1رتيب بي1انگر گره ه1اي چپ و راس1ت ايج1اد NR و NLدر اين رابط1ه • احتم1ال ق1رار گ1رفتن نمون1ه PLش1ده در نتيج1ه ارزي1ابي در گ1ره فعلي و

در گره چپ است.

25


چه موقع تقسيم گره ها را خاتمه دهيم؟(overfitting)برازش بيش از حد •برخي روش هاي مورد استفاده براي پايان دادن به تقسيم ها:•

هر زمان كه خطاي دسته بندي براي داده هاي : وارسي اعتبارارزيابي از يك حد از پيش تعيين شده كمتر شد آموزش )تقسيم

گره ها( را خاتمه مي دهيم.اگر بهترين انتخابي كه :حد آستانه براي تغييرات ناخالصي

براي ارزيابي وجود دارد، ناخالصي را از يك حد آستانه كمتر كاهش دهد، تقسيم در آن گره را خاتمه مي دهيم.

26


هرس كردن درخت تصميم گيري:گ1اهي اوق1ات متوق1ف ش1دن تقس1يم نمونه ه1ا در : horizon effectپدي1ده •

ي1ك گ1ره و اعالم گ1ره ب1ه عن1وان ب1رگ ب1ه دلي1ل فق1دان پيش بي1ني در م1ورد ميزان مطلوبيت تقسيم هاي گره هاي بعدي است.

روي1ه ديگ1ري ك1ه در مقاب1ل روش متوق1ف س1اختن تقس1يم ب1ه ك1ار گرفت1ه • مي شود، هرس كردن درخت است.

در اين روش ابت11دا درخت تص11ميم گيري را ت11ا ح11د ممكن گس11ترش •مي دهيم ت1ا ب1ه كم1ترين مق1ادير ناخالص1ي در برگ ه1ا برس1يم. س1پس ب1ه بررس11ي دو ب11رگ مج11اور )داراي پ11در يكس11ان( مي پ11ردازيم ك11ه آي11ا

مي توان اين دو برگ را با يكديگر تركيب كرد يا خير.

27


:CARTالگوريتم هرس فرض كنيد مقدار را از رابطه

اس1ت t ن1رخ دس1ته بندي اش1تباه در گ1ره بدس1ت مي آوريم. ك1ه در آنكه با استفاده از رابطه

محاسبه مي شود. باشد و از رابطه tفرض كنيد زيردرختي با ريشه

ث1ابتي اس1ت ك1ه پيچي1دگي درخت تص1ميم گيري را محاس1به ش1ود. ك1ه در آن مجموع1ه گره ه1اي پاي1اني زي1ر ب1ه ازاء ه1ر گ1ره پاي1اني بي1ان مي كن1د و

تخمي1ني از ن1رخ دس1ته بندي اش1تباه و پيچي1دگي درخت درخت اس1ت. ارائه مي كند.

)(tR

)()()( tptrtR

)|(max1)( twptr jW j

)(tr

tT)(tR

||)()(~

TtRtR

||

~

T)(tR

28

خواه1د tآنگ1اه پيچي1دگي هزين1ه زي1ر درخت كم1تر از گ1ره اگ1ر اين1 را1بط1ه 1ت1ا رخ 1مي د1ه1د. 1ب1ا اف1زايش ب1ود. ا1ين 1ام1ر ب1ر1اي مق1ادير كمزماني درست خواهد بود كه

كه در آن تع1داد گره ه1اي پاي1اني زي1ردرخت اس1ت. در نه1ايت مق1دار م.ي کني را به شكل زير محاسبه م

را ب1راي تم1ام گره ه1اي غ1ير g(t)براي ه1رس ك1ردن درخت در ه1ر مرحل1ه مق1دار ب1رگ محاس1به مي ك1نيم. ت1ا زم1اني ك1ه ح1داقل اين مق1دار ب1راي گره ه1ا از

را1 ب1ه ع1ن1وان g(t)مق1دار آس1تانه1 اي ك1م1تر 1اس1ت، 1گ1ره م1ي1اني1 ب1ا كم1ت1رين مق1دار م 1مي ك1نيم 1و 1مق1دار g(t)1 uب1ر1گ اعال1 تم1ام گ1ره1 ه1اي پ1در1 1آن 1ت1ا1 ريش1ه1 ر1ا م1ج1ددا

محاسبه مي كنيم.

)()( tRTR

1)(

)()(

tN

TRtR

d

t

)(tNdtT)(tg

1)(

)()()(

tN

TRtRtg

d

t

29


الگوريتم يادگيري درخت ID3، C4.5

30

،ID3الگوريتم يادگيري درخت C4.5

:ID3الگوريتم 1986 – Quinlanباال به پايينپايه بسياري از الگوريتم هاي يادگيري درخت جستجوي حريصانه اي را براي درخت تصميم گيري بهينه انجام

مي دهد.:C4.5الگوريتم

1993 – Quinlan حاصل اعمال برخي بهبودها در الگوريتمID3 كار با داده هاي(

پيوسته، كار با ويژگي هاي بدون مقدار و ... (:C5تم يالگور

31


:ID3الگوريتم كار كردن با مثال هاي آموزشي داراي صفات بدون مقدار•كار با صفات داراي مقادير پيوسته•كدام صفت بهترين دسته بندي كننده است؟•معيارx اندازه گيري بهره اطالعاتيمشكل •مقياس ديگر براي انتخاب صفات•

( نسبت بهرهQuinlan 1986, C4.5):

S

S

S

SASmationSplitInfor i

c

i

i2

1

log),(

),(

),(),(

ASmationSplitInfor

ASGainASGainRation

32


كار با صفات داراي هزينه هاي متفاوت: متفاوتي محاسبه مختلف داراي هزينه ويژگي هاي گاهي اوقات

هستند. مي توان با اضافه كردن عبارت هزينه در مقياس انتخاب صفات

ID3 به گونه اي تغيير داد كه هزينه صفات را نيز در نظر را.بگيرد

:)پيشنهادي ارائه شده )جريمه كردن ويژگي با هزينه آن•Tan و Schlimmer (1990) و Tan (1993) :

•Nunez (1988)

)(

),(2

ACost

ASGain

w

ASGain

ACost )1)((

12 ),(

33


ID3ايجاد پنجره در روشي براي برخورد با داده هاي آموزشي بسيار زياد بسيار كند فوق بدون استفاده از تكنيك ايجاد پنجره الگوريتم هاي

عمل خواهند كرد:نمونه اي از يك الگوريتم يادگيري به شكل زير است

.زيرمجموعه اي از نمونه هاي آموزشي را به تصادف انتخاب كنيد الگ1وريتمID3 را ب1ر روي نمونه ه1اي آموزش1ي انتخ1اب ش1ده اج1را و درخت

تصميم گيري حاصل را بدست آوريد. آم1ده دس1ت ب1ه درخت از اس1تفاده ب1ا را آموزش1ي نمونه ه1اي كلي1ه

دس1ت1ه بندي كني1د. نمونه1 ه1اي آ1موزش1ي را ك1ه1 اش1تباه د1س1ته بندي ش1ده 1اند در قرار دهيد.Eمجموعه اي همانند

در صورتي كهE.تهي بود الگوريتم خاتمه مي يابد زي1ر مجموع1ه نمونه ه1اي آموزش1ي(S) را براب1ر ب1ا اجتم1اع S و E.ق1رار بده ب1رو و الگ1وريتم 2به گ1ام ID3 را ب1راي زيرمجموع1ه نمونه ه1اي آموزش1ي

جديد اجرا كن.

34

يادگيري افزايشي درخت هاي تصميم گيري

35


يادگيري درخت تصميم گيري: :مورد نظر را در يك بار آموزش با درخت تصميم گيري الگوريتم غير افزايشي

داده هاي آموزشي ياد مي گيرد. :با دريافت هر نمونه آموزشي جديد در صورتي كه الزم باشد، الگوريتم، افزايشي

يادگرفته شده را بازبيني مي كند و ممكن است آنچه را كه ياد گرفته است درخت بهبود بخشد.

ويژگي هاي الگوريتم افزايشي خوب:•.حافظه مورد نياز كم.سرعت بازسازي باالي درخت.توليد درختي مناسب نسبت به روش هاي غيرافزايشي

كه تا اينجا ديديم همگي الگوريتم هاي غير افزايشي بودند.ID3 و CARTالگوريتم هاي •برخي الگوريتم هاي افزايشي ساخت درخت:•

ID3’ID4ID5R

36


:’ID3الگوريتم ساده ترين ساخت درخت تصميم گيري به صورت افزايشي

است. كليه نمونه هاي آموزشي را نگهداري مي كند و با دريافت هر

نمونه جديد الگورتيم ساخت درخت را از ابتدا اجرا مي كند.

ويژگي ها:•.حافظه مورد نياز زياد.سرعت كم درختي مشابه درختID3!ايجاد مي كند

37


:ID4الگوريتم ا ک1ار الگ1ورياس1اس بن1دين دس1ته وروديتم جدي ک1ردن ي1 خ1راب و د

در آن انتخ1اب نش1ده يابي1 ارزين ص1فت ب1را ي اس1ت ک1ه به1تريردرخ1تيزباشد.

ويژگي ها: اين الگوريتم ساخت درختي مشايه درختID3 را تضمين نمي

كند..در برخي موارد قادر به يافتن درخت مناسب نيست

38


:ID5Rالگوريتم تض1مين مي كن1د ك1ه ب1ا اس1تفاده از داده ه1اي آموزش1ي يكس1ان درخت

خواهد بود.ID3حاصل از آن مشابه درخت توليدي الگوريتم تف1اوت اين الگ1وريتم ب1اID4 ارزي1ابي در ي1ك وي1ژگي در روش تغي1ير

گره است. به ج1اي آنك1ه زي1ر درخت مرب1وط ب1ه گ1رهي ك1ه ق1رار اس1ت وي1ژگي

u خ1راب ش1ود، اين زي1ر درخت را ب1ه م1ورد ارزي1ابي آن تغي1ير كن1د كالگ1ونه اي بازس1ازي مي كن1د ك1ه وي1ژگي م1ورد نظ1ر در ريش1ه ق1رار

بگيرد. است.بازسازي و به روز رساني درخت شامل دو الگوريتم براي بازس1ازي درخت، اين الگ1وريتم در ه1ر گ1ره تع1داد نمون1ه ه1اي

ه1ر ي1ك از كالس ه1ا ر1ا ب1را1ي ه1ر ي1ك از1 مق1ادير1 وي1ژگ1ي ه1ا 1نگه1داري مق1ادير1 اين 1 از ي1ك ه1ر نگهد1ارن1د1ه متغ1يره1اي ب1ه كن1د1. مي1

« گفته مي شود.شمارنده مورد»

39


ID5Rالگوريتم به روزرساني درخت اگ1ر درخت خ1الي اس1ت، درخت را ب1ه عن1وان ي1ك گ1ره تنه1ا تعري1ف كن. برچس1ب گ1ره 1.

ن1ي1ز 1مجم1وعه ا1ي ر1ا1 ب1ده1 و 1مج1موع1ه م1وارد را ب1رچس1ب داده آم1و1زش1ي 1جدي1د ق1را1ر شامل تنها داده آموزشي ارائه شده قرار بده.

در غ1ير اين ص1ورت اگ1ر درخت گس1ترش داده نش1ده اس1ت و برچس1ب داده آموزش1ي 2.جدي1د 1ب1ا بر1چس1ب1 گ1ره ي1كي 1اس1ت، داده1 آموزش1ي جدي1د 1را ب1ه1 مجموع1ه داده ه1اي گ1ره

اضافه كن.در غير اين صورت3.

)a انتخ1اب ي1ك ص1فت دلخ1واه ب1ا اگ1ر درخت گس1ترش داده نش1ده اس1ت، آن را براي ريشه، يك سطح گسترش بده.

)b تع1داد م1وارد مثبت و منفي را ب1ه ازاء مق1ادير ويژگي ه1اي داده آموزش1ي جدي1دبرا1ي ص1فت ار1زيابي و1 كليه صفا1ت د1يگر در 1گره فع1لي به روز1 رساني كن.

)c،اگر در گره فعلي بهترين ويژگي براي ارزيابي انتخاب نشده است.I درخت را ب1ه گ1ونه اي بازس1ازي كن ك1ه وي1ژگي م1ورد نظ1ر در ريش1ه م1ورد

ارزيابي قرار بگيرد..II زي1ر از ي1ك ه1ر در ارزي1ابي ب1راي وي1ژگي به1ترين بازگش1تي ص1ورت به

گ1ام در ك1ه درخ1تي زي1ر –بج1ز را dدرخت ه1ا مي ش1ود- روزرس1اني ب1ه انتخاب كن.

)d زي1ر درخ1تي از گ1ره ج1اري ك1ه داده آموزش1ي در آن ق1رار مي گ1يرد را ب1ه ص1ورتب1ازگشتي به1 روز1رساني ك1ن و در صورت ل1زوم آ1ن را گسترش ب1ده.

40


: ID5Rالگوريتم بازسازي الگ1ورتيم 1. آنگ1اه باش1د، ريش1ه در اكن1ون هم نظ1ر م1ورد وي1ژگي اگ1ر

خاتمه مي يابد.در غير اين صورت:2.

)a به صورت بازگشتي هر يك از زير درخت هاي گره فعلي را باانتخاب ويژگي مورد نظر به عنوان ويژگي ارزيابي بازسازي كن.

در مواردي كه الزم است، درخت را گسترش بده.)b ويژگي انتخاب شده را در ريشه و ويژگي قبلي را در ريشه هر

يك از زيردرخت هاي قبلي قرار بده.

41


: ID5Rمثالي از به كارگيري الگوريتم :مجموعه داده هاي مورد استفاده براي ساخت درخت

42


نمونه جديد:

درخت حاصل:

43



درخت حاصل:

44



درخت حاصل:

45



درخت حاصل:

46



درخت حاصل:

47



درخت حاصل:

48


درخت حاص1ل را مي ت1وان ب1ه ش1كل فش1رده زي1ر ن1يز ارائ1ه ك1رد ام1ا اين • انجام نمي شود.ID5Rكار در الگوريتم

49


برررسي پيچيدگي الگوريتم هاي معرفي شده: پيچيدگي الگوريتم ها بر اساس تعداد نمونه هاي آموزشي(n)

است. و افزايش هاي شمانده هاي مورد دو معيار ارزيابي تعداد

هستند.محاسبه ارزش تقسيم

50

يريم گي تصميکاربرد درخت ها

مسائل دسته بندی••Using Decision Tree Confidence Factors for Multi agent Control

51

مراجع

[1] S. R. Safavian, and D. Landgrebe, “A Survey of Decision Tree Classifier Methodology,” IEEE Transactions on Systems, Man, and Cybernetics, Vol. 21, No. 3, pp 660-674, May 1991.

[2] R. Duda, and P.E. Hart, Pattern Classification and Scene Analysis, Wiley, 1978.

[3] A. Webb, Statistical Pattern Recognition, Second Edition, Wiley, 2002.

[4] T. M. Mitchel, Machine Learning, McGraw-Hill, 1997.

[5] P. E. Utgoff, “Incremental induction of decision tress,” Machine Learning vol. vol. 4, pp.161-186, 1989.

[6] P. Stone, M. Veloso, “Using Decision Tree Confidence Factors for Multi agent Control”, 1998.

Documents

آشنايي با درخت هاي تصميم گيري