مدلسازي تصميم گيري در انسان با استفاده از پيش بيني مبتني بر مدل و فرآيند تصميم گيري مارکوف

ارائه: رضوان کياني فر

استاد راهنما: آقاي دکتر توحيد خواه

88خرداد

به نام خدا

نامه کارشناسي ارشد‌پايان

مهندسي پزشکي- بيوالکتريک

1

فهرست

مقدمه اي بر تصميم گيري

اهداف و فرضيات

نروسايکولوژي تصميم گيري و ارائهمدل کیفی

مروري بر مطالعات مدلسازی موجود

نحوه پياده سازي مدل کیفی با روشMDP

نتايج شبيه سازي

آزمايشات عملي

نتيجه گيري

پيشنهادات

2

مقدمه

تصميم گيري به فرآيند شکل گيري ترجيحات، انتخابو اجراي اعمال و ارزيابي نتايج گفته مي شود.

درهرتصميم گيري هدفي وجود دارد و تصميم گيرندهبايد با کم هزينه ترين روش به آن برسد.

انسانها يک فرآيند يادگيري تقويتي را براي بهينهسازي انتخاب ها بکار مي گيرند.

3

اهداف

ايينLپ يکي از مسLائلي کLه انسLان را از سLاير موجLودات سLطح متمLايز ميکنLد، قLابليت او در تحليLل مسLائل، پيش از وقLوع آن و

تصميم گيري بر اساس سود و زيان بلندمدت اعمال است.

امLتری انجLات بیشLیری مطالعLمیم گLی تصLای انگیزشLه هLروی جنبشLده امLا روی نقش مکانیزمهLای کنLترلی سLطح بLاالتر نظLیرپیش

بینی، مطالعات کمترند.

دیLاالت بعLوقت حLه داری مLال در نگLه فعLه نقش حافظLه بLبا توجبLه نظLر می رسLد کLه درنظLر گLرفتن این مکLانیزم از دیLدگاه مLدل داخلی بLه توصLیف بهLتر رفتارهLای انسLان در تصLمیم گLیری کمLک

می کند.

4

- بررسي مراکز مغزي مرتبط با تصميم گيري1

- شناخت مراکزي که در پيش بيني دخالت دارند و 2 چگونگي ارتباط وعملکرد آنها و ارائه مدل مناسب

- پيشنهاد روش مناسب براي مدلسازي عملکرد 3 مراکزفوق طوري که با واقعيت بيولوژيکي سازگار

باشد

- ارائه روشي مناسب براي ارزيابي مدل پيشنهادي4

فرضيات

تاکيد روي نواحي پيشاني و برخي نواحيمغز مياني

از نقش احساس يا پاداش دروني و توجهصرف نظر شده

انتخاب تکليف مارپيچ )منافاتی با کلی بودنعنوان ندارد(

5

نوروسايکولوژي تصميم گيري

6

روشهاي مطالعه تصميم گيري

مطالعه بيماران شناختي

نياز به انجام تستهاي روان شناسي

اطالعات حاصل از بيمار قابل اعتماد نيست

،ADHD اتيسم، افسردگي، شيزوفرني، روانپريشي وسواس و...

7

(1970 ثبت سلولي)

نياز به انجام تکليف خاص

معموال روي ميمون انجام مي شود

روشهاي مطالعه تصميم گيري

8

(1992روشهاي تصويربرداري)

نياز به طراحي تکليفهاي خاص

کم بودن سوژه ها

وضوح فضايي ناکافي

ارتباط بین فعالیت نورونی و فشار خون مغزی

روشهاي مطالعه تصميم گيري

9

10

تست رواني کالمتست استروپتست هايلينگتست کارت ويسکانسينAX-CPTIGTبرج هانويتکليف پاسخ تاخير يافتهمارپيچ

انواع تستهاي روانشناسي

مارپیچ

(PFCقشر پريفرانتال)

11

Frontal Cortex

LateralVentral

Orbital

قشر پريفرانتال پشتي- (DLPFCجانبي)

12

(OFCقشر اوربيتوفرانتال)

13

OFC

(ACCقشر سينگوليت قدامي)

14

آميگدال

15

(STاسترياتوم)

16

مدل پيشنهادي

17

مروري بر مطالعات و مدلهاي موجود

18

دسته بندي مطالعات انجام شده

نوروسايکولوژي: مطالعات تصويربرداري )بيش از نود درصد(

هوش مصنوعي: روشهاي مارکوف براي مسير يابي ربات، روابط منطقي

مطالعه تصميم گيري

مدلهاي نوروني)تقليد الگوي خروجي نورونهاي دوپامين(

مدلسازي:

مدلهاي عملکردي19

مدلهاي نوروني

( 1995هوک و همکارانش)

(2000)دويا

(2002دويا)

( 2006هارونو و کاواتو)

(2007جوشي و همکارانش)

20

مدلهاي عملکردي

(1998والسوز و همکارانش)

(2004پيساپيا)

(2005آن و همکارانش)

(2006استانکويچ و همکارانش)

(2007بالسي)

(2008ايشيدا و همکارانش)21

(2004پيساپيا)

22

(2006استانکويچ)

23

(2007بالسي)

24

(2008ايشيدا)

25

روش پياده سازي مدل

26

27

روش انجام کار

MDP مناسب ترين کانديد براي مدلسازي تصميم گيري

حالتعملاحتمال تحول حالتپاداشسياستتابع ارزشمدل محيط

28

تخمين تابع ارزش

ssrEssREsV t

kkt

ktt ||)(

01

aassrEsV tt

kkt

k

a,|max)(

01

(يادگيري تفاضل زمانيTD)

NewEstimate ← OldEstimate + StepSiz [Target – OldEstimate]

tktkttktk sVsVrsVsV 111

29

ACC-OFCتعامل

30

Aa

asW

asW

t

t

e

eaP

'

' /),(

/),(

)(

)()( 11 ttt sVsVr

Ctt sVsV )()(

Att asWasW ),(),(

حافظه فعال و پيش بيني

31

الگوريتم پيش بيني

1مشاهده حالت فعلي -

2 بدست آوردن حالت بعدي و پاداش متناظر با آن از طريق -مدل به ازاي تمام اعمال مجاز

3بروز سازي توابع ارزش و خطاي -TD

4 تغيير حالت فرضي از حالت فعلي به يک حالت بعدي ممکن -و تکرار مراحل فوق تا زماني که تمام حاالت موجود در افق

پيش بيني امتحان شوند.

32

فشرده سازي زماني و استرياتوم

33

HRLپياده سازي

34

Oo

osW

osW

tctrlo

tctrlo

e

eoP

'

' /),(

/),(

)(

)()( 1 initotot

cum sVsVrctrlctrl

tot

it

t

i

icum init

tot

rr

1

1

Ctoto initctrlinitctrlsVsV )()(

Atoto osWosWinitctrlinitctrl

),(),(

چگونه زيرهدفها انتخاب مي شوند؟

از طريق ژنتيکي و انتخاب طبيعي

تحليل رشته اعمالي که پاداش دريافت کردهاند

تحليل فضاي حالت

پاداش هاي دروني

استنباط از رفتار ديگران

35

36

نتايج شبيه سازي

37

تکليف انتخابي

38

بررسي اثر کاوش- بهره برداري

39

تغيير محيط

40

41

بینی پیش اثر

42

43

محیط نبودن کامل

44

اصالح الگوريتم

45

بررسی اثر سلسله مراتبی در يادگيری

46

آزمايشهای عملی

47

آزمايش اول: بررسی اثر پيش بينی

48

نتايج آزمايش اول

49

ارزيابی نتايج آزمايش اول

50

آزمايش دوم : بررسی اثر تحول مثبت

51

نتايج آزمايش دوم

52

ارزيابی نتايج آزمايش دوم

آزمايش سوم: بررسي اثر تحول منفي

53

نتايج آزمايش سوم

54

آزمايش چهارم: مقايسه نتايج حاصل از مدل بانتايج تجربي

55

ارزيابی نتايج حاصل

560 10 20 30 40 50 60

0

500

1000

1500

2000

2500

3000

Episodes

Ste

ps p

er E

piso

de

Learning Only

Learning with optionsLearning with options and prediction

نتيجه گيری

- مدل ارائه شده از نظر زیرساختهای 1نورونی در نظر گرفته شده، روش

مدلسازی، خواص نشان داده شده در آن و انجام آزمایشات عملی نسبت به مدلهای

دیگر برتری دارد.

- برای نزدیک شدن به رفتار انسانی در 2تکلیف درنظر گرفته شده، اثر دو خاصیت

پیشبینی و سلسله مراتب بیش از سایر موارد است.

- به د لیل شباهت آزمایشات، این مدل 3میتواند تکمیل کار ایشیدا و همکارانش

محسوب شود.

57

کاربردهای مدل

بررسی اثر آسیب نواحی مغزی

طراحي ربات هاي خودسازمانده

طراحي سيستم هاي کمک به افراد آلزایمری یاسالمند

استفاده از آن براي کنترل ترافيک

استفاده از آن براي شبيه سازي رفتار انسانها درمحيط هاي مجازي

58

پيشنهادات

درنظر گرفتن تکليف هاي ديگرموجود

)بررسي اثر بيماري هاي مختلف بوسيله مدل )مثال نزدیک بینی

لحاظ کردن اثرات احساسي و توجهي روي تصميم گيري

بهبود مدل تک تک اجزا

نواحی مغزینقش ساير

استفاده از روشهاي يادگيري تقويتي پيوسته يا ترکيبيادگيري تقويتي و روش فازي

طراحي بهتر آزمايشات

ها و عالئم محيطي در يافتن مسيربهينه نقش نشانه59

60

با تشکر از توجه شما

61

?

62

63

64

65

66