משחקים הסתברותיים אלגוריתם Expectimax משחק השש- בש

הסתברותיים משחקיםExpectimaxאלגוריתם

- בש השש משחקמלאכותית ) לבינה (236501מבוא

, טכניון המחשב מדעיגייגר עומר

2013-14חורף

Lesson Plan. הסתברותיים במשחקים נדון זה בשיעור

... כך לצורך-: וקומבינטוריקה בדידה בהסתברות בסיסיים מושגים נרענן

•. , , , : גאומטרית בינומית ברנולי יוניפורמית נפוצות התפלגויות•. , תקן, סטיית שונות תוחלת•. \ , \ לסדר חשיבות בלי עם חזרות ללא עם קומבינטורית בחירה

- : הסתברותיים למשחקים בקורס המרכזי האלגוריתם את .Expectimaxנתרגל

-: - בש השש למשחק הרלוונטיות בשאלות נתמקד• , . לקרוא מתבקש במשחק בקיא שלא מי בקצרה המשחק חוקי את נסקור

. הבחינה לקראת ובפרט המשחק של הבנה ולוודא בעיון השקפים את•. למשחק מתאימה בסיסית יוריסטיקה נגדירשחקן • ביצועי של באספקטים .Expectimaxנדון זו יוריסטיקה עם

אלגוריתם - את (.Monte-carloנזכיר ואחרים ) חלקית אינפורמציה עם למשחקים

( מדעי המחשב- 236501מבוא לבינה מלאכותית )2013-14טכניון. עומר גייגר חורף

6 5 4 3 2 1

1

2

3

4

5

6

6 5 4 3 2 1

1

2

3

4

5

6

6 5 4 3 2 1

1

2

3

4

5

6

Probability Q1עם זהות הוגנות קוביות זוג של התוצאות התפלגות ?6מה פאות-

: דאבל לא

דאבל:

( מדעי המחשב- 236501מבוא לבינה מלאכותית )2013-14טכניון. עומר גייגר חורף

Probability Q2 " עם " הוגנות קוביות זוג התפלגות לגבי ונשאל ...Kנכליל פאות

: דאבל לא

דאבל:

( מדעי המחשב- 236501מבוא לבינה מלאכותית )2013-14טכניון. עומר גייגר חורף

K K-1 ... 3 2 1

1

2

3

...

K-1

K

Combinatorics Q3? - " פאות " עם זהות קוביות זוג לתוצאת יש שונות אפשרויות כמה

( מדעי המחשב- 236501מבוא לבינה מלאכותית )2013-14טכניון. עומר גייגר חורף

.1דרך חשבונית: סדרה וסכם שורות ספור.2דרך ואחרים: דאבלים ספור.2בחר: 3דרך סדר חשיבות ובלי חזרות עם מתוך

נקבל .21עבור אפשרויות

K K-1 ... 3 2 1

1

2

3

...

K-1

K

Backgammon

( מדעי המחשב- 236501מבוא לבינה מלאכותית )2013-14טכניון. עומר גייגר חורף

בש- שששחקנים • שני משחקמתחלף • תוראפס • סכוםמלאה • אינפורמציהדטרמיניסטי • אי

המשחק חוקי. מראש וידוע קבוע התחילי המצב

. " מהלוח: " השחקן של הכלים כל הוצאת המטרה.' ' ב: לשחקן השעון כיוון נגד או א לשחקן השעון כיוון עם השחקן חיילי הנעת האמצעי

. , חייליו את להוציא מתחיל הוא שלו האחרון לרביע הועברו השחקן חיילי שכל לאחר

( מדעי המחשב- 236501מבוא לבינה מלאכותית )2013-14טכניון. עומר גייגר חורף

המשחק חוקיעם ) • זהות קוביות זוג מגלגל השחקן תור (.6בכל פאות המוגדר : • בכיוון צעדים מחייליו אחד להזיז בוחר השחקן שונים יצאו אם

.) ההפוך" ) בסדר או צעדים מחייליו אחד כל כ ואח• : " לבצע " בוחר השחקן דאבל יצא .הזזות 4אם לבחירתו חיילים עם צעדיםנקרא ) • זה יריב חיילי משני יותר נמצאים בו מיקום על הזזה לסיים אסור

.)" בית"• ." מוצא " החייל זה במקרה לקיחה נקרא בודד יריב חייל על הזזה סיום

בשקף ) יוסבר הבא בתור השחקן של הראשון לרביע לחזור ונדרש מהלוחהבא(.

•. בתור פעמים מספר חייל אותו להזיז Iניתן

I

Backgammon

( מדעי המחשב- 236501מבוא לבינה מלאכותית )2013-14טכניון. עומר גייגר חורף

המשחק חוקישהשחקן • לפני השחקן של הראשון לרביע לחזור חייבים שנלקחו חיילים

. נוסף מהלך כל מבצע• " " " צורך ו הקובייה שעל המספר י עפ מתבצעת הראשון לרביע החזרה מיקום

צעד.

I

I

I

6 5 4 3 2 1

6 5 4 3 2 1

Backgammon

( מדעי המחשב- 236501מבוא לבינה מלאכותית )2013-14טכניון. עומר גייגר חורף

המשחק חוקי•. , לאיבוד הולך הוא בצעד להשתמש אפשרות שאין מקרה בכל•. זאת - לעשות השחקן חייב המהלכים בשני להשתמש וניתן במידהמהלכים • נותרו שלא כיוון השני על ולוותר מהלך לבצע שאסור אומרת זאת

. מכך להימנע ניתן אם חוקיים5 1 1

64

1 5 1

1 5 1

תקוע!6

! לבצע חייב

: נוכחי מצב

Backgammon

4

4 6

( מדעי המחשב- 236501מבוא לבינה מלאכותית )2013-14טכניון. עומר גייגר חורף

סיום - המשחק חוקי• , את להוציא מתחיל הוא שלו האחרון לרביע חייליו כל את הביא ששחקן לאחר

חייליו.•. ללוח מעבר שנמצאת הבאה לנקודה הזזה כעל הוצאה על לחשוב ניתן•. הבא המיקומים למספור בהתאם הן האפשריות ההוצאות לפיכךערך • עם קובייה באמצעות במיקום חייל להוציא גם ורק ניתן אך זאת אך

- מ גדול במיקום חייל אף שאין .במקרה

IIV

IV

6 5 4 3 2 1

6 5 4 3 2 1

Backgammon

1 11

54 : נוכחי מצב

1 11

1 11

5

45

4 NO!

OK1st 2nd

Backgammon game tree

MIN

MAX

PROB

על ההסתברויות מההקשתות?

מקדם מהוהסיעוף?(PROBבצומת)

: דאבל לאדאבל:

21

Expectimax algorithm

DIFF

(

with RB-Minimax

)

Backgammon Q4- בש השש משחק עבור פשוטה יוריסטיקה הציעו

. מהלוח מסוף השחקנים שני חיילי כלל של המרחק את לבטא נרצה." " יציאה ל עד בלוח נקודה מכל היחידה צעדי את נמספר כך לצורך

חיילי עבור המקביל הסכום את ונחסיר מהיציאה היריב חיילי כל מרחקי את נסכםהסוכן.

זו ליוריסטיקה נקרא

IIV

6 5 4 3 2 16+ : 6 5 4 3 2 1

12+ : 1 2 3 4 5 6 1 2 3 4 5 6 : + 18

III

III

( מדעי המחשב- 236501מבוא לבינה מלאכותית )2013-14טכניון. עומר גייגר חורף

חישוב דוגמת25חוץ =

Exam Q5א, 2007-8חורף מועד

, ערכי של משוקלל סכום כלומר הסתברותיים בצמתים תוחלת מחשב האלגוריתםRB-Expectimax. השונות ההסתברויות לפי

שלאחר מבטיח ההבטחה הוא Dמשפט היוריסטי הערך בו למצב נגיע צעדים. המוחזר הערך לפחות

, ביותר הנמוך הערך את ההסתברותיים בצמתים לבחור צריך זאת להבטיח מנת על. , . נוספים מינימום כצמתי ההסתברותיים לצמתים להתייחס כלומר התוחלת במקום

( מדעי המחשב- 236501מבוא לבינה מלאכותית )2013-14טכניון. עומר גייגר חורף

א, 2007-8חורף מועד

) עבור ) הגרוע המקרה את מניח שהוא כיוון פחדני שמרני באופן ישחק זה שחקןתוצאות יניבו גבוהה בהסתברות אשר ממהלכים ימנע וכך ההסתברותיים הגורמים

. ישחק השחקן הנראה ככל סביר והפחות הגרוע מהמקרה החשש בגלל רק טובות. המקורי מהאלגוריתם טובה פחות בצורה

Exam Q5

( מדעי המחשב- 236501מבוא לבינה מלאכותית )2013-14טכניון. עומר גייגר חורף

, - שחקן שיבחר המהלך מה בש בשש הבא הלוח מצב ומה Expectimaxבהינתן רגיל ? באמצעות בחירתך את הצדק הקודמת מהשאלה השמרני השחקן שיבחר המהלך

ה " Expectimaxערכי עומק לפי ל הנ המהלכים שני .MINואז PROBאז, MAX: 3עבור

פשטני ניתוחה לערך נותן אפשרי מהלך .Expectimaxכל ההתקדמות עבור

" " חוזרת לאכילה אפשרות פותח אך האכילה עבור ערך לכך מוסיף רצוי ה המהלך . היא" בחזרה החייל את יוכל היריב הבא שבמהלך ההסתברות הבא בתור היריב י ע

. , מלקחת נמנע הזהיר שהשחקן הסיכון בדיוק זהו אך נמוכה יחסית

Backgammon expansion question

( מדעי המחשב- 236501מבוא לבינה מלאכותית )2013-14טכניון. עומר גייגר חורף

1 5 3 1 51 5 3 1 521

2הרצוי המהלך

1

המהלך שייבחר

2

Backgammon expansion question

( מדעי המחשב- 236501מבוא לבינה מלאכותית )2013-14טכניון. עומר גייגר חורף

1 6 2 1 51 5 3 6

21השמרני : המהלך לאחר המצב

1 5 3 1 51 5 3 5

הרצוי : המהלך לאחר המצב

1בחוץ:

הנותר לעומק ושל של המינימקס ערכי בין ההפרש את 2נחשב : האכילה בעקבות היוריסטי הרווח

: " הבא בתור היריב י ע חוזרת לאכילה הסיכוי : שכזו חוזרת אכילה בעקבות היוריסטי ההפסד

שלילי הפרש מתקבל ולכן מההסתברות מתעלם השמרני השחקן

הקודם : המצב

Probability Q6התפלגות עם הסכוםמה זהות הוגנות קוביות זוג 6של

פאות?

( מדעי המחשב- 236501מבוא לבינה מלאכותית )2013-14טכניון. עומר גייגר חורף

6 5 4 3 2 1

7 6 5 4 3 2 1

8 7 6 5 4 3 2

9 8 7 6 5 4 3

10 9 8 7 6 5 4

11 10 9 8 7 6 5

12 11 10 9 8 7 6

23456789

101112

0% 2% 4% 6% 8% 10% 12% 14% 16% 18%

1/36 2/36

2/361/36

6 /365 /365 /36

Probability Q7" Sennetבמשחק הטלת י ע נקבע לתזוזה הצעדים וספירת 6מספר הוגנים מטבעות

? . " " שכזו הטלות שישיית תוצאת של ההתפלגות מה שהתקבלו פלי ה מספר

: ברנולי התפלגות בודדת הטלה

: בינומית התפלגות הטלות שישיית

( מדעי המחשב- 236501מבוא לבינה מלאכותית )

2013-14טכניון. עומר גייגר חורף

Probability Q8בינומית התפלגות

( מדעי המחשב- 236501מבוא לבינה מלאכותית )2013-14טכניון. עומר גייגר חורף

0

1

2

3

4

5

6

0% 5% 10% 15% 20% 25% 30% 35%

1/64

1/646/64

6/6415/64

15/6420/64

Probability Q8? , זו התפלגות של התקן וסטיית השונות התוחלת מה

( מדעי המחשב- 236501מבוא לבינה מלאכותית )2013-14טכניון. עומר גייגר חורף

Probability Q8 ... בינומית המפולג שמשתנה ידוע לאימות מקיים ורק

שלנו )( במקרה

: אדיטיבית הינה שתוחלת גם זכרו

( מדעי המחשב- 236501מבוא לבינה מלאכותית )2013-14טכניון. עומר גייגר חורף

Probability Q9עם זהות הוגנות קוביות זוג מגלגלים תור בכל מונופול .6במשחק פאות

. ) ( " נוסף " בתור זוכה הוא זה במקרה ורק דאבל מטיל שהשחקן במקרה? שחקן של הרצופים התורות כמות של התוחלת מה

הינה . דאבל לקבל ההסתברות שהרי גאומטרית בהתפלגות מדובר

" הקבוע, י ע חסום לשחקן הרצופים התורות מספר המונופול במשחק .3בפועל

: , הגדרה לפי התוחלת את נחשב קטומה גאומטרית התפלגות נקבל

( מדעי המחשב- 236501מבוא לבינה מלאכותית )2013-14טכניון. עומר גייגר חורף

Monte-Carlo algorithm

( מדעי המחשב- 236501מבוא לבינה מלאכותית )2013-14טכניון. עומר גייגר חורף

•. : לשחקנים חלקית רק ידוע המשחק מצב חלקית אינפורמציה יש בהם למשחקים מתאים•. הידועה האינפורמציה עם קונסיסטנטיים שהינם מלאים מצבים נדגום•. - ממוצע ונחשב האפשריים למהלכים אלו מצבים עבור ביטא אלפא נשערך•. ביותר הטוב ממוצע ערך עם למצב שמוביל המהלך את נבצע

: של באדיבותו חומרים על מבוסס התרגול' מרקוביץ' שאול פרופ

( מדעי המחשב- 236501מבוא לבינה מלאכותית )2013-14טכניון. עומר גייגר, חורף

Thank you! questions?