משחקים הסתברותיים אלגוריתם Expectimax משחק השש- בש

הסתברותיים משחקיםExpectimaxאלגוריתם

- בש השש משחקמלאכותית ) לבינה (236501מבוא

, טכניון המחשב מדעיגייגר עומר

2013-14חורף

Lesson Plan. הסתברותיים במשחקים נדון זה בשיעור

... כך לצורך-: וקומבינטוריקה בדידה בהסתברות בסיסיים מושגים נרענן

•. , , , : גאומטרית בינומית ברנולי יוניפורמית נפוצות התפלגויות•. , תקן, סטיית שונות תוחלת•. \ , \ לסדר חשיבות בלי עם חזרות ללא עם קומבינטורית בחירה

- : הסתברותיים למשחקים בקורס המרכזי האלגוריתם את .Expectimaxנתרגל

-: - בש השש למשחק הרלוונטיות בשאלות נתמקד• , . לקרוא מתבקש במשחק בקיא שלא מי בקצרה המשחק חוקי את נסקור

. הבחינה לקראת ובפרט המשחק של הבנה ולוודא בעיון השקפים את•. למשחק מתאימה בסיסית יוריסטיקה נגדירשחקן • ביצועי של באספקטים .Expectimaxנדון זו יוריסטיקה עם

אלגוריתם - את (.Monte-carloנזכיר ואחרים ) חלקית אינפורמציה עם למשחקים

( מדעי המחשב- 236501מבוא לבינה מלאכותית )2013-14טכניון. עומר גייגר חורף

6 5 4 3 2 1

1

2

3

4

5

6

6 5 4 3 2 1

1

2

3

4

5

6

6 5 4 3 2 1

1

2

3

4

5

6

Probability Q1עם זהות הוגנות קוביות זוג של התוצאות התפלגות ?6מה פאות-

: דאבל לא

דאבל:


Probability Q2 " עם " הוגנות קוביות זוג התפלגות לגבי ונשאל ...Kנכליל פאות

: דאבל לא

דאבל:


K K-1 ... 3 2 1

1

2

3

...

K-1

K

Combinatorics Q3? - " פאות " עם זהות קוביות זוג לתוצאת יש שונות אפשרויות כמה


.1דרך חשבונית: סדרה וסכם שורות ספור.2דרך ואחרים: דאבלים ספור.2בחר: 3דרך סדר חשיבות ובלי חזרות עם מתוך

נקבל .21עבור אפשרויות

K K-1 ... 3 2 1

1

2

3

...

K-1

K

Backgammon


בש- שששחקנים • שני משחקמתחלף • תוראפס • סכוםמלאה • אינפורמציהדטרמיניסטי • אי

המשחק חוקי. מראש וידוע קבוע התחילי המצב

. " מהלוח: " השחקן של הכלים כל הוצאת המטרה.' ' ב: לשחקן השעון כיוון נגד או א לשחקן השעון כיוון עם השחקן חיילי הנעת האמצעי

. , חייליו את להוציא מתחיל הוא שלו האחרון לרביע הועברו השחקן חיילי שכל לאחר


המשחק חוקיעם ) • זהות קוביות זוג מגלגל השחקן תור (.6בכל פאות המוגדר : • בכיוון צעדים מחייליו אחד להזיז בוחר השחקן שונים יצאו אם

.) ההפוך" ) בסדר או צעדים מחייליו אחד כל כ ואח• : " לבצע " בוחר השחקן דאבל יצא .הזזות 4אם לבחירתו חיילים עם צעדיםנקרא ) • זה יריב חיילי משני יותר נמצאים בו מיקום על הזזה לסיים אסור

.)" בית"• ." מוצא " החייל זה במקרה לקיחה נקרא בודד יריב חייל על הזזה סיום

בשקף ) יוסבר הבא בתור השחקן של הראשון לרביע לחזור ונדרש מהלוחהבא(.

•. בתור פעמים מספר חייל אותו להזיז Iניתן

I

Backgammon


המשחק חוקישהשחקן • לפני השחקן של הראשון לרביע לחזור חייבים שנלקחו חיילים

. נוסף מהלך כל מבצע• " " " צורך ו הקובייה שעל המספר י עפ מתבצעת הראשון לרביע החזרה מיקום

צעד.

I

I

I

6 5 4 3 2 1

6 5 4 3 2 1

Backgammon


המשחק חוקי•. , לאיבוד הולך הוא בצעד להשתמש אפשרות שאין מקרה בכל•. זאת - לעשות השחקן חייב המהלכים בשני להשתמש וניתן במידהמהלכים • נותרו שלא כיוון השני על ולוותר מהלך לבצע שאסור אומרת זאת

. מכך להימנע ניתן אם חוקיים5 1 1

64

1 5 1

1 5 1

תקוע!6

! לבצע חייב

: נוכחי מצב

Backgammon

4

4 6


סיום - המשחק חוקי• , את להוציא מתחיל הוא שלו האחרון לרביע חייליו כל את הביא ששחקן לאחר

חייליו.•. ללוח מעבר שנמצאת הבאה לנקודה הזזה כעל הוצאה על לחשוב ניתן•. הבא המיקומים למספור בהתאם הן האפשריות ההוצאות לפיכךערך • עם קובייה באמצעות במיקום חייל להוציא גם ורק ניתן אך זאת אך

- מ גדול במיקום חייל אף שאין .במקרה

IIV

IV

6 5 4 3 2 1

6 5 4 3 2 1

Backgammon

1 11

54 : נוכחי מצב

1 11

1 11

5

45

4 NO!

OK1st 2nd

Backgammon game tree

MIN

MAX

PROB

על ההסתברויות מההקשתות?

מקדם מהוהסיעוף?(PROBבצומת)

: דאבל לאדאבל:

21

Expectimax algorithm

DIFF

(

with RB-Minimax

)

Backgammon Q4- בש השש משחק עבור פשוטה יוריסטיקה הציעו

. מהלוח מסוף השחקנים שני חיילי כלל של המרחק את לבטא נרצה." " יציאה ל עד בלוח נקודה מכל היחידה צעדי את נמספר כך לצורך

חיילי עבור המקביל הסכום את ונחסיר מהיציאה היריב חיילי כל מרחקי את נסכםהסוכן.

זו ליוריסטיקה נקרא

IIV

6 5 4 3 2 16+ : 6 5 4 3 2 1

12+ : 1 2 3 4 5 6 1 2 3 4 5 6 : + 18

III

III


חישוב דוגמת25חוץ =

Exam Q5א, 2007-8חורף מועד

, ערכי של משוקלל סכום כלומר הסתברותיים בצמתים תוחלת מחשב האלגוריתםRB-Expectimax. השונות ההסתברויות לפי

שלאחר מבטיח ההבטחה הוא Dמשפט היוריסטי הערך בו למצב נגיע צעדים. המוחזר הערך לפחות

, ביותר הנמוך הערך את ההסתברותיים בצמתים לבחור צריך זאת להבטיח מנת על. , . נוספים מינימום כצמתי ההסתברותיים לצמתים להתייחס כלומר התוחלת במקום


א, 2007-8חורף מועד

) עבור ) הגרוע המקרה את מניח שהוא כיוון פחדני שמרני באופן ישחק זה שחקןתוצאות יניבו גבוהה בהסתברות אשר ממהלכים ימנע וכך ההסתברותיים הגורמים

. ישחק השחקן הנראה ככל סביר והפחות הגרוע מהמקרה החשש בגלל רק טובות. המקורי מהאלגוריתם טובה פחות בצורה

Exam Q5


, - שחקן שיבחר המהלך מה בש בשש הבא הלוח מצב ומה Expectimaxבהינתן רגיל ? באמצעות בחירתך את הצדק הקודמת מהשאלה השמרני השחקן שיבחר המהלך

ה " Expectimaxערכי עומק לפי ל הנ המהלכים שני .MINואז PROBאז, MAX: 3עבור

פשטני ניתוחה לערך נותן אפשרי מהלך .Expectimaxכל ההתקדמות עבור

" " חוזרת לאכילה אפשרות פותח אך האכילה עבור ערך לכך מוסיף רצוי ה המהלך . היא" בחזרה החייל את יוכל היריב הבא שבמהלך ההסתברות הבא בתור היריב י ע

. , מלקחת נמנע הזהיר שהשחקן הסיכון בדיוק זהו אך נמוכה יחסית

Backgammon expansion question


1 5 3 1 51 5 3 1 521

2הרצוי המהלך

1

המהלך שייבחר

2

Backgammon expansion question


1 6 2 1 51 5 3 6

21השמרני : המהלך לאחר המצב

1 5 3 1 51 5 3 5

הרצוי : המהלך לאחר המצב

1בחוץ:

הנותר לעומק ושל של המינימקס ערכי בין ההפרש את 2נחשב : האכילה בעקבות היוריסטי הרווח

: " הבא בתור היריב י ע חוזרת לאכילה הסיכוי : שכזו חוזרת אכילה בעקבות היוריסטי ההפסד

שלילי הפרש מתקבל ולכן מההסתברות מתעלם השמרני השחקן

הקודם : המצב

Probability Q6התפלגות עם הסכוםמה זהות הוגנות קוביות זוג 6של

פאות?


6 5 4 3 2 1

7 6 5 4 3 2 1

8 7 6 5 4 3 2

9 8 7 6 5 4 3

10 9 8 7 6 5 4

11 10 9 8 7 6 5

12 11 10 9 8 7 6

23456789

101112

0% 2% 4% 6% 8% 10% 12% 14% 16% 18%

1/36 2/36

2/361/36

6 /365 /365 /36

Probability Q7" Sennetבמשחק הטלת י ע נקבע לתזוזה הצעדים וספירת 6מספר הוגנים מטבעות

? . " " שכזו הטלות שישיית תוצאת של ההתפלגות מה שהתקבלו פלי ה מספר

: ברנולי התפלגות בודדת הטלה

: בינומית התפלגות הטלות שישיית

( מדעי המחשב- 236501מבוא לבינה מלאכותית )

2013-14טכניון. עומר גייגר חורף

Probability Q8בינומית התפלגות


0

1

2

3

4

5

6

0% 5% 10% 15% 20% 25% 30% 35%

1/64

1/646/64

6/6415/64

15/6420/64

Probability Q8? , זו התפלגות של התקן וסטיית השונות התוחלת מה


Probability Q8 ... בינומית המפולג שמשתנה ידוע לאימות מקיים ורק

שלנו )( במקרה

: אדיטיבית הינה שתוחלת גם זכרו


Probability Q9עם זהות הוגנות קוביות זוג מגלגלים תור בכל מונופול .6במשחק פאות

. ) ( " נוסף " בתור זוכה הוא זה במקרה ורק דאבל מטיל שהשחקן במקרה? שחקן של הרצופים התורות כמות של התוחלת מה

הינה . דאבל לקבל ההסתברות שהרי גאומטרית בהתפלגות מדובר

" הקבוע, י ע חסום לשחקן הרצופים התורות מספר המונופול במשחק .3בפועל

: , הגדרה לפי התוחלת את נחשב קטומה גאומטרית התפלגות נקבל


Monte-Carlo algorithm


•. : לשחקנים חלקית רק ידוע המשחק מצב חלקית אינפורמציה יש בהם למשחקים מתאים•. הידועה האינפורמציה עם קונסיסטנטיים שהינם מלאים מצבים נדגום•. - ממוצע ונחשב האפשריים למהלכים אלו מצבים עבור ביטא אלפא נשערך•. ביותר הטוב ממוצע ערך עם למצב שמוביל המהלך את נבצע

: של באדיבותו חומרים על מבוסס התרגול' מרקוביץ' שאול פרופ

( מדעי המחשב- 236501מבוא לבינה מלאכותית )2013-14טכניון. עומר גייגר, חורף

Thank you! questions?

Documents

משחקים הסתברותיים אלגוריתם Expectimax משחק השש- בש