קבלת החלטות שיעור 6# Bayesian networks. מבוא לביה " ח הגיע חולה...

החלטות קבלת

6#שיעור Bayesian networks

מבוא

•: הבאים" התסמינים בעל חולה הגיע ח לביהשיעול–חום–בנשימה – קושי

•) גחלת ) אנתרקס לחולה האם תקבע כיצדסובל? החולה כי הסיכוי מהו נשימתי

הסימפטומים את לו יש אם נשימתי מאנתרקסהאמורים?

) המשך ) מבוא

רנטגן • לצילום החולה את לשלוח החלטתבלוטת • הרחבת על מצביעות הצילום תוצאות

בחזה הלימפהסובל • החולה כי שלך האמונה זה בשלב

מתחזקת נשימתי מאנתרקסאנתרקס, • לחולה כי שלך האמונה למעשה

הניתנים המחלה מסימני מכמה נובעת נשימתילאבחון

בייסיאניות רשתות

החמים – • הנושאים אחד בייסיאניות רשתותהשנים בעשר החלטות בקבלת ביותר

האחרונותזיהוי – • אפליקציות של רחב באוסף בשימוש

, ומערכות, רובוטיקה טקסט זיהוי ספאםדיאגנוסטיקה

באנתרקס חולה

שיעול חוםקושי בנשימה

הגדלת חזה בלוטת

מותנית הסתברות

•P(A=true|B=true) – האפשריים המצבים סך מתוךערך Bשבהם גם trueמקבל ערך Aבכמה מקבל

trueשל " • ההסתברות למעשה - Aזוהי ב או" Bהמותנית

של" "Bבהינתן Aההסתברותדוגמה:•

–H = ראש P(H=true)=1/10כאב–F = השפעת מחלת של P(F=true)=1/40התחלה– , , נדיר יותר עוד אירוע היא ושפעת נדיר דבר הוא ראש כאב

של שבהסתברות הרי בשפעת חלית אם יהיה 50%אולםראש כאב P(H=true|F=true)=1/2לך

Joint Probability Distribution

יכולה joint probabilityה- •של סט כל על מוגדרת להיות

: לדוגמה, משתניםP(A = true, B = true, C = true)

ההסתברות • מה לקבוע ניתןשל קומבינציה כל לקבלת

ערכיםהקומבינציות • של ההסתברויות

- ל להסתכם צריכות 1השונות

A B C P(A,B,C)

false false false 0.1

false false true 0.2

false true false 0.05

false true true 0.05

true false false 0.3

true false true 0.1

true true false 0.05

true true true 0.15

Sums to 1

Joint Probability Distribution

• - ה joint probabilityמתוךdistribution כל לחשב ניתן

- ל הנוגעת - A, Bהסתברות ו Cלמשל:•

– P(A=true) = sum of P(A,B,C) in rows with A=true

– P(A=true, B = true | C=true) = P(A = true, B = true, C = true) / P(C = true)

A B C P(A,B,C)

false false false 0.1

false false true 0.2

false true false 0.05

false true true 0.05

true false false 0.3

true false true 0.1

true true false 0.05

true true true 0.15

Sums to 1

- ב בשימוש jointהבעיתיותprobability

מאוד • בטבלה entriesהרבה נדרשיםנצטרך kעבור • בוליאנים מקריים משתנים

בגודל 2kטבלה

• ? החישובים ואת ההצגה את לפשט ניתן כיצדלהגדיר היכולת באמצעות הוא הפיתרון

תלות- אי

היסתברותית- תלות אי

- Aהמשתנים • מתקיים Bו אם תלויים בלתי הם: מהתנאים אחד

– P(A,B) = P(A) P(B)– P(A | B) = P(A)– P(B | A) = P(B)

של, • הערך ידיעת שום Aכלומר לנו מוסיפה לאשל הערך לגבי חדש Bמידע

תלות- אי

ביותר • שימושית התלות אילנו – שיש - nנניח ה את לחשב רוצים ואנו מטבע הטלות

joint distribution ,כלומרP(C1, …, Cn)

שנצטרך • הרי תלויות המטבע הטלות ערכים 2nאםבטבלה

הרי • המטבע הטלות בין תלות אין זאת לעומת אם

, ערכים שני של טבלה לשמור נוכל מטבע לכל כלומר " כ) (2nסה

n

iin CPCCP

11 )(),...,(

Conditional Independence

- Aהמשתנים conditionally independentיהיו Bו :Cבהינתן מתקיים אם

– P(A, B | C) = P(A | C) P(B | C)– P(A | B, C) = P(A | C)– P(B | A, C) = P(B | C)

בהינתן ) Bידיעת • זה לנו( Cבמקרה מוסיפה לאלגבי (Cבהינתן ) Aכלום

• " לאברהם: שיקח הזמן על משפיע א מז דוגמהליצחק שיקח הזמן על וגם עבודתו למקום להגיע

עבודתו למקום להגיע

Bayesian Networks

•: מ בנויה הבייסיאנית הרשתמעגלי – לא כיווני גרףלכל – הסתברות טבלאות של סט

בגרף צומת

A

B

C D

A P(A)

false 0.6

true 0.4

A B P(B|A)

false false 0.01

false true 0.99

true false 0.7

true true 0.3

B C P(C|B)

false false 0.4

false true 0.6

true false 0.9

true true 0.1

B D P(D|B)

false false 0.02

false true 0.98

true false 0.05

true true 0.95

משתנה היא בגרף צומת כלאקראי

של Xצומת אב היא- Yצומת מ חץ קיים אם

X - Yל

- מ - Xחץ - Yל ל שיש Xאומרעל ישירה Yהשפעה

צומת פונקצית Xiלכלמותנה הסתברותP(Xi | Parents(Xi)) אשר

האב של האפקט את מכמתתהצומת על

A P(A)

false 0.6

true 0.4

A B P(B|A)

false false 0.01

false true 0.99

true false 0.7

true true 0.3

B C P(C|B)

false false 0.4

false true 0.6

true false 0.9

true true 0.1

B D P(D|B)

false false 0.02

false true 0.98

true false 0.05

true true 0.95

A

B

C D

Conditional Probability Distribution for C given B

עם בוליאני משתנה לנו ויש , kבמידה תכיל הטבלה 2k+1הוריםרק ) לאחסן נדרש כשלמעשה (2kהסתברויות

B C P(C|B)

false false 0.4

false true 0.6

true false 0.9

true true 0.1 - ל ) לדוגמה לאבות ערכים של קומבינציה כל עבורB ,)עבור P(C=true | B) and P(C=false | B)הכניסות

- ל להסתכם 1חייבים

הבייסיאנית הרשת יתרונות

משתנים • בין המותנה התלות יחסי את מייצגתבגרף

• - ה להצגת קומפקטית joint probabilityדרךdistribution השונים המשתנים של

- ה Joint Probabilityהתפלגות

- ה את לחשב joint probability distributionניתןהמשתנים בייסיאנית X1, …, Xnשל ברשת

: הנוסחה באמצעות

n

iiiinn XParentsxXPxXxXP

111 ))(|(),...,(

של Parents(Xi)כאשר האב צמתי כל של הערכים את Xiמסמן

בייסיאנית ברשת לשימוש דוגמה

: לחשב רוצים שאנו נניחP(A = true, B = true, C = true, D = true)= P(A = true) * P(B = true | A = true) * P(C = true | B = true)* P( D = true | B = true) = (0.4)*(0.3)*(0.1)*(0.95)

A

B

C D

הסקהחישוב • לצורך בייסיאנית ברשת השימוש

" הסקה " קרוי inferenceהסתברויות•: מהסוג שאילתות כוללת ההסקה כללי באופן

P( X | E )

X = The query variable(s)

E = The evidence variable(s)

Inference

• לשאילתה :דוגמהP( HasAnthrax = true | HasFever = true, HasCough = true)

• ש למרות כי לב לשים -ו HasDifficultyBreathing -ישHasWideMediastinum , לא הם הבייסיאנית ברשת מצויים

בשאילתה ערכים מקבלים

HasAnthrax

HasCough HasFever HasDifficultyBreathing HasWideMediastinum

דוגמה

יאחר • שנורמן מבטיחה לא רכבות שביתת , ולהגיע) מוקדם לקום יכול הוא לדוגמה

שיאחר( יותר גדולה הסתברות יש אבל ברכב

) המשך ) דוגמה

•? יאחר שנורמן ההסתברות מהp(Norman late) = p(Norman late | train strike) * p(train

strike) + p(Norman late | no train strike)*p(no train strike)= (0.8 * 0.1) + (0.1 * 0.9) = 0.17

ידוע • אם רכבות שביתת שיש ההסתברות מה? איחר שנורמן

את, • משמעותית מגדילה איחר שנורמן הידיעה כלומר - מ ) רכבות שביתת שיש - 0.1ההסתברות (0.47ל

.

בייס :נוסחת

) המשך ) דוגמה

•? מאחר שמרטין ההסתברות מהp(Martin late) = p(Martin late | train strike) * p(train strike) +

p(Martin late | no train strike)*p(no train strike)= (0.6 * 0.1) + (0.5 * 0.9) = 0.51

שנורמן • ידוע אם יאחר שמרטין ההסתברות מהמאחר?

p(Martin late) = p(Martin late | train strike) * p(train strike) + p(Martin late | no train strike)* p(no train strike)=(0.6 * 0.47) + (0.5 * 0.53) = 0.55

של Evidenceסוגים

•Hard evidence – שהצומת ידוע Xכאשרבודאות ספציפי ערך , מקבלת ודאית) זכיה למשל

בהימור(

•Soft evidence – ערכי את לעדכן רק ניתן כאשרערכי של , Xההסתברות תוצאת) לנו ידוע אם למשל

ההסתברות את לעדכן שניתן הרי ספורט במשחק המחצית) ולהפסד לזכיה

Serial Connection

לנו • שיש ברמזור evidenceנניח תקלה שקרתה(A .)שלנו האמונה את מגדיל הזה הידע

מאחרת ) את(, Bשהרכבת גם שמגדיל מה - , . ה כלומר מאחר שנורמן שלנו האמונה

evidence לגביA דרך - Bמשודר :Cל

תקלה ברמזור

רכבת מאחרת

נורמן מאחר

A B C

Serial Connection

של • האמיתי המצב את יודעים שאנו נניח Bכעתלנו) יש שהרכבת hard evidenceלמשל

מאחרת(.לגבי • במידע ערך כל אין החדש Cעבור Aבמצב

שצומת .Bמשום עליו גובר

תקלה ברמזור

רכבת מאחרת

נורמן מאחר

A B C

Diverging Connection

לגבי • מידע כזה ישפיע Bבמקרהעל (Cגם ולהיפך )

לנו, • יש שבהם במקרים למעט זאתhard evidence לגביA

A

B C

Converging Connection

• , כל זה - evidenceבמקרה Bמ - מ - Cאו ל Aיעבור

על • דבר ידוע לא - Aאם ש, Bהריתלויים Cו- בלתיעל, • משהו ידוע אם שלו, Aאולם שההורים הרי

B - תלויים Cו להיות הופכים– , הרי, גדלה מאחר שמרטין ההסתברות אם לדוגמה

- ל ההסתברות -Bשגם . Cו אנו זה במקרה גדלהכי - Bאומרים - conditionally dependentהם Cו (Aב )

“Explaining away” evidence

שההסתברות • קודם כבר ראינוהיא מאחר 0.51שמרטין

מאחר 0.17ושנורמןשגילינו • נניח כעת

איחר שמרטין(evidence)הסיבות • שתי של ההסתברות את מגדיל הדבר

לאיחור האפשריות

152.0

446.0

1.0*68.0

_

|__|

lateMartinP

strikePstrikelateMartinPlateMartinstrikeP

68.06.0*6.08.0*4.0|_ strikelateMartinP

הרטוב הדשא בעיית

המשתנים:•– R – rained– S – sprinkler being on– G – grass wet– N – neighbors grass wet

ערך – לקבל יכול משתנה FALSEאו TRUEכלהיא joint probability distribution, P(R,S,G,N)ה- –

עם טבלה כניסות 16למעשה

הרטוב הדשא בעיית

מהמשתנים • אחד כל הסתברות לחשב ניתןידוע, • אם גשם ירד שלא ההסתברות מה לדוגמה

? רטוב השכן של שהדשא

•: ההסתברות- תורת פי על

השני • על אחד משפיעים שלא משתנים שיש מכיוון ,) : ברשת) להשתמש כדאי לדוגמה

R – rainedS – sprinkler being onG – grass wetN – neighbors grass wet

R – rainedS – sprinkler being onG – grass wetN – neighbors grass wet

הסקה

שהדשא • ההסתברות מהרטוב?

שהדשא • ההסתברות מה? רטוב השכן של

•? גשם שירד יודעים אנחנו אם מה

R – rainedS – sprinkler being onG – grass wetN – neighbors grass wet

הסתברויות עוד

•? רטוב השכן של הדשא שגם מצאנו אם ומה

R – rainedS – sprinkler being onG – grass wetN – neighbors grass wet

נוספת דוגמה

• בינאריים 5 משתנים– B = בבית פריצה אירוע– E = אדמה רעידת אירוע– A = נכבתה האזעקה– J = 'האזעקה על לדווח מתקשר ון ג– M = האזעקה על לדווח מתקשרת מרי

– What is P(B | M, J) ? (for example)

– ב להשתמש מחייב ) joint distribution -ניתן החישוב 32 = 25לצורךהסתברויות(

– , יותר, הופך החישוב המשתנים בין הקשרים את יודעים אנו אם לחילופיןקל

בייסיאנית רשת