מודל הלמידה מדוגמאות Learning from Examples קלט: אוסף של דוגמאות...

מודל הלמידה מדוגמאותLearning from Examples

: אוסף של דוגמאותקלט)},(),...,,(),,{( 2211 mm yxyxyxS

:פלט

C ב- fקונסיסטנטי עם פונקציה

ז"א ii yxfmi )( 1

Sקונסיסטנטי עם

ז"א ii yxhmi )( 1

PolyPh /מודל הלמידה מדוגמאותLearning from Examples

: אוסף של דוגמאותקלט)},(),...,,(),,{( 2211 mm yxyxyxS

:פלט

C ב- fקונסיסטנטי עם פונקציה

ז"א ii yxfmi )( 1

Sקונסיסטנטי עם

ז"א ii yxhmi )( 1

PolyPh /

פולינומיאלי בכל הפרמטרים חוץ mממספר הדוגמאות

poly(s,n) בדרך כלל

PolyPh /

זמן ריצת תכנית הלימידהפולינומיאלי בכל הפרמטרים

אם קיים פתרון כנ"ל ניתנת ללמידה מדוגמאות Cנומר ש-

Termטרם בוליאני : 1דוגמא

nxxx ,,, 21

AND

1il

Variablesמשתנים

Literalליטרלים

nn xxxxxx ,,,,,, 2211

2il

kil

דוגמא:

119753201 ),,( xxxxxxxf

),( nmpoly

Termטרם בוליאני

}1,0{ix

119753 xxxxx

PolyPh / בגודלוניתן לחישוב בזמן

)(npoly)(npoly

}1,0{}1,0{: nf

זמן פולינומיאלי

בלימידת טרם מדוגמאות

)1,1010000()0,1111111()1,1110010(

)0,0111101()1,1111011()0,0100101(

)1,1110000()0,0100001()1,1110001(

S

1110001

},,,,,,,,,,,,,{ 77665544332211 xxxxxxxxxxxxxx

},,,,,,{ 7654321 xxxxxxx

1110000 },,,,,{ 654321 xxxxxx

1111011 },,,{ 5321 xxxx

1110010 },,,{ 5321 xxxx1010000 },,{ 531 xxx 531 xxx

531 xxxהטרם הגדול ביותר הקונסיסטנטי עם כלהדוגמאות החיוביות.

Txxx מקיים.Tלכן טרם המטרה 531

זה שקול ל-

0))((0)( 531 axxxaT

לכן אין צורך לבדוק את הנקודות השליליות

יכול להיות:Tטרם המטרה

1 , , , , , , , 531535131531 xxxxxxxxxxxx

Termאלגוריתם ל-

Input S

L:={x1,x1,x2,x2,…,xn,xn}

For all (a,1) in SRemove xi from L if ai=0Remove xi from L if ai=1

Output L

)(זמן nmO

Properלמידה מתאימה

Clauseקלוז בוליאני : 2דוגמא

119753201 ),,( xxxxxxxf

119753201 ),,( xxxxxxxf

דה-מורגן

Augustus De Morgan

)),,,(()),,,(( 201201 xxxx

),,( gLearn 201 xxf

1806-1871

),,( 201 xxg f

דואליות

),,(),,( 11 nnD xxfxxf

}|{ CffC DD

תכונות

CCDD

ffDD

ClauseTerm D

מדוגמאות C:אם ניתן ללמוד 1משפט הדואליות O(T) מדוגמאות בזמן CD אזי ניתן ללמוד Tבזמן

ניתנת ללמידה מדוגמאות C: 2משפט הדואליות ניתנת ללמידה מדומאותCDאם"ם

CNF ו- DNF: 3דוגמא

15119315951119753201 ),,( xxxxxxxxxxxxxxxf

DNF הואORשל טרמים

3)),,(( 201 xxfsizeDNF

CNF הואANDשל קלוזים

)()(),,( 15951113201 xxxxxxxxg

2)),,(( 201 xxgsizeCNF

Disjunctive Normal formConjunctive Normal form

DNF למידה מדוגמאות אם ניתן ניתנת לללמוד אותו בזמן))(,,( fsizenmpoly DNF

בגודלP/polyולחזיר פונקציה ב-

))(,( fsizenpoly DNF

DDNF CNF

DNF:אם ניתן ללמוד 1משפט הדואליות מדוגמאות CNF אזי ניתן ללמוד Tמדוגמאות בזמן

ניתנת ללמידה DNF: 2משפט הדואליות O(T)בזמן ניתנת ללמידה מדוגמאותCNFמדוגמאות אם"ם

מדוגמאותDNFאלגוריתם למידה ל-

)1,1010000()0,1111111()1,1110010(

)0,0111101()1,1111011()0,0100101(

)1,1110000()0,0100001()1,1110001(

S

)1,1110001( 7654321 xxxxxxx

)1,1110000( 7654321 xxxxxxx

)1,1010000( 7654321 xxxxxxx

מה הבעיה?

מדוגמאותDNF: למידת בעיה פתוחה

MCNF ו- MDNF: 4דוגמא

MDNF הוא Monotone DNF של טרמים מונוטונים – ללא שלילהORהוא

15119315951119753201 ),,( xxxxxxxxxxxxxxxf

מדוגמאות בזמן MDNF:אם ניתן ללמוד 1משפט T אזי ניתן ללמוד DNF מדוגמאות בזמן O(T)

ניתנת ללמידה מדוגמאות MDNF: 2משפט ניתנת ללמידה מדוגמאותDNFאם"ם

MDNFD ? =

: רעיון ההוכחה

)0,0111()0,1111()1,1100(

)0,0110()1,0100()0,1110(

32214321 ),,,( xxxxxxxxf

)0,01111000()0,11110000()1,11000011(

)0,01101001()1,01001011()0,11100001(

322143214321 ),,,,,,,( yxyxyyyyxxxxf

),,,,,,,(),,,( 432143214321 xxxxxxxxxxxx ),,,,,,,( 43214321 yyyyxxxx

אלגוריתם לימידה ל- A: יהי הוכחהMDNF נגדיר אלגוריתםB

)),((Output

),()(Run

}),(|)),,{((

)Input(

Algorithm

xxh

yxhSA

SxxxS

S

B

New

New

צריר להוכיח

אזי קיים S קונסיסטנטי עם DNF: אם קיים 1טענה MDNF קונסיסטנטי עם SNew

h(x,x) אזי SNew קונסיסטנטי עם h(x,y): אם 2טענה Sקונסיסטנטי עם

זמן

)( nmO

k-CNF ו- k-DNF: 5דוגמא

13151193151531201 ),,( xxxxxxxxxxxxf

k-DNF הוא DNF בגודל לכל היותר טרמים עם k

2-DNF

מדוגמאות k-MDNF:אם ניתן ללמוד 1משפט מדוגמאות בזמן k-DNF אזי ניתן ללמוד Tבזמן O(T) 2משפט :k-MDNF ניתנת ללמידה מדוגמאות

אם"ם k-DNFניתנת ללמידה מדוגמאות

13151193151531201 ),,( xxxxxxxxxxxxf

2-MDNF

Valiant

2-Term

2-MTerm

אפשר להחליף כל טרם במשתנה

2יש לכל היותר טרמים

2n

nn

מדוגמאות MDNF-2 אלגוריתם למידה ל-

jiji

ii

yxx

yx

,

,0

13151193154531201 ),,( xxxxxxxxxxxxf

),,,,,,(),,( 20193121201201 xxxxxxxxxx ),,,,,,( 20,193,12,120,01,0 yyyyy

13,015,119,315,45,31,0 yyyyyy

משתנים n זמן לימידת קלוז עם

)( nmO

משתנים n2 זמן לימידת קלוז עם

)( 2nmO

MDNF-2זמן לימידת

מה גודל ההיפטזה?

)(2

2nOn

n

CNFDNFMDNF דואליות kkk

משתנים n זמן לימידת קלוז עם

)( nmO

משתנים nk זמן לימידת קלוז עם

)( knmO

k-MDNFזמן לימידת

מה גודל ההיפטזה?

knיש לכל היותר טרמים k

nnn

2

knk

nnn

2

מדוגמאות בזמן k-DNF: ניתן ללמוד 1משפט O(m nk)

O(nk)עם הפטזה בגודל

ניתנת ללמידה.k-DNF קונסטנטה k: ל- 2משפט

האם אפשר להקטין את גודל ההפטזה?

)0,1010000()1,1111111()1,1110010(

)0,0111111()1,1111011()0,0100111(

)0,1110000()0,0100001()0,1110001(

S

11100101111111

6321 xxxx

111000101000011110000010011101111111010000

1x 2x 3x 6x

61xx

לבקר שובלמידת

טרם

1111011

1 2 3 4

5 6 7 8

9 10 11 12

U

}11,10,7,6{

}2,1{}11,10,7,6{}11,10,9,5,3,2,1{

}10,9{}6,5{}12,11,8,7,4,3{

7

654

321

S

SSS

SSS

Set Cover

U את המכסות Si: מספר מינימלי של קבוצות פלטU ז"א, האחוד שלהם הוא

:קלט

}11,10,7,6{

}2,1{}11,10,7,6{}11,10,9,5,3,2,1{

}10,9{}6,5{}12,11,8,7,4,3{

7

654

321

S

SSS

SSS

1 2 3 4

5 6 7 8

9 10 11 12

U:קלט

421 SSSU

NP-Complete היא Set Cover: בעית 1משפט

: קיים אלגוריתם שרץ בזמן פולינומיאלי ונותן 2משפט כסוי בגודל

)log |U| (kהוא הפתרון האופטימלי. kכאשר

111000101000011110000010011101111111010000

1x 2x 3x 6x

61xx

1S 2S 3S 4S

}5,4,2{1 S

123456

}6{2 S}4,2{3 S

}6,3,2,1{4 S

Set Coverבעית למצא מספר מינימלי של קבוצות

Uשאחודם שווה ל-

U

61 SSU

NP-Completeהיא Set Cover בעית

111000101000011110000010011101111111010000

1x 2x 3x 6x

61xx

1S 2S 3S 4S

123456

Set Coverבעית

U

log||יש אלגוריתם קרוב שנותן פתרון UOpt

|| T mlog

מדוגמאות בזמן k-DNF ניתן ללמוד משפט:O(m nk)

O(sizeDNF( f ) n) עם הפטזה בגודל

גודל ההיפטזה לכל היותרהוכחה:

|| T mlognm 2

ולכןnfmT DNF )(sizelog||

||size)(ו- fT DNF

O(nk)במקום

בזמן פולינומיאלי k-DNF: ללמוד בעיה פתוחה כלשהוk=ω(1) עבור

nk logloglog

מדוגמאות בזמן k-DNF ניתן ללמוד משפט:O(m nk)

O(sizeDNF( f ) n) עם הפטזה בגודל

k-clause CNF ו- k-term DNF: 6דוגמא

15119315951119753201 ),,( xxxxxxxxxxxxxxxf

k-term DNF הוא DNF עם kטרמים

3-term DNF

CNF DNF term:משפט kk

DNF CNF term kk

distributiveמתכונת הדיסטריבוטיביות :הוכחה

))(( 913313 xxxxxxf

מדוגמאות k-term-DNF: ניתן ללמוד 1משפט בזמן

O(mnk)O(nk) עם הפטזה בגודל

ניתנת k-term-DNF קונסטנטה k: ל- 2משפט ללמידה.

עם הפטזה קטנה k-term-DNF: ללמוד בעיה פתוחה k=ω(1) או בזמן פולינומיאלי עבור

כלשהו

mm xxify

xxify

xh 11

)(

פתרון טריויאלי

פתרון יעיל

)())(( spolyxhsize

)())(( spolymxhsize

),( smpolytime

s מכיל גודל פונקצית המטרה, גודל x

קצת חזרה

פולינומיאלי בכל הפרמטרים חוץ mממספר הדוגמאות

PolyPh /

זמן ריצת תכנית הלימידהפולינומיאלי בכל הפרמטרים

אם קיים פתרון כנ"ל ניתנת ללמידה מדוגמאות Cנומר ש-

פתרון לא טריויאלי

poly(s)msize(h(x)) 1

s)poly(mtime ,

= פתרון דוחס

Cאם קיים פתרון לא טריויאלי נומר ש-ניתנת ללמידה לא טרויאלית מדוגמאות

Polygon - מצולע קמור: 7דוגמא

kצלעות

s הוא k

פתרון יעילצלעות poly(k) מצולע עם

פתרון לא טריויאלי

poly(k)m 1k)poly(mtime ,

צלעות מצולע עם

k)poly(mtime ,

mנקודות m2קוים

122

kmmk

mזמן

זמן פולינומיאלי

למשולש, מרובע, מחומש

} points positive{U

points} consistent{lS

מספר צלעות

k log |U|<k log m

פתרון לא טריויאלי ),(זמן kmpoly

ניתנת 2 במרחב במימד Polygon: 1משפט ללמידה לא טרויאלית מדוגמאות

במרחב במימד קבוע ניתנת Polygon: 2משפט ללמידה לא טרויאלית מדוגמאות

במרחב במימד Polygon: למידת בעיה פתוחה dבזמן

poly(k,d) פולינומיאלי במרחב Halfspace: למידת חיתוך שני בעיה פתוחה

poly(k,d)בזמן פולינומיאלי d במימד

DNF למידה לא טרויאלית מדוגמאות ניתנת לאם ניתן ללמוד אותו בזמן

))(,,( fsizenmpoly DNF

בגודלP/polyולחזיר פונקציה ב-

))(,( fsizenpolym DNF 1