Самообучающиеся системы, весна 2008: Байесовские сети доверия

Èäåÿ áàéåñîâñêèõ ñåòåéÏðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ

Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè

Áàéåñîâñêèå ñåòè äîâåðèÿ

Ñåðãåé Íèêîëåíêî

Machine Learning � CS Club, âåñíà 2008

Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ



Ìîòèâàöèÿd-ðàçäåëèìîñòüÒåîðåìà î äåêîìïîçèöèè è ñâèäåòåëüñòâà

Outline

1 Èäåÿ áàéåñîâñêèõ ñåòåé

Ìîòèâàöèÿ

d -ðàçäåëèìîñòü

Òåîðåìà î äåêîìïîçèöèè è ñâèäåòåëüñòâà

2 Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ

Èäåÿ

Âûâîä àëãîðèòìà

Àëãîðèòì

3 Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè

Îñíîâíûå ïîíÿòèÿ è îïðåäåëåíèÿ

Âñïîìîãàòåëüíûå àëãîðèòìû

Àëãîðèòì ïðîïàãàöèè





Áàéåñîâñêèå ñåòè

Â ýòîé ëåêöèè ìû íà âðåìÿ îòâëå÷¼ìñÿ îò îáó÷åíèÿ è

ðàññìîòðèì îñíîâíûå ïîíÿòèÿ è àëãîðèòìû òåîðèè

áàéåñîâñêèõ ñåòåé äîâåðèÿ.

Êðîìå ïðîñòî ïîëåçíîãî àïïàðàòà, ýòî äàñò õîðîøåå

ïðèìåíåíèå äèñêðåòíî-âåðîÿòíîñòíûì âåùàì âðîäå

[íå]çàâèñèìîñòè, à ãëàâíîå � áîëåå îáùåå ïîíèìàíèå

çàäà÷ áàéåñîâñêîãî âûâîäà. Ïðèãîäèòñÿ.





Íàèâíûé áàéåñîâñêèé êëàññèôèêàòîð

Íàèâíûé áàéåñîâñêèé êëàññèôèêàòîð ÷àñòî õîðîøî

ðàáîòàåò.

Íî îí îñíîâûâàåòñÿ íà î÷åíü ñåðü¼çíîì ïðåäïîëîæåíèè, à

èìåííî íà óñëîâíîé íåçàâèñèìîñòè àòðèáóòîâ ïðè óñëîâèè

äàííîãî öåëåâîãî çíà÷åíèÿ.

Çà÷àñòóþ òàêîå ïðåäïîëîæåíèå äåëàåò àïïàðàò

íåïðèìåíèìûì.

×òî äåëàòü?





Îò áàéåñîâñêîãî êëàññèôèêàòîðà ê áàéåñîâñêèì ñåòÿì

Íóæíî íàó÷èòüñÿ ïðåäñòàâëÿòü ìíîæåñòâî

(íå)çàâèñèìîñòåé ìåæäó èìåþùèìèñÿ ïåðåìåííûìè.

Äîñòàòî÷íî åñòåñòâåííàÿ èäåÿ: íàïðàâëåííûé ãðàô, â

êîòîðîì ñòðåëêè ïîêàçûâàþò ïðè÷èííî-ñëåäñòâåííóþ

ñâÿçü.





Ïðèìåð

Ïðèìåð òîãî, êàê ìîæåò áûòü

çàäàí ãðàô áàéåñîâñêîé ñåòè.

Èñòîêè � ïðè÷èíû, ñòîêè �

ñëåäñòâèÿ. Êîðíè ïîëèäåðåâà �

ïåðâîïðè÷èíû, ëèñòüÿ �

ñèìïòîìû (êàê ïðàâèëî,

èìåííî èõ íàáëþäàþò).





Ïðèìåð

Èçíà÷àëüíî çàäàíû óñëîâíûå

âåðîÿòíîñòè ïîòîìêîâ ïðè

óñëîâèè ïðåäêîâ. Ýòî óæå

ïîçâîëèò îïðåäåëèòü

ñîâìåñòíóþ àïðèîðíóþ

âåðîÿòíîñòü ëþáîé êîìáèíàöèè

ñîáûòèé â ñåòè.





Ïðèìåð

Ñóòü ðàññóæäåíèé â

áàéåñîâñêîé ñåòè � ïðîïàãàöèÿ

ñâèäåòåëüñòâ. Íà âõîä

ïîñòóïàþò äàííûå òèïà

¾Çðåíèå ïàöèåíòà óëó÷øèëîñü

èç-çà êîñîãëàçèÿ¿ è ¾Ïàöèåíò

ñòàðøå 60 ëåò¿, à çàäà÷à �

îöåíèòü, êàê èçìåíèëàñü

âåðîÿòíîñòü äðóãèõ óçëîâ

(íàïðèìåð, òîãî, ÷òî ¾Ó

ïàöèåíòà íàðóøåíèå ðåôëåêñà

ñåò÷àòêè¿).





Ïðèìåíåíèå

Áàéåñîâñêèå ñåòè ïðèìåíÿþòñÿ â îñíîâíîì äëÿ ðåøåíèÿ

äèàãíîñòè÷åñêèõ çàäà÷. Íàïðèìåð, èõ ÷àñòî èñïîëüçóþò â

ìåäèöèíå è âîîáùå äëÿ îöåíêè ðèñêîâ. Ò.å. ïðîïàãàöèÿ

îáû÷íî èä¼ò ñíèçó ââåðõ, îò ñëåäñòâèé ê ïðè÷èíàì. Íî

ìîæíî è íàîáîðîò.





Çàâèñèìîñòü â ÁÑÄ

Êàêèå óçëû (ñîáûòèÿ) â áàéåñîâñêîé ñåòè çàâèñèìû?

Ïîíÿòíî, ÷òî òå, êîòîðûå ñîåäèíåíû ðåáðîì.

Íî íå òîëüêî...





Ïîñëåäîâàòåëüíàÿ ñâÿçü

Ïðÿìàÿ ñâÿçü ìåæäó óçëàìè ñåòè. Â ýòîì ñëó÷àå 1 âëèÿåò íà 2,

à 2, â ñâîþ î÷åðåäü, âëèÿåò íà 2, è óçëû 1 è 3 ïîëó÷àþòñÿ

ñâÿçàííûìè. Îäíàêî, åñëè â 2 ïîñòóïèëî ñâèäåòåëüñòâî, ñâÿçü

ìåæäó 1 è 3 íàðóøàåòñÿ.





Ðàñõîäÿùàÿñÿ ñâÿçü

Èíôîðìàöèÿ îá îäíîì èç

ïîòîìêîâ ìîæåò ïîâëèÿòü íà

âåðîÿòíîñòü äðóãîãî ïîòîìêà

îäíîãî è òîãî æå óçëà. Ýòî

ñâÿçàíî ñ òåì, ÷òî íå òîëüêî

èíôîðìàöèÿ î ïðîèçîøåäøåé

ïðè÷èíå ïîâûøàåò âåðîÿòíîñòü

ñëåäñòâèÿ, íî è ñëó÷èâøååñÿ

ñëåäñòâèå ïîâûøàåò

âåðîÿòíîñòü ïðè÷èíû. Åñëè

îáùèé ïðåäîê óæå ïîëó÷èë

îçíà÷èâàíèå, òî ñâÿçü

íàðóøàåòñÿ.





Ñõîäÿùàÿñÿ ñâÿçü

Ñâÿçè ìåæäó óçëàìè 1 è 3 íåò:

åñëè ïðîèçîøëî 1, òî ýòî

ïîâëèÿåò íà âåðîÿòíîñòü

ñîáûòèÿ 2, íî âåðîÿòíîñòü 3

èçìåíèòüñÿ íå äîëæíà.

Îäíàêî ñèòóàöèÿ ìåíÿåòñÿ,

åñëè ñâèäåòåëüñòâî 2 óæå

ïîëó÷åíî: åñëè ìû çíàåì, ÷òî

îäíà èç ïðè÷èí ïðîèçîøëà, ýòî

äîëæíî ïîíèçèòü âåðîÿòíîñòü

äðóãîé ïðè÷èíû, âåäü

ñëåäñòâèå óæå îáúÿñíåíî.






Îïðåäåëåíèå

Äâà óçëà íàïðàâëåííîãî ãðàôà x è y íàçûâàþòñÿ

d-ðàçäåë¼ííûìè, åñëè äëÿ âñÿêîãî ïóòè èç x â y (çäåñü íå

ó÷èòûâàåòñÿ íàïðàâëåíèå ð¼áåð) ñóùåñòâóåò òàêîé

ïðîìåæóòî÷íûé óçåë z (íå ñîâïàäàþùèé íè ñ x, íè ñ y), ÷òî

ëèáî ñâÿçü â ïóòè â ýòîì óçëå ïîñëåäîâàòåëüíàÿ èëè

ðàñõîäÿùàÿñÿ, è óçåë z ïîëó÷èë îçíà÷èâàíèå, ëèáî ñâÿçü

ñõîäÿùàÿñÿ, è íè óçåë z, íè êàêîé-ëèáî èç åãî ïîòîìêîâ

îçíà÷èâàíèÿ íå ïîëó÷èë.

Â ïðîòèâíîì ñëó÷àå óçëû íàçûâàþòñÿ d-ñâÿçàííûìè.





Âåðîÿòíîñòè

Äî ñèõ ïîð áûëè òîëüêî ãðàôû è ðàññóæäåíèÿ ¾íà

ïàëüöàõ¿.

Òåïåðü ïîðà ïåðåéòè ê çàäàíèþ âåðîÿòíîñòåé è ïðî÷èì

÷èñëåííûì ïðèìåðàì.

Â âåðøèíàõ çàäàíû óñëîâíûå âåðîÿòíîñòè ïðè óñëîâèè

âñåãî ìíîæåñòâà ïðåäêîâ. Åñëè ïðåäêîâ íåò, âåðîÿòíîñòè

íå óñëîâíûå (à ìàðãèíàëüíûå).





Ïðèìåð





×èñëåííûé ïðèìåð

Âû÷èñëèì ñîâìåñòíûå âåðîÿòíîñòè öåïî÷êè ~u~v ~w :

p(uvw) = p(w |uv)∑

~t p(u|~t)p(v |~t)p(~t) = 0.000199025,

p(uv �w) = p(�w |uv)∑

~t p(u|~t)p(v |~t)p(~t) = 0.000010475,

p(u�vw) = p(w |u�v)∑

~t p(u|~t)p(�v |~t)p(~t) = 0.012722625,

p(u�v �w) = p(�w |u�v)∑

~t p(u|~t)p(�v |~t)p(~t) = 0.038167875,

p(�uvw) = p(w |�uv)∑

~t p(�u|~t)p(v |~t)p(~t) = 0.00160245,

p(�uv �w) = p(�w |�uv)∑

~t p(�u|~t)p(v |~t)p(~t) = 0.00017805,

p(�u�vw) = p(w |�u�v)∑

~t p(�u|~t)p(�v |~t)p(~t) = 0.01894239,

p(�u�v �w) = p(�w |�u�v)∑

~t p(�u|~t)p(�v |~t)p(~t) = 0.92817711.





Âàæíûå çàìå÷àíèÿ

Åñëè ó óçëà n ïðåäêîâ, íóæíî çàäàâàòü 2n óñëîâíûõ

âåðîÿòíîñòåé.

Åñëè ïðåäêîâ ó óçëà x íåò, íóæíî çàäàâàòü ìàðãèíàëüíûå

âåðîÿòíîñòè p(x).

Â ãðàôå çàïðåùåíû íàïðàâëåííûå öèêëû.

Âñÿ ýòà èíôîðìàöèÿ â ñóììå äàñò âîçìîæíîñòü âû÷èñëÿòü

ëþáóþ âåðîÿòíîñòü â ñåòè, ò.å. åäèíñòâåííûì îáðàçîì

çàäàñò ðàñïðåäåëåíèå.





Òåîðåìà î äåêîìïîçèöèè

Òåîðåìà

Äëÿ ÁÑÄ, ïîñòðîåííîé íà ìíîæåñòâå ïåðåìåííûõ

S = {x1, x2, . . . , xn}, îáùåå ðàñïðåäåëåíèå âåðîÿòíîñòåé

p(~x1~x2 . . . ~xn), èíäóöèðóþùåå çàäàííûå óñëîâíûå è

ìàðãèíàëüíûå âåðîÿòíîñòè è ñîãëàñîâàííîå ñ óñëîâíîé

íåçàâèñèìîñòüþ, âûòåêàþùåé èç d-ðàçäåëèìîñòè óçëîâ,

ñóùåñòâóåò, åäèíñòâåííî è ïðåäñòàâëÿåò ñîáîé ïðîèçâåäåíèå

âñåõ òåíçîðîâ, çàäàííûõ â áàéåñîâñêîé ñåòè äîâåðèÿ:

p(~S) =∏x∈S

p(~x |p̃a(x)),

ãäå pa(x) � ìíîæåñòâî ðîäèòåëåé óçëà x â áàçîâîì ãðàôå ñåòè.





Ïðèìåð

Ïîïðîáóåì â íàøåì ïðèìåðå

âû÷èñëèòü p(z). Äëÿ ýòîãî

íàäî ïðîñóììèðîâàòü ïî âñåì

îñòàëüíûì âåðîÿòíîñòÿì:

p(z) =∑

~t~u~v ~w~x~y

p(~t ~u ~v ~w ~x ~y z).

Òóò áåçóìíîå êîëè÷åñòâî

âû÷èñëåíèé.





Ïðèìåð

Ïîñëå ïðèìåíåíèÿ ïðàâèëà

äåêîìïîçèöèè ïîëó÷àåòñÿ:

p(~z) =∑~t

p(~t)∑~v

p(~v |~t)p(~z |~v)

∑~u

p(~u|~t)∑~x

p(~x |~u)∑~w

p(~w |~u~v)∑~y

p(~y |~w),

è âû÷èñëåíèé óæå ãîðàçäî

ìåíüøå.





Ïðèìåð

Â ýòîì è çàêëþ÷àåòñÿ ñìûñë

áàéåñîâñêèõ ñåòåé äîâåðèÿ �

ðàçëîæèòü áîëüøîå

ðàñïðåäåëåíèå íà ïðîèçâåäåíèå

ìàëåíüêèõ. Ýòî ñìûñë íå

òîëüêî ÁÑÄ, íî è âîîáùå âñåãî

áàéåñîâñêîãî âûâîäà.





Ñâèäåòåëüñòâà

Ñâèäåòåëüñòâà � óòâåðæäåíèÿ âèäà ¾ñîáûòèå â óçëå x

ïðîèçîøëî¿. Íàïðèìåð: ¾Ó ïàöèåíòà äåôåêò çðåíèÿ¿, ò.å.

w .

Ãëàâíàÿ íàøà çàäà÷à: íàó÷èòüñÿ ïåðåñ÷èòûâàòü

âåðîÿòíîñòè ïðè ïîñòóïëåíèè ñâèäåòåëüñòâ.





Ïåðåñ÷¼ò âåðîÿòíîñòåé â îäíîì óçëå

Ïóñòü ïîñòóïèëî ñâèäåòåëüñòâî ¾Äåôåêò çðåíèÿ¿. Äàâàéòå

ðàññ÷èòàåì àïîñòåðèîðíóþ âåðîÿòíîñòü p(u|w).

Ñíà÷àëà íóæíî ïðèðàâíÿòü íóëþ íåñîâìåñòèìûå ñî

ñâèäåòåëüñòâîì ñëó÷àè â òàáëèöå ñîâìåñòíûõ âåðîÿòíîñòåé:

p(uvw ∧ w) = 0.000199025, p(uv �w ∧ w) = 0,

p(u�vw ∧ w) = 0.012722625, p(u�v �w ∧ w) = 0,

p(�uvw ∧ w) = 0.00160245, p(�uv �w ∧ w) = 0,

p(�u�vw ∧ w) = 0.01894239, p(�u�v �w ∧ w) = 0.






È íîðìèðîâàòü òî, ÷òî ïîëó÷èëîñü:

p(u|w) =∑

~v ~wp(u~v ~w∧w)p(w) = 0.386107 . . . ,

p(�u|w) =∑

~v ~wp(�u~v ~w∧w)p(w) = 0.61389288 . . . .






Âîïðîñ: êàêèì ïðåäïîëîæåíèåì ìû íåÿâíî ïîëüçîâàëèñü? ×òî

äåëàòü, åñëè îíî íå âûïîëíåíî?




ÈäåÿÂûâîä àëãîðèòìàÀëãîðèòì

Outline


Ìîòèâàöèÿ




Èäåÿ


Àëãîðèòì









Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ

Ìû ñåé÷àñ çàïðåùàåì íå òîëüêî íàïðàâëåííûå, íî è

íåíàïðàâëåííûå öèêëû. Ò.å. ãðàô áàéåñîâñêîé ñåòè �

ïîëèäåðåâî.

×òîáû íå çàïðåùàòü íåíàïðàâëåííûå öèêëû, íóæíî

ðàññìàòðèâàòü àëãîðèòìû ïîñòðîåíèÿ ìîðàëüíîãî ãðàôà,

òðèàíãóëÿöèè è ïîñòðîåíèÿ äåðåâà ñìåæíîñòè. Ýòèì ìû

çàéì¼ìñÿ íà ñëåäóþùåé ëåêöèè.

Ìû óæå ïîíÿëè, êàê ïðîïàãèðîâàòü ñâèäåòåëüñòâî ÷åðåç

îäèí óçåë. Îñòàëîñü ôîðìàëèçîâàòü ýòî è ñîáðàòü

àëãîðèòì öåëèêîì.





Èäåÿ àëãîðèòìà

Ìû äåëèì ïîñòóïèâøèå ñâèäåòåëüñòâà íà äâå ÷àñòè � òå,

÷òî âûøå äàííîãî óçëà x (E+x ) è òå, ÷òî íèæå (E−

x ). Íàøà

çàäà÷à � íàéòè

p(x |E ) = p(x |E−x ,E+

x ).

Çàòåì âû÷èñëÿåì èõ äåéñòâèå íà x ïî îòäåëüíîñòè è

ñêëàäûâàåì ýòî âñ¼ âìåñòå.





Îáîçíà÷åíèÿ

Evid(x) âîçâðàùàåò 1, åñëè x èíñòàíöèèðîâàí íàøèì

ñâèäåòåëüñòâîì.

Normalize(Pr) íîðìàëèçóåò ðàñïðåäåëåíèå Pr .

Ex\Y îçíà÷àåò ñâèäåòåëüñòâà, ñâÿçàííûå ñ x , êðîìå òåõ,

ïóòü ê êîòîðûì ïðîëåãàåò ÷åðåç ýëåìåíòû ìíîæåñòâà Y .





Âûâîä

p(x |E−x ,E+

x ) =p(E−

x |x ,E+x )p(x |E+

x )

p(E−x |E+

x ).

Íî â ïîëèäåðåâå x d -îòäåëÿåò E+x îò E−

x , ïîýòîìó

p(E−x |x ,E+

x ) = p(E−x |x). Êðîìå òîãî, âåðîÿòíîñòè äîëæíû â

ñóììå äàâàòü 1, ïîýòîìó ìîæíî çàáûòü ïðî 1

p(E−x |E+

x ), à ïîòîì

ïðîñòî íîðìàëèçîâàòü ðåçóëüòàò. Èòîãî íóæíî âû÷èñëèòü

p(E−x |x)p(x |E+

x ).

Íà÷í¼ì ñ p(x |E+x ).





Âûâîä

Ðàññìîòðèì âñå êîíôèãóðàöèè ðîäèòåëåé x ~U = p̃a(x). Òîãäà

p(x |E+x ) =

∑~U

p(x |~U,E+x )p(~U |E+

x ).

U d -îòäåëÿåò x îò E+x , ïîýòîìó ïåðâûé ñîìíîæèòåëü � ýòî

ïðîñòî p(x |~U), è ýòî äàíî íàì â òàáëèöàõ óñëîâíûõ

âåðîÿòíîñòåé.

E+x d -îòäåëÿåò êàæäûé u ∈ U îò äðóãèõ, è

p(~U |E+x ) =

∏u∈U

p(~u|E+X ).





Âûâîä


p(x |E+x ) =

∑~U

p(x |~U,E+x )p(~U |E+

x ).

Îñòàëîñü çàìåòèòü, ÷òî E+x =

⋃u∈U Eu\x , âñå îíè íå

ïåðåñåêàþòñÿ, è Eu\x d -îòäåëÿåò u îò âñåõ îñòàëüíûõ

ñâèäåòåëüñòâ â E+x . Èòîãî ïîëó÷àåòñÿ:

p(x |E+x ) = Norm

∑~U

p(x |~U)∏u∈U

p(~u|Eu\x)

.





Âûâîä


p(x |E+x ) =

∑~U

p(x |~U,E+x )p(~U |E+

x ).

p(x |E+x ) = Norm

∑~U

p(x |~U)∏u∈U

p(~u|Eu\x)

.

Ýòî óæå ïîõîæå íà ðåêóðñèâíûé àëãîðèòì: p(~u|Eu\x) �

ðåêóðñèâíûé âûçîâ èñõîäíîé ïðîöåäóðû.





Âûâîä p(E−x |x)

Çäåñü âñ¼ òî æå ñàìîå, íî ïîñëîæíåå, ïîòîìó ÷òî íóæíî

ó÷èòûâàòü âîçìîæíûõ äðóãèõ ïðåäêîâ ïîòîìêîâ óçëà x .

Ðàñïèøåì ïî êîíôèãóðàöèÿì äåòåé c̃h(x):

p(E−x |x) =

∑gchx

∏u∈ch(x)

p(E−u |u)p(u|pa(u) \ x).

Ïåðåñòàâèì ìåñòàìè ñóììó è ïðîèçâåäåíèå è ðàñïèøåì

p(u|pa(u) \ x), èñõîäÿ èç óæå ïîëó÷åííûõ ðåçóëüòàòîâ:

p(u|Z ) =∑~Z

p(~u|x , ~Z )∏z∈Z

p(~z |Ez\u), Z = pa(u) \ x .





Âûâîä p(E−x |x)

Â ýòîé ñóììå óçåë x ôèêñèðîâàí. Â èòîãå ïîëó÷àåì:

p(E−x |x) =

∏u∈ch(x)

∑~u

{p(E−

u |~u)×

×∑p̃a(u)

p(~u|x , p̃a(u))∏

z∈pa(z)

p(~z |Ez\u)}

.

Â ýòîé ôîðìóëå p(E−u |x) òàêæå âû÷èñëÿåòñÿ ðåêóðñèâíî.

Îñòàëîñü òîëüêî íå çàáûòü íîðìèðîâàòü.





Àëãîðèòì

Belief(x):

Âåðíóòü BeliefExcept(x , ∅).BeliefExcept(x ,V ):

Åñëè Evid(x), òî âåðíóòü óæå èìåþùååñÿ ðàñïðåäåëåíèå x .

Âû÷èñëèòü p(E−x\V |x) = EvidenceExcept(X ,V ).

U = pa(x).

Åñëè U = ∅ âåðíóòü Norm(p(E−

x\V |x)p(x)).

Èíà÷å äëÿ êàæäîãî u ∈ U âû÷èñëèòü è ñîõðàíèòü

p(~u|Eu\x) = BeliefExcept(~u, x).

Âåðíóòü Norm(p(E−

x\V |x)∑

~U p(x |~U)∏

u∈U p(~u|Eu\x)).





Àëãîðèòì

EvidenceExcept(x ,V ):

U = ch(x) \ V .

Åñëè (U == ∅) âåðíóòü ðàâíîìåðíîå ðàñïðåäåëåíèå.Èíà÷å äëÿ êàæäîãî u ∈ U:

Âû÷èñëèòü p(E−u |~u) = EvidenceExcept(~u, ∅).

Z = pa(u) \ {x}.

Äëÿ êàæäîãî z ∈ Z âû÷èñëèòü

p(~Z |Ez\u) = BeliefExcept(~w , u).

Âåðíóòü

p(E−x |x) = Norm

∏u∈ch(x)

∑~u

p(E−u |~u)

∑~Z

p(~u|x , ~Z )∏z∈Z

p(~z |Ez\u)

.




Îñíîâíûå ïîíÿòèÿ è îïðåäåëåíèÿÂñïîìîãàòåëüíûå àëãîðèòìûÀëãîðèòì ïðîïàãàöèè

Outline


Ìîòèâàöèÿ




Èäåÿ


Àëãîðèòì









Ìîòèâàöèÿ

Ìû íàó÷èëèñü îáðàáàòûâàòü ÁÑÄ â âèäå ïîëèäåðåâüåâ.

Êàê îáðàáàòûâàòü öèêëû? Íàø àëãîðèòì íå áóäåò

ðàáîòàòü: â îäíó è òó æå âåðøèíó èç äðóãîé ìîæíî áóäåò

ïðèäòè íåñêîëüêèìè ïóòÿìè.

Íà ýòîé ëåêöèè ìû ðàçáåð¼ì äðóãîé àëãîðèòì, êîòîðûé

ðàáîòàåò â ýòîì áîëåå îáùåì ñëó÷àå.





Íàø ïðèìåð





Äîìåííûé ãðàô


Ïóñòü P = {p(~x1|~X1), . . . , p(~xm|~Xm)} � íàáîð ðàñïðåäåëåíèé

âåðîÿòíîñòåé íàä ìíîæåñòâîì àòîìàðíûõ ñîáûòèé

S = {x1, . . . , xn}. Äîìåííûé ãðàô äëÿ P � ýòî íåíàïðàâëåííûé

ãðàô, âåðøèíû êîòîðîãî � ýëåìåíòû S; äâå âåðøèíû ñâÿçàíû

ðåáðîì òîãäà è òîëüêî òîãäà, êîãäà îíè îáå âñòðå÷àþòñÿ â

îäíîì è òîì æå ðàñïðåäåëåíèè âåðîÿòíîñòåé p(~xi |~Xi ) ∈ P.





Äîìåííûé ãðàô

Â ñëó÷àå ÁÑÄ ýòî âñåãî ëèøü îçíà÷àåò, ÷òî ãðàô òåïåðü

íåíàïðàâëåííûé, è â í¼ì äîáàâëÿþòñÿ ð¼áðà ìåæäó

ðîäèòåëÿìè îáùåãî ïðåäêà.

Òàêèå ð¼áðà íàçûâàþòñÿ ìîðàëüíûìè, à ñàì äîìåííûé

ãðàô â ñëó÷àå ÁÑÄ � ìîðàëüíûì ãðàôîì.





Ìîðàëüíûé ãðàô

Äîáàâèëîñü ðåáðî ìåæäó u è

v � îáùèìè ïðåäêàìè w .





Äàëüíåéøèé ïëàí

Ìû õîòèì â äàëüíåéøåì ïî îäíîé óäàëÿòü âåðøèíû èç

ìîðàëüíîãî ãðàôà, ïðè ýòîì ïðîåöèðóÿ îáùåå

ðàñïðåäåëåíèå íà òî, ÷òî îñòàíåòñÿ.

Êàæäûé ðàç, êîãäà ìû óäàëÿåì âåðøèíó, íàì ïðèõîäèòñÿ

îáúåäèíÿòü å¼ ñîñåäåé, ïîòîìó ÷òî íóæíî îáúåäèíèòü

ðàñïðåäåëåíèå âåðîÿòíîñòåé.





Ïðèìåð

Âîò ðåçóëüòàò ýëèìèíàöèè

âåðøèíû u.





Èäåàëüíàÿ ýëèìèíèðóþùàÿ ïîñëåäîâàòåëüíîñòü

Öåëü ïîíÿòíà � íóæíî ïîñòàðàòüñÿ èçáåãàòü äîáàâëåíèÿ íîâûõ

ð¼áåð ïðè ýëèìèíèðîâàíèè ïåðåìåííûõ.


Èäåàëüíîé ýëèìèíèðóþùåé ïîñëåäîâàòåëüíîñòüþ íàçûâàåòñÿ

òàêàÿ ïîñëåäîâàòåëüíîñòü ïåðåìåííûõ, ÷òî ïðè èõ

ýëèìèíèðîâàíèè â ýòîé ïîñëåäîâàòåëüíîñòè íè ðàçó íè îäíîãî

ðåáðà â ìîðàëüíûé ãðàô äîáàâëåíî íå áóäåò.





Èäåàëüíàÿ ýëèìèíèðóþùàÿ ïîñëåäîâàòåëüíîñòü: ïðèìåð





Ñèìïëèöèàëüíûå âåðøèíû

Åñëè x1, . . ., xi , . . ., xl � èäåàëüíàÿ ýëèìèíèðóþùàÿ

ïîñëåäîâàòåëüíîñòü, è ìíîæåñòâî ñîñåäåé xi îáðàçóåò

ïîëíûé ïîäãðàô, òî xi , x1, . . ., xi−1, xi+1, . . ., xl � òàêæå

èäåàëüíàÿ ýëèìèíèðóþùàÿ ïîñëåäîâàòåëüíîñòü. Òàêèå

âåðøèíû íàçûâàþòñÿ ñèìïëèöèàëüíûìè.

Ðàññìîòðèì ìíîæåñòâî êëèê, êîòîðûå ïîÿâÿòñÿ â

ìîðàëüíîì ãðàôå â ïðîöåññå ïîñëåäîâàòåëüíîé

ýëèìèíàöèè ïåðåìåííûõ ïî êàêîé-ëèáî

ïîñëåäîâàòåëüíîñòè. Âûáðîñèì ïîäãðàôû äðóãèõ êëèê.

Ýòî ìíîæåñòâî âñåãäà åñòü ìíîæåñòâî êëèê ìîðàëüíîãî

ãðàôà ñåòè.

Óïðàæíåíèå. Äîêàæèòå ýòè äâà óòâåðæäåíèÿ.





Òðèàíãóëÿðíûå ãðàôû


Íåíàïðàâëåííûé ãðàô íàçûâàåòñÿ òðèàíãóëÿðíûì, åñëè ó íåãî

ñóùåñòâóåò èäåàëüíàÿ ýëèìèíèðóþùàÿ ïîñëåäîâàòåëüíîñòü.

Ýòî íàçûâàåòñÿ òðèàíãóëÿðíîñòüþ, ïîòîìó ÷òî ýêâèâàëåíòíî

òîìó, ÷òî ëþáîé öèêë äëèíîé áîëüøå 3 ðàçáèò íà ìåíüøèå

(äâå åãî íåñîñåäíèå âåðøèíû ñîåäèíåíû).





Òðèàíãóëÿðíûå ãðàôû è ñèìïëèöèàëüíûå âåðøèíû

Òåîðåìà

Ó íåïîëíîãî òðèàíãóëÿðíîãî ãðàôà, ñîäåðæàùåãî ïî êðàéíåé

ìåðå òðè âåðøèíû, âñåãäà åñòü äâå íåñîñåäíèõ

ñèìïëèöèàëüíûõ âåðøèíû.

Ñëåäñòâèå: Íåíàïðàâëåííûé ãðàô òðèàíãóëÿðåí òîãäà è òîëüêî

òîãäà, êîãäà âñå åãî âåðøèíû ìîæíî ýëèìèíèðîâàòü,

ïîñëåäîâàòåëüíî ýëèìèíèðóÿ ñèìïëèöèàëüíûå âåðøèíû.





Òðèàíãóëÿöèÿ

Ìû õîòèì äåéñòâîâàòü ïî èäåàëüíîé ýëèìèíèðóþùåé

ïîñëåäîâàòåëüíîñòè.

×òîáû îíà ñóùåñòâîâàëà, íóæíî, ÷òîáû ãðàô áûë

òðèàíãóëèðîâàí.

Íî ýòî íå îáÿçàòåëüíî òàê; çíà÷èò, íàäî òðèàíãóëèðîâàòü.

Îá ýòîì ÷óòü ïîçæå.





Äåðåâî ñìåæíîñòè


Äåðåâî ñìåæíîñòè (join tree) � ýòî äåðåâî, âåðøèíàìè

êîòîðîãî ñëóæàò ýëåìåíòû Clique(G ) (êëèêè ãðàôà G), à ðåáðà

îðãàíèçîâàíû òàê, ÷òî äëÿ ëþáûõ äâóõ âåðøèí äåðåâà

ñìåæíîñòè C1, C2 ëþáàÿ âåðøèíà íà ïóòè îò C1 ê C2 ñîäåðæèò

èõ ïåðåñå÷åíèå C1 ∩ C2.





Äåðåâî ñìåæíîñòè: ïðèìåð





Äåðåâî ñìåæíîñòè è òðèàíãóëÿöèÿ

Òåîðåìà

Íåíàïðàâëåííûé ãðàô òðèàíãóëÿðåí òîãäà è òîëüêî òîãäà,

êîãäà äëÿ íåãî ñóùåñòâóåò äåðåâî ñìåæíîñòè.





Äåðåâî ñî÷ëåíåíèé


Äåðåâî ñî÷ëåíåíèé (junction tree) ìîðàëüíîãî ãðàôà � ýòî åãî

äåðåâî ñìåæíîñòè, ãäå êàæäîé âåðøèíå äîïîëíèòåëüíî

ïðèïèñàíû óñëîâíûå âåðîÿòíîñòè èñõîäíîé ÁÑÄ, îáëàñòè

îïðåäåëåíèÿ êîòîðûõ ïîëíîñòüþ ñîäåðæàòñÿ â

ñîîòâåòñòâóþùåé êëèêå ìîðàëüíîãî ãðàôà, à êàæäûé èç

ñåïàðàòîðîâ ñîäåðæèò äâà ïî÷òîâûõ ÿùèêà, ïðåäíàçíà÷åííûõ

äëÿ ïåðåäà÷è ïåðåñ÷èòàííûõ òåíçîðîâ óñëîâíûõ âåðîÿòíîñòåé â

îäíó è äðóãóþ ñòîðîíó.

Êîíå÷íî, ðåàëüíî äåðåâî ñìåæíîñòè è äåðåâî ñî÷ëåíåíèé íå

îòëè÷àþòñÿ.





Äåðåâî ñî÷ëåíåíèé: ïðèìåð





Äåðåâî ñî÷ëåíåíèé

Äåðåâî ñî÷ëåíåíèé � îñíîâíîé îáúåêò, íà êîòîðîì áóäåò

äåéñòâîâàòü àëãîðèòì.

Êàê åãî ïîñòðîèòü?

Äëÿ ýòîãî íóæíî ïîñòðîèòü èäåàëüíóþ íóìåðàöèþ.





Èäåàëüíàÿ íóìåðàöèÿ


Ôèêñèðóåì ãðàô G = (V ,E ). Íóìåðàöèÿ

σ : {1, . . . , |V |} −→ V

íàçûâàåòñÿ èäåàëüíîé, åñëè äëÿ âñÿêîãî i ìíîæåñòâî âåðøèí

Fam(σ(i)) ∩ σ({1, . . . , i })

èíäóöèðóåò ïîëíûé ïîäãðàô G.





Àëãîðèòì ïîñòðîåíèÿ èäåàëüíîé íóìåðàöèè

Äëÿ âñåõ i îò 1 äî |V |:

íàéòè åùå íå ïðîíóìåðîâàííóþ âåðøèíó x , äëÿ êîòîðîé

|Fam(x) ∩ σ(1, . . . , i − 1)| ìàêñèìàëüíà (åñëè òàêèõ âåðøèí

íåñêîëüêî, âûáðàòü ëþáóþ ïðîèçâîëüíûì îáðàçîì);

ïðèñâîèòü åé íîìåð i , ò.å. ïîëîæèòü σ(i) = x .

Âûäàòü ïîëó÷åííóþ íóìåðàöèþ.





Àëãîðèòì òðèàíãóëÿöèè

Ïðîñòåéøèé àëãîðèòì òðèàíãóëÿöèè � çàïóñòèòü àëãîðèòì,

ïîëó÷èòü ¾èäåàëüíóþ¿ íóìåðàöèþ, à ïîòîì ñäåëàòü å¼

èäåàëüíîé:

Ïîñòðîèòü íóìåðàöèþ σ ïðè ïîìîùè ïðåäûäóùåãî

àëãîðèòìà.

Äëÿ âñåõ i îò |V | äî 1:

E = E ∪ {(x , y) |

| x , y ∈ Fam(σ(i)) ∩ σ({1, . . . , i − 1}, (x , y) /∈ E }.

Âûäàòü ãðàô (V ,E ).





Àëãîðèòì ïîñòðîåíèÿ äåðåâà ñìåæíîñòè

C = ∅.E = ∅.Äëÿ âñåõ i îò 1 äî |V |:

íàéòè åùå íå ïðîíóìåðîâàííóþ âåðøèíó x , äëÿ êîòîðîé

|Fam(x) ∩ σ(1, . . . , i − 1)| ìàêñèìàëüíà (åñëè òàêèõ âåðøèí

íåñêîëüêî, âûáðàòü ëþáóþ ïðîèçâîëüíûì îáðàçîì);

ïðèñâîèòü åé íîìåð i , ò.å. ïîëîæèòü σ(i) = x ;

Ci = {Fam(σ(i)) ∩ σ({1, . . . , i })};

C = C ∪ {Ci };

E = E ∪ (Ci ,Cj), ãäå j = maxk<i,(i,k)∈E k .

Äëÿ âñåõ i îò 1 äî |V |, åñëè Ci ïîëíîñòüþ ñîäåðæèòñÿ â

îäíîì èç ñâîèõ ñîñåäåé (∃j : Ci ⊆ Cj ∧ (Ci ,Cj) ∈ E ), òîóäàëèòü Ci èç C è ñîåäèíèòü ñîñåäåé Ci íàïðÿìóþ.

Âûäàòü ãðàô (C ,E ).





Ñõåìà àëãîðèòìà

Èòàê, âîò ÷òî ó íàñ ïîêà åñòü:

Ìîðàëèçîâàòü áàçîâûé ãðàô ÁÑÄ.

Òðèàíãóëèðîâàòü ìîðàëüíûé ãðàô.

Ïîñòðîèòü äåðåâî ñìåæíîñòè (îíî æå äåðåâî ñî÷ëåíåíèé).

Âûïîëíÿòü ñîáñòâåííî ïðîïàãàöèþ.

Ïåðâûå òðè øàãà ìû óæå ðàññìîòðåëè, äåëî çà ÷åòâ¼ðòûì.





Ñáîð ñâåäåíèé

Ýòî ïåðâûé ýòàï àëãîðèòìà. Ïðåäïîëîæèì, ÷òî ìû õîòèì

íàéòè z .

Ñíà÷àëà íóæíî íàéòè âåðøèíó äåðåâà ñî÷ëåíåíèé,

ñîäåðæàùóþ z . Â äàííîì ñëó÷àå òàêàÿ êëèêà îäíà � {v , z}.

Ýòà êëèêà ñòàíîâèòñÿ âðåìåííûì êîðíåì äåðåâà, à

îñòàëüíûå âåðøèíû, íà÷èíàÿ ñ ëèñòüåâ, ïîñûëàþò ê

âðåìåííîìó êîðíþ ñîîáùåíèÿ, â êîòîðûõ çàïèñàí

ðåçóëüòàò ñóììèðîâàíèÿ ïî ïåðåìåííûì, íå ñîäåðæàùèìñÿ

â áëèæàéøåì ñåïàðàòîðå.

Êàæäàÿ âåðøèíà ïîñûëàåò ñîîáùåíèå ¾íàâåðõ¿ òîãäà,

êîãäà îíà ïîëó÷èëà âñå ñîîáùåíèÿ ¾ñíèçó¿.





Ïåðâûå äâà øàãà





Óñëîâèå ïåðåäà÷è ñîîáùåíèÿ

Âåñü àëãîðèòì ìîæíî ïðåäñòàâèòü êàê ïîñëåäîâàòåëüíóþ

ïåðåäà÷ó ñîîáùåíèé ìåæäó óçëàìè òîãäà, êîãäà âûïîëíÿåòñÿ

óñëîâèå:


Ïóñòü â ìîðàëüíîì ãðàôå åñòü êëèêà C, êîòîðîé ñîîòâåòñòâóåò

íàáîð ðàñïðåäåëåíèé âåðîÿòíîñòåé ΨC , à ó íåå � ñîñåäíèé

ñåïàðàòîð S. Ïóñòü îñòàëüíûå ñîñåäè C � S1, . . . , Sk � óæå

ïîëó÷èëè ñîîáùåíèÿ Ψi îò ñâîèõ äðóãèõ ñîñåäåé, ò.å. âî

âõîäÿùèõ ïî÷òîâûõ ÿùèêàõ S1, . . . , Sk óæå ëåæàò ãîòîâûå

ðàñïðåäåëåíèÿ âåðîÿòíîñòåé. Íàçîâåì òàêóþ ñèòóàöèþ

óñëîâèåì ïåðåäà÷è ñîîáùåíèÿ.





Àëãîðèòì

Íà ýòàïå ñáîðà ñâåäåíèé óñëîâèå âûïîëíÿåòñÿ ñíèçó ââåðõ,

è óçëû ïåðåäàþò ñîîáùåíèÿ íàâåðõ.

Ïîòîì, êîãäà ìû äîáðàëèñü äî êîðíÿ è ïåðåñ÷èòàëè òàì,

ìû íà÷èíàåì äâèãàòüñÿ îáðàòíî; óñëîâèå íå ìåíÿåòñÿ, íî

òåïåðü îíî ðàáîòàåò äëÿ âñåõ èñõîäÿùèõ ñåïàðàòîðîâ.

Àëãîðèòì çàêàí÷èâàåò ðàáîòó, êîãäà ïóñòûõ ïî÷òîâûõ

ÿùèêîâ áîëüøå íåò.





Àëãîðèòì

Àëãîðèòìó àáñîëþòíî âñ¼ ðàâíî, åñòü ëè â ñåòè êàêèå-òî

îçíà÷èâàíèÿ èëè íåò. Åñëè îíè åñòü, çíà÷åíèÿ

âåðîÿòíîñòåé èçìåíÿòñÿ, è òîëüêî. Ñòðóêòóðà àëãîðèòìà

îñòàíåòñÿ ïðåæíåé.

Íà ñàìîì äåëå òàêàÿ ñõåìà áàéåñîâñêîãî âûâîäà � ñ

ïåðåäà÷åé ñîîáùåíèé îò îäíîãî óçëà ê äðóãîìó ïî

ãðàôó � âñòðå÷àåòñÿ î÷åíü ÷àñòî è â äðóãèõ àïïàðàòàõ,

ðåàëèçóþùèõ áàéåñîâñêèé âûâîä.

Ìîðàëüíûå ãðàôû è äåðåâüÿ ñî÷ëåíåíèé � ýòî

BBN-speci�c, à âîò îáùàÿ ñõåìà îáìåíà ÷àñòè÷íî

ìàðãèíàëèçîâàííûìè ðàñïðåäåëåíèÿìè � î÷åíü îáùàÿ

èäåÿ.

Ýòèì ìû è áóäåì çàíèìàòüñÿ â äàëüíåéøåì.





Ñïàñèáî çà âíèìàíèå!

Lecture notes è ñëàéäû áóäóò ïîÿâëÿòüñÿ íà ìîåé

homepage:

http://logic.pdmi.ras.ru/∼sergey/index.php?page=teaching

Ïðèñûëàéòå ëþáûå çàìå÷àíèÿ, ðåøåíèÿ óïðàæíåíèé,

íîâûå ÷èñëåííûå ïðèìåðû è ïðî÷åå ïî àäðåñàì:

[email protected], [email protected]

Çàõîäèòå â ÆÆ smartnik.


Documents

Самообучающиеся системы, весна 2008: Байесовские сети доверия