1

Talteknologi (vt04): Sannolikhetslära och markovmodeller

Leif Grönqvist

GSLT, MSI@VxU, Ling@GU

2

Sannolikhetsteori

• Vad är sannolikhetsteori?– Teori för att hantera osäkerhet– Beräkna värden på hur troligt det är att något inträffar– Definition genom relativ frekvens

• Vad behöver vi det till?– Bra för att modellera allt för komplexa proceser:

språk!– Eller för att bli bättre på Roulette, Black Jack, Poker…

3

Viktiga begrepp

• Experiment/Försök (experiment/trial): processen med vilken en observation görs. Exempel:– Kasta tärning och se vad det blev– Titta ut genom fönstret varje dag klockan 12 tills den dag det

regnar och se hur många dagar det tog

• Utfall (basic outcome): ett resultat av ett försök. Exempel:– ”femma”, ”trea”– 8 dagar, 0 dagar

• Utfallrum (sample space): mängden av alla utfall (Ω). Exempel:– {”etta”, ”tvåa”, ”trea”, ”fyra”, ”femma”, ”sexa”}– {0, 1, 2, …}

4

Utfallsrummet

• Egenskaper hos utfallsrummet:– Diskret / kontinuerlig– Ändligt / oändligt

Diskret Kontinuerlig

Ändligt Tärning -

Oändligt Regnexemplet Kasta spjut

5

Fler begrepp

• Händelse (event): en delmängd av utfallsrummet. Exempel:– {“femma”, “sexa”}– {1, 2, 3}

• Händelserum (event space): mängden av alla delmängder av utfallsrummet (potensmängden av Ω), benämns 2Ω

– Hur stort är händelserummet för tärningsexemplet?

6

Fler begrepp

• Frekvensfunktion (probability function): P(x) = P(X=x), exempel:– P({“femma”, “sexa”}) = 1/3

• Täthetsfunktion (för kontinuerliga sannolikheter), exempel:– P(20<X<40) = ytan under kurvan från 20 till 40

• Några axiom:– P(Ω) = 1– P(x) = 0 omm “x inträffar aldrig”– P(x) = 1 omm “x inträffar alltid”– 0≤P(x)≤1 för alla händelser x

7

Räkneregler

• AB = P(A B) = P(A)+P(B)– Exempel: A={“etta”, tvåa”}, B={“fyra”, “femma”}

• Exempel från boken– Kasta ett mynt tre gånger. Hur stor chans är det

att vi får exakt två “klavar” [på tavlan]

8

Betingade sannolikheter

• Kallas också beroende sannolikheter eller a posteriori-sannolikheter (att jämföra med a priori-sannolikheter

• Definition:

• Kallas multiplikationsregeln

)(

),()|(

)(

),()|(

AP

BAPABP

BP

BAPBAP

9

Bayes regel

• Ur multiplikationsregeln följer Bayes regel:

• Bra att ha om P(A|B) är lättare än P(B|A) att beräkna

)(

)()|()|(

),()()|(

),()()|(

AP

BPBAPABP

BAPAPABP

BAPBPBAP

10

Exempel med Bayes regel

• S: Har stel nacke

• M: Har Meningitis (farlig sjukdom)

P(S|M) = ½, P(M) = 1/50000, P(S) = 1/20

• Bör man vara orolig om man är stel i nacken?

11

Bayes regel i datalingvistiken

• Ofta vill man beräkna P(A|B) men P(B|A) är mycket lättare att beräkna:

• Vi kanske vill hitta B så att P(A|B) maximeras:

)(

)()|()|(

AP

BPBAPABP

)(

)()|(max

AP

BPBAPArg

B

12

Bayes regel i datalingvistiken, forts.

• Eftersom A är konstant under maximeringen kan vi förenkla:

• Denna formel är grunden för en vanlig form av ordklasstaggning, taligenkänning, maskinöversättning

)()|(max)(

)()|(max BPBAPArg

AP

BPBAPArg

BB

13

Stokastiska variabler

• Lite förvillande benämning eftersom de faktiskt är funktioner:– X : Ω R (R är de reella talen)

• En diskret stokastisk variabel:– Y : Ω S (S är en uppräknerlig delmängd av R)

• Exempel: kasta två tärningar och summera:– Ω={”11”, ”12”, ”21”, …, ”66”}– S={2, 3, …, 12}

• pmf: en funktion som ger sannolikheten för elementen i S, benämns ofta p(x)– Exempel: två tärningar [på tavlan]

14

Väntevärde

• Definieras:

• Skrivs ofta µ

• Exempel: en tärning [på tavlan]

• Vad är det egentligen? Jo ett medelvärde!

x

xxpXE )(][

15

Varians

• Var(X) = E((X- µ)2) eller:

• µ, dvs E(X) är medelvärdet

• Var(X) är ett mått på hur mycket X varierar

• Ett ofta använt mått är standaravvikelse:

• Var(X) skrivs ofta 2

– Exempel: två klassers tentaresultat [på tavlan]

2))(()(

x

xxpXVar

)(XVar

16

Fördelningar

• Sättet “sannolikhetsmassan” är fördelad över Ω• Likformig fördelning (uniform distribution)

– Alla element i Ω har samma sannolikhet– P(x)=1/| Ω|– Exempel: en tärning.

• Normalfördelning (normal distribution)– Gauss ”Klockkurva” – resultatet av många små

avvikelser– Exempel: släpp en boll från ett flygplan– Beräknas med parametrarna: µ och

17

Kombinatorik

• Sannolikhetsteori för likformiga fördelningar• Enkelt att beräkna sannolikhet som antalet

gynnsamma utfall delat med totala antalet utfall• En vanlig modell:

– En urna med kulor (eventuellt numrerade, olikfärgade)– Tag upp ett antal kulor och notera deras nummer/färg

• Lägg tillbaka kulan eller inte• Notera ordningen de dras i eller inte• Resulterar i fyra kombinationer

18

Kombinatorik, fyra fall

• Med återläggning, notera ordningen– Stryktips

• Utan återläggning, notera inte ordningen– Lotto

• Med återläggning, notera inte ordningen

• Utan återläggning, notera ordningen

19

De fyra fallen

• Räkna antalet sätt att välja k kulor ur en urna med n

20

En Markovmodell

• En tillståndsmaskin– S={s1, s2, …, sN}: en mängd tillstånd ={S1, S2, …, SN}: initialsannolikheter– A={aij}, i,j tas från S: transitionssannolikheter– X är en tillståndssekvens

• Man kan beräkna– Sannolikheten för en tillståndssekvens X– Troligaste tillstånd i tidpunkt t– …

• Ett exempel [på tavlan]

21

En dold Markovmodell (HMM)

• Vi lägger till observerade symboler tagna ur ett alfabet K = {k1, k2, …, kM}

• Sannolikheter för att emittera en given symbol: B={bijk}, i,j tas från S, k från K

• O är en sekvens av symboler• Samt tänker oss att tillståndssekvensen är osynlig• Tre viktiga uppgifter kan urskiljas:

– Beräkna sannolikheten för en symbolsekvens O givet en modell– Beräkna den troligaste tillståndssekvensen givet en

symbolsekvens O (Viterbi-algoritmen!)– Givet en symbolsekvens O, ta fram sannolikheter som bäst

förklarar O

22

HMM-exempel

• En observationssekvens:

• Alfabetet: K={får, man, tacka, “.”}• Tillstånd: S={nn, vb, pn, dl}

• Transitionssannolikheter: anndl=0,29, … [OH]

• Emmisionssannolikheter: annfår=1.2e-4, … [OH]

får man får får man tacka .