Sammanfattning av föreläsning 5 Modellbygge & Simulering ... · normalt modellera allt som den gamla modellen kunde plus en del nytt. (man kan ju återfå den gamla modellen genom

Modellbygge & Simulering, TSRT62

Föreläsning 6. Modellkvalitet och validering

Torkel Glad

Reglerteknik, ISY, Linköpings Universitet

Torkel GladModellbygge & Simulering 2012, Fö 6

AUTOMATIC CONTROLREGLERTEKNIK

LINKÖPINGS UNIVERSITET

Sammanfattning av föreläsning 5

Skattningens kvalitet: bias och varians

Fysikaliska parametriserade modellerOlinjära svartlådemodeller• Lokala modeller• Lokala linjära modeller• Olinjära regressionsmodeller; neuronnät




Bias och varians

Bias-fel:När N → ∞: (N=antal datapunkter)

θ∗ = argminθ

∫ π

π|G0(eiω)−G(eiω, θ)|2 Φu(ω)

|H∗(eiω)|2 dω

Variansfel:

E(θN − θ0)(θN − θ0)T ≈ λ

NR−1

där λ är brusvariansen och

R = Eψ(t, θ0)ψ(t, θ0)T, ψ(t, θ) =

ddθ

y(t|θ)




Modellkvalitet och validering

Överanpassning och korsvalidering

AIC, FPE, MDL

Residualtester

Lite modellbyggesfilosofi

Några modeller utan facit




Överanpassning

Om man lägger till en parameter i en modell så kan mannormalt modellera allt som den gamla modellen kunde plus endel nytt. (man kan ju återfå den gamla modellen genom att sättaden nya parametern = 0)

Det blir alltså förmånligt att ta in fler parametrar.

I praktiken anpassas ofta modeller med många parametrar mertill bruset än till underliggande fysik.

Detta kallas överanpassning (overfit).




Bot mot överanpassning

Utvärdera modellerna på nya data (som alltså inte använts vidberäkning av θ): korsvalideringTa in antalet parametrar d i kriteriet.• Akaikes AIC:

mind,θ

(1 +2dN)

N

∑t=1

ε2(t, θ)

• FPE

mind,θ

(1 +1 + d/N1− d/N

)1N

N

∑t=1

ε2(t, θ)

• Rissanens MDL

mind,θ

(1 +2dN

log N)N

∑t=1

ε2(t, θ)




Modellordning – estimeringsdata

0 5 10 15 20 25 3040

40.5

41

41.5

42

42.5

43

43.5

44

44.5

45

Number of par’s

Une

xpla

ined

out

put v

aria

nce

(in %

)

Model Misfit vs number of par’s

MDL, AIC

"Bäst"

Anpassning av ARX-modellerutvärderat på estimeringsdata(sanna systemet är ARX 2 2 1)




Modellordning – valideringsdata

0 5 10 15 20 25 3045

46

47

48

49

50

51

52

53

54

55

Number of par’s

Une

xpla

ined

out

put v

aria

nce

(in %

)

Model Misfit vs number of par’s

MDL

AIC

Bäst

Anpassning av ARX-modellerutvärderat på valideringsdata(sanna systemet är ARX 2 2 1)




Modellernas stegsvar

0 1 2 3 4 5 6 7 8 9 100

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

Time

Step Response

sant

AIC Bäst (valid)

MDL (valid)"Bäst" (estim)

Notera tecken påöveranpassning hos modellenmed högst ordningstal (”bäst”)




Modellernas bodediagram

10−1

100

101

10−1

100

Am

plitu

de

Frequency response

10−1

100

101

−200

−150

−100

−50

0

Frequency (rad/s)

Pha

se (

deg)

"Bäst" (estim)

Sann AIC

Bäst (valid)MDL (valid)

Notera tecken påöveranpassning hos modellenmed högst ordningstal (”bäst”)




Residualtest 1. Rεu

Residualer: ε(t, θN) = y(t)− y(t|θN)

Idealt bör ε vara oberoende av uSkatta korskovariansen:

Rεu(τ) =1N

N

∑t=1

ε(t + τ)u(t)

Plotta Rεu.

Korrelation för negativa τ: Kanske återkoppling

Rεu(τo) signifikant nollskild: indikerar att u(t− τo) börinkluderas i modellen.




Residualtest 2. Rε

Residualer: ε(t, θN) = y(t)− y(t|θN)

Idealt bör dessa vara oberoende (om också brusmodellen är välskattad)

Skatta kovariansen:

Rε(τ) =1N

N

∑t=1

ε(t + τ)ε(t)

Plotta Rε.




Residualtest – exempel

−20 −15 −10 −5 0 5 10 15 20−0.5

0

0.5

Autocorrelation of residuals for output y1

−20 −15 −10 −5 0 5 10 15 20−0.5

0

0.5

Samples

Cross corr for input u1 and output y1 resids

Blå kurva: modell av lägreordning än det sanna systemet.Korskovariansen mellan ε ochu antyder att modellen måsteutökas så att den kan ta hänsyntill äldre värden på u.

Röd kurva: en högreordningens modell därkorskovariansen mellan ε och uförsvunnit (dessutom harkorrelationen i ε gått ner något)




Modellkvalitet

Måste bedömas med hänsyn till syftet

Fysikalisk bas viktig för modellens trovärdighet vid t exextrapolationKorrekt förutsägelse av det oväntade ökar trovärdighet• Neptunus• Instabilitet hos ögats ackomodation




Modellens syfte viktigt

Exempel: Två modeller

G1 =1

s + 0.1

G2 =1

(s + 1)4

Vilken beskriver verkligheten bäst?




Test 1: Stegsvar

0 1 2 3 4 5 6 7 8 9 10−1

0

1

2

3

4

5

6

sant stegsvar

G1

G2

Här beskriver G2 verkligheten bäst.




Test 2: Stegsvar vid PI-reglering

0 1 2 3 4 5 6 7 8 9 10−0.5

0

0.5

1

1.5

2

2.5

sant stegsvar

G1

G2

Här beskriver G1 verkligheten bäst.




Frekvensplanstolkning

−100

−80

−60

−40

−20

0

20

Mag

nitu

de (

dB)

10−2

10−1

100

10

−360

−270

−180

−90

0

Pha

se (

deg)

Bode Diagram

Frequency (rad/s)

sant

G2

G1

G2 approximerar bäst vid låga frekvenser; viktigt vid öppenstyrning

G1 approximerar bäst runt skärfrekvensen; viktigt vid reglering




Ptolemaios modell

-1.5

-1

-0.5

0

0.5

1

1.5

-1.5 -1 -0.5 0 0.5 1 1.5

*

*

*

o

o

o

Q

Q

Q

P

P

P

”Ofysikalisk grund”, epicykler(”cirklar i cirklar”)

Mycket bra på att förutsägabanor hos de kändaplaneterna

Kunde inte förutsäga banorhos nyupptäckta planeter

Kunde inte förutsägaexistensen av nya planeter




Keplers och Newtons modell

Bild: R. J. Hall

Fysikalisk bas:gravitationslagen ochrörelselagarna

Kan förutsäga banor medutomordentlig precision

Kan förutsäga banor hos nyaplaneter med minimala indata

Förutsåg existensen avNeptunus




Viktig modellvalidering: klimatmodeller

Kort om klimatmodeller

Beskriver hur temperatur, tryck, densitet, hstighet osv utvecklasi tid och rum

Bygger på fysik: balansekvationer för massa, energi,rörelsemängd osv.

Många tillstånd (aggregering av partdiffar)

Framtagna under de senaste decennierna av olikaforskargrupper.




Externa insignaler i klimatmodeller

Exempel på externa insignalerNaturliga• Solstrålning• Vulkaner

Mänskliga• Utsläpp av växthusgaser• Utsläpp av aerosoler




Utvärdering av klimatmodeller, 1

Global medeltemperaturSvart: uppmättGult: 58 simuleringar från14 modeller, allainsignalerRött: Medelvärde frånsimuleringarnaGrå linjer: vulkanutbrott

Källa: IPCC AR4, fig 9.5 a




Utvärdering av klimatmodeller, 2

Global medeltemperaturSvart: uppmättLjusblått: 58 simuleringarfrån 14 modeller, endastnaturliga insignalerBlått: Medelvärde frånsimuleringarnaGrå linjer: vulkanutbrott

Källa: IPCC AR4, fig 9.5 b




Att prediktera framtiden

Ett starkt test är att låta modellerna förutsäga framtiden ochjämföra prediktion och utfall

Detta kräver flera decenniers väntan

Ett alternativ är att använda en prediktion som gjordes för fleradecennier sedan

En sådan prediktion gjordes av Hansen 1988




Utvärdering av Hansens modell från 1988

svart:temperaturprediktion (detutsläppsscenario somfaktiskt slog in)rött:temperaturmätningarDe räta linjerna äruppskattade trender

Analys: Gavin Schmidthttp://www.realclimate.org/index.php/archives/2009/12/updates-to-model-data-comparisons/




Rumsfördelning av temperatur 2010

Hansens prediktion Uppmätt av NASA-GISS




Validering, sammanfattning

Några valideringssynpunkter.

Testa modellen på nya data. “Korsvalidering”

Beräkna olika modeller i olika strukturer och på olika mätdata.Modellerna överensstämmer (t.ex. i simulering eller iBodediagram)⇒ Stort förtroende.

Kolla residualernaε(t) = y(t)− y(t)

• Testa korrelation med insignal• Testa inbördes korrelation.

Tänk på modellens syfte.




Documents

Sammanfattning av föreläsning 5 Modellbygge & Simulering ... · normalt modellera allt som den gamla modellen kunde plus en del nytt. (man kan ju återfå den gamla modellen genom