Numerische Methoden und Algorithmen in der Physik · Parameteranpassung Likelihood Methode χ2-Wahrscheinlichkeitsverteilung χ2-Test Numerische Methoden und Algorithmen in der Physik

Parameteranpassung Likelihood Methode χ2-Wahrscheinlichkeitsverteilung χ2-Test

Numerische Methoden und Algorithmen in derPhysik

Hartmut Stadie, Christian Autermann

15.01.2009

Numerische Methoden und Algorithmen in der Physik Christian Autermann 1/ 47


Methode der kleinsten Quadrate

Likelihood Methode

χ2-Wahrscheinlichkeitsverteilung

χ2-Test



Übersicht

Methode der kleinsten QuadrateLiteraturlisteMethode der kleinsten QuadrateBeispielVarianz

Likelihood Methode


χ2-Test



Informationen

Material:Stroustrup: The C++ Programming Language, 3rd editionhttp://www.mathematik.uni-marburg.de/∼cpp/B. Stroustrup: C++ In-depth SeriesA. Koenig, B. E. Moo: Accelerated C++Press et al: Numerical Recipes, 3rd editionT. H. Cormen et al: Introductions to Algorithms, 2nd editionV. Blobel, E. Lohrmann: Statistische und numerischeMethoden der Datenanalysehttp://wwwiexp.desy.de/studium/lehre/numalg/



Parameteranpassung

ÜbersichtIn der Physik muss oft eine Theorie die durch einen Satz vonParametern beschrieben werden kann, an eine Menge vonMesswerten angepasst werden. Im Physikerjargon nennt man diesFit.

In dieser Vorlesung sollen Fit-Methoden und ihre Eigenschafteneingeführt werden.

Danke an C. Sander für Vorlesungsmaterial!




ProblemstellungGegeben seien N + 1 Messpunkte (x0, y0) . . . (xN , yN)

Diese Messpunkte sollen einer Funktion y = f (x) gehorchen,wobei die Funktion (also das „Modell”) durch m + 1Parameter a0 . . . aM beschrieben ist.Beispiel: y = a0 · x



ParameteranpassungDas Problem kann mit unterschiedlichen Voraussetzungenauftreten:

Die gesuchte Funktion hängt linear oder nicht-linear vonden freien Parametern des Modells abDie gesuchte Funktion lässt sich als Polynom m-ter OrdnungschreibenDie y -Werte (und x-Werte) der Messpunkte sind mitunterschiedlich großen Fehlern behaftet oder besitzen einunterschiedlich großes Gewicht.



Parameteranpassung

Lineare Abhängigkeit von Parametern:

f (x) = a0 · f0(x) + a1 · f1(x) + ... + am · fm(x) (1)Spezialfall: f (x) lässt sich durch Polynomzerlegung darstellen

f0(x) = 1f1(x) = xf2(x) = x2

...fm(x) = xm

ParameteranpassungBestimmung der Koeffizienten ai durch die Methode derkleinsten Quadrate



Methode der kleinsten Quadrate (χ2-Fit)Ansatz: Die optimalen Parameter ai sind solche, für welche die Summe derquadratischen Abweichung zu den Messwerten yi minimal ist:

Q =NX

i=0

(f (xi )− yi )2 =

NXi=0

r 2i (2)

Bei linearer Abhängigkeit gilt mit Gleichung (1):

Q =NX

i=0

mX

k=0

ak · fk(xi )− yi

!2

(3)

Im Minimum von Q verschwinden die partiellen Ableitungen nach den freienParametern:

∂Q∂ai

˛a

= 0 (4)

→ Minimierungsproblem!



Methode der kleinsten Quadrate (χ2-Fit)

∂Q∂ai

= 2 ·N∑

j=0

(f (xj)− yj) ·∂f (xj)

∂ai= 0 (5)

In der expliziten Darstellung von f (x) nach Gl. (1):

∂f (xj)

∂ai≡ fi (xj) (6)

∂Q∂ai

= 2 ·N∑

j=0

(m∑

k=0

ak · fk(xj)− yj

)· fi (xj) = 0 (7)

wobei j = 0..m. Diese insgesamt m + 1 Gleichungen können alsMatrixgleichung geschrieben werden.




Normalengleichung

0BBBBB@

Pi f0(xi )

2 Pi f0(xi ) · f1(xi ) . . .

Pi f0(xi ) · fm(xi )P

i f1(xi ) · f0(xi )P

i f1(xi )2 . . .

Pi f1(xi ) · fm(xi )

.

.

....

. . ....P

i fm(xi ) · f0(xi )P

i fm(xi ) · f1(xi ) . . .P

i fm(xi )2

1CCCCCA·

0BBBB@a0a1...

am

1CCCCA =

0BBBB@P

i f0(xi ) · yiPi f1(xi ) · yi

.

.

.Pi fm(xi ) · yi

1CCCCA

Diese Normalengleichung der Form C · a = b kann durchInvertierung der Matrix C gelöst werden:

a = C−1 · b (8)




Spezialfall: Fit mit Polynomdarstellung

Es sei f (x) = Pm(x) = a0 + a1 · x1 + a2 · x2 + . . . + am · xm

also fk(x) = xk für k = 0 . . . m.Damit nimmt die Matrixgleichung folgende Form an:

0BBBBB@

Pi (x

0i )2 P

i (x0i · x1

i ) . . .P

i (x0i · xm

i )Pi (x

1i · x0

i )P

i (x1i )2 . . .

Pi (x

1i · xm

i )

.

.

....

. . ....P

i (xmi · x0

i )P

i (xmi · x1

i ) . . .P

i (xmi )2

1CCCCCA ·

0BBBB@a0a1...

am

1CCCCA =

0BBBB@P

i x0i · yiP

i x1i · yi...P

i xmi · yi

1CCCCA

Durch Kürzen lässt sich diese Gleichung noch weiter vereinfachen.



Fehlerbehaftete Messpunkte

Seien jetzt die einzelnen yi statistisch unabhängige Daten mit demjeweiligen Fehler σi :

Die Beiträge in der Summe der kleinsten Quadrate müssen jetztentsprechend der Fehler gewichtet werden, also

Q =N∑

i=0

(f (xi )− yi )2 → Q ′ =

N∑i=0

(f (xi )− yi )2

σ2 (9)



Beispiel für eine Messung mit 11 Messpunkten

Alle Datenpunkte haben individuelle Fehler




Fit für m = 0




Fit für m = 1




Fit für m = 2




Fit für m = 3




Fit für m = 4




Fit für m = 5




Fit für m = 6




Fit für m = 7




Fit für m = 8




Fit für m = 9




Fit für m = 10 (identisch mit Interpolationspolynom)



Varianz der ParameterBestimmung der Varianzen σk der Parameter ak durch Fehlerfortpflanzung

σ2k =

NXi=0

„∂ak

∂yi

«2

· σ2i (10)

Aus der Bestimmungsgleichung des Lösungsvektors a = C−1 · b und derDefinition von C und b lässt sich zeigen, dass

σ2k = C−1

kk (11)

Die Matrix C−1 wird auch Kovarianzmatrix genannt.

Allgemein gilt:

Korrelation(xi xj) =Kovarianz(xi xj)p

Varianz(xi ) ·p

Varianz(xj)(12)



Übersicht


Likelihood MethodeDefinitionBeispielGaußischer Spezialfall


χ2-Test



Maximum Likelihood MethodeDie den Messwerten x1 . . . xn zugrunde liegende und a-priori bekannteWahrscheinlichkeitsdichte sei f (x |a), wobei a für einen oder mehrereunbekannte Parameter steht, von dem die Wahrscheinlichkeitsdichte abhängt.

Aus dieser ein- oder mehrdimensionalen Wahrscheinlichkeitsdichte wird dieLikelihood-Funktion L(a) definiert:

L(a) = f (x1|a) · f (x2|a) · . . . · f (xn|a) =nY

i=1

f (xi |a) (13)

Der beste Wert für die Parameter a ist definiert durch

L(a) = Maximum (14)

In der Praxis arbeitet man oft mit dem negativen Logarithmus derLikelihood-Funktion l(a), man sagt Log-Likelihood-Funktion.

l(a) = −2 ln L(a) (15)l(a) = Minimum (16)



Beispiel: Zerfallswinkelverteilung eines ElementarteilchensDie Zerfallswinkelverteilung eines bestimmten Teilchens sei durch folgendeWahrscheinlichkeitsdichtefunktion gegeben:

f (x |a) =12(1 + a · cos θ) (17)

Die Funktion ist für alle mögliche Werte für a auf 1 normiert, so dass sich fürdie negative Log-Likelihood-Funktion ergibt:

F (a) = −2nX

i=1

ln12(1 + a · cos θi ) (18)



Beispiel: Gaußische WahrscheinlichkeitsdichtefunktionFür eine Gauß-Wahrscheinlichkeitsdichte geht die Likelihood-Methode in dieMethode der kleinsten Quadrate über.

f (xi |a) =1

2√

2πσi· e

− (xi−a)2

2σ2i (19)

Die negative Log-Likelihood-Funktion wird damit zu (Vergleich mit Gl. (9)):

F (a) = konst + 2nX

i=1

(xi − a)2

2σ2i

(20)

Für den Fehler der besten Schätzung des Mittelwertes a gilt:

σ(a) =

„d2Fda2

˛a

«− 12

(21)

In diesem Beispiel ist σ(a) = (P

1/σ2i )− 1

2 . Sind alle Gewichte gleich σi = σgilt:

σ(a) =σ√n

(22)



Übersicht


Likelihood Methode

χ2-WahrscheinlichkeitsverteilungÜbersichtExponentialverteilungχ2-Verteilung

χ2-Test



Wahrscheinlichkeitsverteilungen

Diskrete Wahrscheinlichkeitsverteilungen (Abzählbar)

Binomialverteilung (→ letzte Vorlesung)Poisson-Verteilung (→ letzte Vorlesung)

Kontinuierliche WahrscheinlichkeitsverteilungenGleichverteilung (→ letzte Vorlesung)Gauß- oder Normalverteilung (→ letzte Vorlesung)Exponentialverteilungχ2-Verteilung



Exponentialverteilung

Beispiel: Zeitabstände zwischenzwei Kernzerfällen

f (x , λ) =

λ · e−λ·x für 0 ≤ x ≤ inf

0 sonst(23)

Mittelwert: µ = 1λ

Varianz: σ2 = 1λ2



χ2-VerteilungSeien x1 . . . xn unabhängige Zufallsvariablen, die derstandardisierten Gauß-Verteilung (µ = 0 und σ = 1) genügen, sofolgt die Summe der Quadrate

u = χ2 =∑

i

(xi )2 (24)

einer χ2-Verteilung mit k Freiheitsgraden:

fk(u) =12(u

2 )n2−1 · e−

u2

Γ(k2 )

(25)

mit Γ(x) =

∫ inf

0e−t · tx−1dt für x > 0 (26)

Die xi können mehrere gleiche Messungen sein, oder z.B.Messpunkte auf einer Kurve



χ2-Verteilung

Mittelwert 〈u〉 =⟨χ2⟩ = k

Varianz σ2 = 2n

Die Wahrscheinlichkeit, in einer Stichprobe x1 . . . xn ein χ2 zufinden das kleiner ist als x :

Fk(x) =

∫ x

0fk(t)dt (27)



Übersicht


Likelihood Methode


χ2-TestPrüfung von Hypothesen mit dem χ2 Test1. Beispiel für χ2-Test2. Beispiel für χ2-TestInterpretation des χ2-Test



Prüfung von Hypothesen

Interpretation von DatenHäufige Aufgabenstellung (nicht nur) in der Physik: Interpretationvon Messdaten im Rahmen eines Modells

Dazu gehöhren:Aufstellung einer Hypothese (Das Modell)Bestimmung der Parameter des ModellsÜberprüfung der Hypothese anhand der Messdaten

Ziel: Die Übereinstimmung von Messdaten und Modell zuquantifizieren

Methoden: χ2-Test, Studentscher t-Test,Kolmogorov-Smirnov-Test, ...



χ2-TestSeien x1 . . . xn Messpunkte unabhängiger gaußverteilter Variablen,mit den Varianzen σi und den Erwartungswerten Ei , so folgt dieSumme der Quadrate einer χ2-Verteilung mit n Freiheitsgraden:

u = χ2n∑

i=1

(xi − Ei )2

σ2i

(28)

Im Falle korrelierter Zufallsvariablen muss das χ2 über dieKovarianzmatrix V definiert werden:

u = χ2 =n∑

i=1

n∑j=1

(xi − E1) · V−1ĳ · (xj − Ej) (29)

Sind die Erwartungswerte Ei durch ein zugrunde liegendes Modellvorgegeben und nicht durch die Daten selbst bestimmt, so ist dieZahl der Freiheitsgrade gleich der Zahl der Messpunkte n.



χ2-Test

Für den Mittelwert der χ2-Verteilung gilt:⟨χ2⟩ = n (30)

Für den Mittelwert pro Freiheitsgrade n (oder „degrees of freedomd .o.f .”) gilt demnach: ⟨

χ2⟩n

= 1 (31)

Daraus folgt:Falls die Hypothese (das Modell) zutrift, so sollte man imMittel (etwa nach häufigen Wiederholen der Messreihe)⟨χ2⟩ /d .o.f . = 1 finden.

Die Güte der Hypothese lässt sich durch die integrierteχ2-Verteilung quantifizieren



Zahl der FreiheitsgradeBei einem vorgegebenen bestimmten Modell ist die Zahl derFreiheitsgrade d .o.f . gleich der Zahl der Messpunkte.

Sollen ein einem χ2-Fit m freie Parameter am des Modellsbestimmt werden, so gilt:

∂χ2

∂ai≡ 0 (32)

Jede dieser m Bedingungen reduziert den statistischenVariationsspielraum der Messwerte gegenüber der Vorhersage desModells und verringert die Zahl der Freiheitsgrade:

d .o.f . = n −m (33)

Zur Überprüfung der Analyse benutzt man χ2min/d .o.f ..



Beispiel für χ2 TestPolynom 1. Ordnung, (11Datenpunkte): d .o.f . = 9

χ2

d .o.f .= 75.4/9 = 8.37

Wahrscheinlichkeit dieses χ2

(oder ein noch größeres) zufinden:

P = 1− F9(75.4) = 1.3 · 10−12




χ2

d .o.f .= 19.4/7 = 2.78



P = 1− F7(19.4) = 0.0069




χ2

d .o.f .= 5.22/6 = 0.87



P = 1− F6(5.22) = 0.52



Gleiche Daten, größere FehlerPolynom 4. Ordnung, (11Datenpunkte): d .o.f . = 6

χ2

d .o.f .= 0.60/6 = 0.10



P = 1− F6(0.6) = 0.996



Interpretation des χ2 −Wertes

χ2/d .o.f . � 1Dies ist ein Zeichen dafür, dass

die Hypothese (das Modell) falsch ist, oderdie Fehler der Messung unterschätzt wurden, oderder Datensatz inkonsistent ist.

χ2/d .o.f . ≈ 1Dies unterstützt die Hypothese

χ2/d .o.f . � 1Ist meist ein Zeichen dafür, dass die Fehler überschätzt wurden



Interpretation des χ2 −Wertes

χ2/d .o.f . ≈ 1Kritische Betrachtung der Messwerte unddes Modells ist trotzdem wichtig!Polynom 0. Ordnung, (11 Datenpunkte):d .o.f . = 10

χ2

d .o.f .= 11.4/10 = 1.14

Wahrscheinlichkeit dieses χ2 (oder ein nochgrößeres) zu finden:

P = 1− F10(11.4) = 0.32

Bei falscher Hypothese und überschätztenFehlern kann man trotzdem ein gutesχ2/d .o.f . erhalten.



Parameteranpassung

Was vernachlässigt wurdeSystematische, also unter den Messwerten korrelierte, FehlerNicht-normalverteilte ZufallsvariablenViele andere moderne statistische AnalysemethodenLimitberechnung...


Documents

Numerische Methoden und Algorithmen in der Physik · Parameteranpassung Likelihood Methode χ2-Wahrscheinlichkeitsverteilung χ2-Test Numerische Methoden und Algorithmen in der Physik