1. Einleitung und Uberblick¨ Wahrscheinlichkeitstheorie … · Zusammenfassung (15. April 2015) 1. Einleitung und Uberblick¨ Stochastik: Lehre von den math. Gesetzm¨aßigkeiten

Zusammenfassung (15. April 2015)

1. Einleitung und Uberblick

Stochastik: Lehre von den math. Gesetzmaßigkeiten des Zufalls.

• Wahrscheinlichkeitstheorie. Bildung und Untersuchung

wahrscheinlichkeitstheoretischer Modelle (Wahrscheinlichkeits-

raume, Zufallsvariablen).

• Statistik. Methoden zur Auswertung konkreter Daten.

1.1. Konzepte und Methoden in W’theorie u. Statistik

Beispiel: Qualitatsprufung von N Produktionsteilen.

1.1.1. Einfache Modellannahmen

• Produktionsteile mit Wahrscheinlichkeit p ∈ [0, 1] defekt.

• Produktionsteile unabhangig.

1.1.2. Ein wahrscheinlichkeitstheoretisches Modell

• Wahrscheinlichkeitsraum (ΩN ,FN ,PN,p):

ΩN = 0, 1N (Stichprobenraum),

FN = Pot(ΩN) (σ-Algebra der Ereignisse),

PN,p : FN → [0, 1] (Wahrscheinlichkeitsmaß).


• Zufallsvariablen (ΩN ,FN ,PN,p) → R:

Yi(ω) = ωi, ω = (ω1, . . . , ωN) ∈ ΩN , i = 1, . . . , N ,

ZN = (1/N)∑N

i=1 Yi, . . .

1.1.3. Wahrscheinlichkeitstheoretische Untersuchungen

• Erwartungswert:

EN,p[ZN ] =N∑

k=0

k

NPN,p

[ZN =

k

N

]= · · · = p.


• Varianz:

VarN,p(ZN) = EN,p

[(ZN − EN,p[ZN ])2

]= p(1 − p)/N .

• Schwaches Gesetz der großen Zahlen:

limN→∞

PN,p

[|ZN − p| ≥ ǫ

]= 0, ǫ > 0.

(stochastische Konvergenz)

• Zentraler Grenzwertsatz:

limN→∞

PN,p

[√N/p(1 − p)(ZN − p) ∈ [a, b]

]

= (1/√

2π)∫ ba dx exp(−x2/2), a, b ∈ R, a < b.

(Konvergenz in Verteilung, Normalverteilung)

1.1.4. Ein statistisches Modell (XN ,GN , (QN,p)p∈[0,1]) (zur

Schatzung der Fehlerw’keit pw mit Hilfe der Anzahl defekter Pro-

duktionsstucke)

- XN = 0, 1, . . . , N (Stichprobenraum, mogl. Beobachtungen)

- GN = Pot(XN) (σ-Algebra; fur Schatzung relevante Ereignisse)

- QN,p, p ∈ [0, 1] (W’maße auf (XN ,GN); mogl. Verteilungen des

Beobachtungswerts; QN,p Binomialverteilung zu Param. N , p)

1.1.5. Statistische Untersuchungen

• Maximum-Likelihood-Schatzer (Beobachtungswert: x ∈ XN):

pw lost QN,pw[x] = supp∈[0,1] QN,p[x], d.h., pw = x/N .


• Konfidenzbereich: Zu Irrtumsniveau s ∈ (0, 1) sei

XN ∋ y → C(y) (moglichst kleines) Intervall in [0, 1] mit

supp∈[0,1] QN,p

[y ∈ XN : C(y) 6∋ p

]≤ s.

=⇒ Fur alle x gilt:”Mit einer Sicherheit von mindestens

(1 − s) · 100 % liegt pw in dem Intervall C(x)“.

• Testen einer Hypothese: Zu Irrtumsniveau t ∈ (0, 1) und

Nullhypothese Θ0 ⊆ [0, 1] ist ein Test

XN ∋ x→ φ(x) =

0, falls p ∈ Θ0 angenommen wird,

1, falls p 6∈ Θ0 vermutet wird,

zu suchen mit

– supp∈Θ0QN,p[x ∈ XN : φ(x) = 1] ≤ t und

– QN,p[x ∈ XN : φ(x) = 0] !!= minimal fur p ∈ [0, 1] \ Θ0.

=⇒ Fur alle x gilt:”Mit einer Sicherheit von mindestens

(1 − t) · 100 % wird die Gultigkeit der Nullhypothese erkannt.

Die Alternative [0, 1] \ Θ0 wird mit maximaler Zuverlassigkeit

nachgewiesen“.

1.1.6. Zusammenfassung und Ausblick: Stochastik, Wahr-

scheinlichkeitstheorie, Statistik; Wahrscheinlichkeitsraum, Zufallsva-

riable, Unabhangigkeit, Erwartungswert, Gesetz der großen Zah-

len, Zentraler Grenzwertsatz, Normalverteilung; statistisches Mo-

dell, Schatzer, Konfidenzbereich, Test; Maß- und Integrationstheorie.


1.2. Geschichte der W’theorie und der Statistik

Bis Mitte 19. Jhr.: Glucksspiele; Modellierung des”Zufalls“ unklar.

Ende 19. Jhr.: Maß- und Integrationstheorie.

1933: Axiomensystem von A.N. Kolmogorov.

Danach: Schnelle Fortschritte (Stoch. Diff’gleichungen, Martingale)

2. Wahrscheinlichkeitsraume

Kolmogorovsche Axiome:

Definition. Sei Ω 6= ∅. Eine Familie F ⊆ Pot(Ω) mit

(a) Ω ∈ F (Sicheres Ereignis)

(b) A ∈ F =⇒ (Ω \A) ∈ F (A tritt nicht ein)

(c) A1, A2, ... ∈ F =⇒ ⋃∞n=1An ∈ F (A1 oder A2 oder ...)

wird als σ-Algebra bezeichnet. F beschreibt Menge der Ereignisse.

(Ω,F) ist ein meßbarer Raum.

Definition. Eine Funktion P : F→ [0, 1] mit

(a) P[Ω] = 1,

(b) P[⋃∞

i=1Ai

]=∑∞

i=1 P[Ai], falls Ai ∩ Aj = ∅, i 6= j,

heißt Wahrscheinlichkeitsmaß. (b) wird als σ-Additivitat bezeich-

net. (Ω,F,P) ist ein Wahrscheinlichkeitsraum.

Zusammenfassung (6. Mai 2015)

2.1. Elementare wahrscheinlichkeitstheoret. Modelle

• Munzwurf (fair, unfair; ein-, mehrmalig unabhangig)

• Wurf eines Wurfels (fair, unfair)

• Laplacescher W’raum: |Ω| <∞; P[ω] = 1/|Ω|, ω ∈ Ω

(Gleichverteilung auf Ω).

2.2. Diskrete Wahrscheinlichkeitsmaße

Ω endlich oder abzahlbar unendlich; F = Pot(Ω);

P[A] =∑

a∈A pa, A ∈ F (pa ∈ [0, 1], a ∈ Ω;∑

a∈Ω pa = 1).

• Bernoulli-Verteilung (|Ω| = 2).

• Binomial-Verteilung (Ω = 0, ..., N; pk =(Nk

)pk(1− p)N−k).

• Geometrische Verteilung (Ω=N; pk=(1 − p)k−1p).

• Negative Binomial Verteilung (Ω=N0; pk=(k+r−1k

)pr(1−p)k).

• Laplacesche Verteilung (Ω = M (endlich); pω = 1/|M |).• Poissonverteilung (Ω = N0; pk = exp(−λ)λk/k!).


• Multinomialverteilung, hypergeometrische Verteilung.

P W’maß auf (Ω,F). a ∈ Ω Atom von P, falls P[a] > 0.

Diskrete Wahrscheinlichkeitsmaße sind auf Atomen konzentriert.

Wahrscheinlichkeitsmaße mit Dichte besitzen keine Atome.

2.3. Konsequenzen aus den Kolmogorovschen Axiomen

2.3.1. Weitere Eigenschaften von σ-Algebren

• ∅ ∈ F.

• A1, A2, . . . , AN ∈ F =⇒ ⋃Nn=1An ∈ F.

• A1, A2, · · · ∈ F =⇒ ⋂∞n=1An ∈ F.

2.3.2. Weitere Eigenschaften von W’maßen

• P[∅] = 0.

• endliche Additivitat.

• P[A ∪B] = P[A] + P[B] − P[A ∩B], A,B ∈ F.

• Subadditivitat: P[A ∪B] ≤ P[A] + P[B], A,B ∈ F.

• Monotonie: A ⊆ B =⇒ P[A] ≤ P[B].

• σ-Subadditivitat: P[⋃∞

i=1Ai

]≤∑∞

i=1 P[Ai], A1, A2, · · · ∈ F.

2.4. Konstruktion von σ-Algebren und W’maßen

Ω sei gegeben.

• Familie F∗ ⊆ Pot(Ω)”elementarer“ Ereignisse.

• P∗ : F∗ → [0, 1] mit”Eigenschaften“ eines W’maßes.

• Erweiterung F = σ(F∗) (kleinste σ-Algebra ⊇ F∗).

• Fortsetzung P von P∗. P : F → [0, 1] W’maß auf (Ω,F).

2.4.1. Gleichverteilung auf [0,1]

Ω = [0, 1]; F∗ Menge der Intervalle in Ω; P∗[(a, b)] = |b− a|.F = σ(F∗) = B([0, 1]) Borelsche σ-Algebra; P Lebesguemaß.

2.4.2. ∞-facher, unabhangiger Munzwurf

Ω = 0, 1N (0, 1-wertige Folgen);

F∗ durch endlich viele Wurfe bestimmte Ereignisse;

P∗ durch w’theoretische Modelle fur endlich viele Wurfe gegeben.


Bsp.: P[1. Wurf von”Kopf“ in geradem Zeitpkt.]=p/(p+1),

p ∈ (0, 1).

Bsp.: P[”Kopf“ nur endlich oft geworfen] = 0, p ∈ [0, 1).

2.4.3. Lebesguemaß in Rd, d = 1, 2, . . .

λ(A) = Vol(A) = |A|, A ∈ B(Rd) (Borelsche σ-Algebra).

λ ist kein Wahrscheinlichkeitsmaß.


2.5. Satz von Vitali

Pot(Ω) ist in uberabzahlbaren Stichprobenraumen Ω i.allg. als σ-

Algebra ungeeignet. Begrundung: Widerspruch bei der Konstruktion

eines vernunftigen W’maßes (fur ∞-fachen, unabhangigen, fairen

Munzwurf).

2.6. W’maße mit einer Dichte bzgl. des Lebesguemaßes

f :Rd→ [0,∞) meßbar,∫

Rddx f(x)=1 (Wahrscheinlichkeitsdichte);

P[A] =∫A dx f(x), A ∈ B(Rd).

• Normalverteilung (f(x) = exp(−(x− µ)2/(2σ2))/√

2πσ2).

• Exponentialverteilung (f(x) = I[0,∞)(x)λ exp(−λx)),

• Gleichverteilung auf G (beschrankt) (f(x) = IG(x)Vol(G)−1),

• Cauchy-Verteilung (f(x) = a/(π(a2 + x2))),

• Gamma-Verteilung (f(x)=I[0,∞)(x)(αr/Γ(r))xr−1 exp(−αx)),

• χ2n-Verteilung (Gamma-Verteilung mit α = 1/2 und r = n/2).

2.6.1.”Anwendung“ der Gleichverteilung

Nicht jede sinnvoll klingende”Anwendung“ der Mathematik ist ver-

nunftig !!

2.7. Poisson-Approximation der Binomialverteilung

Sei pn, n ∈ N, eine Folge in (0, 1) mit limn→∞ npn = λ ∈ (0,∞).

=⇒ limn→∞

B(n, pn)[k] =λk

k!e−λ = P (λ)[k], k = 0, 1, ...


2.7.1. Anwendung der Poisson-Approximation

Bedeutung der Poissonverteilung in Anwendungen basiert auf der

Poisson-Approximation der Binomialverteilung.

Beispiele: Modellierung der Anzahl der Zerfalle eines radioaktiven

Praparats (Anfragen an einen E-Mail-Server) in einem festen Zeit-

intervall, der Anzahl der Sterne in einem homogenen Bereich des

Weltraums, . . .

3. Zufallsvariablen

ZV’en dienen der Modellierung “zufalliger Beobachtungsgroßen“.

(Ω,F), (Ω′,F′) meßbare Raume. X : (Ω,F) → (Ω′,F′) mit

X−1(A′) = ω ∈ Ω : X(ω) ∈ A′ = X ∈ A′ ∈ F, A′ ∈ F′,

heißt meßbar.

(Ω,F,P) Wahrscheinlichkeitsraum, (Ω′,F′) meßbarer Raum.

Eine meßbare Funkt. X : (Ω,F,P)→ (Ω′,F′) heißt Zufallsvariable.

• Ω abzahlbar, F = Pot(Ω): Alle Funktionen auf Ω sind meßbar.

• Ω′ abzahlbar, F′ = Pot(Ω′): Falls X−1(ω′) ∈ F, ω′ ∈ Ω′, ist

X meßbar. X ist dann eine diskrete meßbare Funktion.

• Die Meßbarkeit einer Funktion X : (Ω,F) → (Ω′,F′) geht ver-

loren, wenn F zu klein ist.


3.1. Verteilung von Zufallsvariablen

Die Verteilung einer ZV X : (Ω,F,P) → (Ω′,F′) ist definiert durch

PX [A′] = P[ω ∈ Ω : X(ω) ∈ A′] = P[X ∈ A′], A′ ∈ F′.

• PX ist ein Wahrscheinlichkeitsmaß auf (Ω′,F′).

• Ω′ hochstens abzahlbar, F′ = Pot(Ω′).

PX [A′] =∑

a∈A′ PX [a], A′ ∈ F′,

d.h., PX ist eindeutig durch PX [a], a ∈ Ω′, bestimmt.

• Beispiel: Beliebig oft unabhangig wiederholtes, identisches”Ex-

periment“ mit Ausgangen”Erfolg“, bzw.

”Mißerfolg“.

Der Zeitpunkt des ersten Erfolgs ist geometrisch verteilt.

3.1.1. Konstruktion und Simulation diskreter ZV’en

Eine N-wertige Zufallsvariable mit vorgegebener Verteilung µ =

(µn)n∈N ist zu konstruieren.

• Sei (Ω,F,P)=(N,Pot(N), µ); X(ω) = ω, ω∈Ω =⇒ PX = µ.

• (Ω,F,P) = ([0, 1],B([0, 1]), λ[0,1]);

X1(ω) = n, ω ∈[∑n−1

k=1 µk,∑n

k=1 µk), n ∈ N =⇒ PX1 = µ.

• Simulation von unabhangigen N-wertigen ZV’en mit gegebener

Verteilung µ = (µn)n∈N: X1(x1), X1(x2), . . .

(x1, x2, . . . Folge von”unabhangigen“, in [0, 1]

”gleichverteilten“

Pseudozufallszahlen.)

Es gibt qualitativ unterschiedliche Zufallsgeneratoren!


3.2. Familien v. ZV’en u. deren gemeinsame Verteilung

”Abhangigkeiten“ zwischen Zufallsvariablen werden durch deren ge-

meinsame Verteilung beschrieben.

Seien (Ω,F,P) ein W’raum und (Ω′λ,F

′λ), λ ∈ Λ, meßbare Raume.

Xλ : (Ω,F,P) → (Ω′λ,F

′λ), λ ∈ Λ, seien Zufallsvariablen.

• Die gemeinsame Verteilung der Xλ, λ ∈ Λ, ist durch

P[Xλ1 ∈ A′λ1, . . . , Xλn ∈ A′

λn],

λ1, . . . , λn ⊆ Λ, A′λ1

∈ F′λ1, . . . , A′

λn∈ F′

λn, n ∈ N,

charakterisiert.

• Die ZV’enXλ, λ ∈ Λ, heißen unabhangig, wenn die gemeinsame

Verteilung”faktorisiert“, d.h., wenn jeweils

P[Xλ1∈A′λ1, . . . , Xλn∈A′

λn] = P[Xλ1∈A′

λ1] · · ·P[Xλn∈A′

λn].

3.2.1. Gem. Verteilung endlich vieler diskreter ZV’en

Mk, k = 1, . . . , n, seien hochstens abzahlbar.

Xk : (Ω,F,P) → (Mk,Pot(Mk)), k = 1, . . . , n, seien ZV’en.

PX1,...,Xn[A′] := P[(X1, ..., Xn)∈A′] (Gemeinsame Verteilung)

=∑

(m1,...,mn)∈A′P[X1 =m1, ..., Xn=mn], A

′∈Pot(M1×...×Mn).

PX1,...,Xn ist ein W’maß auf (M1×. . .×Mn,Pot(M1×. . .×Mn)).


3.2.2. Unabhangige Zufallsvariablen mit einer Dichte

X1, . . . , XN unabhangige, reellwertige Zufallsvariablen.

Fur k = 1, . . . , N habe die Verteilung PXk die Dichte fk.

⇒ Gemeinsame Verteilung PX1,...,XN hat Dichte

(y1, . . . , yN) →∏Nk=1 fk(yk) auf (RN ,B(RN)).

Beispiel: Mehrdimensionale Normalverteilung.

3.2.3. Unabhangigkeit von Ereignissen

Ereignisse Aλ, λ ∈ Λ, in einem W’raum (Ω,F,P) sind unabhangig,

wenn P[⋂

λ∈∆Aλ

]=∏

λ∈∆ P[Aλ], ∆ ⊂ Λ, |∆| <∞.

Beachte: Paarweise Unabhangigkeit ; Unabhangigkeit.

3.2.4. Verteilung von Summen unabhangiger ZV’en

p = (pn)n∈Z, q = (qn)n∈Z =⇒ (p ∗ q)m :=∑∞

n=−∞ pnqm−n, m ∈ Z.

f , g W’dichten auf R =⇒ (f ∗g)(u) =∫∞−∞ dv f(v)g(u−v), u ∈ R.

p ∗ q (f ∗ g) ist die Faltung von p und q (f und g).

X , Y seien unabhangige, Z-wertige ZV’en. =⇒ PX+Y = PX ∗PY .

X , Y seien unabhangige, R-wertige ZV’en mit Dichte f , bzw. g.

=⇒ Dichte von X + Y ist f ∗ g.

Zusammenfassung (3. Juni 2015)

3.2.5. Gleichheitsbegriffe fur Zufallsvariablen

•X, Y : (Ω,F,P) → (Ω′,F′).

X = Y , f.s., falls P[X = Y ] = 1 (fast-sichere Gleichheit).

•X : (Ω,F,P) → (Ω′,F′), Y : (Ω1,F1,P1) → (Ω′,F′).

XL= Y (X

d= Y ), falls PX = PY

(Gleichheit in Verteilung, X und Y sind identisch verteilt).

3.3. Verteilungsfunktionen reellwertiger ZV’en

X reellwert. ZV. Verteilungsfunktion FX : R→ [0, 1] definiert durch

FX(y) = P[X ≤ y] = PX [(−∞, y]], y ∈ R.

3.3.1. Eigenschaften von Verteilungsfunktionen

• PX

[(a, b]

]= FX(b) − FX(a), −∞ < a < b <∞.

=⇒ Verteilung PX ist durch FX eindeutig bestimmt.

• FX ist monoton wachsend.

• limy→−∞FX(y) = 0, limy→∞FX(y) = 1.

• FX ist rechtsstetig und besitzt linksseitige Grenzwerte.

• a ∈ R ein Atom von PX ⇐⇒ FX hat Sprung in a.

Es gilt: FX(a) − limyրa FX(y) = P[X = a] = PX [a].• PX habe eine Dichte f bzgl. des Lebesguemaßes auf R.

=⇒ FX(y) =∫ y−∞ dz f(z), y ∈ R.

Allg.: FX differenzierbar mit F ′X =f ⇐⇒ PX hat Dichte f .


3.3.2. Beispiele fur Verteilungsfunktionen

• . . .

• Dichtetransformation:X reellwertige ZV mit stetiger Dichte ψ.

H ∈ C1(R), H ′ > 0, limx→±∞H(x) = ±∞.

=⇒ H(X) besitzt die Dichte ψH(.) = ψ(H−1(.))/H ′(H−1(.)).

Beispiel: α > 0, β ∈ R.

ψα,β(y) = (1/α)ψ((y − β)/α), y ∈ R, Dichte der ZV αX + β.

3.3.3. Simulation einer Folge von i.i.d. ZV’en mit Dichte

µ W’maß auf R mit Dichte f > 0, d.h., Fµ stetig, invertierbar.

x1, x2, ... ”unabh. in (0, 1) gleichverteilte“ Pseudozufallszahlen.

=⇒ F−1µ (x1), F

−1µ (x2), . . . simulieren i.i.d. ZV’en mit Verteilung µ

(Inversionsmethode).

3.3.4. Quantile reellwertiger Zufallsvariablen

Sei X eine (R,B(R))-wertige ZV, α ∈ (0, 1). q ∈ R mit

P[X ≤ q] ≥ α, P[X ≥ q] ≥ 1 − α

ist ein α-Quantil von X .

Ein Median ist ein (1/2)-Quantil (”mittlerer Wert von X“).

FX streng monoton steigend =⇒ Quantile sind eindeutig.

I. allg. brauchen Quantile nicht eindeutig zu sein.


qα := infy ∈ R : P[X ≤ y] ≥ α

ist das kleinste α-Quantil.

3.4. Stochastische Prozesse

(Ω,F,P) W’raum, (Ω′,F′) meßbarer Raum, T ⊆ R (”Zeitpunkte“).

Xt : (Ω,F,P)→ (Ω′,F′), t ∈ T, seien ZV’en.

X = (Xt)t∈T stochastischer Prozeß mit Zustandsraum (Ω′,F′).

Verteilung von X , Verteilung von Xt : t ∈ T.• Bernoulli-Prozeß Y = (Yk)k∈N zum Parameter p ∈ [0, 1]:

Y1, Y2, . . . unabhangige, −1, 1-wertige Zufallsvariablen mit

P[Yk = −1] = 1 − p, P[Yk = 1] = p, k = 1, 2, . . . .


• Irrfahrt: X0 = 0; Xk = Xk−1 + Yk =∑k

r=1 Yr, k = 1, 2, . . . .

In jedem Zeitpunkt k ∈ N springt X = (Xk)k∈N0 auf Z mit

W’keit p nach rechts bzw. mit W’keit (1−p) nach links.

p = 1/2: Symmetrische Irrfahrt.

Irrfahrten sind einfach zu simulieren!

3.4.1. Stationare stochastische Prozesse

X=(Xk)k∈N0 ist stationar, wenn fur k1<. . .<kn, n∈N die gemein-

same Verteilung von Xk+k1, . . . , Xk+kn unabhangig von k∈N0 ist.

Ein Bernoulli-Prozeß ist stationar. Eine Irrfahrt ist nicht stationar.

3.5. W’raume und ZV’en in der Modellbildung

• Allgemeine W’raume als”Zufallsgeneratoren“ zur Konstrukti-

on der bei der Modellbildung benotigten Zufallsvariablen.

Ein Modell ist brauchbar, wenn”hinreichend viele“ Zufallsva-

riablen mit”vernunftigen“ Verteilungen zu Verfugung stehen.

• Spezielle W’raume zur Beschreibung und Untersuchung der

gemeinsamen Verteilung von ZV’en und in der Statistik.

4. Schatztheorie

Ziel: Schatzen unbekannter Parameter in Modellen zuf. Phanomene.

4.1. Statistische Modelle (X,G, (Pλ)λ∈Λ)

• (X,G) meßbarer Raum (X mogl. Beobachtungswerte, G Ereig-

nisse, auf denen statistische Entscheidungen aufbauen).

• Pλ, λ ∈ Λ, Familie von Wahrscheinlichkeitsmaßen auf (X,G)

(mogliche W’verteilungen der Beobachtungswerte).

Statistisches Modell als”Arbeitsumfeld“ in der Statistik.

• Diskretes statistisches Modell: X abzahlbar, G = Pot(X).

• Kontinuierliches statistisches Modell: X ∈ B(Rn), G = B(X),

Pλ besitzt eine Dichte ρλ fur alle λ ∈ Λ.

Eine Statistik S ist eine meßbare Abbildung auf (X,G) (Entschei-

dungsverfahren).

4.2. Maximum-Likelihood-Schatzer λ fur unbekannten Pa-

rameter λ zum Beobachtungswert x ∈ X.

Idee: λ ist plausibelster Parameter.

• Diskretes statistisches Modell: Pλ[x] = supλ∈Λ Pλ[x].• Kontinuierliches statistisches Modell: ρλ(x) = supλ∈Λ ρλ(x).

Likelihood-Funktion zum Beobachtungswert x ∈ X:

Λ ∋ λ→ Lx(λ) =

Pλ[x] (diskretes statistisches Modell),

ρλ(x) (kontinuierliches stat. Modell).

Log-Likelihood-Funktion: Λ ∋ λ→ ℓx(λ) = logLx(λ).

Fur x ∈ X ist genau dann Lx in λ maximal, wenn ℓx maximal ist.


• Beispiel:

Vorgegebene Eingaben eines linearen Systems: x1, . . . , xn.

Beobachtete Ausgaben: yk = α + βxk + zk, k = 1, . . . , n.

z1, . . . , zn Rauschen (Realisierungen unabhangiger N(0, σ2)-ver-

teilter ZV’en).

(α, β) Maximum-Likelihood-Schatzer fur (α, β) zur Beobach-

tung (y1, . . . , yn). β empirischer Regressionskoeffizient.

Regressionsgerade: R ∋ x→ α + βx.


• Taxiproblem: Maximum-Likelihood-Sch. kann unbefriedigend

sein. Es gibt Kriterien zur Qualitatsbewertung von Schatzern.

4.3. Konfidenzbereiche

(X,G, (Pλ)λ∈Λ) statistisches Modell, α ∈ (0, 1).

Eine Abbildung X ∋ x → C(x) ⊆ Λ heißt Konfidenzbereich zum

Irrtumsniveau α, wenn

supλ∈Λ

Pλ[x ∈ X : C(x) 6∋ λ] ≤ α.

Sprechweise:”Fur jede Beobachtung x liegt mit einer Sicherheit

(!! nicht Wahrscheinlichkeit !!) von mindestens (1 − α) · 100% der

(wahre) Parameter λ in C(x)“.

• C(.) ist klein zu wahlen, wenn der”Erkenntnisgewinn“ groß sein

soll.

• Unterschiedliche Zielsetzungen beeinflussen die Wahl der Konfi-

denzbereiche.

• Berechnung von Konfidenzintervallen.

– Spezielle Methode mit Hilfe von Quantilen.

– Allgemeine Methode basierend auf der Cebysev’schen Un-

gleichung (nichtoptimale Konfidenzintervalle).


5. Laplacesche Wahrscheinlichkeitsraume

und Kombinatorik

Ω endlich, F = Pot(Ω), P[ω] = |Ω|−1, ω ∈ Ω.

”Alle Elemente von Ω sind gleichwahrscheinlich“.

Losung von Abzahlproblemen zur Bestimmung von Wahrscheinlich-

keiten P[A] = |A|/|Ω|, A ∈ F.

5.1. Urnenmodelle (Hilfsmittel fur Abzahlprobleme)

Urne mit N unterscheidbaren Kugeln, n Ziehungen.

Ziehungsvarianten:

(U1) Ziehung mit Zurucklegen, Reihenfolge berucksichtigt.

(U2) Ziehung ohne Zurucklegen, Reihenfolge berucksichtigt.

(U3) Ziehung mit Zurucklegen, Reihenfolge unberucksichtigt.

(U4) Ziehung ohne Zurucklegen, Reihenfolge unberucksichtigt.

Wk(N, n) mogliche Ziehungsresultate fur (Uk), k = 1, . . . , 4.

5.1.1. Darstellung der Mengen Wk(N,n), k = 1, . . . , 4

W1(N,n) , 1, . . . , Nn= (w1, . . . , wn) : w1, . . . , wn = 1, . . . , N,

W2(N,n) , w ∈ W1(N,n) : wi 6= wj, i 6= j,W3(N,n) , w ∈ W1(N,n) : 1≤w1≤w2≤ . . .≤wn≤N,W4(N,n) , w ∈ W1(N,n) : 1≤w1<w2<. . .<wn≤N.(wi , Resultat der i-ten Ziehung; bei W3(N,n) und W4(N,n) evtl.

Umordnung der”Ziehungszeitpunkte“)

5.1.2. Berechnung von |Wk(N, n)|, k = 1, . . . , 4

|W1(N,n)| = Nn, |W2(N,n)| = N !/(N − n)!,

|W3(N,n)| =(N+n−1

n

), |W4(N,n)| =

(Nn

).


5.2. Anwendungen von Urnenmodellen

• W’keit fur 2 Buben im Skat = |W4(4, 2)|/|W4(32, 2)|.• W’keit, daß von M Pers. 2 am gleichen Tag Geburtstag haben

= 1 − |W2(365,M)||W1(365,M)| ≥ 1 − exp

(−M(M−1)

730

).

• Wahrscheinlichkeit fur r Richtige beim Zahlenlotto”6 aus 49“

= |W4(6,r)| |W4(43,6−r)||W4(49,6)| =

(6r)·(

436−r)

(496 )

.

• Warnung vor sorgloser Anwendung von Laplaceschen Modellen.

Einfuhrung einer kunstlichen Reihenfolge bei Ziehungen aus ei-

ner Urne kann hilfreich sein.

Zusammenfassung (1. Juli 2015)

5.3. Eine Alternative zu den Urnenmodellen

Verteilung von n”Murmeln“ auf N

”Zellen“.

Vier Varianten:

• Mehrfachbelegung der Zellen erlaubt / nicht erlaubt.

• Murmeln unterscheidbar / nicht unterscheidbar.

Aquivalenz zu entsprechenden Urnenmodellen.

5.4. Multinomialverteilung u. hypergeom. Verteilung

Multinomialverteilung Mn(N, q1, . . . , qn) mit Parametern

n,N ∈ N und q1, . . . , qn ∈ [0, 1], wobei∑n

k=1 qk = 1:

Ωn,N =ω = (ω1, . . . , ωn) :

ωk∈0, 1, ..., N, k=1, ..., n;∑n

k=1ωk=N,

Mn(N, q1, . . . , qn)[ω] =N !

ω1! . . . ωn!qω11 . . . qωnn , ω∈Ωn,N .

• Beispiel: Urne mit Kugeln der Farben 1, . . . , n.

Fur k = 1, . . . , n sei qk der Anteil der Kugeln der Farbe k.

N -maliges Ziehen mit Zurucklegen.

P[lk Kugeln der Farbe k, k = 1, . . . , n, werden gezogen]

= Mn(N, q1, . . . , qn)[(l1, . . . , ln)],l1, . . . , ln ∈ 0, 1, . . . , N, ∑n

k=1 lk = N.

Hypergeometrische Verteilung Hn,M(N,m1, ...,mn)

mit Parametern n,M,N ∈ N, m1, . . . ,mn ∈ 1, . . . ,Mmit n,N ≤M und

∑nk=1mk = M :

Ωm1,...,mnn,N =

ω = (ω1, ..., ωn) :

ωk ∈ 0, 1, ...,mk, k = 1, ..., n;∑n

k=1 ωk = N,

Hn,M(N,m1, ...,mn)[ω] =

(m1ω1

)(m2ω2

)...(mnωn

)(MN

) , ω ∈ Ωm1,...,mnn,N .

• Beispiel: Urne mit Kugeln der Farben 1, . . . , n.

Fur k = 1, . . . , n sei mk die Anzahl der Kugeln der Farbe k.

Beim N -maligen Ziehen ohne Zurucklegen ist Farbverteilung

durch Hn,M(N,m1, ...,mn) bestimmt.

• Bsp.: Multinomialapproximation der hypergeom. Verteilung.

6. Erwartungswert und Varianz

6.1. Erwartungswert fur diskrete Zufallsvariablen

X : (Ω,F,P) → (R,B(R)) diskret, d.h.X(Ω) hochstens abzahlbar.

•X ist integrabel, wenn∑

x∈X(Ω) |x|P[X = x] <∞.

• Fur integrable Zufallsvariablen definiert

(∗) E[X ] :=∑

x∈X(Ω) xP[X = x]

den Erwartungswert von X .

• Fur positive Zufallsvariablen kann durch (∗) immer ein Erwar-

tungswert definiert werden. Dieser kann ∞ sein.

•X ist integrabel ⇐⇒ E[|X|] <∞.


6.2. Eigenschaften der Abbildung X → E[X]

X , Y , Xk, Yk, k ∈ N, integrable, reellwertige Zufallsvariablen.

• Monotonie des Erwartungswerts:X≤Y , f.s. =⇒ E[X ]≤E[Y ].

• Linearitat des Erwartungswerts: Sei c ∈ R.

cX , X + Y sind integrabel mit

– E[cX ] = cE[X ],

– E[X + Y ] = E[X ] + E[Y ].

• σ-Additivitat des Erwartungswerts:

Xk ≥ 0, f.s., k ∈ N; X =∑∞

k=1Xk =⇒ E[X ] =∑∞

k=1 E[Xk].

Satz von der monotonen Konvergenz:

Yk ր Y , f.s. =⇒ E[Y ] = limk→∞ E[Yk].

• Produktregel fur unabhangige Zufallsvariablen:

X, Y unabhangig. =⇒ XY integrabel, E[XY ] = E[X ]E[Y ].

• Normierung: Sei X = 1, f.s. =⇒ E[X ] = 1.

6.3. Erwartungswert fur allgemeine, reellwertige ZV’en

• Bestimmung von E[X ] mit Hilfe diskreter Approximationen.

Sei X(m)(ω) = ⌊mX(ω)⌋/m, ω∈Ω, m∈N.

(a) X(n) ≤ X ≤ X(n) + n−1.

(b) X(n0) sei integrabel.

=⇒ alle X(n) sind integrabel;

E[X(n)], n ∈ N, ist Cauchy-Folge.

• Definition: X integrabel, wenn ein X(n) integrabel ist.

• Definition: E[X ] := limn→∞ E[X(n)] fur integrable ZV X .

• Eigenschaften in 6.2 gelten fur beliebige integrable ZV’en.

• E[ . ] ist abstraktes Integral:

E[X ] =:∫

ΩX(ω)P(dω) =:∫XdP.

• PX habe Dichte f bzgl. des Lebesguemaßes. H sei meßbar.

X ist integrabel, falls∫

Rdx |x|f(x) <∞,

H(X) ist integrabel, falls∫

Rdx |H(x)|f(x) <∞,

E[X ] =∫

Rdx xf(x), E[H(X)] =

∫Rdx H(x)f(x).


•X ≥ 0 =⇒ E[X ] ∈ [0,∞] ist wohldefiniert.

•X = X+ −X− (Zerlegung in Positiv- und Negativteil).

E[X ] := E[X+]−E[X−], wenn E[X+] <∞ oder E[X−] <∞.

E[X ] existiert nicht, wenn E[X+] = E[X−] = ∞.

•X ist integrabel ⇐⇒ E[|X|] = E[X+] + E[X−] <∞.

6.4. Varianz und verwandte Begriffe

• Sei p ∈ N.

Falls E[Xp] existiert, heißt E[Xp] das p-te Moment von X .

p-tes Moment von X ist endlich, falls |X|p integrabel ist.

• E[|X|p] <∞ =⇒ E[|X|r] <∞, 1 ≤ r < p.

• Lp(Ω,F,P) := Y : (Ω,F,P) → (R,B(R)) : E[|Y |p] <∞ist ein Banachraum mit der Norm ‖Y ‖p := (E[|Y |p])1/p.L2(...) ist Hilbertraum mit Skalarprodukt 〈Y, Z〉 :=E[YZ].

• Varianz: Var(X) := E[(X − E[X ])2] = E[X2] − E[X ]2.

(Starke der Fluktuationen von X um”typischen“ Wert E[X ])

• Cauchysche Ungleichung: E[X ]2 ≤ E[X2].

• Standardabweichung: σX =√

Var(X).

• Kovarianz:

Cov(X, Y ) :=E[(X−E[X ])(Y −E[Y ])]=E[XY ]−E[X ]E[Y ].

• Korrelation: ρ(X,Y ) := Cov(X,Y )/(σXσY ) ∈ [−1, 1].

(ρ(X,Y )> 0 (bzw. < 0), wenn”typischerweise“ X−E[X ] und

Y −E[Y ] gleiches (entgegengesetztes) Vorzeichen besitzen.)

•X1, . . . , Xd seien R-wertige Zufallsvariablen.

(Cov(Xi, Xj))i,j=1,...,d ist die Kovarianzmatrix.

•X ,Y unabhangig, X, Y ∈ L2(. . . )

⇒ X ,Y unkorreliert, d.h., Cov(X, Y ) = 0.

X ,Y unkorreliert ; X ,Y unabhangig.


6.4.1. Rechenregeln fur Varianz und Kovarianz

• Cov(aX + b, cY + d) = ac Cov(X,Y ), a, b, c, d ∈ R,

Var(aX + b) = a2 Var(X).

• Var(X1 + · · ·+Xn) =n∑

k=1

Var(Xk) +∑

k,l=1,...,n; k 6=lCov(Xk, Xl).

Fur unkorrelierte ZV’en addieren sich die Varianzen.

• Cov(X, Y )2 ≤ Var(X) Var(Y ).

• |ρX,Y | ≤ 1.

6.5. Beispiele zum Erwartungswert und zur Varianz

•X habe Exponentialverteilung mit Parameter λ > 0.

⇒ E[X ] = 1/λ, E[X2] = 2/λ2, Var(X) = 1/λ2.

•X habe Cauchy-Verteilung.

⇒ E[X ] existiert nicht, E[X2] = ∞.

•X habe Normalverteilung mit Parameter µ ∈ R und σ2 > 0.

⇒ Alle Momente existieren,

E[X ] = µ, Var(X) = σ2, E[X2] = σ2 + µ2.

6.6. Erwartungstreue Schatzer

(X,G, (Pλ)λ∈Λ) statistisches Modell mit Λ ∈ B(R).

T : (X,G) → (R,B(R)) sei Schatzer fur λ.

• Bias von T : bλ(T ) := Eλ[T ] − λ, λ ∈ Λ

(”Systematischer“ Fehler des Schatzers T ).

• T heißt erwartungstreu, wenn bλ(T ) = 0, λ ∈ Λ.

• Maximum-Likelihood-Sch. braucht nicht erwartungstreu zu sein.

• Erwartungstreuer Schatzer braucht nicht zu existieren.

•X1, . . . , XN i.i.d. ZV’en mit Erwartungswert µ und Varianz σ2.

µ := N−1∑N

k=1Xk und σ2 := (N − 1)−1∑N

k=1(Xk − µ)2

sind erwartungstreue Schatzer fur µ, bzw. σ2.


6.6.1. Mittlerer quadratischer Fehler eines Schatzers

(X,G, (Pλ)λ∈Λ) diskretes statistisches Modell, Λ ⊆ R Intervall.

Sei T eine Statistik zur Schatzung von λ.

• Mittl. quadratischer Fehler von T : s2λ(T ) := Eλ[(T−λ)2], λ∈Λ.

• Informationsungleichung fur erwartungstreuen Schatzer T :

Eλ[(T − λ)2] = Varλ(T ) ≥ I(λ)−1, λ ∈ Λ,

I(λ) = Eλ[ℓ′.(λ)2] =

∑x∈X ℓ

′x(λ)2Pλ[x] Fisher-Information

(Λ ∋ λ→ ℓx(λ) Log-Likelihood-Funktion zur Beobachtung x).

6.7. Elementare Ungleichungen in der W’theorie

Sei X eine reellwertige Zufallsvariable.

• Markov-Ungleichung. Sei f : [0,∞) → [0,∞) monoton wach-

send mit f(x) > 0 fur x > 0. Dann gilt:

P[|X| ≥ ǫ] ≤ E[f(|X|)]f(ǫ)

, ǫ > 0.

• Cebysev-Ungleichung: P[|X| ≥ ǫ] ≤ E[X2]

ǫ2, ǫ > 0.

6.8. Konvergenzbegriffe in der W’theorie

• Stochastische Konvergenz

(Konvergenz in W’keit; Anwendung: Schwaches GGZ).

P[|Xn −X| > ǫ]n→∞→ 0, ǫ > 0 ⇐⇒: Xn

P→ X .

• Fast-sichere Konvergenz (Anwendung: Starkes GGZ).

P[limn→∞Xn = X ] = 1 ⇐⇒: Xnf.s.→ X .

• Konvergenz in Verteilung (Anwendung: ZGWS).

limn→∞ E[h(Xn)]=E[h(X)], h ∈ Cb(R) ⇐⇒: Xnd→ X .

• Aquivalente Aussagen:

–Xnd→ X .

– limn→∞FXn(y) = FX(y), y ∈ R, FX stetig in y.

– limn→∞ψXn(y) = ψX(y), y ∈ R.

(FY Verteilungsfunktion, ψY mit ψY (z) = E[exp(izY )]

charakteristische Funktion einer Zufallsvariable Y )

•Xnf.s.→ X =⇒ Xn

P→ X =⇒ Xnd→ X .

7. Gesetz der großen Zahlen

7.1. Ein schwaches Gesetz der großen Zahlen

•Xk, k ∈ N, Folge von unkorrelierten, reellwertigen ZV’en in

L2(Ω,F,P) mit E[Xk] = µ, k ∈ N, und supk∈N Var(Xk) <∞.

=⇒ P[∣∣(1/N)

∑Nk=1Xk − µ

∣∣ ≥ ǫ] N→∞→ 0, ǫ > 0.

• Unter obigen Bedingungen gilt auch das starke GGZ:

limN→∞(1/N)∑N

k=1Xk = µ, f.s.


7.2. Anwendungen des schwachen GGZ

7.2.1. Monte-Carlo-Integration h : [0, 1]→R meßb., beschr.

=⇒ (1/N)∑N

k=1 h(Xk)P→∫ 1

0 dx h(x)

(X1, X2, . . . unabhangig, gleichverteilt auf [0, 1]).

• Starkes GGZ: (1/N)∑N

k=1 h(Xk)f.s.→∫ 1

0 dx h(x).

• Konvergenzgeschwindigkeit:

(1/N)∑N

k=1 h(Xk) −∫ 1

0 dx h(x) = O(N−1/2).

• MC-Integration sinnvoll bei irregularen Integranden h.

7.2.2. Bernstein-Polynome u.Approx.satz v.Weierstraß

f : [0, 1] → R stetig; Bernstein-Polynome:

fN(p) = E[f((1/N)∑N

n=1Xpn)] =

∑Nk=0 f(k/N)

(Nk

)pk(1 − p)N−k

(Xp1 , X

p2 , . . . i.i.d., 0, 1-wertig mit Bernoulli-Verteilung zum Pa-

rameter p ∈ [0, 1]).

=⇒ limN→∞ supp∈[0,1] |fN(p) − f(p)| = 0.

8. Bedingte Wahrscheinlichkeiten

• P[A|B] W’keit f. A unter d. Bedingung, daß B eingetreten ist.

• P[A|B] 6= P[A], falls A und B nicht unabhangig sind.

8.1. Bestimmung bedingter Wahrscheinlichkeiten

(Ω,F,P) ein Wahrscheinlichkeitsraum, B ∈ F mit P[B] > 0.

Bedingte Wahrscheinlichkeit P[ . |B] ist W’maß auf (Ω,F) mit

P[A|B] =P[A ∩B]

P[B], A ∈ F

(Bestatigung durch ein Beispiel und durch allgemeine Uberlegung).

• Beispiel: T gedachtnislose Wartezeit in kontinuierlicher Zeit,

d.h., P[T > t + s|T > t] = P[T > s], 0 < s, t <∞.

=⇒ T ist exponentiell verteilt.

8.1.1. Rechenregeln fur bedingte Wahrscheinlichkeiten

Ω =•⋃j∈IBj abzahlbare Zerlegung von Ω. P[Bj] > 0, j ∈ I .

• Fallunterscheidungsformel.

P[A] =∑

j∈IP[Bj]P[A|Bj], A ∈ F.

• Formel von Bayes.

P[Bk|A] =P[Bk]P[A|Bk]

P[A]=

P[Bk]P[A|Bk]∑j∈I P[Bj]P[A|Bj]

,

k ∈ I, A ∈ F, P[A] > 0.

• Anwendung: Bewertung eines medizin. Diagnoseverfahrens.


9. Zentraler Grenzwertsatz

Ziel: Prazisierung des GGZ fur i.i.d. ZV’en in L2(Ω,F,P) mit pos.

Varianz. Charakterisierung der Konvergenzgeschwindigkeit.

9.1. Konvergenzgeschwindigkeit beim GGZ

Xn, n ∈ N, i.i.d., 0, 1-wertig, P[Xn = 0] = P[Xn = 1] = 1/2.

P

[∣∣∣∣∣1

N

N∑

k=1

Xk −1

2

∣∣∣∣∣ ≤ αN

]N→∞→

1, falls αN√N → ∞,

0, falls αN√N → 0.

=⇒ Fur√N(

1N

∑Nk=1Xk− 1

2

)wird nichttrivialer Limes bei N → ∞

erwartet.

9.2. Eigenschaften charakteristischer Funktionen

ψX(z)=E[exp(izX)]=∫

RPX(dx) exp(izx), z∈R, X reellw. ZV.

•X , Y unabhangig =⇒ ψX+Y = ψX · ψY .

• E[|X|2] <∞ =⇒ ψX ∈ C2b (R),

ψX(z) = 1 + izE[X ] − z2E[X2]/2 + o(|z|2), bei |z| → 0.

• a, b ∈ R =⇒ ψaX+b(z) = exp(izb)ψX(az), z ∈ R.

• PX = N(0, 1) =⇒ ψX(z) = exp(−z2/2), z ∈ R.

• ψX=ψY ⇔ PX =PY (Eindeutigkeit charakteristischer Fktn.)

9.3. Zentraler Grenzwertsatz fur i.i.d. Zufallsvariablen

Xn, n∈N, i.i.d. R-wertige ZV’en. E[X1]=µ, Var(X1)=σ2∈ (0,∞).

=⇒√N

σ2

(1

N

N∑

k=1

Xk − µ

)d→ X mit PX = N(0, 1).

• Kurzer Beweis des ZGWS durch Verwendung charakteristischer

Funktionen.

• ZGWS ist ein zentrales Resultat der Mathematik und ihrer An-

wendungen.

Documents

1. Einleitung und Uberblick¨ Wahrscheinlichkeitstheorie … · Zusammenfassung (15. April 2015) 1. Einleitung und Uberblick¨ Stochastik: Lehre von den math. Gesetzm¨aßigkeiten