4. Markov-Ketten 4.1. Übergangsmatrizen 4.2. Grenzverhalten irreduzibler Markov-Ketten 4.3. Gewinnwahrscheinlichkeiten 4.4. Beispiel „Ruin der Spieler“ 4.5. Anwendungen

Endliche Markov-Ketten

Der Aktienkurs der ZB-Aktie zeige das folgendeetwas merkwürdige Verhalten:

- Wenn der Kurs heute gegenüber gestern gestiegen ist, dann steigt er morgen ebenfalls mit der Wahr- scheinlichkeit 2/3 und fällt morgen mit der Wahr- scheinlichkeit 1/3 (gegenüber heute).

- Ist jedoch der Kurs heute gegenüber gestern gefallen, dann fällt er morgen ebenfalls mit der Wahr- scheinlichkeit 3/4 und steigt morgen mit der Wahr- scheinlichkeit 1/4 (gegenüber heute).

Wir versehen jeden Tag mit einem Plus (+) oder mit einemMinus (-) je nachdem, ob der Kurs an diesem Tag gegenüberdem Vortag gestiegen oder gefallen ist.

Dann hängt die Prognose dafür, ob der Kurs morgen gegenüber heute steigt oder fällt, nur davon ab, ob die Aktie heute mit einem + oder mit einem – versehen ist.

+ -

+ +- -2/3 1/3 1/4 3/4

+ -1/3

1/4

Problem 1Problem 1: Wie groß ist die Wahrscheinlichkeit, in 10 Tageneinen Minus-Tag zu haben, wenn heute ein Plus-Tag ist?

Problem 2Problem 2: Wie entwickelt sich die Wahrscheinlichkeit, in n Tageneinen Minus-Tag zu haben, wenn heute ein Plus-Tag ist,für großes n? Strebt diese Wahrscheinlichkeit für n →∞gegen einen festen Wert? Was passiert, wenn man voneinem Minus-Tag aus startet?

Das stochastische Verhalten einer Markov-Kette wirdvollständig bestimmt durch

- die ÜbergangsmatrixÜbergangsmatrix P

und

- den AnfangsvektorAnfangsvektor π

Die Eingänge der nten Potenz der Übergangsmatrix sind die Übergangswahrscheinlichkeiten in n Schritten.

Berechnung der nten Potenz von P mit Mitteln der Linearen AlgebraLinearen Algebra (Eigenwerte und Eigenvektoren).

2

3

11/4

1/2

3/4

1/2

1

Grenzverhalten von Markov-Ketten

Falls die Markov-Kette irreduzibelirreduzibel ist (d. h. es gibt eineZahl N, so dass jeder Zustand von jedem Zustand ausin N Schritten erreichbar ist):

Die Wahrscheinlichkeiten in n Schritten vom Zustand i auszum Zustand j zu gelangen konvergieren für n →∞ gegeneine von i unabhängigen Wert αj . Der Vektor α ist der einzige Wahrscheinlichkeitsvektor, der der Gleichung

α P = α

genügt.

Die Maus in der Wohnung!Sie geht jeweils von einem Zimmer zu einem zufälligen Nachbarzimmer.Wie groß ist ihre Gewinnchance ?

5 4

KATZE

Verlustzustand

1

MAUS

Startzustand

2 3

KÄSE

Gewinnzustand

(Vorlesung Prof. Bandt)

Mittelwertsregel für Gewinnwahrscheinlichkeiten

gi: Wahrscheinlichkeit zu gewinnen, wenn man von i aus startet

gi = ∑ pij gjj = 1

kMittelwertsregel

1 2 3

5 4

1/2

1/2

1/2

1/31/2

1/31/3

0 1 2 ........ m-1 p p p p

q q q q

m

Zwei Spieler A und BKapital von A: aKapital von B: bGesamtkapital: m = a + b

Berechnung der GewinnwahrscheinlichkeitenGewinnwahrscheinlichkeiten für A und für B

0 1 2 ........ p p p p

q q q q q

m ........

„Ruin des Spielers“

Berechnung der „Ruin-WahrscheinlichkeitRuin-Wahrscheinlichkeit“ für A

Erneuerung von Geräten(Kartenhaus-Prozess)

N

Berechnung der Erneuerungswahrscheinlichkeitfür n → ∞

ErneuerungssatzErneuerungssatz

Anwendungen von Markov-Ketten

Warteschlangen-Modelle

Lagerhaltung

Krankenstand in einem Betrieb

und viele weitere ….

III. Induktive Statistik

1. Schätztheorie 1.1. Grundbegriffe, Stichproben 1.2. Maximum-Likelihood-Schätzer 1.3. Erwartungstreue Schätzer 1.4. Konfidenzintervalle 1.5. Spezialfall Binomial-Verteilung

2. Spezialfall Normalverteilung 2.1. Student- und Chi-Quadrat-Verteilung 2.2. Konfidenzintervalle

3. Tests 3.1. Grundbegriffe 3.2. Tests einfacher Hypothesen (Neyman-Pearson-Test) 3.3. Tests zusammengesetzter Hypothesen 3.4. Vergleich zweier unabhängiger Stichproben 3.5. Chi-Quadrat-Tests 3.6. Kolmogorov-Smirnov-Test 3.7. Einfache Varianzanalyse

Beschreibende Statistik(= Deskriptive Statistik)Beschreibung von Datenmaterial

Schließenden Statistik(= Induktive Statistik)Analyse von Datenmaterial,Hypothesen, Prognosen

1. Semester

2.Semester

Wahrscheinlich-keitstheorie

1. Semester