Linear Systems and Least Squares - mia.uni-saarland.de · Methode der kleinsten Quadrate Zu einer Datenpunktwolke eine Kurve möglichst nahe an den Datenpunkten. In der Stochastik

18. November 2015 1

Linear Systems and Least Squares

Vortragender: Gelin Jiofack Nguedong Betreuer: Prof. Dr. Joachim Weickert

Proseminar: Matrixmethoden in Datenanalyse und MustererkennungWintersemester 2015/2016

18. November 2015 2

ÜbersichtGaußsches EliminationsverfahrenKonditionBandmatrixMethode der kleinsten QuadrateLiteraturverzeichnis

18. November 2015 3


18. November 2015 4

Gaußsches Eliminationsverfahren

Carl Friedrich Gauß

Algorithmus aus den mathematischen Teilgebieten der linearen Algebra und der Numerik.

18. November 2015 5

BeispielPivotierungLR-ZerlegungCholesky-Zerlegung


18. November 2015 6

BeispielLineares Gleichungssystem Ax=b mit drei Gleichungen:

1. Vorwärtselimination,2. Rückwärtseinsetzen (Rücksubstitution).

Algorithmus zur Berechnung der Variablen xi:

18. November 2015 7

Beispiel

Zur besseren Übersichtlichkeit, erweiterte Koeffizientenmatrix

Hinweis: Kontrolle durch Zeilensumme

18. November 2015 8



18. November 2015 9

PivotierungIm Allgemeinen nicht ohne Zeilenvertauschungen durchführbar.

Ersetze 1 durch 0

Wie löse ich das???

Beispiel:

18. November 2015 10

Pivotierung

Ich weiß!!!





LR-ZerlegungLineares Gleichungssystem Ax=b mit LR-Zerlegung:

1. Zerlege A = L. R mit dem Gauß-Algorithmus2. Löse Ax = LRx = b in zwei Schritten:

● Löse Ly = b durch Vorwärtssubstitution● Löse Rx = y durch Rückwärtssubstitution

Aufwand: Beispiel:

das heißt





Cholesky-ZerlegungZerlegung einer symmetrischen positiv definiten Matrix in ein Produkt aus einer unteren Dreiecksmatrix und deren Transponierter.(LR-Zerlegung ohne Pivotierung)

Positiv definite Matrix

L untere Dreiecksmatrix mit Diagonalelemente = 1D Diagonalmatrix mit positiven Einträgen


Cholesky-ZerlegungMit und

Neue Formulierung der Cholesky-Zerlegung:

Gleichungssystem Ax=b effizient durch Vorwärts- und Rückwärtseinsetzen lösbar:Durch Vorwärtseinsetzen Lösung des LGSDurch anschließendes Rückwärtseinsetzen Lösung des LGS


Cholesky-ZerlegungBerechnungFormeln

Aufwand:


Cholesky-ZerlegungBeispiel:

mit

Durch Gleichsetzen der Matrixelemente folgt:

Schließlichund




Kondition Abhängigkeit der Lösung eines Problems von der Störung der Eingangsdaten.

Abschätzung der Kondition von Matrizen durch die größtmögliche Verzerrung der Einheitskugel

Vektoren ungleich 0 und auf die Null abgebildet, dann =∞. κ Für reguläre Matrizen unter Verwendung der natürlichen Matrixnorm:


KonditionInterpretation:

Konditionszahl deutlich größer als 1 => κ schlecht konditioniertes Problem Sonst, gut konditioniertes ProblemKonditionszahl unendlich => schlecht gestelltes Problem




BandmatrixMatrix mit bestimmter Anzahl Nebendiagonalen Elemente ungleich null neben der Hauptdiagonalen

A Bandmatrix der Bandbreite w = p + q + 1, wenn für aij gilt:


BandmatrixTridiagonalmatrix

quadratische Matrix mit Hauptdiagonalen und zwei Nebendiagonalen Einträgen unglich null. (mit p = q = 1)




Methode der kleinsten QuadrateZu einer Datenpunktwolke eine Kurve möglichst nahe an den Datenpunkten.In der Stochastik als Schätzmethode in der Regressionsanalyse.

Beispiel:




Literaturverzeichnis

Lars Elden: Matrix Methods in Data Mining and Pattern Recognition.

SIAM, Philadelpia, 2007.WikipediaMathepedia

https://www.wiwiweb.de/statistik/zeitreihenan/zeitverfahre/kleinstequad.html

https://www.wiwiweb.de/statistik/zeitreihenan/zeitverfahre/kleinstequad.html


Vielen Dank fur dieAufmerksamkeit

Documents

Linear Systems and Least Squares - mia.uni-saarland.de · Methode der kleinsten Quadrate Zu einer Datenpunktwolke eine Kurve möglichst nahe an den Datenpunkten. In der Stochastik