18. November 2015 1
Linear Systems and Least Squares
Vortragender: Gelin Jiofack Nguedong Betreuer: Prof. Dr. Joachim Weickert
Proseminar: Matrixmethoden in Datenanalyse und MustererkennungWintersemester 2015/2016
18. November 2015 2
ÜbersichtGaußsches EliminationsverfahrenKonditionBandmatrixMethode der kleinsten QuadrateLiteraturverzeichnis
18. November 2015 3
ÜbersichtGaußsches EliminationsverfahrenKonditionBandmatrixMethode der kleinsten QuadrateLiteraturverzeichnis
18. November 2015 4
Gaußsches Eliminationsverfahren
Carl Friedrich Gauß
Algorithmus aus den mathematischen Teilgebieten der linearen Algebra und der Numerik.
18. November 2015 5
BeispielPivotierungLR-ZerlegungCholesky-Zerlegung
Gaußsches Eliminationsverfahren
18. November 2015 6
BeispielLineares Gleichungssystem Ax=b mit drei Gleichungen:
1. Vorwärtselimination,2. Rückwärtseinsetzen (Rücksubstitution).
Algorithmus zur Berechnung der Variablen xi:
18. November 2015 7
Beispiel
Zur besseren Übersichtlichkeit, erweiterte Koeffizientenmatrix
Hinweis: Kontrolle durch Zeilensumme
18. November 2015 8
BeispielPivotierungLR-ZerlegungCholesky-Zerlegung
Gaußsches Eliminationsverfahren
18. November 2015 9
PivotierungIm Allgemeinen nicht ohne Zeilenvertauschungen durchführbar.
Ersetze 1 durch 0
Wie löse ich das???
Beispiel:
18. November 2015 10
Pivotierung
Ich weiß!!!
18. November 2015 11
BeispielPivotierungLR-ZerlegungCholesky-Zerlegung
Gaußsches Eliminationsverfahren
18. November 2015 12
LR-ZerlegungLineares Gleichungssystem Ax=b mit LR-Zerlegung:
1. Zerlege A = L. R mit dem Gauß-Algorithmus2. Löse Ax = LRx = b in zwei Schritten:
● Löse Ly = b durch Vorwärtssubstitution● Löse Rx = y durch Rückwärtssubstitution
Aufwand: Beispiel:
das heißt
18. November 2015 13
BeispielPivotierungLR-ZerlegungCholesky-Zerlegung
Gaußsches Eliminationsverfahren
18. November 2015 14
Cholesky-ZerlegungZerlegung einer symmetrischen positiv definiten Matrix in ein Produkt aus einer unteren Dreiecksmatrix und deren Transponierter.(LR-Zerlegung ohne Pivotierung)
Positiv definite Matrix
L untere Dreiecksmatrix mit Diagonalelemente = 1D Diagonalmatrix mit positiven Einträgen
18. November 2015 15
Cholesky-ZerlegungMit und
Neue Formulierung der Cholesky-Zerlegung:
Gleichungssystem Ax=b effizient durch Vorwärts- und Rückwärtseinsetzen lösbar:Durch Vorwärtseinsetzen Lösung des LGSDurch anschließendes Rückwärtseinsetzen Lösung des LGS
18. November 2015 16
Cholesky-ZerlegungBerechnungFormeln
Aufwand:
18. November 2015 17
Cholesky-ZerlegungBeispiel:
mit
Durch Gleichsetzen der Matrixelemente folgt:
Schließlichund
18. November 2015 18
ÜbersichtGaußsches EliminationsverfahrenKonditionBandmatrixMethode der kleinsten QuadrateLiteraturverzeichnis
18. November 2015 19
Kondition Abhängigkeit der Lösung eines Problems von der Störung der Eingangsdaten.
Abschätzung der Kondition von Matrizen durch die größtmögliche Verzerrung der Einheitskugel
Vektoren ungleich 0 und auf die Null abgebildet, dann =∞. κ Für reguläre Matrizen unter Verwendung der natürlichen Matrixnorm:
18. November 2015 20
KonditionInterpretation:
Konditionszahl deutlich größer als 1 => κ schlecht konditioniertes Problem Sonst, gut konditioniertes ProblemKonditionszahl unendlich => schlecht gestelltes Problem
18. November 2015 21
ÜbersichtGaußsches EliminationsverfahrenKonditionBandmatrixMethode der kleinsten QuadrateLiteraturverzeichnis
18. November 2015 22
BandmatrixMatrix mit bestimmter Anzahl Nebendiagonalen Elemente ungleich null neben der Hauptdiagonalen
A Bandmatrix der Bandbreite w = p + q + 1, wenn für aij gilt:
18. November 2015 23
BandmatrixTridiagonalmatrix
quadratische Matrix mit Hauptdiagonalen und zwei Nebendiagonalen Einträgen unglich null. (mit p = q = 1)
18. November 2015 24
ÜbersichtGaußsches EliminationsverfahrenKonditionBandmatrixMethode der kleinsten QuadrateLiteraturverzeichnis
18. November 2015 25
Methode der kleinsten QuadrateZu einer Datenpunktwolke eine Kurve möglichst nahe an den Datenpunkten.In der Stochastik als Schätzmethode in der Regressionsanalyse.
Beispiel:
18. November 2015 26
ÜbersichtGaußsches EliminationsverfahrenKonditionBandmatrixMethode der kleinsten QuadrateLiteraturverzeichnis
18. November 2015 27
Literaturverzeichnis
Lars Elden: Matrix Methods in Data Mining and Pattern Recognition.
SIAM, Philadelpia, 2007.WikipediaMathepedia
https://www.wiwiweb.de/statistik/zeitreihenan/zeitverfahre/kleinstequad.html
18. November 2015 28
Vielen Dank fur dieAufmerksamkeit