Linear Systems and Least Squares - mia.uni- .Methode der kleinsten Quadrate Zu einer Datenpunktwolke

  • View
    212

  • Download
    0

Embed Size (px)

Text of Linear Systems and Least Squares - mia.uni- .Methode der kleinsten Quadrate Zu einer Datenpunktwolke

  • 18. November 2015 1

    Linear Systems and Least Squares

    Vortragender: Gelin Jiofack Nguedong Betreuer: Prof. Dr. Joachim Weickert

    Proseminar: Matrixmethoden in Datenanalyse und Mustererkennung Wintersemester 2015/2016

  • 18. November 2015 2

    Übersicht Gaußsches Eliminationsverfahren Kondition Bandmatrix Methode der kleinsten Quadrate Literaturverzeichnis

  • 18. November 2015 3

    Übersicht Gaußsches Eliminationsverfahren Kondition Bandmatrix Methode der kleinsten Quadrate Literaturverzeichnis

  • 18. November 2015 4

    Gaußsches Eliminationsverfahren

    Carl Friedrich Gauß

    Algorithmus aus den mathematischen Teilgebieten der linearen Algebra und der Numerik.

  • 18. November 2015 5

    Beispiel Pivotierung LR-Zerlegung Cholesky-Zerlegung

    Gaußsches Eliminationsverfahren

  • 18. November 2015 6

    Beispiel Lineares Gleichungssystem Ax=b mit drei Gleichungen:

    1. Vorwärtselimination, 2. Rückwärtseinsetzen (Rücksubstitution).

    Algorithmus zur Berechnung der Variablen xi:

  • 18. November 2015 7

    Beispiel

    Zur besseren Übersichtlichkeit, erweiterte Koeffizientenmatrix

    Hinweis: Kontrolle durch Zeilensumme

  • 18. November 2015 8

    Beispiel Pivotierung LR-Zerlegung Cholesky-Zerlegung

    Gaußsches Eliminationsverfahren

  • 18. November 2015 9

    Pivotierung Im Allgemeinen nicht ohne Zeilenvertauschungen durchführbar.

    Ersetze 1 durch 0

    Wie löse ich das???

    Beispiel:

  • 18. November 2015 10

    Pivotierung

    Ich weiß!!!

  • 18. November 2015 11

    Beispiel Pivotierung LR-Zerlegung Cholesky-Zerlegung

    Gaußsches Eliminationsverfahren

  • 18. November 2015 12

    LR-Zerlegung Lineares Gleichungssystem Ax=b mit LR-Zerlegung:

    1. Zerlege A = L. R mit dem Gauß-Algorithmus 2. Löse Ax = LRx = b in zwei Schritten:

    ● Löse Ly = b durch Vorwärtssubstitution ● Löse Rx = y durch Rückwärtssubstitution

    Aufwand: Beispiel:

    das heißt

  • 18. November 2015 13

    Beispiel Pivotierung LR-Zerlegung Cholesky-Zerlegung

    Gaußsches Eliminationsverfahren

  • 18. November 2015 14

    Cholesky-Zerlegung Zerlegung einer symmetrischen positiv definiten Matrix in ein Produkt aus einer unteren Dreiecksmatrix und deren Transponierter. (LR-Zerlegung ohne Pivotierung)

    Positiv definite Matrix

    L untere Dreiecksmatrix mit Diagonalelemente = 1 D Diagonalmatrix mit positiven Einträgen

  • 18. November 2015 15

    Cholesky-Zerlegung Mit und

    Neue Formulierung der Cholesky-Zerlegung:

    Gleichungssystem Ax=b effizient durch Vorwärts- und Rückwärtseinsetzen lösbar: Durch Vorwärtseinsetzen Lösung des LGS Durch anschließendes Rückwärtseinsetzen Lösung des LGS

  • 18. November 2015 16

    Cholesky-Zerlegung Berechnung Formeln

    Aufwand:

  • 18. November 2015 17

    Cholesky-Zerlegung Beispiel:

    mit

    Durch Gleichsetzen der Matrixelemente folgt:

    Schließlich und

  • 18. November 2015 18

    Übersicht Gaußsches Eliminationsverfahren Kondition Bandmatrix Methode der kleinsten Quadrate Literaturverzeichnis

  • 18. November 2015 19

    Kondition Abhängigkeit der Lösung eines Problems von der Störung der Eingangsdaten.

    Abschätzung der Kondition von Matrizen durch die größtmögliche Verzerrung der Einheitskugel

    Vektoren ungleich 0 und auf die Null abgebildet, dann =∞. κ Für reguläre Matrizen unter Verwendung der natürlichen Matrixnorm:

  • 18. November 2015 20

    Kondition Interpretation:

    Konditionszahl deutlich größer als 1 => κ schlecht konditioniertes Problem Sonst, gut konditioniertes Problem Konditionszahl unendlich => schlecht gestelltes Problem

  • 18. November 2015 21

    Übersicht Gaußsches Eliminationsverfahren Kondition Bandmatrix Methode der kleinsten Quadrate Literaturverzeichnis

  • 18. November 2015 22

    Bandmatrix Matrix mit bestimmter Anzahl Nebendiagonalen Elemente ungleich null neben der Hauptdiagonalen

    A Bandmatrix der Bandbreite w = p + q + 1, wenn für aij gilt:

  • 18. November 2015 23

    Bandmatrix Tridiagonalmatrix

    quadratische Matrix mit Hauptdiagonalen und zwei Nebendiagonalen Einträgen unglich null. (mit p = q = 1)

  • 18. November 2015 24

    Übersicht Gaußsches Eliminationsverfahren Kondition Bandmatrix Methode der kleinsten Quadrate Literaturverzeichnis

  • 18. November 2015 25

    Methode der kleinsten Quadrate Zu einer Datenpunktwolke eine Kurve möglichst nahe an den Datenpunkten. In der Stochastik als Schätzmethode in der Regressionsanalyse.

    Beispiel:

  • 18. November 2015 26

    Übersicht Gaußsches Eliminationsverfahren Kondition Bandmatrix Methode der kleinsten Quadrate Literaturverzeichnis

  • 18. November 2015 27

    Literaturverzeichnis

    Lars Elden: Matrix Methods in Data Mining and Pattern Recognition.

    SIAM, Philadelpia, 2007. Wikipedia Mathepedia

    https://www.wiwiweb.de/statistik/zeitreihenan/zeitverfahre/kleinstequad.html

    https://www.wiwiweb.de/statistik/zeitreihenan/zeitverfahre/kleinstequad.html

  • 18. November 2015 28

    Vielen Dank fur die Aufmerksamkeit

    Slide 1 Slide 2 Slide 3 Slide 4 Slide 5 Slide 6 Slide 7 Slide 8 Slide 9 Slide 10 Slide 11 Slide 12 Slide 13 Slide 14 Slide 15 Slide 16 Slide 17 Slide 18 Slide 19 Slide 20 Slide 21 Slide 22 Slide 23 Slide 24 Slide 25 Slide 26 Slide 27 Slide 28