Upload
others
View
5
Download
0
Embed Size (px)
Citation preview
Lineare Ausgleichsproblems
Heinrich Voss
Hamburg University of Technology
Department of Mathematics
Lineare Ausgleichsproblems – p. 1/71
Lineare Ausgleichsprobleme
In (fast) allen Wissenschaftsbereichen begegnet man dem Problem,unbekannte Parameter eines funktionalen Zusammenhanges bestimmenzu müssen, dessen Struktur (abgesehen von den Werten der Parameter)etwa aus Naturgesetzen oder Modellannahmen bekannt ist.
Lineare Ausgleichsproblems – p. 2/71
Beispiel
Um den Elastizitätsmodul E und die Querdehnungszahl ν eineselastischen Materials zu bestimmen, belastet man eine quaderförmigeProbe in achsenparalleler Lage mit verschiedenen Normalspannungen(σx, σy, σz) und misst die resultierenden Dehnungen.
−0.5 0 0.5 1 1.5 2 2.5 3−0.5
0
0.5
1
1.5
2
−σz
σy
σz
−σy
σx
−σx
Lineare Ausgleichsproblems – p. 3/71
Beispiel (2)
Der Zusammenhang zwischen Spannung und Dehnung wird beschriebendurch das Hooksche Gesetz
εx
εy
εz
=1
E
1 −ν −ν
−ν 1 −ν
−ν −ν 1
σx
σy
σz
Führt man eine Messung durch, so werden diese 3 Gleichungen in 2Unbekannten x1 =: 1/E und x2 := −ν/E
σxx1 + (σy + σz)x2 = εx
σyx1 + (σx + σz)x2 = εy
σzx1 + (σx + σy)x2 = εz
i.a. einander widersprechen. Man versucht daher, sie möglichst gut indem folgenden Sinne zu erfüllen.
Lineare Ausgleichsproblems – p. 4/71
Lineares Ausgleichsproblem
Betrachte das lineare Ausgleichsproblem:
Gegeben seien A ∈ R(m,n), b ∈ R
m.Bestimme x ∈ R
n, so dass
‖Ax − b‖2
minimal wird.
Das Ausgleichsproblem heißt linear, da die Parameter x nur linear in denDefekt Ax − b eingehen.
Lineare Ausgleichsproblems – p. 5/71
Beispiel
Die Höhe h einer Flüssigkeitssäule ist eine lineare Funktion derTemperatur
h(T ) = α + βT.
Will man α und β bestimmen, so führt man m Messungen aus undbestimmt aus den Daten (Ti, hi), i = 1, . . . , m diese Parameter aus demlinearen Ausgleichsproblem
‖Ax − b‖2 = min!
mit
A :=
1 T1
......
1 Tm
, x :=
(
α
β
)
, b :=
h1
...hm
Lineare Ausgleichsproblems – p. 6/71
Beispiel 2
Wird statt der Ausgleichsgerade eine Ausgleichsparabel
h(T ) = α + βT + γT 2
zu den Daten (Ti, hi), i = 1, . . . , m, gewünscht, so ergibt sich das lineareAusgleichsproblem
‖Ax − b‖2 = min!
mit
A :=
1 T1 T 21
......
...1 Tm T 2
m
, x :=
α
β
γ
, b :=
h1
...hm
.
Lineare Ausgleichsproblems – p. 7/71
Lineares Ausgleichsproblem (2)
Bei der Lösung des linearen Ausgleichsproblems nutzen wir aus, dass dieTransformation mit orthogonalen Matrizen die Euklidische Länge einesVektors nicht verändert, d.h. für jede orthogonale Matrix Q ∈ R
(m,m) (undjedes feste x ∈ R
n) gilt
‖Ax − b‖2 = ‖Q(Ax − b)‖2 = ‖(QA)x − Qb‖2.
Unser Ziel ist es, mit orthogonalen Transformationen Q(1), Q(2), . . . dieSystemmatrix A des linearen Ausgleichsproblems analog zurVorgehensweise beim Gauß-Algorithmus für lineare Gleichungssysteme ineine obere Dreiecksmatrix zu transformieren.
Lineare Ausgleichsproblems – p. 8/71
Lineares Ausgleichsproblem (3)
Ist A = O, so kann man x ∈ Rn beliebig wählen, und das
Ausgleichsproblem ist gelöst.
Ist A 6= O, so kann man o.B.d.A annehmen, dass die erste Spalte a1 von Avom Nullvektor verschieden ist (sonst Spaltentausch undUmnummerierung der Variablen).
Lineare Ausgleichsproblems – p. 9/71
Lineares Ausgleichsproblem (4)
Wähle Q(1) als Householdermatrix, für die gilt
Q(1)a1 = r11e1
mitr11 = ±‖a1‖2 6= 0.
Dann gilt
Q(1)A =
r11
0...0
, Q(1)a2, . . . , Q(1)an
Lineare Ausgleichsproblems – p. 10/71
Lineares Ausgleichsproblem (5)
Für alle x ∈ Rn ist also
‖Ax − b‖2 = ‖(
Q(1)A)
x − Q(1)b‖2 =: ‖A(1)x − b(1)‖2,
wobei
A(1) := Q(1)A =
r11 r12, . . . , r1n
0...0
A(1)
, b(1) := Q(1)b.
Lineare Ausgleichsproblems – p. 11/71
Beispiel
Wir betrachten das lineare Ausgleichsproblem mit
A =
1 0 2
1 3 2
1 3 3
1 0 1
, b =
1
1
1
−1
.
Die Householdermatrix
Q(1) = E4 − 2wwT
‖w‖22
mit Q(1)
1
1
1
1
= r11e1
. . .
Lineare Ausgleichsproblems – p. 12/71
Beispiel (2)
ist gegeben durch
w :=
1
1
1
1
+ 2 ·
1
0
0
0
=
3
1
1
1
.
Hiermit gilt
Q(1)
1
1
1
1
= −2e1
(so ist Q(1) ja gerade konstruiert), und
Lineare Ausgleichsproblems – p. 13/71
Beispiel (3)
Q(1)
0
3
3
0
=
0
3
3
0
−2
12
3
1
1
1
(3, 1, 1, 1)
0
3
3
0
=
−3
2
2
−1
Q(1)
2
2
3
1
=
2
2
3
1
−2
12
3
1
1
1
(3, 1, 1, 1)
2
2
3
1
=
−4
0
1
−1
Q(1)
1
1
1
−1
=
1
1
1
−1
−2
12
3
1
1
1
(3, 1, 1, 1)
1
1
1
−1
=1
3
−3
1
1
−5
Lineare Ausgleichsproblems – p. 14/71
Beispiel (4)
Das Ausgleichsproblem‖Ax − b‖2 = min!
ist also äquivalent zu
∥
∥
∥
∥
∥
−2 −3 −4
0 2 0
0 2 1
0 −1 −1
x −1
3
−3
1
1
−5
∥
∥
∥
∥
∥
2
= min!
Lineare Ausgleichsproblems – p. 15/71
Lineares Ausgleichsproblem (6)
Ist A(1) = 0, so beenden wir die erste Phase des Verfahrens.
Sonst können wir wieder o.B.d.A. annehmen, dass die erste Spalte
a(1)1 ∈ R
m−1 von A(1) nicht der Nullvektor ist.
Wir wählen die Householdermatrix P (2) ∈ R(m−1,m−1) mit
P (2)a(1)1 = r22e
1
(hier bezeichnet e1 den ersten Einheitsvektor in Rm−1) und hiermit
Q(2) =
1 0, . . . , 0
0...0
P (2)
Lineare Ausgleichsproblems – p. 16/71
Lineare Ausgleichsprobleme (7)
Q(2)A(1) =
1 0 . . . 0
0... P (2)
0
r11 r12 r13 . . . r1n
0...0
a(1)1 a
(1)2 . . . a
(1)n−1
=
r11 r12 r13 . . . r1n
0...0
P (2)a(1)1 P (2)a1
2 . . . P (2)a(1)n−1
=
r11 r12 r13 . . . r1n
0 r22 r23 . . . r2n
0 0...
... A(2)
0 0
=: A(2)
Lineare Ausgleichsproblems – p. 17/71
Lineare Ausgleichsprobleme (8)
und
‖Ax − b‖2 = ‖Q(2)A(1)x − Q(2)b(1)‖2
= ‖A(2)x − b(2)‖2.
Auf diese Weise kann man fortfahren, die Elemente unterhalb derHauptdiagonale zu annullieren.
Lineare Ausgleichsproblems – p. 18/71
Lineare Ausgleichsprobleme (8)
Man erhält schließlich (bei rundungsfehlerfreier Rechnung)
‖Ax − b‖2 = ‖A(k)x − b(k)‖2,
mit
A(k) =
r11 r12 . . . r1k r1,k+1 . . . r1n
0 r22 . . . r2k r2,k+1 . . . r2n
. . ....
. . ....
......
...0 0 . . . rkk rk,k+1 . . . rkn
0 0 . . . 0 0 . . . 0...
......
......
......
0 0 . . . 0 0 . . . 0
Lineare Ausgleichsproblems – p. 19/71
Lineare Ausgleichsprobleme (9)
Wie bei der Gaußschen Elimination wird man im Falle rundungsbehafteterRechnung das Verschwinden der Restmatrix A(k) numerisch nichtfeststellen können, da dort i.a. keine exakten Nullen stehen werden,sondern von Null verschiedene kleine Rundungsfehler.
Man wird deshalb bei der numerischen Rechnung die Eliminationsphaseabbrechen müssen, wenn die Größe der Restmatrix A(k) unter einevorgegebene kleine Zahl fällt.
Lineare Ausgleichsproblems – p. 20/71
Fortsetzung des letzten Beispiels
Der erste Schritt lieferte das äquivalente Ausgleichsproblem
∥
∥
∥
∥
∥
−2 −3 −4
0 2 0
0 2 1
0 −1 −1
x −1
3
−3
1
1
−5
∥
∥
∥
∥
∥
2
= min!
Im zweiten Schritt bestimmen wir die Householder Matrix
P (2) = E3 − 2vvT
‖v‖22
∈ R(3,3) mit P (2)
2
2
−1
= r22e1.
Lineare Ausgleichsproblems – p. 21/71
Fortsetzung des letzten Beispiels (2)
Es ist v =
2
2
−1
+ 3 ·
1
0
0
=
5
2
−1
, und hiermit nach Konstruktion
P (2)
2
2
−1
= −
3
0
0
und
P (2)
0
1
−1
=
0
1
−1
−2
30
5
2
−1
(5, 2,−1)
0
1
−1
c
=1
5
−5
3
−4
1
3P (2)
1
1
−5
=1
3
1
1
−5
−2
30
5
2
−1
(5, 2,−1)1
3
1
1
−5
=1
5
−5
−1
−7
Lineare Ausgleichsproblems – p. 22/71
Fortsetzung des letzten Beispiels (3)
Das Ausgleichsproblem ist also äquivalent zu
∥
∥
∥
∥
∥
−2 −3 −4
0 −3 −1
0 0 0.6
0 0 −0.8
x −1
5
−5
−5
−1
−7
∥
∥
∥
∥
∥
2
= min!
Um die Dreiecksgestalt herzustellen, verwenden wir
P (3) = E2 − 2wwT
‖w‖22
mit P (3)
(
0.6
−0.8
)
= r33e1.
Lineare Ausgleichsproblems – p. 23/71
Fortsetzung des letzten Beispiels (4)
Es ist
w =
(
0.6
−0.8
)
+ 1 ·
(
1
0
)
=
(
1.6
−0.8
)
,
und damit
P (3)
(
0.6
−0.8
)
=
(
−1
0
)
(nach Konstruktion)
P (3)
(
−0.2
−1.4
)
= · · · =
(
−1
−1
)
.
Lineare Ausgleichsproblems – p. 24/71
Fortsetzung des letzten Beispiels (5)
Das Ausgleichsproblem ist also schließlich äquivalent zu
∥
∥
∥
∥
∥
−2 −3 −4
0 −3 −1
0 0 −1
0 0 0
x −
−1
−1
−1
−1
∥
∥
∥
∥
∥
2
= min!
Die letzte Komponente kann man durch Wahl von x sicher nichtbeeinflussen, die ersten drei Komponenten kann man alle zu Null machen,indem man das lineare Gleichungssystem
−2 −3 −4
0 −3 −1
0 0 −1
x =
−1
−1
−1
⇐⇒ x =
−1.5
0
1
löst.
Lineare Ausgleichsproblems – p. 25/71
Lineare Ausgleichsprobleme (10)
Im allgemeinen Fall zerlegen wir
b(k) =
(
y
z
)
,
wobei y die ersten k Komponenten von b(k) und z die restlichenKomponenten enthält.
Dann gilt
‖A(k)x − b(k)‖22 =
∥
∥
∥
(
Rx
0
)
−
(
y
z
)
∥
∥
∥
2
2= ‖Rx − y‖2
2 + ‖z‖22,
und dieser Ausdruck wird sicher dann minimal, wenn der erste Summandverschwindet, d.h. wenn Rx = y.
Lineare Ausgleichsproblems – p. 26/71
Satz 7.8Das lineare Ausgleichsproblem
Bestimme x ∈ Rn mit ‖Ax − b‖2 = min!
ist stets losbar.
Es ist eindeutig losbar, wenn A unabhangige Spalten besitzt.
Lineare Ausgleichsproblems – p. 27/71
Beweis von Satz 7.8Führt man das hergeleitete Verfahren für das Ausgleichsproblem durch,so gilt
rii =(
P (i)a(i−1)1
)
1= ±‖a
(i−1)1 ‖2 6= 0, i = 1, . . . , k
und daher ist das lineare Gleichungssystem Rx = y stets lösbar und damitauch das lineare Ausgleichsproblem.
Rx = y ist genau dann eindeutig lösbar, wenn k = n gilt. Da dieMultiplikation mit den regulären Matrizen Q(i) den Rang nicht ändert, gilt
k = rang(R) = rang(A(k)) = rang(A),
und das Ausgleichsproblem ist genau dann eindeutig lösbar, wenn dieKoeffizientenmatrix A linear unabhängige Spalten besitzt. ¤
Lineare Ausgleichsproblems – p. 28/71
QR Zerlegung
Besitzt A ∈ R(m,n) linear unabhängige Spalten, so kann man mit den eben
konstruierten orthogonalen Matrizen Q(j) die Matrix A auf obereDreiecksgestalt transformieren:
Q(n) · Q(n−1) · . . . · Q(1)A = R.
Wegen der Orthogonalität und der Symmetrie der Q(j) erhält man hieraus
A = Q(1) · . . . · Q(n) · R =: QR.
Es gilt also
Lineare Ausgleichsproblems – p. 29/71
Satz 7.9
Die Matrix A ∈ R(m,n) besitze linear unabhangige Spalten.
Dann gibt es eine orthogonale Matrix Q ∈ R(m,m) und eine regulare obere
Dreiecksmatrix R ∈ R(n,n), so dass gilt
A = Q
(
R
0
)
.
Diese Zerlegung heißt die QR–Zerlegung von A. Man kann dieQR-Zerlegung einer Matrix mit Hilfe von Householder Transformationenbestimmen.
Lineare Ausgleichsproblems – p. 30/71
Bemerkung
Ist A ∈ R(n,n) quadratisch und regulär und ist die QR-Zerlegung A = QR
von A bekannt, so kann man (ähnlich wie mit der LR-Zerlegung) für jederechte Seite b ∈ R
n die Lösung des linearen Gleichungssystems Ax = bleicht bestimmen.
Wir setzen nämlich y := QT b und bestimmen dann durchRückwärtseinsetzen die Lösung x von Rx = y.
Dann giltAx = QRx = Qy = b.
Lineare Ausgleichsproblems – p. 31/71
Bemerkung (2)
Der Aufwand zur Lösung eines linearen Gleichungssystems mit derQR-Zerlegung ist etwa doppelt so hoch wie der des GaußschenEliminationsverfahrens.
Jedoch ist die QR-Zerlegung i.a., was Rundungsfehler und Stabilitätbetrifft, etwas günstiger als das Eliminationsverfahren.
Lineare Ausgleichsproblems – p. 32/71
Bemerkung
Man beachte, dass die orthogonale Matrix Q dabei nur in y := QT bbenötigt wird.
Wegen
QT = P (n−1) · . . . · P (1)
kann die Multiplikation von b mit QT durch die sukzessive Multiplikation mitden Matrizen P (1) bis P (n−1) realisiert werden, ohne dass dafür dieexpliziten Matrixeinträge von Q bekannt sein müssen.
Die Matrizen P (i) sind dabei (im wesentlichen) Householder-Matrizen, undwerden ebenfalls nicht als volle Matrizen gespeichert oder multiplikativangewendet.
Lineare Ausgleichsproblems – p. 33/71
Bemerkung (2)
Vielmehr ist P (i) durch einen Vektor der Länge n− i + 1 voll charakterisiert.
Der Speicheraufwand für die R-Matrix und die die P -Matrizen entsprichtdem der ursprünglichen Matrix plus n weitere Plätze.
Mit etwas Nachdenken kann die QR-Zerlegung der Matrix A — ähnlich derVorgehensweise bei der LR-Zerlegung — so im Speicher von A sowieeinem zusätzlichen Vektor vorgenommen werden.
Lineare Ausgleichsproblems – p. 34/71
Bemerkung
Aus den obigen Ausführungen geht hervor, dass die QR-Zerlegung auchfür Matrizen durchführbar ist, deren Spalten nicht linear unabhängig sind.
In diesem Fall wird die R-Matrix ebenfalls nicht regulär werden. Wegender während der Zerlegungsphase auftretenden algorithmischenSchwierigkeiten bei der Detektion der linearen Abhängigkeit wird hier aufdie Darstellung dieses Falles verzichtet und auf Spezialvorlesungen übernumerische Methoden verwiesen.
Lineare Ausgleichsproblems – p. 35/71
Gram-Schmidt Orthogonalisierung
Alternativ kann man die QR Zerlegung mit dem Gram-Schmidt Prozessbestimmen, bei dem im j-ten Schritt, d.h. nachdem die ersten j − 1
Spalten q1, . . . , qj−1 von Q bereits bestimmt wurden, von der j-ten Spalteaj von A die Anteile in Richtung von qi, i = 1, . . . , j − 1, abgezogen werdenund der so bestimmte, zu den qi orthogonale Vektor normiert wird.
qj =1
rjj
(
aj −
j−1∑
i=1
(qi)T aj · qi
)
, wobei rjj so gewählt, dass ‖qj‖ = 1.
⇐⇒
j∑
i=1
rijqi = aj mit rij := (qi)T aj , i = 1, . . . , j−1, rjj = ‖aj −
j−1∑
i=1
rijqi‖
Lineare Ausgleichsproblems – p. 36/71
Gram-Schmidt Orthogonalisierung (2)
j∑
i=1
rijqi = aj mit rij := (qi)T aj , i = 1, . . . , j − 1, rjj = ‖aj −
j−1∑
i=1
rijqi‖
⇐⇒ A =(
a1, . . . , an)
=(
q1, . . . , qn)
r11 r12 . . . r1n
0 r22 . . . r2n
......
. . ....
0 0 . . . rnn
=: QR
Formal unterscheidet sich diese Zerlegung von der mit HouseholderMatrizen konstruierten QR Zerlegung, denn Q ∈ R
(m,n) enthält nur eineOrthonormalbasis des von den Spalten von A aufgespannten Teilraumsvon R
m. Diese lässt sich aber durch weitere m − n orthonormale Spaltenzu einer Orthonormalbasis von R
m ergänzen. Man erhält dann eine QRZerlegung wie vorher, wenn man R durch m − n Nullzeilen ergänzt.
Lineare Ausgleichsproblems – p. 37/71
Die Normalgleichungen
Wir leiten nun eine weitere notwendige und hinreichende Bedingung fürdie Lösung des linearen Ausgleichsproblems her.
Die numerische Anwendung dieser Bedingung ist zwari.a. rundungsfehleranfälliger als die schon demonstrierte Methode. Für dieHandrechnung bei kleinen Problemen ist sie aber oft etwas angenehmer.
Außerdem vermittelt sie wieder einmal gewisse strukturelle Einsichten indas Ausgleichsproblem.
Lineare Ausgleichsproblems – p. 38/71
Satz 7.12Die Lösungen des Ausgleichsproblems
‖Ax − b‖2 = min!
sind genau die Lösungen der Normalgleichungen
AT Ax = AT b.
Lineare Ausgleichsproblems – p. 39/71
Beweis von Satz 7.12Es sei
W := span{a1, . . . , an}.
y = Ax ∈ W löst genau dann das Approximationsproblem
‖y − b‖2 ≤ ‖y − b‖2 für alle y ∈ W,
wenn y die orthogonle Projektion von b auf W ist,
und dies ist genau dann der Fall, wenn
Ax − b ⊥ W
⇐⇒ (aj)T (Ax − b) = 0, j = 1, . . . , n
⇐⇒ AT (Ax − b) = 0.
Lineare Ausgleichsproblems – p. 40/71
Bemerkung
Da AT A genau dann regulär ist, wenn rangA = n gilt (vgl. Kapitel 6),enthält Satz 7.12 die Eindeutigkeitsaussage von Satz 7.8.
AT Ax = AT b
ist auch dann stets lösbar ist, wenn AT A singulär ist.
Die Normalgleichungen kann man als notwendige Bedingungen für dasMinimum der Funktion
φ(x) := ‖Ax − b‖22
mit Methoden der Infinitesimalrechnung gewinnen.
Lineare Ausgleichsproblems – p. 41/71
Beispiel
Für das Beispiel
∥
∥
∥
∥
∥
∥
∥
∥
1 0 2
1 3 2
1 3 3
1 0 1
x −
1
1
1
−1
∥
∥
∥
∥
∥
∥
∥
∥
2
= min!
lauten die Normalgleichungen
AT Ax =
4 6 8
6 18 15
8 15 18
x = AT b =
2
6
6
mit der Lösung x = (−1.5, 0, 1)T .
Lineare Ausgleichsproblems – p. 42/71
Bemerkung
Die Normalgleichungen sind häufig wesentlich schlechter konditioniert(d.h. reagieren empfindlicher auf Fehler in den Eingangsdaten und aufRundungsfehler bei der numerischen Lösung) als das Ausgleichsproblemund sollten nur für sehr kleine n verwendet werden.
In der Regel ist das oben beschriebene Verfahren mit orthogonalenTransformationen des Originalproblems vorzuziehen.
Lineare Ausgleichsproblems – p. 43/71
Beispiel zur Abschreckung
Bestimme
p(t) =
2∑
j=0
ajtj
mit10∑
i=1
(p(ti) − bi)2 = min!,
wobei ti = 49 + i und bi = π + ti.
Da die Daten exakt auf der Gerade p(t) = π + t liegen, ista = (a0, a1, a2)
T = (π, 1, 0)T sicherlich eine Lösung (mit Defekt = 0). DieseLösung ist auch eindeutig.
Lineare Ausgleichsproblems – p. 44/71
Beispiel (2)
Mit den Householder Transformationen erhält man die unten angegebenebrauchbare Näherung a.
Löst man die Normalgleichungen mit dem GaußschenEliminationsverfahren, so erhält man als Näherung für die Lösung denVektor a (die Rechnungen wurden auf dem IBM PS/2 unter Turbo Pascal6.0 in einfacher Genauigkeit bei 7-8 Dezimalstellen ausgeführt), dersicherlich nicht befriedigen kann:
a =
π + 8.32 · 10−4
1 − 3.02 · 10−5
2.73 · 10−7
a =
π − 5.01 · 10−1
1 + 1.84 · 10−2
−1.69 · 10−4
.
Lineare Ausgleichsproblems – p. 45/71
Lineare diskrete Approximation
Gegeben seien m Messpunkte (tj , bj), j = 1, . . . , m, wobei dietj ∈ [a, b] ⊂ R paarweise verschieden sind und bj ∈ R.
Um hieraus eine funktionale Beziehung b = b(t), t ∈ [a, b], zu ermitteln,wählt man n Ansatzfunktionen
φk : [a, b] → R, k = 1, . . . , n ≤ m,
und bestimmt reelle Parameter xk so, dass
m∑
j=1
(
n∑
k=1
xkφk(tj) − bj
)2
1/2
= min!. (∗)
Lineare Ausgleichsproblems – p. 46/71
Lineare diskrete Approximation (2)
Das Ausgleichsproblem (*) kann geschrieben werden als
‖Ax − b‖2 = min!
mit
A =
φ1(t1) φ2(t1) . . . φn(t1)
φ1(t2) φ2(t2) . . . φn(t2)...
.... . .
...φ1(tm) φ2(tm) . . . φn(tm)
, b =
b1
b2
...bm
.
Lineare Ausgleichsproblems – p. 47/71
Satz 7.18Das lineare diskrete Approximationsproblem (*) ist genau dann eindeutiglösbar, wenn gilt
n∑
k=1
xkφk(tj) = 0, j = 1, . . . , m ⇒ xk = 0, k = 1, . . . , n. (∗∗)
In diesem Fall ist die Lösung die eindeutige Lösung des linearenGleichungssystems
n∑
k=1
m∑
j=1
φi(tj)φk(tj)
xk =m
∑
j=1
bjφi(tj), i = 1, . . . , n. (+)
Lineare Ausgleichsproblems – p. 48/71
Beweis von Satz 7.18Die Bedingung (**) besagt gerade, dass die Matrix A linear unabhängigeSpalten besitzt. Daher ist das Ausgleichsproblem eindeutig lösbar.
Ist Bedingung (**) nicht erfüllt und gilt φ(tj) = 0 für alle j = 1, . . . , m für dieFunktion
φ(t) =
n∑
k=1
αkφk(t),
so ist wegen Aα = 0 mit φ(t) auch φ(t) + λφ(t) für alle λ ∈ R eine Lösungdes Ausgleichsproblems.
(+) sind die Normalgleichungen AT A = AT b. ¤
Lineare Ausgleichsproblems – p. 49/71
Haarsche Bedingung
Bei der Überprüfung der Voraussetzung (**) ist die folgende Bedingungvon besonderer Bedeutung (die auch in der Approximationstheorie beiEindeutigkeitsfragen eine große Rolle spielt).
Definition:Man sagt, dass die Funktionen φj : [a, b] →, i = 1, . . . , n, auf dem Intervall[a, b] der Haarschen Bedingung genügen (oder dort ein ChebyshevSystem bilden), wenn jede Linearkombination
φ(t) :=
n∑
j=1
αjφj(t)
der φj(t), für die nicht alle αj gleich 0 sind, höchstens n − 1 Nullstellen in[a, b] besitzt.
Lineare Ausgleichsproblems – p. 50/71
Beispiel
Wie wir bereits wissen, hat jedes Polynom p(t) =∑n
i=0 αiti vom
Höchstgrad n, dessen Koeffizienten αi nicht alle verschwinden, maximal nNullstellen in C.
Also hat ein solches Polynom auch maximal n Nullstellen in jedem reellenIntervall.
Daher erfüllt jede Basis des Πn in jedem Teilintervall [a, b] von R dieHaarsche Bedingung.
Lineare Ausgleichsproblems – p. 51/71
Beispiel 2
Es seien ak 6∈ [a, b], k = 1, . . . , n, paarweise verschieden.
φk(t) =1
t − ak, k = 1, . . . , n
erfüllen die Haarsche Bedingung auf [a, b], denn
n∑
k=1
αkφk(t) = 0 ⇐⇒
n∑
k=1
αk
n∏
j=1
j 6=k
(t − aj) = 0,
und
vk(t) :=n
∏
j=1
j 6=k
(t − aj), j = 1, . . . , n
bilden eine Basis des Πn−1.
Lineare Ausgleichsproblems – p. 52/71
Beispiel 3
Es seien ak < 0, k = 1, . . . , n, paarweise verschieden.Dann erfüllen (wie im letzten Beispiel) die Funktionen
φk(t) =t
t + ak, k = 1, . . . , n,
die Haarsche Bedingung in (0,∞).
Lineare Ausgleichsproblems – p. 53/71
Beispiel 4
Die Funktonen1, sin t, cos t, sin 2t, . . . , sinnt, cos nt
erfüllen die Haarsche Bedingung in jedem Teilintervall von [0, 2π) (undgenauso in jedem TeilIntervall von [ρ, ρ + 2π) ⊂ R).
Mit
cos t =1
2(eit + e−it) und sin t =
1
2i(eit − e−it)
gilt
Lineare Ausgleichsproblems – p. 54/71
Beispiel 4 (2)
φ(t) := α0 +n
∑
k=1
αk cos kt +n
∑
k=1
βk sin kt = 0
⇐⇒ α0 +1
2
n∑
k=1
αk(eikt + e−ikt) +1
2i
n∑
k=1
βk(eikt − e−ikt) = 0
⇐⇒ α0eint +
1
2
n∑
k=1
αk(ei(k+n)t + ei(n−k)t)
+1
2i
n∑
k=1
βk(ei(k+n)t − ei(n−k)t) = 0
⇐⇒
n−1∑
k=0
(1
2αn−k −
1
2iβn−k)(eit)k + α0(e
it)n
+
n∑
k=1
(1
2αk +
1
2iβk)(eit)k+n = 0.
Lineare Ausgleichsproblems – p. 55/71
Beispiel 4 (3)
Die Funktion auf der linken Seite der letzten Gleichung ist ein Polynomvom Grade 2n in der Variablen z := eit.
Dieses hat höchstens 2n Nullstellen in C, wenn nicht seine Koeffizienten
(1
2αn−k −
1
2iβn−k), k = 0, . . . , n − 1, α0, (
1
2αk +
1
2iβk), k = 1, . . . , n,
allesamt verschwinden.
Dies ist gleichbedeutend mit dem Verschwinden aller α− undβ−Koeffizienten des ursprünglichen trigonometrischen Polynoms φ.
Da die Funktion t 7→ eit jedes Intervall [ρ, ρ + 2π) bijektiv auf denEinheitskreis in C abbildet, besitzt φ höchstens 2n Nullstellen in [ρ, ρ + 2π),also auch höchstens 2n Nullstellen in jedem seiner Teilintervalle, und dieHaarsche Bedingung ist demnach auf jedem solchen Intervall erfüllt.
Lineare Ausgleichsproblems – p. 56/71
Beispiel 5
Die Funktionen sin kt, k = 1, . . . , n, genügen der Haarschen Bedingung aufjedem Teilintervall [a, b] von (0, π), denn besitzt die Funktion
φ(t) =
n∑
k=1
αk sin kt
die n Nullstellen t1 < · · · < tn in [a, b], so hat φ wegen φ(−t) = −φ(t) für allet ∈ im Intervall (−π, π) wenigstens die 2n + 1 Nullstellen−tn < · · · < −t1 < 0 < t1 < · · · < tn, und nach dem letzten Beispiel ist diesnur möglich, wenn alle α−Koeffizienten verschwinden.
Lineare Ausgleichsproblems – p. 57/71
Beispiel 6
Sehr ähnlich wie im letzten Beispiel zeigt man, dass die Funktionen
1, cos t, . . . , cos nt
in jedem Teilintervall von [0, π) der Haarschen Bedingung genügen.
Lineare Ausgleichsproblems – p. 58/71
Satz 7.27Erfullen die Funktionen φk : [a, b] →, k = 1, . . . , n, die Haarsche Bedingung in [a, b]und sind tj ∈ [a, b], j = 1, . . . , m, m ≥ n, paarweise verschieden, so besitzt das linearediskrete Approximationsproblem fur alle bj ∈, j = 1, . . . , m, eine eindeutige Losung.
Beweis:Wir zeigen die Gültigkeit der Bedingung (**) aus Satz 7.19.
Ist nämlichn
∑
k=1
αkφk(tj) = 0 für alle j = 1, . . . , m,
so besitzt die Funktion
φ(t) :=
n∑
k=1
αkφk(t)
im Intervall [a, b] wenigstens m ≥ n Nullstellen.
Aus der Haarschen Bedingung folgt dann, dass αk = 0 für alle k = 1, . . . , nist. ¤
Lineare Ausgleichsproblems – p. 59/71
Vandermondesche MatrixAus Satz 7.27 folgt insbesondere für den Fall n = m, dass für jedesSystem φk : [a, b] → R, k = 1, . . . , n, von Funktionen, das auf [a, b] dieHaarsche Bedingung erfüllt, und für alle paarweise verschiedenentj ∈ [a, b], j = 1, . . . , n, die Matrix
V =
φ1(t1) φ2(t1) . . . φn(t1)
φ1(t2) φ2(t2) . . . φn(t2)
. . . . . . . . . . . .
φ1(tn) φ2(tn) . . . φn(tn)
regulär ist.
Die Matrix V heißt Vandermondesche Matrix zu {φk : k = 1, . . . , n} und{tj : j = 1, . . . , n}, det(V ) heißt die Vandermondesche Determinante.
Lineare Ausgleichsproblems – p. 60/71
Vandermondesche Matrix (2)
Die (klassische) Vandermondesche Matrix
V =
1 t1 . . . tn11 t2 . . . tn2...
.... . .
...1 tn+1 . . . tnn+1
,
ist in diesem Sinne die Vandermonde Matrix zum System der Monome
{tk : k = 0, 1, . . . , n}
und den Punkten{tj : j = 1, . . . , n + 1}.
Lineare Ausgleichsproblems – p. 61/71
Vandermondesche Matrix (3)
Aus der Regularität der Vandermondeschen Matrix folgt, dass das lineareGleichungssystem V x = b für alle b ∈ R
n eindeutig lösbar ist.
Definiert man mit der Lösung x die Funktion
φ(t) :=
n∑
k=1
xkφk(t),
so erfüllt diese offenbar φ(tj) = bj für alle j = 1, . . . , n, und sie ist dieeinzige Funktion in span{φ1, . . . , φn} mit dieser Eigenschaft.
Damit gilt
Lineare Ausgleichsproblems – p. 62/71
Satz 7.29Erfüllen die Funktionen φk : [a, b] →, j = 1, . . . , n, die Haarsche Bedingungauf [a, b], so besitzt das Interpolationsproblem
Bestimme bei gegebenen, paarweise verschiedenen tj ∈ [a, b]
und gegebenen bj ∈ R, j = 1, . . . , n, eine Funktion
φ(t) :=
n∑
k=1
xkφk(t)
mitφ(tj) = bj , j = 1, . . . , n.
eine eindeutige Lösung.
Lineare Ausgleichsproblems – p. 63/71
Bemerkung
Die Koeffizienten xk der interpolierenden Funktion φ lösen das lineareGleichungssystem V x = b.
Man sollte dieses Gleichungssystem aber nur in Ausnahmefällen zurLösung des Interpolationsproblems verwenden, da die VandermondescheMatrix häufig sehr schlecht konditioniert ist (die Lösung desGleichungssystems also sehr empfindlich auf Rundungsfehler reagiert).
Alternativ gibt es für viele Klassen von Funktionen (z.B. Polynome undtrigonometrische Polynome) spezielle Algorithmen zur Berechnung derInterpolierenden, die stabiler sind und wesentlich weniger Aufwanderfordern.
Lineare Ausgleichsproblems – p. 64/71
Bemerkung
Sind Messdaten (tj , bj) ∈ R2, j = 0, . . . , m, zur Bestimmung der Funktion
b : R → R gegeben und liegen keine Informationen über den Verlauf desGraphen von b vor, so werden oft als Ansatzfunktionen Polynomeverwendet.
Möglicherweise findet man es naheliegend, den Grad desAnsatz-Polynoms auch noch so groß zu wählen (= m), dass alsApproximation für die Funktion b das Interpolationspolynom p ∈ Πm zu denMessdaten gebildet werden kann.
Da man dann in den Messstellen tj die Daten mit demInterpolationspolynom reproduziert, erwartet man auch zwischen denMessstellen eine gute Übereinstimmung mit b.
Lineare Ausgleichsproblems – p. 65/71
Bemerkung (2)
Es zeigt sich häufig, dass das Interpolationspolynom sehr stark oszilliertund zur Beschreibung des untersuchten Vorgangs völlig ungeeignet ist.Dies ist insbesondere dann der Fall, wenn die Messungen fehlerhaft sind.
Besser ist es, bei der polynomialen Approximation den Grad n klein gegendie Anzahl m der Datenpunkte zu wählen und die Approximation q ∈ Πn
durch Ausgleich zu bestimmen.
Lineare Ausgleichsproblems – p. 66/71
Beispiel
Die nächste Figur zeigt das Interpolationspolynom p ∈ Π21 zu den Daten
ti = bi = −1 +2i
21, i = 0, . . . , 21,
wobei die bi mit einem zufälligen relativen Fehler von höchstens 0.1%verschmutzt wurden, und das Ausgleichspolynom q vom Grade 2.
Lineare Ausgleichsproblems – p. 67/71
Beispiel (2)
-1
-0.8
-0.6
-0.4
-0.2
0
0.2
0.4
0.6
0.8
1
-1 -0.8 -0.6 -0.4 -0.2 0 0.2 0.4 0.6 0.8 1
Lineare Ausgleichsproblems – p. 68/71
Lineare Regression
Besonders häufig tritt der Fall auf, dass zwischen den tj und bj ein linearerZusammenhang angenommen wird:
bj ≈ a1tj + a0, j = 1, . . . , m.
Man spricht dann von linearer Regression. In diesem Fall ist die Matrix
A =
1 t1...
...1 tm
,
Lineare Ausgleichsproblems – p. 69/71
Lineare Regression (2)
Die Normalgleichungen AT Ax = AT b lauten
mm∑
j=1
tj
m∑
j=1
tjm∑
j=1
t2j
(
a0
a1
)
=
m∑
j=1
bj
m∑
j=1
tjbj
,
Lineare Ausgleichsproblems – p. 70/71
Lineare Regression (3)
mit der Lösung
a0 =
(
∑mj=1 bj
)(
∑mj=1 t2j
)
−(
∑mj=1 tjbj
)(
∑mj=1 tj
)
m ·(
∑mj=1 t2j
)
−(
∑mj=1 tj
)2
a1 =m ·
(
∑mj=1 tjbj
)
−(
∑mj=1 tj
) (
∑mj=1 bj
)
m ·(
∑mj=1 t2j
)
−(
∑mj=1 tj
)2 .
Lineare Ausgleichsproblems – p. 71/71