fur Mathematik¨ in den Naturwissenschaften Leipzig · fur Mathematik¨ in den Naturwissenschaften Leipzig Numerische Lineare Algebra (revised version: June 2004) by Mario Bebendorf

fur Mathematikin den Naturwissenschaften

Leipzig

Numerische Lineare Algebra

(revised version: June 2004)

by

Mario Bebendorf

Lecture note no.: 23 2004

Numerische Lineare AlgebraVorlesungsskript WS 2003/04

Dr. Mario Bebendorf

Fakultat fur Mathematik und InformatikUniversitat Leipzig

11. Mai 2004

Inhaltsverzeichnis

1 Grundlagen 71.0.1 Strukturierte Matrizen . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81.0.2 Block-Matrizen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

1.1 Inverse, Determinante und Spur . . . . . . . . . . . . . . . . . . . . . . . . . . . 91.2 Unterraume, Kern und Bildraum . . . . . . . . . . . . . . . . . . . . . . . . . . 131.3 Metrische Raume . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141.4 Vektornormen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151.5 Skalarprodukte . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16

1.5.1 Unitare Matrizen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181.5.2 Die diskrete Fourier-Transformation . . . . . . . . . . . . . . . . . . . . 18

1.6 Matrixnormen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191.7 Eigenwerte und Eigenvektoren . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

1.7.1 Ahnlichkeit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241.7.2 Die Schur-Zerlegung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 251.7.3 Diagonalisierbarkeit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 261.7.4 Variationsformulierungen bei Hermiteschen Matrizen . . . . . . . . . . . 27

1.8 Die Spektralnorm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 291.9 Positiv definite Matrizen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 291.10 Projektionsoperatoren . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 321.11 Matrix-Polynome . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

1.11.1 Die Neumannsche Reihe . . . . . . . . . . . . . . . . . . . . . . . . . . . 341.12 Gleitkommazahlen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35

1.12.1 Gleitkommaarithmetik . . . . . . . . . . . . . . . . . . . . . . . . . . . . 361.13 Die Kondition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36

1.13.1 Stabilitat . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38

2 Lineare Ausgleichprobleme 412.1 Problemstellung, Grundlagen . . . . . . . . . . . . . . . . . . . . . . . . . . . . 412.2 Die QR-Zerlegung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

2.2.1 Das Gram-Schmidt-Verfahren . . . . . . . . . . . . . . . . . . . . . . . . 432.2.2 Das Householder-Verfahren . . . . . . . . . . . . . . . . . . . . . . . . . 462.2.3 Stabilitat des Householder-Verfahrens . . . . . . . . . . . . . . . . . . . 492.2.4 Das Givens-Verfahren . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50

2.3 Die Singularwertzerlegung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 512.4 Unitar invariante Normen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53

2.4.1 Die Pseudoinverse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 542.5 Stabilitat von linearen Ausgleichsproblemen . . . . . . . . . . . . . . . . . . . . 55

2.5.1 Das Householder-Verfahren . . . . . . . . . . . . . . . . . . . . . . . . . 55

3

Inhaltsverzeichnis

2.5.2 Das Gram-Schmidt-Verfahren . . . . . . . . . . . . . . . . . . . . . . . . 562.5.3 Normalgleichungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 562.5.4 Singularwertzerlegung . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57

3 Direkte Verfahren bei linearen Gleichungssystemen 593.1 Storungstheorie fur lineare Gleichungssysteme . . . . . . . . . . . . . . . . . . . 593.2 Gaußsche Elimination . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61

3.2.1 Die LR-Zerlegung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 613.2.2 Stabilitat . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 643.2.3 Band- und Skylinematrizen . . . . . . . . . . . . . . . . . . . . . . . . . 66

3.3 Die Cholesky-Zerlegung einer positiv definiten Matrix . . . . . . . . . . . . . . 693.4 Die LDLH-Zerlegung Hermitescher Matrizen . . . . . . . . . . . . . . . . . . . 713.5 Direkte Verfahren fur Toeplitz-Systeme . . . . . . . . . . . . . . . . . . . . . . 72

3.5.1 Spektralsatz fur zirkulante Matrizen . . . . . . . . . . . . . . . . . . . . 733.5.2 Die schnelle Fourier-Transformation (FFT) . . . . . . . . . . . . . . . . 743.5.3 Der Levinson-Algorithmus . . . . . . . . . . . . . . . . . . . . . . . . . . 773.5.4 Der Algorithmus von Trench . . . . . . . . . . . . . . . . . . . . . . . . 78

4 Iterative Verfahren 814.1 Elementare Iterationsverfahren . . . . . . . . . . . . . . . . . . . . . . . . . . . 83

4.1.1 Das Jacobi- und das Gauß-Seidel-Verfahren . . . . . . . . . . . . . . . . 844.1.2 Graph einer Matrix und irreduzible Matrizen . . . . . . . . . . . . . . . 854.1.3 Relaxationsverfahren . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 894.1.4 Konvergenzbeschleunigung . . . . . . . . . . . . . . . . . . . . . . . . . 924.1.5 Das Uzawa-Verfahren . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94

4.2 Nicht-negative Matrizen und M -Matrizen . . . . . . . . . . . . . . . . . . . . . 954.3 Krylov-Raume . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100

4.3.1 Das Arnoldi-Verfahren . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1014.3.2 Das Lanczos-Verfahren . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1024.3.3 Schwachbesetzte Matrizen . . . . . . . . . . . . . . . . . . . . . . . . . . 1034.3.4 Toeplitz-Matrizen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1054.3.5 Hierarchische Matrizen . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106

4.4 Projektionsverfahren . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1074.4.1 Eindimensionale Projektionen . . . . . . . . . . . . . . . . . . . . . . . . 108

4.5 Arnoldi- und Lanczos-Verfahren bei Gleichungssystemen . . . . . . . . . . . . . 1094.5.1 FOM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1104.5.2 GMRES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1124.5.3 Vorkonditioniertes GMRES . . . . . . . . . . . . . . . . . . . . . . . . . 114

4.6 Das konjugierte Gradienten-Verfahren . . . . . . . . . . . . . . . . . . . . . . . 1154.6.1 Das vorkonditioniere CG-Verfahren . . . . . . . . . . . . . . . . . . . . . 1194.6.2 CGN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120

4.7 Biorthogonalisierungsverfahren . . . . . . . . . . . . . . . . . . . . . . . . . . . 1214.7.1 Lanczos-Biorthogonalisierung . . . . . . . . . . . . . . . . . . . . . . . . 1214.7.2 BiCG . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1234.7.3 QMR . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1244.7.4 CGS und BiCGStab . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125

4.8 Vorkonditionierer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128

4

Inhaltsverzeichnis

4.8.1 Jacobi-, Gauß-Seidel- und SOR-Vorkonditionierer . . . . . . . . . . . . . 1294.8.2 ILU -Vorkonditionierer . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1304.8.3 Approximative Inverse-Vorkonditionierer . . . . . . . . . . . . . . . . . . 132

5 Eigenwertprobleme 1355.1 Das unsymmetrische Eigenwertproblem . . . . . . . . . . . . . . . . . . . . . . 135

5.1.1 Vektoriteration, inverse Iteration, orthogonale Iteration . . . . . . . . . 1365.1.2 Der QR-Algorithmus . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141

5.2 Das symmetrische Eigenwertproblem . . . . . . . . . . . . . . . . . . . . . . . . 1455.2.1 Storung der Eigenwerte . . . . . . . . . . . . . . . . . . . . . . . . . . . 1465.2.2 Das Rayleigh-Quotienten Verfahren . . . . . . . . . . . . . . . . . . . . 1475.2.3 Jacobi-Verfahren . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1515.2.4 Bisektionsverfahren . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1525.2.5 Divide-and-Conquer Algorithmus . . . . . . . . . . . . . . . . . . . . . . 1545.2.6 Berechnung der Singularwertzerlegung . . . . . . . . . . . . . . . . . . . 155

5

Inhaltsverzeichnis

6

1 Grundlagen

Von zentralen Interesse bei dieser Vorlesung ist die Menge Km×n aller m × n-Matrizen uberden Korper K. Dabei sind m,n ∈ N zwei naturliche Zahlen, die die Anzahl der Zeilen bzw. dieAnzahl der Spalten beschreiben.

A ∈ Km×n ⇐⇒ A =

⎡⎢⎣a11 · · · a1n

......

am1 · · · amn

⎤⎥⎦ , aij ∈ K.

Hier und im Folgenden verwenden wir K ∈ R,C. Fur Matrizen definiert man folgende Ope-rationen:

1. Matrix-Addition: A+B ∈ Km×n mit A ∈ Km×n und B ∈ Km×n

(A+B)ij = aij + bij , 1 ≤ i ≤ m, 1 ≤ j ≤ n.

2. Multiplikation mit Skalaren: λA ∈ Km×n mit λ ∈ K und A ∈ Km×n

(λA)ij = λaij , 1 ≤ i ≤ m, 1 ≤ j ≤ n.

3. Matrix-Produkt: AB ∈ Km×n mit A ∈ Km×p, B ∈ Kp×n

(AB)ij =p∑

=1

aibj, 1 ≤ i ≤ m, 1 ≤ j ≤ n.

Die Menge Km×n wird durch die Matrix-Addition und die Multiplikation mit Skalaren zumVektorraum.

Die Matrix AT ∈ Kn×m mit (AT )ij = aji, i = 1, . . . ,m, j = 1, . . . , n,

A =

⎡⎢⎣a11 · · · a1n

......

am1 · · · amn

⎤⎥⎦ ∈ Km×n ⇐⇒ AT =

⎡⎢⎣a11 · · · a1m

......

an1 · · · anm

⎤⎥⎦ ∈ Kn×m

wird als transponierte und AH ∈ Kn×m mit (AH)ij = aji als adjungierte Matrix zu A bezeich-net. Man bezeichnet A ∈ Kn×n als

• symmetrisch, falls AT = A

• Hermitesch, falls AH = A

• schief-symmetrisch, falls AT = −A

7

1 Grundlagen

• schief-Hermitesch, falls AH = −A.

Offenbar kann jede Matrix A ∈ Kn×n als Summe einer Hermiteschen und einer schief-HermiteschenMatrix dargestellt werden:

A =12(A+AH) +

12(A−AH). (1.1)

Fur A,B ∈ Km×n und λ ∈ K gilt (AT )T = A, (AH)H = A und

(A+ λB)T = AT + λBT und (A+ λB)H = AH + λBH .

Außerdem gilt fur A ∈ Km×p und B ∈ Kp×n

(AB)T = BTAT und (AB)H = BHAH .

Fur n = 1 bezeichnet man eine Matrix als Spaltenvektor und identifiziert den Km×1 mitdem Km. Entsprechend spricht man bei Elementen des K1×n von Zeilenvektoren. Der Vektorek ∈ Km mit

(ek)i =

1, i = k

0, i = k

wird als k-ter kanonischer Einheitsvektor bezeichnet. Wir werden Matrizen immer durch Groß-buchstaben und Vektoren durch Kleinbuchstaben kennzeichnen.

Seien u ∈ Km und v ∈ Kn. Das Matrix-Produkt

uvH =

⎡⎢⎣u1v1 . . . u1vn

......

umv1 . . . umvn

⎤⎥⎦ ∈ Km×n

wird als Dyade oder außeres Produkt bezeichnet. Im Fall m = n bezeichnet man das Matrix-Produkt

vHu =n∑

i=1

uivi ∈ K

als inneres Produkt.

1.0.1 Strukturierte Matrizen

Die Existenz von Nullen in einer Matrix kann zur Verringerung des Speicheraufwands undzur Vereinfachung oben genannter Matrix-Operationen ausgenutzt werden. Dies fallt besonderseinfach, wenn die Verteilung der Null-Eintrage strukturiert ist. Man unterscheidet die folgendenStrukturtypen einer Matrix A ∈ Km×n:

• diagonale Matrizen: aij = 0 fur i = j. Man schreibt auch

A = diag(a11, . . . , akk), wo k = min m,n .

• obere Dreiecksmatrizen: aij = 0 fur i > j

• untere Dreiecksmatrizen: aij = 0 fur j > i

• obere Hessenberg Matrizen: aij = 0 fur i > j + 1

8

1.1 Inverse, Determinante und Spur

• untere Hessenberg Matrizen: aij = 0 fur j > i+ 1

• Bandmatrizen: aij = 0 fur i > j+p oder j > i+q. Die Zahlen p, q ∈ N0 werden als unterebzw. obere Bandbreite bezeichnet. Die Zahl p+ q + 1 heißt Bandbreite von A.

• tridiagonale Matrizen: aij = 0 fur |i− j| > 1. Man schreibt auch

A = tridiag(ai,i−1, aii, ai,i+1).

Bemerkung 1.0.1. Fur schief-symmetrische Matrizen gilt diag(A) = 0.

1.0.2 Block-Matrizen

Sei A ∈ Km×n und I ⊂ 1, . . . ,m, J ⊂ 1, . . . , n. Mit AIJ bezeichnen wir die Untermatrixvon A in den Zeilen I und den Spalten J . AII wird als Hauptabschnittsmatrix bezeichnet.Die Determinante einer quadratischen Untermatrix nennt man Minor. Ist die Untermatrix eineHauptabschnittsmatrix, so wird deren Determinante als Hauptminor bezeichnet. Gelegentlichwerden wir die Schreibweise Ai1:i2,j1:j2 fur die Untermatrix in den Zeilen i1, . . . , i2 und denSpalten j1, . . . , j2 von A verwenden.

Sei A ∈ Km×n und I1, . . . , Is eine Zerlegung der Indexmenge 1, . . . ,m, J1, . . . , Jt eineZerlegung von 1, . . . , n. Die Matrix der Blocke AIkJ

, k = 1, . . . , s, = 1, . . . , t, wird alsBlockmatrix bezeichnet.

A =

⎡⎢⎣AI1J1 . . . AI1Jt

......

AIsJ1 . . . AIsJt

⎤⎥⎦

Sind zwei Matrizen A ∈ Km×p und B ∈ Kp×n so zerlegt, dass die Zerlegungen der In-dexmenge 1, . . . , p ubereinstimmen, so heißen sie konform, und es lasst sich das blockweiseMatrix-Produkt definieren

(AB)IkJ=

r∑ν=1

AIkKνBKνJ, k = 1, . . . , s, = 1, . . . , t.

Dabei bezeichnet K1, . . . ,Kr eine Zerlegung der Menge 1, . . . , p.Beispiel 1.0.2. Bei konformer 2× 2 Blockung ergibt sich[

A11 A12

A21 A22

] [B11 B12

B21 B22

]=

[A11B11 +A12B21 A11B12 +A12B22

A21B11 +A22B21 A21B12 +A22B22

].


Eine Matrix mit derselben Anzahl Zeilen und Spalten heißt quadratisch. Ein wichtiges Beispielfur eine quadratische Diagonalmatrix ist die Einheitsmatrix

In := diag(1, . . . , 1) ∈ Kn×n.

Definition 1.1.1. Sei A ∈ Kn×n eine quadratische Matrix. Existiert ein C ∈ Kn×n, so dassCA = AC = In, so wird C als die Inverse von A bezeichnet. In diesem Fall heißt A invertierbar,und man schreibt C = A−1.

9

1 Grundlagen

Die Inverse einer Matrix ist eindeutig bestimmt, und es gelten die folgenden Rechenregeln:Theorem 1.1.2. Seien A,B ∈ Kn×n invertierbar. Dann gilt

(i) (A−1)−1 = A

(ii) (AB)−1 = B−1A−1

(iii) (AH)−1 = (A−1)H = A−H , (AT )−1 = (A−1)T = A−T

(iv) B−1 = A−1 −B−1(B −A)A−1.

Definition 1.1.3. Eine Permutation ist eine bijektive Abbildung 1, . . . , n → 1, . . . , n. DieMenge aller Permutationen wird mit Pn bezeichnet. Eine Permutation heißt Transposition, fallssie zwei Elemente aus 1, . . . , n vertauscht und alle ubrigen fest laßt.

Bemerkung 1.1.4. Offensichtlich gilt τ−1 = τ fur jede Transposition τ . Zu jedem p ∈ Pn gibtes Transpositionen τ1, . . . , τk mit p = τk · · · τ1.

Jede Permutation p ∈ Pn kann als Matrix P ∈ Rn×n, sog. Permutationsmatrix, dargestelltwerden: (Px)i = xp(i), i = 1, . . . , n, x ∈ Kn. Die Matrix P ist invertierbar, und fur die Eintragevon P gilt

Pij = (ep(i))j .

Die Abbildung A → PA permutiert die Zeilen, A → AP permutiert die Spalten von A.Ist p ∈ Pn, so wird ein Paar (i, j) ∈ 1, . . . , n × 1, . . . , n mit i < j und p(i) > p(j) als

Fehlstand bezeichnet. Man definiert das Signum einer Permutation p ∈ Pn durch

sign p =

+1, falls die Anzahl der Fehlstande von p gerade ist−1, falls die Anzahl der Fehlstande von p ungerade ist.

Definition 1.1.5. Die Determinante einer Matrix A ∈ Kn×n ist definiert durch

detA =∑p∈Pn

(sign p)n∏

i=1

aip(i).

Eine regulare Matrix erfullt detA = 0. Im anderen Fall wird A als singular bezeichnet.

Aus dieser Definition folgt, dass detAT = detA und detAH = detATheorem 1.1.6. Die Determinante besitzt folgende charakterisierende Eigenschaften

(i) det ist linear in jeder Spalte, d.h.

det(a1 + λa′1, a2, . . . , an) = det(a1, a2, . . . , an) + λdet(a′1, a2, . . . , an).

(ii) det ist alternierend, d.h.

det(. . . , ak, . . . , a, . . . ) = − det(. . . , a, . . . , ak, . . . ), k = .

(iii) det ist normiert, d.h. det In = 1.

Bemerkung 1.1.7. Insbesondere folgt, dass die Determinante einer Matrix mit zwei gleichenSpalten oder einer Nullspalte verschwindet.

10


Die Definition 1.1.5 der Determinanten ist manchmal unhandlich. Es gilt aber der nunfolgende Laplace’sche Determinanten-Entwicklungssatz. Sei A ∈ Kn×n, J ⊂ 1, . . . , n undk = |J |. Mit MJ(A) bezeichnen wir die Menge der k × k Untermatrizen in den Spalten J vonA. Sei M ∈MJ(A) und M ′ die komplementare Matrix zu M , d.h. diejenige (n− k)× (n− k)Matrix, die durch Loschen der Zeilen I = i1, . . . , ik und der Spalten J = j1, . . . , jk von Min A entsteht. Wir definieren

C(M) = (−1)σ(I,J) detM ′, wo σ(I, J) = i1 + · · ·+ ik + j1 + · · ·+ jk. (1.2)

Theorem 1.1.8 (Laplace). Es gilt detA =∑

M∈MJ (A) C(M) detM .

Theorem 1.1.9. Es gilt det(AB) = (detA)(detB)

Beweis. Nach dem Laplace’schen Entwicklungssatz gilt

det[A11 A12

0 A22

]= (detA11)(detA22). (1.3)

Die Behauptung folgt durch Anwendung der Determinanten auf die Zerlegung[0 AB−In B

]=

[In A0 In

] [A 0−In B

].

Bemerkung 1.1.10. Aus (1.3) folgt, dass

det

⎡⎢⎣a11 . . . a1n

. . ....ann

⎤⎥⎦ =

n∏i=1

aii.

Analoges gilt fur untere Dreiecksmatrizen.Fur den Spezialfall k = 1 in (1.2) bezeichnet man die Matrix adjA ∈ Kn×n definiert durch

(adjA)ij = C(aji), i, j = 1, . . . , n

als Adjunkte von A.Lemma 1.1.11. Fur A ∈ Kn×n gilt (adjA)A = A(adjA) = (detA)In.

Theorem 1.1.12. A ∈ Kn×n ist genau dann regular, wenn A invertierbar ist. Es gilt danndet(A−1) = (detA)−1.

Beweis. Ist A invertierbar, so existiert A−1 mit A−1A = In. Die Anwendung der Determinantenergibt 1 = det(A−1A) = det(A) det(A−1). Daher muss detA = 0 gelten.

Ist detA = 0, so definiere C := (detA)−1adjA ∈ Kn×n. Nach Lemma 1.1.11 gilt AC =CA = In.

Theorem 1.1.13. Seien I, J ⊂ 1, . . . , n Zeilen bzw. Spalten einer regularen Matrix A ∈Kn×n. Dann gilt fur den Minor von A−1 in diesen Zeilen und Spalten

det[(A−1)IJ ] =C(AJI)detA

.

11

1 Grundlagen

Die Losung von Gleichungssystemen laßt sich mit Hilfe der Cramerschen Regel ausdrucken:Theorem 1.1.14. Seien a1, . . . , an die Spalten einer regularen Matrix A ∈ Kn×n. Dann lostder Vektor x ∈ Kn mit den Komponenten

xi =det (a1, . . . , ai−1, b, ai+1, . . . , an)

detA, i = 1, . . . , n,

das Gleichungssystem Ax = b.

Auch die Inverse kann in Blockform angegeben werden. Dazu rechnet man leicht nach, dassfur die Inverse von Block-Dreiecksmatrizen gilt[

A11 A12

0 A22

]−1

=[A−1

11 −A−111 A12A

−122

0 A−122

](1.4)

und [A11 0A21 A22

]−1

=[

A−111 0

−A−122 A21A

−111 A−1

22

]. (1.5)

Hierbei wird angenommen, dass A11 und A22 quadratisch und invertierbar sind.Theorem 1.1.15. Die Inverse einer invertierbaren oberen (unteren) Dreiecksmatrix ist eineobere (untere) Dreiecksmatrix.

Beweis. Wende Formel (1.4) bzw. (1.5) rekursiv an.

Aufgabe 1.1.16. Das Produkt zweier oberer (unterer) Dreiecksmatrizen ist eine obere (untere)Dreiecksmatrix. Ist der Diagonalanteil einer oberen (unteren) Dreiecksmatrix die Einheitsma-trix, so gilt dies auch fur die Inverse und das Produkt zweier solche Matrizen.Theorem 1.1.17. Sei A ∈ Kn×n invertierbar,

A =[A11 A12

A21 A22

]mit Aii ∈ Kni×ni .

A11 ist genau dann invertierbar, wenn das Schur-Komplement S = A22−A21A−111 A12 invertier-

bar ist. In diesem Fall gelten die Frobenius-Formeln

A−1 =[A−1

11 +A−111 A12S

−1A21A−111 −A−1

11 A12S−1

−S−1A21A−111 S−1

].

Insbesondere gilt detA = (detA11)(detS).Die folgende Binet-Cauchy-Formel erinnert an die blockweise Matrix-Matrix-Multiplikation.

Theorem 1.1.18. Seien A ∈ Km×p, B ∈ Kp×n und I ⊂ 1, . . . ,m, J ⊂ 1, . . . , n mit1 ≤ |I| = |J | =: r ≤ min m, p, n.

det(AB)IJ =∑K

(detAIK)(detBKJ),

wobei die Summe uber alle Untermengen K von 1, . . . , p mit Kardinalitat r geht.

Definition 1.1.19. Die Spur von A ∈ Kn×n wird definiert als die Summe der Diagonaleintrage

traceA =n∑

i=1

aii.

12

1.2 Unterraume, Kern und Bildraum

1.2 Unterraume, Kern und Bildraum

Ein Vektorsystem M := v1, . . . , vk heißt linear unabhangig, falls aus∑k

i=1 αivi = 0 stets αi =0, i = 1, . . . , k, folgt. Die Dimension eines Unterraums U ist die großtmogliche Anzahl linearunabhangiger Vektoren in U . Die Menge der Linearkombinationen von M ist ein Unterraumund wird als lineare Hulle von M bezeichnet:

span v1, . . . , vk =

k∑

i=1

αivi, αi ∈ K

.

Sind die Vektoren vi linear unabhangig, so kann jeder Vektor x ∈ spanM eindeutig als Linear-kombination der Vektoren vi dargestellt werden.M wird dann als Basis von spanM bezeichnet.

Die Summe zweier Unterraume U1 und U2 ist die Menge

U1 + U2 := u1 + u2 : u1 ∈ U1, u2 ∈ U2

und ist selbst ein Unterraum. Gilt U1∩U2 = 0, so wird die Summe als direkt bezeichnet, manschreibt dann U1 ⊕ U2. Jeder Vektor u ∈ U1 ⊕ U2 kann eindeutig als Summe zweier Vektorenu1 ∈ U1 und u2 ∈ U2 dargestellt werden. Der Schnitt U1 ∩ U2 zweier Unterraume ist ebenfallsein Unterraum.Aufgabe 1.2.1. Seien U1 und U2 zwei Unterraume des Kn. Zeige:

1. Gilt U1 ∩ U2 = 0, so ist U1 ⊕ U2 = Kn genau dann, wenn dimU1 + dimU2 = n.

2. Es gilt dimU1 ∩ U2 ≥ dimU1 + dimU2 − n.

3. Gilt U1 ⊂ U2 mit dimU1 = dimU2, so folgt U1 = U2.

Matrizen A ∈ Km×n konnen in Form der Matrix-Vektor Multiplikation x → Ax als lineareAbbildungen φ : Kn → Km betrachtet werden, d.h.

φ(x+ µy) = φ(x) + µφ(y) fur alle x, y ∈ Kn und µ ∈ K.

Entsprechend definiert man Bildraum und Kern fur Matrizen.Definition 1.2.2. Fur A ∈ Km×n bezeichnet man die Menge RanA = Ax, x ∈ Kn alsBildraum und kerA = x ∈ Kn : Ax = 0 als Kern (Nullraum) von A. Außerdem seien

rankA := dimRanA und def A := dim kerA

der Rang bzw. der Defekt von A. Die Matrix A hat vollen Rang, falls rankA = min m,n.Ein Unterraum U wird als invariant unter A bezeichnet, falls AU ⊂ U gilt. kerA und RanA

sind A-invariante Unterraume.Theorem 1.2.3. Sei A ∈ Km×n und B ∈ Kn×p. Dann gilt

(i) RanA = span a1, . . . , an, wo ai die Spalten von A

(ii) rankAT = rankA und rankAH = rankA.

(iii) def A+ rankA = n

(iv) rankAB ≤ min rankA, rankB

13

1 Grundlagen

(v) kerA = kerAHA.

Theorem 1.2.4. Sei A ∈ Kn×n. Es sind aquivalent:

(i) A ist invertierbar

(ii) Die Spalten von A sind linear unabhangig

(iii) kerA = 0(iv) A ist injektiv

(v) A ist surjektiv.

Theorem 1.2.5. Sei A ∈ Km×n. Dann sind aquivalent

(i) A hat Rang r

(ii) es existiert eine regulare r × r Untermatrix und jede (r + 1) × (r + 1) Untermatrix istsingular

(iii) es existieren U ∈ Km×r, V ∈ Kn×r mit vollem Rang, so dass A = UV H .

Der folgende Satz von Sherman, Morrison und Woodbury besagt, dass ein Rang-r Updateeiner Matrix ein Rang-r Update der Inversen zur Folge hat.

Theorem 1.2.6. Sei A ∈ Kn×n regular und U, V ∈ Kn×r. Genau dann ist A + UV H regular,wenn Ir + V HA−1U regular ist. Es gilt dann(

A+ UV H)−1

= A−1 −A−1U(Ir + V HA−1U

)−1V HA−1.

Insb. gilt detA+ UV H = (detA)(det Ir + V HA−1U).

Aufgabe 1.2.7. Sei

A =[A11 A12

A21 A22

]invertierbar und A−1 =

[B11 B12

B21 B22

].

Zeige, dass rankB12 = rankA12 und rankB21 = rankA21.

1.3 Metrische Raume

Definition 1.3.1. Eine Abbildung d : M ×M → R heißt Metrik uber eine Menge M , falls furalle x, y, z ∈M gilt:

(i) d(x, y) ≥ 0

(ii) d(x, x) = 0 ⇐⇒ x = y

(iii) d(x, y) = d(y, x)

(iv) d(x, y) ≤ d(x, z) + d(z, y).

Das Paar (M,d) heißt metrischer Raum und d(x, y) Abstand (Distanz) von x und y.

14

1.4 Vektornormen

Definition 1.3.2. Sei (M,d) ein metrischer Raum. x ∈ M heißt Grenzwert einer Folgexkk∈N

⊂M , falls

limk→∞

d(xk, x) = 0.

Man sagt dann, dass xkk∈Ngegen x konvergiert und schreibt xk → x fur k → ∞ bzw.

limk→∞ xk = x.

Theorem 1.3.3. Eine Folge xkk∈Nbesitzt hochstens einen Grenzwert. Konvergiert xkk∈N

gegen x, so gilt dies auch fur jede Teilfolge xnkk∈N

⊂ xkk∈N.

Theorem 1.3.4. Seien xkk∈Nund ykk∈N

zwei Folgen mit Grenzwerten x bzw. y. Danngilt limk→∞ d(xk, yk) = d(x, y).

Definition 1.3.5. Eine Folge xkk∈Nwird als Cauchy-Folge bezeichnet, falls zu jedem ε > 0

ein N = N(ε) ∈ N derart existiert, dass d(xn, xm) < ε fur alle m,n ≥ N gilt.

Theorem 1.3.6. Es gelten

(i) Eine konvergente Folge ist eine Cauchy-Folge.

(ii) Jede Teilfolge einer Cauchy-Folge ist eine Cauchy-Folge.

(iii) Besitzt eine Cauchy-Folge eine konvergente Teilfolge, so konvergiert sie selbst gegen diesenGrenzwert.

Die Umkehrung der ersten Aussage gilt im Allgemeinen nicht.

Definition 1.3.7. Ein metrischer Raum (M,d) heißt vollstandig, falls jede Cauchy-Folge einenGrenzwert besitzt.

Theorem 1.3.8. Eine abgeschlossene Untermenge eines vollstandigen metrischen Raums istvollstandig metrisch.

1.4 Vektornormen

Definition 1.4.1. Sei V ein Vektorraum uber K und ‖ · ‖ : V → R eine Abbildung mit denEigenschaften

(i) ‖v‖ > 0 fur 0 = v ∈ V (Positivitat)

(ii) ‖αv‖ = |α| ‖v‖ fur alle α ∈ K und v ∈ V (Homogenitat)

(iii) ‖u+ v‖ ≤ ‖u‖+ ‖v‖ fur alle u, v ∈ V (Dreiecksungleichung).

Dann heißt ‖ · ‖ Norm auf V und (V, ‖ · ‖) normierter Raum.

Definition 1.4.2. Ein vollstandiger normierter Raum heißt Banach-Raum.

Bemerkung 1.4.3. Eine Norm ‖ · ‖ induziert auf V eine Metrik d(u, v) := ‖u− v‖ und somiteine Topologie und einen Konvergenzbegriff. Sie ist außerdem Lipschitz-stetig auf V , weil diesog. umgekehrte Dreiecksungleichung

| ‖u‖ − ‖v‖ | ≤ ‖u− v‖ fur alle u, v ∈ V

gilt.

15

1 Grundlagen

Beispiel 1.4.4. Sei T ∈ Kn×n regular und ‖ · ‖ eine Norm auf Kn. Dann ist

‖x‖T := ‖Tx‖

ebenfalls eine Norm auf Kn.

Die Euklidische Norm ‖ · ‖2 ist eine der wichtigen p-Normen auf Kn:

‖x‖p :=

(n∑

i=1

|xi|p)1/p

, 1 ≤ p <∞. (1.6)

Der punktweise Grenzwert von ‖ · ‖p existiert fur p→∞ und stimmt mit dem betragsmaßigenMaximum

‖x‖∞ = maxi=1,...,n

|xi| (1.7)

der xi, i = 1, . . . , n, uberein. Auf Kn werden durch (1.6) und (1.7) Normen definiert.

Definition 1.4.5. Zwei Normen ‖ · ‖a und ‖ · ‖b auf einem Vektorraum V heißen aquivalent,falls Konstanten c, C > 0 existieren, so dass

c‖v‖a ≤ ‖v‖b ≤ C‖v‖a fur alle v ∈ V.

Bemerkung 1.4.6. Aquivalente Normen erzeugen gleiche Topologien und somit den gleichenKonvergenzbegriff.

Lemma 1.4.7. Zwei Normen auf jedem endlich dimensionalen Raum V sind aquivalent.

Aufgabe 1.4.8. Zwischen den p-Normen bestehen die folgenden Ungleichungen

‖x‖∞ ≤ ‖x‖2 ≤ ‖x‖1 ≤√n‖x‖2 ≤ n‖x‖∞, x ∈ Kn.

1.5 Skalarprodukte

Definition 1.5.1. Ein Skalarprodukt auf einem Vektorraum V ist eine positive, HermitescheSesquilinearform (·, ·) : V × V → K, d.h. es gilt

(i) (x, x) > 0 fur alle 0 = x ∈ V

(ii) (x+ αx′, y) = (x, y) + α(x′, y) fur alle x, x′, y ∈ V und alle α ∈ K

(iii) (x, y) = (y, x) fur alle x, y ∈ V .

Das Paar (V, (·, ·)) heißt dann Pra-Hilbert-Raum.

Beispiel 1.5.2. (a) Durch das Euklidische innere Produkt

(x, y) := yHx =n∑

i=1

xiyi

wird ein Skalarprodukt definiert. Wenn im Folgenden nicht angegeben wird, bzgl. welchemSkalarprodukt die jeweilige Aussage gilt, so ist das Euklidische Skalarprodukt gemeint.

16

1.5 Skalarprodukte

(b) Hat A ∈ Km×n vollen Rang und ist (·, ·) ein Skalarprodukt auf Km, so ist auch

(x, y)A := (Ax,Ay)

ein Skalarprodukt auf Kn.

(c) Sei ‖ · ‖ eine Norm auf Kn. Die zugehorige Dualnorm ‖ · ‖′ ist definiert durch

‖x‖′ = max (x, y), ‖y‖ = 1 .Zeige, daß die Dualnorm der p-Norm die q-Norm ist, wobei p, q ≥ 1 ein Holder-Paar sei,d.h. 1/p + 1/q = 1.

Lemma 1.5.3. Fur ein Skalarprodukt (·, ·) gilt die Cauchy-Schwartz’sche Ungleichung

(u, v)2 ≤ (u, u) (v, v) fur alle u, v ∈ V. (1.8)

Gleichheit gilt genau im Fall der linearen Abhangigkeit von u und v.

Durch ein Skalarprodukt (·, ·) wird eine Norm

‖u‖ :=√

(u, u)

induziert, denn mit (1.8) hat man

‖u+ v‖2 = (u+ v, u+ v) = ‖u‖2 + ‖v‖2 + 2Re (u, v)

≤ ‖u‖2 + ‖v‖2 + 2‖u‖‖v‖ = (‖u‖ + ‖v‖)2.Definition 1.5.4. Ein bzgl. der induzierten Norm vollstandiger Pra-Hilbert-Raum (V, (·, ·))wird Hilbert-Raum genannt.

Definition 1.5.5. Seien (·, ·)1 und (·, ·)2 Skalarprodukte auf Km bzw. Kn. Die Adjungierteeiner Matrix A ∈ Km×n ist die Matrix A∗ ∈ Kn×m definiert durch

(Ax, y)1 = (x,A∗y)2 fur alle x ∈ Kn, y ∈ Km.

Die Matrix A ∈ Kn×n heißt selbstadjungiert und im reellen Fall symmetrisch bzgl. des Skalar-produktes (·, ·), falls A mit ihrer Adjungierten A∗ ubereinstimmt, d.h. falls gilt

(Ax, y) = (x,Ay) fur alle x, y ∈ Kn.

Beispiel 1.5.6. Die Matrix AH ∈ Kn×m ist die Adjungierte von A ∈ Km×n bzgl. des Euklidi-schen inneren Produktes, weil yHAx = (AHy)Hx fur alle x ∈ Kn, y ∈ Km.

Definition 1.5.7. Eine Untermenge M eines Pra-Hilbert-Raums (V, (·, ·)) heißt orthogonal,falls

(x, y) = 0 fur alle x, y ∈M, x = y.

Sie bildet eine Orthogonalbasis eines Unterraums U ⊂ V , falls U = spanM . Sind die Vektorenvon M zusatzlich normiert, d.h. gilt ‖x‖ = 1 fur alle x ∈M , so wird M als Orthonormalbasisbezeichnet.

Lemma 1.5.8. Jedes orthogonale Vektorsystem kann zu einer Orthogonalbasis des Kn ver-vollstandigt werden.

Aufgabe 1.5.9. Jedes orthogonale Vektorsystem ist linear unabhangig.

17

1 Grundlagen

Definition 1.5.10. Zwei Mengen M1,M2 ⊂ Kn werden als bzgl. eines Skalarproduktes (·, ·)orthogonal bezeichnet, falls (x, y) = 0 fur alle x ∈ M1, y ∈ M2. Mit dem orthogonalen Kom-plement eines Unterraums U ⊂ Kn meint man die Menge

U⊥ = y ∈ Kn : (x, y) = 0 fur alle x ∈ U .

Theorem 1.5.11. Sei (·, ·) ein Skalarprodukt. Mit U ist auch U⊥ ein Unterraum des Kn, undes gilt Kn = U ⊕ U⊥ und (U⊥)⊥ = U .

Theorem 1.5.12. Sei A ∈ Km×n. Dann gilt (RanA)⊥ = kerAH .

Theorem 1.5.13 (Projektionssatz). Sei U ⊂ Kn ein Unterraum und x ∈ Kn. Genau dannist x′ ∈ U das eindeutig bestimmte Element bester Approximation, d.h.

miny∈U

‖x− y‖2 = ‖x− x′‖2,

wenn x− x′ ⊥ U .

1.5.1 Unitare Matrizen

Definition 1.5.14. Eine Matrix Q ∈ Kn×n heißt bzgl. eines Skalarproduktes (·, ·) unitar, falls

(Qx,Qy) = (x, y) fur alle x, y ∈ Kn.

Im reellen Fall heißt Q ∈ Rn×n orthogonal.Bemerkung 1.5.15. Sei Q ∈ Kn×n unitar. Dann gilt

(a) Es gilt QHQ = QQH = In. Daher ist Q regular, und Inverse und Adjungierte stimmenuberein: Q−1 = QH

(b) Die Menge Un ⊂ Kn×n der unitaren Matrizen bildet eine Gruppe bzgl. der Matrix-Multiplikation, d.h. In ∈ Un, zu Q ∈ Un existiert Q−1 ∈ Un und fur Q1, Q2 ∈ Un folgtQ1Q2 ∈ Un.

(c) Sowohl die Spalten als auch Zeilen von Q bilden eine Orthogonalbasis des Kn

(d) Wegen 1 = detQHQ = (detQ)2 gilt |detQ| = 1

(e) ‖Qx‖2 = ‖x‖2 fur alle x ∈ Kn. Die Abbildung x → Qx ist daher eine Isometrie. IstQ ∈ Km×n mit QHQ = In, so gilt ebenfalls ‖Qx‖2 = ‖x‖2.

Beispiel 1.5.16. (a) Jede Permutationsmatrix P ∈ Pn ist orthogonal. (b) Sei S ∈ Kn×n

schief-Hermitesch. Nach Theorem 1.7.38 ist In − S invertierbar. Die Cayley-TransformationQ := (In − S)−1(In + S) ist unitar.

1.5.2 Die diskrete Fourier-Transformation

Definition 1.5.17. Die Matrix Fn ∈ Cn×n mit den Eintragen

fk = ω(k−1)(−1)n , k, = 1, . . . , n, wo ωn = exp

2πni,

heißt Matrix der diskreten Fourier-Transformation oder kurz Fourier-Matrix.

18

1.6 Matrixnormen

Eng verbunden mit der Fourier-Matrix ist die folgende Matrix

Qn =

⎡⎢⎢⎣

11

1

⎤⎥⎥⎦ ∈ Rn×n.

Theorem 1.5.18. Es gilt

(i) FnFHn = FH

n Fn = nIn, d.h. n−1/2Fn ist unitar.

(ii) Fn = F Tn

(iii) F 2n = nQn, insb. F 4

n = n2In, weil Q2n = In

(iv) FHn = QnFn = FnQn

Beweis.

(FHF )k =n−1∑j=0

ωkjn ω

jn =

n−1∑j=0

exp i2πnj( − k) =

n, = k

0, l = k.

Bemerkung 1.5.19. Das Matrix-Vektor-Produkt Fnx kann mit Hilfe der schnellen Fourier-Transformation (FFT) in O(n log n) Operationen berechnet werden. Spater (Abschnitt 3.5.2)mehr dazu.

1.6 Matrixnormen

Weil der Raum aller m× n Matrizen isomorph zu Kmn ist, konnen wir auf Km×n jede Vektor-norm als Matrixnorm verwenden.Definition 1.6.1. Eine Matrixnorm heißt submultiplikativ, falls

‖AB‖ ≤ ‖A‖ ‖B‖ fur alle A ∈ Km×p, B ∈ Kp×n.

Beispiel 1.6.2. Auf Km×n definieren wir analog zur Maximumsnorm ‖A‖ = maxij |aij |. Diesist eine Norm auf Km×n, die nicht submultiplikativ ist, weil fur

A = B =[1 11 1

]

gilt ‖AB‖ > ‖A‖ ‖B‖.Definition 1.6.3. Sind Vektornormen ‖ · ‖α und ‖ · ‖β auf Km bzw. Kn gegeben, so definiertman die diesen Normen zugeordnete (oder durch sie induzierte) Matrixnorm auf Km×n durch

‖A‖αβ := maxx =0

‖Ax‖α‖x‖β = max

‖x‖β=1‖Ax‖α.

Eine solche Norm wird als naturliche Matrixnorm bezeichnet.

Beispiel 1.6.4. Die Matrixnorm ‖A‖ = maxij |aij |, A ∈ Km×n, ist den Normen ‖ · ‖∞ auf Km

und ‖ · ‖1 auf Kn zugeordnet.

19

1 Grundlagen

Beweis. Es gilt ‖Ax‖∞ = maxi |∑

j aijxj| ≤ maxi∑

j |aijxj| ≤ maxij |aij|‖x‖1. Sei ai0j0 = ‖A‖fur ein Indexpaar (i0, j0), dann folgt

‖Aej0‖∞ = maxi|aij0 | = |ai0j0 | = ‖A‖ ‖ej0‖1.

Definition 1.6.5. Eine Matrixnorm ‖ · ‖ heißt mit zwei Vektornormen ‖ · ‖α und ‖ · ‖β ver-traglich, falls gilt

‖Ax‖α ≤ ‖A‖ ‖x‖β fur alle A ∈ Km×n und alle x ∈ Kn.

Theorem 1.6.6. Sei A ∈ Km×p, B ∈ Kp×n und seien Vektornormen ‖ · ‖i, i = α, β, γ, auf Km,Kn bzw. Kp gegeben. Dann gilt fur die jeweils zugeordneten Matrixnormen

(i) ‖AB‖αβ ≤ ‖A‖αγ‖B‖γβ

(ii) ‖Ax‖α ≤ ‖A‖αγ‖x‖γ fur alle x ∈ Kp

(iii) es existiert x ∈ Kp mit ‖x‖γ = 1 und ‖Ax‖α = ‖A‖αγ

(iv) ‖Im‖αα = 1.

(v) Ist ‖ · ‖ eine mit ‖ · ‖α und ‖ · ‖β vertragliche Matrixnorm, so gilt ‖ · ‖αβ ≤ ‖ · ‖.Lemma 1.6.7. Sei A,T ∈ Km×m mit T regular. Dann gilt

‖A‖αα,T = ‖TAT−1‖αα,

wo ‖ · ‖αα,T die der Vektornorm ‖T · ‖α zugeordnete Matrixnorm ist.

Auf Km×n konnen wir durch

(A,B) := traceAHB = traceABH (1.9)

ein Skalarprodukt definieren. Es gilt (ACH , B) = (A,BC) = (BHA,C). Die induzierte Norm

‖A‖F := (A,A)1/2 =

⎛⎝ m∑

i=1

n∑j=1

|aij|2⎞⎠1/2

ist die wichtige Hilbert-Schmidt- oder Frobenius-Norm.Lemma 1.6.8. Die Frobenius-Norm ist submultiplikativ.

Beweis. Unter Verwendung der Cauchy-Schwartz’schen Ungleichung (1.8) sieht man fur A ∈Km×p und B ∈ Kp×n, dass

‖AB‖2F =m∑

i=1

n∑j=1

(AB)2ij =m∑

i=1

n∑j=1

(p∑

k=1

aikbkj

)2

≤m∑

i=1

n∑j=1

(p∑

k=1

a2ik

p∑k=1

b2kj

)= ‖A‖2F ‖B‖2F .

20

1.6 Matrixnormen

Der letzte Beweis gilt insbesondere fur n = 1. Daher ist die Frobenius-Norm zwar mit der2-Norm vertraglich, aber nicht der 2-Norm zugeornet. Die Frobenius-Norm ist namlich wegen‖In‖F =

√n keine naturliche Matrixnorm.

Beispiel 1.6.9. Die durch die ‖ · ‖1- und die ‖ · ‖∞-Norm jeweils induzierten Matrixnormensind:

‖A‖1 := maxx =0

‖Ax‖1‖x‖1 = max

j=1,...,n

m∑i=1

|aij | (maximale Spaltenbetragssumme)

‖A‖∞ := maxx =0

‖Ax‖∞‖x‖∞ = max

i=1,...,m

n∑j=1

|aij | (maximale Zeilenbetragssumme).

Die der Euklidischen Norm zugeordnete Matrixnorm ‖ · ‖2 wird spater untersucht.Beispiel 1.6.10. Sei A ∈ Km×n. Dann gilt

‖A‖2 ≤ ‖A‖F ≤ √m ‖A‖2,

maxij |aij | ≤ ‖A‖2 ≤ √mn maxij |aij |,

1√n‖A‖∞ ≤ ‖A‖2 ≤ √

m ‖A‖∞,1√n‖A‖1 ≤ ‖A‖2 ≤ √

m ‖A‖1,1n ‖A‖∞ ≤ maxij |aij | ≤ ‖A‖∞.

Beispiel 1.6.11. Sei

A =[Ip 0B In−p

].

Dann gilt ‖A‖2 ≤ 1 + ‖B‖2.Beweis. Die Behauptung folgt aus

‖A‖2 = supx∈Kn

‖Ax‖2‖x‖2 = sup

x∈Kn

‖[

x1

Bx1 + x2

]‖2

‖x‖2 ≤ supx∈Kn

‖x‖2 + ‖Bx1‖2‖x‖

≤ 1 + supx∈Kn

‖Bx1‖2‖x1‖2 = 1 + ‖B‖2.

Aufgabe 1.6.12. Zeige, dass

‖[I 0A I

]‖2 ≤ ‖

[I 0B I

]‖2,

falls ‖A‖2 ≤ ‖B‖2.Aufgabe 1.6.13. Zeige:

(a) A ∈ Kn×n erhalt die p-Norm, d.h.

‖Ax‖p = ‖x‖p ∀x ∈ Kn×n,

genau dann, wenn AT die q-Norm erhalt (p, q Holder-Paar).

21

1 Grundlagen

(b) Ist B eine Untermatrix in A, so gilt ‖B‖p ≤ ‖A‖p, 1 ≤ p ≤ ∞.

(c) Sei f eine Matrixnorm auf Kn×n, dann ex. c > 0, so daß ‖A‖ := cf(A) eine submultipli-kative Matrixnorm ist.

(d) Sei ‖ · ‖ eine naturliche Matrixnorm. Dann gilt ‖A‖−1 ≤ ‖A−1‖, falls A invertierbar ist.

1.7 Eigenwerte und Eigenvektoren

Aus der Definition der Determinaten sieht man, dass die Abbildung pA : C → C definiert durch

pA(z) = det(A− zIn)

ein Polynom n-ten Grades ist. Man bezeichnet dieses als das charakteristische Polynom vonA ∈ Kn×n.Definition 1.7.1. Das Spektrum von A ∈ Kn×n ist die Menge

σ(A) = λ ∈ C : pA(λ) = 0 .

Die Elemente von σ(A) heißen Eigenwerte von A. Ein Eigenwert hat die algebraische Vielfach-heit k, falls er k-fache Nullstelle von pA ist. Mit

ρ(A) = max |λ|, λ ∈ σ(A)

bezeichnet man den Spektralradius von A.

Bemerkung 1.7.2. Aus der obigen Definition erhalt man sofort die folgenden Aussagen:

(a) Da pA den Grad n hat, existieren nach dem Fundamentalsatz der Algebra genau n Null-stellen λ1, . . . , λn ∈ C

pA(z) = (z − λ1) · . . . · (z − λn), (1.10)

wenn sie entsprechend ihrer algebraischen Vielfachheiten gezahlt werden. Insbesonderekonnen auch reelle Matrizen komplexe Eigenwerte besitzen.

(b) Es gilt σ(AT ) = σ(A) und σ(AH) = σ(A) = σ(A).

(c) A ist genau dann singular, wenn 0 ∈ σ(A).

(d) Es gilt ρ(zA) = |z|ρ(A) fur z ∈ C.

(e) Der Spektralradius ist der kleinste Kreis um den Nullpunkt in der komplexen Ebene, deralle Eigenwerte enthalt.

Theorem 1.7.3 (Caley-Hamilton). Sei A ∈ Kn×n. Es gilt pA(A) = 0Beispiel 1.7.4. ρ ist keine Matrixnorm. Fur

A =[0 10 0

]

gilt namlich ρ(A) = 0, aber A = 0. Die Dreiecksungleichung gilt ebensowenig, weil ρ(A+AT ) =1 und ρ(A) + ρ(AT ) = 0 mit obiger Matrix A.

22


Lemma 1.7.5. Sei ‖ · ‖ eine naturliche Matrixnorm. Dann gilt ρ(A) ≤ ‖A‖ fur alle A ∈ Kn×n.

Beweis. Sei x = 0 ein Eigenvektor zum Eigenwert λ, d.h. Ax = λx. Aus |λ|‖x‖ = ‖λx‖ =‖Ax‖ ≤ ‖A‖ ‖x‖ folgt die Behauptung.

Lemma 1.7.6. Zu jedem ε > 0 und jedem A ∈ Kn×n existiert eine naturliche Matrixnorm‖ · ‖ε, so dass ‖A‖ε ≤ ρ(A) + ε.

Theorem 1.7.7. Seien λ1, . . . , λn die Eigenwerte von A ∈ Kn×n. Dann gilt

detA =n∏

i=1

λi und traceA =n∑

i=1

λi.

Fur einen Eigenwert λ ist A− λIn singular. Daher ist ker(A− λIn) nichttrivial.Definition 1.7.8. Sei A ∈ Kn×n. Mit Eλ := ker(A− λIn) bezeichnen wir den Eigenraum zumEigenwert λ von A. Unter der geometrische Vielfachheit eines Eigenwertes λ versteht man dieDimension des Eigenraums Eλ. Die Vektoren 0 = v ∈ Eλ heißen Eigenvektoren.

Die Bezeichnungen “Eigenwert” und “Eigenvektor” ruhren aus der Tatsache her, dass furλ ∈ σ(A) und v ∈ Eλ gilt Av = λv. Physikalisch bedeutet dies den Resonanzfall.Beispiel 1.7.9. Die Eigenwerte von A = tridiag(b, a, b) ∈ Rn×n sind

λk = a+ 2b cosπk

n+ 1, k = 1, . . . , n

und die Eigenvektoren

(vk)j = sinπjk

n+ 1, j = 1, . . . , n.

Aufgabe 1.7.10. Man zeige:

1. Seien λ1, . . . , λn die Eigenwerte von A ∈ Kn×n. Dann besitzt A + αIn die Eigenwerteλi + α, i = 1, . . . , n.

2. Ist A reell, so ist mit λ auch λ ein Eigenwert von A.

3. Ist A selbstadjungiert, so sind die Eigenwerte von A reell.

4. Sei A invertierbar und λ ein Eigenwert. Dann ist λ−1 ein Eigenwert von A−1.

5. Verschwinden alle Eigenwerte von A, so gilt A = 0.

6. Sei λ ein Eigenwert von A, so ist λk Eigenwert von Ak.

7. Die Matrix A ∈ Kn×n sei eine obere oder untere Dreiecksmatrix. Dann gilt

σ(A) = aii, i = 1, . . . , n .

Theorem 1.7.11. Seien A ∈ Km×n und B ∈ Kn×m. Es gilt σ(AB) \ 0 = σ(BA) \ 0.Im Folgenden Sylvesterschen Tragheitssatz wird die Konstanz der Anzahl positiver, nega-

tiver und verschwindender Eigenwerte (im Englischen als inertia bezeichnet) bei Kongruenz-transformation A → SASH mit regularem S behandelt.Theorem 1.7.12 (Sylvester). Seien A,B ∈ Kn×n Hermitesch. A und B besitzen genau danndie gleiche Anzahl positiver, negativer und verschwindender Eigenwerte, wenn eine regulareMatrix S ∈ Kn×n existiert, so dass A = SBSH .

23

1 Grundlagen

1.7.1 Ahnlichkeit

In diesem Abschnitt werden Reduktionen von quadratischen Matrizen auf Matrizen einfache-rer Struktur (Diagonal-, Bidiagonal- oder Tridiagonalmatrizen) behandelt. Unter Reduktionverstehen wir dabei eine Transformation, die die Eigenwerte einer Matrix erhalt.

Definition 1.7.13. Zwei Matrizen A,B ∈ Kn×n heißen ahnlich, falls eine invertierbare MatrixT existiert, so dass

B = TAT−1.

Die Abbildung A → TAT−1 heißt Ahnlichkeitstransformation.

Ahnlichkeitstransformationen erhalten die Eigenwerte von Matrizen. Ein Eigenvektor vA

von A wird in den Eigenvektor vB := TvA von B transformiert. Praktisch bedeutet eine Ahn-lichkeitstransformation die Darstellung einer Matrix in einer anderen Basis.

Theorem 1.7.14. Sei A und B zwei ahnliche Matrizen. Dann stimmen sowohl die charakte-ristischen Polynome als auch die algebraischen und geometrischen Vielfachheiten uberein.

Beweis. Weil A und B ahnlich sind, existiert T regular, so dass B = TAT−1. Daher folgt

pB(z) = det(TAT−1 − zIn) = det(T (A− zIn)T−1)

= det(T ) det(A− zIn) det(T−1) = det(A− zIn) = pA(z).

Also stimmen die Polynome und somit die algebraischen Vielfachheiten von A und B ube-rein. Dass die geometrischen Vielfachheiten ubereinstimmen, sieht man daran, dass mit jedemEigenraum Eλ von A der Raum TEλ Eigenraum von B ist, und umgekehrt.

Theorem 1.7.15. Die algebraische Vielfachheit eines Eigenwert ist mindestens so groß wieseine geometrische Vielfachheit.

Beweis. Sei m die geometrische Vielfachheit des Eigenwertes λ von A ∈ Cn×n. Seien die SpaltenV ∈ Cn×m eine Orthonormalbasis von Eλ und V ∈ Cn×n die unitare Erweiterung von V . Essei

B = V HAV =[λIm C0 D

].

Wegen det(B − zIn) = det(λIm − zIm) det(D − zIn−m) = (λ − z)m det(D − zIn−m) ist diealgebraische Vielfachheit jedes Eigenwertes von B mindestens m. Nach Theorem 1.7.14 giltdies auch fur die Vielfachheit der Eigenwerte von A, weil A und B ahnlich sind.

Beispiel 1.7.16. Die beiden folgenden Matrizen haben 1 als dreifachen Eigenwert

A =

⎡⎣1

11

⎤⎦ , B =

⎡⎣1 1

1 11

⎤⎦ .

Die Matrix A hat den Eigenraum E1 = R3, B hat den Eigenraum E1 = αe1, α ∈ C.Definition 1.7.17. Ein Eigenwert, dessen algebraische Vielfachheit seine geometrische Viel-fachheit uberschreitet, heißt defektiv. Eine Matrix wird defektiv genannt, falls ein Eigenwertdefektiv ist.

Bemerkung 1.7.18. Diagonalmatrizen sind nicht defektiv.

24


1.7.2 Die Schur-Zerlegung

Das folgende Theorem besagt, dass jede Matrix unitar ahnlich zu einer oberen Dreiecksmatrixist.Theorem 1.7.19. Zu A ∈ Cn×n existiert U ∈ Cn×n unitar, so dass UHAU eine obere Drei-ecksmatrix ist.

Bemerkung 1.7.20. Diese Faktorisierung bezeichnet man als Schur-Zerlegung. Wegen derAhnlichkeit von A und R := UHAU sind die Diagonaleintrage von R die Eigenwerte von A.

Der Unterraum, der von den ersten k ≤ n Spalten Uk von U aufgespannt wird, ist invariantunter A. Aus AU = UR erhalt man namlich fur 1 ≤ j ≤ k, dass

Auj =j∑

i=1

rijui.

Daher giltAUk = UkRk

mit der k × k Hauptabschnittsmatrix Rk von R. Diese Zerlegung wird als partielle Schur-Zerlegung bezeichnet, und die Vektoren uj heißen Schur-Vektoren.

Ein komplettes reelles Analogon (C ist durch R und unitar durch orthogonal ersetzt) zudem letzten Theorem kann es nicht geben, weil eine reelle Matrix auch komplexe Eigenwertebesitzen kann. Diese treten jedoch in komplex-konjugierten Paaren auf.Theorem 1.7.21. Sei A ∈ Rn×n. Dann existiert Q ∈ Rn×n orthogonal, so dass QHAQ eineobere Blockdreiecksmatrix mit entweder 1× 1 oder 2× 2 Blocken auf der Blockdiagonalen ist.Jeder der 2× 2 Blocke reprasentiert jeweils ein Paar komplex-konjugierter Eigenwerte.

Im Falle einer reellen Matrix mit ausschließlich reellen Eigenwerten ist QHAQ eine obereDreiecksmatrix.

Die Eigenwerte von A stehen auf der (Block-)Diagonalen von R. Um die Eigenvektoren zugewinnen, benotigen wir aber die Diagonalgestalt von R. Wie wir im Folgenden sehen werden,kann aber nicht jede Matrix unitar diagonalisiert werden. Dazu definieren wir fur A ∈ Kn×n

den Ausdruck

off(A) :=n∑

i,j=1, i=j

a2ij = ‖A− diag(A)‖2F = ‖A‖2F − ‖diag(A)‖2F .

Lemma 1.7.22. Sei A ∈ Cn×n mit der Schur-Zerlegung QHAQ = R. Dann gilt

off(R) = ‖A‖2F −n∑

i=1

|λi|2,

wobei λ1, . . . , λn ∈ C die Eigenwerte von A.

Beweis. Sei DR = diag(R). Dann gilt ‖DR‖2F =∑n

i=1 |λi|2, und wir erhalten

off(R) = ‖R‖2F − ‖DR‖2F = ‖QHAQ‖2F −n∑

i=1

|λi|2 = ‖A‖2F −n∑

i=1

|λi|2.

25

1 Grundlagen

1.7.3 Diagonalisierbarkeit

Definition 1.7.23. Eine Matrix A heißt diagonalisierbar, falls sie zu einer Diagonalmatrix Dahnlich ist. Ist D zusatzlich reell, so heißt A reell diagonalisierbar.Bemerkung 1.7.24. Sind die Matrizen A und B ahnlich, so ist A genau dann diagonalisierbar,wenn es auch B ist.Lemma 1.7.25. Seien λ, µ zwei verschiedene Eigenwerte und v1, . . . , vk bzw. w1, . . . , wBasen der jeweiligen Eigenraume. Dann ist das Vektorsystem v1, . . . , vk, w1, . . . , w linearunabhangig.

Theorem 1.7.26. Sei A ∈ Kn×n. Dann sind aquivalent:

(i) A ist nicht defektiv

(ii) A hat n linear unabhangige Eigenvektoren.

(iii) A ist diagonalisierbar

Insbesondere ist, falls alle Eigenwerte einer Matrix paarweise verschieden sind, diese diagona-lisierbar.

Manchmal sind die Eigenvektoren von A nicht nur linear unabhangig sondern sogar ortho-gonal. In diesem Fall bezeichnet man A als unitar diagonalisierbar

A = QDQH , wo Q unitar und D diagonal.

Definition 1.7.27. Eine Matrix A ∈ Kn×n heißt normal, falls AHA = AAH .

Theorem 1.7.28. Genau die normalen Matrizen sind unitar diagonalisierbar.

Fur den Beweis benotigen wir die beiden folgenden Lemmata.Lemma 1.7.29. Jede normale Dreiecksmatrix ist diagonal.

Lemma 1.7.30. Sei Q ∈ Kn×n unitar. Die Matrix A ∈ Kn×n ist genau dann normal, wennQAQH normal ist.

Beweis von Theorem 1.7.28. Unitar diagonalisierbare Matrizen sind trivialerweise normal. SeiA normal. Mit der Schur-Zerlegung erhalten wir QAQH = T . T ist eine Dreiecksmatrix undist nach Lemma 1.7.30 normal. Mit Lemma 1.7.29 erhalten wir, dass T diagonal ist.

Theorem 1.7.31. Zwei normale Matrizen A,B ∈ Kn×n sind genau dann vertauschbar, d.h.es gilt AB = BA, wenn sie simultan unitar diagonalisierbar sind:

QHAQ = diag(λi, i = 1, . . . , n), QHBQ = diag(µi, i = 1, . . . , n).

Bemerkung 1.7.32. Sind A,B ∈ Kn×n vertauschbar und normal mit Eigenwerten λi, µi,i = 1, . . . , n, so besitzt aA+ bB die Eigenwerte aλi + bµi, i = 1, . . . , n.Theorem 1.7.33. Sei A eine normale Matrix. Dann gilt A ist genau dann unitar, falls alleEigenwerte betragsmaßig 1 sind.

Hermitesche Matrizen sind offensichtlich normal. Die einschrankende Bedingung ist im fol-genden Theorem formuliert.Theorem 1.7.34. Eine Matrix ist genau dann normal und hat reelle Eigenwerte, wenn sieHermitesch ist.

26


Beweis. Sei A Hermitesch. Dann ist A insbesondere normal, und nach Theorem 1.7.28 giltA = QDQH mit unitarem Q. Aus AH = A folgt DH = D. Die umgekehrte Inklusion ergibtsich analog.

Korollar 1.7.35. Genau die Hermiteschen Matrizen sind unitar reell diagonalisierbar.

Aufgabe 1.7.36. Sei A ∈ Kn×n. Zeige: A ist genau dann normal, wenn

‖Ax‖ = ‖AHx‖ fur alle x ∈ Kn.

Aufgabe 1.7.37. Zeige: (a) Wenn A reell und symmetrisch ist, konnen die Eigenvektoren sogewahlt werden, dass sie reell sind. (b) Die Eigenvektoren einer selbstadjungierten Matrix zuverschiedenen Eigenwerten sind orthogonal.Theorem 1.7.38. Sei A ∈ Kn×n schief-Hermitesch. Dann gilt

(i) Ist n ungerade, so ist A singular.

(ii) In −A ist regular.

(iii) Ist λ = 0 ein Eigenwert von A, so gilt Reλ = 0.

(iv) iA hat ein reelles Spektrum und ist Hermitesch.

(v) A ist diagonalisierbar.

Theorem 1.7.39. Eine Matrix A ist genau dann normal, wenn jeder rechte Eigenvektor vonA auch ein linker Eigenvektor ist.

Aufgabe 1.7.40. Ist A diagonalisierbar und sind alle Eigenwerte gleich, so ist A diagonal.

1.7.4 Variationsformulierungen bei Hermiteschen Matrizen

Definition 1.7.41. Sei A ∈ Cn×n und x ∈ Cn \ 0. Der Wert

µ(x) :=(Ax, x)(x, x)

wird als Rayleigh-Quotient bezeichnet. Die Menge aller Rayleight-Quotienten wird als Feld vonA bezeichnet.

Ist λ ein Eigenwert von A mit zugehorigem Eigenvektor q, so gilt offenbar

µ(q) =(Aq, q)(q, q)

= λ.

Theorem 1.7.42. Das Feld einer Matrix ist eine konvexe Menge.

Fur allgemeine Matrizen ist die konvexe Hulle des Spektrums also im Feld enthalten. Furnormale Matrizen hat man aber:Theorem 1.7.43. Das Feld einer normalen Matrix stimmt mit der konvexen Hulle ihres Spek-trums uberein.

Fur Hermitesche A sind die Ausdrucke (Ax, x) fur alle x ∈ Cn reell. Es gilt aber auch dieUmkehrung:Aufgabe 1.7.44. A ∈ Kn×n ist genau dann Hermitesch, wenn (Ax, x) ∈ R fur alle x ∈ Cn.

27

1 Grundlagen

Die Eigenwerte λ1 ≥ . . . ≥ λn einer Hermiteschen Matrix lassen sich durch Optimalitats-eigenschaften charakterisieren. Seien q1, . . . , qn die zugehorigen orthonormalen Eigenvektoren.Wir setzen im Folgenden

Ek = span q1, . . . , qk .Solche Charakterisierungen werden als Variationsformulierungen bezeichnet. Eines der bekann-testen ist das folgende Min-max-Prinzip.Theorem 1.7.45 (Courant-Fischer). Sei A ∈ Kn×n Hermitesch und λi, i = 1, . . . , n, dieabsteigend geordneten Eigenwerte von A. Dann gilt

λk = mindim S=n−k+1

max0=x∈S

(Ax, x)(x, x)

, k = 1, . . . , n.

Dabei wird das Minimum aller Unterraume S ⊂ Cn mit Dimension n− k + 1 gebildet.

Beweis. Sei S ein Raum der Dimension n − k + 1. Der Schnitt Ek ∩ S ist nach Aufgabe 1.2.1mindestens eindimensional, d.h. es existiert 0 = x ∈ Ek ∩ S. Also haben wir fur x =

∑ki=1 αiqi

(Ax, x)(x, x)

=∑k

i=1 λi|αi|2∑ki=1 |αi|2

≥ λk.

Fur die Wahl S = span qk, . . . , qn hat man aber

(Ax, x)(x, x)

=∑n

i=k λi|αi|2∑ni=k |αi|2 ≤ λk.

Das obige Resultat kann auch als Max-Min-Prinzip wie folgt formuliert werden:

λk = maxdim S=k

min0=x∈S

(Ax, x)(x, x)

, k = 1, . . . , n.

Aus den beiden letzten Formulierungen erhalt man insbesondere fur den großten und denkleinsten Eigenwert einer Hermiteschen Matrix:

λ1 = max0=x∈Cn

(Ax, x)(x, x)

und λn = min0=x∈Cn

(Ax, x)(x, x)

. (1.11)

Also giltλn‖x‖22 ≤ xHAx ≤ λ1‖x‖22 fur alle x ∈ Cn. (1.12)

Eine weitere Formulierung, die als Rayleighsches Maximumsprinzip bekannt ist, wird imfolgenden Theorem angegeben.Theorem 1.7.46. Sei A ∈ Kn×n Hermitesch. Dann gilt fur k = 1, . . . , n

λk =(Aqk, qk)(qk, qk)

= max0=x∈E⊥

k−1

(Ax, x)(x, x)

.

Dabei verwenden wir E⊥0 = Cn.

Lemma 1.7.47. Sei A ∈ Km×n. Die Eigenwerte von AHA und AAH sind nicht-negativ.

Beweis. AHA ist Hermitesch. Wegen (1.11) folgt die Behauptung aus xHAHAx = ‖Ax‖22 ≥0.

Definition 1.7.48. Sei A ∈ Km×n. Die Wurzeln der Eigenwerte von AHA werden als Sin-gularwerte von A bezeichnet.

28

1.8 Die Spektralnorm

1.8 Die Spektralnorm

Das nachste Lemma zeigt die der Vektor-2-Norm zugeordnete Matrixnorm. Die ‖·‖2-Matrixnormwird daher auch als Spektralnorm bezeichnet.

Theorem 1.8.1. Fur A ∈ Km×n gilt ‖A‖2 = ρ1/2(AHA) = σ1(A), wo σ1(A) den großtenSingularwert von A bezeichnet. Ist A ∈ Kn×n normal, so gilt ‖A‖2 = ρ(A).

Beweis. Fur A ∈ Km×n gilt

‖A‖2 = maxxHAHAx, ‖x‖2 = 1

.

Die Matrix AHA ist offenbar Hermitesch und ihre Eigenwerte sind nach Lemma 1.7.47 nicht-negativ. Daher existiert eine Orthonormalbasis aus Eigenvektoren v1, . . . , vn zu den Eigenwertenλ1, . . . , λn ≥ 0. Zu x ∈ Km gibt es ξi ∈ K, i = 1, . . . , n, so dass x = ξ1v1 + · · ·+ ξnvn. Aus

AHAx = λ1ξ1v1 + · · ·+ λnξnvn ≤ ρ(AHA)x

folgt ‖A‖2 ≤ ρ1/2(AHA). Auf der anderen Seite gilt

‖A‖22 ≥ ‖Av1‖22 = vH1 A

HAv1 = ρ(AHA)vH1 v1 = ρ(AHA),

woraus der erste Teil der Behauptung folgt. Ist A normal, so hat man die Zerlegung A = QDQH

mit Q unitar und D diagonal. Wegen der unitaren Invarianz von ‖ · ‖2 folgt ‖A‖2 = ‖D‖2 =ρ(D). Die Ahnlichkeit von A und D liefert ρ(D) = ρ(A).

Bemerkung 1.8.2.

(a) Weil AHA und AAH Hermitesch sind, gilt ‖A‖22 = ‖AH‖22 = ‖AT ‖22 = ‖AHA‖2 =‖AAH‖2.

(b) Es gilt ‖uvH‖2 = ‖u‖2‖v‖2. Wegen ‖Ax‖2 = ‖u‖2|vHx| ≤ ‖u‖2‖v‖2‖x‖2 mit A := uvH

erhalt man ‖uvH‖2 ≤ ‖u‖2‖v‖2. Fur x = v gilt Gleichheit in der Cauchy-SchwartzschenUngleichung.

Aufgabe 1.8.3. Sei A ∈ Km×n. Zeige:

(a) ‖A‖22 ≤ ‖AH‖∞ ‖A‖∞ = ‖A‖1 ‖A‖∞(b) ‖A‖2 ≤ ‖A‖∞ fur normale A

(c) |aij | ≤ ‖A‖2, 1 ≤ i ≤ m, 1 ≤ j ≤ n.

1.9 Positiv definite Matrizen

Definition 1.9.1. Eine Hermitesche Matrix A ∈ Kn×n heißt

positiv semidefinit, falls xHAx ≥ 0 fur alle x ∈ Kn.positiv definit (SPD), falls xHAx > 0 fur alle x ∈ Kn \ 0.

A heißt negativ (semi)definit, falls −A positiv (semi)definit ist.

29

1 Grundlagen

Die Begriffe positiv/negativ (semi)definit definieren eine partielle Ordnung unter den Her-miteschen Matrizen. Wir schreiben A > 0, falls A positiv definit ist (A ≥ 0, A < 0 und A ≤ 0analog). Fur zwei Hermitesche Matrizen A, B scheiben wir A > B, falls A−B > 0.Bemerkung 1.9.2. Oft definiert man den Begriff der positiven Definitheit auch fur nichtHermitesche Matrizen. Nach Aufgabe 1.7.44 impliziert die Bedingung xHAx ∈ R fur alle x ∈ Cn

bereits, dass A Hermitesch ist.Beispiel 1.9.3. Sei A ∈ Km×n. Dann sind AHA und AAH positiv semidefinit. Ist m ≥ n undhat A vollen Rang, so ist AHA positiv definit.

Theorem 1.9.4. Es gilt:

(i) Sei A positiv (semi)definit. Der Diagonalanteil und jeder Blockdiagonalanteil sind positiv(semi)definit.

(ii) Eine positiv definite Matrix ist regular.

(iii) A ist genau dann positiv definit, wenn A−1 positiv definit ist.

Beweis. (i) diag(A)ii = eHi Aei ≥ 0. (ii) klar. (iii) Nach Aufgabe 1.7.10 besitzt A−1 die rezipro-ken Eigenwerte von A.

Lemma 1.9.5. Seien A,B ∈ Kn×n. Dann gilt

(i) A ≥ B ⇐⇒ CHAC ≥ CHBC fur alle C ∈ Kn×n

(ii) A > B =⇒ CHAC > CHBC fur alle C ∈ Kn×m mit vollem Rang.

(iii) A > B ⇐⇒ CHAC > CHBC fur alle regularen C ∈ Kn×n

(iv) A,B ≥ 0 =⇒ A+B ≥ 0 und A+B > 0, falls zusatzlich A > 0 oder B > 0

(v) A > 0 ⇐⇒ rA > 0 fur alle r > 0

(vi) ζIn ≤ A ≤ ξIn ⇐⇒ σ(A) ⊂ [ζ, ξ]

(vii) −ξIn ≤ A ≤ ξIn ⇐⇒ ‖A‖2 ≤ ξ

(viii) A ≥ B > 0 ⇐⇒ 0 < A−1 ≤ B−1.

Beweis. (ii) Sei x = 0. Dann ist y := Cx = 0 und 0 < (Ay, y) = (CHACx, x). (iii) Dieumgekehrte Richtung ergibt sich nach erneuter Anwendung mit C−1 anstelle von C. (iv) u. (v)folgen sofort aus der Definition. (vi) Sei A = QDQH mit unitarem Q. Mit C = Q ergibt sich dieForm ζIn ≤ D ≤ ξIn, wobei die Diagonalmatrix D die Eigenwerte λ ∈ σ(A) als Eintrage besitzt.(vi) Setze ζ = −ξ und beachte die Aquivalenz von σ(A) ⊂ [−ξ, ξ] und ρ(A) = ‖A‖2 ≤ ξ.

Theorem 1.9.6. Sei A Hermitesch. Dann sind aquivalent

(i) A ist positiv (semi)definit

(ii) alle Eigenwerte von A sind positiv (nicht negativ)

(iii) alle Hauptabschnittsmatrizen sind positiv (semi)definit

(iv) alle Hauptabschnittsdeterminaten sind positiv (nicht negativ)

30

1.9 Positiv definite Matrizen

Beweis. A = QDQH und verwende Lemma 1.9.5.

Aufgabe 1.9.7. Sei A postiv definit. Zeige, dass aii > 0 und |aij | ≤ √aiiajj, i, j = 1, . . . , n.Ein betragsgroßter Eintrag von A liegt auf der Diagonalen.Theorem 1.9.8. Sei

A =[A11 A12

A21 A22

]positiv definit. Dann ist auch das Schur-Komplement S = A22 −A21A

−111 A12 positiv definit.

Beweis. Mit A ist die Hauptabschnittsmatrix A11 positiv definit und nach Theorem 1.9.4 in-vertierbar. Es gilt

SH = AH22 −AH

12A−111 A

H21 = A22 −A21A

−111 A12 = S.

Wegen

0 ≤[xy

]H

A

[xy

]=

[xy

]H [A11x+A12yA21x+A22y

]erhalt man mit der Wahl x = −A−1

11 A12y, dass yHSy ≥ 0. Gleichheit gilt genau im Fally = 0.

Theorem 1.9.9. Sei A ∈ Kn×n.

(i) 0 ≤ A ≤ B impliziert ‖A‖2 ≤ ‖B‖2 und ρ(A) ≤ ρ(B)

(ii) 0 ≤ A < B impliziert ‖A‖2 < ‖B‖2 und ρ(A) < ρ(B).

Definition 1.9.10. Sei A positiv semidefinit mit A = QDQH . Die Quadratwurzel von A istdefiniert als die Matrix

A1/2 = QD1/2QH .

Theorem 1.9.11. A1/2 ist positiv semidefinit und die eindeutig bestimme Losung der Glei-chung X2 = A ≥ 0.

Ist A,B positiv (semi)definit. Dann ist AB im Allgemeinen nicht positiv (semi)definit. Esgilt aber noch dieBemerkung 1.9.12. Sind A und B positiv (semi)definit, so ist das Produkt AB reell diago-nalisierbar und besitzt nur positive (nichtnegative) Eigenwerte.Definition 1.9.13. Sei A positiv definit. Das Energie-Skalarprodukt (x, y)A = (Ax, y) indu-ziert die Energie-Norm ‖x‖A1/2 = ‖A1/2x‖2.Bemerkung 1.9.14. Nach Lemma 1.6.7 gilt ‖B‖A1/2 = ‖A1/2BA−1/2‖2.

Jeder Matrix A > 0 kann also ein Skalarprodukt zugeordnet werden. Es gilt ebenso dieUmkehrung.Lemma 1.9.15. Sei (·, ·) ein beliebiges Skalarprodukt auf Kn. Dann existiert eine positivdefinite Matrix A ∈ Kn×n, so dass (x, y) = yHAx fur alle x, y ∈ Kn.

Beweis. Definiere A durch aij = (ej , ei), i, j = 1, . . . , n.

Aufgabe 1.9.16. Fur die Adjungierte B∗ einer Matrix B bzgl. eines Skalarprodukts (·, ·) giltB∗ = A−1BHA, wobei A durch vorangehendes Lemma definiert ist. B ist genau dann bezuglich(·, ·) selbstadjungiert, falls BHA = AB.

31

1 Grundlagen

Der Begriff “positiv (semi)definit” kann in gleicher Weise fur allgemeine Skalarproduktedefiniert werden.Aufgabe 1.9.17. Ist A ∈ Kn×n selbstadjungiert und positiv semidefinit bzgl. (·, ·). Dann giltdie Cauchy-Schwartz’sche Ungleichung

(Ax, y) ≤√

(Ax, x)(Ay, y) fur alle x, y ∈ Kn.

Theorem 1.9.18. Sei A ∈ Kn×n SPD bzgl. (·, ·). Ist mit Bt die Adjungierte von B bzgl. (·, ·)Agemeint, so gilt

(BA)t = B∗A.

Insbesondere ist BA ist genau dann bzgl. (·, ·)A selbstadjungiert, wenn B bzgl. (·, ·) selbstad-jungiert ist. Ist B zusatzlich SPD bzgl. (·, ·), dann ist BA SPD bzgl. (·, ·)A und (·, ·)B−1 .

1.10 Projektionsoperatoren

Definition 1.10.1. Ein Projektor P : Kn → Kn ist eine lineare Abbildung, die idempotentist, d.h. es gilt P 2 = P .

Mit P ist auch In − P ein Projektor, und es gilt P (In − P ) = (In − P )P = 0,

kerP = Ran In − P und kerP ∩ RanP = 0 .Wegen x = Px+ (In − P )x fur alle x ∈ Kn gilt daher

Kn = kerP ⊕ RanP.

Seien U, V zwei Unterraume mit U ⊕ V = Kn. Diese definieren eindeutig den Projektor Pmit RanP = U und kerP = V . Man sagt, P projiziert auf U langs V .

Gilt fur zwei Unterraume U,W ⊂ Kn, dass U ∩W⊥ = 0 und dimU = dimW , so hat manKn = U ⊕W⊥. Der dazu eindeutig bestimmte Projektionsoperator P erfullt

Px ∈ U und x− Px ⊥W.

Man sagt, dass P auf U senkrecht zu W projiziert. Seien x1, . . . , xk und y1, . . . , yk Basenvon U bzw. W und X ∈ Kn×k bzw. Y ∈ Kn×k die Matrizen mit diesen Vektoren als Spalten.Wegen U ∩W⊥ = 0 ist Y HX ∈ Kk×k regular. Sei ξ ∈ Kn so gewahlt, dass Xξ = Px. Ausx− Px ⊥W ⇐⇒ Y H(x−Xξ) = 0 erhalt man

P = X(Y HX)−1Y H .

Im Fall von biorthogonalen Basen, d.h. Y HX = Ik, vereinfacht sich vorangehender Ausdruckzu

P = XY H .

Haufig ist U = W . Dann gilt kerP = (RanP )⊥, und P wird als orthogonaler Projektor auf Ubezeichnet.

Der zu P adjungierte Operator P ∗ definiert durch

(Px, y) = (x, P ∗y) fur alle x, y ∈ Kn

ist ebenfalls ein Projektor.

32

1.11 Matrix-Polynome

Theorem 1.10.2. Ein Projektor ist genau dann orthogonal, wenn er Hermitesch ist.

Beweis. Sei P Hermitesch. Dann gilt kerP = kerPH = (RanP )⊥. Ist P ein orthogonalerProjektor, so hat man nach Theorem 1.5.12, dass kerP = (RanP )⊥ = kerPH und RanP =(kerP )⊥ = RanPH . Damit gilt auch P = PH , weil Projektoren durch Kern und Bild eindeutigbestimmt sind.

Sei P ein orthogonaler Projektor. Dann gilt

‖x‖22 = ‖Px‖22 + ‖(In − P )x‖22 fur alle x ∈ Kn,

woraus ‖Px‖2 ≤ ‖x‖2 und ‖P‖2 = 1 folgt, weil das Maximum fur die Elemente in RanPangenommen wird. P besitzt nur die zwei Eigenwerte 0 und 1. Jeder nichttriviale Vektor ausdem Kern ist ein Eigenvektor zum Eigenwert 0, jeder Vektor aus dem Bild ein Eigenvektor zumEigenwert 1.

Theorem 1.10.3. Sei P ein orthogonaler Projektor auf U ⊂ Kn und x ∈ Kn. Dann gilt

miny∈U

‖x− y‖2 = ‖x− Px‖2.

Beweis. Wegen ‖x− y‖22 = ‖x−Px‖22 + ‖Px− y‖22 folgt ‖x− y‖2 ≥ ‖x−Px‖2. Das Minimumwird fur y = Px angenommen.

Aufgabe 1.10.4. Sei P ∈ Kn×n ein Projektor. Dann gilt:

(a) Ist P ein orthogonaler Projektor, so ist In − 2P unitar.

(b) ‖P‖ ≥ 1 und ‖P‖ = 1 ⇐⇒ P orthogonal.

1.11 Matrix-Polynome

Ist p(z) =∑k

j=0 ajzj ∈ Πk ein Polynom uber C, so definiert man fur A ∈ Kn×n

p(A) =k∑

j=0

ajAj .

Lemma 1.11.1. Es gilt σ(p(A)) = p(σ(A)). Die algebraische Vielfachheit eines Eigenwertesp(λ) von p(A) ist die Summe der Vielfachheiten aller Eigenwerte µ von A, fur die p(µ) = p(λ)zutrifft. Jeder Eigenvektor von A zum Eigenwert λ ist Eigenvektor von p(A) zum Eigenwertp(λ).

Definition 1.11.2. Eine Matrix A ∈ Kn×n heißt nilpotent mit Index k, falls k die kleinstenaturliche Zahl ist, so dass Ak = 0.

Lemma 1.11.3. Sei A ∈ Kn×n eine strikte obere (oder untere) Dreiecksmatrix. Dann gilt furjedes m ≥ n, dass Am = 0. Ebenso gilt A1D1A2D2 · · ·AmDm = 0 fur das Produkt mit m ≥ nstrikten oberen Dreiecksmatrizen Ai und beliebigen Diagonalmatrizen Di.

Beweis. Mit Hilfe von Induktion sieht man, dass Am fur m ∈ N ausser der Diagonalen m− 1verschwindende Nebendiagonalen besitzt.

33

1 Grundlagen

Lemma 1.11.4. Sind A und B vertauschbar, so auch p(A) und q(B) fur beliebige Polyno-me p und q. Insbesondere sind p(A) und q(A) vertauschbar. Ist A regular, so sind p(A) undq(A−1) vertauschbar. Es sind p(A), p(A)−1, q(B) und q(B)−1 vertauschbar, solange die Inversenexistieren.

Aufgabe 1.11.5. Sei A positiv semidefinit. Dann ist A1/2 mit jedem Polynom in A vertausch-bar.Lemma 1.11.6. Seien A,B ∈ Kn×n mit A invertierbar und p ∈ Πk. Dann gilt

p(ABA−1) = Ap(B)A−1.

Zwei Polynome p und q definieren die rationale Funktion r(z) = p(z)/q(z). Nach Lemma1.11.1 ist die Matrix r(A) = p(A)q(A)−1 = q(A)−1p(A) genau dann definiert, wenn σ(A)keine Nullstellen des Nennerpolynoms q aufweist. Die Eigenschaften diagonal, obere/untereDreicksmatrix ubertragen sich von A auf r(A). Hat r reelle Koeffizienten, gilt dies auch fursymmetrisch und Hermitesch.Aufgabe 1.11.7. σ(A) enthalte keine Polstelle der rationalen Funktion r. Gilt die Ahnlich-keitsbeziehung A = TBT−1, so auch r(A) = Tr(B)T−1. Ist D = diag(di, i = 1, . . . , n), so istr(D) = diag(r(di), i = 1, . . . , n).Theorem 1.11.8. Sei A ∈ Kn×n invertierbar und normal und p ein Polynom. Dann gilt

‖A−1 − p(A)‖2 = maxλ∈σ(A)

|1/λ− p(λ)|.

Beweis. Sei A = QDQH die Spektralzerlegung von A. Dann ist A−1 = QD−1QH , und nachLemma 1.11.6 gilt p(A) = Qp(D)QH . Also folgt ‖A−1 − p(A)‖2 = ‖D−1 − p(D)‖2.

1.11.1 Die Neumannsche Reihe

Sei A ∈ Kn×n. Man rechnet sofort nach, dass

(In −A)m−1∑k=0

Ak = In −Am fur alle m ∈ N.

Ist 1 kein Eigenwert von A, d.h. ist In −A regular, formt man dies zu

m−1∑k=0

Ak = (In −A)−1(In −Am) (1.13)

um. Im Folgenden wird der Frage nachgegangen, wie sich vorangehender Ausdruck im Grenz-wert m→∞ verhalt.Lemma 1.11.9. Sei ‖ · ‖ eine Matrixnorm. Dann gilt fur A ∈ Kn×n

limk→∞

‖Ak‖1/k = ρ(A).

Insbesondere ist Akk∈N genau dann eine Nullfolge, wenn ρ(A) < 1. Fur die Konvergenz gegenNull genugt aber schon ‖A‖ < 1.Definition 1.11.10. Sei A ∈ Kn×n. Die Reihe

∑∞k=0A

k heißt Neumann-Reihe.

34

1.12 Gleitkommazahlen

Theorem 1.11.11. Genau fur ρ(A) < 1 konvergiert die Neumannsche Reihe und ergibt

∞∑k=0

Ak = (In −A)−1.

Beweis. Fur ρ(A) < 1 kann man in (1.13) den Limes m → ∞ durchfuhren und erhalt diegewunschte Aussage. Fur ρ(A) ≥ 1 bilden die Reihenglieder Ak nach Lemma 1.11.9 keineNullfolge, so dass die geometrische Reihe divergieren muss.

1.12 Gleitkommazahlen

Auf einem digitalen Rechner wird eine endliche Anzahl von Bits zur Darstellung einer reellenZahl verwendet. Daher kann nur eine endliche Untermenge der Menge der reellen Zahlen dar-gestellt werden. Insbesondere gibt es eine großte und eine kleinste Zahl, und Lucken zwischenzwei aufeinander folgenden Zahlen sind unvermeidlich. Weil sowohl das Ergebnis als auch alleZwischenergebnisse einer Rechnung auf darstellbare Zahlen gerundet werden mussen, sind Al-gorithmen immer fehlerbehaftet. Dabei konnen zwar die Rundungen je Rechenvorschrift in derRegel vernachlassigt werden, problematisch ist aber unter Umstanden die Fehlerfortpflanzunguber mehrere Rechenschritte. Man spricht in diesem Zusammenhang von der Stabilitat einesAlgorithmus.

Auf aktuellen Rechenarchitekturen wird eine Darstellung einer Zahl verwendet, bei der diePosition des Dezimalpunkts unabhangig von den Ziffern gespeichert wird.Lemma 1.12.1. Sei 2 ≤ b ∈ N und x ∈ R. Dann hat 0 = x ∈ R die eindeutige Darstellung

x = sign(x) be∞∑

=1

mb−

mit e ∈ Z, m ∈ 0, . . . , b− 1, ∈ N, m1 = 0. Die angegebene Darstellung von x wird alsb-adische Entwicklung der reellen Zahl x in Gleitkomma-Darstellung zur Basis b bezeichnet.

Wir definieren die Menge der Gleitkomma-Zahlen zur Basis b ≥ 2 mit Mantissenlange L ≥ 1und maximalem Exponent E

F(b, L,E) =

±be

L∑=1

mb− : 0 ≤ m < b, |e| ≤ E, m1 = 0

.

Die Große

±L∑

=1

mb−

wird als Mantisse und e als Exponent bezeichnet. Es gilt F(b, L,E) ⊂ Q und

|F(b, L,E)| = 2(2E + 1)(b− 1)bL−1 + 1.

Die kleinste und großte darstellbare Zahlen sind b−E−1 bzw. bE(1− b−L).Definition 1.12.2. Sei b ∈ 2N und x = sign(x) be

∑∞=1mb

−. Dann definieren wir die Funk-tion fl : R → F(b, L,∞) durch

fl(x) = sign(x) be∑L

=1mb−, falls mL+1 < b/2∑L

=1mb− + b−L, falls mL+1 ≥ b/2

.

35

1 Grundlagen

Im Fall E <∞ definiere fl : R→ F(b, L,E) ∪ ↑, ↓ durch

fl(x) =

⎧⎪⎨⎪⎩↓, falls |x| < b−E−1 “underflow”

↑, falls |x| > bE(1− b−L) “overflow”

wie oben, sonst

.

Wir durfen fur die folgenden Uberlegungen E = ∞ verwenden. Die Zahl fl(x) ist dieApproximation von x in F(b, L,∞), die bei korrekter Rundung entsteht. Ein großer Vorteil derGleitkomma-Darstellung ist die Beschranktheit des relativen Rundungsfehlers. Sei x ∈ R \ 0,dann gilt fur F(b, L,∞)

|x− fl(x)||x| ≤ b1−L

2=: εF, (1.14)

oder aquivalent fl(x) = x(1+ε) mit ε = ε(x) und |ε| ≤ εF. Die Zahl εF heißt relative Genauigkeitder Gleitkommazahlen F(b, L,∞) oder Maschinengenauigkeit. Ihre Große ist der halbe Abstandzwischen 1 und der nachst großeren Zahl in F(b, L,∞).

Beispiel 1.12.3. Bei dem verbreiteten IEEE-Standard ist b = 2 und L = 24, E = 128 beieinfacher und L = 53, E = 1024 bei doppelter Genauigkeit. Die Speicherung des Vorzeichensbenotigt ein Bit. Entsprechend wird fur die Speicherung einer Zahl mit einfacher Genauigkeit 4Byte und mit doppelter Genauigkeit 8 Byte verwendet. Bei doppelter Genauigkeit ist daher dierelative Genauigkeit εF = 2−53 ≈ 1.11 · 10−16. Die kleinste und die großte darstellbare positiveZahl sind 2.23 · 10−308 und 1.79 · 10308.

1.12.1 Gleitkommaarithmetik

Sei ∗ ∈ +,−,×,÷ : R× R→ R eine der ublichen Operationen und

: F(b, L,∞)× F(b, L,∞) → F(b, L,∞)

die entsprechende Gleitkomma-Operation. Man beachte, dass im Allgemeinen nicht assoziativist, und F(b, L,E), E <∞, ist nicht abgeschlossen. Fur die Fehleranalyse numerischer Verfahrenmacht man die Annahme, dass anstelle des exakten Ergebnisses der Grundoperationen auf demRechner die nachstgelegene Maschinenzahl berechnet wird, d.h. fur x, y ∈ F(b, L,∞) gilt

x y = fl(x ∗ y). (1.15)

Die Operationen sind also (relativ) maschinengenau, d.h. der relative Fehler bei ihrer Ausfuhrungist kleiner als εF. Eine Annahme wie (1.15) fur komplexe Artihmetik hat ublicherweise dieErhohung von εF um einen Faktor zur Folge.

1.13 Die Kondition

Ein Problem kann als eine Abbildung f : X → Y zwischen zwei normierten Vektorraumen Xund Y definiert werden. X enthalt die Daten und Y die Losungen. Ein Problem f heißt gutkonditioniert, falls fur die relative Kondition

κ(f, x) = limδ→0

sup‖δx‖≤δ

‖δf‖‖f(x)‖

‖x‖‖δx‖

36

1.13 Die Kondition

gilt κ(f, x) ≈ 1. Im anderen Fall, d.h. κ(f, x) 1, heißt f schlecht konditioniert. Gut konditio-nierte Probleme lassen bei kleinen Storungen δx in x nur kleine Anderungen δf von f(x) zu.Die Kondition eines Problems misst also, wie sich Fehler in den Eingabedaten auf die Losungauswirken. Ist f differenzierbar in x, so gilt

κ(f, x) =‖J(x)‖

‖f(x)‖/‖x‖ , (1.16)

wo J(x) die Jacobi-Matrix mit den Eintragen J(x)k = ∂fk∂x

bezeichnet. Im Allgemeinen hangtdie Eigenschaft “gut gestellt” von der Normwahl ab.Beispiel 1.13.1. Ziel ist die Auswertung von f(x) = (1− cos x)/x2 an der Stelle x = 1.2e− 5bei einer Maschinengenauigkeit εF = 1e− 10. Dann gilt

fl(cosx) = 0.999 999 999 91− fl(cosx) = 1e− 101− fl(cosx)

x2=

1e− 101.44e − 10

= 0.6944...

Wegen

f(x) =1− (

cos2 x2 − sin2 x

2

)x2

= 2sin2 x

2

x2=

12

(sin x

2x2

)2

und | sin t| ≤ |t| ist 0 ≤ f(x) ≤ 0.5. Obiges Ergebnis ist also vollig falsch. Die Verwendung deszweiten Ausdrucks ergibt aber f(x) = 0.5 bis auf 10 Stellen genau.

Beispiel 1.13.2. Die Addition f : (K2, ‖ · ‖2) → (K, | · |), f(x) = x1 + x2, x = (x1, x2)T istwegen (1.16)

κ(f, x) =√

2‖x‖2

|x1 + x2| .

Offenbar ist κ(f, x) groß fur x1 ≈ −x2 und kleiner gleich√

2, falls sign(x1) = sign(x2). Hierbeiist sign(z) = exp(iϕ), z = r exp(iϕ), r ∈ R+, ϕ ∈ [0, 2π) und sign(z) = 0, falls z = 0.

Beim Problemfall x1 ≈ −x2 spricht man vom Ausloschungseffekt bei Subtraktion: Sei x1 =1.000 001, x2 = −1 und δx1 = δx2 = 0.001. Dann gilt

x1 + x2 = 0.000 001(x1 + δx1) + (x2 + δx2) = 0.002 001.

Der relative Fehler δf/f(x) verstarkt sich also gegenuber δx/x um den Faktor 106.

Im Folgenden untersuchen wir die Kondition eines Gleichungssystems. Wir stellen die Frage,welche Auswirkungen eine Storung δA von A auf die Losung x von Ax = b hat. Das Problemf ist also definiert durch f(A) = x = A−1b. Fur die Storung δx gilt dann

(A+ δA)(x + δx) = b. (1.17)

Sei ‖ · ‖ eine Vektornorm und ‖ · ‖ die ihr zugeordnete Matrixnorm. Wir zeigen, dass κ(f,A) =‖A‖ ‖A−1‖. Vernachlassigt man namlich den doppelt infinitissimal kleinen Term (δA)(δx) in(1.17), so erhalt man δx = −A−1(δA)x. Also gilt ‖δx‖ ≤ ‖A−1‖ ‖δA‖ ‖x‖ und daher

‖δx‖‖x‖

‖A‖‖δA‖ ≤ ‖A‖ ‖A

−1‖.

37

1 Grundlagen

Es existieren y ∈ Kn mit ‖y‖ = 1, so dass ‖A−1y‖ = ‖A−1‖, und z ∈ Kn, so dass zHx = ‖z‖′‖x‖fur alle x ∈ Kn. Dabei bezeichnet ‖ · ‖′ die in Beispiel 1.5.2 definierte Dualnorm zu ‖ · ‖. Manerhalt mit

δA :=yzH

‖z‖′dass (δA)x = ‖x‖y und ‖δA‖ = 1. Daher gilt ‖A−1(δA)x‖ = ‖A−1y‖ ‖x‖ = ‖A−1‖ ‖x‖. unddamit die Behauptung.Definition 1.13.3. Sei A ∈ Kn×n regular. Dann heißt cond(A) := ‖A‖ ‖A−1‖ die Konditions-zahl von A bezuglich der Matrixnorm ‖ · ‖.Bemerkung 1.13.4.

(a) Ist ‖ · ‖ eine submultiplikative Matrixnorm, so gilt cond(A) ≥ 1, weil 1 = ‖In‖ =‖A−1A‖ ≤ ‖A−1‖‖A‖ = cond(A).

(b) Ist U ∈ Kn×n unitar, so gilt cond‖·‖2(U) = ‖U‖22 = ρ(UHU) = ρ(In) = 1.

(c) Es gilt cond‖·‖2(A) = σ1/σn, wobei σ1 und σn den großten bzw. kleinsten Singularwert

von A bezeichnen. Die Kondition von A stimmt also mit der Exzentrizitat des Ellipsoiden,der das Bild der Einheitssphare im Kn unter A ist, uberein.

Beispiel 1.13.5. Die Hilbert-Matrix

Hn =(

1i+ j − 1

)1≤i,j≤n

∈ Rn×n

ist schlecht konditioniert. Hn ist positiv definit, weil

xTHnx =n∑

i,j=1

xixj

i+ j − 1=

∫ 1

0

n∑i,j=1

xiti−1xjt

j−1 dt =∫ 1

0

(n∑

i=1

xiti−1

)2

dt ≥ 0

und xTHnx = 0 genau fur x = 0. Fur die Inverse von Hn gilt

H−1n =

((−1)i+j(n+ i− 1)!(n + j − 1)!

(i+ j − 1)[(i − 1)!(j − 1)!]2(n− i)!(n − j)!)

1≤i,j≤n

.

Die Kondition von Hn wachst exponentiell mit n (ohne Beweis).

Beispiel 1.13.6. Wir untersuchen die Kondition der MV-Multiplikation f(x) = Ax. Wegen

(1.16) ist κ(f, x) = ‖A‖ ‖x‖‖Ax‖ ≤ cond(A). Fur die Kondition des Problems f(b) = A−1b, das der

Losung eines linearen Gleichungssystems Ax = b bei Storung der rechten Seite b entspricht,gilt ebenso κ(f, b) ≤ cond(A).

1.13.1 Stabilitat

Beispiel 1.13.1 zeigt, dass man zwischen der Kondition eines Problems und der Konditioneiner speziellen Implementierung unterscheiden muss. Wie oben sei f : X → Y ein Problem.Mit f : X → Y bezeichnen wir einen Algorithmus fur das Problem f . Ist x ∈ X, so meintalso f(x) die Losung zu den Daten x und f(x) das Ergebnis des Algorithmus inklusive allerRundungsfehler. Der Algorithmus f ist akkurat fur das Problem f , falls fur alle x ∈ X gilt

‖f(x)− f(x)‖‖f(x)‖ ≤ cAεF.

38

1.13 Die Kondition

Bei endlicher Genauigkeit kann man nicht mehr als einen relativen Fehler von der Ordnung εFerwarten.

Man unterscheidet zwei Stabilitatskonzepte bedingt durch zwei verschiedene Untersuchungs-methoden. Bei der Vorwartsanalyse vergleicht man f(x) mit f(x). Man stellt die Frage: “Wiewirken sich Eingabefehler und Fehler wahrend der Rechnung auf das Ergebnis aus ?”Definition 1.13.7. Ein Algorithmus f heißt vorwartsstabil fur das Problem f , falls fur allex ∈ X ein x mit ‖x− x‖ ≤ cRεF‖x‖ existiert, so dass

‖f(x)− f(x)‖‖f(x)‖ ≤ cV εF.

Die folgende Bedingung ist starker und im Allgemeinen einfacher zu uberprufen. Man stelltdie Frage: “Kann man f als exaktes Ergebniss von f bei gestorten Daten x auffassen ?”Definition 1.13.8. Ein Algorithmus f heißt ruckwartsstabil fur das Problem f , falls fur allex ∈ X ein x existiert, so dass

f(x) = f(x)

und ‖x− x‖ ≤ cRεF‖x‖.Der folgende Satz beschreibt die Genauigkeit eines ruckwartsstabilen Algorithmus.

Theorem 1.13.9. Sei f ein ruckwartsstabiler Algorithmus fur das Problem f . Es gelten (1.14)und (1.15). Dann gilt

‖f(x)− f(x)‖ ≤ cRκ(f, x)εF‖f(x)‖.Ist f gut konditioniert, so ist ein ruckwartsstabiler Algorithmus akkurat.

Beweis. Es gilt f(x) = f(x) fur ein x mit ‖x− x‖ ≤ cRεF‖x‖. Die Definition von κ(f, x) liefert

‖f(x)− f(x)‖‖f(x)‖ =

‖f(x)− f(x)‖‖f(x)‖ ≤ (κ(f, x) + o(1))

‖x − x‖‖x‖ = (cR + o(1))κ(f, x)εF,

woraus die Behauptung folgt.

Bemerkung 1.13.10. Eine detailierte Stabilitatsanalyse von Algorithmen findet man in derMonographie [10] von N. J. Higham.

39

1 Grundlagen

40

2 Lineare Ausgleichprobleme

2.1 Problemstellung, Grundlagen

Unter einem linearen Ausgleichsproblem (linear least squares problem) verstehen wir die Auf-gabe, bei gegebenen A ∈ Km×n und b ∈ Km eine Losung von

minimiere ‖Ax− b‖2, x ∈ Kn (2.1)

zu bestimmen.Beispiel 2.1.1. Beim “curve fitting” sind m Paare (t1, b1), . . . , (tm, bm) ∈ R2 gegeben. Ge-sucht ist ein Polynom p ∈ Πn−1, fur das

∑mi=1(p(ti) − bi)2 minimal ist. In Abhanigkeit der

Polynomkoeffizienten x ∈ Rn ist also die euklidische Norm von⎡⎢⎣ p(t1)− b1

...p(tm)− bm

⎤⎥⎦ =

⎡⎢⎣1 t1 . . . tn−1

1...

......

1 tm . . . tn−1m

⎤⎥⎦

⎡⎢⎣x1

...xn

⎤⎥⎦−

⎡⎢⎣ b1...bm

⎤⎥⎦ =: Ax− b

zu minimieren. Hierbei ist ublicherweise m n, weil es nicht sinnvoll ist, mit Polynomen eineszu hohen Grades zu arbeiten.

Im Folgenden werden wir davon ausgehen, dass die Anzahl n der zu bestimmenden Para-meter x1, . . . , xn nicht großer als die Anzahl m der Beobachtungen b1, . . . , bm ist. Das lineareAusgleichsproblem (2.1) kann man dann auch als die Aufgabe auffassen, das im Allgemeinenuberstimmte lineare Gleichungssysteme Ax = b mit bzgl. der euklidischen Vektornorm mini-malem Defekt zu losen.

Im folgenden Satz werden einfache Existenz- und Eindeutigkeitsaussagen fur das lineareAusgleichsproblem (2.1) zusammengestellt.Theorem 2.1.2. Fur das lineare Ausgleichsproblem (2.1) mit m ≥ n gilt:

(i) Das lineare Ausgleichsproblem (2.1) besitzt eine Losung.

(ii) Eine Losung von (2.1) ist genau dann eindeutig, wenn rankA = n.

(iii) Unter allen Losungen von (2.1) gibt es genau eine mit minimaler euklidischer Norm.

(iv) Ein x∗ ∈ Kn ist genau dann eine Losung von (2.1), wenn x∗ eine Losung der sogenanntenNormalgleichung AHAx = AHb ist.

Beweis. (i) Nach Theorem 1.5.13 existiert ein eindeutig bestimmtes y ∈ RanA mit b − y ⊥RanA, das ‖z−b‖2 fur z ∈ RanA minimiert. Also existiert ein x ∈ Kn mit y = Ax, so dass (2.1)minimiert wird. (ii) Die Gleichung Ax = y besitzt genau dann eine eindeutige Losung, wenn derRang vonA voll ist. (iiv) Sei x∗ Losung von (2.1). Nach Theorem 1.5.13 ist r := b−Ax∗ ⊥ RanA.Theorem 1.5.12 liefert AHr = 0 ⇐⇒ AHAx∗ = AHb. Die Umkehrung folgt entsprechend.

41


Bemerkung 2.1.3. Im Fall von unterbestimmten Systemen, d.h. m < n, setzt man x = AHuund lost die Normalgleichung AAHu = b.

Zur numerischen Losung eines linearen Ausgleichsproblems stehen, falls rankA = n diebeiden folgenden direkten Methoden zur Verfugung:

1. Bilde die Normalgleichungen und lose diese mit Hilfe des Cholesky-Verfahrens.

2. Bestimme die QR-Zerlegung von A, d.h. eine unitare Matrix Q ∈ Km×m und eine obereDreiecksmatrix R ∈ Kn×n mit

A = QR = Q

[R0

],

wobei die obere Dreiecksmatrix R ∈ Kn×n regular ist, weil rankA = n. Wegen

‖Ax− b‖22 = ‖Rx−QHb‖22 = ‖[Rx0

]−

[cd

]‖22 = ‖Rx− c‖22 + ‖d‖22,

wobei wir [cd

]:= QHb

gesetzt haben, erhalt man die eindeutige Losung des linearen Ausgleichsproblems durchRuckwartseinsetzen aus Rx = c.

Bemerkung 2.1.4. Man beachte, dass es genugen wurde, eine Matrix Q ∈ Rm×n mit QHQ =In und eine obere Dreiecksmatrix R ∈ Rn×n mit A = QR zu bestimmen. Man spricht dann voneiner reduzierten QR-Zerlegung im Gegensatz zu der oben angegebenen vollen QR-Zerlegung.

Die erste Methode ist die schnellste, sie benotigt mn2+ 13n

3 Operationen, aber am wenigstengenaue. Diese Methode ist nur zu empfehlen, wenn die Kondition von A (die Kondition einerm × n-Matrix wird noch zu erklaren sein) klein ist. Der Aufwand der zweiten Methode istetwa doppelt so groß wie der der ersten, d.h. 2mn2− 2

3n3 Operationen, dafur ist sie wesentlich

zuverlassiger und im Allgemeinen die Methode der Wahl.Als dritte Methode geben wir eine relativ aufwendige Methode an, die auch bei Rang-

defizienten Problemen, also rankA < n, oder großer Kondition von A anwendbar ist:Bestimme eine Singularwertzerlegung (SVD) von A, d.h. unitare Matrizen U ∈ Km×m und

V ∈ Kn×n sowie eine Diagonalmatrix Σ ∈ Rm×n mit

A = UΣV H , Σ =[Σ0

],

wobeiΣ = diag(σ1, . . . , σn), σ1 ≥ . . . ≥ σr > σr+1 = . . . = σn = 0

die singularen Werte von A enthalt und es gilt r = rankA. Mit

U = [u1, . . . , um] und V = [v1, . . . , vm]

ist fur x ∈ Kn

‖Ax− b‖22 = ‖ΣV Hx− UHb‖22 =r∑

i=1

[σi(V Hx)i − uH

i b]2

+m∑

i=r+1

(uHi b)

2.

42

2.2 Die QR-Zerlegung

Daher ist x ∈ Kn genau dann eine Losung des linearen Ausgleichproblems (2.1), wenn

V Hx = (uH1 b/σ1, . . . , u

Hr b/σr, αr+1, . . . , αn)T mit αr+1, . . . , αn ∈ K. (2.2)

Dies wiederum liefert: Ist x eine Losung des linearen Ausgleichsproblems, ist also (2.2) erfullt,so ist

‖x‖22 = ‖V Hx‖22 =r∑

i=1

(uH

i b

σi

)2

+n∑

i=r+1

α2i .

Die nach Theorem 2.1.2 eindeutige Losung minimaler Euklidischer Norm ist daher durch

xLS := V (uH1 b/σ1, . . . , u

Hr b/σr, 0 . . . , 0)T =

r∑i=1

uHi b

σivi

gegeben. Oben haben wir die volle Singularwertzerlegung einer Matrix A ∈ Km×n definiert.Eine Darstellung der Form A = U ΣV H mit einer Matrix U ∈ Km×n mit UHU = In, einerunitaren Matrix V ∈ Km×n und einer Diagonalmatrix

Σ = diag(σ1, . . . , σr, 0, . . . , 0︸︷︷︸n−r

) ∈ Rn×n, σ1 ≥ . . . ≥ σr > 0

heißt eine reduzierte Singularwertzerlegung. Offensichtlich wurde diese genugen, um das lineareAusgleichsproblem vollstandig zu losen. Die Anzahl der Operationen betragt hier etwa 2mn2 +11n3.


Ziel des Abschnitts ist eine reduzierte oder volle QR-Zerlegung von A ∈ Km×n, m ≥ n, zubestimmen. Wir geben drei Verfahren an, das Gram-Schmidtsche Orthogonalisierungsverfahren,die Householder-Triangulierung und die Triangulierung mittels Givens-Rotationen.

2.2.1 Das Gram-Schmidt-Verfahren

Beim Gram-Schmidt-Verfahren sind linear unabhangige Vektoren a1, . . . , an ⊂ Km bzw. eineMatrix A = [a1, . . . , an] ∈ Km×n mit rankA = n gegeben. Ziel ist es, die Vektoren a1, . . . , ansukzessiv zu orthonomieren, also ein Orthonormalsystem q1, . . . , qn mit

span q1, . . . , qk = span a1, . . . , ak , k = 1, . . . , n, (2.3)

zu bestimmen. Ist dies gelungen, so gilt fur die Matrix Q = [q1, . . . , qn] ∈ Km×n, dass QHQ = In,ferner laßt sich ak in eindeutiger Weise als Linearkombination von q1, . . . , qk, k = 1, . . . , n,darstellen:

ak =k∑

i=1

rikqi, k = 1, . . . , n.

Dies wiederum ist gleichwertig mit einer QR-Zerlegung A = QR, wobei die obere Dreiecksma-trix R ∈ Kn×n fur i ≤ k den Eintrag rik besitzt. Man sieht dies sehr einfach, wenn man auf

43


beiden Seiten der behaupteten Gleichungen die k-te Spalte betrachtet. Es ist namlich

QRek = [q1, . . . , qk, qk+1, . . . , qn]

⎡⎢⎢⎢⎢⎢⎢⎣

r1k...rkk

0...

⎤⎥⎥⎥⎥⎥⎥⎦ =

k∑i=1

rikqi = ak = Aek.

Dem klassischen Gram-Schmidt-Verfahren (gelegentlich auch Orthonormierungsverfahrennach E. Schmidt genannt) liegt folgende Idee zu Grunde. Angenommen, man hat schon einOrthonormalsystem q1, . . . , qk−1, fur das (2.3) gilt, konstruiert. Um ak ∈ span q1, . . . , qk zusichern, macht man den Ansatz

ak =k∑

i=1

rikqi (2.4)

mit noch unbekannten Koeffizienten r1k, . . . , rkk sowie einem unbekannten Vektor qk. Wegender Orthogonalitat der qi erhalt man hieraus, dass rik = qH

i ak, i = 1, . . . , k − 1. Mit

q′k := ak −k−1∑i=1

rikqi = 0

folgt, wenn R eine positive Diagonale haben soll, dass rkk = ‖q′k‖2 und qk = q′k/rkk.

Bemerkung 2.2.1. Der k-te Schritt im Gram-Schmidt Verfahren entspricht einer Multiplika-tion mit einer elementaren oberen Dreiecksmatrix von rechts:

A

⎡⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎣

1 β1

. . ....

1...βk

1. . .

1

⎤⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎦

=[a1, . . . , ak−1, ak, ak+1, . . . , an

],

wo

ak = βkak +k−1∑i=1

βiai.

Eine numerisch stabilere Version des Gram-Schmidt-Verfahrens, das modifizierte Gram-Schmidt-Verfahren (MGS), erhalt man, wenn man berucksichtigt, dass wegen der Orthogona-litat der Vektoren qi gilt

rik = qHi ak = qH

i

⎛⎝ak −

i−1∑j=1

rjkqj

⎞⎠ .

Es ergibt sich also folgendes Verfahren:

44


Gegeben A = [a1, . . . , an] ∈ Km×n mit m ≥ n und rankA = n.

for k = 1, . . . , n dosetze q′k := ak.

for i = 1, . . . , k − 1 doberechne rik := qH

i q′k.

berechne q′k := q′k − rikqi.berechne rkk := ‖q′k‖2.if rkk = 0 then STOPP, weil ak ∈ span a1, . . . , ak−1.else berechne qk := q′k/rkk.

Algorithmus 2.2.1: modifiziertes Gram-Schmidt-Verfahren

Das Verfahren berechnet eine reduziert QR-Zerlegung A = QR, wo R eine obere Dreiecks-matrix mit den Eintragen rik fur i ≤ k ist und Q = [q1, . . . , qn] ∈ Km×n mit QHQ = In.

Bemerkung 2.2.2. (a) Auf der Diagonalen von R befinden sich positive Eintrage. R ist daherinvertierbar. (b) Die Anzahl der Operationen fur den vorangehenden Algorithmus ist von derOrdnung 2mn2. (c) Die Matrizen Q und R werden spaltenweise berechnet. Es ware einfach, imobigen Programm die Matrix A durch Q zu uberspeichern. (d) Die Reihenfolge der Vektorenkann wahrend der Orthogonalisierung geandert werden (Pivotisierung). Im k-ten Schritt wahledie Spalte a(k)

s , so dass

‖a(k)s ‖2 = max

k≤j≤n‖a(k)

j ‖2.

In der Praxis geht auch beim MGS die Orthonormalitat der Spalten sukzessiv immer mehrverloren.

Theorem 2.2.3. Jedes A ∈ Cm×n, m ≥ n, besitzt eine volle und damit auch eine reduzierteQR-Zerlegung.

Beweis. Wir nehmen zunachst an, A habe vollen Rang. Dann gibt das Gram-SchmidtscheVerfahren die Existenz einer reduziertenQR-Zerlegung. Der einzige Punkt, indem das Verfahrenabbrechen kann, ist, dass rkk = 0 gilt. Dann sind aber die Vektoren a1, . . . , ak linear abhangig,was einen Widerspruch zu rankA = n liefert.

Wenn A keinen vollen Rang besitzt, kann es wie eben erwahnt passieren, dass q′k = 0 ist.In diesem Fall wahlen wir fur qk einen normierten Vektor, der senkrecht auf den bisherigenVektoren q1, . . . , qk−1 steht und fahren mit dem Gram-Schmidtschen Verfahren fort.

Theorem 2.2.4. Jedes A ∈ Cm×n mit rankA = n ≤ m besitzt eine eindeutige reduzierteQR-Zerlegung A = QR mit rii > 0, i = 1, . . . , n.

Beweis. Durch die Gleichung (2.4) sind die Großen rik und qi bis auf das Vorzeichen von riieindeutig bestimmt.

Die naheliegende Methode zur Berechnung der Losung von (2.1), falls rankA = n, bestehtdarin, eine reduzierte QR-Zerlegung A = QR etwa mit dem MGS zu berechnen. Danach setztman [

cd

]:= QHb

und erhalt x durch Ruckwartseinsetzen aus Rx = c, d.h.

45


for i = n, . . . , 1 doberechne xi = ci −

∑nk=i+1 rikxk

berechne xi = xi/riiAlgorithmus 2.2.2: Ruckwartseinsetzen

Bemerkung 2.2.5. Die Anzahl der flops (“floating point operations”) fur den vorangehendenAlgorithmus ist n2 − 1. Die entsprechende Routinen in LAPack lauten DTRTRS bzw. DTPTRS.

Man kann zeigen, dass das Ruckwartseinsetzen ruckwartsstabil ist.Theorem 2.2.6. Sei x ∈ Kn der in endlicher Arithmetik durch Algorithmus 2.2.2 berechneteVektor. Es gelten die Annahmen (1.14) und (1.15). Dann gilt

(R+ δR)x = c

fur eine obere Dreiecksmatrix δR ∈ Kn×n mit ‖δR‖ ≤ cεF‖R‖. Genauer gilt

|δrij ||rij| ≤ nεF + cε2F.

Ebenso ist die Multiplikation mit unitaren Matrizen ruckwartsstabil.Theorem 2.2.7. Sei y ∈ Kn das Ergebnis der Matrix-Vektor Multiplikation einer unitarenMatrix QH mit x. Es gelten die Annahmen (1.14) und (1.15). Dann gilt

(Q+ δQ)y = x

fur ein δQ ∈ Kn×n mit ‖δQ‖ ≤ cεF.

Eine andere Moglichkeit besteht darin, folgendermaßen vorzugehen: Berechne zunachst einereduzierte QR-Zerlegung

[A, b] = [Q, qn+1][R z0 ρ

](2.5)

durch Anwendung des MGS auf [A, b]. Die Losung x von (2.1) erhalt man durch Ruckwart-seinsetzen aus Rx = z. Dann ist ‖Ax− b‖2 = ρ. Dass x Losung von (2.1) ist, kann man leichteinsehen. Aus obiger Darstellung folgt namlich A = QR und b = Qz + ρqn+1. Mit Rx = z istdaher

AH(Ax− b) = RHQH(QRx− Qz − ρqn+1) = −ρRHQHqn+1 = 0,

d.h. x genugt den Normalgleichungen, ist also die Losung von (2.1).Aufgabe 2.2.8. Sei A = [a1, . . . , an] ∈ Kn×n. Dann gilt die Hadamardsche Determinanten-Ungleichung :

|detA| ≤n∏

j=1

‖aj‖2.

2.2.2 Das Householder-Verfahren

Im Gegensatz zum Gram-Schmidtschen Verfahren, das die Spalten von A durch sukzessi-ve Anwendung elementarer Dreiecksmatrizen orthonormiert, wird A bei dem nun folgendenHouseholder-Verfahren1 durch eine Folge unitarer Transformationen auf Dreiecksform gebracht.Es wird sich zeigen, dass dies eine numerisch stabilere Vorgehensweise ist.

1nach einer Idee von Alston Householder aus dem Jahr 1958

46


Fur 0 = u ∈ Kn wird die Matrix

Q = In − 2uuH

uHu

als Householder-Spiegelung, Matrix oder Transformation bezeichnet. Matrizen der Form In +uvH bezeichnet man als Elementarmatrizen. Weil P := uuH/‖u‖22 ein orthogonaler Projektorist, ist P Hermitesch und Q nach Aufgabe 1.10.4 unitar. Außerdem besitzt sie folgende wichtigeEigenschaft:

x−Qx ∈ span u und (x+Qx)/2 ∈ (span u)⊥.Q spiegelt x = 0 an der Hyperebene senkrecht zu u. Setzt man

u = x− αe1mit |α| = ‖x‖2, so sieht man wegen

uHx = (x− αe1)Hx = ‖x‖22 − αx1 und uHu = (x− αe1)H(x− αe1) = 2(‖x‖22 − αx1),

dass

Qx =(In − 2

uuH

uHu

)x = x− 2

uHx

uHuu = x− u = αe1.

Um zu vermeiden, dass x− αe1 klein wird, wahlt man α = −sign(x1)‖x‖2. In diesem Fall gilt

Q = In − βuuH , β =2

uHu= (‖x‖2(‖x‖2 + |x1|))−1.

Bemerkung 2.2.9. (a) Die Householder-Matrix zeigt, dass man einen Vektor x zu einer Or-thonormalbasis fortsetzen kann. (b) Mit Q ist auch

diag(Ik, Q) =[Ik 00 Q

]unitar. Ist Q = In−k − wwH so kann auch diag(Ik, Q) in dieser Form dargestellt werden.

Sei A ∈ Km×n, m ≥ n, gegeben. Wie oben beschrieben, kann man die erste Spalte durchMultiplikation von links mit einer Householder-Matrix Q1 ∈ Km×m in ein Vielfaches von e1transformieren:

A1 := Q1A, A1e1 = αe1.

Sei nun angenommen, dass die Matrix A durch k sukzessive Schritte in die folgende partielleobere Dreiecksform gebracht wurde:

Ak−1 = Qk−1 · . . . ·Q1A =

⎡⎢⎢⎢⎢⎢⎢⎣

a11 . . . . . . . . . a1n

. . ....

akk · · · akn...

...amk · · · amn

⎤⎥⎥⎥⎥⎥⎥⎦ .

Im k-ten Schritt soll Ak−1 so transformiert werden, dass sie bis zur k-ten Spalte eine obereDreiecksmatrix ist. Um die ersten k − 1 Spalten unverandert zu lassen, wahlen wir Qk =diag(Ik−1, Qk) mit

Qk = Im−k+1 − 2uku

Hk

‖uk‖22, wo uk = z + sign(z1)‖z‖2e1 ∈ Km−k+1 und z = ak:m,k.

47


Nach n Schritten erhalt man also die obere Dreiecksform:

An = Qn · . . . ·Q1A =

⎡⎢⎢⎢⎣a11 . . . a1n

. . ....ann

⎤⎥⎥⎥⎦ .

Setzt man also Q = Qn−1 · . . . ·Q1, so hat man die Darstellung

QA = R =[R0

],

bei der R ∈ Kn×n eine obere Dreiecksmatrix ist. Ist rankA = n, sind also n Spalten von A linearunabhangig, und R ist regular. Weil Q unitar ist, erhalten wir mit dem obigen Householder-Verfahren A = QHR, eine volle QR-Zerlegung von A.

Sei A =[a1, . . . , an

] ∈ Km×n.

for k = 1, . . . , n dox = ak:m,k

uk = x+ sign(x1)‖x‖2e1uk = uk/‖uk‖2ak:m,k:n = ak:m,k:n − 2uk(uH

k ak:m,k:n).Algorithmus 2.2.3: Householder-Verfahren

Bemerkung 2.2.10. (a) Die Eintrage der Householder-Matrix Q sollten nie berechnet werden.(b) Q kann in faktorisierter Form Q = Q1 · . . . ·Qn in der jeweils gerade frei gewordenen Spalteder Matrix A gespeichert werden, wenn die Diagonale von R in einem Vektor r festgehaltenwird. (c) Die QR-Zerleung mittels Householder-Spiegelungen benotigt 2mn2 − 2

3n3 flops. (d)

Die entsprechende LAPack Routine lautet DGEQRF.Auch fur die Berechnung der Matrix-Vektor Produkte Qx und QHx, wobei Q = Q1 · . . . ·Qn

und Qi Householder-Reflektoren sind, kann auf Q in expliziter Form verzichtet werden:

for k = n, . . . , 1 doxk:m = xk:m − 2uk(uH

k xk:m)

bzw.

for k = 1, . . . , n doxk:m = xk:m − 2uk(uH

k xk:m)

Die entsprechenden LAPack Routine lautet DORMQR.Wenn ein lineares Ausgleichsproblem (2.1) gegeben ist, so wird man sich den orthogonalen

Faktor Q nur dann merken, wenn (2.1) mit ein und derselben Koeffizientenmatrix A undverschiedenen “rechten Seiten” b zu losen ist. Ansonsten multipliziert man sukzessiv b mit denHouseholder-Matrizen Qk, die danach vergessen werden konnen.

Die Verallgemeinerung des Housholder-Verfahrens auf den moglicherweise Rang-defizientenFall ist nun einfach. Wir nehmen an, es seien schon k−1 Householder-Matrizen Q1, . . . , Qk−1 ∈Km×m und Vertauschungsmatrizen Π1, . . . ,Πk−1 ∈ Rn×n mit

Qk−1 · . . . ·Q1AΠ1 · . . . ·Πk−1 =

[R

(k−1)11 R

(k−1)12

0 R(k−1)22

]

48


gefunden, wobei R(k−1)11 ∈ K(k−1)×(k−1) eine regulare obere Dreiecksmatrix ist, und

R(k−1)12 ∈ K(k−1)×(n−k+1), R

(k−1)22 = [r(k−1)

k , . . . , r(k−1)n ] ∈ K(m−k+1)×(n−k+1).

Fur k = 1 wird nichts vorrausgesetzt. Man bestimme nun einen Index p ∈ k, . . . , n mit

‖r(k−1)p ‖ = max

k≤j≤n‖r(k−1)

j ‖2.

Ist ‖r(k−1)p ‖2 = 0, so ist R(k−1)

22 = 0 und rankA = k − 1. Ist dies nicht der Fall, so vertau-sche man in R(k−1) die k-te und die p-te Spalte, d.h. man multipliziert R(k−1) von rechts miteiner Vertauschungsmatrix Πk. Anschließend bestimmt man eine Householder-Matrix Qk ∈R(m−k+1)×(m−k+1) derart, dass Qkr

(k−1)p ein Vielfaches des ersten Einheitsvektors ist. Mit

Qk := diag(Ik−1, Qk) erhalt man auf diese Weise

Qk · . . . ·Q1AΠ1 · . . . ·Πk =

[R

(k)11 R

(k)12

0 R(k)22

]

mit einer nichtsingularen oberen Dreiecksmatrix R(k)11 ∈ Rk×k. Damit ist ein Iterationsschritt

des Householder-Verfahrens mit Spaltenpivotsuche beschrieben. Insgesamt berechnet man einein faktorisierter Form gegebene unitare Matrix P ∈ Rm×m und eine Permutationsmatrix Πderart, dass

AΠ = Q

[R11 R12

0 0

],

wobei R11 ∈ Rr×r mit r = rankA eine nichtsingulare obere Dreiecksmatrix ist.Mit dem Housholder-Verfahren mit Spaltenpivotisierung laßt sich auch im Rang-defizieten

Fall eine Losung des gegebenen linearen Ausgleichsproblems berechnen. Sei[cd

]= QHb

mit c ∈ Kr, d ∈ Km−r. Dann ist

xB := Π[R−1

11 c0

]die sog. Basislosung von (2.1).Aufgabe 2.2.11. Man zeige: (a) xB ist eine Losung von (2.1). (b) Ist R12 = 0, so ist xB dieeindeutig bestimmte Losung minimaler Euklidischer Norm von (2.1).Aufgabe 2.2.12. Bestimme die Eigenwerte, Eigenvektoren, die Determinante und die Sin-gularwerte von Householder-Matrizen. Eine Matrix M mit detM = −1 wird als Reflektor, eineMatrix mit detM = 1 als Rotation bezeichnet.

2.2.3 Stabilitat des Householder-Verfahrens

Die Berechnung der QR-Zerlegung ist ruckwartsstabil. Seien Q und R die mit endlicher Ge-nauigkeit berechneten Faktoren. Wir durfen davon ausgehen, dass R eine obere Dreiecksmatrixund Q unitar ist. Q wird namlich auch bei endlicher Genauigkeit praktisch nicht berechnet,sondern immer als das Produkt von unitaren Householder-Reflektoren verwendet.

49


Theorem 2.2.13. Sei die QR-Zerlegung von A ∈ Km×n durch das Householder-Verfahrenberechnet und Q und R die entsprechenden Faktoren. Es gelten die Annahmen (1.14) und(1.15). Dann gilt

QR = A+ δA

fur ein δA ∈ Km×n mit ‖δA‖ ≤ cεF‖A‖.Bemerkung 2.2.14. Obwohl das Produkt QR stabil ist, konnen sich die Faktoren Q und Rvon den exakten Faktoren Q und R stark unterscheiden.

2.2.4 Das Givens-Verfahren

Im Folgenden beschreiben wir das Givens-Verfahren zur Berechnung einer vollen QR-Zerlegungeiner Matrrix A ∈ Rm×n mit m ≥ n. Weil im Gegensatz zum Householder-Verfahren einzelneMatrixeintrage eliminiert werden, ist das Givens-Verfahren vor allem fur strukturierte Matrizengeeignet.

Eine Givens-Rotation Gik ∈ Rm×m mit 1 ≤ i < k ≤ m unterscheidet sich von der Einheits-matrix nur in den Positionen (i, i), (i, k), (k, i) und (k, k), in denen sie die Eintrage[

c s−s c

]mit c2 + s2 = 1

hat. Offenbar sind Givens-Rotationen unitare Matrizen. Ist x ∈ Rm und y := Gikx, so ist furj = 1, . . . ,m

yj =

⎧⎪⎨⎪⎩cxi + sxk, fur j = i

−sxi + cxk, fur j = k

xj, sonst

.

Dies bedeutet, dass der Vektor x bei der Multiplikation mit Gik nur in der i-ten und der k-tenKomponente verandert wird. Diese werden um den Winkel θ im Uhrzeigersinn gedreht, wobeic = cos θ und s = sin θ. Durch eine Rotation in der (i, k)-Ebene kann die k-te Komponente vony := Gikx zu Null gemacht werden, wobei außer der i-ten alle anderen unverandert bleiben.Bei gegebenen Werten α und β sind also Werte c, s und γ gesucht, so dass[

c s−s c

] [αβ

]=

[γ0

], c2 + s2 = 1.

Dies kann folgendermaßen geschehen:

if β = 0 then setze c := 1, s := 0, γ := α.else if |β| ≥ |α| then

t := α/β, u := (1 + t2)1/2, s := 1/u, c := st und γ := βu.

elset := β/α, u := (1 + t2)1/2, c := 1/u, s := ct und γ := αu.

Multipliziert man eine Matrix A ∈ Rm×n von links mit der Givens-Rotation Gik, so be-wirkt dies lediglich eine Veranderung der i-ten und der k-ten Zeile. Die neuen Zeilen sind eineLinearkombination der alten und gegeben durch

(GikA)ij = caij + sakj, (GikA)kj = −saij + cakj j = 1, . . . , n.

50

2.3 Die Singularwertzerlegung

Das Givens-Verfahren zur Berechnung einer QR-Zerlegung besteht darin, die gegebene Matrixsukzessiv von links mit Givens-Rotationen zu multiplizieren, dabei jeweils ein Element zu an-nulieren und darauf zu achten, dass zu Null gemachte Eintrage auch weiter verschwinden. Manhat einige naheliegende Moglichkeiten, in welcher Reihenfolge man Eintrage zu Null macht.Beispielsweise kann man spaltenweise von oben nach unten vorgehen: G1n · . . . ·G12 uberfuhrtbei geeigneter Wahl der Rotationen die erste Spalte von A in eine Vielfaches des ersten Ein-heitsvektors. Anschließend kann man sich entsprechend die zweite Spalte vornehmen.

Ist etwa ein lineares Ausgleichsproblem mit den Daten [A, b] gegeben, so multipliziert mandie “rechte Seite” b mit entsprechenden orthogonalen Matrizen und kann sie danach vergessen.Gelegentlich ist es aber doch notig, sich den orthogonalen Anteil einer QR-Zerlegung wenigstensin faktorisierter Form zu merken. Beim Givens-Verfahren wird in jedem Schritt ein Eintrag zuNull. An dieser Stelle sollte die Information (c, s) uber die benutzte Givens-Rotation hinterlegtwerden. Hierzu speichert man

ρ :=

⎧⎪⎨⎪⎩

1, falls c = 0sign(c)s, falls |s| < |c|,sign(s)/c, falls |c| ≤ |s|.

Umgekehrt kann man bei gegebenem ρ die Werte c und s bis auf einen gemeinsamen Faktor±1 zuruckgewinnen: ⎧⎪⎨

⎪⎩c := 0, s := 1, falls ρ = 1s := ρ, c :=

√1− s2, falls |ρ| < 1

c := 1/ρ, s :=√

1− c2, falls |ρ| > 1.

Weil das Givens-Verfahren bei vollbesetzter Matrix A in etwa doppelt so teuer wie dasHouseholder-Verfahren ist, wollen wir den dicht-besetzten Fall nicht weiter betrachten, uns aberin Zukunft daran erinnern, dass mit Hilfe von Givens-Rotationen storende Eintrage selektiventfernet werden konnen.Aufgabe 2.2.15. Bestimme die Eigenwerte, Eigenvektoren, die Determinante und die Sin-gularwerte von Givens-Matrizen.

2.3 Die Singularwertzerlegung

Theorem 2.3.1. Zu A ∈ Km×n existieren unitare Matrizen U ∈ Km×m und V ∈ Kn×n, sodass

A = UΣV H

mit Σ = diag(σ1, . . . , σk) ∈ Rm×n, k = min m,n, wobei σ1 ≥ σ2 ≥ . . . ≥ σk ≥ 0 dieSingularwerte von A sind.

Beweis. Sei v ∈ Kn, ‖v‖2 = 1 so gewahlt, dass

‖Av‖2 = max ‖Ax‖2, x ∈ Kn mit ‖x‖2 = 1 =: σ.

Definiere u = Av/‖Av‖2, dann gilt Av = σu. Wahle U =[u,U1

] ∈ Kn×n und V =[v, V1

] ∈Km×m, so dass U und V unitar. Dann gilt

V HAU =[σ wH

0 B

]=: A1.

51


Wegen

‖A1

[σw

]‖2 ≥ σ2 + ‖w‖22

hat man ‖A1‖22 ≥ σ2 + ‖w‖22. Aber σ = ‖A‖2 = ‖A1‖2. Also folgt w = 0. Fahre analog mit Bfort, und verwende die erhaltene Zerlegung B = U ΣV H fur die Singularwertzerlegung

A = U

[σ 00 U ΣV H

]V H = U

[1 00 U

] [σ 00 Σ

] [1 00 V

]H

V H .

von A. Dass es sich bei den Werten auf der Diagonalen um die Singularwerte von A handeltsieht man mit A = UΣV H aus

AHA = V ΣHUHUΣV H = V diag(σ21 , . . . , σ

2k)V

H .

Es gilt also σi =√λi(AHA), i = 1, . . . , n, wobei λi(AHA) die Eigenwerte der Matrix AHA ∈

Kn×n sind.

Eine ZerlegungA = U ΣV H ,

wobei U ∈ Km×n mit UHU = In, V ∈ Kn×n und Σ ∈ Kn×n wie oben, bezeichnet man alsreduzierte Singularwertzerlegung. Aus einer reduzierten SVD erhalt eine volle SVD, indem manU zu einer unitaren Matrix vervollstandigt. Ist

U = [u1, . . . , un] und V = [v1, . . . , vn],

so heißt ui linker und vi rechter Singularvektor zum Singularwert σi, i = 1, . . . , n.Theorem 2.3.2. Die Singularwerte einer Matrix sind eindeutig bestimmt. Es sei r = rankA.Falls die Singularwerte σi, i = 1, . . . , r, paarweise verschieden sind, sind die Singularvektorenui und vi, i = 1, . . . , r, bis auf einen Faktor, der betragsmaßig 1 ist, eindeutig bestimmt.

Theorem 2.3.3. Der Rang einer Matrix stimmt mit der Anzahl positiver Singularwerte ube-rein.

Beweis. Es gilt rankA = rankΣ = r, wobei r die Anzahl der positiven Singularwerte bezeich-net.

Theorem 2.3.4. Sei A ∈ Km×n mit m ≥ n und rankA = r gegben. Dann gilt

(i) RanA = span u1, . . . , ur und kerA = span vr+1, . . . , vn.(ii) RanAH = span v1, . . . , vr und kerAH = span ur+1, . . . , un.(iii)

A =r∑

i=1

σiuivHi . (2.6)

Beweis. Verwende die Singularwertzerlegung A = UΣV H .

Bemerkung 2.3.5. Anstatt der ublichen m · n Eintrage mussen in der Darstellung (2.6)r(m+ n) Werte gespeichert werden. Ebenso kann eine Matrix-Vektor Multiplikation Ax stattin m ·n Operationen in r(m+n) Operationen durchgefuhrt werden. Bei Niedrigrang-Matrizen,d.h. r(m+ n) < m · n, lohnt es sich also, die Darstellung (2.6) zu verwenden.

52

2.4 Unitar invariante Normen

Theorem 2.3.6. Ist b ∈ Km, so ist die eindeutige Losung xLS minimaler Euklidischer Normdes linearen Ausgleichsproblems (2.1) durch

xLS :=r∑

i=1

uHi b

σivi

gegeben.

Bemerkung 2.3.7. Die LAPack Routine zur Berechnung der SVD einer allgemeinen Ma-trix lautet DGESVD. Die Berechnung der Singularwertzerlegung fur allgemeine m× n-Matrizenbenotigt 2mn2 + 11n3 Operationen.

2.4 Unitar invariante Normen

Eine Norm ‖ · ‖ heißt unitar invariant, falls

‖A‖ = ‖PAQ‖fur beliebige unitare Matrizen P und Q.Theorem 2.4.1. Die Spektral- und die Frobenius-Norm sind unitar invariant.

Beweis. Seien A ∈ Km×n, Q ∈ Kn×n unitar und P ∈ Kp×m mit PHP = Im. Wegen ‖Px‖22 =xHPHPx = xHx = ‖x‖22 gilt

‖PAQ‖2 = max‖x‖2=1

‖PAQx‖2 = max‖x‖2=1

‖AQx‖2.

Weil Q regular ist, konnen wir das Maximum fur y = Qx bilden. Wegen ‖y‖2 = ‖x‖2 folgt

‖PAQ‖2 = max‖y‖2=1

‖Ay‖2 = ‖A‖2.

Wegen (1.9) gilt‖PAQ‖2F = traceQHAHPPAQ = traceQHAHAQ.

Nach Theorem 1.7.7 ist traceA die Summe der Eigenwerte von A. Weil QHAHAQ und AHAunitar ahnlich sind, folgt die Behauptung.

Ist ‖ · ‖ unitar invariant, so gilt wegen der Singularwertzerlegung A = UΣV H fur die Normeiner Matrix ‖A‖ = ‖Σ‖. Sie wird also ausschließlich durch ihre Singularwerte bestimmt.

Theorem 2.4.2. ‖A‖2 = σmax, ‖A‖F =(∑min(m,n)

i=1 σ2i

)1/2.

Beweis. Man verwende die Singularwertzerlegung

In [12] findet man ein Resultat bei Approximation mit Niedrgrang-Matrizen fur allgemeineunitar invariante Normen:Theorem 2.4.3 (L. Mirsky). Sei A ∈ Km×n mit der SVD A = UΣV H und ‖ · ‖ eineunitar invariante Matrixnorm. Die beste Approximation in der Menge der Rang k Matrizenan A ist Ak := UΣkV

H , wobei Σk = diag(σ1, . . . , σk, 0, . . . , 0) mit den abfallend geordnetenSingularwerten σi von A. Genauer ist

minrank B≤k

‖A−B‖ = ‖A−Ak‖ = ‖Σ− Σk‖.

53


Beispiel 2.4.4. ‖Σ− Σk‖2 = σk+1 und ‖Σ − Σk‖2F = σ2k+1 + · · ·+ σ2

n.

Beispiel 2.4.5 (SVD von Rang-k Matrizen). Seien A ∈ Km×k, B ∈ Kn×k. Ziel: Berechnedie Singularwertzerlegung von C = ABH . Anleitung:

1. Berechne QR-Zerlegungen A = QARA und B = QBRB.

2. Berechne M := RARHB ∈ Kk×n

3. Berechne die Singularwertzerlegung von M = UΣV H

4. Die SVD von ABH ist (QAU)Σ(QBV )H .

Fur Rang-k Matrizen kann daher eine SVD mit Komplexitat (m+ n)k2 bestimmt werden.

2.4.1 Die Pseudoinverse

Die Pseudoinverse verallgemeinert den Begriff der Inversen einer regularen, quadratischen Ma-trix auf beliebige rechteckige Matrizen. Ist A ∈ Km×n mit m ≥ n, rankA = r und

A = U ΣV H

eine reduzierte Singularwertzerlegung von A, so nennt man

A+ := V Σ+UH ∈ Kn×m mit Σ+ := diag(1/σ1, . . . , 1/σr, 0, . . . , 0) ∈ Kn×n

die (Moore-Penrose) Pseudoinverse von A. Fur jedes b ∈ Km is A+b die eindeutig bestimmteLosung minimaler Euklidischer Norm zum linearen Ausgleichsproblem mit den Daten [A, b].Hieraus folgt, dass A+ = A−1 fur regulare (quadratische) A und A+ = (AHA)−1AH im FallrankA = n.

Fur rechteckige Matrizen A ∈ Km×n, m ≥ n, mit vollem Rang definiert man daher analogzu Definition 1.13.3 die Kondition cond‖·‖2

(A) = ‖A‖2 ‖A+‖2 = σ1/σn mit der PseudoinversenA+, vgl. auch Bemerkung 1.13.4.

Aufgabe 2.4.6. Sei A ∈ Km×n und A+ die zugehorige Pseudoinverse. Man zeige: (a) AA+A =A, A+AA+ = A+, (AA+)H = AA+ und (A+A)H = A+A. (b) P := AA+ ist die orthogonaleProjektion des Km auf RanA und A+A die orthogonale Projektion des Kn auf RanAH .

Aufgabe 2.4.7. Sei A ∈ Km×n, m ≥ n, und A+ die zugehorige Pseudoinverse. Man zeige,dass (a) A+ Losung der Aufgabe

minimiere ‖AX − Im‖F , X ∈ Kn×m,

ist (b) ‖AA+ − Im‖2 = min 1,m− n gilt.

Aufgabe 2.4.8. Sei A ∈ Km×n, m ≥ n, und rankA = r. Man definiere B : (0,∞) → Kn×m

durchB(t) = (AHA+ tIn)−1AH , t > 0.

Man zeige, dass

‖B(t)−A+‖2 =t

σr(σ2r + t)

.

Insbesondere gilt limt→∞B(t) = A+.

54

2.5 Stabilitat von linearen Ausgleichsproblemen

Aufgabe 2.4.9. Sei A ∈ Km×n mit rankA = m < n und b ∈ Km. Die Aufgabe

minimiere ‖Ax− b‖2, x ∈ Kn,

heißt unterbestimmtes lineares Ausgleichsproblem. Man zeige, dass (a) dieses Problem eine(n −m)-dim. affinlineare Losungsmenge hat (b) dieses Problem genau eine Losung minimalerEuklidischer Norm besitzt (c) wie berechnet man diese mit Hilfe der QR-Zerlegung von AH ?


Wir interessieren uns im Folgenden fur die relative Kondition des linearen Ausgleichsproblems(2.1), d.h. der Einfluss von Storungen von A oder b auf x bzw. Ax. Die folgenden Großen sindcharakteristisch fur diese Sensitivitatsanalyse:

θ := cos−1 ‖Ax‖2‖b‖2

und

η :=‖A‖2‖x‖2‖Ax‖2 ≤ κ(A).

Theorem 2.5.1. Sei b ∈ Kn und A ∈ Km×n mit rankA = n ≤ m. Das lineare Ausgleichs-problem (2.1) hat folgenden relativen Konditionszahlen, die die Sensitivitat von x und Ax beiStorung von b und A beschreiben:

Ax x

b 1cos θ

κ(A)η cos θ

A κ(A)η cos θ κ(A) + κ(A)2 tan θ

η

Bemerkung 2.5.2. Im quadratitschen Fall m = n vereinfacht sich das lineare Ausgleichspro-blem zu einem regularen Gleichungssystem mit θ = 0.

Wir machen nun Aussagen uber die Stabilitat der vorgestellten Verfahren zur Losung deslinearen Ausgleichsproblems (2.1). Zunachst gehen wir immer von dem Fall A ∈ Km×n mitrankA = n ≤ m aus und nehmen wie ublich an, dass die Annahmen (1.14) und (1.15) gelten.

2.5.1 Das Householder-Verfahren

Wir haben das Householder-Verfahren mit und ohne Pivotisierung vorgestellt.

Theorem 2.5.3. Das lineare Ausgleichsproblem (2.1) werden in endlicher Arithmetik mitHilfe des Householder-Verfahrens berechnet. Dieser Algorithmus ist ruckwartsstabil, d.h. furberechnete Losung x gilt

‖(A+ δA)x − b‖ = min (2.7)

fur ein δA ∈ Km×n mit ‖δA‖ ≤ cεF‖A‖, unabhangig davon, ob QHb explizit berechnet wurdeoder implizit durch sequentielle Multiplikation mit Householder-Reflektoren. Dies gilt auch furdie Householder-Triangulierung mit beliebiger Spaltenpivotisierung.

55


2.5.2 Das Gram-Schmidt-Verfahren

Das modifizierte Gram-Schmidt-Verfahren ist eine weitere Moglichkeit, mit Hilfe der QR-Zerlegung das lineare Ausgleichsproblem zu losen. Fur m ≈ n ist dieses deutlich teurer alsdas Householder-Verfahren. Im Fall m n brauchen beide Verfahren etwa 2mn2 Operationen.Wir haben bereits erwahnt, dass die Spalten von Q durch Rundungsfehler nicht orthogonalwerden. Das Verfahren basiert aber auf der Orthogonalitat der Spalten. Daher ist die Losungvon (2.1) mit Hilfe der QR-Zerlegung von A durch das modifizierte Gram-Schmidt-Verfahreninstabil.

Interessanterweise ist aber QR akkurat, obwohl die Spalten von Q nicht orthogonal sind.Eine Moglichkeit, diese Instabilitat zu umgehen, ist die Verwendung der Normalgleichungen

Rx = (QHQ)−1QHb.

Die Losung x wird dann wieder durch Ruckwartseinsetzen gewonnen. Solange Q gut konditio-niert ist, ist diese Methode stabil. Durch den zusatzlichen Aufwand sollte sie allerdings praktischnicht verwendet werden.

Wir haben aber noch eine weitere Art vorgestellt, das MGS zur Losung von (2.1) zu ver-wenden. Dabei wird, siehe (2.5), die QR-Zerlegung auf [A, b] angewendet. Obwohl auch hierdas MGS verwendet wird, ist dieses Verfahren stabil.Theorem 2.5.4. Die Losung des linearen Ausgleichsproblems (2.1) mit Hilfe der Gram-SchmidtOrthonormalisierung angewendet auf [A, b] ist ruckwartsstabil, d.h. es gilt (2.7).Bemerkung 2.5.5. Die Genauigkeit der Losung bei Anwendung des MGS auf [A, b] ist ver-gleichbar mit der bei Verwendung des Householder-Verfahrens.

2.5.3 Normalgleichungen

Ein prinzipiell anderer Zugang fur die Losung von (2.1) ist die Verwendung der Normalglei-chungen und die damit verbundene Losung mittels Cholesky-Zerlegung. Fur m n ist dieseMethode mit asymptotisch mn2 Operationen doppelt so schnell wie die auf der QR-Zerlegungbasierenden Verfahren. Leider ist das Verfahren jedoch instabil.

Aus einem ruckwartsstabilen Algorithmus erhahlt man x, so dass (2.7) gilt. Mit Theorem2.5.1 folgt dann

‖x− x‖‖x‖ = O(κ(1 + κη−1 tan θ)εF). (2.8)

Angenommen, A ist schlecht konditioniert, d.h. κ(A) 1, und θ ist von π/2 weg beschrankt.Die Konditionszahl des linearen Ausgleichsproblems bewegt sich also zwischen κ und κ2.

Es wird sich zeigen, dass die Losung der Normalgleichungen mit Hilfe des Cholesky-Verfahrensruckwartsstabil ist, d.h. wir erhalten x mit

(AHA+ δH)x = AHb

fur einem δH mit ‖δH‖ ≤ cεF‖AHA‖. Die Matrix AHA hat aber die Kondition κ2, so dass wirnicht mehr als ‖x− x‖

‖x‖ = O(κ2εF) (2.9)

erwarten konnen. Ist also κ klein oder ist η κ und tan θ von der Ordnung 1, so sind (2.8)und (2.9) von der gleichen Ordnung, und die Normalgleichungen sind stabil. Ist aber κ groß

56


und tan θ ≈ 0 oder η ≈ κ, so unterscheiden sich die Ausdrucke, und die Normalgleichungensind instabil. Die Normalgleichunge sind also typischerweise instabil fur schlecht konditionierteProbleme mit kleinem Residuum.Theorem 2.5.6. Die Losung von (2.1) mit Hilfe der Normalgleichungen ist instabil. Stabilitatliegt vor, wenn κ(A) gleichmaßig von oben oder (tan θ)/η von unten beschrankt ist.

Aufgabe 2.5.7. Sei A ∈ Km×n mit rankA = n ≤ m und b ∈ Km. Betrachte das System[Im AAH 0

] [rx

]=

[b0

].

Zeige, dass dieses System eine eindeutige Losung (r, x)T besitzt, wobei r das Residuum und xdie Losung des linearen Ausgleichsproblems (2.1) ist.

2.5.4 Singularwertzerlegung

Das letzte vorgestellte Verfahren zur Losung von (2.1) ist die Singularwertzerlegung. Dieseliefert ublicherweise die beste Genauigkeit, fordert aber die hochste Anzahl an Operationen.Theorem 2.5.8. Die Losung des linearen Ausgleichsproblems (2.1) mit Hilfe der Singularwert-zerlegung ist ruckwartsstabil, d.h. es gilt (2.7).

Zusammenfassend ist die Losung des linearen Ausgleichsproblems im Fall rankA = n mitHilfe des Householder-Verfahrens zu bevorzugen. Ist jedoch rankA < n oder ist das Systemunterbestimmt, d.h. gilt m < n, so gibt es im Allgemeinen keine eindeutig bestimmte Losung,wenn man nicht zusatzlich fordert, dass die Norm von x so klein wie moglich ist. Die einzigenVerfahren, die bei solchen Problemen stabil sind, basieren auf der Singularwertzerlegung. EineAlternative stellt die am Ende von Abschnitt 2.2.2 vorgestellte spaltenpivotisierte Housholder-Triangulierung dar, die fur fast immer stabil ist.

57


58

3 Direkte Verfahren bei linearenGleichungssystemen

Bei der Losung von Gleichungssystemen

Ax = b, A ∈ Km×n

bei gegebener rechter Seite b ∈ Km sind die folgenden Falle zu unterscheiden:

1. rankA < rank [A, b]: In diesem Fall ist b ∈ RanA, und es existiert keine Losung.

2. rankA = rank [A, b]: Es existiert x ∈ Kn mit Ax = b. Die Losungsmenge ist

x+ kerA := x+ v : v ∈ kerA .Insbesondere ist, falls rankA = n, x die eindeutig bestimmte Losung.

Als Kriterium fur die Losbarkeit eines Gleichungssystems kann der Satz von Fredholmverwendet werden, welcher sofort aus Theorem 1.5.12 folgt.Theorem 3.0.9. Das Gleichungssystem Ax = b mit A ∈ Km×n ist genau dann losbar, wennbHy = 0 fur alle y ∈ Km mit AHy = 0.Aufgabe 3.0.10. Sei A ∈ Kn×n mit def A = 1 und 0 = v ∈ kerA. Das GleichungssystemAx = b sei losbar, d.h. b ∈ RanA. Dann existiert eine eindimimensinale Losungsmenge. Zeige:Das Gleichungssystem [

A wvH 0

] [xα

]=

[b0

]ist genau dann eindeutig losbar, falls w ∈ RanA. Fur die Losung x gilt dann Ax = b undvHx = 0. Ist A Hermitesch, so garantiert w = v die eindeutige Losbarkeit.

3.1 Storungstheorie fur lineare Gleichungssysteme

In der Storungstheorie interessiert man sich dafur, wie die Losung eines Problems sich verandert,wenn die Daten gestort werden. Die hier gestellte Frage hat also nichts mit einem Verfahrenzu tun, sondern nur mit der Kondition des Problems.

In diesem Unterabschnitt geben wir das wohlbekannte Storungslemma an und zitieren einenaus der numerischen Mathematik wohlbekannten Storungssatz. Im Folgenden sei ‖ · ‖ einebeliebige Norm auf dem Kn bzw. die zugeordnete Matrixnorm.Lemma 3.1.1. Sei A ∈ Kn×n regular und ‖ · ‖ eine submultiplikative Matrixnorm. Ist δA ∈Kn×n und ‖A−1‖ ‖δA‖ < 1, so ist auch A+ δA regular und

‖(A+ δA)−1‖ ≤ ‖A−1‖1− ‖A−1‖ ‖δA‖ .

59

3 Direkte Verfahren bei linearen Gleichungssystemen

Beweis. Wegen ‖A−1δA‖ ≤ ‖A−1‖ ‖δA‖ < 1 existiert nach der Neumannschen Reihe (In +A−1δA)−1, und es gilt

‖(In +A−1δA)−1‖ = ‖∞∑

k=0

(−A−1δA)k‖ ≤∞∑

k=0

(‖A−1‖ ‖δA‖)k =1

1− ‖A−1‖ ‖δA‖ .

Wegen A+ δA = A(In +A−1δA) ist A+ δA regular. Die Behauptung folgt aus ‖(A+ δA)−1‖ ≤‖(In +A−1δA)−1‖ ‖A−1‖.Theorem 3.1.2. Sei A ∈ Kn×n regular und δA ∈ Kn×n eine Matrix mit ‖A−1‖ ‖δA‖ < 1. Mitvorgegebenen b ∈ Kn \0, δb ∈ Kn seien x, δx definiert durch Ax = b bzw. (A+δA)(x+δx) =b+ δb. Dann ist

‖δx‖‖x‖ ≤

cond(A)1− cond(A)‖δA‖/‖A‖

‖δA‖‖A‖ +

‖δb‖‖b‖

.

Beweis. Wegen ‖A−1‖ ‖δA‖ < 1 und dem Storungslemma ist A+ δA regular und

‖(A+ δA)−1‖ ≤ ‖A−1‖1− ‖A−1‖ ‖δA‖ .

Aus Ax = b und (A+ δA)(x + δx) = b+ δb erhalt man

δx = (A+ δA)−1(δb − (δA)x).

Hieraus folgt

‖δx‖ ≤ ‖A−1‖1− ‖A−1‖ ‖δA‖ ‖δA‖ ‖x‖ + ‖δb‖

=cond(A)

1− cond(A)‖δA‖‖A‖

‖δA‖‖A‖ ‖x‖+

‖δb‖‖A‖

.

Division mit ‖x‖ und Verwendung von ‖b‖ ≤ ‖A‖ ‖x‖ liefert das Ergebnis.

Beispiel 3.1.3. Sei

A =[3 1.0016 1.997

], b =

[1.9994.003

].

Dann ist

A−1 = − 10.015

[1.997 −1.001−6 3

],

und es gilt ‖A‖∞ = 7.997, ‖A−1‖∞ = 600 und damit cond‖·‖∞(A) = 4798.2. Sei

A =[3 16 1.997

], b =

[2.0024.003

],

dann gilt

δA =[0 0.0010 0

], ‖δA‖∞ = 0.001 und δb =

[−0.0030

], ‖δb‖∞ = 0.003.

Die Abschatzung aus Theorem 3.1.2 ergibt ‖δx‖/‖x‖ ≤ 10.4898. Tatsachlich ist x = (1,−1)T

die Losung von Ax = b und x = (0.229, 4/3)T die Losung von Ax = b. Der relative Fehlerbetragt also ‖δx‖/‖x‖ ≈ 2.333.

60

3.2 Gaußsche Elimination


Ziel dieses Abschnitts ist die LR-Zerlegung einer regularen Matrix A ∈ Kn×n.

Definition 3.2.1. Eine spaltenpivotisierte LR-Zerlegung einer Matrix A ∈ Kn×n ist eine Fak-torsierung

PA = LR

einer Permutation P ∈ Πn der Zeilen von A, wobei L eine untere Dreiecksmatrix mit Einsenauf der Diagonalen und R einer obere Dreiecksmatrix ist.

Mit Hilfe einer LR-Zerlegung kann das Gleichungssystem Ax = b bei gegebener rechterSeite b ∈ Kn in zwei Schritten gelost werden:

1. Lose Ly = Pb durch Vorwartssubstitution

yi := (Pb)i −i−1∑j=1

ijyj, i = 1, . . . , n.

2. Lose Rx = y durch Ruckwartssubstitution

xi :=1rii

⎛⎝yi −

n∑j=i+1

rijxj

⎞⎠ , i = n, . . . , 1.

Dann giltPAx = LRx = Ly = Pb ⇐⇒ Ax = b.

Daher kann bei bekannter LR-Zerlegung die Losung des Gleichungssystems mit obigen Schrittenmit (n− 1)(n + 1) bzw. (n− 1)n Operationen gefunden werden.

Zur Verbesserung der berechneten Losung x von Ax = b mittels LR-Zerlegung kann dieNachiteration verwendet werden:

1. Berechne das Residuum r = b−Ax = A(x− x)2. Lose Az = r mittels LR-Zerlegung

3. wahle neue Naherung x = x+ z.

Gilt ‖r‖∞ ≈ εF = 10−d und cond∞(A) ≈ 10q mit q < d so bringt jeder Nachiterationsschrittd− q neue Stellen in der Genauigkeit.

3.2.1 Die LR-Zerlegung

Im Folgenden wird gezeigt, wie man eine LR-Zerlegung einer Matrix A ∈ Kn×n generiert.

Definition 3.2.2. Eine Elementarmatrix der Form

Lk := In − keTk mit k := [0, . . . , 0︸︷︷︸k

, k+1,k, . . . , n,k]T ∈ Kn

mit 1 ≤ k < n heißt Gauß-Matrix.

61


Die Matrix Lk ist regular, und ihre Inverse ist wegen Tk ek = 0 durch

L−1k = In + ke

Tk

gegeben und ist selbst eine Gauß-Matrix. Die Multiplikation von Lk mit x ∈ Kn ergibt

Lkx =

⎡⎢⎢⎢⎢⎢⎢⎢⎢⎣

x1...xk

xk+1 − k+1,kxk...

xn − n,kxk

⎤⎥⎥⎥⎥⎥⎥⎥⎥⎦.

Dabei bleiben die ersten k Komponenten unverandert. Gilt xk = 0, so kann durch die Wahli,k = xi/xk, i = k + 1, . . . , n, erreicht werden, dass Lkx in den letzten n − k Komponentenverschwindet.

Sei nun A(0) := A ∈ Kn×n eine regulare Matrix. Die erste Spalte von A(0) enthalt einennicht verschwindenden Eintrag, weil A(0) sonst singular ware. Mit P1 bezeichnen wir die Per-mutionsmatrix, die die zugehorige Zeile mit der ersten Zeile vertauscht. Wahlt man fur obigesx die erste Spalte von P1A

(0), so findet man eine Gauß-Matrix L1, so dass die erste Zeile vonL1P1A

(0) und die erste Zeile von P1A(0) ubereinstimmen und die letzten n − 1 Komponenten

der ersten Spalte von L1P1A(0) verschwinden:

A(1) := L1P1A(0) =

⎡⎢⎢⎢⎢⎣a

(0)11 . . . . . . a

(0)1n

0 a(1)22 . . . a

(1)2n

......

...0 a

(1)n2 . . . a

(1)nn

⎤⎥⎥⎥⎥⎦ .

In den unteren n−1 Eintragen der zweiten Spalte von A(1) befindet sich wegen detA(1) = detAwiederum ein nicht verschwindender Eintrag. Die Permutation, die die entsprechende Zeile mitder zweiten Zeile von A(1) vertauscht, bezeichnen wir mit P2. Man findet eine Gauß-MatrixL2, indem man fur x die zweite Spalte von P2A

(1) wahlt. Durch sukzessive Multiplikationmit Permutationen P1, . . . , Pn−1 und Gauß-Matrizen L1, . . . , Ln−1 erhalt man so die obereDreiecksmatrix

R := Ln−1Pn−1 . . . L1P1A =

⎡⎢⎢⎢⎢⎣a

(0)11 . . . . . . a

(0)1n

a(1)22 . . . a

(1)2n

. . ....

a(n−1)nn

⎤⎥⎥⎥⎥⎦ .

Weil die Vertauschungsmatrizen P1, . . . , Pn−1 symmetrisch und orthogonal sind, kann man dieletzte Gleichung auch in der Form

L′n−1 . . . L

′1Pn−1 . . . P1A = R

62


schreiben, wobei

L′k := Pn−1 . . . Pk+1LkPk+1 . . . Pn−1

= Pn−1 . . . Pk+1(In − keTk )Pk+1 . . . Pn−1

= In − Pn−1 . . . Pk+1k(eTk Pk+1 . . . Pn−1︸︷︷︸=eT

k

) = In − ′keTk

ebenfalls eine Gauß-Matrix ist mit

′k := Pn−1 . . . Pk+1k, k = 1, . . . , n− 1.

Mit P := Pn−1 . . . P1 ist daher

PA = (In + ′1eT1 ) . . . (In + ′n−1e

Tn−1)R =

(In +

n−1∑k=1

′keTk

)R = LR,

wobei wir

L := In +n−1∑k=1

′keTk

gesetzt haben.

R := A, L := In, P := Infor k = 1 to n− 1 do

wahle i ≥ k, so dass rik = 0rk,k:n ←→ ri,k:n (Vertauschung zweier Zeilen)

k,1:k−1 ←→ i,1:k−1

pk,: ←→ pi,:

for j = k + 1 to n dojk = rjk/rkk

rj,k:n = rj,k:n − jkrk,k:n

Algorithmus 3.2.1: Spaltenpivotisierte Gaußsche Elimination

Bemerkung 3.2.3. Die im k-ten Schritt berechneten Eintrage der Gauß-Matrix Lk konnenin den gerade frei gewordenen Positionen in der k-ten Spalte von A unterhalb der Diagonalengespeichert werden. Auf diese Weise steht nach Abschluss des Verfahrens in der unteren Halftevon A die untere Halfte von L (ohne Diagonale), und in der oberen Halfte von A (einschließlichder Diagonalen) befindet sich die obere Dreiecksmatrix R.Bemerkung 3.2.4. Durch das obige Gaußsche Eliminationsverfahren wird es moglich, mit

n−1∑k=1

n∑i=k+1

2(n − k + 1) = 2n−1∑k=1

(n− k)(n − k + 1) =23n3 + . . .

Operationen eine spaltenpivotisierte LR-Zerlegung von A zu berechnen. Die LAPack Routinezur Berechnung einer LR-Zerlegung lauten DGETRF, DGETRS bzw. DGESVX.

Das folgende Theorem fasst die Ergebnisse zur Existenz einer LR-Zerlegung zusammen.Theorem 3.2.5. Ist A ∈ Kn×n regular, so ist Algorithmus 3.2.1 durchfuhrbar und produzierteine spaltenpivotisierte LR-Zerlegung PA = LR.

63


Theorem 3.2.6. Der Algorithmus 3.2.1 ist genau dann ohne Pivotisierung durchfuhrbar, wenndie ersten n− 1 Hauptabschnittsmatrizen von A regular sind. Die Zerlegung

A = LR

ist dann eindeutig.

Beweis. Mit Ak ∈ Kk×k bezeichnen wir die k-te Hauptabschnittsmatrix von A. Wir zeigen perInduktion, dass im k-ten Schritt a(k−1)

kk = 0 genau dann gilt, wenn detAk = 0. Fur k = 1 istdie Aussage trivial, so dass wir annehmen, sie gelte bis zu einem beliebigen k − 1. Wegen

detAk = a(0)11 · . . . · a(k−1)

kk

ist a(k−1)kk = 0 genau dann, wenn detAk = 0. In diesem Fall bestimmt die Darstellung

aij =i−1∑k=1

ikrkj + rij

die Koeffizienten eindeutig.

Bemerkung 3.2.7. Die LR-Zerlegung einer positiv definiten Matrix ist ohne Pivotisierungdurchfuhrbar.Aufgabe 3.2.8. Zeige, wie mit Hilfe der LR-Zerlegung die Determinante einer Matrix berech-net werden kann.Aufgabe 3.2.9. Mit Hilfe der LR-Zerlegung kann die Losung des Systems AX = B, A ∈ Kn×n

regular und X,B ∈ Kn×m, berechnet werden. Welche Komplexitat besitzt diese Vorgehensweise? Im Speziallfall m = n und B = In soll die Inverse X = A−1 berechnet werden. Formuliere eineVariante der LR-Zerlegung, die die Schwachbesetztheit von B ausnutzt und 2n3 Operationenbenotigt.

3.2.2 Stabilitat

Die Wahl des Pivotelements in Algorithmus 3.2.1 ist fur die Stabilitat der Gaußschen Elimina-tion wichtig:Beispiel 3.2.10. Ohne Pivotisierung wurde Algorithmus 3.2.1 das folgende Ergebnis liefern:[

ε 11 1

]=

[1 0

1/ε 1

] [ε 10 1− 1/ε

].

Dabei sei ε > 0 so klein gewahlt, dass bei endlicher Arithmetik 1 − 1/ε = −1/ε gilt. Anstellevon U wurde mit

U =[ε 10 −1/ε

]gerechnet. Das bedeutet

LU =[ε 11 0

],

und bei rechter Seite b = [1, 0]T wurde man statt der exakten Losung x = [−1, 1]T die Losungx = [0, 1]T erhalten. Fehler der Grossenordnung ε konnen also Fehler der Ordnung 1 hervorru-fen.

64


Eine solche Instabilitat tritt immer dann auf, wenn im Vergleich zu den Eintragen von Agroße Eintrage in L oder R vorkommen. Bei der Wahl des Pivotelementes sollte man daheretwas wahlerischer sein: Anstatt in Algorithmus 3.2.1 ein Element zu wahlen, das rik = 0erfullt, sollte man das betragsmaßig großte wahlen:

|rik| = maxj=k,...,n

|rjk|.

Dies hat zur Folge, dass fur die Eintrage von L gilt, dass ij ≤ 1. Diese Pivotisierungsstrategiewird als partielle Pivotisierung bezeichnet. Die Wahl des betragsmaßig großten Eintrags inA

(k)k:n,k:n wird als vollstandige Pivotisierung bezeichnet. In diesem Fall werden auch Spaltenver-

tauschungen notig. Man erhalt dann eine Zerlegung PAQ = LR mit P,Q Permutationsma-trizen. Diese Strategie ist aber sehr aufwendig, und der Zusatzaufwand hilft in der Regel nurwenig.

Mit den “Gleitkomma-Arithmetik Axiomen” kann man die Rundungsfehleranalyse fur dasGaußsche Eliminationsverfahren mit Spaltenpivotsuche (partial pivoting) durchfuhren. Wirverwenden im folgenden Theorem den Wachstumsfaktor

ρn :=maxij |rij |maxij |aij | .

Wir geben ein Resultat aus [18, S. 165] an.Theorem 3.2.11. Sei A ∈ Kn×n regular. Das Gaußsche Eliminationsverfahren mit Spaltenpi-votsuche berechne die Matrizen L, R und P . Dann ist

LR = PA+ δA

fur eine Matrix δA ∈ Kn×n mit ‖δA‖ ≤ cρnεF‖A‖.Die folgende Stabilitatsaussage ist ein Ergebnis von Wilkinson, siehe [10].

Theorem 3.2.12. Sei A ∈ Kn×n regular. Das Gaußsche Eliminationsverfahren mit Spaltenpi-votsuche zur Losung von Ax = b liefere eine berechnete Losung x. Dann ist

(A+ δA)x = b

fur eine Matrix δA ∈ Kn×n mit ‖δA‖∞ ≤ 2n2γnρn‖A‖∞ und γn = nεF/(1− nεF).Entscheidend in der Abschatzung fur δA ist der sogenannte Wachstumsfaktor ρn. Man

rechnet leicht nach, dassρn ≤ 2n−1.

Diese Schranke kann sogar fur gewisse Matrizen angenommen werden. Die Wilkinson-Matrixzeigt ⎡

⎢⎢⎢⎢⎣1 1−1 1 1−1 −1 1 1−1 −1 −1 1 1−1 −1 −1 −1 1

⎤⎥⎥⎥⎥⎦ =

⎡⎢⎢⎢⎢⎣

1−1 1−1 −1 1−1 −1 −1 1−1 −1 −1 −1 1

⎤⎥⎥⎥⎥⎦

⎡⎢⎢⎢⎢⎣

1 11 2

1 41 8

16

⎤⎥⎥⎥⎥⎦ .

Interessanterweise sind solche Instabilitaten in der Praxis fast nie anzutreffen. Als Indikatordafur, ob die Elimination instabil ist oder nicht, sollte man deshalb den Wachstumsfaktor ρn

verwenden.

65


Aufgabe 3.2.13. Sei A eine strikt zeilenweise diagonaldominante Matrix, d.h.

|akk| >∑j =k

|akj|, k = 1, . . . , n.

Zeige, dass A regular ist und eine LR-Zerlegung besitzt.

Aufgabe 3.2.14. Sei A eine strikt spaltenweise diagonaldominante Matrix, d.h.

|akk| >∑j =k

|ajk|, k = 1, . . . , n.

Zeige, dass A regular ist, die Gaußsche Elimination mit partieller Pivotisierung ohne Zeilenver-tauschungen ablauft und fur den Wachstumsfaktor gilt ρn ≤ 2, d.h.

maxi,j=k,...,n

|a(k)ij | ≤ 2 max

i,j=1,...,n|aij|.

Aufgabe 3.2.15. Sei A ∈ Kn×n regular und PA = LR eine mit Spaltenpivotisierung gewon-nene LR-Zerlegung. Zeige, dass

21−n‖A−1‖∞ ≤ ‖R−1‖∞ ≤ n‖A−1‖∞.

Aufgabe 3.2.16. Es sei

A =[A11 A12

A21 A22

]∈ Kn×n,

wobei A11 ∈ Km×m quadratisch und invertierbar ist. Dann gilt[Im 0

−A21A−111 In−m

] [A11 A12

A21 A22

]=

[A11 A12

0 S

],

wo S = A22−A21A−111 A12 das Schur-Komplement von A11 in A bezeichnet. Vgl. auch (1.4) und

(1.5).

3.2.3 Band- und Skylinematrizen

Die Gaußsche Elimination zerstort im Allgemeinen das Besetzungsmuster einer schwach besetz-ten Matrix. Ublicherweise sind die Faktoren L undR sogar vollbesetzt. Fur einige Strukturtypenfindet man jedoch Strukturen in den Faktoren wieder.

Wir wiederholen die Definition einer Bandmatrix aus Kapitel 1.

Definition 3.2.17. Eine Matrix A ∈ Kn×n heißt (p, q)-Bandmatrix mit unterer Bandbreite pund oberer Bandbreite q, falls aij = 0 fur i− p > j > i+ q. A hat also die Form

A =

⎡⎢⎢⎢⎢⎢⎢⎣

a11 . . . a1,q+1 0...

. . .

ap+1,1 an−q,n

. . ....

0 an,n−p . . . ann

⎤⎥⎥⎥⎥⎥⎥⎦ .

66


Theorem 3.2.18. Sei A ∈ Kn×n eine (p, q)-Bandmatrix und A = LR eine LR-Zerlegung.Dann haben L und R Bandstruktur, d.h. es gilt

ij = 0 fur j > i oder i > j + p

rij = 0 fur j i+ q.

Beweis. Der Beweis erfolgt durch vollstandige Induktion nach n. Fur n = min p, q + 1 istnichts zu zeigen. Angenommen, die Aussage ist fur (p, q)-Bandmatrizen aus K(n−1)×(n−1) rich-tig. Sei A ∈ Kn×n eine (p, q)-Bandmatrix, die eine Zerlegung A = LR mit

L =[

1 0v/α L1

]und R =

[α wT

0 R1

]besitzt. In der Darstellung

A =[α wT

v B

],

gilt B = L1R1+vwT /α. Die Matrix B−vwT /α ∈ K(n−1)×(n−1) besitzt (p, q)-Bandstruktur, weilnur die ersten p Komponenten von v und die ersten q Komponenten von w nicht verschwinden.Nach Induktionsannahmen ist L1 eine untere Dreiecksmatrix der unteren Bandbreite p und R1

eine obere Dreiecksmatrix der oberen Bandbreite q. Daher ist

A =[

1 0v/α L1

] [α wT

0 R1

],

wobei die beiden Faktoren die geforderte Bandstruktur haben.

Der folgende Algorithmus nutzt die Bandstruktur von A bei der Berechnung der LR-Zerlegung aus. Dabei wird angenommen, dass eine solche existiert.

R := A, L := Infor k = 1 to n− 1 do

for i = k + 1 to min k + p, n doik = rik/rkk

for j = k to min k + q, n dorij := rij − ikrkj

Obiger Algorithmus benotigt hochstensn−1∑k=1

pq = pqn

Operationen.Es ist offensichtlich, wie sich Vorwarts- bzw. Ruckwartseinsetzen in nq bzw. np Opera-

tionen realieren lassen, wenn die untere Dreiecksmatrix L bzw. die obere Dreiecksmatrix RBandstruktur besitzen.Beispiel 3.2.19. Die LR-Zerlegung einer Tridiagonalmatrix mit nicht verschwindenden Haupt-abschnittsmatrizen⎡

⎢⎢⎢⎢⎣α1 β2

γ2 α2. . .

. . .. . . βn

γn αn

⎤⎥⎥⎥⎥⎦ =

⎡⎢⎢⎢⎣

1λ2 1

. . .. . .

λn 1

⎤⎥⎥⎥⎦

⎡⎢⎢⎢⎢⎣η1 β2

η2. . .. . . βn

ηn

⎤⎥⎥⎥⎥⎦

laßt sich wie folgt berechnen:

67


1. η1 = α1

2. Fur j = 2, . . . , n setze λj = βj/ηj−1 und ηj = αj − λjβj

Die Losung des Gleichungssystems Tx = b mit obiger Tridiagonalmatrix T ergibt sich also ausz1 = b1 und zi = bi − λizi−1, i = 2, . . . , n, sowie xn = zn/ηn und xi = (zi − βi+1xi+1)/ηi,i = n− 1, . . . , 1.Aufgabe 3.2.20. Zeige, dass fur die Inverse T−1 von

T =

⎡⎢⎢⎢⎣

1λ2 1

. . . . . .λn 1

⎤⎥⎥⎥⎦

gilt, dass

(T−1)ij =

⎧⎪⎨⎪⎩

1, i = j

(−1)i+j∏i

=j+1 λ, i > j

0, i < j

und dass diese von der Form uvT − (uvT )j>i ist.Wie man die gegebene Bandstruktur der Matrix A ausnutzen kann, wenn das Gaußsche

Eliminationsverfahren mit Spaltenpivotisierung angewendet wird, sieht man im nachsten Theo-rem.Theorem 3.2.21. Sei A ∈ Kn×n eine regulare (p, q)-Bandmatrix. Es werde das GaußscheEliminationsverfahren mit Spaltenpivotisierung angewendet. Dann hat R obere Bandbreitep+ q und L untere Bandbreite p.

Beweis. Sei PA = LR die durch das Gaußsche Eliminationsverfahren mit Spaltenpivotsucheberechnete Zerlegung. Es existiert ein p ∈ Pn, so dass

P = (δp(i),j)i,j=1,...,n.

Angenommen fur ein k ∈ 1, . . . , n ware p(k) > k + p. Dann ware

(PA)kj = ap(k),j = 0, j = 1, . . . , k ≤ p(k)− p− 1

und somit die k × k-Hauptuntermatrix von PA singular, weil sie eine Nullzeile enthalt. NachTheorem 3.2.6 ist dies ein Widerspruch. Also ist p(i) ≤ i + p, i = 1, . . . , n. Da A die obereBandbreite q besitzt, ist ap(i),j = 0 fur j > p(i) + q und damit

(PA)ij = 0 fur j > i+ p+ q.

Daher hat PA die obere Bandbreite p+q. Aus Theorem 3.2.18 folgt, dass R die obere Bandbreitep+ q besitzt.

Angenommen Lk−1Pk−1 . . . L1P1A sei schon berechnet. Im unteren (n−k+1)× (n−k+1)-Block stehen in permutierter Reihenfolge die k, . . . , n-Komponenten von Zeilen der Ausgangs-matrix A. In der ersten Spalte dieses Blocks konnen von Null verschiedene Komponenentennur in den Positionen (k + 1, k), . . . , (k + p, k) auftreten, womit auch die letzte Behauptungbewiesen ist.

68

3.3 Die Cholesky-Zerlegung einer positiv definiten Matrix

Bemerkung 3.2.22. Die Faktoren L und U einer Bandmatrix sind also ebenfalls Bandmatri-zen. Innerhalb des Bandes werden verschwindende Eintrage allerdings nicht erhalten. DiesenEffekt bezeichnet man als Auffullen oder “fill-in”. Die entsprechenden Routinen in LAPackheißen DGBTRF, DGBTRS bzw. DGBSVX.

Besonders einfach ist der Spezialfall einer oberen Hessenberg-Matrix. Die Vertauschungs-matrizen Pk, k = 1, . . . , n−1, im Gaußschen Eliminationsverfahren mit Spaltenpivotsuche sindentweder die Identitat oder die “Identitat” bei der die Zeilen k und k + 1 vertauscht sind, dieGauß-Matrizen Lk, k = 1, . . . , n − 1, sind in der k-ten Spalten außerhalb der Diagonalen nurin der Position (k + 1, k) mit einem i. Allg. von Null verschiedenen Element besetzt.Definition 3.2.23. Eine Matrix A ∈ Km×n heißt Skyline-Matrix, falls Zahlen pi, qi ∈ N0

existieren, so dass aij = 0 fur j < i− pi oder i < j − qj.Theorem 3.2.24. Sei A ∈ Kn×n eine Skyline-Matrix und A = LR ihre LR-Zerlegung. Dannsind die Fakoren L und R Skyline-Matrizen, d.h. es gilt

ij = 0 fur j < i− pi oder i < j

rij = 0 fur i < j − qj oder j < i.

Beweis. durch einfache Betrachtung der Koeffizienten.

3.3 Die Cholesky-Zerlegung einer positiv definiten Matrix

Thema dieses Abschnitts ist die direkte Losung linearer Gleichungssysteme mit einer positivdefiniten Koeffizientenmatrix.Definition 3.3.1. Die Darstellung einer positiv definiten Matrix A ∈ Kn×n in der Form A =LLH mit einer unteren Dreiecksmatrix L ∈ Kn×n, deren Diagonalelemente positiv sind, heißtCholesky-Zerlegung von A.

Der folgende Satz besagt, dass jede positiv definite Matrix eine eindeutige Cholesky-Zerlegungbesitzt.Theorem 3.3.2. Eine Matrix A ∈ Kn×n ist genau dann Hermitesch positiv definit, wenn eineCholesky-Zerlegung von A existiert. Diese ist dann eindeutig bestimmt.

Beweis. Die Behauptung wird durch vollstandige Induktion nach n bewiesen. Fur n = 1 istdie Aussage trivial. Wir nehmen an, dass jede positiv definite (n − 1) × (n − 1)-Matrix eineeindeutige Cholesky-Zerlegung besitzt. Die n× n-Matrix A denke man sich zerlegt:

A =[a bH

b C

],

dabei ist a > 0 und nach Theorem 1.9.8 das Schurkomplement S = C−bbH/a bzgl. a Hermiteschpositiv definit. Also existiert nach Induktionsannahme eine Cholesky-Zerlegung S = LLH .Definiere damit

L =[ √

a 0b/√a L

].

Dann gilt

LLH =[a bH

b B

],

mit B = bbH/a+ LLH = bbH/a+ S = C.

69


Ein Verfahren zur Berechnung von L erhalt man sehr leicht aus der BestimmungsgleichungA = LLH durch Koeffizientenvergleich. Wegen der Symmetrie genugt es, die unteren Halftenzu vergleichen. Fur i ≥ j ist

aij = (LLH)ij =j∑

k=1

ikjk = ijjj +j−1∑k=1

ikjk.

Dies ergibt:

i = j : ajj = |jj|2 +j−1∑k=1

|jk|2 bzw. jj :=

(ajj −

j−1∑k=1

|jk|2)1/2

,

i > j : aij = ijjj +j−1∑k=1

ikjk bzw. ij :=1jj

(aij −

j−1∑k=1

ikjk

).

Wegen dieser Gleichung kann man die Matrix L sukzessive spalten- oder zeilweise berechnen.So lautet z.B. eine Spaltenversion des resultierenden Cholesky-Verfahrens:

for j = 1 to n do

jj := (ajj −∑j−1

k=1 |jk|2)1/2

for i = j + 1 to n do

ij := (aij −∑j−1

k=1 ikjk)/jj

Algorithmus 3.3.1: Cholesky-Zerlegung

Der Algorithmus kann so implementiert werden, dass die untere Halfte von A (einschließlichder Diagonalen) mit der gesuchten unteren Dreiecksmatrix L uberschrieben wird. Obiger Al-gorithmus ist eine Variante des Gaußschen Algorithmus, die dadurch, dass die beide Faktorengleichzeitig berechnet werden, die Symmetrie ausnutzt und erhalt. Bevor das Pivotelementdurch Wurzelziehen gebildet wird, pruft man naturlich, ob jj −

∑j−1k=1 |jk|2 ≥ ε ist, wobei

ε > 0 eine vorgegebene kleine Zahl ist.Bemerkung 3.3.3. Zur Berechnung von L benotigt man

n∑j=1

n∑i=j+1

2(j − 1) = 2n∑

j=1

(n− j)(j − 1) =13n3 + . . .

Operationen sowie nWurzeln. Die LAPack Routinen zur Berechnung einer Cholesky-Zerlegungsind DPOTRF, DPOTRS bzw. DPOSVX. Fur Bandmatrizen vereinfachen sich die Algorithmen. Dieentsprechenden Routinen lauten DPBTRF, DPBTRS bzw. DPBSVX.Bemerkung 3.3.4. Will man prufen, ob eine gegebene (symmetrische) Matrix A (numerisch)positiv definit ist, so wendet man (spalten- oder zeilenweise) das Cholesky-Verfahren an unduberpruft, ob der Radikand großer oder gleich einem kleinen ε ist. Diese Vorgehensweise iststabil und effizienter als alle Eigenwerte zu berechnen.

Ohne Rundungsfehler ist das Verfahren durchfuhrbar, weil fur den berechneten Wert aufder Hauptdiagonalen gilt

detAk = akk −k−1∑j=1

|kj|2, k = 1, . . . , n.

70

3.4 Die LDLH-Zerlegung Hermitescher Matrizen

Die Stabilitatsprobleme der Gaußschen Elimination finden sich nicht beim Cholesky-Verfahren.Dieses ist immer stabil. Ein Indiz fur die Stabilitat der Zerlegung A = LLH einer positiv defi-niten Matrix A ∈ Kn×n ist die Tatsache, dass |ij| ≤ √ajj fur i ≥ j, so dass die Eintrage derunteren Dreiecksmatrix L auf einfache Weise durch die der Ausgangsmatrix A beschrankt sind.Eine ausfuhrliche Fehleranalyse zur Cholesky-Zerlegung findet man bei [10].Theorem 3.3.5. Sei A ∈ Kn×n positiv definit. Dann ist das Cholesky-Verfahren durchfuhrbar.Der berechnete Faktor L genugt

LLH = A+ δA

fur eine Matrix δA ∈ Kn×n mit ‖δA‖ ≤ cεF‖A‖.Das Cholesky-Verfahren ist also ruckwartsstabil. Die Berechnung des Faktors L hangt al-

lerdings von der Kondition von A ab:

‖L− L‖‖L‖ = O(κ(A)εF).

Das Cholesky-Verfahren kommt ohne Pivotisierung aus. Dies kann man intuitiv dadurcherklaren, dass das großste “Gewicht” einer positiv definiten Matrix auf der Diagonalen liegt.Beispielsweise laßt sich zeigen, dass der großste Wert einer positiv definiten Matrix auf derDiagonalen ist, vgl. Aufgabe 1.9.7.

Die Losung eines Gleichungssystems Ax = b mit positiv definitem A und gegebener rechterSeite b kann wie bei der LR-Zerlegung durch Vor- und Ruckwartstransformation berechnetwerden.

Theorem 3.3.6. Sei A ∈ Kn×n positiv definit. Die Losung des Gleichungssystems Ax = b mitHilfe der Cholesky-Faktorisierung ist ruckwartsstabil. Fur die berechnete Losung x gilt

(A+ δA)x = b

fur eine Matrix δA ∈ Kn×n mit ‖δA‖ ≤ cεF‖A‖.Aufgabe 3.3.7. Sei A ∈ Kn×n positiv definit und A = LLH die Cholesky-Zerlegung. Manzeige, dass ‖L‖2 = ‖A‖1/2

2 .

Aufgabe 3.3.8. Sei A regular und A = QR die QR-Zerlegung von A und LLH = AHA dieCholesky-Zerlegung von AHA. Zeigen, dass unter der ublichen Voraussetzung, d.h. rii, ii > 0,gilt, dass R = LH .

3.4 Die LDLH-Zerlegung Hermitescher Matrizen

Einige wenige Bemerkungen sollen noch zur Zerlegung Hermitescher, aber nicht notwendigerdefiniter Matrizen gemacht werden. Ziel ist es stets, die Symmetrie so auszunutzen, dass ver-glichen mit der Gaußschen Elimination eine (Hermitesche) LR-Zerlegung mit halben Aufwandberechnet werden kann.

Theorem 3.4.1. Ist A ∈ Kn×n eine Hermitesche Matrix, deren Hauptabschnittsdeterminatenvon Null verschieden sind, so existiert eine eindeutige Zerlegung A = LDLH mit einer unterenDreiecksmatrix L mit Einsen auf der Diagonalen und einer Diagonalmatrix D.

Beweis. Sei A = LR die LR-Zerlegung von A. Definiere D := diag(R) und M := RHD−1, soist diag(M) = In und LDMH = LR = A. Weil A Hermitesch ist, gilt M = L.

71


Mit Hilfe einer LDLH-Zerlegung von A kann wegen des Sylvesterschen Tragheitssatzes dieTragheit von A bestimmt werden.

Bei [10] werden stabile Methoden zur Berechnung einer LDLH-Zerlegung einer Hermite-schen Matrix A angegeben. Im Fall von Hermiteschen Bandmatrizen vereinfacht sich naturlichauch die Berechnung einer LDLH-Zerlegung. Bei kleiner Bandbreite (insbesondere bei Tri-diagonalmatrizen) einer Hermiteschen, positiv definiten Matrix ist die Berechnung der (dannnaturlich eindeutig existierenden) LDLH-Zerlegung einer Cholesky-Zerlegung vorzuziehen, weildie Berechnung von n Quadratwurzeln verglichen mit dem Gesamtaufwand unverhaltnismaßigteuer ist.Bemerkung 3.4.2. Die LAPack -Routinen zur Berechnung der LDLH-Zerlegung lautenDSPTRF, DSPTRS bzw. DSPSVX. Dabei wird der Bunch-Kaufman Algorithmus verwendet.

3.5 Direkte Verfahren fur Toeplitz-Systeme

Definition 3.5.1. Eine Matrix A ∈ Km×n heißt Toeplitz-Matrix, falls aij = ai+1,j+1, i =1, . . . ,m−1, j = 1, . . . , n−1. Man schreibt auch A = toep(am1, . . . , a11, . . . , a1n). Eine Toeplitz-Matrix ist insbesondere persymmetrisch, d.h. T = ET TE mit

E =

⎡⎣0 1

1 0

⎤⎦ .

Bemerkung 3.5.2. Die Transformation EATE verschiebt den Eintrag aij an Position (n +1− j, n+ 1− i).Definition 3.5.3. Eine Matrix A ∈ Kn×n heißt zirkulant, falls aij = ai+1,j+1, j = 1, . . . , n− 1und ai+1,1 = ain, i = 1, . . . , n− 1. Man schreibt auch A = circ(a11, . . . , a1n).Beispiel 3.5.4. Die Matrizen

0, In, Jn :=

⎡⎢⎢⎢⎢⎢⎣

11

. . .

11

⎤⎥⎥⎥⎥⎥⎦ , J

2n =

⎡⎢⎢⎢⎢⎢⎣

1. . .

11

1

⎤⎥⎥⎥⎥⎥⎦ , . . .

sind zirkulant.

Bemerkung 3.5.5. Eine zirkulante Matrix ist immer eine Toeplitz-Matrix. Die Umkehrunggilt nicht. Allerdings kann eine Toeplitz-Matrix in eine zirkulante eingebettet werden:

Km×n toep(am1, . . . , a1n) → circ(a11, . . . , a1n, 0, . . . , 0, am1, . . . , a21) ∈ Kp×p

mit p = m+ n− 1 + k. Die Anzahl k der eingefugten Nullen ist dabei beliebig.Beispiel 3.5.6. Im Fall k = 0 hat man beispielsweise

⎡⎣ a11 a12

a21 a11

a31 a21

⎤⎦ →

⎡⎢⎢⎣a11 a12 a31 a21

a21 a11 a12 a31

a31 a21 a11 a12

a12 a31 a21 a11

⎤⎥⎥⎦ .

72


3.5.1 Spektralsatz fur zirkulante Matrizen

Lemma 3.5.7. Sei A ∈ Kn×n zirkulant. Dann gilt

A =n∑

k=1

a1kJk−1n ,

und jede Matrix dieser Darstellung ist zirkulant.

Beweis. offensichtlich

Lemma 3.5.8. Es gilt JnFn = FnD, wobei Fn die Matrix der diskreten Fourier-Transformationaus Abschnitt 1.5.2, D = diag(ω0

n, . . . , ωn−1n ) und ωn = exp 2π

n i.

Beweis. Es gilt det(Jn − λI) = (−1)n(λn − 1). Also sind die Eigenwerte von Jn die Losungender Gleichung λn = 1. Wegen ωn+

n = ωn sieht man, dass Jnfk = ωk

nfk gilt.

Theorem 3.5.9. Sei A ∈ Kn×n zirkulant. Dann gilt

A =1nFnDF

Hn , wo D = diag(FnA

T e1).

Beweis. Nach Lemma 3.5.7 gilt A =∑n

=1 a1J−1n . Wegen Lemma 3.5.8 hat man

Afk =n∑

=1

a1J−1n fk =

n∑=1

a1ωk(−1)n fk.

Aus (FnAT e1)k =

∑n=1 a1ω

k(−1)n und aus Theorem 1.5.18 folgt die Behauptung

Bemerkung 3.5.10. Im Fall K = R sind die Eigenwerte die Fourier-Transformierte einesreellen Vektors. Die Eigenwerte sind daher komplex-konjugiert.

Lemma 3.5.11. Jede Matrix A = FnDFHn ∈ Kn×n mit einer Diagonalmatrix D ist zirkulant,

falls F−1n d ∈ Kn, wobei di = Dii, i = 1, . . . , n.

Beweis. Setze d = F−1n d ∈ Kn. Dann gilt

D = diag(d) =n−1∑k=0

dkdiag(fk) =n−1∑k=0

dkdiag(ω0n, . . . , ω

n−1n )k.

Also gilt nach Lemma 3.5.8

AFn = nFnD =n−1∑k=0

dkFndiag(ω0n, . . . , ω

n−1n )k =

n−1∑k=0

dkJknFn.

Aus Lemma 3.5.7 folgt die Behauptung.

Theorem 3.5.12. Sei A ∈ Kn×n zirkulant und invertierbar. Dann ist auch A−1 zirkulant, undes gilt A−1 = n−1FnD

−1FHn , wobei D = diag(FnA

T e1).

73


Beweis. Nach Theorem 3.5.9 gilt A = FnDFHn , wobei D = diag(FnA

T e1). Außerdem istn−1/2Fn nach Theorem 1.5.18 unitar. Wir erhalten also

A−1 = (n−1/2Fn)−HD−1(n−1/2Fn)−1 = FnD−1FH

n .

Bemerkung 3.5.13. Sei A eine zirkulante Matrix. Die Matrix-Vektor-Multiplikationen Ax,ATx undA−1x, falls A invertierbar ist, konnen mit Hilfe der schnellen Fourier-Transformation inO(n log n) Operationen durchgefuhrt werden. Insbesondere erhalt man die Losung von Ax = bmit invertierbarem und zirkulantem A in O(n log n) Operationen.

3.5.2 Die schnelle Fourier-Transformation (FFT)

Ziel dieses Abschnitts ist es, das Matrix-Vektor-Produkt z := Fnb, d.h. b ∈ Kn,

zk := (Fnb)k =n−1∑j=0

bjωjkn , k = 0, . . . , n− 1, ωn

n = 1, (3.1)

zu berechnen (diskrete Fourier-Transformation). Im Normalfall werden dafur n2 Operatio-nen benotigt. Wenn n eine Zweierpotenz ist, kann aufgrund der hohen Symmetrie der Ko-effizienten ωjk

n der Aufwand auf n log2 n Operationen gesenkt werden (→schnelle Fourier-Transformation). Das Prinzip ist schon im Fall n = 2m, m ∈ N, erkennbar. Dort gilt wegenω2

2m = ωm, ω(j+m)km = ωjk

m und ωm2m = −1 namlich, dass

z2k =n−1∑j=0

bjω2jk2m =

m−1∑j=0

(bj + bj+m)ωjkm =:

m−1∑j=0

bgjωjkm , (3.2a)

z2k+1 =n−1∑j=0

bjω2jk+j2m =

m−1∑j=0

[(bj − bj+m)ωjn]ωjk

m =:m−1∑j=0

bujwjkm . (3.2b)

Durch den 3m Operationen teuren Ubergang vom Vektor bj ∈ Cn zu den beiden Vektorenbg, bu ∈ Cm halber Lange kann die Fourier-Transformation zu n = 2m auf zwei Transfor-mationen der halben Ordnung m zuruckgefuhrt werden. Fur den Aufwand An der Fourier-Transformation gilt also

A2m = 2Am + 3m, A1 = 0.

Fur n = 2, ∈ N, ist die Methode rekursiv anwendbar. Es laßt sich leicht nachrechnen,dass dann die Rekursionsformel durch A2 = 32−1 = 3

2n log2 n erfullt wird, denn es istA2+1 = 2[32−1] + 32 = 3(+ 1)2.

Theorem 3.5.14. Fur n = 2 kann die Summe (3.1) mit 32n log2 n komplexen Operationen

berechnet werden.

Praktische Durchfuhrung bei n = 2 [Cooley-Tukey]

Die Durchfuhrung der Transformations-Stufen bei Anwendung von (3.2) kann ohne zusatzli-chen Speicherbedarf, d.h. am Platz von bj , stattfinden, vgl. [2]. Dazu wird der Vektor bg in die

74


vordere Halfte und der Vektor bu in die hintere Halfte eingeordnet. Die nachste Transformations-Stufe arbeitet getrennt auf beiden Halften:

b(1)j := bgj = bj + bj+m, j = 0, . . . ,m− 1b(1)j+m := buj = (bj − bj+m)ωj

n, j = 0, . . . ,m− 1.

Am Ende des Verfahrens befindet sich der Ergebnisvektor z in diesem Speicherfeld. Die Kom-ponenten von z sind wegen der Vertauschung

Koeffizient mit

k = 2jk = 2j + 1

kommt an Position

j

m+ j

permutiert. Betrachtet man die Binardarstellung (s−1, . . . , s0) von k, so erhalt k die neuePosition (s0, s−1, . . . , s1). In den weiteren Stufen bleiben die hochsten Binarstellen unverandert,und die ubrigen andern sich analog. Nach = log2n Schritten hat sich die Binardarstellungender Indizes umgekehrt:

zk mit k = (s−1, . . . , s0) steht in b()j mit j = (s0, s1, . . . , s−1).

Daher ist am Ende der FFT ein Permutationsschritt durchzufuhren.Beispiel 3.5.15. Schnelle Fourier-Transformation bei n = 23

Index 1.Schritt Stelle 2.Schritt Stelle 3.Schritt Index Koeff.

b0 000 b0 + b4 xx0 b0 + b2 x00 b0 + b1 000 z0b1 001 b1 + b5 xx0 b1 + b3 x00 (b0 − b1)ω0 100 z4b2 010 b2 + b6 xx0 (b0 − b2)ω0 x10 b2 + b3 010 z2b3 011 b3 + b7 xx0 (b1 − b3)ω2 x10 (b2 − b3)ω0 110 z6b4 100 (b0 − b4)ω0 xx1 b4 + b6 x01 b4 + b5 001 z1b5 101 (b1 − b5)ω1 xx1 b5 + b7 x01 (b4 − b5)ω0 101 z5b6 110 (b2 − b6)ω2 xx1 (b4 − b6)ω0 x11 b6 + b7 011 z3b7 111 (b3 − b7)ω3 xx1 (b5 − b7)ω2 x11 (b6 − b7)ω0 111 z7

Die reelle FFT

Sind bj ∈ R, j = 1, . . . , n, n = 2m, so kann die oben beschriebene FFT naturlich auf den Vektorb angwendet werden, und man erhalt

zk =n−1∑j=0

bj cosωjkn + i

n−1∑j=0

bj sinωjkn .

Hierbei wird allerdings nicht ausgenutzt, dass zk = zn−k gilt. Die erste Halte des Vektors zkonnen wir aber durch eine komplexe Fourier-Transformation der Lange m = n/2 erhalten.Man definiere

uj = b2j + ib2j+1, j = 0, . . . ,m− 1

und berechne v := Fmu ∈ Cm. Dann gilt wegen ωj(m−k)m = ωjk

m

12(vk + vm−k) =

12

⎛⎝m−1∑

j=0

[ωjk

m (b2j + ib2j+1) + ωj(m−k)m (b2j − ib2j+1)

]⎞⎠=

m−1∑j=0

ωjkm b2j =

m−1∑j=0

ω2jkn b2j

75


und entsprechend

12i

(vk − vm−k)e−i πkm =

m−1∑j=0

ω(2j+1)kn b2j+1.

Insgesamt erhalt man also

zk =n−1∑j=0

ωjkn bj =

12(vk + vm−k) +

12i

(vk − vm−k)e−i πkm , k = 0, . . . ,m− 1

mit vm := v0.

Anwendung: Berechnung von Faltungsprodukten

Zu Vektoren u = (u0, u1, . . . , un−1)T , v = (v0, v1, . . . , vn−1)T ∈ Cn, deren Komponenten beiBedarf n-periodisch fortgesetzt werden, wird folgendes Produkt definiert:

z = u ∗ v ⇐⇒ zk =n−1∑j=0

uk−jvj , k = 0, . . . , n− 1. (3.3)

Dieses Faltungsprodukt ∗ ist kommutativ und assoziativ. Die Faltung tritt haufig in der Bild-verarbeitung und bei digitalen Filtern auf. Werden die diskreten Fouriertransformierten zuu, v, z ∈ Cn mit u, v, z bezeichnet, so gilt

z = u ∗ v = (ukvk)0≤k<n. (3.4)

Beweis. Wegen der Periodizitat ist

zk =n−1∑j=0

zjωjkn =

n−1∑j=0

n−1∑=0

uj−vω(j−)kn ωk

n =n−1−∑j=−

ujωjkn

n−1∑=0

vωkn = ukvk.

Wegen (3.4) laßt die Berechnung einer Faltung (Aufwand direkt: 2n2) auf drei Fouriertrans-formationen und eine komponentenweise Multiplikation zuruckfuhren.

Bemerkung 3.5.16. Seit dem Erscheinen des Algorithmus von Cooley und Tukey [2] im Jahr1965 wurde dieser weiterentwickelt und verallgemeinert:

• Permutationsfreie FFT: Durch geeignete Zusammenfassung von Schritten in den letzten/2 Stufen der FFT erscheinen die Koeffizienten am Ende in der richtigen Reihenfolge.

• Fur allgemeinere n mit Primfaktorzerlegung n = p1p2 . . . p ist eine Aufspaltung in Stufen analog moglich (z.B. n = 1000 = 2353).

• Eine der schnellsten Implementierungen erhalt man unter http://www.fftw.org.

76


3.5.3 Der Levinson-Algorithmus

Sei T ∈ Rn×n eine symmetrisch positiv definite Toeplitz-Matrix. Dann kann mit dem folgendenAlgorithmus die Losung des Gleichungssystems Tx = b in 2n2 Operationen berechnet wer-den. Mit Tk bezeichnen wir die k-te Hauptabschnittsmatrix von T und mit x(k) die eindeutigbestimmte Losung von

Tkx(k) = b(k),

wobei b(k) = (b1, . . . , bk)T ∈ Kk die ersten k Komponenten von b. Der folgende Levinson-Algorithmus geht rekursiv vor. Angenommen, x(k) sei fur ein 1 ≤ k < n bekannt. Gesucht istx(k+1) = (vk+1, µk+1)T mit vk+1 ∈ Kk und µk+1 ∈ K:[

Tk Et(k)

(Et(k))T t0

] [vk+1

µk+1

]=

[b(k)

bk+1

]mit t(k) = (t1, . . . , tk)T . Die Anwendung eines Block-Eliminationsschritts ergibt wegen x(k) =T−1

k b(k) [Tk Et(k)

0 t0 − (Et(k), s(k))

] [vk+1

µk+1

]=

[b(k)

bk+1 − (Et(k), x(k))

],

wobei wir davon ausgehen, dass s(k) = T−1k Et(k) bereits im letzten Schritt berechnet wurde.

Weil das Schur-Komplement αk := t0 − (Et(k), s(k)) positiv ist, erhalten wir

µk+1 =1αk

(bk+1 − (Et(k), x(k))

)(3.5a)

vk+1 = x(k) − µk+1s(k). (3.5b)

Sei y(k) = Es(k). Wegen Et(k) = Tks(k) = ET T

k Es(k) = ETky

(k) folgt Tky(k) = t(k). Zur Ver-

vollstandigung der Rekursion muss noch s(k+1) bzw. y(k+1) = (wk+1, νk+1)T bestimmt werden.Dazu ersetze man b(k+1) in (3.5) einfach durch t(k+1). Dann gilt

νk+1 =1αk

(tk+1 − (Et(k), y(k))

)(3.6a)

wk+1 = y(k) − νk+1s(k). (3.6b)

Das Schur-Komplement αk+1 kann in jedem Schritt durch Verwendung der Definition vonαk+1 berechnet werden. Eine effizientere Moglichkeit wird im folgenden Lemma angegeben.Lemma 3.5.17. Es gilt

αk+1 = (1− ν2k+1)αk. (3.7)

mit νk+1 aus (3.6).

Beweis. Wegen

s(k+1) =[

νk+1

s(k) − νk+1y(k)

]folgt

αk+1 = t0 − (Et(k+1), s(k+1)) = t0 − (Et(k+1))T[

νk+1

s(k) − νk+1y(k)

]= t0 − (Et(k))T s(k) − tk+1νk+1 + νk+1(Et(k))T y(k)

= αk − νk+1

(tk+1 − (Et(k), y(k))

)= (1− ν2

k+1)αk.

77


Zusammenfassend ergibt sich der folgende Algorithmus:

x(1) = b1/t0, y(1) = s(1) = t1/t0, α1 = (t20 − t21)/t0

for k = 2, . . . , n doberechne x(k) = (vk, µk)T gemaß (3.5).berechne y(k) = (wk, νk)T gemaß (3.6).berechne αk gemaß (3.7)

Algorithmus 3.5.1: Levinson-Algorithmus

Im n-ten Schritt erhalt man die Losung x = x(n) von Tx = b.

3.5.4 Der Algorithmus von Trench

Mit dem folgenden Trench-Algorithmus kann mit 32n

2 Operationen sogar die gesamte Inverseeine Toeplitz-Matrix bestimmt werden. Diese ist allerdings im Allgemeinen keine Toeplitz-Matrix. Wie man aus

T−1 = (ET TE)−1 = ET−TE

sieht, bleibt jedoch die Persymmetrie erhalten.Im Folgenden verwenden wir die Zerlegung

X = T−1 =[B xxT ξ

].

von T−1. Wegen TnX = In gilt mit den Bezeichnung des letzten Abschnitts

Tn−1x+ ξEt(n−1) = 0 und (Et(n−1))Tx+ t0ξ = 1.

Aus der ersten Gleichung erhalt man x = −ξT−1n−1Et

(n−1) = −ξs(n−1), und die zweite ergibt

1 = t0ξ − ξ(Et(n−1), s(n−1)) = ξαn−1.

Daher ist die letzte Spalte von X durch x = −s(n−1)/αn−1 und ξ = 1/αn−1 gegeben. Betrach-tung der (n− 1)-ten Hauptabschnittsmatrix von TnX = In ergibt

Tn−1B + Et(n−1)xT = In−1.

Hieraus folgt

B = T−1n−1 − T−1

n−1Et(n−1)xT = T−1

n−1 +xxT

ξ= T−1

n−1 + αn−1xxT .

Durch elementweisen Vergleich erhalt man

bij = (T−1n−1)ij + αn−1xixj (3.8a)

persymm.= (T−1

n−1)n−i,n−j + αn−1xixj = (T−1n−1)n−j,n−i + αn−1xixj (3.8b)

= bn−i,n−j + αn−1(xixj − xn−ixn−j). (3.8c)

Daher konnen nun alle Elemente von B in der folgenden “spiralformigen” Reihenfolge berechnetwerden:

78


Wegen der Persymmetrie: (1, n − 1), . . . , (1, 1), . . . , (n− 1, 1)Mit (3.8): (n − 1, 2), . . . , (n− 1, n − 1)Wegen der Symmetrie: (n − 2, n − 1), . . . , (2, n − 1)Wegen der Persymmetrie: (2, n − 2), . . . , (2, 2), . . . , (n− 2, 2)

...

Beispiel 3.5.18. Wir betrachten die Matrix

T =

⎡⎣2 1 1

21 2 112 1 2

⎤⎦ .

Mit dem Levinson-Algorithmus berechnet man s(2) = (0, 1/2)T , α2 = 3/2. Daher ergibt sichT−1 in folgender Weise:⎡

⎣b11 b12 0b21 b22 −1/30 −1/3 2/3

⎤⎦→

⎡⎣ 2/3 −1/3 0−1/3 b22 −1/3

0 −1/3 2/3

⎤⎦→

⎡⎣ 2/3 −1/3 0−1/3 5/6 −1/3

0 −1/3 2/3

⎤⎦ ,

wobei

b22 = b11 + α2(x22 − x2

1) =23

+32(19− 0) =

56.

79


80

4 Iterative Verfahren

In diesem Kapitel wird eine andere Art von Strategien zur Losung von GleichungssystemenAx = b mit regularem A ∈ Kn×n und b ∈ Kn vorgestellt. Die Systemmatrix geht nur inForm von Matrix-Vektor-Multiplikationen Ax und gegebenenfalls AHx ein. Lassen sich die-se Operationen schnell durchfuhren, so wird das gesamte Losungsverfahren schnell sein. Beigroßdimensionierten Matrizen verbieten sich Eliminationsverfahren wegen ihrer O(n3) Kom-plexitat. Je schneller die Rechner, um so besser mussen Algorithmen sein, weil die Anzahl derUnbekannten mit der Rechenleistung wachst. Zudem sind die in der Praxis auftretenden großenSysteme oftmals schwach besetzt, d.h. nur wenige Eintrage in jeder Zeile sind ungleich Null.Wahrend die Matrix eines solchen Problems noch gut in den Speicher passen mag, trifft dies furdie Faktoren der LR-Zerlegung in der Regel nicht zu (“fill-in”). In solchen Fallen sind iterativeVerfahren das Mittel der Wahl.Beispiel 4.0.19. Wir betrachten die Poisson-Gleichung mit homogenen Dirichlet Randbedin-gungen auf dem Einheitsquadrat im R2. Gesucht ist eine Funktion u ∈ C2(Ω) ∩ C(Ω) mit

−∆u(x, y) = f(x, y) in Ω und u(x, y) = 0 auf ∂Ω, (4.1)

wobei Ω =x ∈ R2 : 0 < x, y < 1

, ∂Ω dessen Rand und

∆ =∂2

∂x2+

∂2

∂y2

den Laplace-Operator bezeichnet. Bei einer Diskretisierung mittels finiter Differenzen legt manuber Ω ein Gitter

(xi, yj) = (ih, jh), 0 ≤ i, j ≤ N + 1,

wo h := 1/(N + 1) und N ∈ N die Anzahl der Gitterpunkte in einer Richtung bezeichnet. Manersetzt ∆ in diesen Gitterpunkten durch eine finite Differenz

−∆u(xi, yj) =4uij − ui−1,j − ui+1,j − ui,j−1 − ui,j+1

h2+ εij ,

wobei uij = u(xi, yj) und εij = O(h2). Die diskrete Version der Gleichungen (4.1) lautet somit

4uij − ui−1,j − ui+1,j − ui,j−1 − ui,j+1 = h2fij, 1 ≤ i, j ≤ N,

wobei fij = f(xi, yj) und

u0,j = uN+1,j = ui,0 = ui,N+1 = 0, 0 ≤ i, j ≤ N + 1.

Ordnet man die Unbekannten wie folgt in einem Vektor

u = [u11, . . . , uN1, u12, . . . , uN2, . . . , u1N , . . . , uNN ]T ∈ RN2

81


und die Werte fij entsprechend in einem Vektor f an, so erhalt man das Gleichungssystem

Tnu = h2f

mit

Tn =

⎡⎢⎢⎢⎢⎣TN −IN−IN . . .

. . .. . .

. . . −IN−IN TN

⎤⎥⎥⎥⎥⎦ , TN =

⎡⎢⎢⎢⎢⎣

4 −1

−1. . .

. . .. . .

. . . −1−1 4

⎤⎥⎥⎥⎥⎦ .

Durch Umsortieren der Freiheitsgrade kann die Bandbreite√n nicht weiter reduziert werden.

Anstelle der 5 Eintrage pro Zeile in Tn besitzen die Faktoren L und U O(√n) Eintrage pro

Zeile.

Grundlegend fur die Theorie der Iterationsverfahren ist der Banachsche Fixpunktsatz.Theorem 4.0.20. Sei (M,d) ein vollstandiger metrischer Raum und ϕ : M →M erfulle

d(ϕ(x), ϕ(y)) ≤ Ld(x, y) ∀x, y ∈M mit 0 ≤ L < 1.

Dann existiert genau ein x ∈ M (der Finxpunkt) mit x = ϕ(x). Die Folge xkk∈Ndefiniert

durch xk+1 = ϕ(xk) konvergiert fur alle x0 ∈M gegen x, und es gilt

(a) d(xk, x) ≤ Ld(xk−1, x), k ≥ 1 “Monotonie”

(b) d(xk, x) ≤ Lk

1−L d(x1, x0) “a-priori-Schranke”

(c) d(xk, x) ≤ L1−L d(xk, xk−1), k ≥ 1 “a-posteriori-Schranke”

(d) d(x, x) ≤ 11−L d(x, ϕ(x)) fur alle x ∈M .

Beweis. Aufgrund der Kontraktionseigenschaft von ϕ gilt fur k ∈ N

d(xk+1, xk) = d(ϕ(xk), ϕ(xk−1)) ≤ Ld(xk, xk−1) ≤ . . . ≤ Lk d(x1, x0). (4.2)

Wir zeigen nun, dass xkk∈Neine Cauchy-Folge ist. Dazu seien ε > 0 und m,n ∈ N mit

m > n ≥ N , wo N ∈ N so gewahlt ist, dass LNd(x1, x0) ≤ (1− L)ε. Aus (4.2) erhalt man

d(xm, xn) ≤ d(xm, xm−1) + d(xm−1, xm−2) + · · ·+ d(xn+1, xn)

≤ (Lm−1 + Lm−2 + · · ·+ Ln) d(x1, x0)

≤ Ln

1− L d(x1, x0) ≤ ε.

Wegen der Vollstandigkeit von M besitzt xkk∈Neinen Grenzwert x ∈M . Aus

d(x, ϕ(x)) ≤ d(x, xk) + d(xk, ϕ(x)) ≤ d(x, xk) + Ld(xk−1, x)

sieht man wegen des Verschwindens der rechten Seite fur k → ∞, dass x = ϕ(x). Ist x einweiterer Fixpunkt, dann hat man d(x, x) = d(ϕ(x), ϕ(x)) ≤ Ld(x, x), woraus wegen L < 1folgt, dass x = x.

Beispiel 4.0.21. Sei M = [1, 2], d(x, y) = |x− y| und ϕ(x) = x2 + 1

x . Wegen

|ϕ(x) − ϕ(y)| =∣∣∣∣12(x− y)− x− y

xy

∣∣∣∣ =∣∣∣∣12 − 1

xy

∣∣∣∣ |x− y| ≤ 12|x− y|

ist ϕ eine Kontraktion. Die Folge xk+1 = xk2 + 1

xkkonvergiert fur x0 ∈M gegen den Fixpunkt

x =√

2.

82

4.1 Elementare Iterationsverfahren


Der Banachsche Fixpunktsatz laßt sich zur Konstruktion konvergenter Iterationsverfahren zurLosung linearer Gleichungssysteme Ax = b mit A ∈ Kn×n regular und b ∈ Kn verwenden. Wirwahlen eine Zerlegung

A = M + (A−M)

von A mit invertierbarem M . Die Gleichung Ax = b laßt sich damit auch als

Mx = (M −A)x+ b

schreiben. Wenn die Losung eines Gleichungssystems mit Koeffizientenmatrix M deutlich leich-ter fallt und die Matrix-Vektor-Multiplikation mit M − A billig ist, kann es sinnvoll sein, dieFolge xkk∈N

definiert durch

Mxk = (M −A)xk−1 + b ⇐⇒ xk = Txk−1 + c, T = In −M−1A, c = M−1b (4.3)

mit x0 ∈ Kn zu berechnen. Mit T bezeichnen wir im Folgenden die zu obigem Iterationsver-fahren gehorige Iterationsmatrix. Uber die Konvergenz der Folge xkk∈N

gibt der folgendeSatz Auskunft. Dieser quantifiziert, wie weit fur ein konvergentes Iterationsverfahren M von Aentfernt sein darf.

Theorem 4.1.1. Sei ‖ · ‖ eine naturliche Matrixnorm und M regular. Ist ‖T‖ < 1, so konver-giert das Iterationsverfahren (4.3) fur beliebiges x0 gegen A−1b.

Beweis. Wir setzen ϕ(x) = Tx+ c. Wegen

‖ϕ(x) − ϕ(y)‖ ≤ ‖T (x− y)‖ ≤ ‖T‖ ‖x− y‖

erfullt ϕ die Voraussetzungen des Banachschen Fixpunktsatzes. Also konvergiert die Folgexkk∈N

gegen den eindeutig bestimmten Fixpunkt x = T x+ c, oder aquivalent Ax = b.

Korollar 4.1.2. Genau dann ist die Matrix A regular und das Iterationsverfahren (4.3) kon-vergiert fur jedes x0 gegen A−1b, falls ρ(T ) < 1. In diesem Fall gilt

maxx0∈Kn

lim supk→∞

‖xk −A−1b‖1/k = ρ(T ).

Beweis. Falls ρ(T ) < 1 ist wegen M−1A = In − T klar, dass A regular ist. Außerdem existiertnach Lemma 1.7.6 eine naturliche Matrixnorm mit ‖T‖ < 1. Fur die erste Richtung wende manalso Theorem 4.1.1 an.

Ist umgekehrt ρ(T ) ≥ 1, dann existiert ein Eigenwert λ von T mit |λ| ≥ 1 und ein zugehori-ger Eigenvektor z = 0. Mit der Wahl x0 = x+ z, wo x = A−1b, ergibt sich

xk − x = Txk−1 + c− x = Txk−1 +M−1Ax− x = T (xk−1 − x) = . . .

= T k(x0 − x) = T kz = λkz.

Folglich ist ‖xk − x‖ = |λ|k‖z‖ ≥ ‖z‖, und xkk∈Nkonvergiert nicht gegen A−1b. Mit der

letzten Abschatzung erhalt man insbesondere

maxx0∈Kn

lim supk→∞

‖xk − x‖1/k ≥ lim supk→∞

‖T kz‖1/k = |λ| lim supk→∞

‖z‖1/k = |λ| = ρ(T ).

83


Nach Lemma 1.7.6 existiert zu ε > 0 eine Vektornorm ‖ · ‖ε, so dass fur die zugeordneteMatrixnorm gilt ‖T‖ε ≤ ρ(T ) + ε. Wegen

‖xk − x‖ε = ‖T k(x0 − x)‖ε ≤ ‖T‖kε‖x0 − x‖εund der Aquivalenz der Normen im Kn folgt fur ein geeignetes cε > 0

‖xk − x‖1/k ≤ (cε‖xk − x‖ε)1/k ≤ ‖T‖ε(cε‖x0 − x‖ε)1/k.

Folglich istmax

x0∈Knlim sup

k→∞‖xk −A−1b‖1/k ≤ ‖T‖ε ≤ ρ(T ) + ε.

Weil ε > 0 beliebig ist, folgt hieraus die Behauptung.

Beispiel 4.1.3. Sei A ∈ Kn×n mit positiven Eigenwerten λi, i = 1, . . . , n. Durch die folgendeIterationsvorschrift wird das Richardson-Verfahren

xk+1 = xk + α(b−Axk) = (In − αA)xk + αb

definiert. Hierbei ist α eine positive Zahl. Die Iterationsmatrix Tα = In − αA besitzt dieEigenwerte 1− αλi. Die Bedingung ρ(Tα) < 1 ist also aquivalent mit

1− αλmax > −1 ⇐⇒ α < 2/λmax.

Das Richardson-Verfahren konvergiert also fur α ∈ (0, 2/λmax). Wir gehen nun der Frage nach,fur welches α der Spektralradius am kleinsten ist. Wegen

ρ(Tα) = max|1 − αλmin|, |1 − αλmax|ist αopt die Schnittstelle der beiden Funktionen f1(α) := |1−αλmin| und f2(α) := |1−αλmax|,d.h.

−1 + αoptλmax = 1− αoptλmin ⇐⇒ αopt =2

λmin + λmax.

Der Spktralradius in diesem Punkt ist

ρ(Tαopt) =λmax − λmin

λmax + λmin.

4.1.1 Das Jacobi- und das Gauß-Seidel-Verfahren

Die drei folgenden Iterationsverfahren sind von obigem Typ. Die entsprechenden Zerlegungenbasieren auf der Darstellung A = AL + AD + AR, wobei AD = diag(A) die Diagonale von Aund AL, AR die strikte untere bzw. obere Dreiecksmatrix von A bezeichnen. Wir nehmen an,dass AD regular ist, was durch Umsortieren der Indizes erreicht werden kann.

• Das Gesamtschritt- oder Jacobi-Verfahren:Dieses entspricht der Wahl M = AD. Die Iterationsmatrix ist dann

TJ = −A−1D (AL +AR).

Komponentenweise bedeutet dies die Iterationsvorschrift

x(k+1)i =

1aii

⎡⎣bi −∑

j =i

aijx(k)j

⎤⎦ , i = 1, . . . , n, k = 0, 1, . . . .

84


• Das Einzelschritt- oder Gauß-Seidel-Verfahren:Bei diesem Verfahren verwendet man im Vergleich zum Jacobi-Verfahren alle bereitsberechneten Komponenten von x(k+1), also

x(k+1)i =

1aii

⎡⎣bi −∑

ji

aijx(k)j

⎤⎦ , i = 1, . . . , n, k = 0, 1, . . . .

Dies entspricht der Wahl M = AD +AL. Die Iterationsmatrix ist folglich

TGS = −(AD +AL)−1AR.

4.1.2 Graph einer Matrix und irreduzible Matrizen

Definition 4.1.4. Sei A ∈ Kn×n. Die Menge G(A) = (i, j) : aij = 0 bezeichnet man als denGraph von A.

Definition 4.1.5. Sei A ∈ Kn×n. Ein Index i wird als mit j in A direkt verbunden bezeich-net, falls (i, j) ∈ G(A) gilt. Der Index i ist mit j in A verbunden, falls eine Kette direkterVerbindungen i = i0, i1, . . . , ik = j mit (i−1, i) ∈ G(A), = 1, . . . , k, existiert.

Aufgabe 4.1.6. Sind i und j verbunden, kann die Kette so gewahlt werden, dass k < n.Definition 4.1.7. Eine Matrix A ∈ Kn×n heißt irreduzibel, falls jeder Index i mit jedem Indexj in A verbunden ist. Andernfalls heißt A reduzibel.Lemma 4.1.8. A ist genau dann reduzibel, wenn es eine Anordnung der Indizes gibt, so dassA die Gestalt

A =[A11 A12

0 A22

](4.4)

mit quadratischen Blocken A11 und A22 hat.

Beweis. A habe die Gestalt (4.4) und N = N1 ∪ N2. Sei i ∈ N2 und j ∈ N1. Angenommen,i und j seien verbunden, dann existiert i−1 ∈ N2 und i ∈ N1 mit (i−1, i) ∈ G(A). Dieswiderspricht AN2N1 = 0. Sei umgekehrt A reduzibel. Dann existieren zwei Indizes i und j, dienicht verbunden sind. Man wahle N1 = k : k mit j verbunden oder k = j und N2 = N \N1.Beide Mengen sind nicht leer, da j ∈ N1 und i ∈ N2. Man numeriere zunachst N1, dann N2

durch. Fur ν ∈ N2 und µ ∈ N1 muss aνµ = 0 gelten, weil sonst ν mit µ und dieses nach derDefinition von N1 mit j verbunden ware, so dass ν ∈ N1 gelten wurde.

Bemerkung 4.1.9. Im Zusammenhang mit Gleichungssystemen erlauben reduzible Matrizeneine Reduktion des Systems: Wenn A reduzibel ist und N1, N2 die Blockstruktur ist, kannAx = b in zwei Schritten uber kleinere Gleichungssysteme

A22x2 = b2 und A11x1 = b1 −A12x2

gelost werden.Aufgabe 4.1.10.

(a) Ist A symmetrisch, so ist A genau dann irreduzibel, wenn der Graph G(A) zusam-menhangend ist.

(b) Dreiecks- und Diagonalmatrizen mit n > 1 sind reduzibel.

85


Definition 4.1.11. Eine Matrix A ∈ Kn×n heißt stark diagonaldominant (vgl. auch die Auf-gaben 3.2.13 und 3.2.14), falls

|aii| >∑j =i

|aij |, i = 1, . . . , n, (4.5)

schwach diagonaldominant, falls

|aii| ≥∑j =i

|aij |, i = 1, . . . , n (4.6)

und irreduzibel diagonaldominant, falls A irreduzibel und schwach diagonaldominant ist, und(4.5) fur ein i0 gilt.

Mit Hilfe des folgenden Theorems lassen sich Aussagen uber die Spektralradieen diago-naldominanter Matrizen gewinnen. Den offenen Kreis mit Radius r um x bezeichnen wirwie ublich mit Kr(x) = y ∈ C : |x− y| < r. Im Folgenden verwenden wir die BezeichnungJi := j : i ist mit j verbunden.Theorem 4.1.12 (Gerschgorin). Alle Eigenwerte von A ∈ Kn×n liegen in

⋃1≤i≤n

⎧⎨⎩Kri(aii) ∪

⋂j∈Ji∪i

∂Krj (ajj)

⎫⎬⎭ mit ri =

∑j =i

|aij|.

Hat die Vereinigung G von m Kreisen Kri(aii) einen leeren Durchschnitt mit den ubrigen n−mKreisen, so enthalt G genau m Eigenwerte von A (jeden entsprechend seiner algebraischenVielfachheit gezahlt).

Beweis. Sei x ein Eigenvektor zum Eigenwert λ mit ‖x‖∞ = 1. Dann existiert i ∈ 1, . . . , nmit |xi| = 1, und es gilt

λxi =n∑

j=1

aijxj =∑j =i

aijxj + aiixi.

Hieraus folgt

|λ− aii| = |λ− aii| |xi| =∣∣∣∣∣∣∑j =i

aijxj

∣∣∣∣∣∣ ≤∑j =i

|aij | |xj | ≤∑j =i

|aij | = ri. (4.7)

Weil λ ∈ ⋃1≤i≤nKri(aii) sofort die Behauptung liefert, durfen wir annehmen, dass |λ−aii| ≥ ri,

i = 1, . . . , n. Wir zeigen zunachst, dass, wenn i mit direkt verbunden ist, aus |xi| = 1 und|λ− aii| = ri auch |x| = 1 und |λ− a| = r folgt. Wegen |λ− aii| = ri gilt in (4.7) zunachstdie Gleichheit. Insbesondere folgt wegen |xj | ≤ 1, dass |aij ||xj | = |aij |, j = i. Wegen ai = 0erhalt man hieraus |x| = 1. Wegen der Annahme und (4.7) gilt |λ− a| = r.

Der erste Teil des Beweises zeigt die Existenz eines Index i mit |xi| = 1 und |λ− aii| ≤ ri.Nach Annahme muss |λ − aii| = ri gelten. Sei j ∈ Ji, dann existiert eine Verbindung i =i0, . . . , ik = j, ai−1i = 0, von i mit j. Also ist |xi | = 1 und |λ − aii | = ri fur = 1, . . . , k.Insbesondere gilt λ ∈ ∂Krj (ajj)

Falls A nicht irreduzibel ist, hilft die folgende Verallgemeinerung.

86


Definition 4.1.13. Eine Matrix A ∈ Kn×n heißt im Wesentlichen diagonaldominant, falls Aschwach diagonaldominant ist, und fur alle = 1, . . . , n ein i ∈ J existiert mit

|aii| >∑j =i

|aij |. (4.8)

Aufgabe 4.1.14. Zeige: Fur irreduzible Matrizen sind wesentliche und irreduzible Diagonal-dominanz aquivalent.Theorem 4.1.15. Die Matrix A besitze positive Diagonaleintrage. Ist A stark, irreduzibeloder im Wesentlichen diagonaldominant, dann ist jeder Eigenwert von A positiv.

Beweis. Wegen ri < aii bzw. ri ≤ aii, i = 1, . . . , n und rj < ajj fur ein 1 ≤ j ≤ n schneiden dieGerschgorin-Kreise nicht die Halbachse (−∞, 0].Lemma 4.1.16. Ist A stark, irreduzibel oder im Wesentlichen diagonaldominant, so gilt aii =0, i = 1, . . . , n.

Beweis. Ist A stark diagonaldominant, so ist die Behauptung klar. Im Fall der wesentlichenDiagonaldominanz existiert zu jedem i = 1, . . . , n ein j ∈ 1, . . . , n mit aij = 0. Ist j = i,so folgt die Behauptung aus der schwachen Diagonaldominanz. Sei A irreduzibel diagonal-dominant. Angenommen, es existiert eine nichttriviale Zerlegung von N = 1, . . . , n mitN1 = i ∈ N : aii = 0 und N2 = j ∈ N : ajj = 0. Ist i ∈ N1, so ist aij = 0 fur j = 1, . . . , n,weil A schwach diagonal dominant ist. Insbesondere ist aij = 0 fur (i, j) ∈ N1 ×N2. Dies stehtim Widerspruch zur Irreduzibelitat von A. Die Zerlegung ist also trivial. Es gilt N2 = N , weilN2 nicht leer ist.

Lemma 4.1.17. Ist A irreduzibel oder im Wesentlichen diagonaldominant. Dann gilt ρ(TJ ) <1. Ist A stark diagonaldominant, so gilt sogar ‖TJ‖∞ < 1.

Beweis. Die Koeffizienten von TJ sind −aij/aii fur i = j und 0 sonst. Aus der Diagonaldomi-nanz folgt ri =

∑j =i |(TJ)ij | < 1 fur i = 1, . . . , n.

Ist A irreduzibel diagonaldominant, so fuhren wir wegen ρ(TJ) ≤ ‖TJ‖∞ ≤ 1 die Annahmen,es wurde ein Eigenwert λ mit |λ| = 1 existieren, zum Widerspruch. Es sei x ∈ Kn, ‖x‖∞ = 1,ein zu λ gehoriger Eigenvektor von TJ und N1 = i ∈ N : |xi| = 1. Dann gilt fur i ∈ N1

1 = |xi| = |λ| |xi| = |λxi| = |(TJx)i| ≤ 1|aii|

∣∣∣∣∣∣∑j =i

aijxj

∣∣∣∣∣∣ ≤ 1|aii|

∑j =i

|aij | ≤ 1

und daher∑

j =i |aij| = |aii|. Es existiert aber ein Index, so dass “¡” gilt. Also folgt N2 =N \N1 = ∅ und wegen der Irreduzibilitat von A, dass (k, ) ∈ N1 × N2 existiert mit ak = 0.Wegen |ak| |x| < |ak| ist

1 = |λ| |xk| = |(TJx)k| ≤ 1|akk|

∑j =k

|akj | |xj | < 1|akk|

∑j =k

|akj | ≤ 1.

Diese liefert den Widerspruch.Ist A im Wesentlichen diagonaldominant, so gilt ri ≤ 1 fur i = 1, . . . , n, und fur alle

= 1, . . . , n existiert i ∈ J mit ri < 1. Nach Theorem 4.1.12 liegen alle Eigenwerte von TJ inK1(0).

87


Lemma 4.1.18. Ist A stark diagonaldominant, so gilt ‖TGS‖∞ < 1.

Beweis. Fur das Einzeilschrittverfahren werden wir ebenfalls zeigen, dass

‖TGS‖∞ = max‖x‖∞=1

‖TGSx‖∞ < 1.

Sei also ‖x‖∞ = 1 und q = maxi=1,...,n∑

j =i |aij |/|aii| < 1. Setzt man y = TGSx, dann ergibtsich

yi = − 1aii

⎡⎣∑

ji

aijxj

⎤⎦ .

Wir zeigen nun induktiv, dass |yi| ≤ q fur alle j i

|aij ||xj |⎤⎦ ≤ 1

|aii|

⎡⎣q∑

ji

|aij|⎤⎦

≤ 1|aii|

⎡⎣∑

ji

|aij |⎤⎦ = q,

woraus die Behauptung folgt.

Theorem 4.1.19. Ist A stark, irreduzibel oder im Wesentlichen diagonaldominant, so istA und diag(A) regular. Das Jacobi- und das Gauß-Seidel-Verfahren konvergieren fur jedenStartvektor.

Beweis. Wegen Lemma 4.1.17 und 4.1.18 gilt ρ(TJ ) < 1 und ρ(TGS) < 1. Nach Theorem 4.1.2konvergieren Jacobi- und Gauß-Seidel-Verfahren fur jeden Startvektor.

Definition 4.1.20. Eine Matrix A heißt konsistent geordnet, wenn die Eigenwerte von

C(α) := −A−1D

(αAL +

1αAR

), α = 0

von α unabhangig sind.

Beispiel 4.1.21. Eine Tridiagonalmatrix mit regularer Diagonalen ist konsistent geordnet.Mit C(1) = −A−1

D (AL +AR) und S(α) := diag(1, α, . . . , αn−1) hat man namlich

C(α) = S(α)C(1)S(α)−1.

Daher sind C(α) und C(1) ahnlich, haben also diesselben Eigenwerte.

Beispiel 4.1.22. Im Fall der Finiten-Differenzen-Matrix aus Beispiel 4.0.19 rechnet man leichtnach, dass die Matrix C(α) die Eigenwerte

λµν =12

(cos

µπ

n+ 1+ cos

νπ

n+ 1

), 1 ≤ µ, ν ≤ n,

mit zugehorigen Eigenvektoren

uµν = (uµνij ) :=

(αi+j sin

iµπ

n+ 1sin

jνπ

n+ 1

)besitzt.

88


Theorem 4.1.23. Sei A ∈ Cn×n konsistent geordnet. Dann gilt ρ(TGS) = ρ(TJ)2.

Beweis. Folgerung aus Lemma 4.1.27.

4.1.3 Relaxationsverfahren

Bei Relaxationsverfahren wird ein Parameter ω = 0 mit dem Ziel eingefuhrt, den Spektralradiuszu verkleinern. Ist z(k+1) die (k + 1)-te Iterierte eines Iterationsverfahrens, so wird durch

x(k+1) := (1− ω)x(k) + ωz(k+1)

ein neues Iterationsverfahren definiert. Im Fall ω < 1 wird das Verfahren als unterrelaxiert, imFall ω > 1 als uberrelaxiert bezeichnet. Fur ω = 1 erhalt man das das ursprungliche Verfahren.

• Beim relaxierten Jacobi-Verfahren ist M(ω) = ω−1AD. Entsprechend hat man fur dieIterationsmatrix

TJ(ω) = (1− ω)In − ωA−1D (AL +AR).


x(k+1)i = x

(k)i +

ω

aii

⎡⎣bi −∑

j =i

aijx(k)j

⎤⎦ , i = 1, . . . , n, k = 0, 1, . . . .

• Das relaxierte Gauß-Seidel-Verfahren wird auch als SOR-Verfahren (“Successive overre-laxation”) bezeichnet. Hier gilt M(ω) = ω−1AD +AL. Die Iterationsmatrix ist

TSOR(ω) = (AD + ωAL)−1[(1 − ω)AD − ωAR].


x(k+1)i = x

(k)i +

ω

aii

⎡⎣bi −∑

j<i

aijx(k+1)j −

∑j≥i

aijx(k)j

⎤⎦ , i = 1, . . . , n, k = 0, 1, . . . .

Theorem 4.1.24. Die Eigenwerte von TJ seien reell und ρ(TJ) < 1. Dann wird der Spektral-radius von TJ(ω) minimal fur

ωopt =2

2− λmin − λmax.

Beweis. Seien λ1 ≥ λ2 ≥ . . . ≥ λn die Eigenwerte von TJ . Dann besitzt TJ(ω) die Eigenwerte1 − ω + ωλi. Sei fi(ω) = |1 − ω + ωλi|. Man uberlegt sich leicht, dass ρ(ω) fur denjenigenPunkt ωopt ∈ [1/(1 − λn), 1/(1 − λ1)] minimal wird, fur den f1(ωopt) = fn(ωopt). Hieraus folgtωopt = 2/(2 − λ1 − λn).

Theorem 4.1.25. Die Diagonale von A ∈ Cn×n sei regular. Dann ist

ρ(TSOR(ω)) ≥ |ω − 1|.

Das SOR-Verfahren kann (fur jeden Startwert) also nur konvergieren, falls ω ∈ (0, 2).

89


Beweis. Es gilt

|ρ(TSOR(ω))|n ≥ |detTSOR(ω)| = |det(1− ω)AD − ωAR||detAD + ωAL| = |1− ω|n.

Theorem 4.1.26. Sei A ∈ Cn×n positiv definit. Dann konvergiert das SOR-Verfahren fur alleω ∈ (0, 2).

Beweis. Sei (λ, x) ein Eigenpaar von TSOR(ω). Dann gilt Ax = (1 − λ)M(ω)x. Weil A positivdefinit ist, folgt λ = 1 und somit (M(ω)x, x)/(Ax, x) = (1− λ)−1. Hieraus folgt

2Re1

1− λ =1

1− λ +1

1− λ =(M(ω)x, x)

(Ax, x)+

(M(ω)x, x)(Ax, x)

=((M(ω) +MH(ω))x, x)

(Ax, x).

Weil M(ω) = ω−1AD +AL, folgt M(ω) +MH(ω) = A+ (2/ω − 1)AD. Zusammenfassend gilt

2Re1

1− λ = 1 +(

2ω− 1

)(ADx, x)(Ax, x)

> 1,

weil mit A auch AD positiv definit ist. Mit λ = α+ iβ ist

1 < 2Re1

1− λ =2(1− α)

(1− α)2 + β2.

Hieraus folgt |λ| = α2 + β2 < 1 und somit ρ(TSOR(ω)) < 1.

Eine explizite Darstellung fur den optimalen Relaxationsparameter ωopt mit

ρ(TSOR(ωopt)) = minω∈(0,2)

ρ(TSOR(ω))

wird im Allgemeinen schwer zu finden sein. Fur konsistent geordnete Matrizen ist dies abermoglich.

Lemma 4.1.27. Sei A ∈ Cn×n eine konsistent geordnete Matrix und ω = 0. Dann gilt:

(i) Ist λ ein Eigenwert von TJ , so auch −λ.

(ii) Ist λ ein Eigenwert von TJ und µ ∈ C ein Zahl mit

(µ+ ω − 1)2 = µω2λ2, (4.9)

so ist µ ein Eigenwert von TSOR(ω).

(iii) Ist µ = 0 ein Eigenwert von TSOR(ω) und gilt (4.9) fur ein λ, so ist λ ein Eigenwert vonTJ .

Beweis. Weil A konsistent geordnet ist, sind die Eigenwerte von

C(α) = −A−1D

(αAL +

1αAR

)

90


von α unabhangig. Insbesondere stimmen die Eigenwerte von C(1) = TJ und C(−1) = −TJ

uberein. Sei λ ∈ C ein Eigenwert von TJ und µ ∈ C eine Zahl, die (4.9) genugt. Ist µ = 0, sofolgt ω = 1 und µ ist ein Eigenwert von TSOR(1) = TGS . Im anderen Fall ist

λ =µ+ ω − 1ω√µ

.

Mit λ ist auch −λ ein Eigenwert von TJ = C(1), also auch von C(−√µ). Folglich gilt

0 = det (C(−√µ) + λIn) = det(A−1

D

(√µAL +

1√µAR

)+ λIn

)= (ω

√µ)−n det

(A−1

D (ωµAL + ωAR) + (µ+ ω − 1)In)

= (ω√µ)−n det(In + ωA−1

D AL) det[µIn − (In + ωA−1

D AL)−1((1− ω)In − ωA−1D AR)

]= (ω

√µ)−n det(In + ωA−1

D AL)︸︷︷︸=0

det [µIn − TSOR(ω)] .

Daher ist µ ein Eigenwert von TSOR(ω).

Theorem 4.1.28. Sei A eine konsistent geordnete Matrix. Die Eigenwerte von TJ seien reellund ρ(TJ) < 1. Dann gilt:

(i) Mit

ωopt :=2

1 +√

1− ρ(TJ)2

ist

ρ(TSOR(ω)) =

⎧⎪⎨⎪⎩

(ωρ(TJ )

2 +√

ω2ρ(TJ )2

4 + 1− ω)2

, ω ∈ (0, ωopt),

ω − 1, ω ∈ [ωopt, 2).

(ii) Der Spektralradius von TSOR(ω) wird fur ωopt minimal. Es ist

ρ(TSOR(ωopt)) =1−√

1− ρ(TJ)2

1 +√

1− ρ(TJ)2.

(iii) Das SOR-Verfahren konvergiert fur alle ω ∈ (0, 2).

Beweis. Sei ω ∈ (0, 2) und λ ein nach Voraussetzung reeller und in (−1, 1) enthaltener Eigen-wert von TJ . Wegen Lemma 4.1.27 sind

µ1,2(ω) :=

(ωλ

2±

√ω2λ2

4+ 1− ω

)2

jeweils Eigenwerte von TSOR(ω). Ferner kann jeder von Null verschiedene Eigenwert von TSOR(ω)in dieser Weise dargestellt werden. Das Argument der Wurzel ist negativ, wenn

ω0(λ) :=2

1 +√

1− λ2< ω < 2.

91


In diesem Fall sind µ1,2(ω) komplex, und es ist |µ1,2(ω)| = ω − 1. Ist dagegen ω ∈ (0, ω0(λ)),so sind µ1,2(ω) reell und nicht-negativ. Die großere der beiden Zahlen ist

µ(ω) :=

(ω|λ|2

+

√ω2λ2

4+ 1− ω

)2

≥ ω − 1.

Daher wird der Spektralradius von TSOR(ω) fur ωopt minimal. Wegen ρ(TSOR(ωopt)) < 1 kon-vergiert das SOR-Verfahren nach Korollar 4.1.2 fur jeden Startwert.

Beispiel 4.1.29. Im Fall des Modellproblems (Beispiel 4.0.19) gilt ρ(TJ) = cos πn+1 (siehe

Beispiel 4.1.22). Der optimale Relaxationsparameter ist also

ωopt =2

1 + sin πn+1

.

Insbesondere gilt

ρ(TSOR(ωopt)) =1− sin π

n+1

1 + sin πn+1

≈ 1− πn+1

1 + πn+1

≈ 1− 2πn+ 1

.

Dies ist verglichen mit

ρ(TJ) = cosπ

n+ 1≈ 1− π2

2(n + 1)2und ρ(TGS) = cos2 π

n+ 1≈ 1− π2

(n+ 1)2

eine deutliche Verbesserung.

4.1.4 Konvergenzbeschleunigung

Angenommen, das lineare Gleichungssystem Ax = b sei in eine aquivalente Fixpunktaufgabex = Tx+ c transformiert worden, wobei ρ(T ) < 1 gilt. Fur ein beliebiges x(0) konvergiert danndie aus

x(k+1) = Tx(k) + c (4.10)

gewonnene Folge x(k)k∈N gegen den Fixpunkt x. Eine Idee zur Beschleunigung der Konvergenzist es, in der konvexen Hulle von x(0), . . . , x(k), k = 1, 2, . . . , eine verbesserte Naherung fur xzu finden. Sei also y(k) ∈ conv(x(0), . . . , x(k)). Dann ist

y(k) − x =k∑

=0

αk(x() − x) =k∑

=0

αkT(x(0) − x) = pk(T )(x(0) − x),

wobei pk(t) :=∑k

=0 αkt ein Polynom vom Grad k mit pk(0) = 1 ist. Ziel ist es, pk so

auszuwahlen, dass der letzte Ausdruck moglichst klein wird. Nach Lemma 1.11.1 ist dann auchρ(pk(T )) klein. Das folgende Lemma besagt, dass mit Hilfe von Tschebyscheff-Polynomen

Πk Tk(t) := cos(k arccos t), t ∈ [−1, 1]

dieser Ausdruck minimiert werden kann.

92


Lemma 4.1.30. Das k-te Tschebyscheff-Polynom erster Art Tk minimiert den Ausdruck

maxt∈[−1,1]

|p(t)| fur p ∈ Πk mit p(0) = 1.

Es gilt maxt∈[−1,1] |Tk(t)| = 1.Angenommen, das Spektrum von T ist reell, d.h. σ(T ) ⊂ [−ρ, ρ]. Sei

µk =1

Tk(1/ρ)und pk(t) := µk Tk(t/ρ).

Wegen der Rekursionsformel der Tschebyscheff-Polynome

T0(t) = 1, T1(t) = t, Tk(t) = 2tTk−1(t)− Tk−2(t)

folgt, dass

µ0 = 1, µ1 = ρ und µk =[

2ρµk−1

− 1µk−2

]−1

.

Hieraus erhalt man

y(k) − x = pk(T )(x(0) − x) = µkTk(T/ρ)(x(0) − x)= µk [2(T/ρ)Tk−1(T/ρ) − Tk−2(T/ρ)] (x(0) − x)

= µk

[2(T/ρ)

pk−1(T )µk−1

− pk−2(T )µk−2

](x(0) − x)

= µk

[2T

y(k−1) − xρµk−1

− y(k−2) − xµk−2

]

und, weil x = Tx+ c, dass

y(k) =2µk

ρµk−1(Ty(k−1) + c)− µk

µk−2y(k−2), k = 2, 3, . . .

mit y(0) = x(0) und y(1) = Ty(0) + c. Diese Verfahren ist nicht wesentlich aufwendiger als dasAusgangsverfahren (4.10), weil die Berechnung der Matrix-Vektor-Multiplikation mit T denAufwand dominiert und diese bei beiden Verfahren nur einmal pro Iteration auftritt.

Weil die Iterationsmatrix des SOR-Verfahrens nicht nur reelle Eigenwerte haben wird, kanndie Tschebyscheff-Beschleunigung im Allgemeinen nicht auf dieses angewendet werden. DasSOR-Verfahren laßt sich aber symmetrisieren (SSOR). Das SSOR-Verfahren besteht aus zweiSOR-Schritten, bei denen die Rollen von AL und AR vertauscht sind:

1. Berechne x(k+1/2) aus x(k) mittels[1ωAD +AL

]x(k+1/2) =

[(1ω− 1

)AD −AR

]x(k) + b.

2. Berechne x(k+1) aus x(k+1/2) mittels[1ωAD +AR

]x(k+1) =

[(1ω− 1

)AD −AL

]x(k+1/2) + b.

93


Indem wir beide Schritte zusammenfassen, schreiben wir

x(k+1) = TSSOR(ω)x(k) + c.

Mit den Bezeichnungen AL = A−1D AL und AR = A−1

D AR erhalten wir

TSSOR =[

1ωAD +AR

]−1 [(1ω− 1

)AD −AL

] [1ωAD +AL

]−1 [(1ω− 1

)AD −AR

]= (In + ωAR)−1

[(1− ω)In − ωAL

](In + ωAL)−1

[(1− ω)In − ωAR

].

Fur den Fall, dass A symmetrisch ist, laßt sich zeigen, dass TSSOR zu einer symmetrischenMatrix ahnlich ist und daher nur reelle Eigenwerte besitzt. Definiert man namlich:

TSSOR = (In + ωAR)TSSOR(In + ωAR)−1,

so ist

TSSOR =[(1− ω)In − ωAL

](In + ωAL)−1

[(1− ω)In − ωAT

L

](In + ωAT

L)−1

=[(1− ω)In − ωAL

](In + ωAL)−1(In + ωAT

L)−1[(1− ω)In − ωAT

L

]=


](In + ωAL)−1


](In + ωAL)−1

T.

Dies zeigt außerdem, dass alle Eigenwerte von TSSOR postitiv sind.

4.1.5 Das Uzawa-Verfahren

Gegeben sei das lineare Gleichungssystem[A BBH 0

] [xy

]=

[bc

], (4.11)

wobei b ∈ Cn, c ∈ Cm und A ∈ Cn×n symmetrisch positiv definit ist. B ∈ Cn×m habe denRang m. Solche Systeme entstehen beispielsweise aus der Optimierungsausgabe mit Nebenbe-dingungen

minimiere12(Ax, x) − (x, b) fur alle x mit BHx = c.

Die Losung von (4.11) ist der Sattelpunkt der Lagrange-Funktion

L(x, y) =12(Ax, x) − (x, b) + (y,BHx− c).

Lemma 4.1.31. Das obige Gleichungssystem ist eindeutig losbar und die Matrix S := BHA−1Bist symmetrisch positiv definit.

Beweis. S ist offensichtlich symmetrisch positiv definit. Aus der Zerlegung[In 0

−BHA−1 Im

] [A BBH 0

]=

[A B0 −S

]

sieht man, dass die Systemmatrix regular ist.

94

4.2 Nicht-negative Matrizen und M -Matrizen

Das folgende iterative Verfahren zur Losung des obigen Gleichungssystems wird als Uzawa-Verfahren bezeichnet.

Sei (x0, y0) ∈ Cm+n.for k = 0, 1, . . . do

setze xk+1 = A−1(b−Byk)setze yk+1 = yk + ω(BHxk+1 − c).

Algorithmus 4.1.1: Das Uzawa-Verfahren

Durch Elemination von xk erhalt man

yk+1 = yk + ω(BHA−1(b−Byk)− c),

was der Richardson-Iteration angewendet auf

BHA−1By = BHA−1b− c

entspricht. Aus Beispiel 4.1.3 ergibt sich daher sofortTheorem 4.1.32. Das Uzawa-Verfahren konvergiert genau dann, wenn ω ∈ (0, 2/λmax(S)).Der optimale Relaxationsparameter ist

ωopt :=2

λmin(S) + λmax(S).

Im Uzawa-Verfahren muss in jedem Schritt das Gleichungssystem

Axk+1 = b−Byk

gelost werden. Dies entspricht der Minimierung des Funktionals

fk(x) =12(Ax, x) − (x, b−Byk),

das bis auf Konstanten die Lagrange-Funktion in yk ist. Um den Aufwand zu reduzieren,bestimmt man xk+1 nicht mit Hilfe des Gleichungssystems, sondern geht einen Schritt mitSchrittweite ε in Richtung des Gradienten Axk − (b − Byk) von fk in xk. Wir erhalten diefolgende Alternative zum Uzawa-Verfahren.

Sei (x0, y0) ∈ Cm+n.

for k = 0, 1, . . . dosetze xk+1 = xk + ε(b−Axk −Byk)setze yk+1 = yk + ω(BHxk+1 − c).

Algorithmus 4.1.2: Das Arrow-Hurwicz-Verfahren


Auf Rm×n definieren wir die partielle Ordnungsrelation “>” durch elementenweise Ungleichun-gen

A > B ⇐⇒ aij > bij , i = 1, . . . ,m, j = 1, . . . , nA ≥ B ⇐⇒ aij ≥ bij , i = 1, . . . ,m, j = 1, . . . , n.

95


Bemerkung 4.2.1. Aus A ≥ B und A = B folgt noch nicht A > B.Definition 4.2.2. Eine Matrix Amit A > 0 wird als positiv bezeichnet, fur eine nicht-negativeMatrix gilt A ≥ 0.

Nicht-negative Matrizen sind wichtig fur Konvergenzbetrachtungen von iterativen Verfah-ren.Aufgabe 4.2.3. Seien A,B ∈ Rn×n. Zeige:

(a) Die Relation “>” ist reflexsiv (A ≤ A), antisymmetrisch (A = B, falls A ≤ B und B ≤ A)und transitiv (A ≤ C, falls A ≤ B und B ≤ C)

(b) A+B ≥ 0 sowie AB ≥ 0, falls A,B ≥ 0, und A+B > 0 sowie AB > 0, falls A,B > 0.

(c) fur n > 1 konnen A und A−1 nie zugleich positiv sein.

(d) AD > 0, falls A > 0 und D ≥ 0 regulare Diagonalmatrix.

(e) AT ≤ BT , falls A ≤ B.

(f) ‖A‖1 ≤ ‖B‖1 und ‖A‖∞ ≤ ‖B‖∞, falls 0 ≤ A ≤ B

(g) A ist genau dann positiv, wenn Ax > 0 fur alle 0 = x ≥ 0.

(h) Sei A ≥ 0 irreduzibel, so gilt (In +A)n−1 > 0 und∑n−1

=0 A > 0.

(i) Den Betrag einer Matrix definiert man durch |A| = (|aij |)ij . Zeige: Falls A ≥ 0, giltAx ≤ |Ax| ≤ A|x| fur alle x ∈ Rn.

Korollar 4.2.4. Seien A,B ∈ Rn×n mit 0 ≤ A ≤ B. Dann gilt fur alle k ∈ N

Ak ≤ Bk.

Beweis. Die Behauptung gilt fur k = 0. Angenommen, sie gilt fur k, d.h. Ak ≤ Bk. Multipli-kation von links ergibt Ak+1 ≤ ABk. Wegen B ≥ 0 ist auch Bk ≥ 0. Aus A ≤ B folgt somitABk ≤ Bk+1, woraus die Behauptung folgt.

Das folgende Theorem ist der Satz von Perron-Frobenius.

Theorem 4.2.5. Sei 0 ≤ A ∈ Rn×n eine irreduzible Matrix. Dann gilt

(i) ρ(A) > 0 ist einfacher Eigenwert von A

(ii) zu λ = ρ(A) existiert ein positiver Eigenvektor x > 0

(iii) ρ(B) > ρ(A) fur alle B ≥ A, B = A.

Abgeschwacht gilt dieser auch fur reduzible Matrizen.Theorem 4.2.6. Sei 0 ≤ A ∈ Rn×n eine Matrix. Dann gilt

(i) ρ(A) ≥ 0 ist Eigenwert von A

(ii) zu λ = ρ(A) existiert ein nicht-negativer Eigenvektor x ≥ 0

(iii) ρ(B) ≥ ρ(A) fur alle B ≥ A.

96


Lemma 4.2.7. Sei 0 ≤ A ∈ Rn×n. Es gilt ρ(A) < 1 genau dann, wenn In−A invertierbar und(In −A)−1 nicht-negativ ist.

Beweis. Sei B = In −A. Falls ρ(A) < 1, ist B invertierbar und nach Theorem 1.11.11

B−1 = (In −A)−1 =∞∑

=0

A.

Weil A ≥ 0, sind alle Potenzen und somit die Summe nicht-negativ.Angenommen, B ist invertierbar und B−1 ist nicht-negativ. Nach dem Theorem von Perron-

Frobenius existiert ein nicht-negativer Eigenvektor x = 0 zum Eigenwert ρ(A), d.h.

Ax = ρ(A)x ⇐⇒ x = (1− ρ(A))B−1x.

Weil x und B−1 nicht-negativ sind, folgt ρ(A) < 1.

Definition 4.2.8. Eine Matrix A ∈ Rn×n heißt M -Matrix, wenn

aii > 0 fur alle i = 1, . . . , n und aij ≤ 0 fur alle i = j, (4.12)

A invertierbar und A−1 ≥ 0.

Korollar 4.2.9. Sei A ∈ Rn×n mit

aii > 0, i = 1, . . . , n und aij ≤ 0, i = j.

Genau dann ist A eine M -Matrix, wenn ρ(TJ) < 1.

Beweis. Weil TJ ≥ 0 ist die Bedingung ρ(TJ ) < 1 nach Lemma 4.2.7 aquivalent damit, dassIn − TJ invertierbar und A−1AD = (In − TJ)−1 ≥ 0. Dies ist aber genau dann der Fall, wennA invertierbar und A−1 ≥ 0 ist.

Aufgabe 4.2.10. Sei A invertierbar und A−1 ≥ 0. Gilt Ax ≤ Ay, so gilt auch x ≤ y.

Die Positivitat der Diagonaleintrage in Definition 4.2.8 ergibt sich bereits aus den anderenBedingungen. Außerdem konvergiert das Jacobi-Verfahren.

Theorem 4.2.11. Sei A ∈ Rn×n mit aij ≤ 0 fur i = j. Dann sind aquivalent

(i) A ist invertierbar und A−1 ≥ 0

(ii) aii > 0, i = 1, . . . , n, und ρ(TJ) < 1

Beweis. Fur die Inverse von A gelte A−1 ≥ 0. Sei ai mit 1 ≤ i ≤ n die i-te Spalte von A.Aus A−1A = In ergibt sich A−1ai = ei. Ware aii ≤ 0, galte ai ≤ 0 und A−1 ≥ 0 ergabe denWiderspruch ei = A−1ai ≤ 0. Der Rest des Beweises ergibt sich aus Korollar 4.2.9.

Insbesondere folgt hieraus

Theorem 4.2.12. Fur A gelte (4.12), und A sei stark, im Wesentlichen oder irreduzibel diag-dominant. Dann ist A eine M -Matrix.

Die Bedingung A−1 ≥ 0 in der Definition der M -Matrizen ist schwierig nachzuprufen. Wirgeben eine einfachere hinreichende Bedingung an:

97


Theorem 4.2.13. Sei A ∈ Rn×n mit aij ≤ 0 fur j = i. Genau dann existiert 0 < g ∈ Rn mitAg > 0, wenn A invertierbar ist und A−1 ≥ 0. In diesem Fall gilt

‖A−1‖∞ ≤ ‖g‖∞mini=1,...,n(Ag)i

.

Beweis. Sei A invertierbar mit A−1 ≥ 0. Wir setzen g := A−1e > 0, wobei e := [1, . . . , 1]T ∈ Rn.Dann gilt Ag = e > 0.

Umgekehrt ist wegen Ag > 0

aiigi −∑j =i

|aij |gj =n∑

j=1

aijgj > 0.

Hieraus folgt aii > 0. Daher ist TJ ≥ 0 und (In − TJ)g = A−1D Ag > 0 oder TJg < g. Sei

‖x‖g = maxig−1i |xi|

und ‖ · ‖g die zugeordenete Matrixnorm. Dann ist ‖TJ‖g ≥ ‖TJg‖g . Außerdem gilt ‖TJ‖g ≤‖TJg‖g, weil fur x ∈ Rn mit ‖x‖g = 1 folgt |xi| ≤ gi. Mit TJ ≥ 0 folgt daher TJx ≤ TJg undhieraus ‖TJx‖g ≤ ‖TJg‖g. Also gilt ‖TJ‖g = ‖TJg‖g . Wegen TJg < g und ‖g‖g = 1 erhalt man‖TJ‖g = ‖TJg‖g < ‖g‖g = 1. Daher konvergiert die Neumannsche Reihe

(In − TJ)−1 =∞∑

=0

T J ,

und es gilt A−1 = (In − TJ)−1A−1D ≥ 0.

Es bleibt noch, die Norm-Abschatzung nachzuweisen. Offenbar gilt Ag ≥ emini=1,...,n(Ag)i.Wegen A−1 ≥ 0 folgt g ≥ A−1emini=1,...,n(Ag)i und hieraus

0 ≤ A−1e ≤ 1mini=1,...,n(Ag)i

g =⇒ ‖A−1e‖∞ ≤ ‖g‖∞mini=1,...,n(Ag)i

.

Sei x ∈ Rn, dann gilt −‖x‖∞e ≤ x ≤ ‖x‖∞e. Anwendung von A−1 liefert

−‖x‖∞A−1e ≤ A−1x ≤ ‖x‖∞A−1e,

woraus ‖A−1x‖∞ ≤ ‖x‖∞‖A−1e‖∞ folgt. Zusammenfassend erhalt man

‖A−1‖∞ = min‖x‖∞=1

‖A−1x‖∞ ≤ ‖A−1e‖∞ ≤ ‖g‖∞mini=1,...,n(Ag)i

.

Lemma 4.2.14. Sei A ∈ Rn×n eine M -Matrix, und es existiere v ∈ Rn, so dass Av ≥ 1. Danngilt

‖A−1‖∞ ≤ ‖v‖∞.

98


Beweis. Sei 0 = v ∈ Rn beliebig. Dann gilt

|A−1v| ≤ A−1|v| ≤ ‖v‖∞A−1Av ≤ ‖v‖∞‖v‖∞.

Hieraus folgt‖A−1v‖∞‖v‖∞ ≤ ‖v‖∞.

Theorem 4.2.15. Fur irreduzible M -Matrizen A gilt sogar A−1 > 0.

Beweis. Seien 1 ≤ i, j ≤ n beliebig gewahlt. Dann existiert eine Verbindung i = i0, i1, . . . , ik =j mit (TJ)i−1i > 0, und es gilt

(T kJ )ij =

∑||≤n

(TJ)i1(TJ )12 · · · (TJ)k−1j ≥ (TJ )i0i1(TJ)i1i2 · · · (TJ)ik−1ik > 0.

Wegen Theorem 4.2.11 gilt ρ(TJ) < 1, so dass∑∞

=0 TJ = A−1AD konvergiert. Die Behauptung

ergibt sich aus A−1AD ≥ T kJ > 0.

Theorem 4.2.16. Sei A eine M -Matrix, und B ≥ A erfulle bij ≤ 0, i = j. Dann ist auchB eine M -Matrix und B−1 ≤ A−1. Ist außerdem A irreduzibel und B = A, so gilt sogar0 ≤ B−1 < A−1.

Beweis. Weil aii > 0, i = 1, . . . , n, und A ≤ B, ist BD = diag(B) regular. Wir zeigen zunachst,dass ρ(In −B−1

D B) < 1 gilt. Wegen

0 ≤ In −B−1D B = B−1

D (BD −B) ≤ A−1D (BD −B) ≤ A−1

D (AD −A) = In −A−1D A

folgt nach Lemma 1.11.9

ρ(In −B−1D B) = lim

k→∞‖(In −B−1

D B)k‖1/k ≤ limk→∞

‖(In −A−1D A)k‖1/k = ρ(In −A−1

D A).

Nach Korollar 4.2.9 gilt ρ(In −A−1D A) < 1. Also konvergiert das Jacobi-Verfahren

BDxk+1 = (BD −B)xk + b,

und erzeugt wegen BD > 0 und BD − B ≥ 0 fur b ≥ 0 und x0 ≥ 0 eine Folge xkk∈N nicht-negativer Vektoren. Mit der Wahl b = ei, i = 1, . . . , n, sieht man, dass B−1 ≥ 0. Den Rest derAussage erhalt man aus A−1 −B−1 = A−1(B −A)B−1.

Theorem 4.2.17. (a) A sei positiv definit und erfulle aij ≤ 0, i = j. Dann ist A eineM -Matrix.(b) Eine Hermitesche M -Matrix ist positiv definit.

99


4.3 Krylov-Raume

Sei A ∈ Kn×n, v ∈ Kn \ 0 und k ∈ N. Der Unterraum

Kk(A, v) := spanv,Av, . . . , Ak−1v

= p(A)v : p ∈ Πk−1

des Kn heißt Krylov-Raum. Einfachheitshalber werden wir, wenn der Kontext keine Zweideu-tigkeiten zulasst, statt Kk(A, v) auch kurz Kk schreiben. Ziel der im Folgenden vorgestelltenVerfahren ist es, die Losung von Ax = b auf Krylov-Raume zu projizieren. Mit anderen Wortenwird A−1b durch p(A)b approximiert, wobei p ein Polynom ist.

Sei x0 eine Naherungslosung von Ax = b. Die im Folgenden vorgestellten Verfahren sucheneine verbesserte Naherung xk im affinen Unterraum x0 +Kk(A, r0), wobei r0 := b−Ax0. Dieskann durch sukzessive Erhohung von k oder durch wiederholte Anwendung desselben Verfahrensauf xk (“restart”) geschehen. Dabei wird entweder eine das Verfahren charakterisierende Normauf Kk minimiert oder ein zu einem Krylov-Raum orthogonales Residuum gefordert.

Die Folge der Krylov-Raume ist offenbar geschachtelt

Kk(A, v) ⊂ Kk+1(A, v),

und die Dimension von Kk(A, v) wachst um hochstens Eins bei Erhohung von k. Wir definieren

gradA(v) = min j : dimKj+1(A, v) < j + 1 .

Wegen Kk(A, v) ⊂ Kn gilt offenbar gradA(v) ≤ n.

Theorem 4.3.1. Sei A ∈ Kn×n, v ∈ Kn und ν = gradA(v). Dann gilt

(i) AKν(A, v) ⊂ Kν(A, v) und Kk(A, v) = Kν(A, v) fur alle k ≥ ν.

(ii) dimKk(A, v) = min(k, ν).

Beweis. Sei x ∈ Kk mit k ≥ ν, d.h. x =∑k−1

=0 αAv. Nach der Definition von gradA(v)

existieren Koeffizienten β ∈ K, = 1, . . . , ν, welche nicht alle verschwinden, so dass

0 =ν∑

=0

βAv.

Es ist βν = 0, weil sonst gradA(v) ≤ ν − 1 ware. Dann ist

x =k−1∑=0

αAv − αk−1

βνAk−1−ν

ν∑=0

βAv ∈ Kk−1.

In dieser Weise kann fortgefahren werden bis man x ∈ Kν und somit Kk = Kν erhalt. Insbe-sondere folgt dimKk = dimKν . Ist k < ν, so erhalt man aus der Definition von gradA(v), dassdimKk+1 = k + 1. Außerdem gilt offenbar AKν ⊂ Kν+1 = Kν .

Insbesondere folgt wegen Lemma 4.4.1, dass Verfahren die auf Krylov-Raume projizierenhochstens n Schritte benotigen, um die exakte Losung zu berechnen.

100

4.3 Krylov-Raume

4.3.1 Das Arnoldi-Verfahren

Das Arnoldi-Verfahren [1] wurde ursprunglich zur approximativen Berechnung von Eigenwer-ten vorgestellt. Es ist identisch mit dem Gram-Schmidt’sche Verfahren (wir verwenden dasnumerisch stabilere modifizierte Gram-Schmidt’sche Verfahren 2.2.1) zur Bestimmung einerOrthonormalbasis eines Krylov-Raumes Kk(A, v), A ∈ Kn×n und v ∈ Kn \ 0. Wir setzenwieder ν := gradA(v).

Berechne q1 := v/‖v‖2for j = 1, . . . , k do

w := Aqjfor i = 1, . . . , j do

hij := qHi w

w := w − hijqihj+1,j := ‖w‖2if hj+1,j = 0 then STOP

qj+1 := w/hj+1,j .

Algorithmus 4.3.1: Arnoldi-Verfahren

Der Algorithmus multipliziert in jedem Schritt den letzten Arnoldi-Vektor qj mit A undorthogonalisiert den resultierenden Vektor w gegen alle bereits berechneten Vektoren qi. DieMatrix A geht dabei nur in Form der Matrix-Vektor-Multiplikation Aqj ein.

Bemerkung 4.3.2. Mit cMV bezeichnen wir die Kosten fur eine Matrix-Vektor-Multiplikationmit A. Dann benotigt obiger Algorithmus 2k2n+ kcMV Operationen und (k+1)n Speicherein-heiten fur die Vektoren qi und k2 Speichereinheiten fur die Koeffizienten hij .

Fur alternative Implementierungen des Arnoldi-Verfahrens, die auf Reorthogonalisierungoder Householder-Orthogonalisierung basieren, siehe [14].

Im folgenden Theorem werden Eigenschaften der durch das Arnoli-Verfahren generiertenMatrizen Qk := [q1, . . . , qk] ∈ Kn×k und

Hk :=

⎡⎢⎢⎢⎢⎢⎢⎣

h11 h12 . . . h1k

h21 h22. . .

.... . . . . . hk−1,k

hk,k−1 hkk

hk+1,k

⎤⎥⎥⎥⎥⎥⎥⎦ ∈ K(k+1)×k

bewiesen.

Theorem 4.3.3. Das Arnoldi-Verfahren bricht genau im Schritt j = ν ab. Fur alle k ≤ ν gilt

(i) Die Spalten von Qk bilden eine Orthonormalbasis des Krylov-Raumes Kk(A, v).

(ii) Es gilt AQk = Qk+1Hk.

(iii) Es gilt QHk AQk = Hk, wo Hk ∈ Kk×k aus Hk durch Loschen der letzten Zeile entsteht.

Beweis. Wir zeigen zunachst, dass qj = pj−1(A)v mit einem Polynom pj−1 ∈ Πj−1, dessenfuhrender Koeffizient nicht verschwindet, und dass q1, . . . , qj orthonormal ist. Fur j = 1 istdie Behauptung wegen q1 = v/‖v‖2 offenbar richtig. Fur den Induktionsschritt beachte man,

101


dass

qj+1 =1

‖w‖2

(Aqj −

j∑i=1

hijqi

)=

1‖w‖2

(Apj−1(A)v −

j∑i=1

hijpi−1(A)v

)= pj(A)v,

wobei

pj(t) :=1

‖w‖2

(tpj−1(t)−

j∑i=1

hijpi−1(t)

)∈ Πj.

Also ist span q1, . . . , qj+1 ⊂ Kj+1. Im Fall j < ν ist Aqj ∈ Kj+1\Kj und daher hj+1,j = 0. DieOrthogonalitat des Vektorsystems q1, . . . , qj+1 schließt man wie beim Gram-Schmidt’schenVerfahren. Im Fall j = ν ist Aqj ∈ Kj+1 = Kj mit der Folge, dass hν+1,ν = 0 gilt. Zusam-menfassend erhalt man fur j ≤ ν, dass span q1, . . . , qj = Kj gilt, weil das System q1, . . . , qjinsbesondere linear unabhangig ist.

Wegen

Aqj =j+1∑i=1

hijqi = Qk+1Hkej , j = 1, . . . , k,

gilt AQk = Qk+1Hk. Hieraus folgt

QHk AQk = QH

k Qk+1Hk = QHk

[Qk qk+1

] [ Hk

hk+1,keTk

]=

[Ik 0

] [ Hk

hk+1,keTk

]= Hk

und somit die Behauptung.

4.3.2 Das Lanczos-Verfahren

Im Hermiteschen Fall wird das Arnoldi-Verfahren als Lanczos-Verfahren bezeichnet. WegenQH

k AQk = Hk ist die obere Hessenberg-Matrix Hk dann eine Hermitesche Tridiagonalmatrix.Statt Hk wird diese Matrix mit

Tk :=

⎡⎢⎢⎢⎢⎣α1 β2

β2. . . . . .. . . . . . βk

βk αk

⎤⎥⎥⎥⎥⎦ ∈ Kk×k

bezeichnet. Folglich gilt AQk = Qk+1Tk, wo

Tk :=

⎡⎢⎢⎢⎢⎢⎢⎣

α1 β2

β2. . . . . .. . . . . . βk

βk αk

βk+1

⎤⎥⎥⎥⎥⎥⎥⎦ ∈ K(k+1)×k.

Die j-te Spalte dieser Gleichung liefert

Aqj = βjqj−1 + αjqj + βj+1qj+1, j = 1, . . . , k,

102

4.3 Krylov-Raume

mit β1q0 = 0. Weil nur αj und βj+1 berechnet werden mussen, sollte dies auch im Algorithmusberucksichtigt werden: Aus der Orthogonalitat der qj folgt

αj = qHj (Aqj − βjqj−1).

Daher ist w := Aqj − βjqj−1 − αjqj = βj+1qj+1, was auf βj+1 = ‖w‖2 fuhrt. Das Arnoldi-Verfahren vereinfacht sich also zur folgenden Lanczos-Iteration.

Berechne q1 := v/‖v‖2, β1 = 0 und q0 = 0for j = 1, . . . , k do

w := Aqj − βjqj−1

w := w − αjqj , wo αj := (qj , w)βj+1 := ‖w‖2if βj+1 = 0 then STOPqj+1 := w/βj+1.

Algorithmus 4.3.2: Lanczos-Iteration

Durch die Symmetrie von A vereinfacht sich das Arnoldi-Verfahren also zu eine drei-Term-Rekursion, so dass nur drei Vektoren gespeichert werden mussen.

Durch Rundungsfehler kann es beim Lanczos-Verfahren passieren, dass nur die ersten Vek-toren qj orthogonal sind. Im Gegensatz zum Arnoldi-Verfahren werden diese beim Lanczos-Verfahren namlich nicht explizit orthogonalisert, sondern die Orthogonalitat entsteht aus ma-thematischen Eigenschaften, die in der Praxis aber nicht exakt erfullt werden. Um diesen Effektentgegen zu treten, werden partielle oder selektive Reorthogonalisierungen durchgefuhrt, sie-he [13]. Die Orthogonalitat der Vektoren geht immer dann verloren, wenn Ritz-Werte (siehedas Kapitel uber Eigenwertprobleme) gegen Eigenwerte von A konvergieren Kaniel-PaigeTheorie.

Bevor wir Verfahren vorstellen, die auf dem Arnoldi- bzw. Lanczos-Verfahren aufbauen,sollen zunachst Matrix-Klassen erwahnt werden, die eine besonders effiziente Matrix-Vektor-Multiplikation erlauben. Weil diese bei Krylov-Raum-Verfahren die Komplexitat dominiert,werden die vorgestellten Verfahren fur diese Matrix-Klassen besonders effizient sein.

4.3.3 Schwachbesetzte Matrizen

Bei schwachbesetzten Matrizen ist es unnotig, die auftretenden Nullen zu speichern. Anstattdes gewohnlichen spalten- oder zeilenweisen Speicherformates sollte man daher die folgendenkomprimierten Speichertechniken verwenden.

1. CRS-Format (Compressed Row Storage)Beim CRS-Format werden zeilenweise die nicht verschwindenden Eintrage mit ihren Spal-tenindizes gespeichert. Dabei werden in einem Feld A die Werte, in einem Feld jA dieentsprechenden Spaltenindizes und in iA die Anfangsindizes der Zeilen in A und jA abge-legt. Als letzter Index in iA wird zusatzlich die Lange von A erhoht um Eins gespeichert.Beispiel 4.3.4. Die Matrix

A =

⎡⎢⎢⎢⎢⎣0 3 4 0 0 7 00 0 0 0 4 0 00 9 2 −5 0 0 00 0 3 0 8 0 00 0 0 0 0 −1 0

⎤⎥⎥⎥⎥⎦

103


hat im CRS-Format die Darstellung

A = 3 4 7 4 9 2 -5 3 8 -1jA = 2 3 6 5 2 3 4 3 5 6iA = 1 4 5 8 10 11

Dieses Format kann nicht nur genutzt werden, um eine schwachbesetzte Matrix effizientzu speichern, man kann in diesem Format auch die Matrix-Vektor-Multiplikation y = Axeiner Matrix A ∈ Km×n mit einem Vektor x ∈ Kn schnell durchfuhren:

for i = 1, . . . ,m doyi = 0for k = iA[i], . . . , iA[i+ 1]− 1 do

yi := yi +A[k]xjA[k]

Offenbar benotigt diese Matrix-Vektor-Multiplikation nur doppelt soviele Operationenwie nichtverschwindenden Eintrage vorhanden sind. Falls A symmetrisch ist, muss nur derobere oder untere Teil der Matrix gespeichert werden. Die Matrix-Vektor-Multiplikationist dann aber entsprechend abzuandern.

2. CCS-Format (Compressed Column Storage)Beim CCS-Format (auch Harwell-Boeing-Format), werden die nicht verschwindenden Ein-trage mit ihren Zeilenindizes spaltenweise gespeichert. Das CCS-Format ist also das CRS-Format fur AT .Beispiel 4.3.5. Die Matrix A aus 1. hat im CCS-Format die Darstellung

A = 3 9 4 2 3 -5 4 8 7 -1iA = 1 3 1 3 4 3 2 4 1 5jA = 1 1 3 6 7 9 11 11

Man beachte, dass in jA die ersten beiden Eintrage Eins sind, weil die gesamte ersteSpalte verschwindet.

Fur die Matrix-Vektor-Multiplikation gilt analog:

y = 0for j = 1, . . . , n do

for k = jA[j], . . . , jA[j + 1]− 1 doyiA[k] := yiA[k] +A[k]xj

Dies entspricht einer Matrix-Vektor-Multiplikation ATx einer Matrix A im CRS-Format.Umgekehrt kann ATx fur eine Matrix A im CCS-Format durch die CRS-Multiplikationberechnet werden. Die CRS-Matrix-Vektor-Multiplikation benotigt einen Speicherpfadweniger als die CCS-Version. Im Interesse einer schnellen Matrix-Vektor-Multiplikationsollte daher das CRS-Format bevorzugt werden.

3. CDS-Format (Compressed Diagonal Storage)Im Fall einer (p, q)-Bandmatrix A speichert man die Diagonalen in einer neuen MatrixB ∈ K(p+q+1)×n definiert durch

bij = aj,i+j, j = 1, . . . , n, i = −p, . . . , q

104

4.3 Krylov-Raume

Beispiel 4.3.6. Die 5× 5 Matrix

A =

⎡⎢⎢⎢⎢⎣

10 −3 1 0 03 9 6 2 00 7 8 7 10 0 8 7 50 0 0 3 2

⎤⎥⎥⎥⎥⎦

wird in 4 Feldern der Lange 6

B−1 = 0 3 7 8 3B0 = 10 9 8 7 2B1 = -3 6 7 5 0B2 = 1 2 1 0 0

gespeichert. Man beachte, dass fur nicht existierende Eintrage Nullen erganzt werden.

Die Matrix-Vektor-Multiplikation einer Matrix im CDS-Format nimmt die folgende Ge-stalt an:

y = 0for i = −p, . . . , q do

for j = max 1, 1− i , . . . ,min n, n− i doyj := yj +B[i, j]xi+j

Die Matrix-Vektor-Multiplikation mit der Transponierten AT von A laßt sich mit folgendemAlgorithmus berechnen.

y = 0for i = −q, . . . , p do

for j = max 1, 1− i , . . . ,min n, n− i doyj := yj +B[−i, i+ j]xi+j

Beide Algorithmen benotigt zwar drei Speicherpfade, kommen aber ohne indirekte Adressierungaus.

4.3.4 Toeplitz-Matrizen

In Abschnitt 3.5 haben wir direkte Verfahren zur Losung von Toeplitz-Systemen vorgestellt.Im Spezialfall zirkulanter Matrizen A ∈ Kn×n ließ sich die Inverse ebenfalls als Zirkulante dar-stellen. Weil die Matrix-Vektor-Multiplikation mit einer Zirkulanten im Wesentlichen aus dreiFouriertransformationen besteht, kann die Losung also mit Komplexitat O(n log n) berechnetwerden.

Fur allgemeine Toeplitz-Matrizen haben wir den Levinson-Algorithmus angegeben, mit des-sen Hilfe die Losung in O(n2) Komplexitat bestimmt werden kann. In diesem Abschnitt werdenwir zeigen, dass bei Verwendung iterativer Verfahren die Losung in O(n log n) Komplexitat er-zielt werden kann, wenn die Anzahl der Iterationen durch eine Konstante beschrankt ist.

Sei A ∈ Km×n eine Toeplitz-Matrix und Z eine Zirkulante der Dimension N , in die Aeingebettet ist (siehe Bemerkung 3.5.5), d.h.

Z =[A Z1

Z2 Z3

].

105


Einen Vektor x ∈ Kn erweitern wir zu x = [x, 0, . . . , 0]T ∈ KN . Dann gilt

Zx =[Axy

]∈ KN mit y ∈ KN−m.

Die Berechnung von Ax kann auf diese Weise in O(N logN) Operationen durchgefuhrt werden.

4.3.5 Hierarchische Matrizen

Nach Theorem 1.2.5 existieren zu jeder Matrix A ∈ Km×n Matrizen U ∈ Km×k und V ∈ Kn×k,so dass A = UV H . Eine Matrix-Vektor-Multiplikation mit A = UV H benotigt anstatt derublichen 2m · n nun 2k(m+ n) Operationen:

UV Hx = Uy, y = V Hx.

Ebenso kann A anstatt elementenweise mit m · n Werten in dieser Darstellung mit k(m + n)Werten gespeichert werden. Ist k(m+ n) < m · n, so lohnt sich also die Darstellung von A alsaußeres Produkt UV H .

Selbst regulare Matrizen konnen oft blockweise durch Matrizen von niedrigem Rang darge-stellt werden.Beispiel 4.3.7. Sei A ∈ RN×N mit

aij =1

|xi − xj | , i = j

mit xi ∈ R3 und aii ∈ R beliebig. Wir betrachten zunachst zwei Punkte x, y ∈ R3 mit ihrenKugelkoordinaten x = (ρ, α, β) und y = (r, θ, ϕ). Fur ρ < r gilt die Multipol-Entwicklung∣∣∣∣∣ 1

|x− y| −p−1∑n=0

n∑m=−n

ρn

rn+1Y −m

n (α, β)Y mn (θ, ϕ)

∣∣∣∣∣ ≤ 1r − ρ

(ρr

)p

mit den Kugelfunktionen Y mn , m = −n, . . . , n.

Hat man zwei Teilmengen σ, τ ⊂ I := 1, . . . , N mit

2|xi − z| < |xj − z|, i ∈ σ, j ∈ τ, (4.13)

wobei z beispielsweise der Schwerpunkt

z :=1|σ|

∑i∈σ

xi

der Punkte in σ ist, so gilt

1|xi − xj | =

1|xi − z − (xj − z)| =

p−1∑n=0

n∑m=−n

ρni

rn+1j

Y −mn (αi, βi)Y m

n (θj , ϕj) +Eij ,

wo (ρi, αi, βi) und (rj , θj, ϕj) die Kugelkoordinaten von xi − z bzw. xj − z bezeichnen und|Eij | ≤ (2p|xj − z|)−1. Definiert man nun U ∈ R|σ|×k und V ∈ R|τ |×k mit k = p2 durch

ui,(n,m) = ρni Y

−mn (αi, βi) und vj,(n,m) = r

−(n+1)j Y m

n (θj, ϕj), |m| ≤ n, 0 ≤ n < p

106

4.4 Projektionsverfahren

so gilt A(σ,τ) = UV T + E. Die Matrix A kann also auf Unterblocken (σ, τ), fur die (4.13) gilt,durch eine Matrix vom Rang k approximiert werden.

Die Matrix A kann nun so in Blocke zerlegt werden, dass jeder Block entweder (4.13)erfullt, oder dessen Dimension kleiner als k × k ist. In jedem Fall kann er als Rang-k-Matrixapproximiert werden.

Sei P = b : b ⊂ I × I eine disjunkte Menge von Blocken mit

I × I =⋃b∈P

b.

Dann definiert man die Menge der hierarchischen Matrizen

H(P, k) :=M ∈ KN×N : rankMb ≤ k fur alle b ∈ P

.

Der Name “hierarchische Matrizen” ruhrt aus der Tatsache her, dass die Partition P als Er-gebnis einer hierarchischen Verfeinerung der Blocke entsteht.Beispiel 4.3.8 (Komplexitat von H(P, k)-Matrizen). Wir betrachten die einfache Parti-tionierung P , die dadurch entsteht, dass nur jeweils die Diagonalblocke rekursiv geteilt werden:

Sei N = 2p und S der Speicheraufwand fur die Stufe = 0, . . . , p. Dann gilt S = 2S−1+2 k n,wo n = 2. Wegen S0 = 2k folgt, dass

Sp = 2p S0 + 2 k N p = 2 k N log2 2N.

Analoges gilt fur den Aufwand der Matrix-Vektor-Multiplikation.

4.4 Projektionsverfahren

Seien K und L zwei Unterraume und P die Projektion auf K senkrecht zu L, siehe Ab-schnitt 1.10, d.h.

PK,Lx ∈ K und x− PK,Lx ⊥ L.

Sei x ∈ x0 +K und r0 ∈ K. Die Bedingung b−Ax ⊥ L ist dann aquivalent mit

PK,L(b−Ax) = 0 (4.14)

Lemma 4.4.1. Ist K invariant unter A und r0 ∈ K. Dann ist jedes x, das (4.14) erfullt, exakteLosung von Ax = b.

Beweis. Weil r0 ∈ K ist, gilt PK,Lr0 = r0. Es gilt Aδ ∈ AK ⊂ K, wobei δ = x − x0 ∈ K.Hieraus folgt PK,LAδ = Aδ und somit b−Ax = r0 −Aδ = PK,L(r0 −Aδ) = 0.

107


4.4.1 Eindimensionale Projektionen

Seien 0 = v,w ∈ Kn, K = span v und L = span w. Mit r = b − Ax bezeichnen wirdas Residuum im jeweiligen Schritt. Die neue Approximation wird ausgehend von der alten inRichtung v gesucht: x := x+ αv. Die Bedingung L ⊥ b−Ax = r − αAv liefert dann

α =(r, w)

(Av,w).

Methode des steilsten Abstiegs

Sei A positiv definit. Die Richtung, in der das Funktional

f(x) = ‖x− x‖2Amit der exakten Losung x im Punkt x am schnellsten abfallt, ist durch −∇f = 2r gegeben.Bei der Methode des steilsten Abstiegs wird die neue Approximation daher in Richtung desResiduums gesucht: v = w = r. Man erhalt also die folgende Iteration

dork := b−Axk

αk := (rk,rk)(Ark,rk)

xk+1 := xk + αkrkuntil ‖rk‖ < ε‖b‖

Algorithmus 4.4.1: Methode des steilsten Abstiegs

Um die Konvergenz des Verfahrens zu beweisen, benotigen wir die folgende Kantorovich’scheUngleichungLemma 4.4.2. Sei A ∈ Kn×n positiv definit und λmin, λmax ihr kleinster bzw. großter Eigen-wert. Dann gilt

(Ax, x)(A−1x, x) ≤ (λmax + λmin)2

4λmaxλminfur alle x ∈ Kn mit ‖x‖2 = 1. (4.15)

Beweis. Weil A Hermitesch ist, existieren U unitar und eine Diagonalmatrix D, so dass A =UHDU . Daher gilt (Ax, x)(A−1x, x) = (DUx,Ux)(D−1Ux,Ux). Mit y = Ux und βi = y2

i siehtman, dass

λ := (Dy, y) =n∑

i=1

βiλi

eine konvexe Linearkombination der Eigenwerte λi ist. Zu λi existiert µi ∈ [0, 1], so dassλi = (1− µi)λ1 + µiλn. Wegen der Konvexitat der Funktion 1/x gilt

n∑i=1

βi1λi≤

n∑i=1

βi(1− µi)1λ1

+ βiµi1λn

= (1− µ)1λ1

+ µ1λn

=λ1 + λn − λ

λ1λn,

weil λ = (1− µ)λ1 + µλn, wo µ :=∑n

i=1 βiµi. Daher ist

(Ax, x)(A−1x, x) ≤ λ(λ1 + λn − λ)λ1λn

≤ (λ1 + λn)2

4λ1λn.

108

4.5 Arnoldi- und Lanczos-Verfahren bei Gleichungssystemen

Theorem 4.4.3. Sei A positiv definit. Dann gilt fur die k-te Iterierte xk

‖x− xk+1‖A ≤ λmax − λmin

λmax + λmin‖x− xk‖A.

Daher konvergiert Algorithmus 4.4.1 fur jeden Startwert x0 gegen die Losung von Ax = b.

Beweis. Wegen ‖x− xk+1‖2A = (A(x− xk+1), x− xk+1) = (rk+1, x− xk+1) erhalt man

‖x− xk+1‖2A = (rk+1, x− xk − αkrk).

Weil rk+1 senkrecht auf rk steht, erhalt man

‖x− xk+1‖2A = (rk − αkArk, x− xk) = (rk, A−1rk)− αk(rk, rk)

= ‖x− xk‖2A(

1− (rk, rk)(rk, Ark)

(rk, rk)(rk, A−1rk)

).

Die Behauptung folgt aus der Kantorovich’schen Ungleichung (4.15).

Methode des steilsten Residuen-Abstiegs

Sei A ∈ Kn×n regular. Um in jedem Schritt die Norm des Residuums

f(x) = ‖b−Ax‖22 = ‖x− x‖2AHA

zu minimieren, kann offenbar die Methode des steilsten Abstiegs auf die NormalgleichungenAHAx = AHb angewendet werden. Entsprechend ergibt sich bei diesem Verfahren v = AHrund w = Av. Hieraus erhalt man αk = ‖vk‖22/‖Avk‖22. Pro Iterationsschritt benotigt mandaher drei Matrix-Vektor-Multiplikationen. Wegen rk+1 = b−Axk+1 = rk − αkAvk kann mandas Verfahren aber so umschreiben, dass nur zwei Matrix-Vektor-Multiplikationen benotigtwerden:

r0 := b−Ax0

dovk := AHrkwk := Avk

αk := ‖vk‖22

‖wk‖22

xk+1 := xk + αkvk

rk+1 := rk − αwk

until ‖rk+1‖2 < ε‖b‖2Algorithmus 4.4.2: Methode des steilsten Residuen-Abstiegs


Gegeben sei ein lineares Gleichungssystem Ax = b mit regularer Matrix A ∈ Kn×n und b ∈ Kn.Mit einer Anfangsnaherung x0 ∈ Kn berechnet man den Defekt r0 := b−Ax0.

109


4.5.1 FOM

Beim Arnoldi-Verfahren zur Losung von Ax = b berechnet man xk ∈ x0 + Kk(A, r0), so dassfur das Residuum gilt

rk := b−Axk ⊥ Kk(A, r0), k > 0. (4.16)

Diese Anwendung des Arnoldi-Verfahrens auf lineare Gleichungssysteme wird als “Full Ortho-gonalization Method” (FOM) bezeichnet.Lemma 4.5.1. Sei A positiv definit. xk ist genau dann eine Losung von (4.16), wenn

‖xk − x‖A = miny∈x0+Kk(A,r0)

‖y − x‖A.

Beweis. Weil A positiv definit ist, wird durch (x, y)A := (Ax, y) ein Skalarprodukt definiert.Nach Theorem 1.5.13 ist x−xk genau dann bzgl. ‖ ·‖A minimal, falls x−xk A-orthogonal bzgl.Kk(A, r0) ist, d.h. 0 = (A(x − xk), y) = (b−Axk, y) fur alle y ∈ Kk(A, r0).

Lemma 4.5.2. Sei dimKk(A, r0) = k > 0, Qk ∈ Kn×k und Hk eine regulare obere Hessenberg-Matrix mit

QHk Qk = Ik, Kk(A, r0) = span q1, . . . , qk und QH

k AQk = Hk,

wobei q1 = r0/‖r0‖2. Fur den Vektor

xk := x0 + ‖r0‖2QkH−1k e1

gilt xk ∈ x0 +Kk(A, r0) und b−Axk ⊥ Kk(A, r0).

Beweis. Weil die Spalten von Qk eine Basis von Kk bilden, ist offensichtlich xk ∈ x0 + Kk.Wegen Kk = RanQk = (kerQH

k )⊥ ist b−Axk ⊥ Kk genau dann, wenn QHk (b−Axk) = 0. Aus

QHk (b−Axk) = QH

k r0 − ‖r0‖2QHk AQkH

−1k e1 = QH

k (r0 − ‖r0‖2q1) = 0

folgt die Behauptung.

Die Matrix Hk = QHk AQk ist beispielsweise regular, falls A positiv definit ist. Die Haupt-

arbeit liegt in der Losung des (kleinen) linearen Gleichungsystems

Hky = ‖r0‖2e1mit Hessenberg-Matrix Hk. Dies kann effizient mit Hilfe der Gaußschen Elimination oder mitHilfe von Givens-Rotationen geschehen. Der Aufwand verhalt sich in jedem Fall quadratisch ink, so dass es sinnvoll sein kann, das Verfahren mit der gewonnen Approximation als Startwertneu zu starten.

Das Residuum kann in jedem Schritt einfach bestimmt werden:Lemma 4.5.3. Es gilt rk = b−Axk = −hk+1,kykqk+1. Also ist ‖b−Axk‖2 = hk+1,k|yk|.Beweis. Wegen AQk = Qk+1Hk gilt

b−Axk = b−A(x0 +Qky) = r0 −AQky = ‖r0‖2q1 −QkHky − hk+1,kykqk+1.

Wegen Hky = ‖r0‖2e1 folgt die Behauptung.

Bei Hermiteschen Matrizen verwendet man naturlich das Lanczos-Verfahren zur Generie-rung der Orthonormalbasis. Die fur den Ausdruck xk = x0 + ‖r0‖2QkT

−1k e1 notige Losung des

tridiagonalen Gleichungssystems Tky = ‖r0‖2e1 gewinnt man mit Hilfe der LR-Zerlegung ausBeispiel 3.2.19. Im Folgenden wollen wir beide Schritte zu einem Verfahren zusammenfassen.

110


Das direkte Lanczos-Verfahren

Wir nehmen an, die LR-Zerlegung Tk = LkRk existiert mit

Lk =

⎡⎢⎢⎢⎣

1λ2 1

. . . . . .λk 1

⎤⎥⎥⎥⎦ , Rk =

⎡⎢⎢⎢⎢⎣η1 β2

η2. . .. . . βk

ηk

⎤⎥⎥⎥⎥⎦ ,

wobei η1 = α1 und λj = βj/ηj−1, ηj = αj−λjβj , j = 2, . . . , k. Wir setzen Pk = [p0, . . . , pk−1]T :=QkR

−1k und zk := L−1

k (‖r0‖2e1).Lemma 4.5.4. Fur k ≥ 0 gilt

zk+1 =[zkζk

],

wobei ζ0 = ‖r0‖2 und ζk = −λk+1ζk−1 fur k ≥ 1.

Beweis. Wir zeigen die Behauptung durch vollstandige Induktion nach k. Fur k = 1 ist z1 =‖r0‖2 = ζ0. Angenommen, die Behauptung gilt fur k. Wegen

Lk+1

[zkζk

]=

[Lk 0

λk+1eTk 1

] [zkζk

]=

[Lkzk

λk+1ζk−1 + ζk

]=

[‖r0‖2e10

]folgt die Behauptung.

Folglich ist

xk = x0 + Pkzk = x0 + Pk−1zk−1 + ζk−1pk−1 = xk−1 + ζk−1pk−1

und aus PkRk = Qk erhalt man durch Vergleich der k-ten Spalten

βkpk−2 + ηkpk−1 = qk ⇐⇒ pk−1 =1ηk

[qk − βkpk−2].

Zusammenfassend erhalt man also

Setze r0 = b−Ax0, q1 = r0/‖r0‖2, ζ0 = ‖r0‖2 und β1 = λ1 = 0, q0 = p−1 = 0Fur k = 1, 2, . . .

setze w = Aqk − βkqk−1

setze αk = (qk, w)if k > 1 then λk = βk/ηk−1, ζk−1 = −λkζk−2

setze ηk = αk − λkβk

pk−1 := (qk − βkpk−2)/ηk

xk := xk−1 + ζk−1pk−1

w := w − αkqk, βk+1 = ‖w‖2qk+1 = w/βk+1.

Algorithmus 4.5.1: Direktes Lanczos-Verfahren

Aus Lemma 4.5.3 folgt, dass das Residuum rk = b− Axk ein Vielfaches von qk+1 ist. Hierausfolgt insbesondere, dass die Residuen aufeinander senkrecht stehen. Die im obigen Verfahrenberechneten Vektoren p0, p1, . . . sind A-konjugiert, d.h. es ist (Apj , pi) = 0 fur i = j. Wegen

PHk APk = R−H

k QHk AQkR

−1k = R−H

k TkR−1k = R−H

k Lk

ist PHk APk namlich eine Hermitesche untere Dreiecksmatrix und daher eine Diagonalmatrix.

111


4.5.2 GMRES

Beim “Generalized Minimum Residuals” (GMRES) Verfahren [15] bestimmt man xk ∈ x0 +Kk(A, r0), welches die Norm

‖b−Ax‖2, x ∈ x0 +Kk(A, r0) (4.17)

des Residuums rk = b−Axk minimiert. Aus Theorem 1.5.13 folgt, dass xk genau dann Losungvon (4.17) ist, falls rk ⊥ AKk(A, r0).

Sei Qk eine durch das Arnoldi-Verfahren berechnete Orthonormalbasis von Kk(A, r0), dannist diese Aufgabe aquivalent zur Minimierung des Ausdrucks

‖b−A(x0 +Qky)‖2 = ‖r0 −AQky‖2, y ∈ Kk.

Nach Theorem 4.3.3 ist AQk = Qk+1Hk, und die erste Spalte von Qk+1 ist durch r0/‖r0‖2gegeben. Daher gilt

r0 −AQky = Qk+1(‖r0‖2e1 − Hky).

Weil die Spalten von Qk+1 orthonormiert sind, gilt

‖r0 −AQky‖2 = ‖Hky − ‖r0‖2e1‖2.Wegen AQk = Qk+1Hk ist rank Hk = k, und das Minimierungsproblem

finde yk ∈ Kk mit ‖Hkyk − ‖r0‖2e1‖2 = miny∈Kk

‖Hky − ‖r0‖2e1‖2

ist eindeutig losbar. Das lineare Ausgleichsproblem kann wegen der Hessenberg-Struktur effizi-ent mit Hilfe von Givens-Rotationen behandelt werden. Sei dieQR-Zerlegung von Hk berechnet,d.h.

Gk,k+1 . . . G12Hk =[Rk

0

]mit einer oberen Dreiecksmatrix Rk, die wegen rank Hk = k invertierbar ist. Definiert man

G,+1 =[G,+1 0

0 1

], = 1, . . . , k,

so gilt

Gk,k+1 . . . G12Hk+1 = Gk,k+1 . . . G12

[Hk hk+1

0 αk+1

]=

[Gk,k+1 . . . G12Hk hk+1

0 αk+1

],

wo hk+1 = Gk,k+1 . . . G12hk+1. Man definiert Gk+1,k+2 als die Givens-Rotation, die den Eintragαk+1 zu Null werden laßt. Daher kann die QR-Zerlegung von Hk+1 aus der QR-Zerlegung vonHk mit einer Givens-Rotation und O(k) Operationen berechnet werden. Bezeichnen wir mit gk

die ersten k Komponenten von

gk := ‖r0‖2Gk,k+1 . . . G12e1,

so ist yk = R−1k gk. Also minimiert

xk = x0 +QkR−1k gk

den Ausdruck (4.17) und ‖rk‖2 stimmt mit dem Betrag der letzten Komponente γk von gk

uberein. Insbesondere erhalt man:

112


Theorem 4.5.5. Sei A ∈ Kn×n regular. Das GMRES-Verfahren bricht mit der exakten Losungdes Gleichungssystems Ax = b ab.

Beweis. Angeommen, hj+1,j = 0. Dann ist Gj,j+1 die Identitat und somit γj = 0.

Bemerkung 4.5.6. Fur große k wird GMRES schnell teuer. In diesem Fall beginnt man dasVerfahren nach k Schritten erneut mit der aktuellen Approximation xk als Startvektor. Manbezeichnet dies als “Restarted GMRES”.

Bisher haben wir nur den Ablauf der Verfahrens behandelt. Im Rest des Abschnitts werdenwir die Genauigkeit der Naherung xk untersuchen.

Theorem 4.5.7. Sei A ∈ Kn×n positiv definit (aber nicht notwendigerweise Hermitesch). Danngilt

‖b−Axk‖2 ≤(

1− µ2

‖A‖22

)1/2

‖b−Ax0‖2,

wobei µ := λmin(A+AH)/2.

Beweis. Fur beliebgies α ∈ K ist x0 +αr0 ∈ x0 +Kk(A, r0). Beim GMRES-Verfahren gilt aber

‖rk‖22 ≤ ‖b−A(x0 + αr0)‖22 = ‖r0 − αAr0‖22 = ‖r0‖22 − 2αrH0 Ar0 + α2‖Ar0‖22.

Speziell gilt fur α = rH0 Ar0/‖Ar0‖22, dass

‖rk‖22 ≤ ‖r0‖22 −(rH0 Ar0‖Ar0‖2

)2

= ‖r0‖22[1−

(rH0 Ar0‖r0‖22

)2 ( ‖r0‖2‖Ar0‖2

)2]

≤ ‖r0‖22(

1− µ2

‖A‖22

),

weil rH0 Ar0 = rH

0 AHr0 und nach (1.12) gilt, dass rH

0 Ar0 = rH0 (A+AH)r0/2 ≥ µ‖r0‖22.

Das letzte Theorem zeigt, dass GMRES mit Restart fur eine positiv definite Matrix eineFolge von Naherungslosungen liefert, die gegen die Losung von Ax = b konvergiert. Ist dieMatrix nicht positiv definit, so kann der wohlbekannte Stagnationseffekt auftreten.

Das Residuum rk des GMRES-Verfahrens kann als Anwendung eines Matrix-Polynomspk(A) mit pk ∈ Πk := p ∈ Πk : p(0) = 1 auf r0 angesehen werden. Daher ist die Minimierungdes Residuums (4.17) aquivalent zur Minimierung von ‖p(A)r0‖2 uber alle Polynome p ∈ Πk.

Theorem 4.5.8. Sei A ∈ Kn×n diagonalisierbar, d.h. A = XΛX−1 mit Λ = diag(λ1, . . . , λn).Dann gilt

‖b−Axk‖2 ≤ cond2(X)εk‖b−Ax0‖2,wo εk := minp∈Πk

maxi=1,...,n |p(λi)|.

Beweis. Fur beliebiges x ∈ x0 +Kk(A, r0) ist x = x0 + q(A)r0 mit q ∈ Πk und daher

b−Ax = b−A(x0 + q(A)r0) = (In −Aq(A))r0 = p(A)r0

113


mit p ∈ Πk. Unter Verwendung von Lemma 1.11.6 gilt mit diesen Bezeichnungen

‖rk‖2 ≤ ‖b−Ax‖2 = ‖p(A)r0‖2 = ‖Xp(Λ)X−1r0‖2≤ ‖X‖2‖X−1‖2‖p(Λ)‖2‖r0‖2 = cond2(X) max

i=1,...,n|p(λi)| ‖r0‖2

fur beliebiges p ∈ Πk.

In [14] wird gezeigt, wie εk von der Lage der Eigenwerte abhangt.Lemma 4.5.9. Es gelte λi ∈ E(c, d, a) ⊂ C, der Ellipse mit Zentrum c, Brennpunktabstand dund Hauptachsenlange a < c. Dann gilt

εk ≤ Tk(a/d)|Tk(c/d)| ,

wobei Tk das k-te Tschebyscheff-Polynom erster Ordnung bezeichnet.

Die Konvergenz von GMRES hangt also von der Lage der Eigenwerte von A ab und vonder Kondition von X. Ist A normal, so ist X unitar und somit cond2(X) = 1. Mit einerVorkonditionierung kann man erreichen, dass sich die Eigenwerte der vorkonditionierten Matrixum einen Punkt verschieden vom Ursprung haufen.

4.5.3 Vorkonditioniertes GMRES

Weil die Kondition von CA bei geschickter Wahl von C kleiner sein kann als die Kondition vonA, wenden wir das GMRES-Verfahren auf das Gleichungssystem

Ax = b ⇐⇒ CAx = Cb

an. Die Matrix C wird als linker Vorkonditionierer bezeichnet. Genausogut kann man rechteVorkonditionierer betrachten:

Ax = b ⇐⇒ ACx = b, x = Cx.

Das GMRES-Verfahren kann nun auf die aquivalenten Systeme angewendet werden.Das folgende Lemma beschreibt den prinzipiellen Unterschied zwischen rechts und links

vorkonditioniertem GMRES.Lemma 4.5.10. Die durch das links vorkonditionierte GMRES-Verfahrens berechnete Nahe-rungslosung xk lost die folgende Aufgabe

minimiere ‖C(b−Ax)‖2, x ∈ x0 +Kk(CA,Cr0),

die durch das rechts vorkonditioniere GMRES-Verfahren generierte Naherungslosung xk dieAufgabe

minimiere ‖b−Ax‖2, x ∈ x0 + CKk(AC, r0),

wobei r0 = b−Ax0.

Beweis. Die erste Aussage ist klar. Ist C ein rechter Vorkonditionierer, so ist xk = Cxk, wobeixk die Aufgabe

minimiere ‖b−ACx‖2, x ∈ x0 +Kk(AC, r0)

lost. Hierbei ist r0 = b−ACx0. Mit der Transformation xk = Cxk erhalt man die Behauptung.

114

4.6 Das konjugierte Gradienten-Verfahren

Der Hermitesche Spezialfall des GMRES-Verfahrens wird als MINRES-Verfahren bezeich-net. Dieses ist prinzipiell auf indefinite Matrizen anwendbar. Auf die dabei entstehenden Pro-bleme wollen wir hier nicht eingehen. Im wichtigen Fall positiv definiter Matrizen hat man aberdas konjugierte Gradienten-Verfahren.


Das im Folgenden vorgestellte konjugierte Gradienten-Verfahren (CG-Verfahren) ist eine Re-formulierung des Lanczos-Verfahrens. Das direkte Lanczos-Verfahren, siehe Algorithmus 4.5.1,basiert auf der Orthogonalisierung der Krylov-Vektoren. Beim CG-Verfahren wird auf die Be-rechnung der Orthonormalbasis qk verzichtet.

Beim direkten Lanczos-Verfahren haben wir bereits gesehen, dass zur Losung von Ax = bein Iterationsverfahren der Form

xk+1 = xk + αpk, k = 0, 1, . . .

mit A-konjugierten Richtungen p0, p1, . . . , d.h. (pi, pj)A = 0 fur i = j, angegeben werdenkann. Außerdem haben wir gesehen, dass pk−1 als Linearkombination von pk−2 und qk, denorthogonalen Vektoren des Krylov-Raums, dargestellt werden kann und dass qk ein Vielfachesvon rk−1 ist. Nach Skalierung kann also angenommen werden, dass

pk+1 = rk+1 + βkpk, k = 1, 2, . . . (4.18)

Es sei bemerkt, dass hierbei die Skalare αk und βk nichts mit den Skalaren im Lanczos-Verfahrenzu tun haben. Die Approximation xk wird in Richtung des Suchvektors pk optimal gewahlt.Damit ergibt sich der Update des Residuums

rk+1 = b−Axk+1 = b−Axk − αkApk = rk − αkApk. (4.19)

Die Orthogonalitat der Residuen liefert

0 = (rk+1, rk) = (rk, rk)− αk(Apk, rk) ⇐⇒ αk =(rk, rk)

(Apk, rk)=

(rk, rk)(Apk, pk)

,

weil (Apk, rk) = (Apk, pk − βk−1pk−1) = (Apk, pk). Weiterhin ist wegen (4.18)

0 = (Apk, pk+1) = (Apk, rk+1) + βk(Apk, pk),

woraus mit (4.19) folgt, dass

βk = −(Apk, rk+1)(Apk, pk)

=1αk

(rk+1 − rk, rk+1)(Apk, pk)

=(rk+1, rk+1)

(rk, rk).

Die Iterationsvorschrift des konjugierten Gradienten-Verfahrens zur Losung des linearenGleichungssystems Ax = b, das auf Hestenes und Stiefel [9] zuruckgeht, lautet also:

Sei x0 ∈ Kn ein beliebiger Startvektor.Berechne p0 = r0 = b −Ax0 und ρ0 = (r0, r0).Fur k = 0, 1, 2, . . . , n− 1 sei

wk = Apk

xk+1 = xk + αkpk, wobei αk = ρk

(wk,pk)

rk+1 = rk − αkwk

ρk+1 = (rk+1, rk+1)pk+1 = rk+1 + βkpk, wobei βk = ρk+1

ρk

Algorithmus 4.6.1: CG-Verfahren

115


Theorem 4.6.1. Sei A ∈ Kn×n positiv definit. Das CG-Verfahren bricht wegen Division durchNull genau dann ab, falls es konvergiert ist, d.h. rk = 0. Es gilt

span x1, . . . , xk = x0 +Kk(A, r0) (4.20)

undspan p0, . . . , pk = span r0, . . . , rk = Kk+1(A, r0). (4.21)

Daruberhinaus sind die Residuen orthogonal, d.h. (rj , rk) = 0, die Suchrichtungen sind A-orthogonal, d.h. (pj, pk)A = 0, j < k.

Beweis. Der Beweis verlauft per Induktion uber k. Fur k = 1 sind (4.20) und (4.21) offenbarrichtig. Aus pk+1 = rk+1 + βkpk erhalt man span p0, . . . , pk+1 = span r0, . . . , rk+1. Mitrk+1 = rk − αkApk sieht man span r0, . . . , rk+1 = Kk+2(A, r0). (4.20) folgt nun aus xk+1 =xk + αkpk.

Um die Orthogonalitat der Residuen zu zeigen, verwenden wir rk+1 = rk − αkApk. Danngilt

(rj , rk+1) = (rj , rk)− αk(Arj , pk).

Fur j < k sind wegen rj ∈ span p0, . . . , pj beide rechte Terme Null. Im Fall j = k verschwindetdie rechte Seite wegen

αk =(rk, rk)

(Apk, pk)=

(rk, rk)(A(rk + βk−1pk−1), pk)

=(rk, rk)

(Ark, pk).

Die Orthogonalitat der Suchrichtungen folgt fur j < k + 1 mit pk+1 = rk+1 + βkpk aus

(pj , pk+1)A = (pj , rk+1)A + βk(pj, pk)A = βk(pj, pk)A − 1αj

(rj+1, rk+1).

Falls j < k, sind beide Terme per Induktion wieder Null. Ist j = k, so verschwindet die rechteSeite wegen (rk, rk) = αk(pk, pk)A und (rk+1, rk+1) = βk(rk, rk).

Insbesondere kann das Verfahren wegen Division durch Null nur dann abbrechen, fallsrk = 0. Die andere Moglichkeit, pk = 0, kann wegen der linearen Unabhangigkeit von pk−1 undrk nicht eintreten.

Sei A positiv definit bzgl. des Skalarproduktes (·, ·). Dann wird durch

‖x‖A :=√

(Ax, x)

eine Norm definiert.Lemma 4.6.2. Die Naherung xk ist das eindeutig bestimmte Element y ∈ x0 +Kk(A, r0), das‖y − x‖A minimiert. Die Konvergenz ist monoton, d.h.

‖xk − x‖A ≤ ‖xk−1 − x‖Aund xm = x wird fur ein m ≤ n erreicht.

Beweis. Wir wissen bereits, dass xk ∈ x0 + Kk(A, r0). Um zu zeigen, dass xk das eindeutigbestimmte Element ist, das ‖y − x‖A minimiert, setze δ := xk − y ∈ Kk(A, r0). Dann gilt

‖y − x‖2A = ‖xk − x‖2A + ‖δ‖2A + 2(δ,A(x − xk)).

116


Der letzte Term dieser Gleichung ist 2(δ, rk). Nach Theoren 4.6.1 steht rk senkrecht aufKk(A, r0).Also wird das Minimum von

‖y − x‖2A = ‖xk − x‖2A + ‖δ‖2A

genau fur δ = 0 ⇔ y = xk angenommen. Die Monotonizitat folgt aus Kk ⊂ Kk+1. Solange dieIteration noch nicht konvergiert ist, ist Kk ein Unterraum von Kn der Dimension k. Also mussdas Verfahren in hochstens n Schritten konvergieren.

Bemerkung 4.6.3. Bedingt durch Rundungsfehler kann es durchaus passieren, dass mehr alsn Schritte benotigt werden. Durch eine Vorkonditionierung wird man aber in der Regel immersicherstellen, dass das Verfahren in deutlich weniger als n Schritten konvergiert, siehe Abschnitt4.8.

Lemma 4.6.2 zeigt, dass xk den Ausdruck ‖y − x‖A fur y ∈ x0 +Kk(A, r0) minimiert. Mankann das CG-Verfahren aber auch als einen Algorithmus zur Minimierung des nichtlinearenFunktionals

J(y) =12(Ay, y)− (y, b)

auffassen, das wegen

‖xk − x‖A = (xk − x, xk − x)A= (Axk, xk)− 2(xk, Ax) + (Ax, x)= 2J(xk) + (b, x)

bis auf die Konstante (b, x) mit ‖xk − x‖A ubereinstimmt. Durch

xk+1 = xk + αkpk

wird die neue Approximation xk+1 ausgehend von der alten xk in Richtung pk gesucht. Manuberpruft leicht, dass das Minimum von J(x) auf dieser Geraden durch die Wahl αk = (rk, rk)/(pk, pk)Aangenommen wird. Die Wahl der Suchrichtungen pk garantiert, dass aus der Minimierung vonJ(x) auf xk + span pk die Minimierung von J(x) auf x0 +Kk(A, r0) folgt.

Theorem 4.6.4. Fur den Fehler des konjugierten Gradienten-Verfahrens gilt

‖xk − x‖A ≤ 2

(√cond2(A)− 1√cond2(A) + 1

)k

‖x0 − x‖A, k = 0, . . . , n− 1.

Beweis. Der Fehler ek = xk − x kann als ek = pk(A)e0 mit einem Polynom pk ∈ Πk vom Gradk mit pk(0) = 1 geschrieben werden, und wegen der Minimierungseigenschaft aus Lemma 4.6.2haben wir

‖ek‖A = minp∈Πk

‖p(A)e0‖A.

Die Entwicklung von e0 in den bzgl. (·, ·)A orthogonalen Eigenvektoren von A ergibt

‖ek‖A ≤ minP∈Πk

maxλ∈σ(A)

|P (λ)| ‖e0‖A.

117


Es genugt also, ein Polynom zu finden, das die gewunschte Abschatzung liefert. Nach Lemma4.1.30 verwenden wir das Tschebyscheff-Polynom

Tk(x) =

cos(k arccos x), |x| ≤ 112

[(x+

√x2 − 1)k + (x−√x2 − 1)k

], |x| > 1

und wahlen

p(λ) =Tk

(b+a−2λ

b−a

)Tk(σ)

∈ Πk, wo σ =b+ a

b− a > 1 (4.22)

und a = λmin(A), b = λmax(A). Dann gilt wegen

Tk(σ) ≥ 12

(σ +

√σ2 − 1

)k=

12

⎛⎝

√ba + 1√ba − 1

⎞⎠

k

,

dass

maxλ∈[a,b]

|p(λ)| = 1Tk(σ)

≤ 2

(√cond2(A)− 1√cond2(A) + 1

)k

.

Hieraus folgt die Behauptung

Fur die Konvergenzgeschwindigkeit des CG-Verfahrens spielt die Verteilung der Eigenwerteeine große Rolle. Wenige große Eigenwerte beeinflussen die Konvergenzgeschwindigkeit nicht.Wir schreiben das Spektrum von A dehalb in der Form

σ(A) = M ∪(

p⋃i=1

λ′i

), M ⊂ [a, b].

Die folgende Fehlerabschatzung zeigt, dass p zusatliche Schritte notig sind, um die p großtenEigenwerte abzuarbeiten. Das Verfahren lauft dann aber mit einem Reduktionsfaktor b/a <cond2(A), der die großen Eigenwerte nicht berucksichtigt.Korollar 4.6.5. Fur den Fehler des konjugierten Gradienten-Verfahrens gilt

‖xk − x‖A ≤ 2

(√b/a− 1√b/a+ 1

)k−p

‖x0 − x‖A, k = 0, . . . , n− 1

Beweis. Anstelle von (4.22) wahlen wir

p(λ) =Tk

(b+a−2λ

b−a

)Tk(σ)

p∏i=1

(1− λ

λ′i

)∈ Πk+p.

Weil fur λ ∈ λ′1, . . . , λ′p

gilt

∏pi=1(1− λ/λ′i) = 0 und |1− λ/λ′i| ≤ 1 fur λ ∈ [a, b], folgt

maxλ∈σ(A)

|p(λ)| = maxλ∈[a,b]

|p(λ)| ≤ 2

(√b/a− 1√b/a+ 1

)k

und hieraus die Behauptung.

118


Auch kleine Eigenwerte konnen auf diese Weise behandelt werden. Das Spektrum von Ahabe die folgende Gestalt.

σ(A) =

(q⋃

i=1

λ′′i

)∪M ∪

(p⋃

i=1

λ′i

), M ⊂ [a, b].

Korollar 4.6.6. Fur den Fehler des konjugierten Gradienten-Verfahrens gilt

‖xk − x‖A ≤ 2(cond2(A) + 1)q(√

b/a− 1√b/a+ 1

)k−p−q

‖x0 − x‖A, k = 0, . . . , n− 1.

Beweis. Anstelle von (4.22) wahlen wir

p(λ) =Tk

(b+a−2λ

b−a

)Tk(σ)

p∏i=1

(1− λ

λ′i

) q∏i=1

(1− λ

λ′′i

)∈ Πk+p+q.

Weil fur λ ∈ λ′′1 , . . . , λ

′′q , λ

′1, . . . , λ

′p

gilt

p∏i=1

(1− λ

λ′i

) q∏i=1

(1− λ

λ′′i

)= 0

und |1− λ/λ′′i | ≤ cond2(A) + 1, folgt

maxλ∈σ(A)

|p(λ)| = maxλ∈[a,b]

|p(λ)| ≤ 2(cond2(A) + 1)q(√

b/a− 1√b/a+ 1

)k

und hieraus die Behauptung.

4.6.1 Das vorkonditioniere CG-Verfahren

Sei C positiv definit bzgl. des Skalarproduktes (·, ·). Weil die Kondition von CA bei geschickterWahl von C kleiner sein kann als die Kondition von A, wenden wir das CG-Verfahren auf dasGleichungssystem

CAx = Cb ⇐⇒ Ax = b

an. Die Matrix CA ist positiv definit bzgl. des Skalarproduktes (x, y)C−1 := (C−1x, y), weil furx, y ∈ Kn gilt

(CAx, y)C−1 = (Ax, y) = (x,Ay) = (CC−1x,Ay) = (C−1x,CAy) = (x,CAy)C−1 .

Die Matrix C wird als linker Vorkonditionierer bezeichnet. Genausogut kann man aber auchrechte Vorkonditionierer betrachten:

Ax = b ⇐⇒ ACx = b, x = Cx.

Nun ist AC positiv definit bzgl. (·, ·)C , weil fur x, y ∈ Kn gilt

(ACx, x)C = (CACx, x) = (ACx,Cx) = (Cx,ACx) = (x,ACx)C .

Wir werden uns beim vorkonditionierte Gradienten-Verfahren (PCG) auf rechte Vorkonditio-nierer konzentrieren, d.h. wir wenden das CG-Verfahren bzgl. des Skalarproduktes (·, ·)C aufdie Systemmatrix AC an. Die entsprechenden Variablen kennzeichnen wir jeweils durch ·. Derfolgende Algorithmus ergibt sich aus dem CG-Verfahren durch Ersetzen der Variablen pk undxk durch pk := Cpk und xk := Cxk.

119


Sei x0 ∈ Kn ein beliebiger Startvektor.

Berechne r0 = Ax0 − b, p0 = v0 = Cr0 und ρ0 = (v0, r0).Fur k = 0, 1, 2, . . . , n− 1 sei

wk = Apk

xk+1 = xk − αkpk, wobei αk = ρk

(pk,wk)

rk+1 = rk − αkwk

vk+1 = Crk+1

ρk+1 = (vk+1, rk+1)pk+1 = vk+1 + βkpk, wobei βk = ρk+1

ρk

Algorithmus 4.6.2: PCG-Verfahren

Die durch (·, ·)C induzierte Energienorm stimmt mit ‖ · ‖CAC uberein. Berucksichtigt man dieUmbenennung der Variablen x, so erhalt man aus Theorem 4.6.4 wieder die Abschatzungenbzgl. derselben Norm ‖ · ‖A:

Theorem 4.6.7. Fur den Fehler des vorkonditionieren konjugierten Gradienten-Verfahrensgilt

‖xk − x‖A ≤ 2

(√cond2(AC)− 1√cond2(AC) + 1

)k

‖x0 − x‖A, k = 0, . . . , n− 1.

Die Korollare gelten entsprechend mit den Eigenwerten von AC.

4.6.2 CGN

Sei A ∈ Kn×n regular aber nicht Hermitesch. Wir betrachten das lineare GleichungssystemAx = b bei gegebener rechter Seite b ∈ Kn. Eine der einfachsten Verfahren zur Losung einessolchen Systems ist die Anwendung des CG-Verfahrens auf die Normalgleichungen

AHAx = AHb.

Die Matrix AHA wird dabei nicht explizit berechnet, sondern geht in das Verfahren nur durchzwei Matrix-Vektor-Multiplikationen AHAv = AH(Av) ein. Weil A regular ist, ist AHA Hermi-tesch positiv definit. Daher konnen die Aussagen des CG-Verfahrens angewendet werden. DieAnwendung des CG-Verfahrens auf die Normalgleichungen wird als CGN-Verfahren bezeichnet.Im folgenden Algorithmus meinen wir mit zk das Residuum.

Sei x0 ∈ Kn ein beliebiger Startvektor.Berechne r0 = b−Ax0 und p0 = z0 = AHr0.

Fur k = 0, 1, 2, . . . , n− 1 sei

wk = Apk

xk+1 = xk + αkpk, wobei αk = ‖zk‖22

‖wk‖22

rk+1 = rk − αkwk

zk+1 = AHrk+1

pk+1 = zk+1 + βkpk, wobei βk = ‖zk+1‖22

‖zk‖22

Algorithmus 4.6.3: CGN-Verfahren

Wir wissen bereits, dass ‖y − x‖AHA durch xk minimiert wird. Wegen

‖y − x‖2A∗A = (AHA(y − x), y − x) = ‖A(y − x)‖ = ‖b−Ay‖

120

4.7 Biorthogonalisierungsverfahren

minimiert xk daher wie beim GMRES-Verfahren auch das Residuum. CGN und GMRES sindtrotz dieser gemeinsamen Eigenschaft wegen der unterschiedlichen Definition der Krylov-Raumenicht aquivalent. Die Konvergenz des CGN hangt von den Eigenwerten von AHA also denSingularwerten von A ab. Daher eignet sich das Verfahren besonders, wenn die Singularwerteim Gegensatz zu den Eigenwerten geclustered sind. Beispielsweise konvergiert das GMRES furdie Matrix J ∈ Kn×n aus Beispiel 3.5.4 bei allgemeiner rechter Seite b in n Schritten. Das CGNbenotigt nur einen Schritt, weil die Eigenwerte die n-ten Wurzeln der Eins und die Singularwertealle Eins sind. Es gilt

‖rk‖ ≤ 2(

cond2(A)− 1cond2(A) + 1

)k

‖r0‖.

Im Vergleich zum CG-Verfahren ist hier also die Kondition quadriert.


In den vorangehenden Abschnitten wurden Verfahren vorgestellt, die auf Basis einer Orthogo-nalisierung von Krylov-Vektoren eine Approximation an die Losung berechnen. Die Verfahrenin diesem Abschnitt basieren auf einer Biorthogonalisierung der Basen der Krylov-Raume vonKk(A, r0) und Kk(AH , r0).

4.7.1 Lanczos-Biorthogonalisierung

Sei A eine nicht Hermitesche Matrix. Der folgende von Lanczos vorgestellte Algorithmus be-rechnet ein Paar biorthogonaler Basen fur die beiden Krylov-Raume

Kk(A, v) = spanv,Av, . . . , Ak−1v

und

Kk(AH , w) = spanw,Aw, . . . , (AH)k−1w

.

Setze β1 = δ1 = 0 sowie v0 = w0 = 0.Seien v1, w1 ∈ Kn mit (v1, w1) = 1.

for j = 1, . . . , k doαj = (Avj , wj)vj+1 = Avj − αjvj − βjvj−1

wj+1 = AHwj − αjwj − βjwj−1

βj+1 = (vj+1, wj+1)1/2

if βj+1 = 0 then STOP.

vj+1 = vj+1/βj+1, wj+1 = wj+1/βj+1

Algorithmus 4.7.1: Lanczos-Biorthogonalisierung

Die Lanczos-Biorthogonalisierung ist offenbar eine Verallgemeinerung des Lanczos-Verfahrenfur Hermiteschen Matrizen. Falls kein vorzeitiger Abbruch erfolgt, werden Matrizen Vk+1 =[v1, . . . , vk+1], Wk+1 = [w1, . . . , wk+1] und eine symmetrische Tridiagonalmatrix

Tk =

⎡⎢⎢⎢⎢⎣α1 β2

β2 α2. . .

. . . . . . βk

βk αk

⎤⎥⎥⎥⎥⎦

121


erzeugt.Theorem 4.7.1. Das obige Lanczos-Verfahren breche nicht vorzeitig ab. Dann bilden dieVektoren v1, . . . , vk und w1, . . . , wk ein Biorthogonalsystem, d.h. V H

k Wk = Ik. Ferner ist

AVk = VkTk + βk+1vk+1eTk , AHWk = WkTk + βk+1wk+1e

Tk , Tk = WH

k AVk

und span v1, . . . , vk = Kk(A, v1) sowie span w1, . . . , wk = Kk(AH , w1).

Beweis. Wir zeigen zunachst per Induktion, dass v1, . . . , vk und w1, . . . , wk biorthogonalsind. Wegen (v1, w1) = 1 ist dies fur k = 1 richtig. Angenommen, die Behauptung gilt fur eink. Offenbar ist (vk+1, wk+1) = 1. Wir zeigen, dass fur j ≤ k gilt (vj , wk+1) = 0. Wegen derSymmetrie von v und w gilt dann auch (vk+1, wj) = 0. Zunachst gilt fur j = k

(vk, wk+1) =1

βk+1(vk, A

Hwk − αkwk − βkwk−1) =1

βk+1[(Avk, wk)− αk] = 0.

Im Fall j < k haben wir

(vj , wk+1) =1

βk+1(vj , A

Hwk − αkwk − βkwk−1)

=1

βk+1[(Avj , wk)− βk(vj , wk−1)]

=1

βk+1[(βj+1vj+1 + αjvj + βjvj−1, wk)− βk(vj , wk−1)].

Fur j < k− 1 verschwinden wegen der Induktionsannahme jedes der obigen inneren Produkte.Fur j = k − 1 ist dagegen

(vk−1, wk+1) =1

βk+1[(βkvk + αk−1vk−1 + βk−1vk−2, wk)− βk(vk−1, wk−1)]

=1

βk+1[βk(vk, wk)− βk] = 0.

Damit ist die Induktion abgeschlossen. Zum Beweis der ubrigen Behauptungen betrachten wir

AVkej = Avj = βjvj−1 + αjvj + vj+1 = VkTkej + βk+1vk+1eTk ej .

Entsprechend zeigt man, dass AHWk = WkTk + βk+1wk+1eTk . Schließlich ist

WHk AVk = WH

k VkTk + βk+1WHk vk+1e

Tk = Tk.

Es bleibt zu zeigen, dass v1, . . . , vk und w1, . . . , wk Basen von Kk(A, v1) bzw. Kk(A,w1)sind. Wegen der Biorthogonalitat der Vektorsysteme sind diese jeweils linear unabhangig. Durchvollstandige Induktion nach j zeigt man leicht, dass vj ∈ Kj(A, v1) ⊂ Kk(A, v1) und entspre-chend wj ∈ Kj(AH , w1) ⊂ Kk(AH , w1), j = 1, . . . , k.

Wegen Tk = WHk AVk ist Tk die Projektion von A auf Kk(A, v1) senkrecht zu Kk(AH , w1).

Analog sieht man, dass Tk auch die Projektion von AH auf Kk(AH , w1) senkrecht zu Kk(A, v1)ist. Die Lanczos-Biorthogonalisierung kann daher genutzt werden, um Gleichungssysteme mitKoeffizienten-Matrizen A und AH gleichzeitig zu losen. Gegenuber dem Arnoldi-Verfahrenhat die Lanczos-Biorthogonalisierung den Vorteil, dass nur sechs Vektoren gespeichert wer-den mussen, falls keine Reorthogonalisierung verwendet wird. Auf der anderen Seite ist dieGefahr von Abbruchen deutlich hoher.

122


4.7.2 BiCG

Das BiCG-Verfahren (“BiConjugate Gradient”) wurde von Lanczos [11] und Fletcher [5] in eineranderen Form vorgestellt. Ziel ist die Losung eines linearen Gleichungssystems Ax = b mit einerregularen nicht-Hermiteschen Matrix A ∈ Kn×n. Im Vergleich zum CG-Verfahren fur Systememit Hermiteschem A, bei dem rk ⊥ Kk(A, r0) gefordert wurde, wird bei nicht-HermitescherMatrix zusatzlich gefordert, dass

rk ⊥ Kk(AH , r0). (4.23)

Grundlegend fur die Losung von Gleichungssystemen auf Basis der Lanczos-Biorthogonalisierunghat man das folgende Lemma.

Lemma 4.7.2. Die Lanczos-Biorthogonalisierung breche nicht vorzeitig ab. Ist Tk regular, soist

xk := x0 + VkT−1k (‖r0‖2e1)

eine Losung der Aufgabe, ein x ∈ Kn mit

xk ∈ x0 +Kk(A, v1), rk = b−Axk ⊥ Kk(AH , w1)

zu finden.

Beweis. Wegen RanVk = Kk(A, v1) ist klar, dass xk ein Element von Kk(A, v1) ist. Weiter ist

WHk (b−Axk) = WH

k (r0 −AVkT−1k (‖r0‖2e1)) = WH

k r0 − ‖r0‖2e1 = 0,

wobei wegen der Biorthogonalitat gilt, dass

WHk r0 = ‖r0‖2WH

k v1 = ‖r0‖2e1.

Weil die Verktoren wk eine Basis von Kk(AH , w1) bilden, folgt die Behauptung.

Bemerkung 4.7.3. Denkt man sich ein das duale Gleichungssystem AHx∗ = b∗ gegeben undist x∗0 eine Naherungslosung und r∗0 := b∗ −AHx∗0 = 0, w1 := r∗0/‖r∗0‖2, so ist

x∗k := x∗0 +WkT−Tk (‖r∗0‖2e1)

eine Losung der Aufgabe

x∗k ∈ x∗0 +Kk(AH , w1), b∗ −AHx∗k ⊥ Kk(A, v1).

In analoger Weise, wie das konjugierte Gradienten-Verfahren von der symmetrischen Lanczos-Iteration hergeleitet wurde, leiten wir nun das BiCG-Verfahren von der Lanczos-Biorthogonalisierungher. Dazu nehmen wir wieder an, Tk besitze eine LR-Zerlegung Tk = LkRk. Dann ist

xk = x0 + Pkzk, x∗k = x∗0 + P ∗k z

∗k,

wo Pk = [p0, . . . , pk−1] := VkR−1k , P ∗

k = [p∗0, . . . , p∗k−1] := WkL−1k sowie zk := L−1

k (‖r0‖2e1),z∗k := R−T

k (‖r∗0‖2e1). Wegen

(P ∗k )HAPk = L−1

k WHk AVkR

−1k = L−1

k TkR−1k = Ik

123


sind die Spalten von Pk und P ∗k A-konjugiert. Wie beim direkten Lanczos-Verfahren sieht

man, dass rk ein Vielfaches von vk+1 und r∗k ein Vielfaches von wk+1 ist. Die Residuen sindinsbesondere biorthogonal. In analoger Weise erhalt man außerdem, dass fur die Iterierten gilt

xk+1 = xk + αkpk, x∗k+1 = x∗k + αkp∗k

mit geeignetem αk. Daraus folgt fur die Residuen

rk+1 = rk − αkApk, r∗k+1 = r∗k − αkAHp∗k.

Auch fur das Update der Richtungen erhalt man in analoger Weise

pk+1 = rk+1 + βkpk, p∗k+1 = r∗k+1 + βkp∗k

mit geeignetem βk. Aus den Orthogonalitatsbedingungen erhalt man dann

αk =(rk, r∗k)

(Apk, p∗k)

und βk =(rk+1, r

∗k+1)

(rk, r∗k).

Zusammenfassend ergibt sich die folgende Iterationsvorschrift.

Sei x0 ∈ Kn ein beliebiger Startvektor.Berechne p0 = r0 = b−Ax0.

Wahle p∗0 = r∗0 , so dass (r0, r∗0) = 0.

Fur k = 0, 1, 2, . . . , n− 1 seiαk = (rk, r∗k)/(Apk, p

∗k)

xk+1 = xk + αkpk

rk+1 = rk − αkApk

r∗k+1 = r∗k − αkAHp∗k

βk = (rk+1, r∗k+1)/(rk, r

∗k)

pk+1 = rk+1 + βkpk

p∗k+1 = r∗k+1 + βkp∗k

Algorithmus 4.7.2: Bikonjugierte Gradienten-Verfahren

Bemerkung 4.7.4. Gegenuber GMRES hat BiCG den Vorteil, dass nur wenige Vektorengespeichert werden mussen. Als Hauptnachteil sind aber mogliche “breakdowns” anzufuhren.Hierbei unterscheidet man solche, die durch verschwindende Residuen im Skalarprodukt (rk, r∗k)bedingt sind. Diese “lucky breakdowns” garantieren die Exaktheit der Approximationen xk

nach Lemma 4.4.1. Genausogut kann es aber auch passieren, dass die Residuen aufeinandersenkrecht stehen.

4.7.3 QMR

Das von Freund und Nachtigal [6] vorgestellte QMR-Verfahren zur Losung eines linearen Glei-chungssystems Ax = b mit nicht notwendig Hermitescher Matrix A ∈ Kn×n basiert ebenfallsauf der Lanczos-Biorthogonalisierung. Wir nehmen an, dass eine Basis Vk des Krylov-RaumsKk(A, v1) generiert wurde. Das QMR-Verfahren entspricht in der Idee vollig dem GMRES-Verfahren. Beim GMRES-Verfahren wird allerdings entscheident ausgenutzt, dass durch dasArnoldi-Verfahren eine Orthonormalbasis des Krylov-Raums berechnet wurde, wohingegen Vk

im Allgemeinen nicht orthogonal ist. Fur xk = x0 + Vky ∈ x0 +Kk(A, v1) hat man

b−Axk = r0 −AVky = ‖r0‖2v1 − Vk+1Tky = Vk+1(‖r0‖2e1 − Tky).

124


Wie beim GMRES-Verfahren verwendet man nun die Losung yk der Aufgabe

minimiere ‖Tky − ‖r0‖2e1‖2, y ∈ Kk

zur Generierung der Approximation xk := x0 + Vkyk. Im Unterschied zum GMRES-Verfahrenbedeutet dies bei nicht orthogonalem Vk+1 jedoch keine Minimierung der Norm des Residuumsb−Axk. Zur Losung des linearen Ausgleichsproblems geht man wie bei GMRES vor. Dies kannwie beim direkten Lanczos-Verfahren in die Lanczos-Biorthogonalisierung integriert werden,siehe [7, S. 80 ff.]Bemerkung 4.7.5. Gegenuber GMRES hat QMR den Vorteil, dass die tridiagonale Strukturder auftretenden Matrix im lineren Ausgleichsproblem zu erheblichen Speichereinsparungenfuhrt. Daher kann auf “restarts” verzichtet werden.

4.7.4 CGS und BiCGStab

Bei BiCG und QMR treten sowohl Multiplikationen mit A als auch mit AH auf. Wenn dieMatrix-Vektor-Produkte Ax nur implizit berechnet werden, kann es schwierig sein, AHx auszu-werten. Daher ist es wunschenswert, Verfahren zu entwickeln, die mit Matrix-Vektor-Multiplika-tionen Ax auskommen.

CGS

Beim BiCG-Verfahren existieren Polynome φk, πk ∈ Πk, so dass

rk = φk(A)r0, r∗k = φk(AH)r∗0 (4.24)

undpk = πk(A)r0, p∗k = πk(AH)r∗0.

Fur diese gelten die Rekursionsformeln

φk+1(t) = φk(t)− αktπk(t), πk+1(t) = φk+1(t) + βkπk(t)

mit den Koeffizienten

αk =(φk(A)r0, φk(AH)r∗0)

(Aπk(A)r0, πk(AH)r∗0)=

(φ2k(A)r0, r∗0)

(Aπ2k(A)r0, r∗0)

und βk =(φ2

k+1(A)r0, r∗0)(φ2

k(A)r0, r∗0).

Aus den Rekurionsformeln fur (φk, πk) erhalt man

φ2k+1 = φ2

k − 2αktφkπk + α2kt

2π2k

π2k+1 = φ2

k+1 + 2βkφk+1πk + β2kπ

2k.

Um eine Rekursionsformel fur (φ2k, π

2k) zu erhalten, muss der Term φk+1πk in die Rekursion

aufgenommen werden. Der andere Term φkπk ergibt sich dann aus

φkπk = φk(φk + βk−1πk−1) = φ2k + βk−1φkπk−1.

Damit hat man die folgenden Rekursionsformeln

φ2k+1 = φ2

k − αkt(2φkπk − αktπ2k)

φk+1πk = φkπk − αktπ2k

π2k+1 = φk+1πk+1 + βkφk+1πk + β2

kπ2k.

125


Mit den neuen Bezeichnungen rk := φ2k(A)r0, pk := π2

k(A)r0, qk := φk+1(A)πk(A)r0 und demHilfsvektor uk := φk(A)πk(A)r0 = rk + βk−1qk−1 erhalt man das CGS-Verfahren (“ConjugateGradient Squared”)

Sei x0 ∈ Kn beliebig, r0 := b−Ax0 = 0 und r∗0 ∈ Kn mit (r0, r∗0) = 0.

Setze p0 = u0 = r0.for k = 0, 1, 2, . . . do

qk := uk − αkApk, wo αk := (rk, r∗0)/(Apk, r∗0)

xk+1 := xk + αk(uk + qk)rk+1 := rk − αkA(uk + qk)βk := (rk+1, r

∗0)/(rk, r∗0)

uk+1 := rk+1 + βkqkpk+1 := uk+1 + βk(qk + βkpk).

Algorithmus 4.7.3: CGS-Verfahren

Durch die Quadrierung der Polynome ist das CGS-Verfahren anfalliger gegen Rundungsfeh-ler als das BiCG-Verfahren. Diesem Nachteil versucht das BiCGStab-Verfahren (“BiConjugateGradient Stabilized”) entgegen zu treten.

BiCGStab

Das BiCGStab-Verfahren erhalt man dadurch aus dem CGS-Verfahren, dass das Residuum in(4.24) durch

rk := ψk(A)φk(A)r0

ersetzt, wobei ψk+1(t) = (1− ωkt)ψk(t) und ωk am Ende des Abschnitts angegeben wird. Wirnehmen an, dass ψ0(t) konstant ist. Dann ist ψk ein Polynom vom Grad hochstens k. Wirmussen zunachst eine Rekursionsformel fur rk herleiten. Wegen

ψk+1φk+1 = (1− ωkt)ψkφk+1 = (1− ωkt)(ψkφk − αktψkπk)

genugt es, eine Rekursionsformel fur ψkπk zu finden. Dabei ist πk wie beim CGS-Verfahrendefiniert. Aus

ψk+1πk+1 = ψk+1(φk+1 + βkπk) = ψk+1φk+1 + βk(1− ωkt)ψkπk

erhalt man mitpk := ψk(A)πk(A)r0

die Rekursionsformeln

rk+1 = (In − ωkA)(rk − αkApk), pk+1 = rk+1 + βk(In − ωkA)pk.

Fur die Konstante βk = ρk+1/ρk mussen wir einen aquivalenten Ausdruck finden, weil die zurBerechnung von

ρk = (φk(A)r0, φk(AH)r∗0) = (φ2k(A)r0, r∗0)

notigen Ausdrucke nicht zur Verfugung stehen. ρk kann aber mit

ρk := (φk(A)r0, ψk(AH)r0) = (ψk(A)φk(A)r0, r∗0) = (rk, r∗0)

126


in Beziehung gesetzt werden. Weil φk(A)r0 wegen (4.23) auf Kk(AH , r∗0) senkrecht steht undψk ∈ Πk gilt, ist namlich

ρk = (φk(A)r0, ψk(AH)r∗0) = (φk(A)r0, η(k)1 (AH)kr∗0 + η

(k)2 (AH)k−1r∗0 + · · · )

= η(k)1 (φk(A)r0, (AH)kr∗0) =

η(k)1

γ(k)1

(φk(A)r0, φk(AH)r∗0) =η

(k)1

γ(k)1

ρk,

wobei γ(k)1 der fuhrende Koeffizient im Polynom φk ist. Aus

φk+1 = φk − αktπk = φk − αkt(φk + βk−1πk−1) und ψk+1 = (1− ωkt)ψk

erhalt man die Rekursionsformeln

γ(k+1)1 = −αkγ

(k)1 und η

(k+1)1 = −ωkη

(k)1 .

Dies liefert

βk =ρk+1

ρk=αk

ωk

ρk+1

ρk=αk

ωk

(rk+1, r∗0)

(rk, r∗0).

Um einen aquivalenten Ausdruck fur αk zu erhalten berucksichtige man, dass φk(A)r0 aufKk(AH , r∗0) senkrecht steht und die hochsten Koeffizienten von φk und πk ubereinstimmen, wasman aus φ0 = π0 = 1 und

φk+1 = φk − αktπk und πk+1 = φk+1 + βkπk

sofort erkennt. Außerdem ist πk(A)r0 offenbar A-konjugiert zu (AH)jr∗0, j = 0, . . . , k−1. Damitist

αk =(φk(A)r0, φk(AH)r∗0)

(Aπk(A)r0, πk(AH)r∗0)=

(φk(A)r0, φk(AH)r∗0)(Aπk(A)r0, φk(AH)r∗0)

=(φk(A)r0, ψk(AH)r∗0)

(Aπk(A)r0, ψk(AH)r∗0)

=(ψk(A)φk(A)r0, r∗0)

(Aψk(A)πk(A)r0, r∗0)=

ρk

(Apk, r∗0)

=(rk, r∗0)

(Apk, r∗0).

Den Parameter ωk in ψk erhalt man durch Minimierung von rk+1, d.h. des Ausdrucks

‖(In − ωA)(rk − αkApk)‖2, ω ∈ R.

Mit der Abkurzung sk := rk − αkApk erhalt man

ωk =(Ask, sk)‖Ask‖22

.

Damit der Ausdruck rk das Residuum zu xk ist, d.h. es soll gelten, dass rk = b−Axk, hat manwegen

rk+1 = sk − ωkAsk = rk −A(αkpk + ωksk)

die Rekursionsbeziehungxk+1 = xk + αkpk + ωksk.

Zusammenfassend ergibt sich die folgende Iterationsvorschrift.

127


Sei x0 ∈ Kn beliebig, r0 := b−Ax0 = 0 und r∗0 ∈ Kn mit (r0, r∗0) = 0.

Setze p0 = r0.for k = 0, 1, 2, . . . do

sk := rk − αkApk, wo αk := (rk, r∗0)/(Apk, r∗0)

ωk = (Ask, sk)/‖Ask‖22xk+1 := xk + αkpk + ωksk

rk+1 := sk − ωkAsk

βk := (rk+1, r∗0)/(rk, r∗0)αk/ωk

pk+1 := rk+1 + βk(pk − ωkApk).Algorithmus 4.7.4: BiCGStab-Verfahren

4.8 Vorkonditionierer

Die Konvergenzgeschwindigkeit der in diesem Kapitel vorgestellten Iterationsverfahren zurLosung von Gleichungssystemen Ax = b ist durch die Gestalt des Spektrums von A bestimmt.Wir hatten bereits erwahnt, dass mit Hilfe sog. Vorkonditionierer die Konvergenzeigenschaftenverbessert werden konnen. Ein Vorkonditionierer C ist dabei eine regulare Matrix, die entwederals linker oder rechter Vorkonditionierer, d.h. in den aquivalenten Systemen

CAx = Cb bzw. ACx = b, x = Cx

zum Einsatz kommt. C sollte dabei so gewahlt sein, dass C ≈ A−1 und Matrix-Vektor-Multiplikationen mit C schnell berechnet werden konnen.

Die Kondition einer Matrix kann schon fur kleine Dimensionen sehr groß sein. In diesemFall ist man an einem Vorkonditionierer fur eine feste Matrix interessiert. Ublicherweise steigtdie Konditionszahl aber erst fur wachsende Problemgroßen. In diesem Fall hangt die Konver-genzgeschwindigkeit von n ab. Daher ist es unerlasslich, die Spektraleigenschaften von Folgenvon Matrizen zu untersuchen.Definition 4.8.1. Zwei Folgen Ann∈N

, Bnn∈N⊂ Kn×n regularer Matrizen heißen spek-

tralaquivalent, falls giltcond2(B−1

n An) ≤ c

mit einer von n unabhangigen Konstanten c.

Bemerkung 4.8.2. Wird beispielsweise im CG-Verfahren C = B−1n verwendet, wobei An und

Bn spektralaquivalent sind, so hangt die Konvergenzgeschwindigkeit nicht von n ab, und dasCG-Verfahren konvergiert linear.Lemma 4.8.3. Gilt ‖In −AnB

−1n ‖2 =: δ < 1, dann sind Ann∈N

und Bnn∈Nspektralaqui-

valent.

Beweis. Wegen der Dreiecksungleichung gilt

‖AnB−1n ‖2 ≤ ‖In‖2 + ‖In −AnB

−1n ‖2 = 1 + δ.

Außerdem konvergiert wegen ‖In −AnB−1n ‖2 < 1 die Neumannsche Reihe, und man erhalt:

‖BnA−1n ‖2 ≤

∞∑k=0

‖In −AnB−1n ‖k2 =

11− δ .

Also folgt cond2(AnB−1n ) = ‖AnB

−1n ‖2‖BnA

−1n ‖2 ≤ (1 + δ)/(1 − δ).

128


Bemerkung 4.8.4. Im Allgemeinen ist fur die Spektralaquivalenz aber keine Approximati-onseigenschaft in einer Norm notig. Beispielsweise sind An und Bn := 0.1An spektralaquivalentmit cond2(AnBn) = 1, aber ‖In −AnB

−1n ‖2 = 9.

Sei M ⊂ C und ε > 0. Definiere Mε = x ∈ C : dist(x,M) < ε. Sei Ann∈N⊂ Cn×n eine

Folge von Matrizen und γn(ε) die Anzahl derjenigen Eigenwerte von An, die außerhalb von Mε

liegen.Definition 4.8.5. Die Eigenwerte einer Folge Ann∈N

⊂ Cn×n besitzen einen Cluster M , fallsfur alle ε > 0 gilt

γn(ε) ≤ c(ε)

mit einer von n unabhangigen Konstanten c(ε).Bemerkung 4.8.6. Falls Ann∈N

einen Cluster bei Eins hat, konvergiert das CG-Verfahrensuperlinear.

4.8.1 Jacobi-, Gauß-Seidel- und SOR-Vorkonditionierer

Wie in Abschnitt 4.1 gesehen, konnen zur Losung von Ax = b Fixpunkt-Iterationen der Form

xk+1 = Txk + c, (4.25)

wo mit regularem M ∈ Kn×n gilt, dass T = In −M−1A und c = M−1b. Im Fall des Jacobi-und des Gauß-Seidel-Verfahrens ist

TJ(A) = In −A−1D A

TGS(A) = In − (AD +AL)−1A,

wobei AD die Diagonale und AL die obere strikte Dreicksmatrix von A bezeichnet. Falls dieIteration (4.25) konvergiert, hat sie den Grenzwert x mit

(In − T )x = c ⇐⇒ M−1Ax = M−1b.

Jacobi- und Gauß-Seidel-Verfahren konnen also als dasselbe Iterationsverfahren bei verschie-denen Vorkonditionierern M aufgefasst werden. Dieses Iterationsverfahren kann nun genausodurch ein Krylov-Unterraum Verfahren wie GMRES ersetzt werden, und man erhalt ein vorkon-ditioniertes GMRES mit Vorkonditionierer M . Verwendet man daher fur die Vorkonditionie-rung eines beliebigen Iterationsverfahrens den Diagonal-Vorkonditionierer M = AD, so sprichtman auch von Jacobi- und bei der Wahl M = AD + AL von Gauß-Seidel-Vorkonditionierung.Im Fall des SSOR-Verfahrens hat man den Vorkonditionierer

MSSOR = (AD + ωAL)A−1D (AD + ωAR).

Bei Verwendung anderer Iterationen ist die Wahl des Parameters ω nicht ganz so wichtig wie beider Fixpunkt-Iteration. Fur ω = 1 erhalt man den Symmetrischen Gauß-Seidel-Vorkonditionierer(SGS)

MSGS = (AD +AL)A−1D (AD +AR) =: LR

mit der unteren bzw. oberen Dreicksmatrix L := (AD +AL)A−1D und R := AD +AR. Fur den

Fehler A−MSGS gilt

A−MSGS = AD +AL +AR − (I +ALA−1D )(AD +AR) = −ALA

−1D AR.

Im nachsten Abschnitt werden wir weitere Vorkonditionierer der Form LR vorstellen, bei denender Fehler zumindest an vorgegebenen Positionen innerhalb der Matrix verschwindet.

129


4.8.2 ILU -Vorkonditionierer

Sei A ∈ Kn×n eine schwachbesetzte Matrix. Wir wissen bereits, dass eine LR-Zerlegung vonA im Allgemeinen vollbesetzt ist, siehe Bemerkung 3.2.22. Unter einer unvollstandigen LR-Zerlegung (“Incomplete LU factorization”) versteht man eine schwachbesetzte untere Drei-ecksmatrix L und eine schwachbesetzte obere Dreiecksmatrix R, so dass Eintrage des FehlersE := LR−A an vorgegebenen Positionen I × I \ Z verschwinden.

Sei I = 1, . . . , n und Z ⊂ I×I\(i, i), i ∈ I. Wir bezeichnen die Menge Z als Nullmuster.Ziel ist es, eine Zerlegung A = LR + E zu gewinnen, bei der die Eintrage der unteren bzw.oberen Dreiecksmatrizen L und R in den Positionen aus Z und die Eintrage von E in denubrigen Positionen verschwinden.

for k = 1, . . . , n− 1 dofor i = k + 1, . . . , n do

if (i, k) ∈ Z then aik := aik/akk

for j = k + 1, . . . , n doif (i, j) ∈ Z und (k, j) ∈ Z then aij := aij − aikakj .

Algorithmus 4.8.1: ILU -Zerlegung

Als Ergebnis des Algorithmus definieren wir die unteren bzw. oberen Dreiecksmatrizen Lund R durch

ij =

⎧⎪⎨⎪⎩aij, (i, j) ∈ Z und i > j

1, i = j

0, sonst

und rij =

aij , (i, j) ∈ Z und j ≥ i

0, sonst. (4.26)

Theorem 4.8.7. Das obige Verfahren breche nicht vorzeitig ab. Dann sind die Faktoren Lund R regular, und mit E := LR−A gilt, dass eij = 0 fur (i, j) ∈ Z.

Beweis. In jedem Schritt des obigen Algorithmus gilt

Ak = Ak + Ek, Ak = LkAk−1 (4.27)

mit der Gauß-Matrix Lk := In − keTk ,

k :=1

a(k)kk

[0, . . . , 0︸︷︷︸k

, a(k)k+1,k, . . . , a

(k)nk ]T .

Fur die in (4.26) definierten Matrizen L und R gilt L = (Ln−1 · . . . ·L1)−1 und R = An−1. Alsoerhalt man aus (4.27)

R = L−1A+ S, S := Ln−1 · . . . · L2E1 + . . .+ Ln−1En−2 + En−1.

Weil im k-ten Schritt nur innerhalb des unteren (n − k) × (n − k) Blocks von Ak Eintrage zuNull gesetzt werden, verschwinden die ersten k Spalten und Zeilen von Ek. Hieraus folgt sofort

Ln−1 · . . . · Lk+1Ek = Ln−1 · . . . · L1Ek

mit der Konsequenz, dass S = Ln−1 · . . . ·L1E, wobei E := E1 +E2 + . . .+En−1. Wir erhaltenalso die gewunschte Zerlegung

A = LR− E,bei der E nur in den Positionen aus Z nicht verschwindet.

130


Bemerkung 4.8.8. Der letzte Beweis zeigt, dass in −E die wahrend des Algorithmus zu Nullgesetzten Eintrage stehen.

Fur M -Matrizen (siehe Abschnitt 4.2) kann man garantieren, dass obiger Algorithmusnicht vorzeitig abbricht. Theorem 4.2.16 zusammen mit dem folgenden Lemma besagt, dassdurch Modifikationen der Matrix wie sie im obigen Algorithmus vorkommen, die M -Matrix-Eigenschaft erhalten bleibt.

Weil insbesondere der Eintrag a11 einer M -Matrix A positiv ist, kann ein Gaußscher Elimi-nationsschritt ohne Pivotisierung durchgefuhrt werden. Mit

1 :=1a11

⎡⎢⎢⎢⎣

0a21...an1

⎤⎥⎥⎥⎦ , L1 = In − 1eT1

definieren wir A1 = L1A.

Lemma 4.8.9. Sei A eine M -Matrix. Dann sind sowohl A1 als auch die Matrix, die aus A1

durch Loschen der ersten Spalte und ersten Zeile entsteht, M -Matrizen.

Beweis. Weil L1 und A regular sind, ist auch A1 regular. Die erste Zeile von A1 und A stimmenuberein. Die Außerdiagonaleintrage der ersten Spalte von A1 verschwinden. Fur i, j = 2, . . . , n,i = j, ist

(A1)ij = aij − ai1a1j

a11≤ 0.

Schließlich istA−1

1 = A−1L−11 = A−1(In + 1e

T1 )

und folglich

A−11 e1 =

1a11

A−1

⎡⎢⎣a11

...an1

⎤⎥⎦ =

1a11

e1 ≥ 0

und A−11 ej = A−1ej ≥ 0 fur j ≥ 2. Also ist A−1

1 ≥ 0 und A1 somit eine M -Matrix. Mit derZerlegung

A1 =[a11 aT

0 A1

], a :=

⎡⎢⎣a12

...a1n

⎤⎥⎦

sieht man, dass mit A1 auch A1 regular ist. Es bleibt also zu zeigen, dass A−11 ≥ 0. Dies folgt

aber aus

A−11 =

[1/a11 −(1/a11)aT A−1

1

0 A−11

]≥ 0.

Zusammenfassend erhalten wir fur die Anwendung der ILU -Zerlegung auf M -Matrizen.

Theorem 4.8.10. Sei A eine M -Matrix. Dann bricht Algorithmus 4.8.1 nicht vorzeitig ab. Dieberechneten Faktoren L und R sind regular, und fur E := LR−A gilt E ≥ 0, und (LR)−1 ≥ 0.

131


Beweis. Fur M -Matrizen ist jedes Ek in (4.27) nicht-negativ. Daher gilt auch fur die SummeE ≥ 0. Wegen LR = A + E ≥ A und weil A eine M -Matrix ist, folgt nach Theorem 4.2.16,dass (LR)−1 ≥ 0.

Liegt A zeilenweise (beispielsweise im CSR-Format) vor, so sollte man bei der ILU -Zerlegungzeilenweise vorgehen:

for i = 2, . . . , n dofor k = 1, . . . , i− 1 do

if (i, k) ∈ Z then aik := aik/akk

for j = k + 1, . . . , n doif (i, j) ∈ Z und (k, j) ∈ Z then aij := aij − aikakj .

Algorithmus 4.8.2: zeilenweise ILU -Zerlegung

Algorithmus 4.8.1 und der letzte Algorithmus liefern offenbar dieselbe ILU -Zerlegung. Ist Aeine Hermitische M -Matrix, so ist A positiv definit (vgl. Theorem 4.2.17). In diesem Fall kannman auf analoge Weise die unvollstandige Cholesky-Zerlegung definieren.

Wahl des Nullmusters

Abhangig von der Wahl des Nullmusters konnen wir einen kleinen oder einen großen Fehler Eerwarten. Ist Z = ∅ so reproduzieren wir die gewohnliche LR-Zerlegung, und es ist E = 0. Selbstwenn A schwachbesetzt ist, besitzen die Faktoren L und R nicht mehr dieses Besetzungsmuster.

Mit ILU(0) bezeichnet man die ILU -Zerlegung, bei der Z mit dem Nullmuster von Aubereinstimmt. Entsprechend bezeichnet ILU(p) die ILU -Zerlegung bei der ein gewisser fill-inzugelassen ist, siehe [14, S. 277].

4.8.3 Approximative Inverse-Vorkonditionierer

Die ILU -Zerlegung ist ursprunglich fur M -Matrizen entwickelt worden. Haben wir

A = LR− E

so sind die verschiedenen vorkonditionierten Matrizen ahnlich mit

L−1AR−1 = In − L−1ER−1.

Die Matrix L−1ER−1 ist deshalb fur die Vorkonditionierung entscheident. Ist A beispielsweisestark diagonal dominant, so sind die Faktoren L und R gut konditioniert und L−1ER−1 bleibtinnerhalb gewisser Grenzen. Die Eigenwerte von L−1AR−1 clustern dann bei 1. Sind die Normenvon L−1 und R−1 aber groß, so wird ILU keine gute Vorkonditionierung liefern.

In diesem Fall kann eine eine andere Klasse von Vorkonditionierern, die auf einer direktenApproximation der Inversen basiert, verwendet werden. Ziel ist es, C so zu finden, dass dasFunktional

f(M) := ‖In −AM‖2Fminimiert wird. In analoger Weise kann ein linker Vorkonditionierer durch Minimierung von

f(M) := ‖In −MA‖2Fgefunden werden.

132


Bei Abstiegsverfahren (vgl. Abschnitt 4.4.1) wird ausgehend von M ein neues M ′ in Rich-tung G gesucht:

M ′ = M + αG.

Der Parameter α wird als Minimum des Funktionals f bestimmt. Wir wissen bereits, dass dieMinimierung des Residuums R = In −AM aquivalent mit der Bedingung R− αAG ⊥ AG ist.Hieraus folgt

α =(R,AG)‖AG‖2F

,

wobei

(A,B) = traceBHA =m∑

i=1

n∑j=1

aijbij

das die Frobenius-Norm induzierende Skalarprodukt auf Km×n bezeichnet.Durch diesen Update fullt die Matrix M auf, so dass Eintrage verworfen werden mussen.

Dann gilt aber nicht mehr, dass f(M ′) ≤ f(M) ist.Eine mogliche Wahl fur die Richtung ist das Residuum G = R. Eine andere Moglichkeit

ist der steilste Abstieg, d.h. die Richtung des negativen Gradienten. Von der Richtigkeit desfolgenden Lemmas kann man sicht leicht uberzeugen.Lemma 4.8.11. Der Gradient von f im M ist durch G = −2AHR gegeben.

Wegen

f(M) =n∑

j=1

‖ej −Amj‖22,

wobei mj die j-te Spalte von M bezeichnet, kann man neben der globalen Minimierung auchjede der Funktionen

fj(m) := ‖ej −Am‖22, j = 1, . . . , n,

minimieren. Der letzte Zugang eignet sich insbesondere fur eine Parallelisierung.

133


134

5 Eigenwertprobleme

Im folgenden Kapitel werden wir uns mit der Losung des Eigenwertproblems

Ax = λx

beschaftigen, also die Bestimmung aller oder nur einiger Eigenwerte λ und der zugehorigenEigenvektoren x einer Matrix A ∈ Cn×n. Im ersten Teil betrachten wir unsymmetrische undim zweiten Teil symmetrische Matrizen.

Die folgende Storungsaussage ist der Satz von Bauer-Fike.

Theorem 5.0.12. Sei A ∈ Cn×n eine diagonalisierbare Matrix, d.h. es existiert eine nichtsin-gulare Matrix P ∈ Cn×n mit

P−1AP = diag(λ1, . . . , λn).

Ferner sei δA ∈ Cn×n und λ eine Eigenwert von A+ δA. Dann ist

minj=1,...,n

|λ− λj| ≤ ‖P−1(δA)P‖ ≤ cond‖·‖(P )‖δA‖.

Hierbei ist ‖ · ‖ die einer absoluten Vektornorm, d.h. es gilt ‖|x|‖ = ‖x‖ fur alle x ∈ Cn,zugeordnete Matrixnorm.

Die Kondition der Matrix P bestimmt also die Storanfalligkeit der Eigenwerte von A. Ist AHermitesch, so ist P unitar. In diesem Fall ist das Problem gut konditioniert, weil cond2(P ) = 1gilt.

Beispiel 5.0.13. Das symmetrische Eigenwertproblem ist gut konditioniert, das unsymmetri-sche schlecht. Seien

A =

⎡⎢⎢⎣

0 1 0 00 0 1 00 0 0 10 0 0 0

⎤⎥⎥⎦ und B =

⎡⎢⎢⎣

0 1 0 00 0 1 00 0 0 1

1e− 4 0 0 0

⎤⎥⎥⎦ .

Alle Eigenwerte der Matrix A sind 0, die Eigenwerte von B sind die vierten Wurzeln aus 1e−4.Daher ergibt eine Storung der Matrix von der Ordnung 1e− 4 eine Storung der Eigenwerte derOrdnung 0.1.

5.1 Das unsymmetrische Eigenwertproblem

Eine naive Moglichkeit zur Losung ist die Berechnung der Nullstellen des charakteristischenPolynoms. Dessen Koeffizienten konnen zwar mit O(n3) Komplexitat berechnet werden. DieseMethode ist aber im Zuge der Ausbreitung von Computern verworfen worden, weil die Null-stellen eines Polynoms sich sehr sensitiv bei Storung der Koeffizienten verhalten. Bevor wir

135

5 Eigenwertprobleme

den QR-Algorithmus beschreiben, stellen wir zunachst die einfache Vektoriteration, die inverseIteration und die orthogonale Iteration vor.

Fur den folgenden Abschnitt nehmen wir an, dass A ∈ Cn×n diagonalisierbar ist, d.h.

X−1AX = diag(λ1, . . . , λn)

mit einer nichtsingularen Matrix X = [x1, . . . , xn] und den betragsmaßig absteigend geordnetenEigenwerten

|λ1| ≥ |λ2| ≥ . . . ≥ |λn|von A.

5.1.1 Vektoriteration, inverse Iteration, orthogonale Iteration

Vom Konzept her sehr einfach ist die Vektoriteration nach v. Mises (power method) zur Be-rechnung eines dominanten Eigenwertes und zugehorigen Eigenvektors. Fur die Eigenwerte vonA gelte also

|λ1| > |λ2| ≥ . . . ≥ |λn|.Gegeben x(0) ∈ Cn mit ‖x0‖2 = 1. Es wird vorausgesetzt, dass der zu x1 gehorende Koeffi-

zient der Darstellung

x(0) =n∑

i=1

αixi, α1 = 0

als Linearkombination der Basis aus Eigenvektoren x1, . . . , xn nicht verschwindet.

Fur k = 0, 1, . . .berechne y(k) := Ax(k).

berechne λ(k) := (xk))Hy(k)

berechne x(k+1) := y(k)/‖y(k)‖2Algorithmus 5.1.1: Vektoriteration nach v. Mises

Mit Hilfe der vollstandigen Induktion sieht man leicht, dass

x(k) = Akx(0)/‖Akx(0)‖2, k = 1, 2, . . . .

Wegen

Akx(0) =n∑

i=1

αiλki xi = λk

1

[α1x1 + α2

(λ2

λ1

)k

x2 + . . .+ αn

(λn

λ1

)k

xn

].

erhalt man

‖x(k) − α1λk1

‖Akx(0)‖2x1‖2 = ‖α1x1 +

n∑i=2

αi

(λi

λ1

)k

xi‖−12

(λ2

λ1

)k n∑i=2

|αi|‖xi‖2.

Daher konvergiert die Folge x(k) der Richtung nach gegen x1. Die Konvergenzgeschwindigkeithangt aber vom Quotienten |λ2|/|λ1| ab. Ein Nachteil dieses Verfahrens ist, dass Konvergenznur gegen ein dominantes Eigenwert-Eigenvektor Paar stattfindet. Nicht so entscheident istdie Voraussetzung, dass x(0) eine Komponente bezuglich x1 haben soll, weil dies schon durchRundungsfehler garantiert wird.

136


Wahrend die Vektoriteration eigentlich mehr als Motivation fur das QR-Verfahren dennals praktische Methode von Bedeutung ist, ist die inverse Iteration nach Wielandt eine auchfur die Praxis wichtige Methode. Sei x(0) ∈ Cn und σ ∈ C eine Zahl, die in der Nahe einesEigenwertes von A liegt. Das Verfahren der inversen Iterations kann folgendermaßen formuliertwerden:

Fur k = 0, 1, . . .berechne y(k+1) := (A− σIn)−1x(k)

berechne x(k+1) := y(k+1)/‖y(k+1)‖2berechne λ(k+1) := (x(k+1))HAx(k+1)

Algorithmus 5.1.2: Inverse Iteration

Man beachte, dass zur Berechnung von y(k+1) ein lineares Gleichungssystem mit Koeffizienten-matrix A−σIn zu losen ist. Daher wird man zu Beginn zunachst eine LR-Zerlegung von A−σInberechnen. Den Vektor y(k) gewinnt man dann durch Vorwarts- und Ruckwartseinsetzen. Wirwerden zwar keine Konvergenzaussage fur das Verfahren der inversen Iteration beweisen, wol-len aber doch motivieren, weshalb es sich um ein gutes Verfahren zu Berechnung bestimmterEigenwerte und zugehoriger Eigenvektoren handelt. Es sei wieder

x(0) =n∑

i=1

αixi

die Darstellung des Startvektors x(0) als Linearkombination der Eigenvektoren. Offenbar istx(k) ∈ span

(A− σIn)−kx(0)

und

(A− σIn)−kx(0) =n∑

i=1

αi

(λi − σ)kxi.

Wir nehmen nun an, dass der vorgegebene Parameter σ sehr viel naher beim Eigenwert λj

als bei den ubrigen Eigenwerten λj, i = j, liegt, d.h.

1|λi − σ| <

1|λj − σ| , i = j.

Aus der Darstellung von (A − σIn)−kx(0) liest man ab, dass der j-te Summand die ubrigenTerme stark dominiert, so dass x(k) eine gute Nahrung fur einen zu λj gehorenden Eigenvektorsein wird.

Das nachste Verfahren der orthogonalen Iteration hat den Vorteil, dass Konvergenz ge-gen einen p-dimensionalen, unter A invarianten Teilraum mit p > 1 unter geeigneten Vorr-aussetzungen ermoglicht wird. Sei X(0) ∈ Cn×p mit 1 ≤ p < n, wobei wir annehmen, dass(X(0))HX(0) = Ip gilt. Eine mogliche Version ist die folgende:

Fur k = 0, 1, . . .berechne Y (k+1) := AX(k) ∈ Cn×p

berechne eine (reduzierte) QR-Zerlegung Y (k+1) = X(k+1)R(k+1)

mit Xk+1 ∈ Cn×p und (Xk+1)HX(k+1) = Ipund einer oberen Dreiecksmatrix R(k+1) ∈ Cp×p.

Algorithmus 5.1.3: orthogonale Iteration

137

5 Eigenwertprobleme

Ist p = 1, so erhalt man offenbar das Verfahren der Vektoriteration.Wir nehmen diesmal an, dass

|λp| > |λp+1| und λn = 0. (5.1)

Im Folgenden werden wir zeigen, dass unter vernunftigen Voraussetzungen die FolgeRanX(k)

⊂Cn gegen den A-invarianten Unterraum Xp := span x1, . . . , xp konvergiert. Dazu mussen wirden Konvergenzbegriff naher erlautern. Hierzu definieren wir, was wir unter dem Abstand zwi-schen zwei p-dimensionalen linearen Teilraumen des Cn verstehen.Definition 5.1.1. Seien

U := span u1, . . . , up , V := span v1, . . . , vpzwei p-dimensionale lineare Teilraume des Cn. Man definiere die Matrizen

U := [u1, . . . , up] ∈ Cn×p, V := [v1, . . . , vp] ∈ Cn×p.

Dann ist der Abstand zwischen U und V durch

d(U ,V) := ‖U(UHU)−1UH − V (V HV )−1V H‖2definiert.

A priori ist nicht klar, ob der definierte Abstand zwischen U und V unabhangig von derWahl einer Basis von U und V ist. Dies ist aber einfach einzusehen. Denn ist auch

U = span u1, . . . , up ,so existiert eine regulare Matrix S ∈ Cp×p mit U = US. Daher ist die Matrix

PU := U(UHU)−1UH = US(SHUH US)−1SH UH = U(UH U)−1U ,

die den Projektor auf U darstellt, von der Wahl einer Basis des linearen Teilraumes unabangig.Im folgenden Lemma gehen wir der Frage nach, ob es sich bei der oben definierten Funktion dum eine Metrik hat.Lemma 5.1.2. Durch d(·, ·) wird auf der Menge der p-dimensionalen linearen Teilraume desCn eine Metrik (bzw. ein Abstand) definiert.

Beweis. Naturlich ist der Abstand nichtnegativ. Zum Nachweis der Definitheit nehmen wir an,es sei d(U ,V) = 0 mit der Folge, dass PU = PV . Ist x ∈ U , so ist x = PUx = PVx ∈ V und somitU ⊂ V. Aus Symmetriegrunden ist auch V ⊂ U . Die Symmetrie und die Dreiecksungleichungsind offensichtlich erfullt und das Lemma damit bewiesen.

Interessanterweise stimmt der in Definition 5.1.1 erklarte Abstand mit dem ublichen Ab-standsbegriff uberein.Lemma 5.1.3. Es gilt d(U ,V) = ρ(U ,V), wobei

ρ(U ,V) := maxx∈U ,‖x‖2=1

miny∈V

‖x− y‖2.

Fur den Beweis benotigen wir zunachst ein einfaches Lemma.Lemma 5.1.4. Es gilt ρ(U ,V) = ‖(In − PV)PU‖2.

138


Beweis. Zunachst gilt fur ein x ∈ Uρ(U ,V) = ‖PUx− PVPUx‖2 ≤ ‖PU − PVPU‖2 = ‖(In − PV)PU‖2.

Fur die Umkehrung der Ungleichung sei y mit ‖y‖2 = 1 so gewahlt, dass

‖(In − PV)PU‖2 = ‖(In − PV)PUy‖2.Im Fall PU = 0 erhalt man die Behauptung. Falls PU = 0 gilt, folgt

‖(In − PV)PUy‖2 ≤ ‖ PUy‖PUy‖2 − PV

PUy‖PUy‖2 ‖2‖PUy‖2 ≤ ρ(U ,V).

Beweis von Lemma 5.1.3. Wir erkennen zunachst, dass

ρ(U ,V) = ‖(In − PU )PV‖2 = ‖(PU − PV)PU‖2 ≤ ‖PU − PV‖2.Ferner existiert x ∈ Cn, ‖x‖2 = 1, so dass ‖PU − PV‖2 = ‖(PU − PV)x‖2. Dann gilt

‖(PU − PV)x‖22 = ‖PU (PU − PV)x‖22 + ‖(In − PU )(PU − PV)x‖22= ‖PU (In − PV)x‖22 + ‖(In − PU )PVx‖22≤ ‖PU (In − PV)‖22‖(In − PV)x‖22 + ‖(In − PU )PV‖22‖PVx‖22≤ max

‖PU (In − PV)‖22, ‖(In − PU )PV‖22.

Aus‖PU (In − PV)‖2 = ‖(PU (In − PV))H‖2 = ‖(In − PV)PU‖2 = ρ(U ,V)

folgt die Behauptung.

Bemerkung 5.1.5. Besitzen die Raume U und V unterschiedliche Dimensionen, so gilt ρ(U ,V) =ρ(V,U). Dies sieht man beispielsweise, wenn U und V nicht orthogonal sind und dimU > dimV.Dann gilt namlich ρ(U ,V) = 1, wahrend ρ(V,U) < 1. In diesem Fall gilt aber

d(U ,V) = max ρ(U ,V), ρ(V,U) .Lemma 5.1.6. Ist

Q =[Q11 Q12

Q21 Q22

], Q11 ∈ Cm×m, Q22 ∈ Cn×n

unitar, so gilt ‖Q12‖2 = ‖Q21‖2.Beweis. Betrachte die unitare Matrix

Q :=[UH

1 00 I

]Q

[V1 00 I

]=

[Σ1 Q12

Q21 Q22

]

wobei Q11 = U1Σ1VH1 die Singularwertzerlegung von Q11 ist. Es ist klar, dass ‖Q12‖2 = ‖Q12‖2

und ‖Q21‖2 = ‖Q21‖2. Aus

QQH = I ⇒ Q12QH12 = I − Σ2

1,

QHQ = I ⇒ QH21Q21 = I − Σ2

1.

erhalt man die Behauptung.

139

5 Eigenwertprobleme

Theorem 5.1.7. Es sei dimU = dimV und U = [U1, U2], V = [V1, V2] so dass RanU1 = Uund RanV1 = V. Dann gilt

d(U ,V) = ‖UH1 V2‖2 = ‖UH

2 V1‖2.

Beweis. Die Behauptung folgt aus

UH(U1UH1 − V1V

H1 )V =

[0 UH

1 V2

−UH2 V1 0

].

Korollar 5.1.8. Gilt dimU = dimV, so hat man ρ(U ,V) = ρ(V,U).

Beweis. Es gilt

UH(U1UH1 )(In − V1V

H1 )V =

[0 UH

1 V2

0 0

]

V H(V1VH1 )(In − U1U

H1 )V =

[0 V H

1 U2

0 0

]

Nun ordnen wir der Matrix X(k) = [x(k)p , . . . , x

(k)p ] den linearen Teilraum

X (k) := spanx

(k)1 , . . . , x(k)

p

zu. Im folgenden Satz werden hinreichende Bedingungen dafur angegeben, dass die Folge

X (k)

gegen Xp := span x1, . . . xp konvergiert.Theorem 5.1.9. Sei A ∈ Cn×n diagonalisierbar und es gelte (5.1). Das Verfahren der ortho-gonalen Iteration starte mit einer Matrix X(0) ∈ Cn×p, deren Spalten orthonomiert sind undfur die X (0) ∩ span xp+1, . . . , xn = 0 gilt. Dann gibt es eine Konstante c > 0 derart, dass

d(X (k),Xp) ≤ c

∣∣∣∣λp+1

λp

∣∣∣∣kfur alle hinreichend großen k.

Beweis. Wir zeigen zunachst X (k) = Ak(X (0)) durch vollstandige Induktion nach k, wobei derInduktionsanfang bei k = 0 trivialerweise richtig ist. Wir nehmen an, es sei X (k) = Ak(X (0)).Im (k + 1)-ten Schritt wird zunachst Y (k+1) := AX(k) berechnet. Man beachte, dass die pSpalten von Y (k+1) linear unabhangig sind. In der QR-Zerlegung Y (k+1) = X(k+1)R(k+1) istdaher die obere Dreiecksmatrix R(k+1) ∈ Cp×p regular und folglich X(k+1) = AX(k)(R(k+1))−1.Dann ist aber

X (k+1) =X(k+1)z : z ∈ Cp

=

AX(k)(R(k+1))−1z : z ∈ Cp

=

AX(k)z : z ∈ Cp

=

AAkX(0)z : z ∈ Cp

= A(k+1)(X (0)),

womit die Induktionsbehauptung bewiesen ist.

140


Weil x1, . . . , xn eine Basis des Cn bilden, besitzt x(0)i die Darstellung

x(0)i =

p∑j=1

αijxj + ti mit ti ∈ span xp+1, . . . , xn , i = 1, . . . , n. (5.2)

Wegen X (0) ∩ span xp+1, . . . , xn = 0 ist (αij) ∈ Cp×p regular. Denn ist∑p

i=1 αijβj = 0 furj = 1, . . . , p, so hat man

p∑i=1

βix(0)i =

p∑i=1

βi

⎛⎝ p∑

j=1

αijxj + ti

⎞⎠ =

p∑i=1

βiti ∈ X (0) ∩ span xp+1, . . . , xn

und folglich βi = 0, i = 1, . . . , p. Weil man (5.2) mit (αij)−1 multiplizieren kann, durfen wirannehmen, dass

x(0)i = xi + ti mit ti ∈ span xp+1, . . . , xn , i = 1, . . . , p.

Wegen Akx(0)i = λk

i xi +Akti ist durch

v(k)i := xi + λ−k

i Akti, i = 1, . . . , p,

eine Basis von X (k) gegeben. Mit der Darstellung ti =∑n

j=p+1 γijxj erhalt man Akti =∑nj=p+1 γijλ

kjxj und folglich

‖v(k)i − xi‖2 ≤

n∑j=p+1

∣∣∣∣λj

λp

∣∣∣∣k |γij |‖xi‖2 ≤∣∣∣∣λp+1

λp

∣∣∣∣k n∑j=p+1

|γij |‖xi‖2 ≤ c

∣∣∣∣λp+1

λp

∣∣∣∣k

mit einer von n unabhangigen Konstanten c. Also folgt fur y ∈ Cp, dass

‖(V (k) −Xp)y‖2 = ‖p∑

i=1

(v(k)i − xi)yi‖2 ≤

p∑i=1

‖v(k)i − xi‖2|yi| ≤ c

√p

∣∣∣∣λp+1

λp

∣∣∣∣k ‖y‖2und daher

‖V (k) −Xp‖2 = supy =0

‖(V (k) −Xp)y‖2‖y‖2 ≤ c

√p

∣∣∣∣λp+1

λp

∣∣∣∣k .Fur hinreichend große k ist

‖PX (k) − PXp‖2 ≤ c‖V (k) −Xp‖2,woraus die Behauptung folgt.

5.1.2 Der QR-Algorithmus

Wir nehmen in diesem Abschnitt an, dass A ∈ Cn×n eine großdimensionierte vollbesetzteMatrix ist und wir an allen Eigenpaaren interessiert sind.

Sei A0 = A

Fur k = 1, 2, . . .berechne die QR-Zerlegung Ak−1 − skIn = QkRk

setze Ak = RkQk + skIn.

Algorithmus 5.1.4: QR-Iteration mit Shift

141

5 Eigenwertprobleme

Der Shift-Parameter sk wird in jedem Schritt gewahlt. Fur die Wahl sk = 0 bezeichnet mandiesen Algorithmus als die einfache QR-Iteration, welche Anfang der 60er Jahre unabhangigvoneinander von J. G. F. Francis und V. N. Kublanovskaya entwickelt wurde. Wir werdenzeigen, dass der untere linke (n− p)× p Block von Ak gegen Null konvergiert, falls

|λ1| ≥ · · · ≥ |λp| > |λp+1| ≥ · · · ≥ |λn|. (5.3)

In jedem Schritt k verringert sich dabei die Große der Eintrage um den Faktor |λp+1|/|λp|.Die QR-Iteration kann als Spezialfall des folgenden Algorithmus mit Polynomen

fk(x) =n−p∏i=1

(x− s(k)i )

aufgefasst werden:

Sei A0 = A

Fur k = 1, 2, . . .berechne die QR-Zerlegung fk(Ak−1) = QkRk

setze Ak = Q−1k Ak−1Qk.

Algorithmus 5.1.5: QR-Iteration mit Multishift

Bemerkung 5.1.10. Beim QR-Algorithmus handelt es sich wegen der unitaren Transforma-tionen um ein ruckwartsstabiles Verfahren.

Die Analyse des QR-Algorithmus basiert auf den folgenden Formeln:Lemma 5.1.11. Es gilt

Ak = X−1k AXk, wo Xk = Q1 · . . . ·Qk,

und

pk(A) :=k∏

i=1

fi(A) = XkUk, wo Uk = Rk · . . . ·R1.

Beweis. Die erste Aussage ist offensichtlich. Um die zweite induktiv zu beweisen, nehmen wiran, dass

f2(A1) · . . . · fk(A1) = (Q2 · . . . ·Qk)(Rk · . . . · R2).

Weil A1 = Q−11 AQ1, gilt

f2(Q−11 AQ1) · . . . · fk(Q−1

1 AQ1) = (Q−11 f2(A)Q1) · . . . · (Q−1

1 fk(A)Q1)

= Q−11 f2(A) · . . . · fk(A)Q1,

worausQ−1

1 f2(A) · . . . · fk(A)Q1 = (Q2 · . . . ·Qk)(Rk · . . . R2)

folgt. Multiplikation mit Q1 von links und R1 von rechts ergibt unter Verwendung von f1(A) =Q1R1 die Behauptung.

Wir nehmen im Folgenden an, dass zu A eine regulare Matrix X existiert mit

(i) A = XΛX−1, Λ =[Λ1 00 Λ2

]mit Λ1 ∈ Cp×p und Λ2 ∈ C(n−p)×(n−p)

142


(ii) Die p-te Hauptabschnittsmatrix von X−1 ist regular.

Im folgenden Lemma wird ein Schritt der QR-Iteration analysiert.Lemma 5.1.12. Die Matrix A0 erfulle (i) und (ii). Weiter sei

f(A0) = QR, A1 = QHA0Q

mit einem Polynom f . Seien die Matrizen A0 und A1 wie folgt zerlegt

A0 =

[A

(0)11 A

(0)12

A(0)21 A

(0)22

], A1 =

[A

(1)11 A

(1)12

A(1)21 A

(1)22

], A

(0)11 , A

(1)11 ∈ Cp×p.

Angenommen, die Matrizen F1 := f(Λ1) und F2 := f(Λ2) sind regular, dann gilt

‖A(1)21 ‖2 ≤ c1(1 + c2φ)2φ‖A(0)

21 ‖2,wo φ := ‖F2‖2‖F−1

1 ‖2 und die Konstanten c1, c2 > 0 nur von p und X abhangen.

Beweis. Wegen (ii) lasst X−1 die folgende Block-LU -Zerlegung zu

X−1 = LU :=[Ip 0L21 In−p

] [U11 U12

0 U22

], U11 ∈ Cp×p.

Die Matrizen L und U sind regular und ihre Inversen besitzen dieselbe Struktur

L−1 =[Ip 0−L21 In−p

], U−1 =

[U−1

11 −U−111 U12U

−122

0 U−122

].

Wegen Q = X(FLF−1)(FUR−1) sieht man leicht, dass

A1 = RU−1F−1[FL−1ΛLF−1]FUR−1

mit der Block-Diagonal-Matrix F := f(Λ). Weil sowohl Q als auch Q−1 unitar sind, folgt

‖FUR−1‖2 ≤ ‖X−1‖2‖FL−1F−1‖2 und ‖RU−1F−1‖2 ≤ ‖X‖2‖FLF−1‖2.Wegen

FLF−1 =[

Ip 0F2L21F

−11 In−p

]erhalt man ‖FLF−1‖2 ≤ 1+ ‖L21‖2φ und auf analoge Weise ‖FL−1F−1‖2 ≤ 1+ ‖L21‖2φ. Wirbetrachten nun die Blockzerlegung

F (L−1ΛL)F−1 =[

F1 0F2[L−1ΛL]21F−1

1 F2

].

Wegen L−1ΛL = UA0U−1 folgern wir [L−1ΛL]21 = U22A

(0)21 U

−111 , woraus man

‖[L−1ΛL]21‖2 ≤ ‖U22‖2‖U−111 ‖2‖A(0)

21 ‖2erhalt. Schließlich gilt, weil RU−1F−1 und FUR−1 obere Dreiecksmatrizen sind, dass

‖A(1)21 ‖2 = ‖RU−1F−1

[0 0

F2[L−1ΛL]21F−11 0

]FUR−1‖2 ≤ c1(1 + c2φ)2φ‖A(0)

21 ‖2,

wobei c1 = ‖X‖2‖X−1‖2‖U22‖2‖U−111 ‖2 und c2 = ‖L21‖2.

143

5 Eigenwertprobleme

Theorem 5.1.13. Sei A ∈ Cn×n regular. Es gelten (5.3) und (i), (ii). Dann erzeugt die einfacheQR-Iteration Matrizen

Ak =

[A

(k)11 A

(k)12

A(k)21 A

(k)22

]

mit ‖A(k)21 ‖2 ≤ c(q)qk, k = 1, 2, . . . , fur alle |λp+1|/|λp| < q < 1.

Beweis. Nach Lemma 5.1.11 lassen sich k Schritte der einfachen QR-Iteration als ein Schrittder verallgemeinerten QR-Iteration mit dem Polynom f(λ) = λk darstellen, d.h.

Ak = XkUk, Ak = X−1k AXk.

Nach dem QR-Lemma hat man

‖A(k)21 ‖2 ≤ c‖Λk

2‖2‖Λ−k1 ‖2.

Die Behauptung erhalt man nun aus der Beobachtung, dass fur genugend große k gilt

‖Λk2‖2 ≤ (|λp+1|+ δ)k, ‖Λ−k

1 ‖2 ≤ (|λp|−1 + δ)k.

Korollar 5.1.14. Es gelten die Voraussetzungen des Theorems, und es sei

Λ = diag(λ1, . . . , λn)

mit |λ1| > |λ2| > · · · > |λn| > 0. Dann sind alle Hauptabschnittsmatrizen von X−1 regular und

limk→∞

(Ak)ij = 0, i > j und limk→∞

diag(Ak) = Λ.

Qudratische Konvergenz

Ein Multishift heißt Rayleigh Multishift, falls fk das charakteristische Polynom des (n − p)×(n− p) Blocks A(k)

22 ist.Theorem 5.1.15. Sei Λ = diag(λ1, . . . , λn) mit (5.3). Angenommen, der QR-Algorithmus mitRayleigh Multishifts vom Grad n− p konvergiert, d.h.

εk := ‖A(k)21 ‖2 → 0.

Dann konvergiert er quadratisch, d.h. es existieren δ, c > 0, so dass fur εk ≤ δ folgt εk+1 ≤ cε2k.

Beweis. Betrachte einen Schritt des allgemeinen QR-Algorithmus

fk(Ak−1) = QR, Ak = QHRQ,

und wenden das QR-Lemma an:

εk ≤ cεk−1αkβk, wo αk = ‖fk(Λ2)‖2 und βk = ‖(fk(Λ1))−1‖2.

Seien s1, . . . , sn−p die Eigenwerte von A(k−1)22 . Nach den Theoremen von Bauer-Fike und Gerschgo-

rin erhalt man fur genugend kleine εk−1, dass

min1≤i≤n−p

|λp+j − si| ≤ cond2(X) εk−1, j = 1, . . . , n− p.

144

5.2 Das symmetrische Eigenwertproblem

Daher gilt

|fk(λp+j)| =∣∣∣∣∣n−p∏i=1

(λp+j − si)

∣∣∣∣∣ ≤ c1εk−1, j = 1, . . . , n− p

und

|fk(λj)| =∣∣∣∣∣n−p∏i=1

(λj − si)

∣∣∣∣∣ ≥ c2 > 0, j = 1, . . . , p,

wobei c1, c2 > 0 nicht von k abhangen. Hieraus folgt

αk ≤ c1εk−1, βk ≥ c2 > 0.

Praktische Realisierung

Die QR-Zerlegung einer unstrukturierten Matrix benotigt O(n3) Operationen. Dies ist deutlichzu teuer, selbst wenn nur wenige QR-Schritte durchgefuhrt werden mussen. Reduziert man Aaber vor dem Beginn der Iteration zu einer unitar ahnlichen oberen Hessenberg Matrix H,so kann jeder Schritt der QR-Iteration mit O(n2) durchgefuhrt werden. Die Reduktion aufHessenberg Gestalt benotigt aber einmalig O(n3) Operationen.

Diese Steigerung der Effizienz wird dadurch moglich, dass jeder Schritt der QR-Iteration

f(H) = QR, H1 = Q−1HQ

so durchgefuhrt werden kann, dass die Hessenberg Struktur erhalten bleibt, d.h. H1 ist wiedereine Hessenberg Matrix. Es genugt dies fur einen Multishift der Ordnung 1 zu zeigen. In diesemFall kann QH = Gn,n−1 · · · · · G21 mit Hilfe von Rotationen Gi,i−1, die die Eintrage unterhalbder Diagonalen eliminieren, realisiert werden. Die Matrix H1 = RQ = RGH

21 · . . . · GHn,n−1 hat

dann wieder Hessenberg Gestalt.Um die Kondition fur die Berechnung der Eigenwerte zu verbessern, suche man eine Dia-

gonalmatrix D, die die Normen der Zeilen und Spalten von AD = D−1AD moglichst gleichmacht. Dann reduziert man AD auf Hessenberg Gestalt A0. Man sollte dann wie folgt vorgehen:

1. Ersetze jeden genugend kleinen Eintrag unterhalb der Diagonalen von A0 durch Null

2. Wahle einen nicht-leeren Diagonalblock in A0, der sich zwischen den beiden unterstenSubdiagonal-Nullen befindet. Wenn sich kein solcher finden laßt, ist A0 eine obere Drei-ecksmatrix.

3. Fuhre einen QR-Schritt (mit Shift) mit dem gewahlten Block durch. Gehe zu 1.


Im folgenden Abschnitt sei A ∈ Cn×n eine Hermitesche Matrix.

145

5 Eigenwertprobleme

5.2.1 Storung der Eigenwerte

Wir interessieren uns zunachst dafur, wie die Eigenwerte

λ1(A) ≥ . . . ≥ λn(A) und λ1(B) ≥ . . . ≥ λn(B) (5.4)

zweier Hermitescher Matrizen A und B von der Norm ihrer Differenz abhangen. Die folgendeUngleichung basiert auf dem Courantschen Min-Max-Prinzip und geht auf H. Weyl zuruck:

Theorem 5.2.1. Seien A,B ∈ Cn×n Hermitesch und die Eigenwerte von A und B genugender Anordnung (5.4). Dann gilt

|λj(A)− λj(B)| ≤ ‖A−B‖, j = 1, . . . , n,

fur jede naturliche Matrixnorm ‖ · ‖.

Beweis. Mit A und B ist auch A−B Hermitesch. Fur alle x ∈ Cn \ 0 ist daher

((A−B)x, x)(x, x)

≤ ‖A−B‖2 = ρ(A−B) ≤ ‖A−B‖

und folglich(Ax, x)(x, x)

≤ (Bx, x)(x, x)

+ ‖A−B‖.

Sei S ⊂ Cn ein Unterraum mit dimS = n+ 1− j. Dann ist

max0=x∈S

(Ax, x)(x, x)

≤ max0=x∈S

(Bx, x)(x, x)

+ ‖A−B‖

also gilt auch

mindimS=n+1−j

max0=x∈S

(Ax, x)(x, x)

≤ mindimS=n+1−j

max0=x∈S

(Bx, x)(x, x)

+ ‖A−B‖.

Mit dem Courantschen Min-Max-Prinzip erhalt man λj(A) ≤ λj(B) + ‖A − B‖ und durchVertauschen der Rollen von A und B auch λj(B) ≤ λj(A) + ‖A−B‖.

Theorem 5.2.2 (Hoffman-Wielandt). Seien A,B ∈ Cn×n Hermitesch. Dann gilt fur dieEigenwerte in der Anordnung (5.4)

n∑j=1

|λj(A)− λj(B)|2 ≤ ‖A−B‖2F .

Wir wollen nun Verfahren zur Berechnung der Eigenpaare angeben. Das QR-Verfahren kannnaturlich auch auf Hermitesche Matrizen angwendet werden. Ist A Hermitesch, so ist sowohl Hals auch H1 tridiagonal. In diesem Fall kann ein QR-Schritt in O(n) Operationen durchgefuhrtwerden.

146


5.2.2 Das Rayleigh-Quotienten Verfahren

Die bei festem x ∈ Cn \ 0 definierte Abbildung f(t) = ‖Ax − tx‖, wobei ‖ · ‖ die durch (·, ·)definierte Norm bezeichnet, nimmt in t = µ(x) ihr Minimum an. Dabei bezeichnet µ(x) den inDefinition 1.7.41 definierten Rayleigh-Quotienten

µ(x) =(Ax, x)(x, x)

.

Ist (λ, z) ein Eigenpaar von A, so gilt offenbar µ(z) = λ und f(z) = 0. Ist x also eine Ap-proximation an einen Eigenvektor, so kann der Rayleigh-Quotient µ(x) als Nahrung an einenzugehorigen Eigenwert gesehen werden.

Das folgende Rayleigh-Quotienten Vefahren ist die Kombination aus inverser Iteration undder Approximation von Eigenwerten durch Rayleigh-Quotienten.

Sei x0 ∈ Cn mit ‖x0‖2 = 1 gegeben.Fur k = 0, 1, . . .

berechne µk = µ(xk)if A− µkIn singular then

bestimme xk+1 aus (A− µkIn)xk+1 = 0, ‖xk+1‖2 = 1.

STOP.else

berechne yk+1 = (A− µkIn)−1xk, xk+1 = yk+1/‖yk+1‖2.Algorithmus 5.2.1: Rayleigh-Quotienten Verfahren

Man beachte, dass man im Gegensatz zur inversen Iteration beim Rayleigh-Quotienten Ver-fahren in jedem Schritt ein lineares Gleichungssystem mit einer neuen Koeffizientenmatrix zulosen hat.Theorem 5.2.3. Sei A ∈ Cn×n Hermitesch und die Folge (xk, µk) sei durch obiges Verfahrenerzeugt. Dann gilt

‖(A− µk+1In)xk+1‖2 ≤ ‖(A− µkIn)xk‖2.Gleichheit gilt genau dann, wenn µk = µk+1 und xk ein Eigenvektor von (A− µkIn)2 ist.

Beweis. Der Beweis benutzt die Tatsache, dass ‖(A−tIn)x‖2 als Funktion von t bei gegebenemx = 0 in µ(x) minimal ist. Daher ist

‖(A− µk+1In)xk+1‖2 ≤ ‖(A− µkIn)xk+1‖2 = |xHk (A− µkIn)xk+1|

= |xHk+1(A− µkIn)xk| ≤ ‖(A− µkIn)xk‖2.

Gilt in der ersten Ungleichung Gleichheit, so folgt wegen der Eindeutigkeit des Minimumsµk = µk+1. Gleichheit in der zweiten Ungleichung impliziert, dass (A− µkIn)xk ein Vielfachesvon xk+1 ist und dies wiederum, dass xk ein Eigenvektor von (A− µkIn)2 ist. Denn ist

(A− µkIn)xk = αkxk+1, xk+1 =(A− µkIn)−1xk

‖(A− µkIn)−1xk‖2 ,

so folgt(A− µkIn)2xk =

αk

‖(A− µkIn)−1xk‖2xk.

Damit ist die Aussage bewiesen.

147

5 Eigenwertprobleme

Die Folge ‖(A− µkIn)xk‖2 ist also monoton fallend. Insbesondere existiert der Grenzwert.Das folgende Theorem beschreibt die lokale Konvergenz des Verfahrens.Theorem 5.2.4. Sei A ∈ Rn×n symmetrisch und die Folge (xk, µk) sei durch obiges Verfah-ren erzeugt, wobei xk gegen einen Eigenvektor z, ‖z‖2 = 1, zum Eigenwert λ von A konvergiere.Dann konvergiert xk kubisch gegen z, und es existiert eine Konstante c > 0, so dass

|µk − λ| ≤ c‖xk − z‖2.Beweis. Wir werden zeigen, dass mit φk := ∠(xk, z) die Folge sinφk kubisch gegen Nullkonvergiert. Wegen ‖xk−z‖2 = 2 sin(φk/2) folgt hieraus die kubische Konvergenz von xk gegenz. Wir nehmen im Folgenden an, dass das Verfahren nicht schon nach endlich vielen Schrittenabbricht, also inbesondere xk kein Eigenvektor von A ist. Wegen Rn = span z ⊕ span z⊥laßt sich xk eindeutig in der Form xk = αkz + vk, αk ∈ R und vT

k z = 0 darstellen. Dann istαk = xT

k z = cosφk und ‖vk‖2 = sinφk. Mit uk = vk/‖vk‖2 erhalt man damit die eindeutigeDarstellung

xk = z cosφk + uk sinφk.

Multiplikation mit (A− µkIn)−1 liefert

yk+1 = (A− µkIn)−1xk =cosφk

λ− µkz + sinφk(A− µkIn)−1uk.

Wegen xk+1 = yk+1/‖yk+1‖2 ist

xk+1 =cosφk

(λ− µk)‖yk+1‖2 z +sinφk

‖yk+1‖2 (A− µkIn)−1uk.

Ein Vergleich mit

xk+1 = z cosφk+1 + uk+1 sinφk+1, uTk+1z = 0, ‖uk+1‖2 = 1

liefert wegen zT (A− µkIn)−1uk = 0, dass

cosφk+1 =cosφk

(λ− µk)‖yk+1‖2 , uk+1 =(A− µkIn)−1uk

‖(A − µkIn)−1uk‖2und

sinφk+1 =sinφk‖(A− µkIn)−1uk‖2

‖yk+1‖2 .

Aus

λ− µk = λ− µ(xk) = λ− (z cosφk + uk sinφk)TA(z cosφk + uk sinφk)

= λ− (z cosφk + uk sinφk)T (λz cosφk +Auk sinφk)

= λ− (λ cos2 φk + sin2 φkuTkAuk)

erhalten wirλ− µk = [λ− µ(uk)] sin2 φk. (5.5)

Weiter ist

tanφk+1 =sinφk+1

cosφk+1= (λ− µk)‖(A− µkIn)−1uk‖2 tanφk

= [λ− µ(uk)]‖(A − µkIn)−1uk‖2 tan φk sin2 φk. (5.6)

148


Wir wollen uns nun uberlegen, dass fur alle k gilt uk ∈ M := span zj, j ∈ J, wobeiJ := j : λj = λ. Weil uk+1 ein Vielfaches von (A− µkIn)−1uk ist, und damit uk+1 ∈M , ausuk ∈ M folgt, genugt nachzuweisen, dass u0 ∈ M . Sei PN die orthogonale Projektion des Rn

auf N := M⊥. Dann ist PNxk fur jedes k ein Vielfaches von PNx0. Denn sei

xk =∑i∈J

α(k)i qi

︸︷︷︸PNxk

+∑j∈J

α(k)j zj .

Dann ist

xk+1 =(A− µkIn)−1xk

‖(A − µkIn)−1xk‖2 =1

‖(A− µkIn)−1xk‖2

⎛⎝ 1λ− µk

∑i∈J

α(k)i qi +

∑j∈J

α(k)j

λj − µkzj

⎞⎠

und daherPNxk+1 =

1‖(A− µkIn)−1xk‖2(λ− µk)

PNxk.

Nach Voraussetzung konvergiert xk gegen z. Wegen der Stetigkeit der orthogonalen Projektionist dann z ein Vielfaches von PNx0, etwa z = αPnx0. Wir wollen nun u0 ∈ M bzw. PNu0 = 0nachweisen. Dazu gehen wir von der Darstellung x0 = z cosφ0 + u0 sinφ0 des Startvektors aus,wobei wir naturlich sinφ0 = 0 voraussetzen konnen. Nun folgt PNu0 = 0 aus

PNx0 = cosφ0PNz + sinφ0PNu0 = cosφ0z + sinφ0PNu0

= α cosφ0PNx0 + sinφ0PNx0 = PNx0 + sinφ0PNu0,

wobei wir verwendet haben, dass

1 = zT z = α(PNx0)T z = αxT0 PNz = αxT

0 z = α cosφ0.

Mit uk =∑

j∈J βjzj erhalten wir

‖(A− µkIn)−1uk‖2 =

⎛⎝∑

j∈J

β2j

(λj − µk)2

⎞⎠1/2

≤ (minj∈J

|λj − µk|)−1,

weil wegen ‖uk‖2 = 1 folgt dass∑

j∈J β2j = 1. Weil xk gegen z konvergiert, konvergiert µk gegen

λ. Fur alle hinreichend großen k ist daher minj∈J |λj − µk| ≥ γ/2, wobei γ := minj∈J |λj − λ|.Daher ist fur alle hinreichend großen k

‖(A− µkIn)−1uk‖2 ≤ 2γ.

Wegen xk → z ist cos φk → 1. Fur alle hinreichend großen k ist daher cosφk ≥ 1/2. Aus(5.6) folgt sofort die kubische Konvergenz von sinφk gegen Null. Aus (5.5) folgt wegen derBeschranktheit von λ−µ(uk) und 2 sin(φk/2) = ‖xk− z‖2 die Existenz einer Konstanten c > 0mit |λ− µk| ≤ c‖xk − z‖22 fur alle k.

Die globale Konvergenz der durch das Rayleigh-Quotienten Verfahren erzeugten Folge xkgegen einen Eigenvektor z von A (also die Voraussetzung fur den lokalen Konvergenzsatz)ist noch wesentlich schwerer zu zeigen. Wir wollen uns mit dem folgenden verhaltnismaßigeinfachen Resultat begnugen1.

1In [13] wird bei der globalen Konvergenzanalyse auch der Fall τ > 0 untersucht.

149

5 Eigenwertprobleme

Theorem 5.2.5. Das auf die symmetrische Matrix A ∈ Rn×n angewandte Rayleigh-QuotientenVerfahren erzeuge die Folge (xk, µk). Es sei τ der wegen Theorem 5.2.3 existierende Limesder Folge ‖(A− µkIn)xk‖2. Dann gilt:

(i) Die Folge µk konvergiert.

(ii) Ist τ = 0, so konvergiert die Folge xk gegen einen Eigenvektor von A.

Beweis. Zunachst zeigen wir die Konvergenz der Folge µk (ohne weitere Voraussetzungennicht notwendig gegen einen Eigenwert von A). Der Beweis hierfur zerfallt in zwei Teile. Wirzeigen, dass einerseits limk→∞(µk+1−µk) = 0 und dass andererseits die beschrankte Folge µknur endlich viele Haufungspunkte besitzen kann. Aus einem bekannten Satz der Analysis folgthieraus die Konvergenz der gesamten Folge µk.

Zur Abkurzung definieren wir rk := (A− µkIn)xk und θk := ∠(rk, xk+1). Dann ist

‖rk+1‖22 = ‖(A− µkIn)xk+1 + (µk − µk+1)xk+1‖22= ‖(A− µkIn)xk+1‖22 + 2(µk − µk+1)xT

k+1(A− µkIn)xk+1 + (µk − µk+1)2

= ‖(A− µkIn)xk+1‖22 + 2(µk − µk+1)(µk+1 − µk) + (µk − µk+1)2

=[xT

k (A− µkIn)xk+1

]2 − (µk+1 − µk)2

= ‖rk‖22 cos2 θk − (µk+1 − µk)2.

Damit wird(µk+1 − µk)2 ≤ ‖rk‖22 − ‖rk+1‖22.

Wegen der monotonen Konvergenz der Folge ‖rk‖2 gegen τ konvergiert die rechte Seite dieserUngleichung und damit auch µk+1 − µk gegen Null.

Nun nehmen wir an, µ∗ sei ein Haufungspunkt der Folge µk. Ist τ = 0, so ist µ∗ offenbarnotwendig ein Eigenwert von A, wovon es nur endlich viele gibt. Wir konnen daher davonausgehen, dass τ > 0. Aus

‖rk+1‖22 = ‖rk‖22 cos2 θk − (µk+1 − µk)2

und0 <

1‖(A− µkIn)−1xk‖2 = rT

k xk+1 = ‖rk‖2 cos θk

erhalten wir cos θk → 1. Hieraus wiederum folgt

‖rk − ‖rk‖2xk+1‖22 = 2‖rk‖22(1− cos θk)→ 0.

Ferner ist

‖ [(A− µkIn)2 − ‖rk‖22 cos θk

]xk‖2 = ‖(A− µkIn)(rk − ‖rk‖2xk+1)‖2

≤ ‖A− µkIn‖2 ‖rk − ‖rk‖2xk+1‖2 → 0.

Daher ist det[(A− µ∗In)2 − τ2In

]= 0, womit bewiesen ist, dass die Folge µk nur endlich

viele Haufungspunkte haben kann. Der erste Teil des Satzes ist bewiesen.Sei (z, λ) ein Haufungspunkt der Folge (xk, µk). Da wir τ = 0 voraussetzen, ist ‖(A −

λI)z‖ = 0 und daher z ein Eigenvektor von A mit zugehorigem Eigenwert λ. Wegen des schonbewiesenen ersten Teils des Theorems ist limk→∞ µk = λ. Eine Inspektion des Beweises deslokalen Konvergenzsatzes zeigt, dass die gesamte Folge xk gegen z konvergiert.

150


5.2.3 Jacobi-Verfahren

Einer der altesten Algorithmen zur Berechnung der Eigenwerte einer Matrix ist das Jacobi-Verfahren, das von Jacobi 1845 vorgestellt wurde. Es eigenet sich besonders fur die Paralle-lisierung. Das Verfahren transformiert die symmetrische Matrix A ∈ Rn×n durch eine Folgeorthogonaler Transformationen auf approximative Diagonalgestalt, d.h. nach jeder Transfor-mation verringert sich die Große der Außerdiagonaleintrage.

Die Eigenwerte von Matrizen der Dimension n ≥ 5 konnen nur iterativ berechnet werden.Kleinere Matrizen konnen jedoch in einem Schritt behandelt werden. Eine reelle symmetrische2× 2 Matrix kann wie folgt diagonalisiert werden:

JT

[a dd b

]J =

[a 00 b

]mit der Givens-Rotation

J =[c s−s c

],

wobei c = (1 + t2)−1/2, s = tc und

t ∈τ +

√1 + τ2, τ −

√1 + τ2

(5.7)

mit τ = (a− b)/2d. Die orthogonale Matrix J wird auch als Jacobi-Rotation bezeichnet.Sei A ∈ Rn×n symmetrisch. Die Matrix J wird nun zu einer Matrix Jk ∈ Rn×n vergroßert,

wobei sich Jk nur in den Eintragen (k, k), (k, ), (, k) und (, ) von der Identitat unterscheidet.In diesen vier Eintragen stehen die Eintrage von J . Es bleibt zu zeigen, dass der Ausdruck off(A)als Mass fur die Große des Außerdiagonalanteils reduziert wird.Lemma 5.2.6. Es gilt

off(JHkAJk) = off(A)− 2a2

k.

Beweis. Wir setzen B = JHkAJk. Dann gilt b2kk+b2 = a2

kk+2a2k+a

2. Weil sich die Diagonalen

von A und B nur an der k-ten und der -ten Position unterscheiden, gilt

off(B) = ‖B‖2F −n∑

i=1

b2ii = ‖A‖2F − b2kk − b2 −∑

i∈k,b2ii

= ‖A‖2F − b2kk − b2 −∑

i∈k,a2

ii = ‖A‖2F − 2a2k −

n∑i=1

a2ii = off(A)− 2a2

k.

Fur den Parameter t stehen nach (5.7) zwei Moglichkeiten zur Verfugung. Um die Trans-formation auszuwahlen, die die kleinere Differenz ‖A− JH

kAjk‖F hervorruft, sollte man nachfolgender Aufgabe t als die kleinere der beiden Moglichkeiten wahlen. Auf diese Weise ist z.B.sichergestellt, dass Jk die Matrixeintrage innerhalb des Außerdiagonalanteils nicht verschiebt.Aufgabe 5.2.7. Sei A ∈ Rn×n. Dann gilt

‖JHkAJk‖2F =

2c2a2

k + 4(1− c)∑

i∈k,a2

ik + a2i.

Im Folgenden beschreiben wir zwei mogliche Vorgehensweisen bei der Wahl der Indizes kund .

151

5 Eigenwertprobleme

Maximale Außerdiagonaleintrage

In jedem Transformationsschritt wahlt man das Paar (k, ) so, dass ak der betragsmaßig großteAußerdiagonaleintrag ist. Mit dieser Wahl erhalt man folgendes Reduktionsverhalten des Aus-drucks

Lemma 5.2.8. Sei ak der betragsmaßig großte Außerdiagonaleintrag. Dann gilt

off(JTkAJk) ≤

(1− 2

n(n− 1)

)off(A).

Beweis. Wegenoff(A) = 2

∑i<j

a2ij ≤ 2

∑i<j

a2k = n(n− 1)a2

k

erhalt man nach Lemma 5.2.6

off(JHkAJk) = off(A)− 2a2

k ≤ off(A)− 2n(n− 1)

off(A) =(

1− 2n(n− 1)

)off(A).

Nach O(n2) Schritten, von denen jeder O(n) Operationen benotigt, verringert sich off(A)um einen Konstanten Faktor. Daher wird nach O(n2| log ε|) Schritten ein relativer Fehlerε > 0 erreicht. Tatsachlich ist die Konvergenzgeschwindigkeit aber quadratisch, so dass nurO(n2| log | log ε||) Schritte benotigt werden.

Zyklisches Vorgehen

Um die n2 Operationen fur die Suche des maximalen Eintrages zu vermeiden, ist auf einemRechner die folgenden Vorgehensweise sinnvoll. Man eleminiert zeilenweise die n(n− 1)/2 Ein-trage oberhalb der Diagonalen. Hierbei beachte man, dass der im letzten Schritt eleminierte Ein-trag im nachfolgenden Schritt im Allgemeinen aufgefullt wird. Auch fur dieses Vorgehen kannman wieder obiges Konvergenzverhalten zeigen: nach einem Durchlauf durch alle n(n − 1)/2Außerdiagonaleeintrage hat sich S um einen konstanten Faktor verkleinert.

Das Konvergenzverhalten der Eintrage im Jacobi-Verfahren ist im Allgemeinen sogar besserals beim QR-Verfahren. Allerdings ist der QR-Algorithmus und der unten vorgestellte divide-and-conquer Algorithmus deutlich schneller.

5.2.4 Bisektionsverfahren

Nach Tridiagonalisierung einer symmetrischen Matrix ist das folgende Bisektionsverfahren dasMittel der Wahl, falls nur eine Untermenge des Spektrums benotigt wird. Nachdem Approxima-tionen an die gewunschten Eigenwerte gefunden wurde, konnen die zugehorigen Eigenvektorenmit Hilfe eines Schrittes der Inversen Iteration berechnet werden.

Die Idee des Verfahrens ist es, die reelle Achse nach Nullstellen des charakteristischen Poly-noms p(x) := det(A− xIn) abzusuchen. Dies scheint im Widerspruch dazu zu stehen, dass dieWurzeln instabil von den Koeffizienten des Polynoms abhangen. Zur Berechnung der Nullstellenwerden wir aber nicht die Koeffizienten betrachten, sondern ausschließlich p auswerten.

Die folgende Aussage wird als Interlacing-Eigenschaft der Eigenwerte bezeichnet.

152


Theorem 5.2.9. Sei A ∈ Kn×n Hermitesch und A = A+ εccH , ‖c‖2 = 1. Dann gilt

λk(A) = λk(A) + tkε, k = 1, . . . , n,

wo tk ≥ 0 und∑n

j=1 tj = 1. Insbesondere gilt im Fall ε ≥ 0

λ1(A) ≤ λ1(A) ≤ λ2(A) ≤ λ2(A) ≤ . . . ≤ λn(A) ≤ λn(A)

und im Fall ε ≤ 0

λ1(A) ≤ λ1(A) ≤ λ2(A) ≤ λ2(A) ≤ . . . ≤ λn(A) ≤ λn(A)

Mit Ak ∈ Rn×n bezeichnen wir im Folgenden die k-te Hauptabschnittsmatrix der sym-metrischen und irreduzibelen Tridiagonalmatrix A ∈ Rn×n. Ist A reduzibel, so zerfallt dasEigenwertproblem in mehrere Probleme kleinerer Dimensionen. Die Eigenwerte

λ(k)1 < λ

(k)2 < . . . < λ

(k)k

von Ak sind dann paarweise verschieden, und es gilt die Interlacing-Eigenschaft

λ(k+1)j < λ

(k)j < λ

(k+1)j+1 , k = 1, . . . , n− 1 und j = 1, . . . , k − 1.

Diese macht es moglich, die Anzahl der Eigenwerte einer Matrix in einem Intervall zu bestim-men. Wir erinnern dazu an Theorem 1.7.7.Beispiel 5.2.10. Wir betrachten die 4× 4 Tridiagonalmatrix

A =

⎡⎢⎢⎣

1 11 0 1

1 2 11 2

⎤⎥⎥⎦ .

Wegendet(A1) = 1, det(A2) = −1, det(A3) = −3, det(A4) = 4

wissen wir, dass A1 keine negativen Eigenwerte hat. A2 und A3 besitzen jeweils einen negativenEigenwert und A4 hat zwei negative Eigenwerte.

Ist allgemeiner A ∈ Kn×n eine symmetrische Tridiagonalmatrix, dann ist die Anzahl nega-tiver Eigenwerte die Anzahl der Vorzeichenwechel der Folge

1, det(A1), det(A2), . . . , det(An),

die auch als Sturmsche Kette bekannt ist. Wenn ein Folgenglied verschwindet, liegt ein Vor-zeichenwechel vor, falls das nachste Glied nicht Null ist. Durch Verschiebung des Spektrumsvon A (indem man A−αIn betrachtet) kann man die Anzahl der Eigenwerte im Intervall [a, b)bestimmen: es ist die Anzahl im Intervall (−∞, b) minus der Anzahl der Eigenwerte in (−∞, a).

Die Berechnung der fur das Verfahren der benotigten Determinanten kann mit Hilfe derfolgenden Rekursionsformeln effizient geschehen.Lemma 5.2.11. Sei A = tridiag(bi, ai, bi) ∈ Rn×n. Dann gilt fur k ≥ 2

det(Ak) = ak det(Ak−1)− b2k−1 det(Ak−2).

Mit pk(x) := det(A− xIn) hat man fur k = 1, 2, . . . , n

pk(x) = (ak − x)pk−1(x)− b2k−1pk−2(x),

wobei p−1(x) := 0 und p0(x) := 1.

153

5 Eigenwertprobleme

Die Bestimmung der Anzahl der in einem Intervall enthaltenen Eigenwerte kann also inO(n) Operationen durchgefuhrt werden.

Der Algorithmus teilt nun ein vorgegebenes Intervall rekursiv in jeweils zwei Teile bis einevorgegebene Feinheit ε > 0 erreicht ist. Die Rekursion stoppt dabei in solchen Intervallen, die furdie Lokalisierung der Eigenwerte keine Rolle spielen, beispielsweise solche, die keine Eigenwerteenthalten. Auf diese Weise kann ein Eigenwert mit Genauigkeit ε in O(n| log ε|) Operationenlokalisiert werden. Wenn nur wenige Eigenwerte benotigt werden, ist dies eine Verbesserunggegenuber den O(n2) Operationen des QR-Algorithmus. Außerdem konnen mehrer Eigenwerteunabhangig voneinander auf verschiedenen Rechnern berechnet werden.

5.2.5 Divide-and-Conquer Algorithmus

Beim divide-and-conquer Algorithmus teilt man das symmetrische tridiagonale Eigenwertpro-blem in Probleme kleinere Große. Diese Idee stammt von Cuppen aus dem Jahr 1981 und liefertein Verfahren, das etwa doppelt so schnell ist wie die QR-Iteration, wenn sowohl Eigenwerteals auch Eigenvektoren berechnet werden sollen. Wir geben hier nur die Grundidee an. AufDetails bei der Implemtierung verzichten wir. Es sei jedoch bemerkt, dass diese essentiell sind,wenn man einen stabilen Algorithmus erhalten mochte.

Sei T ∈ Rn×n mit n ≥ 2 symmetrisch, tridiagonal und irreduzibel. Fur jedes m mit 1 ≤m < n kann T wie folgt zerlegt werden:

T =

⎡⎢⎢⎢⎢⎢⎢⎣

T1

β

βT2

⎤⎥⎥⎥⎥⎥⎥⎦ =

⎡⎢⎢⎢⎢⎢⎢⎣

T1

T2

⎤⎥⎥⎥⎥⎥⎥⎦ +

⎡⎢⎢⎢⎢⎢⎢⎣

β β

β β

⎤⎥⎥⎥⎥⎥⎥⎦ .

Dabei ist T1 die m ×m Hauptabschnittsmatrix, T2 die untere rechte (n −m) × (n −m) Ab-schnittsmatrix von T und β = tm+1,m = 0. Eine Tridiagonalmatrix kann also als Summe einer2 × 2 Blockdiagonalmatrix mit tridiagonalen Blocken und einer Rang-1 Korrektur dargestelltwerden.

Der divide-and-conquer Algorithmus teilt nun T mit m ≈ n/2. Nehmen wir an, die Eigen-werte von T1 und T2 sind bekannt. Weil die Korrektur Rang 1 hat, kann man ausgehend vonden Eigenwerten von T1 und T2 auf die Eigenwerte von T schließen. Sei T1 = Q1D1Q

T1 und

T2 = Q2D2QT2 . Dann folgt

T =[Q1

Q2

]([D1

D2

]+ βzzT

)[Q1

Q2

]T

mit zT = (qT1 , q

T2 ), wobei qT

1 die letzte Zeile von Q1 und qT2 die erste Zeile vonQ2 bezeichnet. Wir

konnen und daher auf die Bestimmung der Eigenwerte einer Diagonalmatrix plus einer Rang-1Matrix D + wwT zuruckziehen. Dabei besitzt die Diagonalmatrix D paarweise verschiedeneEintrage. Die Matrix D+wwT entspricht dem Fall β > 0. Im Fall β < 0 wurde man D−wwT

betrachten. Wir durfen annehmen, dass wj = 0 fur alle j, weil das Problem sonst reduzierbarist. Die Eigenwerte von D + wwT erfullen die Sekular-Gleichung f(x) = 0, wobei

f(x) = 1 +n∑

j=1

w2j

dj − x. (5.8)

154


Ist namlich (D + wwT )q = λq fur ein q = 0, so gilt (D − λIn)q + w(wT q) = 0 und damitq + (D − λIn)−1w(wT q) = 0. Man erhalt also wT q + wT (D − λIn)−1w(wT q) = 0, was dieGleichung f(λ)wT q = 0 liefert. Weil sonst q ein Eigenvektor von D ware, also nur einennicht-verschwindenden Eintrag besitzen wurde. Ist also λ ein Eigenwert, so gilt f(λ) = 0. DieUmkehrung gilt, weil f genau n Nullstellen besitzt.

In jedem Rekursionschritt des divide-and-conquer Algorithmus konnen die Nullstellen von(5.8) mit Hilfe des Newton Verfahrens mit O(n2) Operationen bestimmt werden.

Fur die Berechnung der Eigenwerte von T1 und T2 wende man diesselbe Idee an. Dies endetin einer Menge von 1× 1 Eigenwertproblemen.

Zur Bestimmung aller Eigenwerte einer symmetrischen Tridiagonalmatrix mit Hilfe desdivide-and-conquer Algorithmus sind also

n2 + 2(n

2

)2+ 4

(n4

)2+ · · ·+ n

(nn

)2 ∼ 2n2

Operationen notig. Bei der Berechnung der Eigenwerte verhalten sich divide-and-conquer Al-gorithmus und QR-Iteration etwa gleich. Sind aber zusatzlich die Eigenvektoren gewunscht,so konnen diese aus den Ergebnissen des divide-and-conquer Algorithmus deutlich einfacherberechnet werden.

5.2.6 Berechnung der Singularwertzerlegung

Theorem 5.2.12. Seien A, A ∈ Kn×n. Dann gilt

n∑i=1

|σi(A)− σi(A)|2 ≤ ‖A− A‖2F .

Beweis. Offenbar sind

B :=[

0 AAH 0

]∈ K2n×2n und B :=

[0 A

AH 0

]∈ K2n×2n

Hermitesch und besitzen die Eigenwerte ±σi(A) bzw. ±σi(A), i = 1, . . . , n. Damit folgt nachdem Theorem von Hoffman-Wielandt

2n∑

i=1

|σi(A)− σi(A)|2 =2n∑i=1

|λi(B)− λi(B)|2 ≤ ‖B − B‖2F = 2‖A− A‖2F .

Eine Moglichkeit fur die Berechnung der Singularwerte von A ist die Berechnung der Sin-gularwerte von AHA (oder AAH falls m ≤ n). Das folgende Beispiel zeigt jedoch, dass dieseVorgehensweise instabil ist:Beispiel 5.2.13. Sei

A =

⎡⎣ 1 1

0√εF√

εF 0

⎤⎦ , AHA =

[1 + εF 1

1 1 + εF

],

wobei εF die Maschinengenauigkeit aus Abschnitt 1.12 bezeichnet. Numerisch ware (AHA)ij =1, i, j = 1, 2, und ihre Eigenwerte waren σ2

1 = 2 und σ22 = 0. Tatsachlich hat A aber Rang 2

und ihre Singularwerte sind√εF und

√2 + εF.

155

5 Eigenwertprobleme

Die folgende Transformation erhalt die Große der Singularwerte. Sei A ∈ Km×n, m ≥ n,und A = USV H , S ∈ Rn×n, ihre Singularwertzerlegung. Definiere

B =[

0 AAH 0

].

Dann ist B Hermitesch, und es gilt

B = Z

⎡⎣−S 0 0

0 S 00 0 0

⎤⎦ZH ,

wo

Z =1√2

[U U−V V

]∈ K(m+n)×(m+n)

unitar ist. Es gilt also λi(B) = ±σi(A).

156

Literaturverzeichnis

[1] W. E. Arnoldi: The Principle of minimized iteration in the solution of the matrix eigenvalueproblem, Quart. Appl. Math. 9, 17–29, 1951.

[2] J. W. Cooley, J. W. Tukey: An algorithm for the machine calculation of complex Fourierseries, Math. Comp. 19, 297–301, 1965.

[3] J. W. Demmel, Applied numerical linear algebra, SIAM, Philadelphia, PA, 1997.

[4] G. Fischer: Lineare Algebra, Vieweg, 1989.

[5] R. Fletcher: Conjugate gradient methods for indefinite systems, In G. A. Watson, editor,Proceedings of the Dundee Biennal Conference on Numerical Analysis 1974, 73–89, SpringerVerlag, New York, 1975.

[6] R. W. Freund and N. M. Nachtigal: QMR: a quasi-minimal residual method for non-Hermitian linear systems, Num. Math. 60, 315–339, 1991.

[7] A. Greenbaum: Iterative methods for solving linear systems, SIAM, Philadelphia, PA, 1997.

[8] W. Hackbusch: Iterative Losung großer schwachbesetzter Gleichungssysteme, Vieweg, 1993.

[9] M. R. Hestenes and E. Stiefel: Methods of conjugate gradients for solving linear systems, J.Research Nat. Bur. Standards 49, 409–436, 1953.

[10] N. J. Higham: Accuracy and Stability of Numerical Algorithms, Second edition, SIAM,Philadelphia, PA, 2002.

[11] C. Lanczos: Solution of systems of linear equations by minimized iterations, J. ResearchNat. Bur. Standards 49, 33–53, 1952.

[12] L. Mirsky: Symmetric gauge functions and unitarily invariant norms, Quart. J. Math.Oxford Ser. 11 , 50–59, 1960.

[13] B. N. Parlett, The Symmetric Eigenvalue Problem, Prentice Hall, Englewood Cliffs, 1980.

[14] Y. Saad: Iterative methods for sparse linear systems, Second edition, SIAM, Philadelphia,PA, 2003.

[15] Y. Saad and M. H. Schulz: GMRES: a generalized minimal residual algorithm for solvingnonsymmetric linear systems, SIAM J. Sci. Stat. Comput. 7, 856–869, 1986.

[16] G. W. Stewart: Matrix algorithms. Vol. I. Basic decompositions, SIAM, Philadelphia, PA,1998.

157

Literaturverzeichnis

[17] G. W. Stewart, Matrix algorithms. Vol. II. Eigensystems, SIAM, Philadelphia, PA, 2001.

[18] L. N. Trefethen and D. Bau, III: Numerical linear algebra, SIAM, Philadelphia, PA, 1997.

[19] E. E. Tyrtyshnikov: A brief introduction to numerical analysis, Birkhauser Boston Inc.,Boston, MA, 1997.

[20] J. Werner: Numerische Mathematik 1, Vieweg, 1992.

[21] J. Werner: Numerische Mathematik 2, Vieweg, 1992.

[22] A. van der Sluis and H. A. van der Vorst: The rate of convergence of conjugate gradients,Numer. Math. 48, no. 5, 543–560, 1986.

[23] D. S. Watkins: Understanding the QR algorithm., SIAM Review 24, 427–440, 1982.

158

Documents

fur Mathematik¨ in den Naturwissenschaften Leipzig · fur Mathematik¨ in den Naturwissenschaften Leipzig Numerische Lineare Algebra (revised version: June 2004) by Mario Bebendorf