153
第8第 第第第第第第第 1 8.1 特特特特特特特特 8.2 特特特特特特 8.3 特特特特特特特特特 8.4 QR 特特

第 8 章 矩阵特征值计算

  • Upload
    hallie

  • View
    414

  • Download
    4

Embed Size (px)

DESCRIPTION

8.1 特征值性质和估计 8.2 幂法及反幂法 8.3 正交变换与矩阵分解 8.4 QR 方法. 第 8 章 矩阵特征值计算. 8.1 特征值性质和估计. 8.1.1 特征值问题及其性质. 设矩阵 ,特征值问题是求 和非零向量 使. ( 1.1 ). 其中 是矩阵 属于特征值 的特征向量. 求 的特征值问题( 1.1 )等价于求 的特征方程. ( 1.2 ). 的根. ( 1 ) 为 的特征值( 为常数 );. ( 3 ) 为 的特征值;. - PowerPoint PPT Presentation

Citation preview

Page 1: 第 8 章  矩阵特征值计算

第 8 章 矩阵特征值计算

1

8.1 特征值性质和估计

8.2 幂法及反幂法

8.3 正交变换与矩阵分解

8.4 QR方法

Page 2: 第 8 章  矩阵特征值计算

8.1 特征值性质和估计

2

8.1.1 特征值问题及其性质 设矩阵 ,特征值问题是求 和非零向量使

其中 是矩阵 属于特征值 的特征向量 .

nnA R C ,R nx

,xAx ( 1.1 )

x A

求 的特征值问题( 1.1 )等价于求 的特征方程A A

0)det()( AIp ( 1.2 )

的根 .

Page 3: 第 8 章  矩阵特征值计算

3

定理 1 设 为 的特征值 , ,则

nnA R xAx ,0x

( 1 ) 为 的特征值( 为常数 ); c cA c 0c

( 2 ) 为 的特征值,即 IA ;)()( xIA

( 3 ) 为 的特征值; k kA

Page 4: 第 8 章  矩阵特征值计算

4

定理 2 ( 1 )设 可对角化,即存在非奇异矩阵 使

n

APP

2

1

1

nnA R

,P

的充要条件是 具有 个线性无关的特征向量 . A n

( 2 ) 如果 有 个 不同的特征值则对应的特征向量 线性无关 .

m )( nm ,,,, 21 m

mxxx ,,, 21

A

Page 5: 第 8 章  矩阵特征值计算

5

而 的列向量 为 的对应于 的特征向量 .

),,,( 21 nuuuP

ju A j

定理 3 设 为对称矩阵,则: ( 1 ) 的特征值均为实数;

nnA R

A

( 2 ) 有 个线性无关的特征向量; A n

( 3 )存在一个正交矩阵 使 P

,2

1

1

n

APP

且 为 特征值,A),,1( nii

Page 6: 第 8 章  矩阵特征值计算

6

记 称为矩阵 的瑞利( Rayleigh )商 .

定理 4 设 为对称矩阵(其特征值次序记为 则

nnA R

),21 n

);R(),(

),(.1 对任何非零向量1

nn x

xx

xAx

;),(

),(max.2

0R

1 xx

xAx

xx n

.),(

),(min

0R xx

xAx

xx

n n

,0,),(

),()( x

xx

xAxxR A

证明 只证 1.

由于 为实对称矩阵,可将 对应的特征向量 正交规范化,则有

n ,,, 21 A

nxxx ,,, 21 .),( ijji xx

( 1.3 )

Page 7: 第 8 章  矩阵特征值计算

7

设 为 中任一向量,则有展开式 0x nR

,1

n

iiixx ,0

2

1

1

2

2

n

iix

于是

.),(

),(

1

2

1

2

n

ii

n

iii

xx

xAx

从而 1 成立 .

结论 1 说明瑞利商必位于 和 之间 . n 1

Page 8: 第 8 章  矩阵特征值计算

8

8.1.2 特征值估计与扰动

称复平面上以 为圆心,以 为半径的所有圆盘为 的格什戈林( Gerschgorin )圆盘 .

iia ir A

定义 1 设 . 令 nnijaA )(

(1) );,,2,1(1

niarn

ijj

iji

(2) 集合 . }C,{ zrazzD iiii

Page 9: 第 8 章  矩阵特征值计算

9

定理 5 (格什戈林圆盘定理) ( 1 ) 设 ,则 的每一个特征值必属于下述某个圆盘之中

nnijaA )(

A

).,,2,1(1

niaran

ijj

ijiii

( 1.4 )

或者说, 的特征值都在复平面上 个圆盘的并集中 . A n

( 2 ) 如果 有 个圆盘组成一个连通的并集 ,且 与余下 个圆盘是分离的,则 内恰包含 的 个特征值 .

A m S

S mn S A m

特别地,如果 的一个圆盘 是与其他圆盘分离的( 即孤立圆盘 ) ,则 中精确地包含 的一个特征值 .

A iD

iD A

Page 10: 第 8 章  矩阵特征值计算

10

证明 只就 (1) 给出证明 . 设 为 的特征值,即 A

.0),,,(其中, 21 TnxxxxxAx

记 考虑 的第 个方程,即

,0max1

xxx ini

k xAx k

,)(

n

kjjkjkkk xaxa

于是

n

kjjkjkkk xaxa

,1

k

n

jjkj xxa

,

n

kjkjk ax

Page 11: 第 8 章  矩阵特征值计算

11

即 .k

n

kjkjkk raa

这说明, 的每一个特征值必位于 的一个圆盘中,并且相应的特征值 一定位于第 个圆盘中 .

A A

k

其中 是对应特征向量 绝对值最大的分量的下标 .k x

Page 12: 第 8 章  矩阵特征值计算

12

利用相似矩阵性质,有时可以获得 的特征值进一步的估计,即适当选取非奇异对角阵

A

1

12

11

1

n

D

并做相似变换 .nni

jijaADD

1

适当选取 可使某些圆盘半径及连通性发生变化 . ),,,2,1( nii

Page 13: 第 8 章  矩阵特征值计算

13

例 1 估计矩阵

411

101

014

A

特征值的范围 .

解 的 3 个圆盘为 A

,14:1 D ,2:2 D ,24:3 D

由定理 5 ,可知 的 3 个特征值位于 3 个圆盘的并集中,由于 是孤立圆盘,所以 内恰好包含 的一个特征值( 为实特征值),即

A

1D 1D A

1 53 1

Page 14: 第 8 章  矩阵特征值计算

14

的其他两个特征值 包含在 的并集中 . A 32 , 32 ,DD

现选取对角阵

9.0

1

11D

做相似变换

.

49.09.09

1001

0141

1

ADDAA

的 3 个圆盘为 1A

,14:1 E ,9

10:2 E .8.14:3 E

Page 15: 第 8 章  矩阵特征值计算

15

这样, 3 个圆盘都成为了孤立圆盘,每一个圆盘都包含 的一个特征值(为实特征值)且有估计 A

,53 1 ,9

19

9

192

.2.28.5 3

Page 16: 第 8 章  矩阵特征值计算

16

下面讨论当 有扰动时产生的特征值扰动,即 有微小变化时特征值的敏感性 .

A A

定理 6 ( Bauer-Fike 定理) 设 是 的一个特征值,且 则有

其中 为矩阵 的范数,

证明 只要考虑 . 这时 非奇异,设 是 对应于 的特征向量,由 左乘 可得

nnEA R

),,,(diag 211

nDAPP

,min 1

)( pppAEPP

( 1.5 )

p p .,2,1 p

)(A ID x

EA 0)( xIEA 1P

Page 17: 第 8 章  矩阵特征值计算

17

是非零向量 . 上式两边取范数有

而对角矩阵 的范数为

所以有

这就得到( 1.5 )式 . 这时总有 中的一个 取到 值 .

),)(()(

),)(())((1111

111

xPEPPIDxP

xPEPPxPID

xP 1

.1)()( 11

pEPPID

1)( ID

,min,1

)()(

1

Apm

mID

.1 mPEPppp

)(A m

Page 18: 第 8 章  矩阵特征值计算

18

由定理 6 可知 是特征值扰动的放大系数,但将 对角化的相似变换矩阵 不是唯一的,所以取 的下确界

)(cond1 PPP

A P

)(cond P

},),,,(diag)(condinf{)( 211

nAPPPA ( 1.6 )

称为特征值问题的条件数 .

只要 不很大,矩阵微小扰动只带来特征值的微小扰动 . 但是 难以计算,有时只对一个 ,用 代替 .

)(A

)(A P )(cond P

)(A

Page 19: 第 8 章  矩阵特征值计算

19

特征值问题的条件数和解线性方程组的条件数是两个不同的概念,对于一个矩阵 ,两者可能一大一小 .

关于计算矩阵 的特征值问题,当 时,还可以按行列式展开的方法求特征方程的根 . 但当 较大时,如果按展开行列式的方法,首先求出 的系数,再求 的根,工作量就很大,用这种方法求特征值是不切实际的 ,

需要研究求 的特征值及特征向量的数值方法 .

A

A 3,2n

n

)(p )(p

A

Page 20: 第 8 章  矩阵特征值计算

8 . 2 幂法及反幂法

20

8.2.1 幂法 幂法是一种计算矩阵主特征值(矩阵按模最大的特征值)及对应特征向量的迭代方法,特别适用于大型稀疏矩阵 .

反幂法是计算海森伯格阵或三对角阵的对应一个给定近似特征值的特征向量的有效方法之一 .

设实矩阵 有一个完全的特征向量组,其特征值为 ,相应的特征向量为 .

nnijaA )(

n ,,, 21 nxxx ,,, 21

Page 21: 第 8 章  矩阵特征值计算

21

已知 的主特征值是实根,且满足条件 A

,321 n ( 2.1 )

现讨论求 及 的方法 . 1 1x

幂法的基本思想是任取一个非零的初始向量 ,由矩阵 构造一向量序列

0v

A

,01 Avv

,02

12 vAAvv ( 2.2 )

,0

11 vAAvv k

kk

Page 22: 第 8 章  矩阵特征值计算

22

由假设, 可表示为 0v

),0设( 122110 nnxxxv ( 2.3 )

于是

称为迭代向量 .

1kk Avv 0vAkn

knn

kk xxx 222111

])/([2

1111

n

ii

kii

k xx ),( 111 kk x

其中.)/(

21

n

ii

kiik x

Page 23: 第 8 章  矩阵特征值计算

23

由假设),,,3,2(1/ 1 nii

故 ,0lim

kk

( 2.4 ).lim 111

xvkk

k

从而

这说明序列 越来越接近 的对应于 的特征向量,kkv

1A 1

或者说当 充分大时 k

Page 24: 第 8 章  矩阵特征值计算

24

,111 xv kk ( 2.5 )

即迭代向量 为 的特征向量的近似向量(除一个因子外) . kv 1

再考虑主特征值 的计算,用 表示 的第 个分量,则

1 ikv )( kv i

,)()(

)()(

)(

)(

11

1111

1

iki

iki

ik

ik

x

x

v

v

( 2.6 )

故 ,

)(

)(lim 1

1

ik

ik

k v

v( 2.7 )

也就是说两相邻迭代向量分量的比值收敛到主特征值 .

Page 25: 第 8 章  矩阵特征值计算

25

由( 2.6 )式知, 的收敛速度由比值

来确定, 越小收敛越快,但当 时

收敛可能就很慢 .

这种由已知非零向量 及矩阵 的乘幂 构造向量序列 以计算 的主特征值 及相应特征向量的方法称为幂法 .

0v A kA

}{ kv A 1

11

2

rr1

2

r

11

)(

)(

ik

ik

v

v

,)()(

)()(

)(

)(

11

1111

1

iki

iki

ik

ik

x

x

v

v

( 2.6 )

Page 26: 第 8 章  矩阵特征值计算

26

定理 7 设 有 个线性无关的特征向量,主特征值 满足

nnA R n

1

,321 n

则对任何非零初始向量 ,(2.4),(2.7) 式成立 . )0( 1 v

,)(

)(lim 1

1

ik

ik

k v

v( 2.7 )

( 2.4 ).lim 111

xvkk

k

Page 27: 第 8 章  矩阵特征值计算

27

如果 的主特征值为实的重根,即 ,A r 21

,1 nrr

又设 有 个线性无关的特征向量, 对应的 个线性无关特征向量为 ,

A n 1 r

rxxx ,,, 21

0vAv kk

).0(lim111

r

iii

r

iiik

k

kxx

v

这说明当 的主特征值是实的重根时,定理 7 的结论还是正确的 .

A

则由( 2.2 )式

},)/({1

11

1

n

rii

kii

r

iii

k xx

,01 Avv

,02

12 vAAvv ( 2.2 )

,0

11 vAAvv k

kk

Page 28: 第 8 章  矩阵特征值计算

28

应用幂法计算 的主特征值 及对应的特征向量时,A 1

如果 (或 ),11 11 迭代向量 的各个不等于零kv

的分量将随 而趋向于无穷(或趋于零) .k

这样在计算机实现时就可能“溢出” .

为了克服这个缺点,就需要将迭代向量加以规范化 .

设有一向量 ,将其规范化得到向量 0v

,)max(v

vu

其中 表示向量 的绝对值最大的分量,)max(v v 即如果有

Page 29: 第 8 章  矩阵特征值计算

29

则 ,且 为所有绝对值最大的分量中的最小下标 .

oivv )max( 0i

主特征值为单特征值的条件下幂法可这样进行:

任取一初始向量 , )0(0 10 v )max(v构造向量序列

,001 AvAuv

,max10 i

nii vv

,)max()max( 0

0

1

11 Av

Av

v

vu

,)max( 0

02

12 Av

vAAuv ,

)max()max( 020

2

2

22 vA

vA

v

vu

Page 30: 第 8 章  矩阵特征值计算

30

由( 2.3 )式

n

ii

kii

k xvA1

0

,)max( 0

10

vA

vAv

k

k

k ,)max( 0

0

vA

vAu

k

k

k

( 2.8 ),2 1

111

n

ii

k

ii

k xx

)(max 0

0

vA

vAu

k

k

k

n

ii

k

ii

k

n

ii

k

ii

k

xx

xx

2 1111

2 1111

max

),0( 122110 设nnxxxv ( 2.3 )

Page 31: 第 8 章  矩阵特征值计算

31

n

ii

k

ii

n

ii

k

ii

xx

xx

2 111

2 111

max

这说明规范化向量序列收敛到主特征值对应的特征向量 .

同理,可得到

).()(max 1

1 kx

x

,

max2

1

111

11

2 1111

n

ii

k

ii

k

n

ii

k

ii

k

k

xx

xx

v

Page 32: 第 8 章  矩阵特征值计算

32

收敛速度由比值 确定 . 1

2

r

),(

,

max

max

)max( 1

2

1

111

2 1111

k

xx

xx

vn

ii

k

ii

n

ii

k

ii

k

Page 33: 第 8 章  矩阵特征值计算

33

定理 8 设 有 个线性无关的特征向量,主特征值 满足 ,则对任意非零初始向量 ,按下述方法构造的向量序列

nnA R n

1 n 321

,000 uv

则有

,1 kk Auv

),max( kk v./ kkk vu

( 2.9 )),,2,1( k

)0( 100 uv

:}{},{ kk vu

,)(max

lim)1(1

1

x

xuk

k

.lim)2( 1 k

k

Page 34: 第 8 章  矩阵特征值计算

34

例 2 用幂法计算

0.225.05.0

25.00.10.1

5.00.10.1

A

的主特征值和相应的特征向量 . 计算过程为

结果如表 8-1.

,01 Auv ),max( 11 v

./ 111 vu

,)1,1,1(00Tuv

,12 Auv ),max( 22 v ./ 222 vu

Page 35: 第 8 章  矩阵特征值计算

35

5365323.2)16497.07482.0(20

5365374.2)16497.07482.0(19

5365456.2)16497.07482.0(18

5365598.2)16497.07482.0(17

5365840.2)16497.07483.0(16

5366256.2)16497.07483.0(15

5380029.2)16508.07494.0(10

5587918.2)16674.07651.0(5

7500000.2)18182.09091.0(1

)111(0

)max(规范化向量

18表

kTk vuk )(

Page 36: 第 8 章  矩阵特征值计算

36

,5365258.21

和相应的特征向量的真值( 8 位数字)为 1

.)1,64966116.0,74822116.0(~1

Tx

表 8-1 的结果是用 8 位浮点数字进行运算得到的, 的分量值是舍入值 .

ku

于是得到

5365323.21

及相应的特征向量 .)1,6497.0,7482.0( T

Page 37: 第 8 章  矩阵特征值计算

8.2.2 加速方法

37

原点平移法

一个补救的办法是采用加速收敛的方法 .

引进矩阵 ,pIAB

由前面讨论,应用幂法计算 的主特征值的收敛速度主要由比值 来决定,但当 接近于 1 时,收敛可能很慢 .

A

1

2

r r

其中 为选择参数 .p

Page 38: 第 8 章  矩阵特征值计算

38

设 的特征值为 ,A n ,,, 21 则 的相应特征值为B

,,,, 21 ppp n 而且 的特征向量相同 . BA,

如果要计算 的主特征值 ,就要适当选择 使 仍然是 的主特征值,且使

A 1 p1

B

,p

.1

2

1

2

p

p

对 应用幂法,使得在计算 的主特征值 的过程中得到加速 .

B B p1

这种方法通常称为原点平移法 .

Page 39: 第 8 章  矩阵特征值计算

39

例 3 设 有特征值 44R A

),4,3,2,1(15 jjj

比值 . 9.0/ 12 r

),12( ppIAB

则 的特征值为 B

作变换

.1,0,1,2 4321

应用幂法计算 的主特征值 的收敛速度的比值为 B 1

p

p

1

2

1

2

2

1 .9.0

1

2

Page 40: 第 8 章  矩阵特征值计算

40

选择有利的 值,虽然能够使幂法得到加速,但问题在于如何选择适当的参数 .

p

p

设 的特征值满足 A

,121 nn ( 2.10 )

则不管 如何, 的主特征值为 或 .p pIAB p1 pn

当希望计算 及 时,首先应选择 使 1 1x p

,1 pp n

且使收敛速度的比值

.min,max11

2

p

p

p

p n

Page 41: 第 8 章  矩阵特征值计算

41

显然,当 , p

p

p

p n

11

2

即 时 *2

2 pp n

*

*

*

*

11

2

p

p

p

p n

当 的特征值满足( 2.10 )且 能初步估计时,A n ,2

就能确定 的近似值 . *p

当希望计算 时,应选择n

为最小,这时收敛速度的比值为

.2 21

2

n

n

*,2

11 pp n

使得应用幂法计算 得到加速 . n

,121 nn ( 2.10 )

Page 42: 第 8 章  矩阵特征值计算

42

例 4 计算矩阵

0.225.05.0

25.00.10.1

5.00.10.1

A

的主特征值 .

作变换 取 ,,pIAB 75.0p

.

25.125.05.0

25.025.00.1

5.00.125.0

B

对 应用幂法,计算结果如表 8-2. B

Page 43: 第 8 章  矩阵特征值计算

43

7865914.1)16497.07482.0(10

7866587.1)16497.07483.0(9

7869152.1)16499.07484.0(8

7873300.1)16501.07488.0(7

7888443.1)16511.07491.0(6

7914011.1)16522.07516.0(5

)1 1 1(0

)max(规范化向量

28表

kTk vuk )(

由此得 的主特征值为 ,B 786591411 . 的主特征值 为 1A

,5365914.275.011

Page 44: 第 8 章  矩阵特征值计算

44

与例 2 结果比较,上述结果比例 3 迭代 15 次还好 .

若迭代 15 次, (相应的 ). 7865258.11 5365258.21

原点位移的加速方法,是一个矩阵变换方法 .

这种变换容易计算,又不破坏矩阵 的稀疏性,但 的选择依赖于对 的特征值分布的大致了解 .

A p

A

Page 45: 第 8 章  矩阵特征值计算

45

对应的特征向量满足 ,应用幂法计算 的主特征值 ,

ijji xx ),( A

1

瑞利商加速

定理 9 设 为对称矩阵,特征值满足 nnA R

,321 n

则规范化向量 的瑞利商给出 的较好的近似 ku 1

.),(

),(2

1

21

k

kk

kk Ouu

uAu

证明 由( 2.8 )式及

,)max( 0

0

uA

uAu

k

k

k ,)max( 0

01

1 uA

uAAuv

k

k

kk

n

ii

kii

k xvA1

0 ( 2.8 ),2 1

111

n

ii

k

ii

k xx

Page 46: 第 8 章  矩阵特征值计算

46

),(

),(

),(

),(

00

001

uAuA

uAuA

uu

uAukk

kk

kk

kk

n

j

kjj

n

j

kjj

1

22

1

122

( 2.11 ).2

1

21

k

O

Page 47: 第 8 章  矩阵特征值计算

8.2.3 反幂法

47

反幂法用来计算矩阵按模最小的特征值及其特征向量,

设 为非奇异矩阵, 的特征值次序记为 nnA R A

,321 n

相应的特征向量为 , nxxx ,,, 21 则 的特征值为 1A

,111

11

nn

对应的特征向量为 . 11 ,,, xxx nn

也可用来计算对应于一个给定近似特征值的特征向量 .

Page 48: 第 8 章  矩阵特征值计算

48

因此计算 的按模最小的特征值 的问题就是计算 的按模最大的特征值的问题 .

A n1A

对于 应用幂法迭代(称为反幂法),可求得矩阵 的主特征值 ,从而求得 的按模最小的特征值 .

1A 1A

n/1 A n

反幂法迭代公式为:

任取初始向量 , 000 uv 构造向量序列

).,2,1()max(

11

kv

vu

uAv

k

kk

kk

迭代向量 可以通过解方程组 kv 1 kk uAv 求得 .

Page 49: 第 8 章  矩阵特征值计算

49

定理 10 设 为非奇异矩阵且有 个线性无关的特征向量,其对应的特征值满足

A n

,0121 nn

则对任何初始非零向量 ,由反幂法构造的向量序列 满足

)0(0 nu

}{},{ kk uv

,)(max

lim)1(k

kk

k x

xu

.1

)max(lim)2(n

kk

v

收敛速度的比值为 . 1

n

nr

Page 50: 第 8 章  矩阵特征值计算

50

反幂法中也可以用原点平移法来加速迭代过程或求其他特征值及特征向量 .

如果矩阵 存在,其特征值为 1)( pIA

,1

,,1

,1

21 ppp n

对应的特征向量仍然是 . nxxx ,,, 21

对矩阵 应用幂法,得到反幂法的迭代公式 1)( pIA

初始向量,000 vu

11)(

kk upIAv( 2.12 )

).,2,1()max(/ kvvu kkk

Page 51: 第 8 章  矩阵特征值计算

51

如果 是 的特征值 的一个近似值,且设 与其他特征值是分离的,即

p A j j

),( jipp ij

就是说 是 的主特征值,pj

1 1)( pIA

这时也可用反幂法计算特征值及特征向量 .

Page 52: 第 8 章  矩阵特征值计算

52

,))((max

)(

0

0

upIA

upIAu

k

k

k

其中 ,)()(

10

n

ii

kii

k xpupIA

,))((max

)(

0)1(

0

upIA

upIAv

k

k

k

设 有 个线性无关的特征向量 ,nnA R n nxxx ,,, 21

则 ),0(

10

j

n

iiixu

Page 53: 第 8 章  矩阵特征值计算

53

定理 11 设 有 个线性无关的特征向量,的特征值及对应的特征向量分别记为 及 ,

而 为 的近似值, 存在,且

nnA R n A

i ),,2,1( nixi

pj

1)( pIA

).( jipp ij

则对任意的非零初始向量 ,由反幂法迭代公式( 2.12 )构造的向量序列 满足

)0(0 ju

}{},{ kk uv

,)(max

lim)1(j

jk

k x

xu

,1

)max(lim)2(p

vj

kk

初始向量,000 vu

11)(

kk upIAv ( 2.12 )).,2,1()max(/ kvvu kkk

同理可得:

Page 54: 第 8 章  矩阵特征值计算

54

),当()(max

1 k

vp j

k

且收敛速度由比值 确定 . ppr iji

j

min/

由该定理知,对 ( 其中 ) 应用反幂法,可用来计算特征向量 .

pIA jp

jx

只要选择的 是 的一个较好的近似且特征值分离情况较好,一般 很小,常常只要迭代一二次就可完成特征向量的计算 .

p j

r

Page 55: 第 8 章  矩阵特征值计算

55

反幂法迭代公式中的 是通过解方程组 kv

1)( kk uvpIA

求得的 .

为了节省工作量,可以先将 进行三角分解 pIA

,)( LUpIAP

其中 为某个排列阵 .P

于是求 相当于解两个三角形方程组 kv

,1 kk PuLy

.kk yUv

Page 56: 第 8 章  矩阵特征值计算

56

可以按下述方法选择 :0u 选 使 0u

TPuLUv )1,,1,1(01

1 ( 2.13 )

用回代求解( 2.13 )即得 ,然后再按公式( 2.12 )进行迭代 .

1v

反幂法计算公式

1. 分解计算

.信息及且保存 ,,)( PULLUpIAP

2. 反幂法迭代

11 求解 )1,,1,1()1( vUv T

初始向量,000 vu

11)(

kk upIAv ( 2.12 )).,2,1()max(/ kvvu kkk

Page 57: 第 8 章  矩阵特征值计算

57

11111 /),max( vuv

,3,2)2( k

kkk yPuLy 求解 1)1

kkk vyUv 求解

)max()2 kk v

kkk vu /)3 计算

Page 58: 第 8 章  矩阵特征值计算

58

例 5 用反幂法求

410

131

012

A

的对应于计算特征值 (精确特征值为 )

的特征向量(用 5 位浮点数进行运算) .

2679.1 333

解 用部分选主元的三角分解将 分解为pIA

,)( LUpIAP

2679.1p其中

Page 59: 第 8 章  矩阵特征值计算

59

,

126807.07321.0

010

001

L

由 ,得 TUv )1,1,1(1

,)3400.8,9290.3,12692(1Tv

,

1029405.000

7321.210

17321.01

3

U

.

001

100

010

P

,)0.267950.73198,1,(1Tu

由 ,得 12 PuLUv

Page 60: 第 8 章  矩阵特征值计算

60

,)5467.4,14937,20404(2Tv

,)0.267960.73206,1,(2Tu

对应的特征向量是 3

,)0.267950.73205,1,()32,311,(3TTx

由此看出 是 的相当好的近似 . 2u 3x

特征值 ,26794901.1/12679.1 23

.26794912.1333

3 的真值为

Page 61: 第 8 章  矩阵特征值计算

8.3 正交变换与矩阵分解

61

Page 62: 第 8 章  矩阵特征值计算

62

8.3.1 豪斯霍尔德变换

定义 2 设向量 且 ,nw R 1wwT

TwwIwH 2)(

为初等反射阵 ( 或称为豪斯霍尔德变换 ).

如果记 , 则 Tnw ),,,( 21

.

2122

2212

2221

)(

221

22212

12121

nnn

n

n

wH

( 3.1 )

Page 63: 第 8 章  矩阵特征值计算

63

定理 12 设有初等反射阵 ,其中 则

TwwIH 2

,1wwT

(1) 是对称矩阵,即 H .HH T

(2) 是正交矩阵,即 H .1 HH

(3) 设 为对称矩阵,那么 亦是对称矩阵 .

A HAHAHHA 11

证明 只证 的正交性,其他都可通过验证得到 . H

)2)(2(2 TTT wwIwwIHHH

.)(44 IwwwwwwI TTT

Page 64: 第 8 章  矩阵特征值计算

64

是一个初等反射阵 .

初等反射阵的几何意义 .

考虑以 为法向量且过原点 的超平面 . w O 0: xwS T

设任意向量 ,nv R 则 ,yxv 其中 . SySx ,

xwwIHx T )2(

2

2

2u

uuIH

T

设向量 , 则显然0u

于是

xwwx T2 )0(. xwx T

Page 65: 第 8 章  矩阵特征值计算

65图 8-1

对于 ,Sy ywwIHy T )2(

从而对任意向量 , nv R

,vyxHv

其中 为 关于平面 S的镜面反射 (见图 8-1). v v

ywwy T2 .y

总有

Page 66: 第 8 章  矩阵特征值计算

66

定理 13 设 为两个不相等的 维向量,则存在一个初等反射阵 ,使

yx, n ,22

yx

H

证明 令 ,则得到一个初等反射阵 2

yx

yxw

TwwIH 2

而且 xyx

yx

yxxHx TT )(2 2

2

.yHx

),(2 2

2

TT yxyx

yxI

.))((

2 2

2yx

xyxxyxx

TT

Page 67: 第 8 章  矩阵特征值计算

67

因为 )()(

2

2yxyxyx T

所以 .)( yyxxHx

是使 成立的唯一长度等于 1 的向量 ( 不计符号 ). w yHx

),(2 xyxx TT

Page 68: 第 8 章  矩阵特征值计算

68

定理 14 (约化定理 ) 设 ,则存在初等反射阵 ,使 ,其中

0),,,( 21 Tnxxxx

H 1eHx

,1 TuuIH ,)sgn(21 xx

,1exu ).(2

11

2

2xu

( 3.2 )

证明 记 ,设 ,取 ,则有 于是由定理 13 存在 变换

1ey 2

x

,22

yx H

,2 TwwIH

其中 , 使21

1

ex

exw

.1eyHx

yx

Page 69: 第 8 章  矩阵特征值计算

69

记 .),,,( 211T

nuuuexu

2

2

2u

uuIH

T

其中 .2

1,),,,(

2

221 uxxxu Tn

于是

,1 TuuI

显然

2

22

1u ))((

2

1 22

22

21 xxx ).( 1x

如果 和 异号,那么计算 时有可能出现两相近数相减的情况,有效数字可能损失 .

1x 1x

Page 70: 第 8 章  矩阵特征值计算

70

取 和 有相同的符号,即取 1x

21)sgn( xx .)sgn(2/1

1

21

n

iixx

在计算 时,为了避免上溢或下溢,将 规范化 x

,

xd ,)0(设 dd

xx

则有 使 , H 1exH

.

,/,/,/

,)(2

1

HH

dduud

uuIH T

其中

Page 71: 第 8 章  矩阵特征值计算

71

例 6 设 ,则 . 取Tx )1,1,5,3( 62x ,6k

,542

1,108,),1,1,5,9(

2

2

2

21 uukexu T

,

53159

15359

552945

994527

54

11

TuuIH

可以验证 .)0,0,0,6( THx

Page 72: 第 8 章  矩阵特征值计算

8.3.2 吉文斯变换

72

设 , 则变换 2R, yx

Pxyx

x

y

y

或,

cossin

sincos

2

1

2

1

是平面上向量的一个旋转变换,其中

cossin

sincos)(P

为正交矩阵 .

Page 73: 第 8 章  矩阵特征值计算

73

其中 ,),,,(,),,,( 2121T

nT

n yyyyxxxx

中变换: nR Pxy

j

i

jiPP

ji

1

1

cossin

1

1

sincos

1

1

),,(

( 3.3 )

Page 74: 第 8 章  矩阵特征值计算

74

称为 中平面 的旋转变换,也称吉文斯变换 .nR },{ ji xx

),(),,( jiPjiPP 称为平面旋转矩阵 .

显然, 具有性质: ),,( jiP

(1) 与单位阵 只是在 位置元素不一样,其他相同 .

P I ),(),,(),,(),,( jjijjiii

(2) 为正交矩阵 P ).( 1 TPP

(3) ( 左乘 ) 只需计算第 行与第 行元素,AjiP ),( i j

即对 有 nmijaA )(

Page 75: 第 8 章  矩阵特征值计算

75

).,,2,1( nla

a

cs

sc

a

a

jl

il

jl

il

其中 .sin,cos sc

(4) (右乘 ) 只需计算第 列与第 列元素),( jiAP i j

).,,2,1(,, mlcs

scaaaa ljliljli

利用平面旋转变换,可使向量 中的指定元素变为零 . x

Page 76: 第 8 章  矩阵特征值计算

76

Tni xxxPx

ji

),0,,(

1

其中 )./(arctan,22ijjii xxxxx

证明 取 . ijii xxsxxc /sin,/cos

由 , Tnji xxxxxxxjiP ),,,,,,,(),,( 21

定理 15 (约化定理 ) 设 ,其中 不全为零,则可选择平面旋转阵 ,使

Tnji xxxxx ),,,( 1

ji xx , ),,( jiP

利用矩阵乘法,显然有

,, jijjii cxsxxsxcxx

).,( jikxx kk

Page 77: 第 8 章  矩阵特征值计算

77

由 的取法得 sc,

.0,22 jjii xxxx

Page 78: 第 8 章  矩阵特征值计算

78

( 1 )第 1 步约化,由设有 使 ,则可选择吉文斯变换 ,将 处的元素化为零 .若 ,则存在 使得

8.3.3 矩阵的 QR 分解与舒尔分解

定理 16 设 非奇异,则存在正交矩阵 使 其中 为上三角阵 .

nnA R P

,RPA R

证明 先用吉文斯变换给出构造 的方法 .P

)1( njj 01 ja

),,2(01 nja j ),1( jP

APnP )2,1(),1( ,)2(

)2()2(2

)2(2

)2(22

11211

A

aa

aa

rrr

nnn

n

n

),1( jP 1ja

Page 79: 第 8 章  矩阵特征值计算

79

可简记为 , )2(1 AAP ).2,1(),1(1 PnPP 其中

(2) 第 步约化:k 设上述过程已完成第 1 步至第 步,1k

于是有

APPPk 121 .)(

)()(

)()(

2222

111211

k

knn

knk

kkn

kkk

nk

nk

A

aa

aa

rrr

rrrr

由设有 使 ,)( njkj 0)( kjka 若 , ),,1(0)( nkja k

jk

则可选择吉文斯变换 , ),,1)(,( nkjjkP 使

Page 80: 第 8 章  矩阵特征值计算

80

)()( )1,(),( kkk AkkPnkPAP

,)1(11

k

kk AAPPP

其中 ).1,(),( kkPnkPPk

(3) 继续上述约化过程,最后则有 ,(121 )上三角阵RAPPPn

令 ,它是一个正交阵,有 121 PPPP n .RPA

也可以用豪斯霍尔德变换构造正交阵 ,记 ,它的第一列记为 . 不妨设 ,可按公式( 3.2 )找到矩阵 ,使

P AA )0(

)0(1a 0)0(

1 a

Tnn uuIHH 111

111 ,R

Page 81: 第 8 章  矩阵特征值计算

81

于是

,0

)()1(

)1(1)0(

1)0(

21)0(

11)0(

1)1(

A

baHaHaHAHA n

其中 .R),,( )1()1()1(1

)1(2

)1(1

)1( nnT

naaaA

.R)0,,0,1(, 111)0(

11nTeeaH

一般地,设

,0 )1(

)1()1()1(

j

jjj

A

BDA

Page 82: 第 8 章  矩阵特征值计算

82

其中 为 阶方阵,其对角线以下元素均为 0 , 为 阶方阵,设其第一列为 ,可选择 的豪斯霍尔德变换 ,使 )()(R jnjn

jH

)1( jD 1j )1( jA

1 jn )1(1

ja 1 jn

.R)0,,0,1(, 111

)1(1

jnTj

jj eeaH

根据 构造 阶的变换矩阵 为jH nn jH

,0

01

j

jj H

IH

于是有

,0 )(

)()()1()(

j

jjj

jj

A

BDAHA

Page 83: 第 8 章  矩阵特征值计算

83

和 有类似的形式,只是 为 阶方阵,其对角线以下元素是 0 ,这样经过 步运算得到

,)1(121 RAAHHH n

n

)( jA )1( jA )( jD j

1n

其中 为上三角阵, 为正交矩阵 .

从而有

)1( nAR 121 HHHP n

.RPA

Page 84: 第 8 章  矩阵特征值计算

84

定理 17 (QR 分解定理 ) 设 为非奇异矩阵,则存在正交矩阵 与上三角阵 ,使 有分解

nnA R

A

,QRA

且当 的对角元为正时,分解是唯一的 .

Q R

证明 从定理 16 知,只要令 就有 ,下面证分解的唯一性,设有两种分解

TPQ QRA

,2211 RQRQA

其中 为正交阵, 为对角元均为正的上三角阵,则21,QQ21,RR

R

Page 85: 第 8 章  矩阵特征值计算

85

,111111 RRRQQRAA TTTT

.222222 RRRQQRAA TTTT

由假设及对称正定矩阵 的楚列斯基分解的唯一性,则得 . 从而可得

AAT

21 RR .21 QQ

定理 16保证了 可分解为 . 若 非奇异,则 也非奇异 . 如果不规定 的对角元为正,则分解不是唯一的 .

一般按吉文斯变换或豪斯霍尔德变换方法作出的分解 , 的对角元不一定是正的,设上三角矩阵 ,只要令

A QRA A R

R

R

QRA )( ijrR

),,,(diag11

11

nn

nn

r

r

r

rD

Page 86: 第 8 章  矩阵特征值计算

86

则 为正交矩阵, 为对角元是 的上三角阵,这样 便是符合定理 17 的唯一 QR 分解 .

QDQ RDR 1 iir

RQA

Page 87: 第 8 章  矩阵特征值计算

87

Page 88: 第 8 章  矩阵特征值计算

88

Page 89: 第 8 章  矩阵特征值计算

89

Page 90: 第 8 章  矩阵特征值计算

90

例 7 设用豪斯霍尔德变换作矩阵 的 QR 分解A

.

131

111

322

A

解 按( 3.2 )式找豪斯霍尔德矩阵 . 使 331 R H

,

0

0

*

1

1

2

1

H

则有

,

908248.00917517.0408248.0

0917517.0908248.0408248.0

408248.0408248.0816497.0

1

H

Page 91: 第 8 章  矩阵特征值计算

91

.

22474.244949.30

224745.044949.10

44949.2044949.2

1

AH

再找 ,使 ,得

222 R H TTH )0(*,)44949.3,44949.1(2

.

654654.000

13809.274166.30

44949.2044949.2

)( 12

AHH

,

387392.0921915.00

921915.0387392.00

001

0

01

22

HH

Page 92: 第 8 章  矩阵特征值计算

92

这时一个上三角阵,但对角元皆为负数,只要令 ,则有 是对角元为正的上三角阵 . 取

则得

ID

AHHR 12

,

436436.0801783.0408248.0

872872.0267261.0408248.0

218218.0534522.0816497.0

)( 12

THHQ

.QRA

Page 93: 第 8 章  矩阵特征值计算

93

除了 QR 分解,矩阵的舒尔( Schur )分解也是重要的工具,它解决矩阵 可约化到什么程度的问题,对复矩阵 ,则存在酉矩阵 ,使 为一个上三角矩阵 ,其对角元素就是 的特征值, 称 的舒尔分解,对于实矩阵 ,其特征值可能有复数,不能用正交相似变换约化为上三角阵,但它可以约化为以下形式 .

nnA R

nnA C U AUU T

R A HURUA A

A

Page 94: 第 8 章  矩阵特征值计算

94

定理 18 ( 实舒尔分解)设 ,则存在正交矩阵 ,使

,222

11211

mm

m

m

T

R

RR

RRR

AQQ

其中对角块 为一阶或二阶方阵 .),,2,1( miRii

且每个一阶 是 的实特征值,每个二阶对角块 的两个特征值是 的两个共轭复特征值 .

iiR A jjR

A

nnA R

Q

( 3.4 )

Page 95: 第 8 章  矩阵特征值计算

8.3.4 用正交相似变换约化一般矩阵为上海森柏格阵

95

设 . nnijaA R)(

我们的目标是选择初等反射阵 , 221 ,,, nUUU

使 经正交相似变换约化为一个上海森伯格阵 . A

Page 96: 第 8 章  矩阵特征值计算

96

( 1 ) 设

nnnn

n

n

aaa

aaa

aaa

A

21

22221

11211

,)1(

221

)1(1211

Ac

Aa

选择初等反射阵TuuIR 11

111

1111 ecR

其中 ,不妨设 , 否则这一步不需要约化 .

11211 R),,( nTnaac 01 c

使

Page 97: 第 8 章  矩阵特征值计算

97

,)(sgn2/1

2

21211

n

iiaa

,1111 ecu ( 3.5 )

).( 21111 a

其中

,1

11

RU

Page 98: 第 8 章  矩阵特征值计算

98

1112 UAUA

1)1(

22111

1)1(

1211

RARcR

RAa

)2()2(3

)2(2

)2(3

)2(33

)2(32

)2(2

)2(23

)2(221

)2(1

)2(13

)2(1211

0

0

nnnn

n

n

n

aaa

aaa

aaa

aaaa

,0 )2(

222

)2(12

)2(11

Ac

AA

其中 .R,R),,( )2()2()2(22

2)2(2

)2(322

nnnTn Aaac

Page 99: 第 8 章  矩阵特征值计算

99

(2) 第 步约化:k

重复上述过程,设对 已完成第 1 步,…,第 步正交相似变换,

A 1k

,111 kkkk UAUA

或 ,11111 kkk UUAUUA

即有

)()(1,

)(

)(,1

)(1,1

)(,1

)()(1,

)(1

)(2

)(1,2

)(2

)1(1,2

)2(221

)(1

)(1,1

)(1

)1(1,1

)2(12

)1(11

knn

kkn

knk

knk

kkk

kkk

kkn

kkk

kkkk

kn

kk

kk

kk

kn

kk

kk

kk

k

aaa

aaa

aaa

aaaaa

aaaaaa

A

Page 100: 第 8 章  矩阵特征值计算

100

,0 )(22

)(12

)(11

kn

k

Ac

AA

knk

kk

kk

其中 ,R),,( )()(,1

knTknk

kkkk aac

.R )()()(22

knknkA 为 阶上海森伯格阵, k)(11kA

设 ,于是可选择初等反射阵 使 ,0kc kR 1ecR kkk

其中 , 计算公式为 kR

,)(sgn2/1

1

2)()(,1

n

ki

kik

kkkk aa

Page 101: 第 8 章  矩阵特征值计算

101

,1ecu kkk

),( )(,1

kkkkkk a

( 3.6 ).1 Tkkkk uuIR

,1

kk R

U

k

kkkk

kkk

kkkkRARcR

RAAUAUA

)(22

)(12

)1(11

10

Page 102: 第 8 章  矩阵特征值计算

102

,0 )1(

221

)1(12

)1(11

kk

kk

Ac

AA( 3.7 )

其中 为 阶上海森伯格阵 . )1(11

kA 1k

第 步约化只需计算 及 .k kk RA )(

12 kk

k RAR )(22

当 为对称阵时,只需计算 . A kk

k RAR )(22

Page 103: 第 8 章  矩阵特征值计算

103

221122 nn UUAUUUU

总结上述讨论,有

( 3 ) 重复上述过程,则有

)1(1

)2(1,12

)3(332

)2(221

11

nnnn

nnnn

a

a

a

a

a

.1 nA

Page 104: 第 8 章  矩阵特征值计算

104

定理 19 (豪斯霍尔德约化矩阵为上海森伯格阵)设 则存在初等反射阵 使,R nnA 221 ,,, nUUU

).(上海森伯格阵00221122 HAUUUUAUUUU Tnn

本算法约需要 次乘法运算,要明显形成 还需

要附加 次乘法 .

3

3

5n 0U

3

3

2n

Page 105: 第 8 章  矩阵特征值计算

105

例 8 用豪斯霍尔德方法将

724

232

734

1AA

矩阵约化为上海森伯格阵 .

解 使 , 1111 ecR

Tc )4,2(1

,1R选取初等反射阵 其中

(1) 计算 :1R

,4)4,2max( )(规范化)1,5.0(11Tcc

Page 106: 第 8 章  矩阵特征值计算

106

,118034.125.1

则有

1111 ecR

,)1,618034.1(111Tecu

,809017.1)5.0(1

,472136.41

.111

11TuuIR

(2) 约化计算:

令 ,0

01

11

RU

Page 107: 第 8 章  矩阵特征值计算

107

1112 UAUA .

200000.2399999.00

400000.0799999.7472136.4

447214.0602631.74

H

如果 是对称的,则 也对称,这时 是一个对称三对角阵 .

A 00 AUUH T H

Page 108: 第 8 章  矩阵特征值计算

108

定理 20 (豪斯霍尔德约化对称阵为对称三对角阵)设 为对称矩阵,则存在初等反射阵使

.

1

112

221

11

221122 C

cb

bcb

bcb

bc

UUAUUUU

nn

nnn

nn

nnA R 221 ,,, nUUU

Page 109: 第 8 章  矩阵特征值计算

109

证明 由定理 17 ,存在初等反射阵 使 为上海森伯格阵 ,且 亦是对称阵,因此, 为对称三对角阵 .

由上面讨论可知, 当 为对称阵时 ,由

A kkkkk UAUAA 1

的一步约化计算中只需计算 及 . kR kk

k RAR )(22

又由于 的对称性,故只需计算 的对角线以下元素 .

A kk

k RAR )(22

注意到 ).)(( )(

221)(

221)(

22Tkk

kk

kTkkkk

kk uuAAuuIRAR

221 ,,, nUUU

1nA 1nA

1221122 nnn AHUUAUUUU

Page 110: 第 8 章  矩阵特征值计算

110

引进记号 ,R)(

221 kn

kk

kk uAr

,R)(2

1kn

kkTk

kkk ururt

则 Tkk

Tkk

kk

kk uttuARAR )(

22)(

22

).,,1,,,1( ikjnki

对对称阵 用初等反射阵正交相似约化为对称三对角

阵大约需要 次乘法 .

A

3

3

2n

Page 111: 第 8 章  矩阵特征值计算

8.4 QR 方 法

111

8.4.1 QR 算法

QR 方法是一种变换方法,是计算一般矩阵(中小型矩阵)全部特征值问题的最有效方法之一 .

QR 方法主要用来计算: ( 1 )上海森伯格阵的全部特征值问题,

( 2 )计算对称三对角矩阵的全部特征值问题,且 QR

方法具有收敛快,算法稳定等特点 .

Page 112: 第 8 章  矩阵特征值计算

112

设 ,且对 进行 QR 分解,即 nnA R A

,QRA

对于一般矩阵 (或对称矩阵),则首先用豪斯霍尔德方法将 化为上海森伯格阵 (或对称三对角阵),

nnA R

A B

然后再用 QR 方法计算 的全部特征值 . B

其中 为上三角阵, 为正交阵 .R Q

.AQQRQB T

显然, 是由 经过正交相似变换得到,因此 与 特征值相同 .

B BA A

于是可得到一新矩阵

Page 113: 第 8 章  矩阵特征值计算

113

再对 进行 QR 分解,又可得一新的矩阵,重复这一过程可得到矩阵序列:

B

设 1AA

将 进行 QR 分解 1A 111 RQA

作矩阵 111112 QAQQRA T

求得 后将 进行分解 kA kA kkk RQA

形成矩阵 kkTkkkk QAQQRA 1

QR 算法,就是利用矩阵的 QR 分解,按上述递推法则构造矩阵序列 的过程 . }{ kA

Page 114: 第 8 章  矩阵特征值计算

114

只要 为非奇异矩阵,则由 QR 算法就完全确定 . }{ kAA

定理 21 (基本 QR 方法)设 . 构造 QR 算法: nnAA R1

);( 为上三角阵其中 , kk

Tkkkk RIQQRQA

记 ,则有 1221

~,

~RRRRQQQQ kkkk

( 1 ) 相似于 ,即 1kA kA ;1 kkTkk QAQA

( 2 ) )()( 211211 kT

kk QQQAQQQA

( 3 ) 的 QR 分解式为 kA .~~kk

k RQA

( 4.1 )),,2,1(1 kQRA kkk

;~~

1 kTk QAQ

Page 115: 第 8 章  矩阵特征值计算

115

证明 ( 1 ) ,( 2 )显然,现证( 3 ) .

用归纳法, 显然,当 时有 ,1k 11111

~~RQRQA

设 有分解式 1kA

,~~

111

kk

k RQA

于是 121 )(~~

RRQQQRQ kkkk

其中利用了 .~~

11 kTkk QAQA

11121 RRAQQQ kkk

11

~~ kkk RAQ

.~~

11k

kk ARQA

Page 116: 第 8 章  矩阵特征值计算

116

由定理 17 知,将 进行 QR 分解,即将 用正交变换(左变换)化为上三角矩阵

kA kA

,kkTk RAQ

其中 , 故 121 PPPQ nTk

kkTkk QAQA 1 .121121

Tn

TTkn PPPAPPP

这就是说 可由 按下述方法求得: 1kA kA

( 1 ) 左变换 ( 上三角阵); kkn RAPPP 121

( 2 ) 右变换 .1121 kTn

TTk APPPR

Page 117: 第 8 章  矩阵特征值计算

117

定理 22 ( QR 方法的收敛性)设 , nn

ijaA R)(

(1) 如果 的特征值满足: ; A 021 n

(2) 有标准型 其中 ,且设 有三角分解 ( 为单位下三角阵,为上三角阵),则由 QR 算法产生的 本质上收敛于上三角矩阵,即

A 1XDXA ),,,(diag 21 nD

}{ kA

1X LUX 1 L U

)(本质上 时当*

**

2

1

kRA

n

k

Page 118: 第 8 章  矩阵特征值计算

118

若记 ,则 )( )(kijk aA

;lim)1( )(i

kii

ka

( 4.2 )

当 时 极限不一定存在 . ji )(kija

( 4.3 );0lim,)2( )(

kij

kaji 时当

Page 119: 第 8 章  矩阵特征值计算

119

定理 23 如果对称矩阵 满足定理 20 的条件,则由 QR

算法产生的 收敛于对角阵 .

A

),,,(diag 21 nD }{ kA

关于 QR 算法收敛性的进一步结果为:

设 ,且 有完备的特征向量集合,如果 的等模特征值中只有实重特征值或多重复的共轭特征值,则由 QR 算法产生的 本质收敛于分块上三角矩阵(对角块为一阶和二阶子块)且对角块中每一个 2×2子块给出 的一对共轭复特征值,每一个一阶对角子块给出 的实特征值,

nnA R A A

}{ kA

A

A

Page 120: 第 8 章  矩阵特征值计算

120

,**

****

*****

1

1

l

mk

B

BA

其中 为 2×2子块,它给出 一对共轭特征值 . iBnlm ,2 A

Page 121: 第 8 章  矩阵特征值计算

8.4.2 带原点位移的 QR 方法

121

则 元素将以收敛因子 线性收敛于零,)1,( nn )/()( 1 ss nn

定理 22 中 的速度依赖于比值 ,当 很小时,收敛较快,

nknn

ka

)(lim 1/ nnnr

nr

如果 为 的一个估计,且对 运用 QR 算法,sn sIA

为了加速收敛,选择数列 ,按下述方法构造矩阵序列 ,称为带原点位移的 QR 算法 .

}{ ks

}{ kA

),( nn 元素将比在基本算法中收敛更快 .

Page 122: 第 8 章  矩阵特征值计算

122

对 进行 QR 分解 IsA 11 1111 RQIsA

形成矩阵 IsQRA 1112 IsQIsAQT11111 )(

111 QAQT

求得 后,将 进行 QR 分解 kA IsA kk

,4,3, kRQIsA kkkk ( 4.4 )

形成矩阵

kkTkkkkk QAQIsQRA 1

( 4.5 )

设 nnAA R1

Page 123: 第 8 章  矩阵特征值计算

123

.~~

)( kkRQA

在带位移 QR 方法中,每步并不需要形成 和 ,可按下面的方法计算:

Q R

首先用正交变换(左变换)将 化为上三角阵,IsA kk

即 kkkn RIsAPPP )(121

如果令 ,则有 ,并且矩阵 有 QR 分解式

1221

~,

~RRRRQQQQ kkkk k

Tkk QAQA

~~1

)()())(( 21 AIsAIsAIsA n

当 为上海森伯格阵或对称三对角阵时, 可为平面旋转阵,A iP

Page 124: 第 8 章  矩阵特征值计算

124

.)( 1211211 IsPPPIsAPPPA kTn

TTkknk

下面考虑用 QR 方法计算上海森伯格阵的特征值 .

设 为上海森伯格阵,即 B

.

1,

22221

11211

nnnn

n

n

bb

bbb

bbb

B

如果 ,则称 为不可约上海森伯格阵 . )1,,2,1(0,1 nib ii B

Page 125: 第 8 章  矩阵特征值计算

125

设 ,由定理 17 可选正交阵 使 nnA R 0U 00 AUUH T

对 应用 QR 算法 . H为上海森伯格阵,

QR 算法: 1HH

对于 ,2,1k

kkk

kkk

QRH

RQH

1

分解QR )(( 4.6 )

假设由( 4.6 )迭代产生的每一个上海森伯格阵 都是不可约的,

kH

否则,若在某步有

.0 22

12111 pn

p

H

HHH

pnp

k

Page 126: 第 8 章  矩阵特征值计算

126

于是,这个问题就分离为 与 两个较小的问题 .11H 22H

当 或 时,有1np 2n

1

1

0

11

)1(1211

1

n

h

HHH

n

knn

k

,2

2

**

**0

22

1211

1

nHH

H

n

k

由此可得到 的特征值 ,或由 右下角二阶阵的特征值求出 .

H)1( k

nnn h 1kH

nn ,1

Page 127: 第 8 章  矩阵特征值计算

127

对降阶的 ,用类似的方法可求出 的其余特征值 .H11H

实际上,每当 的次对角元适当小时,就可进行分离 . 1kH

),( 1,1,1 pppppp hhh

就把 视为零 . pph ,1

一般取 ,其中 是计算中有效数字的位数 .t10 t

例如,如果

Page 128: 第 8 章  矩阵特征值计算

8.4.3 用单步 QR 方法计算上海森伯格阵特征值

128

上海森伯格阵的单步 QR 方法: 选取 并设 ks

).( 为不可约阵设1

1,

22221

11211

HH

hh

hhh

hhh

H

nnnn

n

n

对于 (用位移来加速收敛) ,2,1k

IsQRH

RQIsH

kkkk

kkkk

1

由 实际计算为 1 kk HH

Page 129: 第 8 章  矩阵特征值计算

129

( 1 )左变换: ).(上三角阵1111223,1 )( RIsHPPP nn

( 2 )右变换: .1,1231212 IsPPPRH Tnn

TT

其中 为平面旋转阵 . )1,(1, kkPP kk

( 1 ) 左变换计算 ),,,2,1(1 nkshh kkkk

确定平面旋转阵 使 )2,1(12 PP

.0

0

)(

1,

33332

)2(2

)2(23

)2(22

)2(1

)2(13

)2(1211

1112

nnnn

n

n

n

hh

hhh

hhh

hhhr

IsHP

Page 130: 第 8 章  矩阵特征值计算

130

( 4.7 ).

1,

,1,1

)()(

)(,1

)(,11,1

)2(1

)2(1

)2(1,111

nnnn

nkkk

kkn

kkk

knk

kkkkk

nkk

hh

hh

hh

hhr

hhhr

设已完成第 1 次, 第 次左变换,即有 1k

)( 111223,1 IsHPPP kk

第 次变换的工作就是要确定平面旋转阵 , )1,(1, kkPP kkk

使 变为 0 ,且完成第 次左变换kkh ,1 k

Page 131: 第 8 章  矩阵特征值计算

131

))(( 1112,11, IsHPPP kkkk

这时只需计算( 4.7 )阵第 行及第 行元素 .k 1k

这是因为平面旋转阵 只改变矩阵的 行和 行 .k 1k1, kkP

继续这一过程,最后有

).(上三角阵1111223,1 )( RIsHPPP nn

( 2 ) 右变换计算 ,1,1231212 IsPPPRH T

nnTT

在第 次右变换 中,只需计算 第 列及第 列元素 .

k Tkk

T PPR 1,121 )( Tkk

T PPR ,1121

k 1k

Page 132: 第 8 章  矩阵特征值计算

132

).,,2,1(1,, nkshh kkkk

最后 IsPPRH T

nnT

1,11212

).(为上海森伯格阵

**

***

***

由上述讨论指出,如果 为上海森伯格阵,nnH R

则用 QR 算法产生的 亦是上海森伯格阵 . ,,,, 32 kHHH

即上海森伯格阵在 QR 变换下形式不变 .

Page 133: 第 8 章  矩阵特征值计算

133

讨论一个极端的情况 定理 24 设:( 1 ) 为不可约上海森伯格阵;nnH R

( 2 ) 为 一个特征值 . 1HH

IRQH

QRIH

2

1 QR )( 分解

中 .,0 )2()2(1, nnnn hh

则 QR 方法

证明 记

).(上三角阵

nn

n

r

rr

R 111

Page 134: 第 8 章  矩阵特征值计算

134

由设 为不可约阵,则上海森伯格阵 亦为不可约 . 1H IH 1

由将上海森伯格阵 约化为上三角阵 的平面旋转变换的取法可知

IH 1 R

),1,,2,1(0,1 nihr iiii

又因为 为奇异矩阵,RIHQT )( 1 从而得到 . 0nnr

因此, 的最后一行为 ,2H ),0,,0,0( 即

.,0 )2()2(1, nnnn hh

这样在 QR 方法迭代中,参数 可选为 ,即 的 元素 .

ks )(knnh kH ),( nn

通常可以作为特征值的最好近似 .

Page 135: 第 8 章  矩阵特征值计算

135

算法 1 (上海森伯格矩阵的 QR 算法)

sIQRH

hsRQsIH nn

112

111 QR )()( 取分解

且 覆盖 2H )( 1HHH

shh 1111.1

nnH R 给定 为上海森伯格阵,本算法计算

1,,2,1.2 对于 nk

shh kkkk 1,11,1)1(

使确定 )1,()2( kkP

Page 136: 第 8 章  矩阵特征值计算

136

0,1

kk

kk

kk

kk

kk r

h

h

cs

sc

左变换)3(

nkj ,,对于

jk

kj

kk

kk

jk

kj

h

h

cs

sc

h

h

,1,1

1,,2,1.3 nk 对于

右变换)1(

1,,2,1 ki 对于

Page 137: 第 8 章  矩阵特征值计算

137

kk

kkkiikkiik cs

schhhh ),), 1,1, ((

如果用不同的位移 ,反复应用算法 3 就产生正交相似的上海森伯格阵序列 .

)(knnk hs

,,,, 21 kHHH

当 充分小时,可将它置为零就得到 的近似特征值 .

)(1,

knnh

)(knnn h

H

shh kkkk )2(

shh nnnn .4

再将矩阵降阶,对较小矩阵连续应用算法 .

Page 138: 第 8 章  矩阵特征值计算

138

例 9 用 QR 方法计算对称三对角矩阵

.

410

131

012

1

AA

的全部特征值 .

解 选取 ,则 )(knnk as .41 s

RIsAPP )( 111223

,

81650.0

3651.00954.1

4472.0342.12361.2

Page 139: 第 8 章  矩阵特征值计算

139

IsPRPA TT123122

.

3333.47454.00

7454.02667.34899.0

04899.04000.1

,

6884.42724.00

2724.00202.32017.0

02017.02915.1

3

A

,

7320.40072.00

0072.09943.20993.0

00993.02737.1

4

A

Page 140: 第 8 章  矩阵特征值计算

140

,

7321.400

09986.20498.0

00498.02694.1

5

A

.9986.20498.0

0498.02694.1~5

A

现在收缩,继续对 的子矩阵 进行变换,得到 5A22

5 R~ A

IsPIsAPA T51255125 )

~(

~

,0000.3104

1042680.15

5

Page 141: 第 8 章  矩阵特征值计算

141

故求得 近似特征值为 A

.2680.1,0000.3,7321.4 123

而 的特征值是 A

.2679.133,0.3,7321.433 123

算法 1 是在实数中进行选择位移 , 不能逼近一个复特征值,所以算法 3 不能用来计算 的复特征值 .

)(knnk hs

H

Page 142: 第 8 章  矩阵特征值计算

8.4.4* 双步 QR 方法(隐式 QR 方法)

142

第 3 节中将 经过正交相似变换化为上海森伯格矩阵 ,即 ,其中 不是唯一的 .

nnA R

H HAUU T 00 H

但是,如果规定了正交矩阵 的第一列,则 和 除差 ±1因子外唯一 .

0U 0U H

定理 25 (隐式 Q 定理)设 , 且: nnA R

( 1 ) 及 都是正交阵,且有 都是上海森伯格阵 .

),,,( 21 nqqqQ ),,,( 21 nvvvV

GAVVHAQQ TT ,

( 2 ) 为不可约上海森伯格阵,且 (即 与 第 1 列相同) .

H 11 vq Q V

Page 143: 第 8 章  矩阵特征值计算

143

( 1 ) ,且 ;ii qv ),,2(1,1, nigh iiii

( 2 ) ,其中 ,HDDG 1 )1,,1,1( diagD

则:

即 和 在 意义上“本质上相等” . H G HDDG 1

算法 1 不能用来求 的一个复特征值 .H

当 的按模最小特征值是复数时,位移参数 可取为某步 右下角的二阶矩阵

H 1, kk ss

kH

nnnn

nnnn

hh

hhG

1,

,11,1 ( 4.8 )

的特征值 .

Page 144: 第 8 章  矩阵特征值计算

144

当 的特征值 与 为复数时,如果应用算法 1 就要引进复数运算,这对于实矩阵 是不必要的 .

G 1s 2s

H

在某些条件下,可以用正交相似变换将 约化为实舒尔型 .

H

隐式位移的 QR 方法,即用 与 作位移连续进行二次单步的 QR 迭代,使用复位移,又避免复数运算 .

1s 2s

( 1 ) 设 为上海森伯格阵,取共轭复数 作两步位移的 QR 方法,即

nnHH R1

21, ss

,1111 RQIsH

,1111112 QHQIsQRH T

Page 145: 第 8 章  矩阵特征值计算

145

,2222 RQIsH

显然 有 QR 分解 ))(( 2111 IsHIsHM

.QRM ( 4.10 )

事实上,由 (4.9) 式并利用

22121122 )()( RQQIsHQIsH T

,1211123333 QHQQQHQQIsQRH TTT

( 4.9 )., 1221 RRRQQQ 其中

1121 )( RQIsHM 111221 )( RQQRQQ T

Page 146: 第 8 章  矩阵特征值计算

146

且 阵为实矩阵,M 这是因为(即使 特征值为复数) G

IssHssHM 211212

1 )( ( 4.11 )

其中 ,1,121 shhss nnnn

于是,( 4.10 )式为实矩阵 的 QR 分解,并且可以选取 和 使 为实的正交阵 .

M

1Q 2Q 21QQQ

由此得出

.1221 QRRRQQ

为实数 .

thhhhss nnnnnnnn ,11,1,121

.QRM ( 4.10 )

Page 147: 第 8 章  矩阵特征值计算

147

QHQQQHQQH TT1211213 )()(

是实矩阵 .

如果用下述算法就能保证 是实矩阵 3H

(a) 直接形成实矩阵 tIsHHM 12

1

(b) 计算 阵的实 QR 分解 M QRM

(c) 令 QHQH T13

但是 (a) 需要 次乘法运算,不实用 . )( 3nO

( 2 ) 根据隐式 Q 定理,如果按下述算法进行,就有可能用 次运算来实现从 到 的转换 . )( 2nO 1H 3H

(a′) 求与 有相同第一列的正交阵 Q0P

Page 148: 第 8 章  矩阵特征值计算

148

(b′) 应用豪斯霍尔德方法将 化为一个上海森 伯格阵,即

010 PHPT

.)( 221010122 HPPPPHPPPP nT

n

记 , 上式为 210 nPPPQ

.1 HQHQ T

显然, 的第一列与 的第一列相同,即 与 第一列相同( ) .

Q0P Q Q

1101 QeePeQ

若 与 两者都是不可约上海森伯格阵,QHQT1 QHQ T 1

则由隐式 Q 定理 与 本质上相等 . H 3H

( 3 ) 如何寻求正交阵 . 0P

Page 149: 第 8 章  矩阵特征值计算

149

由于 ( 为 的 QR 分解),则 QRM M

.11111 QereRQMe

于是,对 阵的第一列(非零)寻求初等反射阵 ,M 0P

说明 第一列即是 第一列的一个倍数 .Q M

)(其中 1111110 )( rerMeP

即 .10111 ePrMe

这说明 与 具有相同的第一列 . 0P Q

使

由于 , 则 ))(( 21 IsHIsHM

Page 150: 第 8 章  矩阵特征值计算

150

TzyxMe )0,,0,,,(1

其中

2112211111 ))(( hhshshx

2112221211 )()( hshhshy

,112112212

11 tshhhhh

( 4.12 ).3221hhz

),( 221121 shhh

双步 QR 方法:设 为不可约上海森伯格阵 . nnHH R1

(a) 计算 阵的第一列 . M 即按( 4.12 )式计算 ;)0,,0,,,(1

TzyxMe

(b) 确定初等反射阵 使 0P

,)( 110 eMeP

Page 151: 第 8 章  矩阵特征值计算

151

即确定初等反射阵 , 使 330 R R

;10 e

z

y

x

R

;

3

300

nI

RP

(c) 计算初等反射阵 , 221 ,,, nPPP

HPPPPHPPPP nn 221010122 )(

为上海森伯格阵 .

则 与 第一列相同 ,21QQQ 210 nPPPQ

且 . 3HH

使

Page 152: 第 8 章  矩阵特征值计算

152

这样上面的算法就完成了从 到 的变换,但没有明显的应用到位移 和 .

1H 3H

1s 2s

Page 153: 第 8 章  矩阵特征值计算

153