模式识别 Pattern Recognition

模式识别模式识别Pattern RecognitionPattern Recognition

武汉大学电子信息学院

线性代数与概率统计基础线性代数与概率统计基础补充补充材料材料

线性代数与概率统计基础 2

行列式与线性方程组行列式与线性方程组矩阵矩阵向量向量矩阵的特征值与特征向量矩阵的特征值与特征向量二次型二次型多元随机变量的统计特征多元随机变量的统计特征多元随机变量协方差矩阵的性质多元随机变量协方差矩阵的性质二次型化为标准形二次型化为标准形梯度（下降）法梯度（下降）法

模式识别导论补充补充材料材料


行列式与线性方程组行列式与线性方程组行列式：行列式：

1 2

1 2

11 12 1

21 22 2 ( )1 2

1 2

( 1) n

n

n

n p p pp p np

n n nn

a a a

a a aa a a

a a a

行列式的计算：行列式的计算：• 化为三角行列式计算：化为三角行列式计算：• 按行（列）展开计算：按行（列）展开计算：

11

21 2211 22

1 2

0 0

0nn

n n nn

a

a aa a a

a a a

补充补充材料材料


解线性方程组的克莱姆法则解线性方程组的克莱姆法则对于线性方程组：对于线性方程组： 11 1 12 2 1 1

21 1 22 2 2 2

1 1 2 2

n n

n n

n n nn n n

a x a x a x b

a x a x a x b

a x a x a x b

如果如果行列式行列式 D=|D=|aaiiii||≠0≠0 ，则方程组存在唯一解，则方程组存在唯一解

1 21 2, , , n

n

D D Dx x x

D D D

齐次线性方程组齐次线性方程组 (( 即即 b=0b=0)) ，有非零解的充要条件，有非零解的充要条件是是 D=|D=|aaiiii|=|=00



矩阵矩阵 Matrix: Matrix: 由由 mm**nn 个数个数 aaijij 排列成的排列成的 mm 行行 nn 列的数表：列的数表：AAmm**nn=[=[aaijij]]mm*n*n

方阵：方阵： mm==nn 对角阵：∧对角阵：∧ =diag(=diag(aa1111,,aa2222,…,,…,aannnn)) 单位阵：单位阵： E= diag(1,1,…,1)E= diag(1,1,…,1) 上三角阵与上三角阵上三角阵与上三角阵

11

22

0 0 0 1 0 0 0 2 1 1 5

0 0 0 0 1 0 0 0 3 0 4

0 0 0 0 0 0 0 0 7

0 0 0 0 0 0 1 0 0 0 1nn

a

a

a



矩阵的运算矩阵的运算矩阵的乘法：矩阵的乘法： C=ABC=AB

• noc(A) = nor(B)noc(A) = nor(B)• noc(C) = noc(B)noc(C) = noc(B)• nor(C) = nor(A)nor(C) = nor(A)

ij ik kjk

c a b

矩阵的转置：矩阵的转置： A=(aA=(aijij), A), A’’=A=ATT=(a=(ajiji)) 对称方阵：对称方阵： AA’’=A=A ，即，即 aaijij= = aajiji

方阵的行列式：方阵的行列式：• 如果如果 |A|≠|A|≠00 ，， AA 称为非奇异阵，否则为奇异阵称为非奇异阵，否则为奇异阵• |A’|= |A||A’|= |A| ，， |AB|= |A||B||AB|= |A||B|

逆矩阵：如果逆矩阵：如果 ABAB=BA=E, =BA=E, 则称则称 AA 可逆，可逆， BB 为为 AA 的逆的逆方阵方阵 AA 可逆可逆的充要条件：可逆可逆的充要条件： |A|≠|A|≠00



分块矩阵及其运算分块矩阵及其运算分块矩阵：用横线和竖线把矩阵分块矩阵：用横线和竖线把矩阵

分成若干小块，每个小块为一个分成若干小块，每个小块为一个矩阵，它可以作为一个元素参加矩阵，它可以作为一个元素参加运算。运算。

分块对角阵：分块对角阵：• |A|=|A|A|=|A1111||A||A1111|…|A|…|A1111|| 2 2

22

1 0 1 0

0 1 0 1

0 0 1 2

0 0 2 1

E E

O B

11

22

rr

A

A

A

111

11 22

1rr

A

AA

A



向量向量 nn 维向量：维向量： xx=(=(xx11,,xx22,…,,…,xxnn))TT

线性相关与线性无关：线性相关与线性无关：• 设有设有 nn 维向量组：维向量组： xx11,, x x22,,……,, x xmm ，如果只有当，如果只有当 kk11

= = kk22==……==kkmm=0=0 时，才能使下式成立，则称该向量时，才能使下式成立，则称该向量组线性无关。否则为线性相关。组线性无关。否则为线性相关。

1 1 2 2 m mk k k x x x 0

mm 个个 nn 维向量的矩阵表示：维向量的矩阵表示： A=(A=(aa11,, a a22,,……,, a amm)) nn 个个 nn 维向量：维向量： aaii=(a=(ai1i1,a,ai2i2,…,a,…,ainin))TT 线性无关的充要条线性无关的充要条

件是件是 |A||A|≠0≠0



向量向量 ((二二 )) 如果向量组如果向量组 A = (A = (aa11,, a a22,,……,, a amm) = () = (bb11,, b b22,,……,, b bmm)C )C

= BC= BC ，称，称 AA 可由向量组可由向量组 BB 线性表示。线性表示。 rank(A)=nov(Arank(A)=nov(A 的最大线性无关组的最大线性无关组 ) ) 向量的内积向量的内积 ::

1

( , )n

Ti i

i

x y

x y x y

向量的模（范向量的模（范数数 // 长度）：长度）：

两点的距离：两点的距离：两向量的夹角：两向量的夹角：

Tx x x

1 2 2 1 2 1 2 1( , ) ( ) ( )Td x x x x x x x x

1 21 2

1 2

, arccosT

x x

x xx x



向量向量 ((三三 )) 两向量正交：两向量正交： ((xx,,yy)=0, cos()=0, cos(θθ)=0)=0 若非零的若非零的 nn 维向量维向量 xx11,, xx22,,……,, xxmm 两两正交，则称两两正交，则称

为正交向量组。为正交向量组。正交向量组线性无关。正交向量组线性无关。若若 nn 维向量维向量 yy 可由正交向量组可由正交向量组 xx11,, xx22,,……,, xxmm 线性线性

表示，则：表示，则：

1 21 2

1 1 2 2

T T Tm

mT T Tm m

y x y x y x

y x x xx x x x x x



矩阵的特征值与特征向量矩阵的特征值与特征向量方阵方阵 AA 的特征值的特征值 λλ 与特征向量与特征向量 αα: A: Aαα==λλαα 方阵方阵 AA 的特征多项式：的特征多项式： |A-|A-λEλE|| 方阵方阵 AA 的特征方程：的特征方程： |A-|A-λEλE|=0|=0 特征方程的解特征方程的解 λλ 为特征值，方程为特征值，方程

(A-(A-λEλE))xx==00 的非零解向量就是方阵的非零解向量就是方阵 AA 的属于特征值的属于特征值λλ 的特征向量。的特征向量。

如果存在可逆方阵如果存在可逆方阵 PP ，使，使 PP-1-1APAP=B=B ，则称，则称 AA 与与 BB相似，记作相似，记作 A~BA~B 。。• 相似关系具有反身、对称、传递性。相似关系具有反身、对称、传递性。• 相似矩阵有相同的行列式，即相似矩阵有相同的行列式，即 |A|=|B||A|=|B|• 相似矩阵有相同的特征多项式及特征值相似矩阵有相同的特征多项式及特征值



相似矩阵相似矩阵 nn 阶方阵阶方阵 AA 与对角矩阵∧相似的充要条件是与对角矩阵∧相似的充要条件是

AA 有有 nn 个线性无关的特征向量。个线性无关的特征向量。如果如果 A~∧A~∧ ，即有，即有

PP-1-1AP= ∧=diag(dAP= ∧=diag(d11,d,d22,…,d,…,dnn)) ，则，则 dd11, d, d22, …, , …, ddnn 是是 AA 的的 nn 个特征值。个特征值。

实对称矩阵：实对称矩阵：• 特征值为实数特征值为实数• 两个相异的特征值对应的特征向量正交两个相异的特征值对应的特征向量正交• nn 阶实对称方阵阶实对称方阵 AA 有有 nn 个线性无关的特征向量个线性无关的特征向量• nn 阶实对称方阵阶实对称方阵 AA 与对角矩阵相似与对角矩阵相似



正交矩阵正交矩阵正交矩阵正交矩阵 AA ，有，有 AA’=EAA’=E ，即，即 AA-1-1=A’=A’

• 正交矩阵正交矩阵 AA 与与 BB 的乘积的乘积 ABAB 仍为正交矩阵仍为正交矩阵• 正交矩阵正交矩阵 AA 的行列式的行列式 |A|=1|A|=1

正交矩阵正交矩阵 AA 的行的行 (( 列列 )) 向量组为正交单位向量组，即：向量组为正交单位向量组，即：

1

2 ' ' '1 2, , , n

n

E

α

αα α α

α

Ti j ijα α

若若 AA 为实对称矩阵，则必存在正交矩阵为实对称矩阵，则必存在正交矩阵 PP ，使，使 P-1AP=∧P-1AP=∧ ，， ∧是以∧是以 AA 的特征值为对角元素的对角矩阵。的特征值为对角元素的对角矩阵。



二次型二次型二次齐次函数：二次齐次函数：

1 2, 1

( , , , ) ,n

n ij i j ij jii j

f x x x a x x a a

记记 xx=(=(xx11, , xx22, … , … xxnn))TT ，， A=(aA=(aijij))nn**n n ，则有：，则有：'

1 2( , , , )nf x x x Ax x 二次型二次型 ff 与对称矩阵与对称矩阵 AA 存在一一对应：存在一一对应： AA 为二次型为二次型 ff 的矩阵，的矩阵， ff 为矩阵为矩阵 AA 的二次的二次

型。型。



标准二次型标准二次型 A=∧A=∧ 时为标准二次型时为标准二次型 (( 只含平方项只含平方项 )) 对于任何二次型：对于任何二次型：

'1 2( , , , )nf x x x x Ax

Cx y总可找到正交变换将总可找到正交变换将 ff化为标准形化为标准形

' 2 2 21 1 2 2

'n nf y y y

C AC

y y



正定二次型和正定矩阵正定二次型和正定矩阵二次型二次型 ff(x(x11, x, x22,, …, x…, xnn)) ，如果对于任何，如果对于任何 xx11

2 2 + x+ x22

2 2 +…+ x+…+ xnn2 2 ≠0≠0 ，都有，都有 f f > 0> 0 ，则称，则称 ff 为正定二为正定二

次型。其矩阵次型。其矩阵 AA 为正定矩阵为正定矩阵 (A>0)(A>0) 。。 nn 阶方阵阶方阵 AA 正定的充要条件是：正定的充要条件是： AA 的的 nn 个特个特

征值全为正的。征值全为正的。 nn 阶方阵阶方阵 AA ，若存在可逆矩阵，若存在可逆矩阵 BB ，使，使 A=B’A=B’

BB ，则，则 AA 为正定矩阵。为正定矩阵。



多元随机变量的统计特征多元随机变量的统计特征 nn 维随机变量：维随机变量： xx=[=[xx11,,xx22,…,,…,xxnn]]TT

nn 维随机变量的（总体）均值：维随机变量的（总体）均值： nn 维随机变量的（样本）均值：维随机变量的（样本）均值： nn 维随机变量的（总体）相关函数矩阵：维随机变量的（总体）相关函数矩阵：

nn 维随机变量的（样本）相关函数矩阵：维随机变量的（样本）相关函数矩阵： nn 维随机变量的（总体）协方差矩阵：维随机变量的（总体）协方差矩阵：

nn 维随机变量的（样本）协方差矩阵：维随机变量的（样本）协方差矩阵：

E( ) ( )p d x

μ x x x x

R( ) E{ } E{ }Tij i jr x x x xx

1

1ˆ

N

iiN

μ x

1

1R( )

NT

i iiN

x x x

C( ) E{( )( )} E{( )( ) }Tij i i j jc x x x x μ x μ

1

1C( ) ( )( )

NT

i i i iiN

x x μ x μ



nn维随机变量协方差矩阵的性质维随机变量协方差矩阵的性质 nn 维随机变量协方差矩阵维随机变量协方差矩阵 CC 是实对称矩阵是实对称矩阵

•协方差矩阵协方差矩阵 CC 的特征值为实数的特征值为实数• CC 有有 nn 个线性无关的特征向量个线性无关的特征向量• 存在正交矩阵存在正交矩阵 UU ，使，使 UU-1-1CU= UCU= UTTCU=∧CU=∧ ， ∧是， ∧是

以以 CC 的特征值为对角元素的对角矩阵，的特征值为对角元素的对角矩阵， U=[U=[uu11,,uu22,…,,…,uunn]] ，， C C uuii==λλ i i uuii

任何二次型总可找到正交变换化为标准形，即：任何二次型总可找到正交变换化为标准形，即：



二次型化为标准形二次型化为标准形

1 2

, 1

2 2 21 1 2 2

( , , , )

' '( ' ) '

n

n

ij i ji j

U

n n

f x x x

a x x

U AU

y y y

x y

x Ax y y y y



梯度（下降）法梯度（下降）法补充补充材料材料

( )J a准则函数：

* argmin ( )Ja

a a最优化问题：

*

1 2

( ) 0T

n

J J JJ

a a a

a

a

求解方法：应满足方程：

0a沿梯度的负方向改变，函数会最快地达到极小点，梯度趋于故对应的迭代算法：

akak+1

▽J(a)

1 ( )k k J a a a


梯度（下降）法梯度（下降）法1. 选择初始点 a0 ，给定容许误差 ε ，设定学

习率 η 。设 k=0 ；2. 计算梯度▽ J(ak) ；3. 修改 ak ： ak+1 = ak -η J(a▽ k)

4. 计算 J(ak+1) ，并检验 |J(ak+1)- J(ak)|<ε ，若满足则转 6

5. k=k+1 ，转 26. 输出结果，结束


Documents

模式识别 Pattern Recognition