Embed Size (px)
DESCRIPTION
Chap1 概率论的基本概念. 若定义在样本空间上的单值实值函数 P(·) 满足以下三个条件：. 则称 P (·) 为概率 ( 函数 ). 概率的若干性质：. 古典概型求概率的公式：. 为 全概率公式. 全概率公式：. 设 试验 E 的样本空间为 S ， A 为 E 的事件。 B 1 ,B 2 , … , B n 为 S 的一个划分， P(B i )>0 ， i =1,2, … ,n ；则称：. Bayes 公式： 接上 面全概率公式的条件 ， P(A)>0 ，. 称此式为 Bayes 公式。. 注意区分“独立”与“互不相容”这两个概念. - PowerPoint PPT Presentation
Citation preview
Chap1 概率论的基本概念
若定义在样本空间上的单值实值函数 P(·) 满足以下三个条件：
1 2
11
1 ( ) 0
2 ( ) 1
3 , ,
( ) ( )
。
。
。 , . . . , , . . . , （i j）
k i j
i iii
P A
P S
A A A A A
P A P A
则称 P(·) 为概率 ( 函数 )
概率的若干性质：1 ( ) 0 P
1 211
2 , , , ( ) ( )n n
n i j i iii
A A A A A i j P A P A
。 , . . . , ,
1 211
2 , , , ( ) ( )n n
n i j i iii
A A A A A i j P A P A
。 , . . . , ,
3 ( ) 1 ( ) P A P A
4 ( ) ( ) ( ) 若 ，则有 A B P B A P B P A
5 ( ) ( ) ( ) ( )概率的加法公式： P A B P A P B P AB5 ( ) ( ) ( ) ( )概率的加法公式： P A B P A P B P AB
1 11
11 2
1
( ) ( ) ( )
( ) ( 1) ( )
n n
i i i ji i j ni
ni j k n
i j k n
P A P A P A A
P A A A P A A A
一个推广：
古典概型求概率的公式：
AP AS
所包含的样本点数中的样本点数
6
设试验 E的样本空间为 S， A为 E的事
件。 B1,B2,…,Bn 为 S的一个划
分， P(Bi)>0， i=1,2,…,n；则称：
1
( ) ( ) ( | )n
j jj
P A P B P A B
为全概率公式
全概率公式：
7
1
( ) ( | )( | )
( ) ( | )
i ii n
j jj
P B P A BP B A
P B P A B
Bayes 公式：接上面全概率公式的条
件， P(A)>0 ，
称此式为 Bayes 公式。
注意区分“独立”与“互不相容”这两个概念
Chap2 随机变量及其概率分布
10
定义：取值至多可数的随机变量为离散型的随机变量。概率分布 ( 分布律 ) 为
1
0, 1i ii
p p
分布律性质：
P
… …
… …1x 2x ix
1p 2p ipX
离散型随机变量
分布函数
, ,
( ) ( )
X x
F x P X x X
定义：随机变量 对任意实数 称函数为 的概率分布函数，简称分布函数。
12
1 2 2 1 0 ( ) ( ) ( )P x X x F x F x
1) 0 ( ) 1F x
( )的性质：F x
2) ( ) ( ) 0 ( ) 1F x F F 单调不减，且 ，
3) ( ) , ( 0) ( ).F x F x F x 右连续即
连续型随机变量及其概率密度
定义 : 对于随机变量 X 的分布函数 若存在非负的函数 使对于任意实数 有： ( ),f x
( ) ( )x
F x f t dt
( ),F x
,x
则称 X 为连续型随机变量，
( )f x X其中 称为 的概率密度函数，简称概率密度。
( )f x的性质：
1) ( ) 0f x +
2) ( ) 1f x dx
2
1
1 2 2 1
1 2
( )
( ) ( ) 0x
x
x x x x
P x X x f t dt P X a
3) 对于任意的实数 ，
( )y f x1面积为
1x 2x
1 2 P x X x
15
4) ( ) '( ) ( )f x x F x f x在 连续点 ，
( )f x即在 的连续点
16
6 种重要的随机变量数学期望 方差 分布率或 密度函数 分布
0 － 1 分布 p p(1-p)
二项分布b(n,p)
np np(1-p)
泊松分布
均匀分布U(a,b)
指数分布
正态分布
1( ) (1 )
0,1
k kP X k p p
k
1( ) (1 )
0,1,...,
k k knP X k C p p
k n
( ) ( ) !
0,1,...,
kP X k e k
k
1 ( ),( )
0,
b a a x bf x
其它
a+b2
2(b-a)12
( )Exp , 0( )
0,
xe xf x
其它 1 21
2( , )N 2
2
( )
21( )
2
x
f x e
x
2
已知X的概率密度，求Y=g(X)的概 率密度时，一般先求Y的分布函数再通过求导运算得到Y的概率密度。但当g()函数具有单调性，则可直接利用下列定理来求Y的概率密度
( ), ( ) { '( ) 0 ( ) ( )}
( ) ( )
g g g x g g
h y x y g x
其中 ，当 时 ，
~ ( ), '( ) 0 ( '( ) 0)
( ) XX f x x g x g x
Y g X Y
设 ， 或 。
，则 具有概
定理：
率密度为：
( ( )) '( ) , ( )
0,
XY
f h y h y yf y
其他
( ), ( ) { '( ) 0 ( ) ( )}
( ) ( )
g g g x g g
h y x y g x
其中 ，当 时 ，
x
h(y),y
y
0
y=g(x)y
( ), ( ) { '( ) 0 ( ) ( )}
( ) ( )
g g g x g g
h y x y g x
其中 ，当 时 ，
Chap3 多元随机变量及其分布
• 可看成是第二章的推广，但增加了一些新内容：
• 联合分布律与边际分布律的关系
• 联合概率密度与边际概率密度的关系
• 联合分布函数与边际分布函数的关系
• 条件分布律、条件概率密度
21
随机变量的独立性
( , ) ( ) ( ) ( , ) ( ) ( )X YP X x Y y P X x P Y y F x y F x F y 即
,x y的分布函数及边际分布函数，若对所有 有：
,X Y称随机变量 相互独立。
( , ) ( ), ( ) ,X YF x y F x F y X Y定义：设 及 分别是二元随机变量
( , ) ( ) ( ) ( , ) ( ) ( )X YP X x Y y P X x P Y y F x y F x F y 即
,
0X Y
X Y
例5 证明：对于二元正态随机变量 ，
与 相互独立的充要条件是参 数
( , ) ( , )X Y f x y设连续型随机变量 的概率密度为
Z X Y 的分布：
随机变量函数的分布：
24
( ) ( ) ( ) ( )X Y X Y X Y
X Y Z X Y
f f f z y f y dy f x f z x dx
卷积公式：将 和 相互独 卷积立时， 的密度函数公式称为 公式
即
( ) ( , )ZZ f z f z y y dy
的概率密度为：
, ( ) ( ) ( , )Z ZX Y f z f z f x z x dx
由 的对称性， 又可写成
( ) ( ) ( ) ( )X Y X Y X Y
X Y Z X Y
f f f z y f y dy f x f z x dx
卷积公式：将 和 相互独 卷积立时， 的密度函数公式称为 公式
即
( ) ( ) ( ) ( )X Y X Y X Y
X Y Z X Y
f f f z y f y dy f x f z x dx
卷积公式：将 和 相互独 卷积立时， 的密度函数公式称为 公式
即
25
( ) ( ( ))
( ) 1 [1 ( )]
nmax
nmin
F z F z
F z F z
1 2, , , ( )nX X X F x若 相互独立且具有相同分布函数 时，
Chap4 随机变量的数字特征
27
常见分布的均值与方差数学期望 方差 分布率或 密度函数 分布
0 － 1 分布 p p(1-p)
二项分布b(n,p)
np np(1-p)
泊松分布
均匀分布U(a,b)
指数分布
正态分布
1( ) (1 )
0,1
k kP X k p p
k
1( ) (1 )
0,1,...,
k k knP X k C p p
k n
( ) ( ) !
0,1,...,
kP X k e k
k
1 ( ),( )
0,
b a a x bf x
其它
a+b2
2(b-a)12
( )Exp , 0( )
0,
xe xf x
其它 1 21
2( , )N 2
2
( )
21( )
2
x
f x e
x
2
28
数学期望的特性：
( ) ( ) ( )E aX bY c aE X bE Y c 将上面三项合起来就是：
( )C E C C设 是常数，则有1.
( ) ( )X C E CX CE X设 是一个随机变量， 是常数，则有2.
, ( ) ( ) ( )X Y E X Y E X E Y 设 是两个随机变量，则有3.
, ( ) ( ) ( )X Y E XY E X E Y设 是相互独立的随机变量，则有4.
29
方差的性质： ( ) 0C D C 1. 设 是常数，则
2( ) ( )X C D CX C D X2. 设 是随机变量， 是常数，则有
,
( ) ( ) ( ) 2 [ ( )][ ( )]
, ( ) ( ) ( )
X Y
D X Y D X D Y E X E X Y E Y
X Y D X Y D X D Y
3. 设 是两个随机变量， 则有
特别，若 相互独立，则有
4. ( ) 0 ( ) 1 ( )D X P X C C E X 且
一个小技巧：把随机变量分解成简单随机变量的和，再利用数学期望和方差的性质
求原始随机变量的数学期望或者方差
31
n 元正态变量具有以下四条重要性质：
1 2
1 2
1 2
1 2
( , , )
( ,
1
, , ) (1 )
.
, 1, 2,
, ,
( , , )
k
Tn
Ti i i
i
n
n
n X X X
X X X k n k
X i n
X X X
X X X n
元正态变量 中的任意子向量
也服从 元正态分布.
特别地，每一个分量 都是正态变量；
反之，若 都是正态变量，且相互独立，
则 是 元正态变量；
1 2
1
1 2
1 1 2 2
2
( , , )
2.
,
,
,
,
n
n
n
n n
n X X X n
l
X X X
l X l X
l
l X
l
的任意线性
元随机变量 服从 元正态分布
其中
组合
服从一元正态分布
不全为零
32
1 2
1 2
1 2
3 ( , , )
, , ( 1, 2, )
.
, , )
p
n
k j
k
X X X n
Y Y Y X j n
Y Y Y
若 服从 元正态分布，
设 是 的线性函数，
则( 也服从多元正态分布；
这一性质称为这一性质也可用矩阵形式
正态变量的线性变换不变性来表述(见课本
.
88)
1 2
1 2 1 2
( , , )
, , ,
,
4. n
n n
X X X n
X X X X X X
设 服从 元正态分布，
则 相互独立 两两不相关
协方差矩阵为对角矩阵.
Chap5 大数定律和中心极限定理
1
1
{ , 1} E .
) , 0
1lim
5.1
0
1
.
,
1
4
,
{ , }
i i
i
n
in
k
n
ii
i
X i X
X
P Xn
PX nn
X i
设 为独立同分布的随机变量序列，且 | | <
记E( 则对 ，有：
，
相当于 当
即随机
定理 辛
变量 服从
钦大数定律 ：
大数定律.
5.2.1 定理 独立同分布的中心极限定理
2
1 2
2
1
2
, , , ,
, , 1, 2,
1, ( )2
n
i i
n
ii
n
tx
nn
X X
E X D X i
X nn Y
n
x R lim P Y x e dt x
设随机变量X 相互独立同分布，
则前 个变量的和的标准化变量为：
有：
2
1
0,1
( , ),
n
n
ii
n Y N
X N n n
此定理表明，当 充分大时， 近似服从 ，
即： （近似）～
1
( ) ( ) ( ).n
ii
b n a nP a X b
n n
从而，
Chap6 统计量与抽样分布
2
2 2 2
1 2
2
1
, , 0,1 1,2, ,
1
1
n
n i
n
ii
X X X X N i n
n
X
n
设随机变量 相互独立，
则称
服从自由度为 的 ，
指 式右端包含
分布 记为
的独立变自由度
定义：
量的个数.
2 分布
2 分布的一些重要性质： 2 2 2 21. , , 2n E n D n 设 则有
2 2 21 1 2 2 1 2 1 2 1 22. , , ,Y n Y n Y Y Y Y n n 设 且 相互独立，则有
22 分布的可加性性质 称为 ，可推广到有限个的情形：
minY ii ,2,1,~ 2 ,并假设 mYYY ,, 21 相互独立，
则
m
ii
m
ii nY
1
2
1
~
t 分布设 )1,0(~ NX ， nY 2~ ，并且假设 YX , 相互独立，
则称随机变量nY
XT
/ 服从自由度为 n的 t分布。
记为 )(~ ntT
2 21 2
11 2
2
1 2
1 2
, , ,
/,
/
~ ,
X n Y n X Y
X nF n n F
Y n
F F n n
n n
设 且 独立，则
称随机变量 服从自由度 的 分布，
记为
其中 称为第一自由度， 称为第二自由度
F分布
11 2 2 1~ ( , ), ~ ( , )F F n n F F n n性质： 则
2 21 2
11 2 1 2
2
1 2
, , ,
/, ,
/
n Y n Y
X nF n n F F F n n
Y n
n n
设X 且X 独立，
则称随机变量 服
定义：
从自由度 的 分布，记为
其中 称为第一自由度， 称为第二自由度
定理 6.3.1 设 1 2, , , nX X X 为来自正态总体
),( 2N 的简单随机样本, X 是样本均值,
则有:
n
NX2
,~ .
正态总体下的抽样分布
定理 6.3.2 设 1 2, , , nX X X 为来自正态总体
),( 2N 的简单随机样本 , X 是样本均值 ,
2S 是样本方差, 则有:
(1) )1(~)1 2
2
2
nSn
（
,
(2) X 与 2S 相互独立.
定理 6.3.3 设 1 2, , , nX X X 为来自正态总体
),( 2N 的简单随机样本, X 是样本均值, 2S
是样本方差, 则有:
~ ( 1)X
t nS n
1 2
2 21 1 1 1 2 2
2 21 2
2 22 1
1 22 21 2
1 2
2 21 2
1 2
2 2 21 2
, , , , , ,
, ,
1 1, 1
2 (0,1),
3
6.8
n nX X Y Y N N
S S
SF F n n
S
X YN
n n
X Y
设样本 和 分别来自总体 和
并且它们相互独立，其样本方差分别为
理
：
时，
定
则
：
当
1 21 2
1 2
2 21 1 2 22 2
1 2
21 1
1 1 ,
2
W
W W W
t n nS
n n
n S n SS S S
n n
其中
1 2
2 21 1 1 1 2 2
2 21 2
2 22 1
1 22 21 2
1 2
2 21 2
1 2
2 2 21 2
, , , , , ,
, ,
1 1, 1
2 (0,1),
3
6.8
n nX X Y Y N N
S S
SF F n n
S
X YN
n n
X Y
设样本 和 分别来自总体 和
并且它们相互独立，其样本方差分别为
理
：
时，
定
则
：
当
1 2
1 2
1 2
2 21 1 2 22 2
1 2
21 1
1 1 ,
2
W
W W W
t n nS
n n
n S n SS S S
n n
其中
1 2
2 21 1 1 1 2 2
2 21 2
2 22 1
1 22 21 2
1 2
2 21 2
1 2
2 2 21 2
, , , , , ,
, ,
1 1, 1
2 (0,1),
3
6.8
n nX X Y Y N N
S S
SF F n n
S
X YN
n n
X Y
设样本 和 分别来自总体 和
并且它们相互独立，其样本方差分别为
理
：
时，
定
则
：
当
1 2
1 2
1 2
2 21 1 2 22 2
1 2
21 1
1 1 ,
2
W
W W W
t n nS
n n
n S n SS S S
n n
其中
1 2
2 21 1 1 1 2 2
2 21 2
2 22 1
1 22 21 2
1 2
2 21 2
1 2
2 2 21 2
, , , , , ,
, ,
1 1, 1
2 (0,1),
3
6.8
n nX X Y Y N N
S S
SF F n n
S
X YN
n n
X Y
设样本 和 分别来自总体 和
并且它们相互独立，其样本方差分别为
理
：
时，
定
则
：
当
1 21 2
1 2
2 21 1 2 22 2
1 2
21 1
1 1 ,
2
W
W W W
t n nS
n n
n S n SS S S
n n
其中
定理6.3.4
).1,1(~)1( 2122
22
21
21 nnF
S
S
1 2
2 21 2
1 2
(2) ~ (0,1)
, .
X YN
n n
X Y
其中 分别为样本均值
1 2
2 21 1 1 1 2 2
2 21 2
2 22 1
1 22 21 2
1 2
2 21 2
1 2
2 2 21 2
, , , , , ,
, ,
1 1, 1
2 (0,1),
3
6.8
n nX X Y Y N N
S S
SF F n n
S
X YN
n n
X Y
设样本 和 分别来自总体 和
并且它们相互独立，其样本方差分别为
理
：
时，
定
则
：
当
1 2
1 2
1 2
2 21 1 2 22 2
1 2
~ 21 1
1 1 ,
2
w
w w w
t n nS
n n
n S n SS S S
n n
其中
（3）当 222
21 时，
.2~
1121
21
21
nnt
nnS
YX
w
Chap7 参数估计
点估计• 矩估计 • 极大似然估计
用求导方法无法得到 MLE 的时候，通过似然函数的单调性去求 MLE
估计量的评选准则
四条评价准则：
无偏性准则，有效性准则，均方误差准则和相合性准则
51
区间估计：关键是构造枢轴量
区间估计的具体步骤：
1( , , ; )nG X X (1)构造一个分布已知的枢轴量 ；
1
(2) 1
( , , ; ) 1n
a b
P a G X X b
对连续型总体和给定的置信度 ，设常数 满足
；
1
1 1
( , , ; )
, , , ,
, 1
n
L Un n
L U
a G X X b
X X X X
（3）若能从 得到等价的不等式
那么 就是 的置信度为 的双侧置信区间。
Chap8 假设检验
处理假设检验问题的基本步骤
（2） 提出检验统计量和拒绝域的形式；
（1）根据实际问题提出原假设和备择假设；
Neyman-Pearson（3）在给定的显著水平 下，根据原则求出拒绝域的临界值。
（4）根据实际样本观测值作出判断。
待估参数
原假设
枢轴量 检验统计量
分 布 置信区间 拒绝域
一个正态总体
两个正态总体
正态总体均值、方差的置信区间与假设检验 1 置信度
2
（ 已知）
2
（ 未知）
0
2
（ 已知）
0
2
（ 未知）
X
n
0X
n
0X
S n
X
S n
2
Xz
n
0
2
Xz
n
2 ( 1)X
t nS n
0
2 ( 1)X
t nS n
(0,1)N
( 1)t n
2
(
未知)
2 20
(
未知)
2
2
( 1)n S
2
20
( 1)n S
21 2
2
2
22
( 1)
( 1)
( 1)
n
n S
n
221 22
0
22
220
( 1)( 1)
( 1)( 1)
n Sn
n Sn
或
2 ( 1)n
1 2
2 2 21 2( )
1 2
2 2 21 2( )
1 2
1 2
1 1
( ) ( )
w n n
X Y
S
1 2
1 1w n n
X Y
S
1 2( 2)t n n 1 2
1 2
1 1
2 1 2
( ) ( )
( 2)
w n n
X Y
S
t n n
1 2
1 1
2 1 2( 2)
w n n
X Y
S
t n n
2122
2 21 2
2 21 12 22 2
S
S
2122
S
S1 2( 1, 1)F n n
1 2 1 2
2 21 12 22 2
2 1 2
( 1, 1)
( 1, 1)
F n n
SS
F n n
21
1 2 1 222
21
2 1 222
( 1, 1)
( 1, 1)
SF n n
S
SF n n
S
或
58
0
0
1)
)
n H
k r k
r F x
2 2
若 充分大，则当 为真时，统计量
近似服从 ( 分布
定理
，其中 为分类数，为 ( 中含有的未知
：
参数个数.
拟合优度检验：
59
22 2
1
22 2
1
( 1),
( 1),ˆ
ki
i i
ki
i i
nn k
np
nn k r r
np
即在显著性水平 下拒绝域为
（没有参数需要估计）
（有 个参数需要估计）
2
ˆ
ˆ
( )i i
n
np np
： 拟合检验使用时必须注意 要足够大，或 不能太小。根据实践，要求 ，
，否则应适当合并相邻的类，
以 足要求。
注
满i inp np
n 50
5（ ）或
Chap9 方差分析和回归分析
对于单因素试验方差分析：
62
2
1 1 2 2
(0, ),
1, 2, , 1, 2, ,
... 0
ij j ij
ij ij
j
r r
X
i n j r
n n n
模型为：各 独立
，
假设等价于 0 1 2
1 1 2
: 0
: , , ,r
r
H
H
不全为零。
63
AS1
AA
SMS r A
E
MS
MSES E
ESMS n r
TS
方差来源 平方和 自由度 均方 F比因素 A r-1
误差 n-r
总和 n-1
方差分析表
64
( 1).
( )
( 1, ).
A A
E E
S r MSF c
S n r MS
c F r n r
检验拒绝域的形式为：
给定显著性水平 ，则
65
2 20 ( , ) ( , )
( )
j k
j k j k
H N N
j k
当拒绝 时，进一步比较 和 的差异，
可以作 的区间估计。
2 ( ) (1 1 )j k E j kX X t n r MS n n
2 2ˆ ES
n r
的估计
对于一元线性回归：
67
2
2
, 1, 2,..., ,
( ) 0, ( ) ,
, ( ,
i i i
i
i i
Y a bx i n
E D
a b
相互独立，一元线性回归模型：
回归系数） 未知.
2
2
, 1, 2,..., ,
~ 0 ,
, ( ,
i i i
i
Y x i n
N
一元线性回归模型： ， 且相互独立，
回归系数） 未知.
68
(1) , 的估计；2(2) 的估计；
(3)线性假设的显著性检验；
(4) 回归系数 的置信区间；
0 0(5) ( )x x 回归函数 的点估计和置信区间；
0 n 1(6) YY 的观察值Y(或理解成 )的点预测
和区间预测。
要解决的问题：
2
22
1
ˆ1ˆ
2 2
nyy xy
i ii
s ss y y
n n
的估计为：
