Embed Size (px)
Citation preview
数学特論C4「確率論」(2005年後期)
谷 口 説 男(九州大学数理学研究院)
1. 確率空間
Def 1.1. (i) Ωを集合とする．2Ω = A |A ⊂ Ωとする．F ⊂ 2Ω が σ 加法族であるとは次の 3条件が満たされることをいう．
(a) Ω, ∅ ∈ F， (b) A ∈ F ならば Ac = Ω \ A = ω ∈ Ω |ω /∈ A ∈ F，(c) An ∈ F，n = 1, 2, . . .，ならば，
∞∪n=1
An ∈ F．
(ii) Ωを集合，F を Ω上の σ加法族とするとき，組 (Ω,F)を可測空間 (measurable space)と呼ぶ．Ex 1.2. (i) F = ∅, Ωは σ加法族である．
(ii) F = 2Ω は σ加法族である．
(iii) A ⊂ Ωとする．F = ∅, A, Ω \ A,Ωは σ加法族である．
Lem 1.3. A ⊂ 2Ω とし，
σ(A) =A ⊂ Ω | A ⊂ F なる任意の σ加法族 F に対し，A ∈ F
とおく．σ(A)は σ加法族である．とくに，次の意味で σ(A)はAを含む最小の σ加法族である; F がA ⊂ Fなる σ加法族であれば，σ(A) ⊂ F となる．Q 1.1. Lem1.3を証明せよ．Def 1.4. (i) σ(A)をAにより生成される σ加法族という．
(ii) Ωが位相空間であり，Oをその開部分集合の全体とする．σ(O)を B(Ω)と表し，Ωのボレル σ加法族と呼ぶ．
Q 1.2. Ωを位相空間とし，C をその閉部分集合の全体とする．σ(C) = B(Ω)となることを示せ．Q 1.3. Ω = R2とする．P = (a, b) × (c, d) | a < b, c < d, a, b, c, d ∈ Rとおく．σ(P) = B(R2)となることを示せ．
Def 1.5. 可測空間 (Ω,F)上の確率測度 (probability measure)P とは，写像 P : F → [0, 1]で次の条件を満たすものをいう．
(a) P (Ω) = 1, (b) An ∈ F かつ An ∩ Am = ∅ ならば，P
( ∞∪n=1
An
)=
∞∑n=1
P (An)
三つ組 (Ω,F , P )を確率空間 (probability space)と呼ぶ．性質 (b)を σ加法性という．
Prop 1.6. (i) P (∅) = 0．
(ii) A,B ∈ F，B ⊂ Aならば P (A\B) = P (A)−P (B)．とくに P (B) ≤ P (A)．また P (Ω\A) = 1−P (A)．
(iii) An ∈ F，An ⊂ An+1，n = 1, 2, . . .，ならば P
( ∞∪n=1
An
)= lim
n→∞P (An)．
(iv) An ∈ F，An ⊃ An+1，n = 1, 2, . . .，ならば P
( ∞∩n=1
An
)= lim
n→∞P (An)．
(v) P
( ∞∪n=1
An
)≤
∞∑n=1
P (An)．
証明． (i) ∅ ∪ ∅ = ∅，∅ ∩ ∅ = ∅より，
P (∅) = P (∅ ∪ ∅) = P (∅) + P (∅). ∴ P (∅) = 0.
(ii) A = B ∪ (A \ B)に σ加法性を適用する．
(iii) B1 = A1，Bn = An \An−1，n ≥ 2，とおく．An =n∪
k=1
Bk，∞∪
k=1
Bk =∞∪
n=1An，Bi ∩Bj = ∅ (i 6= j)であ
る．よって
P
( ∞∪n=1
An
)= P
( ∞∪k=1
Bk
)=
∞∑k=1
P (Bk) = limn→∞
n∑k=1
P (Bk) = limn→∞
P
( n∪k=1
Bk
)= lim
n→∞P (An).
(iv) Bn = Ω \ An として (ii)，(iii)を用いる;
P
( ∞∩n=1
An
)= 1 − P
( ∞∪n=1
Bn
)= lim
n→∞1 − P (Bn) = lim
n→∞P (An).
(v) Bn = An \n−1∪k=1
Ak とおく．このとき，Bn ⊂ An，∞∪
n=1Bn =
∞∪n=1
An，Bi ∩ Bj = ∅ (i 6= j)である．よって
P
( ∞∪n=1
An
)= P
( ∞∪n=1
Bn
)=
∞∑n=1
P (Bn) ≤∞∑
n=1
P (An).
Ex 1.7. 確率空間 (Ω,F , P )の例を挙げる．(i) Ω = 1, 2, . . . , N，F = 2Ω，P (A) = (Aの元の個数)/N．
N = 6は公平なサイコロ投げに対応する．
(ii) an > 0，∞∑
n=1an = 1．Ω = x1, x2, . . . ，F = 2Ω，P (A) =
∞∑n=1
an1A(xn)．ただし
1A(x) =
1, (x ∈ A),0, (x /∈ A).
(iii) Ω = [0, 1]，F = B([0, 1])，P (A) = |A| (Aの Lebesgue測度)．Def 1.8. ω ∈ Ω毎に命題 A(ω)が与えられているとする．P (N) = 0なる N ∈ F が存在し，ω /∈ N ならばA(ω)が真であるとき，命題 Aはほとんど確実に成り立つといい，A a.s.と表す．Ex 1.9. Ω = [0, 1]，F = B([0, 1])，P を Lebesgue 測度とする．A(ω) = を “ω は無理数である” とする．N = [0, 1] ∩ Qとすれば，N ∈ B([0, 1]) かつ P (N) = 0である．したがって，ほとんど確実に “ωは無理数である”．
2. 期待値
(Ω,F , P )を確率空間とする．Def 2.1. X : Ω → Rが確率変数 (random variable)であるとは，任意の B ∈ B(R)に対し，
X−1(B) = ω ∈ Ω |X(ω) ∈ B ∈ F
が成り立つことをいう．
Q 2.1. 任意の −∞ < a < ∞に対し，X−1((−∞, a]) ∈ F を満たせば，X は確率変数であることを示せ．Hint: G = B ∈ B(R) |X−1(B) ∈ Fとおき，G が全ての開集合を含む σ加法族であることを示せ．
Lem 2.2. (i) X,Y を確率変数，a, b ∈ Rとする．aX + bY，XY もまた確率変数である．
(ii) Xn，n = 1, 2, . . .，を確率変数とすれば，supn
Xn，infn
Xn，lim supn
Xn，lim infn
Xnはすべて確率変数で
ある．
Q 2.2. Lem2.2を示せ．
2
Def 2.3. (i) 確率変数 X が単純である (X ∈ SFと表す)とは n ∈ N，a1, . . . , an ∈ R，A1, . . . , An ∈ F が存在し次のように表示されることをいう．
X(ω) =n∑
k=1
ak1Ak(ω), ω ∈ Ω.
(ii) X ∈ SFに対し, その期待値 E[X]を次で定義する．
E[X] =∑
aiP (Ai).
(iii) 確率変数X ≥ 0に対し，その期待値を次で定義する．
E[X] = supE[Y ] |Y ∈ SF, 0 ≤ Y ≤ X.
(iv) 確率変数Xに対して，X+(ω) = max0, X(ω)，X−(ω) = max0,−X(ω)とおき，E[X+], E[X−] < ∞のとき，期待値 E[X]を次で定める．
E[X] = E[X+] − E[X−].
(v) E[X+]，E[X−] < ∞なるときX は可積分であるという．
(vi) X が可積分，A ∈ F のとき，E[X1A]を E[X; A]とも表す．Thm 2.4. (i) (線形性) 確率変数X,Y は可積分であるとし，a, b ∈ Rとする．このとき aX + bY は可積分
で，次式が成り立つ．
(2.5) E[aX + bY ] = aE[X] + bE[Y ].
(ii) (正値性) 可積分な確率変数X,Y がX ≥ Y a.s.を満たせば，E[X] ≥ E[Y ].
もしさらに E[X] = E[Y ]ならばX = Y a.s.証明は付録で与える．
Thm 2.6 (収束定理). X,Xn は確率変数とする．
(i) (単調収束定理) a.s.に 0 ≤ Xn ≤ Xn+1 X が成り立っていれば
(2.7) limn→∞
E[Xn] = E[X].
(ii) (Fatouの補題) a.s.にXn ≥ 0であれば，
E[lim infn→∞
Xn
]≤ lim inf
n→∞E[Xn].
(iii) (Lebesgueの優収束定理) Y ≥ 0は可積分で |Xn| ≤ Y が a.s.に成り立つ．Xn → X a.s.ならば，(2.7)が成り立つ．
(iv) (Lebesgueの有界収束定理) M > 0が存在し，|Xn| ≤ M が a.s.に成り立つ．Xn → X a.s.ならば，(2.7)が成り立つ．
証明． (i) すべての点で 0 ≤ Xn ≤ Xn+1 X が成り立っているとして良い (LemA.3(ii)の証明を参照)．X0 = 0とする．Xk − Xk−1 ≥ 0より，Yk,n ∈ SF,≥ 0で Yk,n ≤ Yk,n+1 Xk − Xk−1 (n → ∞)なるもの
が存在する．Zn =n∑
k=1
Yk,n とおく．Zn ∈ SF,≥ 0，Zn ≤ Zn+1 である．さらに
m∑k=1
Yk,n ≤ Zn ≤n∑
k=1
(Xk − Xk−1) ≤ Xn (m ≤ n)
より，n → ∞,m → ∞とすれば，Zn X である．したがって
E[X] = limn→∞
E[Zn] ≤ lim infn→∞
E[Xn] ≤ lim supn→∞
E[Xn] ≤ E[X].
3
(ii) Yn = infm≥n
Xm とおいて (i)を用いれば，
E[lim infn→∞
Xn
]= lim
n→∞E[Yn].
Yn ≤ Xn より E[Yn] ≤ E[Xn]．したがって
E[lim infn→∞
Xn
]≤ lim inf
n→∞E[Xn].
(iii) 0 ≤ (±Xn) + Y → ±X + Y であるから，Fatouの補題と線形性より
±E[X] = E[±X + Y ] − E[Y ] ≤ lim infn→∞
E[±Xn + Y ] − E[Y ] = lim infn→∞
E[±Xn].
これより望む等式を得る．(iv) 定数関数は可積分であるから，(iii)から従う．
3. 分布と分布関数
この節を通じて，(Ω,F , P )を確率空間とする．Def 3.1. (Ω′,F ′)を可測空間とする．写像 T : Ω → Ω′ が可測であるとは
T−1(A) = ω ∈ Ω |T (ω) ∈ A ∈ F , ∀A ∈ F ′
が成り立つことをいう．
Lem 3.2. (Ω′,F ′)を可測空間，T : Ω → Ω′ を可測写像とする．
P ′(A) = P (T−1(A)), A ∈ F ′
とおけば，P ′ は確率測度である．
証明． T−1(Ω′ \ A) = Ω \ T−1(A)，T−1( ∞∪
n=1An
)=
∞∪n=1
T−1(An)となることより従う．
Def 3.3. 上の P ′ を P T−1 と書き，T の (Ω′, F ′)に誘導する確率測度 (induced measure by T )という．とくに (Ω′,F ′) = (R,B(R))で，X : Ω → Rが確率変数となっているとき，P X−1を PX と表し，X の
分布と呼ぶ．
Thm 3.4. (Ω′,F ′)を可測空間，T : Ω → Ω′，f : Ω′ → R を可測写像とする ((R,B(R))を考えている)．このとき g = f T : Ω → Rは可測となる．さらに gが P について可積分となるためには f が P T−1について可積分となることが必要かつ十分であり，さらにこのとき
(3.5) EP [g] = EPT−1[f ]
となる．ただし EP は P に関する期待値を表す．
証明． A ∈ B(R)に対し，
g−1(A) = (f T )−1(A) = T−1(f−1(A)) ∈ F
となるから，gは可測である．f ≥ 0と仮定する．fn : Ω′ → R,∈ SFを 0 ≤ fn ≤ fn+1 f となるようにとる．gn = fn T とおけば，
gn ∈ SFで，0 ≤ gn ≤ gn+1 g．定義より明らかに
EP [gn] = EPT−1[fn]
単調収束定理より，n → ∞として (3.5)を得る．これを |f |に適用して可積分性の同値性を得，さらに f± に適用して一般の f に対する (3.5)を得る．
Q 3.1. X を確率変数とし，ξ : R → Rを恒等写像，ξ(x) = x (∀x ∈ R)とする．このとき次の等式を示せ．
EP [X] = EP X
[ξ].
Rem 3.1. 可測空間 (R,B(R))上の確率測度を考えるとき，恒等写像 ξ : R → Rは自然に確率変数と見なすことができる．
4
Def 3.6. X を確率変数，PX をその分布とする．
FX(x) = PX((−∞, x]) = P (ω |X(ω) ≤ x), x ∈ R
とおき，この FX をX の分布関数という．µが (R,B(R))上の確率測度のとき，恒等写像 ξ : R → Rの分布関数を Fµ と書き，µの分布関数と呼ぶ．
Thm 3.7. X,Y を確率変数とする．PX = PY が成り立つためには FX = FY が成り立つことが必要十分である．
証明． 必要性は明らかである．十分性を示す．A = B ∈ B(R) |PX(B) = PY (B)とおく．確率測度の単調性より，Aは σ加法族となる．
FX = FY より，(−∞, a] ∈ Aである．(a, b] = (−∞, b] \ (−∞, a]より，(a, b] ∈ Aとなる．さらに (a, b) =∞∪
n=1(a, b − (1/n)] ∈ A．Rの開集合は開区間の可算和集合として表されるから，Aは任意の開集合を含む．し
たがって B(R) = Aとなり，十分性が示される．Rem 3.2. PX = PY は，確率変数 X がボレル集合 B に見いだされる確率と Y のそれが，どの B についても等しいことを意味しており，この意味で『X と Y は同一のものである』と見なせることを意味する．
Thm 3.8. 分布関数 FX は非減少関数で，右連続かつ左極限を持つ．さらにlim
x→−∞FX(x) = 0， lim
x→∞FX(x) = 1となる．とくに不連続点は高々可算個．
証明． 確率測度の単調性と∩
ε>0(−∞, x + ε] = (−∞, x]，
∩ε>0
(−∞, x − ε] = (−∞, x)という関係式より明
らかである．0 ≤ FX ≤ 1と非減少性より，FX(x+) − FX(x−) ≥ 1/nなる xは高々n個しか存在しない．よって不連続
点は高々可算個となる．
Thm 3.9. g : R → Rを有界かつ連続とする．Riemann-Stieltjes積分を用いて
E[g(X)] =∫
Rg(x)dFX(x)
と表される．
証明． 関数 gn : R → Rを，gn(x) = g(k/2n)，x ∈ (k/2n, (k+1)/2n]，k ∈ Z，と定義する．gn(x) → g(x)(∀x ∈ R)であり，さらに
supn∈N
|gn(X)| ≤ supx∈R
|g(x)|, gn(X) =∞∑
k=−∞
g(k/2n)1(k/2n,(k+1)/2n](X).
Lebesgueの有界収束定理より
E[g(X)] = limn→∞
E[gn(X)] = limn→∞
∞∑k=−∞
g(k/2n)P (k/2n < X ≤ (k + 1)/2n)
= limn→∞
∞∑k=−∞
g(k/2n)FX((k + 1)/2n) − FX(k/2n) =∫
Rg(x)dFX(x).
Def 3.10. FX が階段関数となるとき，X を離散型確率変数という．FX が非負な Lebesgue可積分関数 fX を用いて FX(x) =
∫ x
−∞ fX(y)dyと表されるとき連続型確率変数という．
Thm 3.11. (i) X が離散型確率変数ならば ann∈N (ai 6= aj (i 6= j))が存在し，∞∑
n=1P (X = an) = 1とな
る．とくに P (X ∈ a1, a2, . . . , ) = 1．さらに有界かつ連続な g : R → Rに対し
E[g(X)] =∞∑
n=1
g(an)P (X = an).
(ii) X が連続型確率変数ならば，有界かつ連続な g : R → Rに対し
E[g(X)] =∫ ∞
−∞g(x)fX(x)dx.
5
証明． 期待値の表示式は Thm3.9より従う．FX(x−) = P (X < x)，FX(x) = P (X ≤ x)であるから，ann∈N = x ∈ R |FX(x−) 6= FX(x)とおけ
ば，1)の前半が得られる．Lem 3.12 (Schwarzの不等式). X2, Y 2が可積分となるような確率変数X,Y に対し，XY もまた可積分であり，次式が成り立つ． ∣∣E[XY ]
∣∣ ≤ (E[X2]
)1/2(E[Y 2])1/2
.
証明． |XY | ≤ (|X|2 + |Y |2)/2より，XY は可積分である．期待値の正値性より，
0 ≤ E[(X + tY )2
]= (E[Y 2])t2 + 2(E[XY ])t + E[X2], ∀t ∈ R
となるから，2次方程式の判別式から望む不等式を得る．Def 3.13. X,Y をX2, Y 2 が可積分な確率変数とする．X の分散 Var(X)，X,Y の共分散 Cov(X,Y )を次で定義する．
Var(X) = E[(X − E[X])2], Cov(X,Y ) = E[(X − E[X])(Y − E[Y ])].
Q 3.2. Var(X) = E[X2] − (E[X])2，Cov(X,Y ) = E[XY ] − E[X]E[Y ]となることを示せ．Q 3.3. Var(X) ≥ 0であり，等号成立は a ∈ Rが存在しX = a a.s.となるときに限ることを証明せよ．Q 3.4. X1, . . . , Xn を確率変数とし，Cij = Cov(Xi, Xj)とおく．行列 C = (Cij)1≤i,j≤n は対称非負定値となることを証明せよ．
4. 特性関数
Def 4.1. (i) (R,B(R))上の確率測度 µの特性関数 φµ : R → Cを次で定義する．
φµ(t) = Eµ[e√−1 tξ], t ∈ R.
ただし ξ(x) = x (x ∈ R)．
(ii) X が確率変数で，µ = PX のとき φP X を φX と書き，X の特性関数と呼ぶ; φX(t) = E[e√−1 tX ]．
Thm 4.2. µを (R,B(R))上の確率測度とする．φµ(0) = 1，|φµ(t)| ≤ 1となる．さらに φµは連続であり，次の意味で正定値である; 任意の n ∈ N，t1, . . . , tn ∈ Rに対し，行列 (φµ(ti − tj))1≤i,j≤n はエルミート行列であり，
(4.3)n∑
i,j=1
φ(ti − tj)ξiξj ≥ 0, ∀ξ1, . . . , ξn ∈ C.
証明． φµ(0) = 1，|φµ(t)| ≤ 1は容易に分かる．
|φµ(t) − φµ(s)| =∣∣Eµ[esξ(e
√−1 (t−s)ξ − 1)]
∣∣ ≤ Eµ[|e√−1 (t−s)ξ − 1|]
より，Lebesgueの有界収束定理により連続性を得る．正値性は e
√−1 (x−y) = e
√−1 xe
√−1 y に注意し，
n∑i,j=1
φ(ti − tj)ξiξj = Eµ
[( n∑i=1
e√−1 tiξξi
)( n∑i=1
e√−1 tiξξi
)]と変形すれば明らかである．
Thm 4.4. (R,B(R))上の確率測度 µ, ν が φµ = φν を満たせば µ = ν である．
証明． 急減少関数 f ∈ S はf(x) =
12π
∫RF [f ](ξ)e
√−1 ξxdξ
と表現できる (付録 §D参照)．Fubiniの定理より∫R
f(x)µ(dx) =12π
∫RF [f ](ξ)
(∫R
e√−1 ξxµ(dx)
)dξ =
12π
∫RF [f ](ξ)φµ(ξ)dξ =
12π
∫RF [f ](ξ)φν(ξ)dξ
=∫
Rf(x)ν(dx).
6
−∞ < a < b < ∞とする．fn ∈ S を，
fn(x) =
0, x ≤ aもしくは x ≥ b,
1, x ∈ [a + 1/n, b − 1/n],
を満たすものとする．このとき上の等式より
µ((a, b)) = limn→∞
∫R
fn(x)µ(dx) = limn→∞
∫R
fn(x)ν(dx) = ν((a, b)).
よって µ = ν である．
Thm 4.5. E[|X|n] < ∞ならば，φX は k回微分可能で，E[Xk] =√−1−kφ
(k)X (0)，k ≤ n．
証明． φX(t) = E[e√−1 tX ]である．(d/dt)ke
√−1 tX =
√−1 kXke
√−1 tX であるから，Lebesgueの優収束
定理 (微分版)より主張を得る．いくつかの確率変数の例を挙げその特性関数を計算しておく．
Def 4.6. X は確率空間 (Ω,F , P )上の確率変数とする．
(i) X がパラメータ (n, p)の二項分布に従う (X ∼ B(n, p))とは，
P (X = k) =(
n
k
)pk(1 − p)n−k, k = 0, 1, 2, . . . , n.
(ii) X がパラメータ pの幾何分布に従う (X ∼ Ge(p))とは，
P (X = k) = p(1 − p)k, k = 0, 1, 2, . . .
(iii) X がパラメータ (m, p)の負の二項分布に従う (X ∼ NB(m, p))とは，
P (X = k) =(
m + k − 1k
)pm(1 − p)k, k = 0, 1, 2, . . .
(iv) X がパラメータ λのポアソン分布に従う (X ∼ Po(λ))とは，
P (X = k) = (λk/k!)e−λ, k = 0, 1, 2, . . .
(v) X が [a, b]上の一様分布に従う (X ∼ U(a, b))とは，
FX(x) =∫ x
−∞
1b − a
1[a,b](y)dy.
(vi) X がパラメータ λの指数分布に従う (X ∼ Ex(λ))とは，
FX(x) =∫ x
−∞λe−λy1(0,∞)(y)dy.
(vii) X がパラメータ (ν, λ)のガンマ分布に従う (X ∼ Γ(ν, λ))とは，
FX(x) =∫ x
−∞
λνe−λy
Γ(ν)1(0,∞)(y)dy.
(viii) X がコーシー分布 (X ∼ Cau)に従うとは
FX(x) =∫ x
−∞
1π(1 + y2)
dy.
(ix) X がパラメータ (m,σ2)のガウス分布に従う (X ∼ N(m,σ2))とは，
FX(x) =∫ x
−∞
1√2πσ2
exp[−(y − m)2/(2σ2)]dy.
7
Prop 4.7. 上の定義の確率変数の特性関数は次のようになる．
X φX(t)B(n, p) (e
√−1 tp + (1 − p))n
Ge(p) p/1 − (1 − p)e√−1 t
NB(m, p) pm1 − (1 − p)e√−1 t−m
Po(λ) exp[λ(e√−1 t − 1)]
U(a, b) (e√−1 tb − e
√−1 ta)/
√−1 t(b − a)
Ex(λ) (1 − (√−1 t)/λ)−1
Γ(ν, λ) (1 − (√−1 t)/λ)−ν
Cau e−|t|
N(m, σ2) exp[√−1 tm − (σ2t2)/2]
Q 4.1. 上の Prop 4.7を示せ．
5. 概収束，確率収束，弱収束
Def 5.1. (i) (Ω,F , P )を確率空間とし，Xn, X : Ω → Rを確率変数とする．
(a) Xn がX に概収束するとは，Xn → X a.s.となることをいう．
(b) Xn がX に確率収束するとは，次が成り立つことをいう．
limn→∞
P(|Xn − X| > ε
)= 0 ∀ε > 0.
(c) XnがX に弱収束するとは，FX のすべての連続点 xにおいて FXn(x) → FX(x)となることをいう．
(ii) µn, µを (R,B(R))上の確率測度とする．µn が µに弱収束するとは，Fµ のすべての連続点 xにおいてFµn(x) → Fµ(x)となることをいう．
Rem 5.1. Xn がX に弱収束することは PXn が PX に弱収束することの言い換えに過ぎない．
Prop 5.2. Xn がX に確率収束するための必要十分条件は
limn→∞
E[
|Xn − X|1 + |Xn − X|
]= 0
となることである．とくにXn がX に概収束すれば確率収束する．
証明． 後半は有界収束定理より従う．写像 [0,∞) 3 x 7→ x/(1 + x)は単調増加である．x > εならば，x/(1 + x) > ε/(1 + ε) である．よって
P (|X − Xn| > ε) ≤ 1 + ε
εE
[|Xn − X|
1 + |Xn − X|
]となる．これより十分性が従う．x ≤ εでは x/(1 + x) ≤ ε/(1 + ε)となることから
E[
|Xn − X|1 + |Xn − X|
]= E
[|Xn − X|
1 + |Xn − X|; |X − Xn| > ε
]+ E
[|Xn − X|
1 + |Xn − X|; |X − Xn| ≤ ε
]≤ P (|Xn − X| > ε) +
ε
1 + ε
n → ∞，ε 0として必要性を得る．Thm 5.3. µn, µを (R,B(R))上の確率測度とする．次の条件は同値となる．
(i) µn は µに弱収束する．
(ii) 任意の有界連続関数 f : R → Rに対し limn→∞
Eµn [f ] = Eµ[f ].
(iii) 任意の有界一様連続関数 f : R → Rに対し limn→∞
Eµn [f ] = Eµ[f ].
(iv) 任意の閉集合 F ⊂ Rに対し，lim supn→∞ µn(F ) ≤ µ(F )となる．
8
(v) 任意の開集合 F ⊂ Rに対し，lim infn→∞ µn(F ) ≥ µ(F )となる．
(vi) 任意の境界が µ-零集合となる A ∈ B(E)に対し，limn→∞ µn(A) = µ(A)となる．
(vii) limn→∞
φµn(t) = φµ(t) (∀t ∈ R)．
証明． (ii)⇒(iii)，(iv)⇔(v)，(vi)⇒(i)，(ii)⇒(vii)は明らか．(i)⇒(ii): ε, δ > 0を任意に固定する．M = sup
x∈R|f(x)|とおく．Fµの連続点 a < bを Fµ(a) < ε，Fµ(b) > 1− ε
となるように選ぶ．∃N0 ∈ N : Fµn(a) < 2ε, Fµn(b) < 1 − 2ε, ∀n ≥ N0.
f の [a, b]での一様連続性に注意し，a = a1 < · · · < aN+1 = bを，各 aiは Fµの連続点で， supx,y∈[aj ,aj+1]
|f(x)−
f(y)| < δとなるように選ぶ．h(x) =N∑
j=1
f(aj)1(aj ,aj+1](x)とおく．このとき |f(x)− h(x)| < δ(∀x ∈ (a, b])と
なる．
Eν [h] =N∑
j=1
f(aj)Fν(aj+1) − Fν(aj), ν ∈ µn, µ : n ∈ N
であるから， ∣∣∣∣Eµn [f ] −N∑
j=1
f(aj)Fµn(aj+1) − Fµn(aj)∣∣∣∣ ≤ δ + 4Mε
∣∣∣∣Eµ[f ] −N∑
j=1
f(aj)Fµ(aj+1) − Fµ(aj)∣∣∣∣ ≤ δ + 2Mε
となる．したがってlim sup
n→∞
∣∣Eµn [f ] − Eµ[f ]∣∣ ≤ 2δ + 6Mε.
δ, ε → 0として，(ii)を得る．(iii)⇒(iv): F ⊂ Rを閉集合とし，ρ(x, F )を xと F の距離とする．fk(x) = (1 + ρ(x, F ))−k，k = 1, 2, . . . とおけば，fk : R → Rは有界一様連続であり，さらに 1F ≤ fk，limk→∞ fk(x) = 1F (x) (x ∈ R)が成り立つ．したがって (iii)より
lim supn→∞
µn(F ) ≤ lim supn→∞
Eµn [fk] = Eµ[fk].
Lebesgueの有界収束定理によりlim
k→∞Eµ[fk] = µ(F ).
したがってlim sup
n→∞µn(F ) ≤ µ(F ).
(iv),(v)⇒(vi): A ∈ B(R)の内部を A，閉包を Aとし，µ(A \ A) = 0と仮定する．このとき (iii)，(iv)の不等式より
µ(A) = µ(A) ≤ lim infn→∞
µn(A) ≤ lim infn→∞
µn(A) ≤ lim supn→∞
µn(A) ≤ µ(A) = µ(A).
(vii)⇒(iii) f : R → Rが急減少関数であるとする．このとき急減少関数 g : R → Cが見つかって，f(x) =∫ ∞−∞ g(t)e
√−1 txdtと表現できる (§D参照)．とくに
Eν [f ] =∫ ∞
−∞g(t)φν(t)dt, ∀ν ∈ µ, µn |n ∈ N
である．優収束定理より n → ∞とすれば，
limn→∞
Eµn [f ] = limn→∞
∫ ∞
−∞g(t)φµn(t)dt =
∫ ∞
−∞g(t)φµ(t)dt = Eµ[f ].
9
f : R → Rが有界一様連続とする．
fε(x) =∫ ∞
−∞f(y)(2πε)−1/2 exp[−(y − x)2/(2ε)]dy
とおけば，fε は急減少関数で，ε → 0とすれば fε は f に一様収束する．したがって，等式
limn→∞
Eµn [fε] = Eµ[fε]
において ε → 0とすれば (iii)を得る．Cor 5.4. Xn がX に確率収束すれば，弱収束する．
証明． f : R → Rを有界一様連続とする．任意の ε > 0に対し，δ > 0を，|x−y| ≤ δならば |f(x)−f(y)| < εとなるように選ぶ．M = sup
x∈R|f(x)|とおけば，
∣∣EP Xn[f ] − EP X
[f ]∣∣ =
∣∣E[f(Xn)] − E[f(X)]∣∣ ≤ ε + MP (|Xn − X| > δ)
したがって，Thm5.3(iii)より，PXn は PX に弱収束する．
Q 5.1. Ω = [0, 1]，F = B([0, 1])，P を Lebesgue測度とする．n = 2m + k(0 ≤ k < 2m)のとき，Xn(ω) =1[k2−m,(k+1)2−m] とおく．
(i) Xn は 0に確率収束することを示せ．
(ii) lim infn→∞
Xn(ω)，lim supn→∞
Xn(ω)を求めよ．
(iii) Xn は概収束するか?
Q 5.2. Xn がX に確率収束するとき，部分列 Xnkを，X に概収束するように選べることを証明せよ．
Q 5.3. X ∼ B(1, 1/2)，Xn = (−1)n(2X − 1)とする．PXn は PX に弱収束することを示せ．Xnは確率収束するか？
6. 独立確率変数
Def 6.1. (Ω,F , P )を確率空間とする．
(i) A,B ∈ F が独立とは P (A ∩ B) = P (A)P (B)が成り立つことをいう．
(ii) 確率変数X,Y が独立とは，任意の A,B ∈ B(R)に対し，X−1(A)と Y −1(B)が独立となることをいう．
(iii) 確率変数列X1, . . . , Xn が独立とは，任意の A1, . . . , An ∈ B(R)に対し，次が成り立つことをいう．
P
( n∩j=1
X−1j (Aj)
)=
n∏j=1
P (X−1j (Aj)).
(iv) 確率変数列X1, X2, . . . が独立とは，任意の n ∈ Nに対し，X1, . . . , Xn が独立となることをいう．
(v) 確率変数列 X1, X2, . . . が独立で，さらに分布 PXi が一致するとき，すなわち PXi = PXj となるとき，独立同分布な (independent identically distributed)確率変数列という．略して i.i.d.確率変数列とも書く．
Q 6.1. サイコロを 2 回投げることに対応する空間 Ω = (i, j) | i, j = 1, . . . , 6 を考える．F = 2Ω とし，P (A) = #A/36とする．X((i, j)) = i，Y ((i, j)) = j とすれば，X と Y は独立となることを証明せよ．同じ Ωで，X,Y が独立とならないような P の例を挙げよ．
Q 6.2. 任意の a < b, c < dに対し，P (X ∈ (a, b), Y ∈ (c, d)) = P (X ∈ (a, b))P (Y ∈ (c, d))となるとき，X,Y は独立であることを証明せよ．
Q 6.3. 確率変数X1, X2, X3 は任意の i 6= j に対しXi とXj が独立になるという．このとき X1, X2, X3 は独立か？
Thm 6.2. X,Y を確率変数とする．次の条件は同値である．
10
(i) X と Y は独立である．
(ii) T : Ω → R2 を T (ω) = (X(ω), Y (ω))とおく．このとき，T の (R2,B(R2))に誘導する確率測度 P T−1
は直積確率測度 PX × PY に一致する．
(iii) φaX+bY (t) = φX(at)φY (bt) (∀a, b, t ∈ R)．
証明． (i)⇒(ii): A,B ∈ B(R)とすれば，独立性より
P T−1(A × B) = P (X−1(A) ∩ Y −1(B)) = P (X−1(A))P (Y −1(B))
= PX(A)PY (B) = PX × PY (A × B).
Caratheodoryの拡張定理 (ThmB.1)より，B(R2)上，P T−1 = PX × PY となる．
(ii)⇒(iii): ξ : R 3 x 7→ x ∈ R，ξi : R2 3 (x1, x2) 7→ xi ∈ R (i = 1, 2)とおけば，Fubiniの定理より，
φaX+bY (t) = EP [e√−1 t(aX+bY )] = EPT−1
[e√−1 t(aξ1+bξ2)]
= EP X×P Y
[e√−1 t(ξ1+ξ2)] = EP X
[e√−1 atξ]EP Y
[e√−1 btξ] = φX(at)φY (bt).
(iii)⇒(i): fi : R → R を急減少関数とし，gi = (2π)−1F[fi] とすれば fi(x) =∫
R gi(a)e√−1 axda である
(i = 1, 2)．(§D参照)．Fubiniの定理より
E[f1(X)f2(Y )] =∫
R
∫R
g1(a)g2(b)φaX+bY (1)dadb
=∫
R
∫R
g1(a)g2(b)φX(a)φY (b)dadb = E[f1(X)]E[f2(Y )].
任意の a < bに対し，fn ∈ S がとれ，0 ≤ fn ≤ fn+1 1(a,b) とできる．したがって上式より，
P (X ∈ (a, b), Y ∈ (c, d)) = P (X ∈ (a, b))P (Y ∈ (c, d))
となる．よってX,Y は独立となる．
Q 6.4. X,Y が独立でともに可積分ならば，X,Y もまた可積分で，E[XY ] = E[X]E[Y ]となることを証明せよ．
Hint: まず，X,Y ともに SFの元であるときに示せ．次に，単調収束定理を用いてX,Y ≥ 0の場合に拡張せよ．最後に一般のX,Y に対し証明せよ．
Q 6.5. X,Y が独立ならば，Cov(X,Y ) = 0，Var(X + Y ) = Var(X) + Var(Y )となることを示せ．
7. 大数の法則
Thm 7.1 (大数の弱法則). X1, X2, . . . は可積分な i.i.d. 確率変数列とする．E[Xi] = m とおく．このとき(X1 + · · · + Xn)/nはmに確率収束する．
P
(∣∣∣∣X1 + · · · + Xn
n− m
∣∣∣∣ ≥ δ
)→ 0 (n → ∞), ∀δ > 0.
証明． C > 0を任意に固定し，
XCi =
Xi, |Xi| ≤ C,
0 |Xi| > C, Y C
i = Xi − XCi , aC = E[XC
i ], bC = E[Y Ci ]
とおく．優収束定理より
E[|Y Ci |] = E[|Y C
1 |] → 0 (C → ∞).
Chebyshevの不等式を使えば，
P
(∣∣∣∣XC1 + . . . XC
n
n− aC
∣∣∣∣ ≥ δ
)≤ δ−2Var((XC
1 + · · · + XCn )/n) ≤ δ−2 1
nVar(XC
1 ) ≤ C2
nδ2
11
となる．X1 + · · · + Xn
n− m =
XC1 + · · · + XC
n
n− aC +
Y C1 + · · · + Y C
n
n− bC
であるから，
P
(∣∣∣∣X1 + · · · + Xn
n− m
∣∣∣∣ ≥ δ
)≤ P
(∣∣∣∣XC1 + · · · + XC
n
n− aC
∣∣∣∣ ≥ δ/2)
+ P
(∣∣∣∣Y C1 + · · · + Y C
n
n− bC
∣∣∣∣ ≥ δ/2)
≤ 4C2
nδ2+
2δ
E[∣∣∣∣Y C
1 + · · · + Y Cn
n− bC
∣∣∣∣] ≤ 4C2
nδ2+
4δ
E[|Y C1 |]
n → ∞，C → ∞とすれば，主張を得る．
Lem 7.2 (Borel-Cantelliの補題). (i)∞∑
n=1P (An) < ∞ならば，
P
( ∞∩m=1
∪n≥m
An
)= 0.
(ii) A1, A2, . . . が独立で，∞∑
n=1P (An) = ∞ならば，
P
( ∞∩m=1
∪n≥m
An
)= 1.
証明． (i)
P
( ∞∩m=1
∪n≥m
An
)≤
∞∑n=m
P (An), ∀m ∈ N
となるから，仮定より，m → ∞として，
P
( ∞∩m=1
∪n≥m
An
)= 0.
(ii)∞∑
n=1P (An) = ∞とする．このとき明らかに
∞∑n=m
P (An) = ∞ (∀m)である．
P
( ∪n≥m
An
)= 1 − P
( ∩n≥m
(Ω \ An))
= 1 −∏
n≥m
(1 − P (An)) (∵独立性)
≥ 1 − exp[−
∑n≥m
P (An)]
= 1 (∵ 1 − x ≤ e−x).
したがって測度の単調性より主張を得る．
Thm 7.3 (大数の強法則 (I)). X1, X2, . . . は i.i.d.確率変数列とする．Xiは 4乗可積分，すなわちX4i が可積
分であると仮定する．このときX1 + · · · + Xn
n→ E[X1] a.s.
証明． Yi = Xi −E[X1]は i.i.d.で期待値は 0である．(Y1 + · · ·+ Yn)/n = (X1 + · · ·+ Xn)/n−E[X1]であるから，(Y1 + · · ·+ Yn)/n → 0 a.s.となることが示せれば主張を得る．よって E[Xi] = 0と仮定して良い．独立性と E[Xi] = 0より，i 6= j ならば E[XiXjX
2k ] = E[XiX
3j ] = 0となるので，
E[(X1 + · · · + Xn)4] =n∑
j=1
E[X4j ] +
(42
) ∑i 6=j
E[X2i X2
j ]
= nE[X41 ] + 3n(n − 1)(E[X2
1 ])2 ≤ (n + 3n2)E[X41 ] ≤ 4n2E[X4
1 ].
12
これより
P(∣∣(X1 + · · · + Xn)/n
∣∣ ≥ δ)≤ P
(∣∣X1 + · · · + Xn
∣∣ ≥ nδ)
≤ (nδ)−4E[(X1 + · · · + Xn)4] ≤ 4δ−4E[X41 ]n−2.
したがって∞∑
n=1
P(∣∣(X1 + · · · + Xn)/n
∣∣ ≥ δ)
< ∞.
Borel-Cantelliの補題より，
P
( ∞∪m=1
∩n≥m
|(X1 + · · · + Xn)/n| < δ
)= 1.
すなわち，ほとんどすべてのω ∈ Ωに対し，n(ω) ∈ Nがとれて，n ≥ n(ω)ならば，|(X1(ω)+· · ·+Xn(ω))/n| < δとなる．したがって
P(lim sup
n→∞|(X1 + · · · + Xn)/n| ≤ δ
)= 1, ∀δ > 0.
δ 0とすれば，P
(lim sup
n→∞|(X1 + · · · + Xn)/n| = 0
)= 1.
すなわち (X1 + · · · + Xn)/n → 0 a.s.
8. 独立確率変数の和
Lem 8.1. X1, X2, . . . を独立な確率変数列とし，Sk，Tn を次で定義する．
Sk = X1 + · · · + Xk, Tn = sup1≤k≤n
|Sk|.
(i) (Kolmogorovの不等式) 各 Xi は 2乗可積分，すなわち X2i が可積分で，E[Xi] = 0を満たすと仮定す
る．σ2n =
n∑i=1
Var(Xi) とおく．このとき
P(Tn ≥ `
)≤ σ2
n/`2, ∀` > 0.
(ii) (Levyの不等式) ` > 0, δ ∈ (0, 1)とする．もし
P(|Xi + Xi+1 + · · · + Xn| ≥ `/2
)≤ δ, 1 ≤ ∀i ≤ n,
が成り立てば，P
(Tn ≥ `
)≤ δ/(1 − δ).
証明．Ek =
|S1| < `, . . . , |Sk−1| < `, |Sk| ≥ `
とおく．Ei ∩ Ej = ∅であり，Tn ≥ ` =
n∪k=1
Ek となる．
(i) Sk1Ekは X1, . . . , Xk から定まるので，Sn − Sk = Xk+1 + · · · + Xn とは独立になる．E[Sn − Sk] = 0な
ので，
P (Ek) ≤ 1`2
E[S2k1Ek
] ≤ 1`2
E[S2k + (Sn − Sk)21Ek
]
=1`2
E[S2k + 2Sk(Sn − Sk) + (Sn − Sk)21Ek
] =1`2
E[S2n1Ek
].
kについて和をとれば，
P (Tn ≥ `) ≤ 1`2
E[S2n1Tn≥`] ≤
1`2
E[S2n] =
σ2n
`2.
13
(ii) 仮定よりP
(Tn ≥ ` ∩ |Sn| > `/2
)≤ P
(|Sn| > `/2
)≤ δ.
また Ek と Sn − Sk の独立性より，
P(Tn ≥ ` ∩ |Sn| ≤ `/2
)=
n∑k=1
P(Ek ∩ |Sn| ≤ `/2
)≤
n∑k=1
P(Ek ∩ |Sn − Sk| ≥ `/2
)=
n∑k=1
P (Ek)P(|Sn − Sk| ≥ `/2
)≤ δ
n∑k=1
P (Ek) = δP (Tn ≥ `).
上とあわせてP (Tn ≥ `) ≤ δP (Tn ≥ `) + δ
となり，これより望む不等式を得る．
Thm 8.2 (Levyの定理). X1, X2, . . . を独立確率変数列とし，Sn = X1 + · · ·+ Xnとする．次の条件 (i)，(ii)，(iii)は同値である．
(i) Sn は弱収束する． (ii) Sn は確率収束する． (iii) Sn は概収束する．
証明． (iii)⇒(ii)⇒(i)は既知である．(i)⇒(ii)⇒(iii)を示す．
(i)⇒(ii): δ > 0とする．n(N) < m(N) < n(N + 1) < m(N + 1) < · · · ∞を
lim supn,m→∞
P (|Sn − Sm| ≥ δ) = limN→∞
P (|Sn(N) − Sm(N)| ≥ δ)
となるように選ぶ．φSn
(t) =∏n
j=1 φXi(t)となる (Thm6.2)から，PSn の弱収束極限を µとすれば，Thm5.3より，φSn
(t) →φµ(t)である．φµ(0) = 1より，r > 0が存在し，|t| ≤ rならば φµ(t) 6= 0となる．したがって
φSn(N)−Sm(N)(t) =φSn(N)(t)φSm(N)(t)
→ 1 (N → ∞), ∀|t| ≤ r
となる．
|φSn(N)−Sm(N)(t) − φSn(N)−Sm(N)(s)|
≤ E[|e√−1 (t−s)(Sn(N)−Sm(N)) − 1|] ≤
(E[|e
√−1 (t−s)(Sn(N)−Sm(N)) − 1|2]
)1/2
=(2E[(1 − cos[(t − s)(Sn(N) − Sm(N))])]
)1/2 ≤(|1 − φSn(N)−Sm(N)(t − s)|
)1/2
であるから，上とあわせてφSn(N)−Sm(N)(t) → 1 (N → ∞), ∀t ∈ R.
δ0を原点に集中したDirac測度とすれば，φδ0(t) ≡ 1であるから，PSn(N)−Sm(N) は δ0に弱収束する (Thm5.3)．集合 (−∞,−δ] ∪ [δ,∞)は，δ0 のもと境界が測度零の集合となっているから，再び Thm5.3より
limN→∞
P (|Sn(N) − Sm(N)| ≥ δ) = 0
である．これよりlim
n,m→∞P (|Sn − Sm| ≥ δ) = 0 (∗)
となり，Sn が確率収束するといえる．
(ii)⇒(iii): Snが確率収束するので，上の (∗)が成立する．これより，自然数列 Nk∞k=1をNk < Nk+1 ∞，
supm,n≥Nk
P (|Sn − Sm| ≥ 2−k−1) ≤ 2−k−1
14
となるように選ぶことができる．とくに
supNk<m≤Nk+1
P (|Sm − SNk| ≥ 2−k−1) ≤ 2−k−1.
Levyの不等式より，
(8.3) P
(sup
Nk<m≤Nk+1
|Sm − SNk| ≥ 2−k
)≤ 2−k−1
1 − 2−k−1≤ 2−k, k = 1, 2, . . .
となる．Borel-Cantelliの補題より，
P
( ∞∪j=1
∩k≥j
sup
Nk<m≤Nk+1
|Sm − SNk| < 2−k
)= 1.
これより
Sn − Sm = (Sn − SNk) − (Sm − SN`
) +k−1∑p=`
(SNp+1 − SNp), n > m, Nk < n ≤ Nk+1, N` < m ≤ N`+1,
と表せば，Sn は概収束するといえる．
Thm 8.4. X1, X2, . . . は独立確率変数列とし，Sn = X1 + · · · + Xn とおく．
(i) (Kolmogorovの 1級数定理) Xiは 2乗可積分で，E[Xi] = 0，かつ∞∑
n=1Var(Xn)が収束すれば，Snは概
収束する．
(ii) (Kolmogorovの 2級数定理) Xiは 2乗可積分で，∞∑
n=1E[Xn]と
∞∑n=1
Var(Xn)が収束すれば，Snは概収束
する．
(iii) (Kolmogorovの 3級数定理) Snが概収束するためには，次を満す C > 0が存在することが必要かつ十分である．
(a)∞∑
n=1P (|Xn| > C)が収束する．
(b) Yn = Xn1[−C,C](Xn)とおけば，∞∑
n=1E[Yn]が収束する．
(c)∞∑
n=1Var(Yn)が収束する．
証明． (i) Kolmogorovの不等式より，任意の δ > 0に対し，
P
(sup
m<k≤n|Sk − Sm| ≥ δ
)≤ δ−2
n∑k=m+1
Var(Xk).
これより
lim supm,n→∞
P
(sup
m<k≤n|Sk − Sm| ≥ δ
)= 0.
これより，自然数列 Nkを Nk < Nk+1 ∞，
P
(sup
Nk<m≤Nk+1
|Sm − SNk| ≥ 2−k
)≤ 2−k, k = 1, 2, . . .
となるように選べる．すなわち，(8.3)を得る．以下は Thm8.2の証明と同様である．
(ii) Yn = Xn − E[Xn]とし，(i)を適用すれば，Y1 + · · · + Yn が概収束する．したがって Xn + · · · + Xn =(Y1 + · · · + Yn) + (E[X1] + · · · + E[Xn])もまた概収束する．
15
(iii)(十分性) 仮定 (b)，(c)と (ii)より，Y1 + · · · + Yn は概収束する．仮定 (a)より，
∞∑n=1
P (Xn 6= Yn) =∞∑
n=1
P (|Xn| > C) < ∞.
Borel-Cantelliの補題により，
P
( ∞∪m=1
∩n≥m
Xn = Yn
)= 1.
すなわち，ほとんどすべての ωに対し，n(ω) ∈ Nがとれて Xn(ω) = Yn(ω) (∀n ≥ n(ω))となる．よって Xn
も概収束する．
(iii)(必要性) C = 1として (a)，(b)，(c)を示す．Snが概収束するから，Xnは 0に概収束する．したがって
P
( ∞∩m=1
∪n≥m
|Xn| > 1
)= 0 (#)
となる．|Xn| > 1，n = 1, 2, . . .，は独立であるから Borel-Cantelliの補題 (ii)から (a)を得る．(#)より，
P
( ∞∪m=1
∩n≥m
Xn = Yn
)= 1.
したがって Sn = Y1 + · · · + Yn もまた概収束する．(c)が示されれば，Var(Yn) = Var(Yn − E[Yn])なので，Yn −E[Yn]に (i)を適用して
∑n(Yn −E[Yn])の概収束がいえる．
∑n Ynの概収束と合わせて，(b)が従う．し
たがってあとは (c)を示せば良い．Y ′
i を Yi の独立なコピーとする (正確には直積確率空間を用意する)．Y ′1 + · · · + Y ′
n も概収束し，従ってZn = Yn−Y ′
nとおけば，Z1+· · ·+Znも概収束する．Yn, Y ′nが独立であるから，Var(Zn) = Var(Yn)+Var(Y ′
n) =
2Var(Yn)である．したがって∞∑
n=1Var(Zn) < ∞を示せば良い．
Fn =ω
∣∣ |Z1(ω) + · · · + Zj(ω)| ≤ `, j = 1, 2, . . . , n
とおく．Z1 + · · · + Zn が収束するから，` > 0，δ > 0が存在し，P (Fn) ≥ δ (∀n)となる．Zn の独立性とE[Zn] = 0により，
E[(Z1 + · · · + Zn)2; Fn−1] = E[(Z1 + · · · + Zn−1)2; Fn−1] + E[Z2n;Fn]
= E[(Z1 + · · · + Zn−1)2; Fn−1] + Var(Zn)P (Fn−1)
≥ E[(Z1 + · · · + Zn−1)2; Fn−1] + δVar(Zn).
Fn ⊂ Fn−1 に注意すれば，
E[(Z1 + · · · + Zn)2; Fn−1] = E[(Z1 + · · · + Zn)2; Fn] + E[(Z1 + · · · + Zn)2; Fn−1 \ Fn]
≤ E[(Z1 + · · · + Zn)2; Fn] + (` + 2)2P (Fn−1 \ Fn).
これより
δVar(Zn) ≤ E[(Z1 + · · · + Zn)2; Fn] − E[(Z1 + · · · + Zn−1)2; Fn−1] + (` + 2)2P (Fn−1 \ Fn).
Fn−1 \ Fn は互いに素となるから，nについて和をとれば
δm∑
n=1
Var(Zn) ≤ E[(Z1 + · · · + Zm)2; Fm] + (` + 2)2 ≤ `2 + (` + 2)2.
m → ∞として，∑
n Var(Zn) < ∞を得る．Thm 8.5 (大数の法則 (II)). X1, X2, . . . を i.i.d.確率変数列とする．X1は可積分であるとし，E[Xi] = 0と仮定する．このとき (X1 + · · · + Xn)/nは 0に概収束する．
16
証明． Yn = Xn1[−n,n](Xn)とおき，
an = P (Xn 6= Yn), bn = E[Yn], cn = Var(Yn)
とおく．このとき
∞∑n=1
an =∞∑
n=1
P (|X1| > n) = E[ ∞∑
n=1
1|X1|>n
]= E
[ ∞∑n=1
n1n<|X1|≤n+1
]≤ E[|X1|] < ∞,
limn→∞
bn = limn→∞
E[X11|X1|≤n] → E[X1] = 0,
∞∑n=1
cn
n2≤
∞∑n=1
E[Y 2n ]
n2=
∞∑n=1
E[X2
1
n21|X1|≤n
]= E
[X2
1
∑n≥|X1|
1n2
]≤ CE
[max|X1|, 2
]< ∞.
ただし C は定数．また x ≥ 2ならば，∑
n≥x
n−2 ≤ (x − 1)−1 ≤ 2/xを用いた．
E[(Yn − bn)/n] = 0，Var((Yn − bn)/n) = cn/n2であるから，2級数定理より，∑
n(Yn − bn)/nが収束するといえる．
∑n anが収束するから，Borel-Cantelliの補題より，ほとんどすべての ωに対し nが十分大きけれ
ばXn(ω) = Yn(ω)となる．よって∑
n(Xn − bn)/nが収束する．一般に
∑n(an/n)が収束すれば (a1 + · · · + an)/nは 0に収束する．
(∵) cn = an/n，dn = c1 + · · · + cn とする．仮定より dn → ∃d．
a1 + · · · + an
n=
n∑k=1
k
nck = dn −
n−1∑k=1
n − k
nck = dn − d1 + · · · + dn−1
n→ d − d = 0. ///
よって (X1 − b1) + · · ·+ (Xn − bn)/nは 0に概収束する．bn → 0より，(b1 + · · ·+ bn)/n → 0である．よって (X1 + · · · + Xn)/nは 0に概収束する．
9. 中心極限定理
Thm 9.1 (中心極限定理). X1, X2, . . . を i.i.d. 確率変数列とする．Xn は 2 乗可積分であり，E[Xn] = 0，σ2 = Var(Xn) > 0を仮定する．Sn = X1 + · · · + Xnとおき，X ∼ N(0, σ2)とする．このとき PSn/
√nは PX
に弱収束する．
証明． Xn は i.i.d.であるからφSn/
√n(t) =
φXn(t/
√n)
n
となる．Taylor展開
eitx = 1 + itx − t2x2
2− x2
∫ t
0
∫ s
0
(eiux − 1)duds
より，
R(t) = −∫ t
0
∫ s
0
E[X2(eiuX − 1)]duds
とおけば
φXn(t/√
n) = 1 − t2σ2
2n+ E[R(t/
√n)] (∗)
となる．変数変換 (√
nu,√
ns) 7→ (u, s)と Lebesgueの優収束定理より
n∣∣E[R(t/
√n)]
∣∣ ≤ ∫ t
0
∫ s
0
E[X2eiuX/√
n − 1]duds → 0 (n → ∞).
これと (∗)より φXn(t/
√n)
n → exp[−σ2t2/2] = φX(t).
Thm5.3より，PSn/√
n は PX に弱収束する．
17
Thm 9.2 (Lindebergの定理). X1, X2, . . . を 2乗可積分で E[Xn] = 0なる独立確率変数列とする．sn > 0を
s2n =
n∑j=1
Var(Xj)とおき，s2n → ∞と，次の Lindebergの条件を仮定する．
limn→∞
1s2
n
n∑j=1
E[X2j ; |Xj | ≥ εsn] = 0 ∀ε > 0.
このとき PSn/sn は PX (X ∼ N(0, 1))に弱収束する．ただし Sn = X1 + · · · + Xn．
証明． Xn,j = Xj/sn とおく．φXn,j
(t) = φXj(t/sn)
である．T > 0を固定する．E[Xj ] = 0であるから
sup|t|≤T
|φXn,j (t) − 1| = sup|t|≤T
∣∣E[e√−1 tXj/sn − 1]
∣∣= sup
|t|≤T
∣∣E[e√−1 tXj/sn − 1 − itXj/sn]
∣∣ ≤ (T 2/2)E[(Xj/sn)2](9.3)
≤ (T 2/2)ε2 + (T 2/2)E[(Xj/sn)2 ; |Xj | ≥ ε/sn]
≤ (T 2/2)ε2 +T 2
2s2n
n∑j=1
E[X2j ; |Xj | ≥ ε/sn].
ただし
|e√−1 x − 1 −
√−1x| =
∣∣∣∣∫ x
0
∫ y
0
eiydy
∣∣∣∣ ≤ x2/2
を用いた．Lindebergの条件より
lim supn→∞
sup1≤j≤n
sup|t|≤T
|φXn,j (t) − 1| ≤ (T 2/2)ε2.
ε → 0とすれば
(9.4) limn→∞
sup1≤j≤n
sup|t|≤T
|φXn,j (t) − 1| = 0.
(9.3)と s2n の定義より
(9.5) sup|t|≤T
n∑j=1
|φXn,j (t) − 1| ≤ (T 2/2)n∑
j=1
E[X2j /s2
n] = T 2/2, ∀n ∈ N.
(9.4) より |φXn,j (t) − 1| < 1/2 としてよい．D = z ∈ C | |z| < 1/2 上 log(1 + z) は正則関数となり，| log(1 + z) − z| ≤ C|z|2 (∀z ∈ D)を満たす定数 C が存在する．とくに (9.4)，(9.5)より∣∣∣∣ n∑
j=1
log(1 + (φXn,j (t) − 1)) − (φXn,j (t) − 1)∣∣∣∣ ≤ C
n∑j=1
|φXn,j (t) − 1|2
≤ C
sup1≤j≤n
sup|t|≤T
|φXn,j (t) − 1|
sup|t|≤T
n∑j=1
|φXn,j (t) − 1|
≤ C(T 2/2) sup1≤j≤n
sup|t|≤T
|φXn,j (t) − 1| → 0 (n → ∞)
となる．Xj の独立性より，
φSn/sn(t) =
n∏j=1
φXn,j (t) =n∏
j=1
(1 + (φXn,j (t) − 1))
と表すことができるので，
(9.6) φSn/sn(t) exp
[−
n∑j=1
(φXn,j (t) − 1)]
=n∏
j=1
exp[log(1 + (φXn,j (t) − 1)) − (φXn,j (t) − 1)] n→∞−→ 1.
18
σ2j = Var(Xj)とする．
|e√−1 x − 1 −
√−1x + (x2/2)| ≤ minx2, |x|3/6
となることに注意すれば
sup|t|≤T
∣∣∣∣( n∑j=1
(φXn,j(t) − 1)
)+
t2
2
∣∣∣∣ ≤ sup|t|≤T
n∑j=1
∣∣∣∣φXn,j(t) − 1 +
t2σ2j
2s2n
∣∣∣∣≤ sup
|t|≤T
n∑j=1
E[∣∣∣∣e√−1 tXj/sn − 1 −
√−1 (tXj/sn) +
t2X2j
2s2n
∣∣∣∣]
≤ sup|t|≤T
n∑j=1
E[|tXj/sn|3/6 ; |Xj | < εsn
]+ E
[|tXj/sn|2 ; |Xj | ≥ εsn
]≤ (T 2 + T 3)
ε
s2n
n∑j=1
E[X2j ] +
T 2 + T 3
s2n
n∑j=1
E[X2j ; |Xj | ≥ εsn]
= (T 2 + T 3)ε + (T 2 + T 3)n∑
j=1
E[X2j ; |Xj | ≥ εsn]
Lindebergの条件より，n → ∞とし，さらに ε → 0とすれば，
limn→∞
sup|t|≤T
∣∣∣∣( n∑j=1
(φXn,j (t) − 1))
+t2
2
∣∣∣∣ = 0.
これを (9.6)と合わせれば，φSn/sn
(t) → e−t2/2
となり，結論を得る．
10. 条件付き期待値
Thm 10.1. (Ω,F , P )を確率空間，G ⊂ F を σ加法族，X を可積分な確率変数とする．このとき，G 可測かつ可積分な確率変数 YX が存在し，
(10.2) E[XZ] = E[YXZ]
が任意の有界な G 可測な確率変数 Z に対して成立する．さらに YX も同じ性質を満たせば，YX = YX a.s.となる．証明． 一意性: YX，YX に対し，(10.2)が成り立つので
E[(YX − YX)Z] = 0
となる．Z = 1YX≥ fYXとおけば，(YX − YX)Z ≥ 0であるから，期待値の正値性 (Thm2.4)より，上式とあわ
せて，(YX − YX)Z = 0 a.s.となる．すなわち，YX ≤ YX a.s. 同様に逆の不等号もいえ，YX = YX a.s.となる．
存在: (第 1段階) X は有界とする．次のような 2乗可積分な G 可測確率変数 YX が存在し，それは (10.2)を満たす．
(10.3) E[(X − YX)2] = infE[(X − Y )2 |Y は G 可測で 2乗可積分
(∵) G 可測 2乗可積分確率変数列 Yn を
limn→∞
E[(X − Yn)2] = infE[(X − Y )2 |Y は G 可測で 2乗可積分 =: c2
ととる．Minkowskiの不等式より，
c ≤(E[X − (Yn + Ym)/22]
)1/2
≤ 12(E[X − Yn2]
)1/2 +12(E[X − Ym2]
)1/2 → c (n,m → ∞).
19
これより
limn,m→∞
E[(X − Yn)(X − Ym)]
= 2 limn,m→∞
E[X − (Yn + Ym)/22] − 1
4E[(X − Yn)2] − 1
4E[(X − Ym)2]
= 2c2 − (c2/4) − (c2/4) = c2.
よって
limn,m→∞
E[(Yn − Ym)2]
= limn,m→∞
E[(X − Yn)2] + E[(X − Ym)2] − 2E[(X − Yn)(X − Ym)]
= c2 + c2 − 2c2 = 0.
増大自然数列 nkを
E[(Ynk− Ynk+1)
2] ≤ 2−3k, k = 1, 2, . . .なるように選び，YX = lim inf
k→∞Ynkとおけば，YX は G 可測な 2乗可積分確率変数であ
り，さらに E[(Ynk− YX)2] → 0となる．よって YX は (10.3)を満たす．
Z を有界な G 可測確率変数とする．このとき
0 ≤ E[(X − YX + aZ)2] − c2 = 2aE[(X − YX)Z] + a2E[Z2], ∀a ∈ R.
したがって E[(X − YX)Z] = 0．すなわち (10.2)が成り立つ． ///
(第 2段階) X,X ′ は有界な可積分確率変数で，X ≤ X ′ とする．このとき YX ≤ YX′ a.s.(∵) Z = 1YX>YX′ とする．このとき (10.2)より
0 ≤ E[(X ′ − X)Z] = E[(YX′ − YX)Z].
よって (YX′ − YX)Z = 0 a.s. すなわち Z = 0 a.s.つまり YX ≤ YX′ a.s.
(第 3段階) X は可積分確率変数で，X ≥ 0とする．このとき (10.2)を満たす G 可測な確率変数 YX が存在する．
(∵) Xn = minX,nとおく．(第 2段階)より，YXn ≤ YXn+1 a.s. YX = lim supn→∞
YXn とお
けば，単調収束定理より，任意の非負有界 G 可測確率変数 Z に対し，
E[XZ] = limn→∞
E[XnZ] = limn→∞
E[YXnZ] = E[YXZ].
したがって (10.2)が成り立つ．(第 4段階) 一般のX については YX = YX+ − YX− とおけばよい．
Def 10.4. Thm10.1の YX を E[X|G]と表し，G で条件付けられたX の条件付き期待値という．A ∈ F のとき E[1A|G](ω)を P (ω,A)と表し，Aの条件付き確率という．
Q 10.1. A ∈ Fとし，G = ∅, A, Ω\A,Ωとおく．G可測な確率変数は，適当な a, b ∈ Rを用いて a1A +b1Ω\A
と表されることを示せ．
Q 10.2. A ∈ F は，は 0 < P (A) < 1を満たすと仮定する．G = ∅, A, Ω \ A,Ωとおく．B ∈ F に対し，
P (·, B) =P (A ∩ B)
P (A)1A +
P ((Ω \ A) ∩ B)P (Ω \ A)
1Ω\A
となることを示せ．
Thm 10.5. X,Y を可積分な確率変数とする．G ⊂ F を σ加法族とする．
(i) E[E[X|G]
]= E[X]．
(ii) もしX が G 可測ならば，E[X|G] = X a.s. とくに E[1|G] = 1 a.s.
20
(iii) X ≥ Y a.s.ならば，E[X|G] ≥ E[Y |G] a.s. とくに∣∣E[X|G]∣∣ ≤ E[|X| | G] a.s.
(iv) a, b ∈ Rに対し，E[aX + bY |G] = aE[X|G] + bE[Y |G] a.s.
(v) Z が有界な G 可測確率変数ならば E[ZX|G] = ZE[X|G] a.s.
(vi) H ⊂ G が σ加法族ならば，E
[E[X|G]
∣∣H]= E[X|H] a.s.
(vii) X と G が独立なとき，すなわち，任意の A ∈ B(R)と B ∈ G に対し，X−1(A)と B が独立になるとき，
E[X|G] = E[X] a.s.
証明． (i)は (10.2)より従う．(ii)は E[·|G]の一意性より従う．(iii)は Thm10.1の (存在)(第 2段階)と同様．(iv)，(v)，(vi)は (10.2)と E[·|G]の一意性より従う．例えば，Z を G 可測な有界確率変数とすれば，
E[E[aX + bY |G]Z
]= E[(aX + bY )Z] = aE[XZ] + bE[Y Z]
= aE[E[X|G]Z
]+ bE
[E[Y |G]Z
]= E
[(aE[X|G] + bE[Y |G])Z
]と変形し一意性を用いる．
(vii) Z を G 可測な有界確率変数とすれば，X と Z は独立である．問題 6.4より，
E[XZ] = E[X]E[Z] = E[E[X]Z
].
これより，一意性により主張を得る．
Q 10.3. 上の Thmの (i)—(vi)を証明せよ．
11. マルチンゲール
Def 11.1. (i) (Ω,F , P )を確率空間とする．Fn ⊂ F，n = 0, 1, 2, . . .，が σ加法族で Fn ⊂ Fn+1 を満たすとき，Fnn=0,1,2,... をフィルトレーションという．四つ組 (Ω,F , P, Fn)をフィルターつき確率空間(filetered probability space)と呼ぶ．
(ii) 確率変数列X0, X1, X2, . . . をX = Xnn=0,1,2,...(またはX = Xnn≥0)と表し，確率過程とよぶ．Ex 11.2. 確率過程X = Xnn=0,1,2,... は次のように自然にフィルトレーションを定める．
FXn = σ
[X−1
j (A) | 1 ≤ j ≤ n,A ∈ B(R)]
とおく．このとき FXn n=0 はフィルトレーションである．
Def 11.3. (Ω,F , P, Fn)をフィルターつき確率空間とする．確率過程M = Mnn≥0が Fnマルチンゲールであるとは，次の条件が成り立つことをいう．
(i) Mn は可積分かつ Fn 可測である．
(ii) E[Mn+1|Fn] = Mn a.s. n = 0, 1, 2, . . .
条件 (ii)の等号を不等号 ≤で置き換えたものが成り立つとき，M を Fn優マルチンゲールという．また不等号 ≥で置き換えたものが成り立つとき，M を Fn劣マルチンゲールという．フィルトレーション Fnが明らかなときは Fnを略して，単に (優，劣)マルチンゲールともいう．
Thm 11.4. (i) Mnが可積分かつFn可測であるとする．M = Mnn≥0がマルチンゲールとなるための必要十分条件は
E[Mm|Fn] = Mn a.s. ∀m > n.
優マルチンゲールとなるための必要十分条件は上の等号を不等号≤で置き換えたものであり，劣マルチンゲールとなるための必要十分条件は上の等号を不等号 ≥で置き換えたものである．
(ii) M = Mnn≥0 がマルチンゲールならば，|Mn|n≥0 は劣マルチンゲールである．
21
(iii) M = Mnn≥0 が劣マルチンゲールで各Mn が非負かつ p乗可積分 (p ≥ 1)ならば，Mpnも劣マルチ
ンゲールである．
(iv) X0, X1, . . . を可積分な独立確率変数列とする．E[Xn] = 0 (∀n)と仮定する．Sn = X1 + · · · + Xn とすれば，S = Sn∞n=0 は FS
n マルチンゲールである．証明． (i) 十分性は明らか．必要性は Thm10.5(vi)より，
E[Mm|Fn] = E[E[Mm|Fm−1]
∣∣Fn
]= E[Mm−1|Fn] = · · · = E[Mn+1|Fn] = Mn.
他の必要十分性も同様に証明できる．(ii) Thm10.5(iii)より，
E[|Mn+1| |Fn] ≥∣∣E[Mn+1|Fn]
∣∣ = |Mn|.(iii) G ⊂ F を σ加法族とし，X ≥ 0とすれば，(
E[X|G])p ≤ E[Xp|G].
(∵) Xn =n2n∑j=0
k2−n1[k2−n,(k+1)2−n)(X) とおく．n2n∑k=0
1[k2−n,(k+1)2−n)(X) = 1 より，
n2n∑k=0
E[1[k2−n,(k+1)2−n)(X)
∣∣G]= 1.
xp は凸関数なので，
(E[Xn|G]
)p ≤n2n∑k=0
(k2−n)pE[1[k2−n,(k+1)2−n)(X)|G] = E[Xpn|G].
n → ∞とすれば，単調収束定理より主張を得る．///
これを用いれば，Mn ≥ 0よりE[Mp
n+1|Fn] ≥(E[Mn+1|Fn]
)p ≥ Mpn.
(iv) Thm10.5(ii)，(iv)，(vii)より，
E[Sn+1|FSn ] = E[Sn + Xn+1|FS
n ] = Sn + E[Xn+1] = Sn.
Thm 11.5 (Doobの不等式). M = Mnn≥0を非負劣マルチンゲールとする．このとき，任意のN ∈ N∪0に対し，
(11.6) P(
max0≤n≤N
Mn ≥ x)≤ 1
xE
[MN ; max
0≤n≤NMn ≥ x
], ∀x > 0.
さらに，もし p > 1に対しMpn が可積分ならば，次が成り立つ．
(11.7) E[
max0≤n≤N
Mpn
]≤
( p
p − 1
)p
E[MpN ].
証明． En = Mj < x, j = 0, . . . , n − 1, Mn ≥ xとおく．
P(
max0≤n≤N
Mn ≥ x)
=N∑
n=0
P (En)
≤N∑
n=0
E[(Mn/x); En
](∵ En 上Mn/x ≥ 1)
≤ (1/x)N∑
n=0
E[MN ; En] (∵ En ∈ Fn, Mn ≤ E[MN |Fn])
= (1/x)E[MN ; max
0≤n≤NMn ≥ x
]
22
Mpnもまた劣マルチンゲールである．(11.6)より
P(
max0≤n≤N
Mn > x)
= P(
max0≤n≤N
Mpn > xp
)≤ x−pE
[Mp
N ; max0≤n≤N
Mpn > xp
].
これより，
(11.8) limx→∞
xpP(
max0≤n≤N
Mn > x)
= 0.
1 < q < pとする．部分積分の公式より，非負確率変数X に対し
E[Xq] = −∫ ∞
0
xqdFX(x) = q
∫ ∞
0
xq−1FX(x)dx
が成り立つことに注意すれば，劣マルチンゲール Mqnに (11.6)を適用して
E[
max0≤n≤N
Mqn
]≤ q
∫ ∞
0
xq−1P(
max0≤n≤N
Mn > x)dx < ∞. (∵ (11.8))
またこの不等式より
E[
max0≤n≤N
Mqn
]≤ q
∫ ∞
0
xq−1 1x
E[MN ; max
0≤n≤NMn ≥ x
]dx (∵ (11.6))
= qE[MN
∫ max0≤n≤N Mn
0
xq−2dx
](∵ Fubiniの定理)
=q
q − 1E
[MN
(max
0≤n≤NMn
)q−1]≤ q
q − 1(E[Mq
N ])1/q
(E
[(max
0≤n≤NMn
)q])(q−1)/q
(∵ Horderの不等式).
よってE
[max
0≤n≤NMq
n
]≤
( q
q − 1
)q
E[MqN ].
q pとして主張を得る．
Q 11.1. X ≥ 0は p乗可積分 (p > 1)とする．
limqp
E[Xq] = E[Xp]
となることを示せ．Hint: E[Xq; X < 1]に有界収束定理，E[Xq;X ≥ 1]に単調収束定理を適用せよ．
付 録
A. 定理 2.4の証明
いつかの補題に分けて証明する．
Lem A.1. X,Y ∈ SFがX,Y ≥ 0を満たし，a ≥ 0ならば，X+Y，aXは可積分で，E[X+Y ] = E[X]+E[Y ]，E[aX] = aE[X]となる．さらにX ≥ Y ならば，E[X] ≥ E[Y ]．
証明． A1, . . . , An ∈ F が存在し，Ai ∩ Aj = ∅，n∪
i=1
Ai = Ω を満し，さらに X =∑n
i=1 ai1Ai，Y =∑ni=1 bi1Ai，と表すことができる．主張はこの表示から直ちに従う．
Lem A.2. (i) Xn, Y ∈ SFは Xn, Y ≥ 0，Xn ≤ Xn+1， limn→∞
Xn ≥ Y を満たすとする．このとき E[Y ] ≤lim
n→∞E[Xn]．
23
(ii) Xn, Yn ∈ SFはXn, Yn ≥ 0，Xn ≤ Xn+1，Yn ≤ Yn+1， limn→∞
Xn = limn→∞
Yn を満たすとする．このとき
limn→∞
E[Xn] = limn→∞
E[Yn]．
(iii) Xn ∈ SFはXn ≥ 0，Xn ≤ Xn+1 を満たすとする．X = limn→∞
Xn とすれば，E[X] = limn→∞
E[Xn]．
(iv) 確率変数X,Y がX,Y ≥ 0を満たし，a ≥ 0ならば，E[X + Y ] = E[X] + E[Y ]，E[aX] = aE[X]となる．さらにX ≥ Y ならば，E[X] ≥ E[Y ]．
(v) 確率変数X が可積分となるためには E[|X|] < ∞となることが必要十分である．
(vi) 確率変数X が可積分で，確率変数 Y は |Y | ≤ |X|を満すとする．このとき Y もまた可積分である．
証明． (i) Y =n∑
k=1
ak1Ak(Ai ∩Aj = ∅)と表す．ε > 0を固定し，Ak,n = ω ∈ Ak |Xn(ω) ≥ (1 − ε)ak
とおく．このとき，Ak,n ⊂ Ak,n+1 Ak，Xn ≥ (1 − ε)n∑
k=1
ak1Ak,nであるから，
limn→∞
E[Xn] ≥ (1 − ε) lim infn→∞
n∑k=1
akP (Ak,n) = (1 − ε)n∑
k=1
akP (Ak) = (1 − ε)E[Y ].
ここで ε 0とすれば良い．(ii) 仮定より lim
n→∞Xn ≥ Ym (∀m). したがって (i)より limn E[Xn] ≥ E[Ym]．m → ∞とすれば，limn E[Xn] ≥
limn E[Yn]．逆も同様．(iii) 定義より E[Xn] ≤ E[X]．X の期待値の定義より，Yn ∈ SFがとれて 0 ≤ Yn ≤ X，limn E[Yn] = E[X]となる．Zn = maxXn, Y1, . . . , Ynとおけば，Zn ∈ SF,≥ 0，Zn ≤ Zn+1 X である．(ii)と LemA.1より，
limn→∞
E[Xn] = limn→∞
E[Zn] ≥ limn→∞
E[Yn] = E[X].
(iv) An,k(X) = ω | k2−n ≤ X(ω) < (k + 1)2−nとし，Xn =n2n∑k=0
k2−n1An,k(X)，Yn =n2n∑k=0
k2−n1An,k(Y ) と
おく．Xn, Yn ∈ SF,≥ 0であり，Xn ≤ Xn+1 X，Yn ≤ Yn+1 Y である．さらに aXn, Xn +Yn ∈ SF,≥ 0，aXn ≤ aXn+1 aX，Xn + Yn ≤ Xn+1 + Yn+1 X + Y でもある．よって
E[X + Y ] = limn→∞
E[Xn + Yn] = limn→∞
E[Xn] + E[Yn] = E[X] + E[Y ].
E[aX] = limn→∞
E[aXn] = limn→∞
aE[Xn] = aE[X].
X ≥ Y ならばXn ≥ Yn であるから，E[Xn] ≥ E[Yn]．n → ∞として，E[X] ≥ E[Y ]．(v) |X| = X+ + X− であるから，(iv)より明らか．(vi) (iv)，(v)より明らか．Lem A.3. (i) 確率変数X,Y は可積分であるとし，a ∈ Rとする．このときX + Y, aX はともに可積分で，
E[X + Y ] = E[X] + E[Y ]，E[aX] = aE[X]．
(ii) 可積分な確率変数X,Y がX ≥ Y a.s.を満たせば，E[X] ≥ E[Y ].
もしさらに E[X] = E[Y ]ならばX = Y a.s.証明． (i) |aX| = |a||X|，|X + Y | ≤ |X| + |Y |より，可積分性は LemA.2より従う．a > 0ならば (aX)± = aX±，a < 0ならば (aX)± = −aX∓ である．E[aX] = aE[X]は期待値の定義と
LemA.2より従う．A,B ∈ F，A∩B = ∅ならば，LemA.2より E[X±(1A + 1B)] = E[X±1A] + E[X±1B ]となる (復号同順)．
これよりE[X(1A + 1B)] = E[X1A] + E[X1B ].
E++ = X ≥ 0, Y ≥ 0，E+− = X ≥ 0, Y < 0，E−+ = X < 0, Y ≥ 0，E−− = X < 0, Y < 0とおけば，示すべきは次の等式である (復号同順)．
(A.4) E[(X + Y )1E±± ] = E[X1E±± ] + E[Y 1E±± ].
24
E++, E−−で (A.4)が成立することは LemA.2とスカラー倍についての線形性より従う．E+−上では次のように考える．E+−+ = E+− ∩ ±(X + Y ) ≥ 0，E+−− = E+− ∩ ±(X + Y ) < 0とおく．LemA.2とスカラー倍についての線形性より
E[X1E+−+ ] = E[(X + Y )1E+−+ ] − E[Y 1E+−+ ]−E[Y 1E+−− ] = E[E[X1E+−− ] − E[E[(X + Y )1E+−− ]
となる．これより E+− で (A.4)が成立する．E−+ で (A.4)が成立することも同様に証明できる．
(ii) (i)より『X ≥ 0 a.s.ならば E[X] ≥ 0となり，さらにこのとき E[X] = 0ならば X = 0 a.s.となる』ことを示せば良い．E = X < 0とおく．P (E) = 0である．さらに Xn ∈ SFを 0 ≤ Xn ≤ Xn+1 X ととる．Yn = Xn1E とおけば，Yn ∈ SF, 0 ≤ Yn ≤ Yn+1 X1E となる．よって E[X1E ] = limn E[Yn] = 0．線形性より E[X] = E[X1Ω\E ] + E[X1E ] = E[X1Ω\E ] ≥ 0.
E[X] = 0とする．En = X ≥ 1/nとおく．X ≥ (1/n)1En であるから，0 = E[X] ≥ (1/n)P (En) ≥ 0．よって P (En) = 0．n → ∞とすれば，P (X > 0) = 0となる．
B. 拡張定理
Thm B.1 (Caratheodoryの拡張定理). Ωを集合とし，A ⊂ 2Ω とする．Aは，(i) ∅,Ω ∈ A， (ii) A ∈ Aならば Ω \ A ∈ A，(iii) A,B ∈ Aならば A ∩ B,A ∪ B ∈ A
を満すとする．P : A → [0, 1]は(a) P (Ω) = 1，
(b) A1, A2, · · · ∈ A，Ai ∩ Aj = ∅，∞∪
j=1
Aj ∈ Aならば P
( ∞∪j=1
Aj
)=
∞∑j=1
P (Aj)
を満すとする．このとき (Ω, σ(A))上の確率測度 Qで，Q(A) = P (A) (∀A ∈ A)となるものがただ一つ存在する．
Rem B.1. (b)は次と同値である．(b′) An ∈ Aが An ⊃ An+1 ∅ ならば，P (An) → 0 (n → ∞)．証明．
P ∗(B) = inf ∞∑
j=1
P (Aj)∣∣∣∣ ∞∪
j=1
Aj ⊃ B, Aj ∈ A
, B ∈ 2Ω
とおく．P ∗ は P の拡張となっている．
(B.2) P ∗(A) = P (A), ∀A ∈ A.
(∵) A ∈ Aとする．A ⊂ Aより，P ∗(A) ≤ P (A)は明らか．
• ε > 0とし，Aj ∈ Aを∞∪
j=1
Aj ⊃ A，∞∑
j=1
P (Aj) ≤ P ∗(A) + εとなるようにとる．
Cj = A ∩
Aj \(j−1∪
k=1
Ak
)とすれば，Cj ∈ A，
∞∪j=1
Cj = A，Ci ∩ Cj = ∅となる．
仮定 (b)より
P (A) =∞∑
j=1
P (Cj) ≤∞∑
j=1
P (Aj) ≤ P ∗(A) + ε.
ε → 0とすれば P (A) ≤ P ∗(A)．///• 次が成り立つ．
(B.3) P ∗( ∞∪
j=1
Bj
)≤
∞∑j=1
P ∗(Bj), ∀B1, B2, · · · ∈ 2Ω.
25
(∵) ε > 0を任意に固定し，An,k ∈ Aを∞∪
k=1
An,k ⊃ Bn，∞∑
k=1
P (An,k) < P ∗(Bn)+ε2−n
となるように選ぶ．このとき，∞∪
n,k=1
An,k ⊃∞∪
n=1Bn であるから，
P ∗( ∞∪
n=1
Bn
)≤
∞∑n,k=1
P (An,k) ≤∞∑
n=1
P ∗(Bn) + ε2−n
≤
∞∑n=1
P ∗(Bn) + ε.
ε ↓ 0とすればよい．///•
M = B ⊂ Ω |P ∗(G) = P ∗(B ∩ G) + P ∗(Bc ∩ G), ∀G ⊂ Ω
とおく．ただし Bc = Ω \ B．このとき
(B.4)
(a) ∅, Ω ∈ M, (b) A ∈ M =⇒ Ac ∈ M,
(c) Bk ∈ M , k = 1, 2, . . . , n, =⇒n∪
k=1
Bk ∈ M,
(d) Bk ∈ M, k = 1, 2, . . . , n, Bi ∩ Bj = ∅ =⇒
P ∗( n∪
k=1
(Bk ∩ G
))=
n∑k=1
P ∗(Bk ∩ G), ∀G ⊂ Ω.
(∵) (b)は明らかである．P ∗(∅) = 0と (b)より，(a)が従う．(c) については，de Morgan の法則，(b) と帰納法により B1, B2 ∈ M のときにB1 ∩ B2 ∈ Mを示せばよい．B1, B2 ∈ Mより
P ∗((B1 ∩ B2)c ∩ G) + P ∗((B1 ∩ B2) ∩ G)= P ∗((Bc
1 ∪ Bc2) ∩ G) + P ∗((B1 ∩ B2) ∩ G)
= P ∗(B2 ∩ (Bc1 ∪ Bc
2) ∩ G) + P ∗(Bc2 ∩ (Bc
1 ∪ Bc2) ∩ G)
+ P ∗((B1 ∩ B2) ∩ G)= P ∗(B2 ∩ Bc
1 ∩ G) + P ∗(Bc2 ∩ G) + P ∗((B1 ∩ B2) ∩ G)
= P ∗(B2 ∩ G) + P ∗(Bc2 ∩ G) = P ∗(G)
したがって B1 ∩ B2 ∈ M．(d) n = 2のときに示せば良い．B1, B2 ∈ M，B1 ∩ B2 = ∅，G ⊂ Ωとする．このとき B1 ∈ Mであるから，
P ∗((B1 ∪ B2) ∩ G)= P ∗(B1 ∩ (B1 ∪ B2) ∩ G) + P ∗(Bc
1 ∩ (B1 ∪ B2) ∩ G)= P ∗(B1 ∩ G) + P ∗(B2 ∩ G).
///• 次が成り立つ．
(B.5)
(e) Bn ∈ M, n = 1, 2, . . . =⇒∞∪
n=1
Bn ∈ M,
(f) Bn ∈ M, n = 1, 2, . . . , Bi ∩ Bj = ∅, =⇒
P ∗( ∞∪
n=1
Bn
)=
∞∑n=1
P ∗(Bn).
(∵) Bn ∈ Mは互いに素であるとし，G ⊂ Ωとする．B =∞∪
n=1Bn とおく．G = (A ∩
G) ∪ (Ac ∩ G)であるから，(B.3)より
(B.6) P ∗(G) ≤ P ∗(A ∩ G) + P ∗(Ac ∩ G).
26
Mn =∪n
k=1 Bk とおく．(B.4)(c)よりMn ∈ Mである．よって
P ∗(G) = P ∗(Mn ∩ G) + P ∗(M cn ∩ G).
Mn ⊂ Bより，M cn ⊃ Bcである．よってP ∗(M c
n∩G) ≥ P ∗(Ac∩G)．また，(B.4)(d)
より P ∗(Mn ∩ G) =n∑
k=1
P ∗(Bk ∩ G)．これらをあわせると
P ∗(G) ≥n∑
k=1
P ∗(Bk ∩ G) + P ∗(Ac ∩ G).
n → ∞とし，さらに (B.3)より∑∞
k=1 P ∗(Bk ∩G) ≥ P ∗(A∩G)となることに注意すれば，
P ∗(G) ≥∞∑
k=1
P ∗(Bk ∩ G) + P ∗(Bc ∩ G) ≥ P ∗(B ∩ G) + P ∗(Bc ∩ G)
となる．(B.6)とあわせて
P ∗(G) =∞∑
k=1
P ∗(Bk ∩ G) + P ∗(Bc ∩ G) = P ∗(B ∩ G) + P ∗(Bc ∩ G).
よって B ∈ Mとなる．この等式で G = B とおけば (f)も従う．///• A ⊂ M．特に σ(A) ⊂ Mである．
実際，A ∈ A，G ⊂ Ωとする．An ∈ Aを∞∪
n=1An ⊃ Gととる．このとき
A ∩ G ⊂∞∪
n=1
(A ∩ An), Ac ∩ G ⊂∞∪
n=1
(Ac ∩ An)
であるから，
∞∑n=1
P (An) =∞∑
n=1
P (A ∩ An) +∞∑
n=1
P (Ac ∩ An) ≥ P ∗(A ∩ G) + P ∗(Ac ∩ G).
ここで Anについて下限をとれば
P ∗(G) ≥ P ∗(A ∩ G) + P ∗(Ac ∩ G).
逆の不等式は P ∗ の劣加法性より従うので，
P ∗(G) = P ∗(A ∩ G) + P ∗(Ac ∩ G).
すなわち，A ∈ F．Q(B) = P ∗(B) (B ∈ σ(A))とおけば望む Qを得る．
Thm B.7. F : R → R は非減少かつ右連続で limx→−∞
F (x) = 0， limx→∞
F (x) = 1 を満すとする．このとき
(R,B(R))上の確率測度 µが存在し，F = Fµ となる．
証明．
A = n∪
j=1
(aj , bj ]∣∣∣∣ n ∈ N,−∞ ≤ a1 < b1 < a2 < b2 < · · · < an < bn ≤ ∞
とおく．P : A → [0, 1]を
P
( n∪j=1
(aj , bj ])
=n∑
j=1
F (bj) − F (aj)
と定義する．P,A は ThmB.1 の (i)∼(iii)，(a) を満す．(b) を満すことを見るには，任意の Aj ∈ A，Aj ⊃Aj+1 ∅に対し，P (Aj) → 0を示せば良い．
27
infj P (Aj) ≥ δ > 0と仮定し，矛盾を導く．` > 0を 1−F (`)+F (−`) < δ/2となるようにとる．Bj = Aj ∩ [−`, `]とおく．Aj \Bj ⊂ (−∞,−`)∪ (`,∞)
より，P (Aj) − P (Bj) ≤ 1 − F (`) + F (−`) < δ/2．したがって P (Bj) ≥ δ/2である．Cj ⊂ Bj をDj = Cj ⊂，
P (Bj \ Cj) ≤δ
10 · 2j, ∀j
となるように選ぶ．Ej =j∩
k=1
Cj，Fj =j∩
k=1
Dj とおく．Fj ⊃ Fj+1，Fj はコンパクト集合であり，Aj ⊃ Fj よ
り，Fj ∅．ところが Fj ⊃ Ej，P (Ej) ≥ (δ/2) −∞∑
j=1
P (Bj \ Cj) ≥ 4δ/10．したがって Fj 6= ∅．有限交叉性
より∞∩
j=1
Fj 6= ∅．これは矛盾．
C. 直積確率空間
Def C.1. (Ω1,F1)，(Ω2,F2)を可測空間とする．Ω1 × Ω2 上の σ加法族
σ[A1 × A2 |Ai ∈ Fi, i = 1, 2]
を F1 ×F2 と表し，F1 と F2 の直積 σ加法族という．
Thm C.2. (Ω1,F1, P1)，(Ω2,F2, P2)を確率空間とし，Ω = Ω1 × Ω2，F = F1 × F2 とおく．(Ω,F)上の確率測度 Qで
Q(A1 × A2) = P1(A1)P2(A2), ∀Ai ∈ Fi, i = 1, 2
を満たすものがただ一つ存在する．
証明． A0 = A1 × A2 |Ai ∈ Fi, i = 1, 2，
A = n∪
j=1
Bj
∣∣∣∣ Bj ∈ A0, Bi ∩ Bj = ∅
とおく．Aが (i) ∅,Ω ∈ A，(ii) B ∈ Aならば Ω \B ∈ A，(iii) B,C ∈ AならばB ∪C ∈ Aを満たすことは容易に分かる．さらに定義より明らかに F = σ[A]となる．
P : A → [0, 1]を
P
( n∪j=1
A1,j × A2,j
)=
n∑j=1
P1(A1,j)P2(A2,j)
と定義する．ただし Ai,j ∈ Fi，i = 1, 2，で (A1,k × A2,k) ∩ (A1,j × A2,j) = ∅．このとき P (Ω) = 1．En ∈ Aは En ⊃ En+1 ∅ とする．ω2 ∈ Ω2 に対し，
En,ω2 = ω1 | (ω1, ω2) ∈ En
とおく．En,ω2 ∈ F1 であり，En,ω2 ⊃ En+1,ω2 ∅である．よって P1(En,ω2) → 0．A，P の定義より，写像X2
n : Ω 3 ω2 7→ P1(En,ω2)は可測であり，P (En) = EP2 [X2n]となる．有界収束定理より，P (En) → 0である．
よって ThmB.1より，A上では P と一致する (Ω,F)上の確率測度 Qが唯一存在する．
Def C.3. ThmC.2の Qを P1 × P2と表し，P1 と P2の直積確率測度という．(Ω,F , P1 × P2)を (Ω1,F1, P1)と (Ω2,F2, P2)の直積確率空間という．Thm C.4 (Fubiniの定理). (Ωi,Fi, Pi)を確率空間，(Ω,F , P1 × P2)をその直積確率空間とする．確率変数X : Ω → Rに対し，
Yω1(ω2) = Zω2(ω1) = X(ω1, ω2), ωi ∈ Ωi, i = 1, 2
とおく．
(i) 各 ω1, ω2 に対し，Yω1 : Ω2 → R，Zω2 : Ω1 → Rは可測である．
(ii) X が可積分ならば，P1に関しほとんどすべての ω1について Yω1 は P2-可積分であり，P2に関しほとんどすべての ω2 について Zω2 は P1-可積分である．
(iii) X が可積分ならば，写像 Ω1 3 ω1 7→ EP2 [Yω1 ]，Ω2 3 ω2 7→ EP1 [Zω2 ]はともに可測である．
28
(iv) X が可積分ならば，EP1×P2 [X] = EP1
[EP2 [Yω1 ]
]= EP2
[EP1 [Zω2 ]
].
もしX ≥ 0ならば上の主張は可積分性の仮定なしに成立する．証明．
G = A ∈ F |1A が (i)∼(iv)を満たす とおく．(a) Ω, ∅ ∈ G，(b) A ∈ G ならば Ω \ A ∈ G は定義より明らかである．(c) Aj ∈ G，j ∈ N，ならば，定義関数の分解を用いて
n∪j=1
Aj ∈ Gとなり，さらに単調収束定理より，∞∪
j=1
Aj ∈ G
となる．(d) Ai ∈ Fi，i = 1, 2，ならば，直ちに A1 × A2 ∈ G となる．したがって G = F である．線形性よりX ∈ SFは (i)∼(iv)を満たすといえる．X ≥ 0ならば，Xn ∈ SFを 0 ≤ Xn ≤ Xn+1 X とな
るようにとり，単調収束定理を用いればよい．一般のX については線形性より主張が従う．
D. 急減少関数
Def D.1. f : R → Cが急減少関数であるとは，任意の k,m ∈ Z, ≥ 0に対し，supx∈R
|x|k|f (m)(x)| < ∞とな
ることをいう．急減少関数の全体を S と表す．
Def D.2. f ∈ S に対し，
F[f ](ξ) =∫
Rf(x)e−
√−1 ξxdx, F[f ](x) =
12π
∫R
f(ξ)e√−1 ξxdξ
とおき，F[f ]を f のフーリエ変換，F[f ]を f の フーリエ逆変換という．
Thm D.3. f ∈ S とする．
(i) F[f ], F[f ] ∈ S．
(ii) FF[f ] = FF[f ] = f．
証明． k,m ∈ Z, ≥ 0とする．f ∈ S に対し，fm(x) = xmf(x)とおく．fm ∈ S である．Lebesgueの優収束定理 (微分版)を用い，部分積分を行えば
ξk(F[f ]
)(m)(ξ) =∫
Rf(x)(
√−1x)mξke−
√−1 ξxdx
= (−1)k√−1 m−k
∫R
fm(x)(
ddx
)k(e−√−1 ξx)dx
= (−1)k+m√−1 m−kf (k)
m (x)e−√−1 ξxdx
となる．したがって F[f ] ∈ S となる．F[f ](x) = F[f ](−x)/(2π)より，F[f ]もまた S に属する．f, g ∈ S とする．積分の順序交換により∫
RF[f ](ξ)g(ξ)e
√−1 ξxdξ =
∫R
(∫R
f(y)e√−1 ξydy
)g(ξ)e
√−1 ξxdξ
=∫ ∫
R2f(y)g(ξ)e−
√−1 ξ(y−x)dydξ =
∫R
(∫R
f(y)e−√−1 ξ(y−x)dy
)g(ξ)dξ
=∫
R
(∫R
f(x + y)e−√−1 ξydy
)g(ξ)dξ =
∫R
f(x + y)(∫
Rg(ξ)e−
√−1 ξydξ
)dy
=∫
Rf(x + y)F[g](y)dy.
ε > 0とし，g(ξ) = e−ε2ξ2/2 とおけば，F[g](y) = (2π)1/2ε−1e−y2/(2ε2) となる．(∵) 変数変換により ∫
Rg(ξ)e−ξzdξ =
(2π)1/2
εez2/(2ε2)
を得る．解析接続して，z =√−1 yを代入すれば良い．///
29
上式に代入すれば ∫R
F(ξ)e−ε2ξ2/2e√−1 ξxdξ = (2π)−1/2ε−1
∫R
f(x + y)e−y2/(2ε2)dy
= (2π)−1/2
∫R
f(x + εy)e−y2/2dy.
ε → 0とすれば，Lebesgueの優収束定理より，∫R
F(ξ)e√−1 ξxdξ = (2π)−1/2f(x).
すなわち，F[[f ]](x) = f(x)をえる．逆の関係式はこれから容易に従う．
30
