Embed Size (px)
Citation preview
デザイン行列について計算特訓第４回：補助資料３
土居正明
はじめに
0.1 前提知識など
本稿では、「デザイン行列とは何か？」についてご説明します。第４回その１「最尤推定量２（回帰分析）」については、
解説の部分を読まれていることを前提としてご説明します。また、基本的な行列計算も仮定しています。不安な方は第４回
その２「行列・最小２乗推定量の計算」の前半部分を先に解いてから読まれることをお勧めします。
0.2 本稿の流れ
回帰分析・分散分析（fixed effect model）・共分散分析・クロスオーバーの解析などについて順に見ていきますが、どの
モデルにも共通した流れとして
(i) データ・モデル式を縦に並べ、ベクトル表記する。
(ii) パラメータベクトル β を作る。
(iii)「平均部分」を β と行列Xの掛け算の形で表す。
として、(iii)で得られた行列Xをデザイン行列と呼びます。
1 その１：回帰分析
1.1 具体例（単回帰分析）
まずは回帰分析についてです。「最尤推定量２」の解説部分でデータ
表 1 ３人の収縮期血圧と年齢のデータ（iは被験者番号）
被験者番号 (i) 年齢 (xi) 収縮期血圧 (yi)
1 20 110
2 40 130
3 60 170
に対して、モデル
yi = a + bxi + εi (yi :被験者 iの収縮期血圧、xi :被験者 iの年齢、a, b : 定数、εi：被験者 iの誤差) (1)
をあてはめました。通常、誤差 εi には平均 0を仮定しますので、yi の平均は E[yi] = a + bxi となります。これを用いて、
右辺は「平均部分：a + bxi」と「誤差部分：εi」とに分解できます*1。
さて、(1)を全データに対して並べると
被験者番号 1： y1 = a + bx1 + ε1
*1 「平均部分」「誤差部分」という言葉は私の造語なので、他の方には通じません。ご注意ください。
1
被験者番号 2： y2 = a + bx2 + ε2
被験者番号 3： y3 = a + bx3 + ε3
と書けます。さらに数値をあてはめると
被験者番号 1： 110 = a + 20b + ε1
被験者番号 2： 130 = a + 40b + ε2
被験者番号 3： 170 = a + 60b + ε3
となります。デザイン行列とは、この「平均部分」を行列・ベクトルを用いてまとめたものです。まずはいくつかベクトル
を定義します。
y =
y1
y2
y3
=
110130170
, ε =
ε1ε2ε3
(2)
とおきます。このとき、(1)をベクトル表示すると y1
y2
y3
=
a + 20ba + 40ba + 60b
︸ ︷︷ ︸
平均部分
+
ε1ε2ε3
︸ ︷︷ ︸誤差部分
より、(2)を用いて
y =
a + 20ba + 40ba + 60b
+ ε (3)
と書けます。ここでさらに「平均部分」 a + 20ba + 40ba + 60b
(4)
の部分をまとめましょう。ポイントは「推定したいのは a, bの２つ」ということです。ですので、この２つを
β =(
ab
)とまとめて、(4)を表現しようとします。そうすると a + 20b
a + 40ba + 60b
=
1 · a + 20 · b1 · a + 40 · b1 · a + 60 · b
=
1 201 401 60
(ab
)=
1 201 401 60
β
と表現できます。これより、(3)をまとめると
y =
1 201 401 60
β + ε
となります。ここで最後まで残った行列にXという名前をつけてやり
X =
1 201 401 60
としたとき、このXのことをこの回帰分析モデルのデザイン行列と呼びます。このとき、結局 (1)は最もまとまった形で
y = Xβ + ε
と書けます。
2
1.2 具体例（重回帰分析）
では次に、説明変数が複数ある重回帰分析の具体例を見ます。本質的な部分は単回帰とほとんど同じです。
データは以下の通りとします。
表 2 ４人の収縮期血圧と年齢のデータ（j は被験者番号）
被験者番号 (j) 年齢 (x1j) １日の塩分摂取量 (x2j) 収縮期血圧 (yj)
1 20 10 110
2 40 15 130
3 50 22 165
4 60 12 170
に対して、モデル
yj = a + b1x1j + b2x2j + εj
を当てはめます。ここで単回帰と同じく、εj の平均は 0を仮定します。ここで、このモデルを用いてベクトル表記すると110130165170
=
a + 20b1 + 10b2
a + 40b1 + 15b2
a + 50b1 + 22b2
a + 60b1 + 12b2
︸ ︷︷ ︸
平均部分
+
ε1ε2ε3ε4
︸ ︷︷ ︸誤差部分
(5)
とおけます。ここで、ベクトルを
y =
y1
y2
y3
y4
=
110130165170
, ε =
ε1ε2ε3ε4
とおき、さらにパラメータも
β =
ab1
b2
とおくと、平均部分は
a + 20b1 + 10b2
a + 40b1 + 15b2
a + 50b1 + 22b2
a + 60b1 + 12b2
=
1 20 101 40 151 50 221 60 12
a
b1
b2
=
1 20 101 40 151 50 221 60 12
β
となるので、残った行列を
X =
1 20 101 40 151 50 221 60 12
3
とおくと、(5)は
y =
a + 20b1 + 10b2
a + 40b1 + 15b2
a + 50b1 + 22b2
a + 60b1 + 12b2
+ ε
y =
1 20 101 40 151 50 221 60 12
a
b1
b2
+ ε
y = Xβ + ε
となります。このとき、
X =
1 20 101 40 151 50 221 60 12
がデザイン行列となります。
1.3 一般論
では次に文字を使った一般形で表現しておきます。一般形なので、説明変数を複数とした重回帰分析を扱います。被説明
変数 yi に対して、説明変数（要因）が k 個あるとします。
表 3 n人の収縮期血圧と年齢のデータ (j は被験者番号)
被験者番号 (j) 説明変数１ (x1j) 説明変数２ (x2j) · · · 説明変数 k (xkj) 被説明変数 (yj)
1 x11 x21 · · · xk1 y1
2 x12 x22 · · · xk2 y2
3 x13 x23 · · · xk3 y3
......
... · · ·...
...
n x1n x2n · · · xkn yn
ここで、モデル
yj = a + b1x1j + b2x2j + · · · bkxkj + εj (6)
を当てはめます。今までと同様に εi の平均は 0を仮定します。このとき、このモデルを用いてベクトル表記するとy1
y2
...yn
=
a + b1x11 + b2x21 + · · · + bkxk1
a + b1x12 + b2x22 + · · · + bkxk2
...a + b1x1n + b2x2n + · · · + bkxkn
︸ ︷︷ ︸
平均部分
+
ε1ε2...
εn
︸ ︷︷ ︸誤差部分
(7)
とおけます。今までと同様、
y =
y1
y2
...yn
, ε =
ε1ε2...
εn
, β =
ab1
...bk
4
とおくと、(7)は
y =
a + b1x11 + b2x21 + · · · + bkxk1
a + b1x12 + b2x22 + · · · + bkxk2
...a + b1x1n + b2x2n + · · · + bkxkn
+ ε
=
1 x11 x21 · · · xk1
1 x12 x22 · · · xk2
...... · · ·
...1 x1n x2n · · · xkn
ab1
...bk
+ ε
=
1 x11 x21 · · · xk1
1 x12 x22 · · · xk2
...... · · ·
...1 x1n x2n · · · xkn
β + ε
となります。これより、
X =
1 x11 x21 · · · xk1
1 x12 x22 · · · xk2
...... · · ·
...1 x1n x2n · · · xkn
とおくと、このXがこのモデルのデザイン行列です。
2 その２：分散分析
次に、分散分析を考えます。分散分析はパターンが多く面倒ですが、一つ一つ見ていきます。
2.1 一元配置
まずは一元配置です。以下のデータを用います。薬剤群３群でそれぞれ３例、２例、４例の場合とします。1:プラセボ群、
２：10mg群、３：20mg群と考えてください。
表 4 ３群の比較
薬剤群 (i) 群内被験者番号 (j) コレステロール低下量 (yij)
1 1 0
1 2 5
1 3 −2
2 1 11
2 2 13
3 1 30
3 2 35
3 3 19
3 4 31
ここで、データはそれぞれ各群の平均値を µ1, µ2, µ3 として、分散の等しい正規分布に従う、つまり
y1j ～ N(µ1, σ2), y2j ～ N(µ2, σ
2), y3j ～ N(µ3, σ2) (8)
とします。
5
2.1.1 一元配置１（最も簡単なモデル）
ではまず、最も簡単なモデルで考えます。(8)を書き直すと
y1j = µ1 + ε1j (ε1j ～ N(0, σ2))
y2j = µ2 + ε2j (ε2j ～ N(0, σ2))
y3j = µ3 + ε3j (ε3j ～ N(0, σ2))
とおけます*2。さらにまとめますと
yij = µi + εij (εij ～ N(0, σ2)) (9)
のように書けます。
さて、このとき回帰分析の場合と同様にモデルをベクトルの形で書いていくことにしましょう。まず最初にデータを全て
並べ
0 = µ1 + ε115 = µ1 + ε12−2 = µ1 + ε1311 = µ2 + ε2113 = µ2 + ε2230 = µ3 + ε3135 = µ3 + ε3219 = µ3 + ε3331 = µ3 + ε34
=⇒
y11 = µ1 + ε11y12 = µ1 + ε12y13 = µ1 + ε13y21 = µ2 + ε21y22 = µ2 + ε22y31 = µ3 + ε31y32 = µ3 + ε32y33 = µ3 + ε33y34 = µ3 + ε34
とおきます。次にこれをベクトルを用いて書きなおしますと
y11
y12
y13
y21
y22
y31
y32
y33
y34
=
µ1
µ1
µ1
µ2
µ2
µ3
µ3
µ3
µ3
︸ ︷︷ ︸平均部分
+
ε11ε12ε13ε21ε22ε31ε32ε33ε34
︸ ︷︷ ︸誤差部分
(10)
とおきます。
ここで、回帰分析と同様にベクトルを
y =
y11
y12
y13
y21
y22
y31
y32
y33
y34
, ε =
ε11ε12ε13ε21ε22ε31ε32ε33ε34
, β =
µ1
µ2
µ3
とおきます。
では次に平均部分を見ていくことにします。平均部分はベクトルの各要素に µ1, µ2, µ3 の１つずつしか現れない点が回帰
分析と違いますので、ここをたとえば「µ1 = 1 · µ1 + 0 · µ2 + 0 · µ3」という風に処理してやります。すると、回帰分析と同
*2 正規分布の一般的性質として x ～ N(0, σ2)のときに、定数 aを持ってくると x + a ～ N(a, σ2)となることを逆方向に用いています。
6
様に
µ1
µ1
µ1
µ2
µ2
µ3
µ3
µ3
µ3
=
1 · µ1 + 0 · µ2 + 0 · µ3
1 · µ1 + 0 · µ2 + 0 · µ3
1 · µ1 + 0 · µ2 + 0 · µ3
0 · µ1 + 1 · µ2 + 0 · µ3
0 · µ1 + 1 · µ2 + 0 · µ3
0 · µ1 + 0 · µ2 + 1 · µ3
0 · µ1 + 0 · µ2 + 1 · µ3
0 · µ1 + 0 · µ2 + 1 · µ3
0 · µ1 + 0 · µ2 + 1 · µ3
=
1 0 01 0 01 0 00 1 00 1 00 0 10 0 10 0 10 0 1
µ1
µ2
µ3
=
1 0 01 0 01 0 00 1 00 1 00 0 10 0 10 0 10 0 1
β
となり、
X =
1 0 01 0 01 0 00 1 00 1 00 0 10 0 10 0 10 0 1
(11)
とおくと、(10)は
y = Xβ
と表せ、Xがデザイン行列となります。
2.1.2 一元配置２（制約条件が必要なモデル）
次に、同じデータに対してモデルを変更しましょう。平均値 µ1, µ2, µ3 により細かい構造を入れていきます。
µ1 = µ + α1
µ2 = µ + α2
µ3 = µ + α3
のように、各 µi を「全群に共通の定数：µ」と「群ごとに異なる定数：α1, α2, α3」に分けるのです。つまり、(9)に対応
する形で書きますと
yij = µ + αi + εij (εij ～ N(0, σ2)) (12)
と書けます。
ただしここで困ったことが一つ起こるのです。それは前のモデル (9) では µ1, µ2, µ3 のパラメータ３つでちょうどよ
かったのが、今回のモデル (12)では µ, α1, α2, α3 の４つになってしまい、パラメータの数が多すぎるようになってしま
うことです*3。
*3 大体、以下のようなイメージを持ってください。連立方程式 µ1 + µ2 + µ3 = 10µ1 + 2µ2 + 3µ3 = 20−µ1 + 3µ2 − µ3 = 0
は「文字３つ式３つ」であり、（無意味な式が１つもないので）解が一つに定まります。ところがここで、今回のように µ1 = µ + α1, µ2 =
µ + α2, µ3 = µ + α3 としてしまうと、上の式は (µ + α1) + (µ + α2) + (µ + α3) = 10(µ + α1) + 2(µ + α2) + 3(µ + α3) = 20−(µ + α1) + 3(µ + α2) − (µ + α3) = 0
=⇒
3µ + α1 + α2 + α3 = 106µ + α1 + 2α2 + 3α3 = 20µ + α1 + 3α2 − α3 = 0
となって、「文字４つ、式３つ」ですので、文字の数に対して式の数が少な過ぎて、解が一つでなくなってしまいます。このようなことが起きているのだ、と思ってください。
7
この問題の対処法としては、「式を１つ増やして、文字を１つ消す」という方法がとられます。その式のことを制約条
件と言い、主に用いられるのはたとえば、ni を第 i群の例数を表すとして、
（制約条件１）： α1 + α2 + α3 = 0 (αiを全部足して 0)（制約条件２）： α3 = 0 (αiの一番最後が 0)（制約条件３）：n1α1 + n2α2 + n3α3 = 0 (niαiを全部足して 0)
の３種類のうちのどれかです。本稿では、それぞれの制約条件の内容・利点欠点については述べずに、デザイン行列の形の
みを述べることにします。
(12)をベクトル表記するところまでは共通なのでそこまではやってしまいますと、
y11
y12
y13
y21
y22
y31
y32
y33
y34
=
µ + α1
µ + α1
µ + α1
µ + α2
µ + α2
µ + α3
µ + α3
µ + α3
µ + α3
+
ε11ε12ε13ε21ε22ε31ε32ε33ε34
(13)
となります。そして、パラメータは µ, α1, α2, α3の４つあるのですが、以下パラメータ α3 を消す、という方針で考えます
ので、
β =
µα1
α2
とおきます。
2.1.3 制約条件１：∑i
αi = 0のとき
では最初の制約条件 α1 + α2 + α3 = 0です。これを用いると
α3 = −α1 − α2
となって α3 が消せます。こよれり、(13)は
y11
y12
y13
y21
y22
y31
y32
y33
y34
=
µ + α1
µ + α1
µ + α1
µ + α2
µ + α2
µ − α1 − α2
µ − α1 − α2
µ − α1 − α2
µ − α1 − α2
︸ ︷︷ ︸
平均部分
+
ε11ε12ε13ε21ε22ε31ε32ε33ε34
︸ ︷︷ ︸誤差部分
となり、平均部分は
µ + α1
µ + α1
µ + α1
µ + α2
µ + α2
µ − α1 − α2
µ − α1 − α2
µ − α1 − α2
µ − α1 − α2
=
1 · µ + 1 · α1 + 0 · α2
1 · µ + 1 · α1 + 0 · α2
1 · µ + 1 · α1 + 0 · α2
1 · µ + 0 · α1 + 1 · α2
1 · µ + 0 · α1 + 1 · α2
1 · µ − 1 · α1 − 1 · α2
1 · µ − 1 · α1 − 1 · α2
1 · µ − 1 · α1 − 1 · α2
1 · µ − 1 · α1 − 1 · α2
=
1 1 01 1 01 1 01 0 11 0 11 −1 −11 −1 −11 −1 −11 −1 −1
µα1
α2
=
1 1 01 1 01 1 01 0 11 0 11 −1 −11 −1 −11 −1 −11 −1 −1
β
8
となり、
X =
1 1 01 1 01 1 01 0 11 0 11 −1 −11 −1 −11 −1 −11 −1 −1
とおくと、このXがデザイン行列となります。
2.1.4 制約条件２：αi の最後が 0のとき
次の制約条件は α3 = 0です。これは単に α3 を消すだけですので大変簡単です。(13)は
y11
y12
y13
y21
y22
y31
y32
y33
y34
=
µ + α1
µ + α1
µ + α1
µ + α2
µ + α2
µµµµ
+
ε11ε12ε13ε21ε22ε31ε32ε33ε34
=⇒ y =
1 · µ + 1 · α1 + 0 · α2
1 · µ + 1 · α1 + 0 · α2
1 · µ + 1 · α1 + 0 · α2
1 · µ + 0 · α1 + 1 · α2
1 · µ + 0 · α1 + 1 · α2
1 · µ + 0 · α1 + 0 · α2
1 · µ + 0 · α1 + 0 · α2
1 · µ + 0 · α1 + 0 · α2
1 · µ + 0 · α1 + 0 · α2
+ ε
=⇒ y =
1 1 01 1 01 1 01 0 11 0 11 0 01 0 01 0 01 0 0
µα1
α2
+ ε
=⇒ y =
1 1 01 1 01 1 01 0 11 0 11 0 01 0 01 0 01 0 0
β + ε
より、
X =
1 1 01 1 01 1 01 0 11 0 11 0 01 0 01 0 01 0 0
とおくと、Xがデザイン行列です。
9
2.1.5 制約条件３：∑i
niαi = 0のとき
最後の制約条件は n1α1 + n2α2 + n3α3 = 0 ですが、今回は「第１群：３例、第２群：２例、第３群：４例」なので、
3α1 + 2α2 + 4α3 = 0です。これを変形すると
α3 = −34α1 −
12α2
となり、α3 が消せます。このとき (13)は
y11
y12
y13
y21
y22
y31
y32
y33
y34
=
µ + α1
µ + α1
µ + α1
µ + α2
µ + α2
µ − 34α1 − 1
2α2
µ − 34α1 − 1
2α2
µ − 34α1 − 1
2α2
+
ε11ε12ε13ε21ε22ε31ε32ε33ε34
=⇒ y =
1 · µ + 1 · α1 + 0 · α2
1 · µ + 1 · α1 + 0 · α2
1 · µ + 1 · α1 + 0 · α2
1 · µ + 0 · α1 + 1 · α2
1 · µ + 0 · α1 + 1 · α2
1 · µ − 34 · α1 − 1
2 · α2
1 · µ − 34 · α1 − 1
2 · α2
1 · µ − 34 · α1 − 1
2 · α2
+ ε
=⇒ y =
1 1 0
1 1 0
1 1 0
1 0 1
1 0 1
1 −34 −1
2
1 −34 −1
2
1 −34 −1
2
1 −34 −1
2
µα1
α2
+ ε
10
となるので y =
1 1 0
1 1 0
1 1 0
1 0 1
1 0 1
1 − 34 − 1
2
1 − 34 − 1
2
1 − 34 − 1
2
1 − 34 − 1
2
β + ε となり、 X =
1 1 0
1 1 0
1 1 0
1 0 1
1 0 1
1 −34 − 1
2
1 −34 − 1
2
1 −34 − 1
2
1 −34 − 1
2
とおくと、このXがデザイン行列と
なります。
2.2 二元配置
2.2.1 交互作用なしのモデル
では同様に二元配置を考えます。一元配置とは説明変数が「薬剤群だけ」の場合でしたが、今度は説明変数として「薬剤
群（３群）」と「喫煙の有無」の２つを考えます。ここで、
表 5 ３群の比較 (j = 1 : 喫煙あり, j = 2 : 喫煙なし)
薬剤群 (i) 喫煙の有無 (j) 群内被験者番号 (k) コレステロール低下量 (yijk)
1 1 1 0
1 1 2 5
1 2 3 −2
2 1 1 11
2 2 2 13
3 1 1 30
3 2 2 35
3 2 3 19
3 2 4 31
y11k ～ N(µ11, σ2), y12k ～ N(µ12, σ
2), y13k ～ N(µ13, σ2)
y21k ～ N(µ21, σ2), y22k ～ N(µ22, σ
2), y23k ～ N(µ23, σ2)
を仮定します。ここで各 µij の中身をより詳しく見ていきます。
最初に交互作用なしのモデルですが、これは「全体の効果」＝「薬剤の効果」＋「喫煙の効果」と２つの効果の足し算で
表される場合のモデルです。式で書きますと「薬剤第 i群の影響：αi」と「喫煙の有無 j 群の影響：βj」を用いて
yijk = µ + αi + βj + εijk
11
のように表されます。これを用いて、各データをベクトル表記すると
y111
y112
y121
y211
y221
y311
y321
y322
y323
=
µ + α1 + β1
µ + α1 + β1
µ + α1 + β2
µ + α2 + β1
µ + α2 + β2
µ + α3 + β1
µ + α3 + β2
µ + α3 + β2
µ + α3 + β2
+
ε111ε112ε121ε211ε221ε311ε321ε322ε323
(14)
となります。今回も一元配置と同様に制約条件を考えますが、ページ数が現時点でも多くなりすぎていますので、
α1 + α2 + α3 = 0と β1 = β2 = 0のみ入れることにします*4。
一元配置と同様に各パラメータの最後の文字を消すようにします。すると
α3 = −α1 − α2, β2 = −β1
となりますので、α3, β2 の２つを消していきます。このとき、パラメータベクトルはこの２つを除いた
β =
µα1
α2
β1
とし、(15)の平均部分のみに注目しますと
µ + α1 + β1
µ + α1 + β1
µ + α1 + β2
µ + α2 + β1
µ + α2 + β2
µ + α3 + β1
µ + α3 + β2
µ + α3 + β2
µ + α3 + β2
=⇒
µ + α1 + β1
µ + α1 + β1
µ + α1 − β1
µ + α2 + β1
µ + α2 − β1
µ − α1 − α2 + β1
µ − α1 − α2 − β1
µ − α1 − α2 − β1
µ − α1 − α2 − β1
=⇒
1 · µ + 1 · α1 + 0 · α2 + 1 · β1
1 · µ + 1 · α1 + 0 · α2 + 1 · β1
1 · µ + 1 · α1 + 0 · α2 − 1 · β1
1 · µ + 0 · α1 + 1 · α2 + 1 · β1
1 · µ + 0 · α1 + 1 · α2 − 1 · β1
1 · µ − 1 · α1 − 1 · α2 + 1 · β1
1 · µ − 1 · α1 − 1 · α2 − 1 · β1
1 · µ − 1 · α1 − 1 · α2 − 1 · β1
1 · µ − 1 · α1 − 1 · α2 − 1 · β1
=⇒
1 1 0 11 1 0 11 1 0 −11 0 1 11 0 1 −11 −1 −1 11 −1 −1 −11 −1 −1 −11 −1 −1 −1
µα1
α2
β1
=⇒
1 1 0 11 1 0 11 1 0 −11 0 1 11 0 1 −11 −1 −1 11 −1 −1 −11 −1 −1 −11 −1 −1 −1
β
となりますので、
X =
1 1 0 11 1 0 11 1 0 −11 0 1 11 0 1 −11 −1 −1 11 −1 −1 −11 −1 −1 −11 −1 −1 −1
とおくと、Xがデザイン行列です。
*4 ２元配置の交互作用なしの場合の制約条件は、α1 に１つ、βj に１つの計２つ必要です。
12
2.2.2 交互作用ありのモデル
次に、交互作用ありのモデルを考えます。データは以下の通りです。薬剤３群と喫煙歴３群で考えます。これに対し
表 6 ３群の比較 (j = 1 : 現在喫煙あり, j = 2 : 現在喫煙なし・喫煙歴あり, j = 3 : 喫煙なし)
薬剤群 (i) 喫煙歴 (j) 群内被験者番号 (k) コレステロール低下量 (yijk)
1 1 1 0
1 1 2 3
1 2 1 −2
1 2 2 −2
1 3 1 −5
1 3 2 −10
2 1 1 3
2 1 2 5
2 2 1 7
2 2 2 10
2 3 1 11
2 3 2 13
3 1 1 7
3 1 2 8
3 2 1 10
3 2 2 15
3 3 1 20
3 3 2 30
て、「薬の効果」と「喫煙歴の効果」の足し算だけでない部分がある以下のモデルを考えます。ここで、薬の効果：αi や
喫煙歴の効果：βj をそれぞれ「主効果」と呼び、その足し算では表現できない部分：γij のことを薬と喫煙の「交互作用」と
呼びます。
yijk = µ + αi + βj + γij + εijk (εijk ～ N(0, σ2)) (15)
であり、εijk はそれぞれ独立であると仮定します。このとき、データを縦に並べると
0 = µ + α1 + β1 + γ11 + ε1113 = µ + α1 + β1 + γ11 + ε1122 = µ + α1 + β2 + γ12 + ε121−2 = µ + α1 + β2 + γ12 + ε122−5 = µ + α1 + β3 + γ13 + ε131−10 = µ + α1 + β3 + γ13 + ε1323 = µ + α2 + β1 + γ21 + ε2115 = µ + α2 + β1 + γ21 + ε2127 = µ + α2 + β2 + γ22 + ε22110 = µ + α2 + β2 + γ22 + ε22211 = µ + α2 + β3 + γ23 + ε23113 = µ + α2 + β3 + γ23 + ε2327 = µ + α3 + β1 + γ31 + ε3118 = µ + α3 + β1 + γ31 + ε31210 = µ + α3 + β2 + γ32 + ε32115 = µ + α3 + β2 + γ32 + ε32220 = µ + α3 + β3 + γ33 + ε33130 = µ + α3 + β3 + γ33 + ε331
=⇒
y111 = µ + α1 + β1 + γ11 + ε111y112 = µ + α1 + β1 + γ11 + ε112y121 = µ + α1 + β2 + γ12 + ε121y122 = µ + α1 + β2 + γ12 + ε122y131 = µ + α1 + β3 + γ13 + ε131y132 = µ + α1 + β3 + γ13 + ε132y211 = µ + α2 + β1 + γ21 + ε211y212 = µ + α2 + β1 + γ21 + ε212y221 = µ + α2 + β2 + γ22 + ε221y222 = µ + α2 + β2 + γ22 + ε222y231 = µ + α2 + β3 + γ23 + ε231y232 = µ + α2 + β3 + γ23 + ε232y311 = µ + α3 + β1 + γ31 + ε311y312 = µ + α3 + β1 + γ31 + ε312y321 = µ + α3 + β2 + γ32 + ε321y322 = µ + α3 + β2 + γ32 + ε322y331 = µ + α3 + β3 + γ33 + ε331y332 = µ + α3 + β3 + γ33 + ε331
13
となります。ベクトル表記すると
y111
y112
y121
y122
y131
y132
y211
y212
y221
y222
y231
y232
y311
y312
y321
y322
y331
y332
=
µ + α1 + β1 + γ11
µ + α1 + β1 + γ11
µ + α1 + β2 + γ12
µ + α1 + β2 + γ12
µ + α1 + β3 + γ13
µ + α1 + β3 + γ13
µ + α2 + β1 + γ21
µ + α2 + β1 + γ21
µ + α2 + β2 + γ22
µ + α2 + β2 + γ22
µ + α2 + β3 + γ23
µ + α2 + β3 + γ23
µ + α3 + β1 + γ31
µ + α3 + β1 + γ31
µ + α3 + β2 + γ32
µ + α3 + β2 + γ32
µ + α3 + β3 + γ33
µ + α3 + β3 + γ33
+
ε111ε112ε121ε122ε131ε132ε211ε212ε221ε222ε231ε232ε311ε312ε321ε322ε331ε332
ここで制約条件を入れますが、制約条件は主効果と交互作用の両方に考えてやらないといけません。また、制約条件の入
れ方は色々ありますが、ページ数などの都合により、今回は１種類のみを考えます。
(i) 主効果 αi と βj については、交互作用なしの場合と同じく α1 + α2 + α3 = 0, β1 + β2 + β3 = 0を考えます。
(ii) 交互作用については、薬剤群１群につき１つ・喫煙群１群につき１つ考えます。つまり、順番に番号を振ると
(a) γ11 + γ12 + γ13 = 0, (b) γ21 + γ22 + γ23 = 0, (c) γ31 + γ32 + γ33 = 0
(d) γ11 + γ21 + γ31 = 0, (e) γ12 + γ22 + γ32 = 0, (f) γ13 + γ23 + γ33 = 0
の６つの式を考えます。実はこれらは６個あるのですが、実質５個分しかないのです*5*6。
これらを考えます。(i)の方は、今までと同じく α3 = −α1 − α2, β3 = −β1 − β2 となります。次に (ii)ですが、γij が３
×３＝９個あり、制約条件の式が実質５個あります。式１個につき文字１個が減りますので、文字は９－５＝４個残ります。
残す文字を γ11, γ12, γ21, γ22 とすると
γ13 = −γ11 − γ12, γ31 = −γ11 − γ21, γ23 = −γ21 − γ22, γ32 = −γ12 − γ22, γ33 = γ11 + γ21 + γ12 + γ22
となり、他の要素が全てこの４つで表わされます。これより、パラメータベクトルは
β =
µα1
α2
β1
β2
γ11
γ12
γ21
γ22
*5 (a)+(b)+(c)-(d)-(f) を考えると、(e) に一致しています。つまり、(e) はそれ以外のものから作り出されてしまうものなので、なくても全く問題ない、というか、あっても γ11, · · · , γ33 に関する情報量が増えていない、ということなのです。
*6 一般の二元配置の場合、薬剤群が全 I 群、喫煙群が全 J 群であるとき、制約条件は実質 I + J − 1個 となります。そのため、残る文字は IJ − (I + J − 1) = (I − 1)(J − 1)個となります。
14
とおけます。このとき、モデルの平均部分を変形していきますと*7
µ + α1 + β1 + γ11
µ + α1 + β1 + γ11
µ + α1 + β2 + γ12
µ + α1 + β2 + γ12
µ + α1 + β3 + γ13
µ + α1 + β3 + γ13
µ + α2 + β1 + γ21
µ + α2 + β1 + γ21
µ + α2 + β2 + γ22
µ + α2 + β2 + γ22
µ + α2 + β3 + γ23
µ + α2 + β3 + γ23
µ + α3 + β1 + γ31
µ + α3 + β1 + γ31
µ + α3 + β2 + γ32
µ + α3 + β2 + γ32
µ + α3 + β3 + γ33
µ + α3 + β3 + γ33
=
µ + α1 + β1 + γ11
µ + α1 + β1 + γ11
µ + α1 + β2 + γ12
µ + α1 + β2 + γ12
µ + α1 − β1 − β2 − γ11 − γ12
µ + α1 − β1 − β2 − γ11 − γ12
µ + α2 + β1 + γ21
µ + α2 + β1 + γ21
µ + α2 + β2 + γ22
µ + α2 + β2 + γ22
µ + α2 − β1 − β2 − γ21 − γ22
µ + α2 − β1 − β2 − γ21 − γ22
µ − α1 − α2 + β1 − γ11 − γ21
µ − α1 − α2 + β1 − γ11 − γ21
µ − α1 − α2 + β2 − γ12 − γ22
µ − α1 − α2 + β2 − γ12 − γ22
µ − α1 − α2 − β1 − β2 + γ11 + γ12 + γ21 + γ22
µ − α1 − α2 − β1 − β2 + γ11 + γ12 + γ21 + γ22
=
1 · µ + 1 · α1 + 0 · α2 + 1 · β1 + 0 · β2 + 1 · γ11 + 0 · γ12 + 0 · γ21 + 0 · γ22
1 · µ + 1 · α1 + 0 · α2 + 1 · β1 + 0 · β2 + 1 · γ11 + 0 · γ12 + 0 · γ21 + 0 · γ22
1 · µ + 1 · α1 + 0 · α2 + 0 · β1 + 1 · β2 + 0 · γ11 + 1 · γ12 + 0 · γ21 + 0 · γ22
1 · µ + 1 · α1 + 0 · α2 + 0 · β1 + 1 · β2 + 0 · γ11 + 1 · γ12 + 0 · γ21 + 0 · γ22
1 · µ + 1 · α1 + 0 · α2 − 1 · β1 − 1 · β2 − 1 · γ11 − 1 · γ12 + 0 · γ21 + 0 · γ22
1 · µ + 1 · α1 + 0 · α2 − 1 · β1 − 1 · β2 − 1 · γ11 − 1 · γ12 + 0 · γ21 + 0 · γ22
1 · µ + 0 · α1 + 1 · α2 + 1 · β1 + 0 · β2 + 0 · γ11 + 0 · γ12 + 1 · γ21 + 0 · γ22
1 · µ + 0 · α1 + 1 · α2 + 1 · β1 + 0 · β2 + 0 · γ11 + 0 · γ12 + 1 · γ21 + 0 · γ22
1 · µ + 0 · α1 + 1 · α2 + 0 · β1 + 1 · β2 + 0 · γ11 + 0 · γ12 + 0 · γ21 + 1 · γ22
1 · µ + 0 · α1 + 1 · α2 + 0 · β1 + 1 · β2 + 0 · γ11 + 0 · γ12 + 0 · γ21 + 1 · γ22
1 · µ + 0 · α1 + 1 · α2 − 1 · β1 − 1 · β2 + 0 · γ11 + 0 · γ12 − 1 · γ21 − 1 · γ22
1 · µ + 0 · α1 + 1 · α2 − 1 · β1 − 1 · β2 + 0 · γ11 + 0 · γ12 − 1 · γ21 − 1 · γ22
1 · µ − 1 · α1 − 1 · α2 + 1 · β1 + 0 · β2 − 1 · γ11 − 1 · γ12 + 0 · γ21 + 0 · γ22
1 · µ − 1 · α1 − 1 · α2 + 1 · β1 + 0 · β2 − 1 · γ11 − 1 · γ12 + 0 · γ21 + 0 · γ22
1 · µ − 1 · α1 − 1 · α2 + 0 · β1 + 1 · β2 + 0 · γ11 + 0 · γ12 − 1 · γ21 − 1 · γ22
1 · µ − 1 · α1 − 1 · α2 + 0 · β1 + 1 · β2 + 0 · γ11 + 0 · γ12 − 1 · γ21 − 1 · γ22
1 · µ − 1 · α1 − 1 · α2 − 1 · β1 − 1 · β2 + 1 · γ11 + 1 · γ12 + 1 · γ21 + 1 · γ22
1 · µ − 1 · α1 − 1 · α2 − 1 · β1 − 1 · β2 + 1 · γ11 + 1 · γ12 + 1 · γ21 + 1 · γ22
=
1 1 0 1 0 1 0 0 01 1 0 1 0 1 0 0 01 1 0 0 1 0 1 0 01 1 0 0 1 0 1 0 01 1 0 −1 −1 −1 −1 0 01 1 0 −1 −1 −1 −1 0 01 0 1 1 0 0 0 1 01 0 1 1 0 0 0 1 01 0 1 0 1 0 0 0 11 0 1 0 1 0 0 0 11 0 1 −1 −1 0 0 −1 −11 0 1 −1 −1 0 0 −1 −11 −1 −1 1 0 −1 0 −1 01 −1 −1 1 0 −1 0 −1 01 −1 −1 0 −1 0 −1 0 −11 −1 −1 0 −1 0 −1 0 −11 −1 −1 −1 −1 1 1 1 11 −1 −1 −1 −1 1 1 1 1
µα1
α2
β1
β2
γ11
γ12
γ21
γ22
*7 見やすさのため、ベクトル・行列中に投与群ごとに横線を引いていきます。
15
より、
X =
1 1 0 1 0 1 0 0 01 1 0 1 0 1 0 0 01 1 0 0 1 0 1 0 01 1 0 0 1 0 1 0 01 1 0 −1 −1 −1 −1 0 01 1 0 −1 −1 −1 −1 0 01 0 1 1 0 0 0 1 01 0 1 1 0 0 0 1 01 0 1 0 1 0 0 0 11 0 1 0 1 0 0 0 11 0 1 −1 −1 0 0 −1 −11 0 1 −1 −1 0 0 −1 −11 −1 −1 1 0 −1 0 −1 01 −1 −1 1 0 −1 0 −1 01 −1 −1 0 −1 0 −1 0 −11 −1 −1 0 −1 0 −1 0 −11 −1 −1 −1 −1 1 1 1 11 −1 −1 −1 −1 1 1 1 1
とおくと、Xがデザイン行列となります。
2.3 分散分析（制約条件あり）のまとめ
制約条件のある分散分析モデルの流れを整理しておきます。
(i) 制約条件なしのモデルをベクトル表記する。
(ii) 制約条件を用いてパラメータ１つを消す。
(iii) 平均部分をXβ の形で表す。
の順で、デザイン行列Xが得られます。
3 その３：共分散分析
次に、共分散分析を考えます。実は、共分散分析のデザイン行列は分散分析と回帰分析を合わせたものになっています。
表 7 収縮期血圧と年齢のデータ
薬剤群 (i) 被験者番号 (j) 年齢 (xij) 収縮期血圧 (yij)
1 1 20 110
1 2 40 131
1 3 60 172
2 1 30 139
2 2 50 161
2 3 60 203
このデータに対して、薬剤群ごとに傾きの等しい直線を当てはめます。
（第１群）：y1j = µ + a + bx1j + ε1j (ε1j ～ N(0, σ2))
（第２群）：y2j = µ + bx2j + ε2j (ε2j ～ N(0, σ2))
ここで、切片のパラメータは µ, aの２つであり*8、傾きは両群共通の bです。
*8 このパラメータ数は、群の数と同じになります。
16
これに対して、データを並べると
110 = µ + a + 20b + ε11131 = µ + a + 40b + ε12172 = µ + a + 60b + ε13139 = µ + 30b + ε21161 = µ + 50b + ε22203 = µ + 60b + ε23
=⇒
y11 = µ + a + bx11 + ε11y12 = µ + a + bx12 + ε12y13 = µ + a + bx13 + ε13y21 = µ + bx21 + ε21y22 = µ + bx22 + ε22y23 = µ + bx23 + ε23
ベクトル表記すると y11
y12
y13
y21
y22
y23
=
µ + a + 20bµ + a + 40bµ + a + 60bµ + 30bµ + 50bµ + 60b
+
ε11ε12ε13ε21ε22
これに対して、パラメータベクトルを
β =
µab
とおくと、平均部分は
µ + a + 20bµ + a + 40bµ + a + 60bµ + 30bµ + 50bµ + 60b
=
1 · µ + 1 · a + 20 · b1 · µ + 1 · a + 40 · b1 · µ + 1 · a + 60 · b1 · µ + 30 · b1 · µ + 50 · b1 · µ + 60 · b
=
1 1 201 1 401 1 601 0 301 0 501 0 60
µ
ab
より、
X =
1 1 201 1 401 1 601 0 301 0 501 0 60
とおくと、Xがデザイン行列である。
4 その４：クロスオーバー試験の解析
では次にクロスオーバー試験の解析を見ていきます。データは以下の通りです。なお、簡単のため、今回は「各群２例ず
つ」としてあります。
表 8 クロスオーバー試験のデザイン
時期１ 時期２
第１群 薬剤１ 薬剤２ （２例）
第２群 薬剤２ 薬剤１ （２例）
データは以下の通り得られたものとします。
17
表 9 クロスオーバー試験のデータ
薬剤群 (i) 被験者番号 (j) 時期 (k) 収縮期血圧 (yijk)
1 1 1 120
2 1 2 110
1 2 1 130
2 2 2 140
1 3 2 150
2 3 1 130
1 4 2 100
2 4 1 110
とします*9。なお、被験者番号 1,2が第１群、3,4が第２群です。
以下、「被験者の効果」を入れるか入れないかにより、２つのモデルについて考えていきます。
4.1 fixed effect model：被験者の効果を入れないモデル
最初のモデルは、被験者の効果をモデルに入れず「薬剤：di」「時期効果：tk」をそれぞれ fixed effect （固定効果）で
入れたモデルを考えますと、モデルは以下の通りとなります。
yijk = µ + di + tk + εijk
このとき、データを全て並べると
120 = µ + d1 + t1 + ε111
110 = µ + d2 + t2 + ε212
130 = µ + d1 + t1 + ε121
140 = µ + d2 + t2 + ε222
150 = µ + d1 + t2 + ε132
130 = µ + d2 + t1 + ε231
100 = µ + d1 + t2 + ε142
110 = µ + d2 + t1 + ε241
ベクトル表記すると
120110130140150130100110
=
µ + d1 + t1µ + d2 + t2µ + d1 + t1µ + d2 + t2µ + d1 + t2µ + d2 + t1µ + d1 + t2µ + d2 + t1
+
ε111ε212ε121ε222ε132ε231ε142ε241
となります。
ここで、制約条件を
d1 + d2 = 0, t1 + t2 = 0
とおき、それぞれ
d2 = −d1, t2 = −t1
*9 今までのモデルでは「被験者番号」は投与群ごとに１からつけ直していましたが、今回は被験者番号 j = 1は１人だけ、j = 2は１人だけ…という風にします。
18
としてパラメータを減らします。結局パラメータベクトルは
β =
µd1
t1
となり、平均部分を見ると
µ + d1 + t1µ + d2 + t2µ + d1 + t1µ + d2 + t2µ + d1 + t2µ + d2 + t1µ + d1 + t2µ + d2 + t1
=
µ + d1 + t1µ − d1 − t1µ + d1 + t1µ − d1 − t1µ + d1 − t1µ − d1 + t1µ + d1 − t1µ − d1 + t1
=
1 · µ + 1 · d1 + 1 · t11 · µ − 1 · d1 − 1 · t11 · µ + 1 · d1 + 1 · t11 · µ − 1 · d1 − 1 · t11 · µ + 1 · d1 − 1 · t11 · µ − 1 · d1 + 1 · t11 · µ + 1 · d1 − 1 · t11 · µ − 1 · d1 + 1 · t1
=
1 1 11 −1 −11 1 11 −1 −11 1 −11 −1 11 1 −11 1 1
µd1
t1
より、
X =
1 1 11 −1 −11 1 11 −1 −11 1 −11 −1 11 1 −11 1 1
とおくと、Xがデザイン行列となります。
4.2 mixed model：被験者を random effectとしてモデルに入れる場合
では次に、被験者をモデルに入れる場合を考えます。被験者の影響は random effect（変量効果）としてモデルに組み込む
ことが多いです*10ので、今回も「被験者：pj」を random effectで入れた、mixed model（混合モデル）を考えます。
モデルは以下の通りとなります。
yijk = µ + di + pj + tk + εijk
*10 つまり、被験者の影響を定数でなく確率変数と考える、ということです。
19
です。デザイン行列を考える際に重要なのは fixed effect と random effect は別に扱うということです。つまり、
yijk = µ + di + tk︸ ︷︷ ︸fixed effect
+ pj︸︷︷︸random effect
+ εijk︸︷︷︸誤差部分
と分解されます。ここで、データを並べてみますと
120 = µ + d1 + t1 + p1 + ε111
110 = µ + d2 + t2 + p1 + ε212
130 = µ + d1 + t1 + p2 + ε121
140 = µ + d2 + t2 + p2 + ε222
150 = µ + d1 + t2 + p3 + ε132
130 = µ + d2 + t1 + p3 + ε231
100 = µ + d1 + t2 + p4 + ε142
110 = µ + d2 + t1 + p4 + ε241
となります。制約条件も fixed effectと同じ
d1 + d2 = 0, t1 + t2 = 0 =⇒ d2 = −d1, t2 = −t1
と考えてベクトル表記するのですが、fixed effect と random effect は別ベクトルで書いてやります。つまり、fixed
effect の部分は上と変わりませんので
β =
µd1
t1
とし、それに加えて random effectのベクトルを
p =
p1
p2
p3
p4
とおくのです*11。こうして、ベクトル表示してやりますと、
120110130140150130100110
=
µ + d1 + t1µ + d2 + t2µ + d1 + t1µ + d2 + t2µ + d1 + t2µ + d2 + t1µ + d1 + t2µ + d2 + t1
+
p1
p1
p2
p2
p3
p3
p4
p4
+
ε111ε212ε121ε222ε132ε231ε142ε241
*11 random effectには制約条件を考える必要はありません。
20
より、右辺の誤差以外の部分を考えます。fixed effectの部分は上と全く同じ計算が成り立ち、
µ + d1 + t1µ + d2 + t2µ + d1 + t1µ + d2 + t2µ + d1 + t2µ + d2 + t1µ + d1 + t2µ + d2 + t1
+
p1
p1
p2
p2
p3
p3
p4
p4
=
µ + d1 + t1µ − d1 − t1µ + d1 + t1µ − d1 − t1µ + d1 − t1µ − d1 + t1µ + d1 − t1µ − d1 + t1
+
p1
p1
p2
p2
p3
p3
p4
p4
=
1 · µ + 1 · d1 + 1 · t11 · µ − 1 · d1 − 1 · t11 · µ + 1 · d1 + 1 · t11 · µ − 1 · d1 − 1 · t11 · µ + 1 · d1 − 1 · t11 · µ − 1 · d1 + 1 · t11 · µ + 1 · d1 − 1 · t11 · µ − 1 · d1 + 1 · t1
+
1 0 0 01 0 0 00 1 0 00 1 0 00 0 1 00 0 1 00 0 0 10 0 0 1
p1
p2
p3
p4
=
1 1 11 −1 −11 1 11 −1 −11 1 −11 −1 11 1 −11 1 1
β +
1 0 0 01 0 0 00 1 0 00 1 0 00 0 1 00 0 1 00 0 0 10 0 0 1
p
と書くことができます。ここで、fixed effectと random effectを別々に
X =
1 1 11 −1 −11 1 11 −1 −11 1 −11 −1 11 1 −11 1 1
, Z =
1 0 0 01 0 0 00 1 0 00 1 0 00 0 1 00 0 1 00 0 0 10 0 0 1
とおきますと、X, Zの２つがこのモデルのデザイン行列となります。また、モデル全体は
y = Xβ + Zp + ε
と書けます*12。
*12 もう一度注意しておきますが、β は fixed effect (定数ベクトル）で、pは random effect（確率変数ベクトル）です。
21
5 ダミー変数について
最後にダミー変数について述べます。たとえば先の共分散分析のモデルをもう一度見てみます。
（第１群）：y1j = µ + a + bx1j + ε1j (ε1j ～ N(0, σ2)) (16)
（第２群）：y2j = µ + bx2j + ε2j (ε2j ～ N(0, σ2)) (17)
です。このとき、切片に注目しますと
（第１群）µ + a
（第２群）µ
であり、第１群の方だけに aがついています。モデル式はこれ以外の部分は同じですので、ここの部分がまとめて書ければ
両方を１つの式で書くことができるようになります。これを可能にするために用いられるのが ダミー変数 です。つまり、
ここの部分を
µ + Di · a
とおいてやり、この Di (i：投与群)を
Di ={
1 (i = 1のとき)0 (i = 2のとき)
という風にしてやります。そうすると上のモデル式 (16)(17)を１つの式にまとめて
yij = µ + Di · a + bxij + εij
と書くことができます。このように、ある特定の群にだけしか存在しない変数があるときに、全ての群でのモデルを１つの
式で表すために用いる変数をダミー変数と呼びます。
同様に、１元配置分散分析モデル
y1j = µ1 + ε1j
y2j = µ2 + ε2j
y3j = µ3 + ε3j
も、３つのダミー変数 D1i, D2i, D3i を
D1i ={
1 (i = 1のとき)0 (それ以外) D2i =
{1 (i = 2のとき)0 (それ以外) D3i =
{1 (i = 3のとき)0 (それ以外)
と定義してやると、これらを用いて
yij = D1i · µ1 + D2i · µ2 + D3i · µ3 + εij
22
と書くこともできます*13。なお、このダミー行列を用いて、デザイン行列を表現することもできます。一元配置のときに用
いた (11)の式は
X =
1 0 01 0 01 0 00 1 00 1 00 0 10 0 10 0 10 0 1
=
D11 D21 D31
D11 D21 D31
D11 D21 D31
D12 D22 D32
D12 D22 D32
D13 D23 D33
D13 D23 D33
D13 D23 D33
D13 D23 D33
のように表現できます。
*13 この D1i などは、数学では Kroneckerの δ (クロネッカーのデルタ）と呼ばれるものと同じです。Kroneckerの δ は
δij =
{1 (i = j)0 (それ以外)
と定義されるものです。
23
