第第 22 章 単純回帰分析章 単純回帰分析

計量経済学 ｰ ｰ 計量経済学 ｰ ｰ

第第 11 節　線形関係節　線形関係１　経済２変数の関係１　経済２変数の関係２　線形関係（２　線形関係（ 11 ））３　線形関係（３　線形関係（ 22 ））４　撹乱項４　撹乱項５　撹乱項の性質５　撹乱項の性質

第第 22 節　最小２乗法節　最小２乗法１　記号の準備１　記号の準備２　最小２乗法２　最小２乗法３　回帰線が原点を通るケース３　回帰線が原点を通るケース４　最小２乗法の性質４　最小２乗法の性質

（１）　不偏性（１）　不偏性（２）　一致性（２）　一致性（３）　効率性（３）　効率性（４）　線形性（４）　線形性

５　決定係数５　決定係数６　検定６　検定７　単純回帰の実際の例７　単純回帰の実際の例

－レクリエーション等の消費関数－－レクリエーション等の消費関数－

第第 11 節　線形関係節　線形関係１．経済２変数の関係１．経済２変数の関係

• 経済の動きをあらわす経済指標には、関連のあるもの経済の動きをあらわす経済指標には、関連のあるものが多くある。が多くある。

　　（例）　利子率と設備投資、　　（例）　利子率と設備投資、 GDPGDP と輸入と輸入

　たとえば所得と消費の関係を考えると、　たとえば所得と消費の関係を考えると、所得↑　→　消費↑所得↑　→　消費↑所得↓　→　消費↓所得↓　→　消費↓

　という関係が考えられる。このような関係を分析する　という関係が考えられる。このような関係を分析する方法が回帰分析である。方法が回帰分析である。

• 所得と消費の関係を分析する場合、分析目的に応じ所得と消費の関係を分析する場合、分析目的に応じて、て、 22 種類の統計データのうちどちらかがを用いら種類の統計データのうちどちらかがを用いられる。れる。– 時系列データ時系列データ

• データを時間の順序にならべたものであり、過去の変動から現データを時間の順序にならべたものであり、過去の変動から現状を把握し、将来を予測するなどの目的に用いる。状を把握し、将来を予測するなどの目的に用いる。

• データの発生間隔により、年次データ、四半期データ、月次デデータの発生間隔により、年次データ、四半期データ、月次データなどがあるータなどがある

※※ 　四半期データ　－　　四半期データ　－　 11 年を年を 11 月月 ~3~3 月、月、 44 月月 ~6~6 月、月、 77 月月 ~9~9 月、月、 1010月月 ~12~12 月の月の 44 つに分けたもので、それぞれを第Ⅰ四半期、第Ⅱ四半期、第つに分けたもので、それぞれを第Ⅰ四半期、第Ⅱ四半期、第Ⅲ四半期、第Ⅳ四半期という。Ⅲ四半期、第Ⅳ四半期という。

– クロスセクションデータクロスセクションデータ• あるある 11 時点において何らかの属性に関してならべたものであり、時点において何らかの属性に関してならべたものであり、

地域差などの現状を把握するために用いる。地域差などの現状を把握するために用いる。• 都道府県別データ、世帯の収入階級別データ、企業の従業員規都道府県別データ、世帯の収入階級別データ、企業の従業員規

模別データなどがある。模別データなどがある。

２．線形関係（１）

C YDと の散布図

220

230

240

250

260

270

280

290

260 270 280 290 300 310 320

YD

C

C と YD を散布図に表した場合、この両者に直線の関係が見られる。そこで、 C = a + bYD という 1 次式を想定する。

この　　　　　は YD が 1 単位増加したときの C の増分であり、

限界消費性向といわれる。

YD

Cb

３．線形関係（２）

• 散布図から散布図から YY （ここでは（ここでは CC ）と）と XX （ここでは（ここでは YDYD ））の関係を数式の形で表す。の関係を数式の形で表す。

• このこの YY を被説明変数または従属変数、を被説明変数または従属変数、 XX を説明変数を説明変数または独立変数という。または独立変数という。

• 両者の関係が両者の関係が Y = a + bX + cZY = a + bX + cZ というように被説明変というように被説明変数が数が説明変数の１次の項と定数項の和の形で表現で説明変数の１次の項と定数項の和の形で表現できるきるものを線形関係という。ものを線形関係という。

• しかし、散布図から導かれるしかし、散布図から導かれる YY とと XX の関係は線形なの関係は線形なものばかりではない。ものばかりではない。

• 線形でない非線形な式は次の線形でない非線形な式は次の 22 つに分類できる。つに分類できる。– 線形な式に変換できるもの線形な式に変換できるもの– 線形な式に変換できないもの線形な式に変換できないもの

• 線形な式に変換できるものの例として、次のような線形な式に変換できるものの例として、次のような式がある。式がある。

• これらの式は対数変換し、変数の置き換えをおこなこれらの式は対数変換し、変数の置き換えをおこなうことによって線形な式として取り扱える。うことによって線形な式として取り扱える。

b

b

XaY

aXY

1

XbaY

XbaY

logloglog

logloglog

XbaY

XbaY

XX

aa

YY

log

log

log

＜弾力性＞

• 被説明変数被説明変数 YY と説明変数と説明変数 XX を両方対数変換したものを両方対数変換したもの回帰係数回帰係数 bb を考えると、を考えると、

　となり、この値は　となり、この値は弾力性弾力性を表す。を表す。• 弾力性とは、弾力性とは、 XX がが 1%1% 増加したときに増加したときに YY が何が何 %% 増加増加

するかを表す値である。するかを表す値である。

XXYY

X

Yb

log

log

（例）　 X ：　 20 （万円）→ 28 （万円） （ 28-20 ） /20 = 0.4 すなわち 40% 増加　　　　 Y ：　 15 （万円）→ 18 （万円） （ 18-15 ） /15 = 0.2 すなわち 20% 増加

　 b=0.2/0.4=0.5 すなわち、 X が 1% 増加したとき、 Y は 0.5%増加する。

＜数学的補足（１）＞（初学者はとばしてください）

• 自然対数自然対数 loglog についてについてY=logXY=logX とは、ある定数とは、ある定数 e(=2.718…)e(=2.718…) をを XX 乗したものが乗したものが YY となること。となること。eeXX=Y=Y とあらわすことができる。とあらわすことができる。自然対数であること（自然対数であること（ ee のかわりにのかわりに 1010 を用いたものを常用対数とを用いたものを常用対数と

いういう )) を明確にするため、を明確にするため、 lnln と表記することもある。と表記することもある。

• loglog の計算規則の計算規則– loglog （（ XYXY ） ） = logX + logY= logX + logY– log(X/Y) = logX - logYlog(X/Y) = logX - logY– log(Xlog(Xa)a) = a logX = a logX

　この計算規則を　この計算規則を Y=aXY=aXbb に適用するとに適用すると

　　

Xba

XaY b

loglog

)log(loglog

＜数学的補足（２）＞（初学者はとばしてください）

• loglog の微分の微分logXlogX をを XX で微分するとで微分すると

となる。したがって、　　　　　　　　　　である。となる。したがって、　　　　　　　　　　である。

このことから　　　　　　　　　　であることがわかる。このことから　　　　　　　　　　であることがわかる。

この値は　　　　　　としたときの、弾力性の極限の値であり、この値は　　　　　　としたときの、弾力性の極限の値であり、弾力性の値に等しい。弾力性の値に等しい。

XdX

Xd 1log

X

dXXd log

XdXYdY

Xd

Yd

log

log

0X

４．撹乱項

• 22 つの経済変数の動きを考えると、完全に直線の形つの経済変数の動きを考えると、完全に直線の形になることはまれである。になることはまれである。

• 理由としては理由としては– 説明変数以外の他の要因が考えられる。説明変数以外の他の要因が考えられる。– 人間の行動は理論どおりにいかない。人間の行動は理論どおりにいかない。– 測定誤差の問題。測定誤差の問題。

　などが考えられる。　などが考えられる。• これらのさまざまな理由を全て吸収したものを これらのさまざまな理由を全て吸収したものを u u

という確率変数で表して、という確率変数で表して、 Y = a + bX + u Y = a + bX + u というモというモデルを考える。デルを考える。

• このこの uu のことをのことを撹乱項撹乱項（または（または誤差項誤差項）とよぶ。）とよぶ。

５．撹乱項の性質

• YY とと XX のデータがのデータが 1,2,…,n 1,2,…,n 年分あったとする。年分あったとする。• 撹乱項は、ある年の撹乱項は、ある年の XX に対する直線上の値と、実際に対する直線上の値と、実際

のの YY の値とのズレを確率変数としてあらわしたもの。の値とのズレを確率変数としてあらわしたもの。• 撹乱項も撹乱項も uu11,u,u22,…,u,…,unn というように、各というように、各 XX11,X,X22,…,X,…,Xnn にに

対して存在する。対して存在する。• 撹乱項の性質として撹乱項の性質として

– その分布が正規分布その分布が正規分布– 平均値がゼロ平均値がゼロ– 分散が分散が σσ22

– 撹乱項は相互に独立撹乱項は相互に独立

　という仮定がおかれる。　という仮定がおかれる。

第第 22 節　最小節　最小 22 乗法乗法１．記号の準備１．記号の準備

　 　 　 　 母集団（個体数 N）

　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 標本（個体数 n）

× 　 　 　 　 　 ×

　 　 　 ×

× 　 　 　 　 ×

　 　 × 　 　 　 　 ×

　 × 　 　 × 　 ×

×　 ×

bXaY XbaY ˆˆ

真の回帰関係 推定された回帰関係

パラメータa,b の推定値を求めるために、最小 2 乗法が用いられる。

算術平均に関して算術平均に関して

偏差を小文字で表す。偏差を小文字で表す。

偏差偏差 22 乗和と偏差交差積の和は次のようになる。乗和と偏差交差積の和は次のようになる。

)(1

)(1

1

1

n

n

YYn

Y

XXn

X

)(

)( 11

XXx

XXx

nn

)(

)( 11

YYy

YYy

nn

nnxy

ny

nx

yxyxS

yyS

xxS

11

221

2

221

2

２．最小 2 乗法

• 推定値　　　を用いて求められる　　　　　　　は推推定値　　　を用いて求められる　　　　　　　は推定された回帰直線上の点である。この　　のことを定された回帰直線上の点である。この　　のことを予予測値測値（または（または理論値理論値）という。）という。

• 実際の実際の YY から予測値を引いたものが残差であるが、こから予測値を引いたものが残差であるが、このの 22 乗和が最小になるように　　　を定める方法が最乗和が最小になるように　　　を定める方法が最小小 22 乗法である。乗法である。

• 最小最小 22 乗パラメータ推定値は乗パラメータ推定値は

　である。　である。

ba ˆ,ˆ XbaY ˆˆˆ Y

ba ˆ,ˆ

2ˆ

x

xy

S

Sb

XbYa ˆˆ

真の回帰式 Y=a+bX

X

Y

推定された回帰式 ( その１ )

推定された回帰式 ( その2)

残差

残差＝撹乱項の実現値の推定値

３．回帰線が原点を通るケース

• 経済理論などの制約により、回帰線が必ず原点を通経済理論などの制約により、回帰線が必ず原点を通るということを想定することがある。すなわち、るということを想定することがある。すなわち、 X X = 0 = 0 のとき、のとき、 Y = 0 Y = 0 となる。となる。

• このときの回帰モデルはこのときの回帰モデルは Y = bX + u Y = bX + u となるので、残となるので、残差差 22 乗和乗和 GG はは

　　となるので、これを最小化する　　は、　　となるので、これを最小化する　　は、

　　である。　　である。

2211 )ˆ()ˆ( nn XbYXbYG

221

11ˆn

nn

XX

YXYXb

b

４．最小 2 乗推定量の性質

• 回帰係数の推定値　　　を求める方法は、最小回帰係数の推定値　　　を求める方法は、最小 22 乗乗法以外にもいくつかの方法が存在する。法以外にもいくつかの方法が存在する。

• しかし、最小しかし、最小 22 乗法によって求められた　　　は、乗法によって求められた　　　は、他の推定量よりすぐれた性質を持っている。どちら他の推定量よりすぐれた性質を持っている。どちらの推定量がすぐれているかを判断する基準として、の推定量がすぐれているかを判断する基準として、– 不偏性不偏性– 一致性一致性– 効率性効率性

　というものがある。　というものがある。

ba ˆ,ˆ

ba ˆ,ˆ

（１）　不偏性

• 　の算術平均が真の回帰係数　の算術平均が真の回帰係数 bb に一致するというこに一致するということ。すなわち、　　　　　となることである。と。すなわち、　　　　　となることである。

• 一般的に推定量一般的に推定量 tt が不偏性を持つということはが不偏性を持つということは

　が満たされることである。（　が満たされることである。（ θθ は母数）は母数）

b

bbE )ˆ(

)(tE

（２）　一致性

• 一致性とは標本に含まれるデータを増やしたときに一致性とは標本に含まれるデータを増やしたときに推定量が母数に近づくということであり、この場合推定量が母数に近づくということであり、この場合は　が真の回帰係数は　が真の回帰係数 bb に近づく。に近づく。

b

（３）　効率性

• 　　　がともに推定量であったとすると、その中で分　　　がともに推定量であったとすると、その中で分散が一番小さい推定量が望ましいということ。散が一番小さい推定量が望ましいということ。

• 　　　がともに不偏推定量であり、　　　がともに不偏推定量であり、

　　となるとき、　　は　　より効率的であるという。　　となるとき、　　は　　より効率的であるという。• 最小最小 22 乗推定量　はもっとも効率的な推定量である。乗推定量　はもっとも効率的な推定量である。

　以上　以上 33 つの性質を満たすことから、　　は最小分散不つの性質を満たすことから、　　は最小分散不偏推定量である偏推定量である

21ˆ,ˆ bb

b

21ˆ,ˆ bb

の分散の分散 21ˆˆ bb

1b 2b

b

（４）　線形性

• 最小最小 22 乗推定量　にはもう乗推定量　にはもう 11 つの重要な性質があり、つの重要な性質があり、それは線形性と呼ばれるものである。それは線形性と呼ばれるものである。

• 線形性とは推定量がデータの線形結合で表現できるこ線形性とは推定量がデータの線形結合で表現できることであり、この場合はとであり、この場合は

　と表現できることから、線形性が成り立っている。　と表現できることから、線形性が成り立っている。　　　　 33 つの性質に加え、この線形性の性質を満たすことかつの性質に加え、この線形性の性質を満たすことか

ら、　　最小ら、　　最小 22 乗推定量は最良線形不偏推定量（乗推定量は最良線形不偏推定量（ BBest est LLinear inear UUnbiased nbiased EEstimatorstimator ）であるといわれる。）であるといわれる。

b

nnYYb 11ˆ

５．決定係数

• 決定係数は回帰モデルのあてはまり具合を示す尺度決定係数は回帰モデルのあてはまり具合を示す尺度である。次のような数値例を考えてみよう。である。次のような数値例を考えてみよう。

1例 2例X Y X Y

10 8.1 10 9.38 7.1 8 8.3

13 9.5 13 8.29 7.5 9 7.5

11 8.4 11 7.114 10 14 10.76 6 6 6.74 5 4 5.7

12 9 12 9.77 6.4 7 5.15 5.5 5 4.2

• こ のこ の 22 つ の 例 に 回 帰 分 析 を適用 す る と 、 と も につ の 例 に 回 帰 分 析 を適用 す る と 、 と も にY=3+0.5X Y=3+0.5X という回帰直線が導出される。ところで、散という回帰直線が導出される。ところで、散布図に回帰直線を書き入れたものが下図である。布図に回帰直線を書き入れたものが下図である。

4

5

6

7

8

9

10

11

3 6 9 12 154

5

6

7

8

9

10

11

3 6 9 12 15

• このこの 22 つの図を比べると、データに対する回帰直線つの図を比べると、データに対する回帰直線のあてはまりが異なることがわかる。それを数値でのあてはまりが異なることがわかる。それを数値で表したものが決定係数表したものが決定係数 RR22 であり、左はであり、左は RR22=0.998=0.998 、、右は右は RR22=0.685=0.685 である。である。

• 決定係数は、決定係数は、　と解釈することができ、　と解釈することができ、 00 とと 11 の間の値をとる。決の間の値をとる。決

定係数が定係数が 11 に近いほど回帰直線のあてはまりはよく、に近いほど回帰直線のあてはまりはよく、決定係数の値が小さい場合決定係数の値が小さい場合 (0.5(0.5 とかとか 0.60.6 以下の場以下の場合合 )) には、分析の妥当性を検討する必要がある。には、分析の妥当性を検討する必要がある。

の全変動る変動回帰によって説明され

Y2 R

• 具体的には、すべての点の具体的には、すべての点の YY の平均の線を引き、各点との平均の線を引き、各点と平均の差の平均の差の 22 乗和と、回帰直線上の点（予測値）と平均乗和と、回帰直線上の点（予測値）と平均の差のの差の 22 乗和の比をとったものである。乗和の比をとったものである。

4

5

6

7

8

9

10

11

3 6 9 12 15

—　　 YY の平均の線の平均の線} 　各点と平均の差、これの　各点と平均の差、これの 22 乗和が乗和が YY

の全変動となる。の全変動となる。{ 　回帰直線上の点（予測値）と平均の　回帰直線上の点（予測値）と平均の

差、この差、この 22 乗和が回帰によって説明さ乗和が回帰によって説明される変動となる。れる変動となる。

　　この　　この 22 つの比が決定係数つの比が決定係数 RR22 となる。となる。　　決定係数の式は次のようになる。　　決定係数の式は次のようになる。

2

22

)(

)ˆ(

YY

YYR

i

i

これを変形すると　　　　　　　となる。yx

xy

SS

SR

22 )(

もう少し詳細にみてみようもう少し詳細にみてみよう

となるので、となるので、 YY の全変動はの全変動は

となる。ところで、となる。ところで、

となることから、　　　　　　　　　　　となる。よとなることから、　　　　　　　　　　　となる。よって、って、

となる。となる。 YY の全変動のの全変動の 33番目の項は、番目の項は、

)ˆ()ˆ( YYYYYY iiii

)}ˆ)(ˆ()ˆ)(ˆ{(2

})ˆ()ˆ{(})ˆ()ˆ{(

)}ˆ()ˆ{()}ˆ()ˆ{()()(

111

221

2211

22111

221

YYYYYYYY

YYYYYYYY

YYYYYYYYYYYY

nnn

nnn

nnnn

XbYaXbaY iiˆˆ,ˆˆˆ

)(ˆˆ XXbYY ii

)ˆ(ˆˆ)ˆ())(ˆ))((ˆ( 2iiiiiiiii xbyxbxbxbyYXXbYXXbYY

0)}(){(ˆ

)}(ˆ){(ˆ

22122

1

1111

22111

nn

nnnn

nnn

xxxx

yxyxyxyxb

xxbyxyxb

となる。よって、となる。よって、 YY の全変動はの全変動は

　　　　　　　　　　　　　　　　　　　　　　　　　　回帰で説明されない部分　　　回帰で回帰で説明されない部分　　　回帰で説明される部分説明される部分

に分解される。決定係数はに分解される。決定係数は

であるが、であるが、

})ˆ()ˆ{(})ˆ()ˆ{()()( 221

2211

221 YYYYYYYYYYYY nnnn

の全変動る変動回帰によって説明され

Y2 R

22

2

221

221

211

221

2212

221

11

221

221

2

221

221

221

2212

)(

))((

)(

)(}

)(

)({

)(ˆ

)ˆ()ˆ(

)()(

)ˆ()ˆ(

yx

xy

nn

nn

n

n

n

nn

n

n

n

n

n

n

SS

S

yyxx

yxyx

yy

xx

xx

yxyx

yy

xxb

yy

xbxb

YYYY

YYYYR

となる。

＜相関係数＞＜相関係数＞• 決定係数の平方根をとると、決定係数の平方根をとると、

　　となる。これを相関係数という。となる。これを相関係数という。• 相関係数は相関係数は -1-1 とと 11 の間の値をとり、次のような関係を表している。の間の値をとり、次のような関係を表している。

22221

221

211

))((

)(

yx

xy

nn

nn

SS

S

yyxx

yxyxR

正の相関（ R ＞0)

•X が大きな値をとるほど、 Y も大きな値をとる。

負の相関（ R＜ 0)

•X が大きな値をとるほど、 Y は小さな値をとる。

　無相関（ R=0)

•X の値と Y の値に一定の傾向がみられない。

６．検定

• 回帰係数の推定値　　　を、最小回帰係数の推定値　　　を、最小 22 乗法によって求めるこ乗法によって求めることは、計算式に当てはめれば簡単に求めることができる。とは、計算式に当てはめれば簡単に求めることができる。

• しかし、定数項や説明変数が回帰式の中で本当に意味を持しかし、定数項や説明変数が回帰式の中で本当に意味を持つものであるかどうか、検定する必要がある。つものであるかどうか、検定する必要がある。

• 良くおこなわれる検定は次の良くおこなわれる検定は次の 22 つである。つである。

１ HH00: a=0 vs. H: a=0 vs. H11: a≠0 : a≠0 の検定の検定　　定数項が　　定数項が 00 であるかどうかの検定。であるかどうかの検定。　　　　 HH00 が成り立つとき、が成り立つとき、 X=0X=0 の時のの時の YY はは 00 となる。この場合、回となる。この場合、回

帰線は原点を通る。 帰線は原点を通る。 　　消費関数で　　消費関数で HH00 が成り立てば、所得がが成り立てば、所得が 00 の時の消費はの時の消費は 00 となる。となる。

この検定は経済理論の検証の場合が多い。この検定は経済理論の検証の場合が多い。　　　　

ba ˆ,ˆ

２ HH00: b=0 vs. H: b=0 vs. H11: b≠0 : b≠0 の検定の検定

　　　　 Y=a+bXY=a+bX においてにおいて HH00: b=0 : b=0 が成立した場合、この回帰式が成立した場合、この回帰式はは Y=aY=a となる。となる。

　　この式は、「　　この式は、「 YY の大きさはの大きさは XX の値にかかわらず一定値の値にかかわらず一定値 aaをとる」ということを表している。をとる」ということを表している。

　　回帰分析は、Ｘの大きさが大きくなることが原因となっ　　回帰分析は、Ｘの大きさが大きくなることが原因となってＹが大きくなる（または小さくなる）ときに行う分析でてＹが大きくなる（または小さくなる）ときに行う分析であるので、 あるので、 HH00 が採択された場合には、「が採択された場合には、「この分析は行うこの分析は行う意味がなかった意味がなかった」ということになってしまう。」ということになってしまう。

Ｙ

Ｘ

Y= aa

＜検定統計量＞＜検定統計量＞• 検定をおこなう場合に撹乱項の分散検定をおこなう場合に撹乱項の分散 σσ22 が必要となるが、この値はが必要となるが、この値は

わからないので残差からその推定量を考える。わからないので残差からその推定量を考える。

　　この推定量を用いて、　　この推定量を用いて、

　　を考えると、　　を考えると、 tt は自由度は自由度 n-2n-2 のの tt 分布に従う。分布に従う。 HH00: b=0: b=0 の検定の検定にはこの検定統計量を用いればよい。にはこの検定統計量を用いればよい。

• またまた HH00: a=0 : a=0 の検定にはの検定には

　　が自由度が自由度 n-2n-2 のの tt 分布に従うという性質を用いればよい。分布に従うという性質を用いればよい。

2

2212

n

ees n

)(

ˆ

221

2nxxs

bbt

)1

(

ˆ

221

22

nxxX

ns

aat