0. 행렬 필요 이유 - Hannam Universitywolfpack.hannam.ac.kr/.../adv_stat/LinearModel/LM_matrix.pdf · 2017-03-18 · Matrix (행렬) 0. 행렬 필요 이유 설명 변수가

Matrix (행렬)

0. 행렬 필요 이유

설명 변수가 2개 이상인 경우 이를 다중 회귀라 한다. 물론 종속 변수는 하나이다. 종속 변수가 하나 이상인 회귀 모형을 Simultaneous Equation(연립 방정식 모형)이라 한다. 설명 변수가 개 존재하는 경우 선형 다중 회귀 모형을 다음과 같다.

(모형) , --- (1)

는 회귀 계수이고 는 deterministic(알려져 있다).

(가정) [단순 회귀 가정과 동일하다]

다중 회귀 모형을 간편하게 분석하기 위해서는 행렬의 개념이 필요하다. 식(1)을 행렬로 표현

➔ --- (2)

회귀 분석에서 데이터 행렬, 계수 벡터라 한다. 행렬에 대한 개념을 이해하기 위하여 단순 회귀 모형을 행렬로 표현하여 보자.

1. 행렬 정의 및 종류

1. 정의

간편식 - 첨자 i는 행, j는 열을 나타냄. 행의 차수 n,열의

차수 p인 행렬, 차수 ( )인 행렬

•열의 차수가 1인 행렬을 열 벡터(column vector)

•행의 차수가 1인 행렬을 행 벡터(row vector)

•일반적으로 벡터라 함은 열 벡터를 의미한다.

p

iippiii eXXXY +++++= βββα ...2211 ni ,...,2,1=

pβββα ,...,,, 21 ipii XXX ,...,, 21

),0( 2~

σNormaliidei

!!!!!

"

#

$$$$$

%

&

+

!!!!!!!

"

#

$$$$$$$

%

&

!!!!!!

"

#

$$$$$$

%

&

=

!!!!!

"

#

$$$$$

%

&

np

p

p

p

n e

ee

XXX

XXX

XXX

Y

YY

!!

"!

"

"

!2

1

2

1

112 11

112 11

112 11

2

1

1

1

1

β

β

β

α

11)1()1(1 ××++×× += nppnn eXY β

)1( +× pnX 1)1( ×+pβ

단순 회귀 모형 , 을 식 (2)와 같이 행렬로 표현하자.iii eXY ++= βα ni ,...,2,1=

!!!!!

"

#

$$$$$

%

&

=×

npnn

ij

p

p

pn

... x xx

.....x..........

... x xx

... x xx

X

21

22221

11211

{Xij}

n × p

한남대학교 권세혁교수 http://wolfpack.hnu.ac.kr / Page1 17

http://wolfpack.hnu.ac.kr

Matrix (행렬)

•행과 열의 차수 모두가 1인 경우 행렬은 scalar (스칼라)이다. 즉 -2, 3 등의 실수는 행렬에서는 스칼라라 한다.

열 벡터:

행 벡터:

행렬을 열 벡터로 표현

2. 정방 행렬(square matrix)

행과 열의 차수가 같은 행렬(즉 n=p)을 정방행렬(square matrix)

-> 다음은 차수 3인 정방 행렬의 예 … (1)

3. 대각 행렬(diagonal matrix)

•정방행렬에서 대각선에 위치한 행렬을 대각 원소(diagonal element)

•대각 행렬의 대각 원소의 합을 trace(대각합)라 하고 trace(A), tr(A)라 표시

•행렬 (1)의 대각원소는 (2, 2, 1)이고 대각합은

•Square Matrix에서 대각 원소(diagonal element)를 제외한 다른 원소는 모두 0인 행렬을 대각 행렬(Diagonal Matrix)라 하고 다음과 같이 표시

-> 차수 3인 대각 행렬

xn =

x1x2...xn

⎡

⎣

⎢⎢⎢⎢⎢

⎤

⎦

⎥⎥⎥⎥⎥

x ' = [x1 x2...xp ]

]...[ 21 ppn xxxX =×

!!!!!

"

#

$$$$$

%

&

=

nnnn

ij

n

n

n

... x xx

.....x.......... ... x xx ... x xx

X

21

22221

11211

!!!

"

#

$$$

%

&

=×1 1 23 2 42 3 2

33X

tr(A) = 5

!!!!!

"

#

$$$$$

%

&

=

nn

22

11

x... 0 0...............0 ... x00 ... 0

kkn x

x

D

!!!

"

#

$$$

%

&

=

1 0 00 0 00 0 2

3D3102)( =++=Dtrace



Matrix (행렬)

4. 항등 행렬(identity matrix)

Square Matrix에서 대각 원소(diagonal element)가 모두1이고 다른 원소는 모두 0인 행렬을

항등 행렬(Identity Matrix)라 하고 라 표시한다. 항등 행렬은 algebra(대수)의 곱에서 1의 역할과 동일하다. matrix algebra의 역수의 개념은 역행렬(inverse matrix)이며 정방 행렬 A

에 대해 가 성립하는 을 역행렬이라 한다.

차수 3인 항등 행렬이다.

2. 기본 연산 Basic operation in matrix

차수 (nxp)인 행렬

간편 기호 for ,

차수 k인 (열) 벡터 -> 일반적으로 벡터라 함은 열 벡터를 의미한다.

1. Transpose(전치)

•행의 원소를 열로 보내고 열의 원소를 행으로 보내어 만들어진 행렬을 전치 행렬(transpose matrix)라 하고 이 과정을 전치(transpose)라 하다.

•행렬 의 전치 행렬은 이고 차수는 (pXn)이다.

•간편 기호 : ,

- 회귀분석 데이터 행렬 의 전치 행렬 을 구하면

- 의 전치 행렬 을 구하면

nI

IAAAA == −− 11 1−A

I3 =1 0 00 1 00 0 1

⎡

⎣

⎢⎢⎢

⎤

⎦

⎥⎥⎥

!!!!!

"

#

$$$$$

%

&

=×

npnn

ij

p

p

pn

... x xx

.....x..........

... x xx

... x xx

X

21

22221

11211

}{ ijpn xX =× ni ,...,2,1= pj ,...,2,1=

!!!!!

"

#

$$$$$

%

&

=

k

k

x

xx

x...2

1

pnX × npX ×"

}{ jixX =! }{}{ jiij aaA =!=!

pnX × npX ×" !!!!!

"

#

$$$$$

%

&

=' ×

pnpp

ji

n

n

pn

... x xx

.....x.......... ... x xx ... x xx

X

21

22212

12111

!!!!!

"

#

$$$$$

%

&

=×

2 2 51 1 23 2 42 3 2

43X

43×"X !!!

"

#

$$$

%

&

='×2 1 3 22 1 2 35 2 4 2

43X



Matrix (행렬)

- 열 벡터 의 전치는 행 벡터 이다.

(대칭 행렬)

행렬과 전치 행렬이 동일한 행렬을 대칭 행렬(symmetric matrix)이라 한다. 대칭 행렬이 되려면 반드시 square matrix이어야 한다.

• 은 대칭 행렬이다.

•identity(항등) matrix와 diagonal(대각) matrix도 대칭 행렬이다.

(대각합 ) Trace

- 정방 행렬의 대각 원소의 합을 행렬의 TRACE라 한다. 기호는 로 나타낸다.

의

2. Addition in matrix (행렬의 합 연산)

행렬의 합을 구하는 경우 두 행렬의 차수는 동일해야 하며(conformable for addition: 합 연산 적합) 각 행렬에서 대응하는 원소들의 합을 그 위치에 적으면 된다.

•행렬 A, B에 대해 A+B를 구하시오.

, =>

•벡터 A, B에 대해 A+B를 구하시오.

, =>

(합의 성질)

• 단, 행렬A, B는 합의 연산이 적합(conformable), 즉 차수는 동일

• 단, 행렬 A와 B은 차수가 같은 정방 행렬이다.

!!!

"

#

$$$

%

&

=

242

1x[ ] 2 4 21 =!x

!!!

"

#

$$$

%

&

=×1 3 23 2 42 4 2

33X

)(Xtr

!!!

"

#

$$$

%

&

=×1 3 23 2 42 4 2

33X

5122)( =++=Atr

!!!!!

"

#

$$$$$

%

&

++

++

++

=

!!!!!

"

#

$$$$$

%

&

+

!!!!!

"

#

$$$$$

%

&

=+=+ ××

...b aba...............

...b aba ...baba

... b bb

.....b..........

... b ba

... bbb

... a aa

.....a..........

... a aa

aaa

baBA

nnnnnpnn

ij

p

p

npnn

ij

pijijpnpn

2211

22222121

12121111

21

22221

11211

21

22221

1p1211 ...

}{}{

!"

#$%

&=

3 2 42 4 2

A !"

#$%

&−=

0 2- 42 1 2

B !"

#$%

&=+

3 0 84 5 0

BA

!"

#$%

&=

4 2

a !"

#$%

&−=

4 2

b !"

#$%

&=+

8 0

ba

BABA !+!=!+ )(

)()()( BtrAtrBAtr +=+



Matrix (행렬)

(동일 행렬) Equality

행렬 A, B의 차수가 같고 대응 원소들이 모두 같을 때 행렬 A, B는 같다고 한다.

for all i, j

(영행렬) Null matrix

(정의) 원소가 모두 0인 행렬을 Null matrix(영 행렬)라 한다.

(예제)

3. Product (곱)

두 벡터를 곱하기 위하여 (열 벡터)x(행 벡터), (행 벡터)x(열 벡터)만 가능하다. 이는 곱의 conformable(적합) 조건 때문이다. 행렬에서 곱의 conformable(적합) 조건은 앞 행렬(벡터)의 열의 차수와 뒤 행렬 행의 차수가 동일해야 한다. 곱의 결과는 (앞 행렬의 행 차수)x(뒤 행렬의 열의 차수)인 행렬(벡터, 스칼라)이다.

[i번째 행]x[j번째 열]=[(i, j) 원소]

(행 벡터)x(열 벡터)

벡터의 곱은 앞 벡터의 열의 원소와 대응하는 뒤 벡터의 행의 원소의 곱을 더한 값을 적으면 된다. 곱이 가능하기 위해서는 앞 행의 차수와 열의 차수는 같아야 하며 행 벡터(1xp행렬)와 열 벡터(px1행렬) 곱은 scalar(1x1행렬)이다.

=> 결과 값은 스칼라(scalar)

(열 벡터)x(행 벡터)

열 벡터 열 원소와 행 벡터의 행 원소의 곱을 (앞의 열 벡터 원소 위치) 행, (뒤의 행 벡터 원수 위치) 열로 하여 행렬을 만든다. 앞의 열 벡터와 차수와 뒤 열 벡터 차수는 같을 필요가 없다. 결과는 (nxp) 행렬이다.

=> 결과 값은 행렬

- 다음 벡터들에 대해 곱을 계산하시오

}{}{ ijij baBA =⇔=

02×3 =0 0 00 0 0

⎡

⎣⎢

⎤

⎦⎥

[ ] ∑=

=+++=

"""""

#

$

%%%%%

&

'

=( p

iiipp

p

p xaxaxaxa

x

xx

aaaxa1

22112

1

21 …!

…

[ ]

pnpnnn

p

p

p

n xaxaxa

xaxaxa

xaxaxa

xxx

a

aa

xa

×"""""

#

$

%%%%%

&

'

=

"""""

#

$

%%%%%

&

'

=(

!"

!

!

…"

21

22212

12111

212

1



Matrix (행렬)

, , => 와 를 구하시오

,

- 벡터 앞에 스칼라를 곱하면

(벡터)와 (행렬)의 곱

벡터가 행렬을 곱하기 위해서는 앞의 벡터나 행렬의 열의 수와 뒤 벡터 혹은 행렬의 행의 수와 일치(conformable for product)해야 하며 다음과 같다.

벡터 와 행렬 =>

이면 혹은 의 곱은 존재하지 않는다. (Non-conformable)

- , =>

- , =>

-

(행렬의 곱)

행렬 , 가정해 보자.

•이를 간편 기호로 표현하면

!!!

"

#

$$$

%

&

=

242

a!!!!!

"

#

$$$$$

%

&−

=

1021

b

!!!

"

#

$$$

%

&−

=

2 0

1x

xa! !ba

[ ] 24022 0

12 4 2 =++−=

"""

#

$

%%%

&

'−

=( xa [ ]!!!

"

#

$$$

%

&

−

−

−

=−!!!

"

#

$$$

%

&

=(

2 0 4 24 0 8 42 0 4 2

1 0 2 1242

ab

!!!

"

#

$$$

%

&−

=!!!

"

#

$$$

%

&−

=

6 0

3

2 0

133x

!!!!!

"

#

$$$$$

%

&

=

na

aa

a!2

1

!!!!!

"

#

$$$$$

%

&

=×

npnn

ij

p

p

pn

... x xx

.....x..........

... x xx

... x xx

X

21

22221

11211

[ ] pnn

iiji

npnn

ij

p

p

n xa

... x xx

.....x..........

... x xx

... x xx

aaaXa ×=∑=

#####

$

%

&&&&&

'

(

=) }{ 1

21

22221

11211

21 …

pn ≠ aX !aX

!"

#$%

&=42

a !"

#$%

&=

1 3 2 1- 0 1

X [ ] [ ]2 12 101 3 21- 0 1

4 2 =!"

#$%

&='Xa

!!!

"

#

$$$

%

&

=

142

a!"

#$%

&=

1 3 2 1- 0 1

X[ ]17 1

142

1 3 21- 0 1

=!!!

"

#

$$$

%

&

!"

#$%

&=aX

!"

#$%

&=!

"

#$%

&=!

"

#$%

&=

9 60 3

33 20 1

3 20 1

33X

!!!!!

"

#

$$$$$

%

&

=×

npnn

ij

ppn

... a aa

.....a..........

... a aa

aaa

A

21

22221

1p1211 ...

!!!!!

"

#

$$$$$

%

&

=×

pqpp

ij

q

q

qp

... b bb

.....b..........

... b bb

... bbb

B

21

22221

11211

∑====

p

kkjikij bapPAB

1}{



Matrix (행렬)

• 결과는 (nxq) 행렬이다. 는 q=n일 때만 곱 연산이 가능하고 결과는 (mxp)이다.

•일반적으로 이다. (BA의 연산이 성립하더라도)

• 이 성립한다. (단 곱의 연산이 적합한 경우 가능하다)

•

두 행렬의 곱을 구하시오.

, È

4. Laws of matrix algebra (행렬 연산 법칙)

•Associate law (결합 법칙) ,

•Distribution law (배분 법칙)

•Communication law (교환 법칙)

3. Special matrix

1. Idempotent matrix (멱등 행렬)

이면 행렬 M은 Idempotent 행렬이다.

2. Symmetric matrix (대칭 행렬)

o ( )이면 행렬 A는 대칭(symmetric) 행렬이다.

oA, B가 대칭 행렬이면

o , 은 항상 대칭 행렬이다. (행렬 X는 회귀모형의 데이터행렬)

o

AB BA

BAAB ≠

ABAB !!=!)(

)()( BAtrABtr =

!!!

"

#

$$$

%

&

=

2 01 1 0 2

A!!!

"

#

$$$

%

&

=

1 11 0 0 1

B !"

#$%

&=

!!!

"

#

$$$

%

&

!"

#$%

&='≠!

"

#$%

&=

!!!

"

#

$$$

%

&

!"

#$%

&='

3 12 2

2 01 10 2

1 1 01 0 1

3 21 2

1 11 00 1

2 1 00 1 2

ABBA

회귀 모형에서 을 HOMEWORK#5-1의 벡터 로 표현하시오.∑ 2ie e

)()( CBACBA ++=++ ABCBCACAB == )()(

ACABCBA +=+ )(

ABBA +=+ )(

MMMM ==2

A = A ' aij = aji'

BAABAB =!!=!)(

XX ! XX !

∑ ∑= =

="p

j

n

kkjxXXtr

1 1

2)(

회귀모형 자료 행렬 에 대해 , 이 대칭 행렬임을 보이시오.X XX ! XX !



Matrix (행렬)

3. Elementary vector (항등 벡터)

항등 행렬을 표현할 경우 (i번째 원소만 1)를 elementary(기초) 벡터

4. 모든 원소가 1인 벡터와 행렬

➔ ➔

5. Orthogonal matrix (직교 행렬)

이면 행렬 는 직교(orthogonal) 행렬이다.

4. Inverse matrix (역 행렬)

행렬의 나누기 연산이 바로 역행렬이고 정방행렬일 경우만 역행렬을 구할 수 있다.

1. Determinant(행렬식)

차수가 2일 경우: 행렬 의 행렬식은 (scalar이다.)

차수가 3일 경우: 의 행렬식은

(1번째 행 이용)

∑ "==

n

iiin eeI

1 !!!!!!!!

"

#

$$$$$$$$

%

&

=

0...0100

ie

!!!!!

"

#

$$$$$

%

&

=

1...11

1n!=

"""""

#

$

%%%%%

&

'

== 11

1...1 1 1...

1...1 1 11...1 1 1

1nnJ

n=!11

평균 을 이용하여 표현하시오.nYY i∑=

n1

IAAAA =!=! A

!"

#$%

&=

6 43 7

A304367|| =×−×=A

!!!

"

#

$$$

%

&

=

10 9 87 5 43 2 1

A

| A |= 1*(−1)1+1 5 79 10

+ 2*(−1)1+2 4 78 10

+ 3*(−1)1+3 4 58 9

= 7



Matrix (행렬)

(2번째 행 이용)

3번째 행도 동일하게 계산 가능, 모두 7의 결과이다. 열도 동일하게 하면 된다.

이를 확장하면 차수 n의 행렬의 행렬식은 이다.

를 minor 행렬 (소행렬)이라 하고 를 cofactor(여인수)라 한다.

(간편계산식)

초록색을 곱 하여 합, 검은 실선은 곱하여 음으로 하여 합하면 행렬식 값 7이다

(행렬식 성질)

o , ,

o 행렬 A의 두 행이 같으면 행렬식은 0이다.

o 한 행(열)의 상수를 곱하여 다른 행에 더해도 행렬식 값은 변하지 않는다.

o 한 행(열)을 다른 행들의 선형 결합으로 표현할 수 있으면 행렬식의 값은 0이다. (회귀분석에서는 완벽한 다중공선성)

2. 역행렬(Inverse matrix)

•정방 행렬 A에서 를 만족하는 행렬 B를 A의 역행렬이라 하고 로 표

•Adjacent 수반 행렬 : (i, j) 셀의 경우 i행, j열을 삭제한 행렬에 을 곱한 것

• [adj(A)는 A 원소를 cofactor로 대치] 간단한 예를 들어 설명

| A |= 4 *(−1)2+1 2 39 10

+ 5*(−1)2+2 1 38 10

+ 7*(−1)2+3 1 28 9

= 7

||)1(||)1(||11

ijjin

jijij

jin

iij MaMaA +

=

+

=−∑=−∑=

|| ijM ||)1( ijji M+−

|||| AA =! |||||| BAAB = |||| BAAB =

다음을 증명하시오. (위의 행렬식 성질 첫 번째를 이용)

1) 만약 행렬 A가 ORTHOGONAL이면 2) 만약 행렬 A가 IDEMPOTENT이면 |A|는 0 혹은 1이다.

1|| ±=A

IBAAB == 1−A

adj(A) (−1)i+ j

||1

||11

AadjA

AA ==−


A =1 2 34 5 78 9 10

⎡

⎣

⎢⎢⎢

⎤

⎦

⎥⎥⎥

1 24 58 9


Matrix (행렬)

=> (1행, 1열)에는 1행과 1열을 제외하고 남은 9에 을 곱하

여 적으면 된다. (2행,1열)에는 2행과 1열을 제외한 5에 곱하여

그러므로, 역행렬은 .

(활용 : 연립방정식)

=> 행렬로 표시하면

•연립 방정식의 해는 이다.

•행렬 A의 역행렬만 구하면 해를 구할 수 있다.

•역행렬이 존재하려면 1)정방 행렬이고 2)행렬식이 0이 아니어야 한다.

(역행렬 성질)

o역행렬은 unique하다.

o , , ,

5. Rank(계수)

•행렬의 계수(rank)는 행렬에서 선형 독립인 행(그리고 열)의 수,

•정의(LIN: linearly independent vector) 가 성립하려면 모든

일 때만 만족한다면 열 벡터 는 선형 독립(linearly independent) 벡터라

하고, 0이 아닌 에 대해서 만족한다면 선형 종속(linearly dependent)인 벡터라 한다.

•상호 종속인 벡터는 하나의 벡터를 다른 벡터들의 선형 결합으로 표시할 수 있다는 것을 의미한다.

•정의(full rank) (nxn)정방 행렬에서 선형 독립인 행(열)의 개수( )가 행렬의 차수 n

와 같다면 이 행렬은 full-rank 행렬이라 한다. 즉 이면 full-rank이다.

행렬 대해 다음과 같다.

31518||9 35 2

=−=⇒#$

%&'

(= AA

(−1)1+1

(−1)2+1

!"

#$%

&=!

"

#$%

&=−

2/3 1-5/3- 3

2 3-5- 9

311A

412522

=−

=−+

=−−

wuwvuwvu

!!!

"

#

$$$

%

&

=!!!

"

#

$$$

%

&

!!!

"

#

$$$

%

&

⇔=

415

1- 0 12- 1 11- 2 2

wvu

bxA

bAxbAxIbAxAA 1111 −−−− =⇒=⇒=

||/1|| 1 AA =− AA =−− 11)( )()A( 11 !=! −− A 111)( −−− = ABAB

rank(A)

0...2211 =+++ pp xaxaxa

0=ia pxxx ...,, 21

ia

)(Arank

nArank nn =× )(

nnA ×



Matrix (행렬)

6. 행렬 미분

상수 벡터 , 확률변수 벡터 라 하면

(1) (2)

(3) (A는 정방 행렬)

=> 만약 A가 대칭 행렬이면

7. 평균벡터 mean vector 공분산행렬 covariance matrix

확률변수 벡터 , 개별 확률변수 이고 이라 하자.

(1) (2) (만약 확률변수가 서로 독

립이면 이므로 대각원소를 제외하고 다른 셀은 0인 대각행렬) 행렬 A에 대하여

(3) (4)

▪ 역행렬이 존재한다. ▪ FULL-RANK이다. RANK(A)=N ▪ A는 NON-SINGULAR이다. ▪ |A|≠0 ▪ AX=B 의 해가 존재한다.

▪ 역행렬이 존재하지 않는다 ▪ FULL-RANK아니다. RANK(A)<N ▪ A는 SINGULAR이다. ▪ |A|=0 ▪ AX=B 의 해가 존재하지 않는다.

!!!!!

"

#

$$$$$

%

&

=

pa

aa

a!2

1

!!!!!

"

#

$$$$$

%

&

=

px

xx

x!2

1

axax

=!∂

∂ )( aaxx

=!∂

∂ )(

xAxAxAxx

!+=!∂

∂ )(

xAxAxx

2)( =!∂

∂

!!!!!

"

#

$$$$$

%

&

=

px

xx

x!2

1

xi ~ (µi ,σ ii2 ) Cov(xi , x j ) =σ ij

2

E(x) = µ =µ1...µp

⎡

⎣

⎢⎢⎢

⎤

⎦

⎥⎥⎥

V (x) = Σ =

σ 112 σ 12

2 ! σ 1p2

σ 112 σ 22

2 ! σ 2 p2

! ! ! !σ p12 σ p2

2 ! σ pp2

⎡

⎣

⎢⎢⎢⎢⎢⎢

⎤

⎦

⎥⎥⎥⎥⎥⎥

σ ij2 = 0

E(Ax) = Aµ V (Ax) = AΣ ′A



Matrix (행렬)

활용

데이터 확률표본 의 표본평균 을 행렬로 표현하고 평균과 분산을 구하시오.

when , 를 상수 열 벡터라 하면

8. 회귀 모형의 행렬 표현

1) 회귀 모형

모형 , 가정

=>

2) OLS 추정치

=> 만약 (X’X)의 역행렬이 존재하면

xi ~ iid(µ,σ2 ) x

x =xi∑n

= (1 / n)1'x = (1 / n)(1 1!1)

x1

x2

!xn

⎛

⎝

⎜⎜⎜⎜

⎞

⎠

⎟⎟⎟⎟

E(x ) = E((1 / n)1′ x) = (1 / n)1′E(x) = (1 / n)(11!1)E

x1x2!xn

⎛

⎝

⎜⎜⎜⎜

⎞

⎠

⎟⎟⎟⎟

= (1 / n)(11!1)

µµ!µ

⎛

⎝

⎜⎜⎜⎜

⎞

⎠

⎟⎟⎟⎟

= µ

V (x ) =V (1n1′ x) = 1

n21′V (x)1= 1

n21′

σ 2 0... 00 σ 2 00 0... σ 2

⎡

⎣

⎢⎢⎢

⎤

⎦

⎥⎥⎥1= σ 2

n

x ~ (µ,Σ) a a 'x ~ (a 'µ,a 'Σa)

eXY += β ),0(~ 2nINormale σ

E(y) = E(Xβ + e) = Xβ + E(e) = Xβ,V (y) =V (Xβ + e) =V (e) =σ 2I p y ~ N(Xβ,σ 2I p )

minβ

ei2 =∑ min

βe′e = min

βQ = min

β(y − Xβ ′) (y − Xβ ) = min

β(y′ y − y′Xβ − β ′ ′X y + β ′ ′X Xβ )

∂Q∂β

= − ′X y − ′X y′ + 2( ′X X)β = 0 β = (X 'X)−1X 'y



Matrix (행렬)

3) 적합치와 잔차

적합치 fitted value :

Hat 행렬 (멱등행렬임, ) =>

잔차 residual :

잔차의 분포 : 그리고 정규분포의 선형결

합이므로 잔차는

4) 모형 분해

(모형 설명부분)+(설명 못하는 부분)

높이를 최소화 하는 X-plane 찾는 방법이 OLS 추정치

5) 추정치 분포

, (가정으로부터 ) -> 정규분포 의 선형결합이므로 정규분포

=> ,

y = X β = X(X 'X)−1X 'y

H = X(X 'X)−1X ' HH = H y = H y

r = e = y − y = y − H y = (I − H )y

E(e) = E((I − H )y) = (I − H )Xβ = 0

V (e) =V ((I − H )y) = (I − H )σ 2 (I − H )' =σ 2 (I − H )

e ~ (0,σ 2In )

y = Xβ + e = H y + (I − H )y = H y +M y

β = H y y ~ N(Xβ,σ 2I p ) y

E(β ) = E(H y) = HE(y) = HXβ = β

V (β ) =V (H y) = HV (y)H ' =σ 2 (X 'X)−1 β ~ N(β,σ 2 (X 'X)−1) s2 (β ) = SSE(n − p −1)

(X 'X)−1

βk − βk

s(β )~ t(n −1)



Matrix (행렬)

6) 변동 및 변동 분포

, =

오차변동 : !

회귀변동 :

그리고 이므로 오차항의 분산 추정치는

SSE는 정규분포 의 이차형식이므로

동일하게 SSR도 정규분포 의 이차형식이므로

SAS 이용하여 행렬 계산하기

•PRINT X A; 사용하면 행렬 X와 A가 화면 출력 된다. •PROC IML; 다음 문장으로 RESET PRINT; 사용하면 모든 결과들이 출력된다.

∑ ∑∑−=−=nYYYYSST i

ii2

22 )()( YJYn

YYYYn

YYSST n!−!=!!−!=

1111

y '(I − 1n J )y = y '(N )y

SSE = e 'e = [(I − H )y]'[(I − H )y]= y '(I − H )y

SSR = y '(H − 1nJ )y

E(SSE) =σ 2 (n − p −1) σ 2 σ 2 = SSEn − p −1

y SSEσ 2 ~ χ 2 (n − p −1)

y SSRσ 2 ~ χ 2 (p)

412522

=−

=−+

=−−

wuwvuwvu



Matrix (행렬)

SAS 데이터 행렬 만들기

다음을 SAS/IML을 이용하여 계산하시오.

, , ,

1) 2) 3) 4) 5) 6)

7) 8) 9) 10) (SAS 함수) 행렬 A의 TRACE는 TRACE(A), 행렬식은 DET(A)이다.

!"

#$%

&=

1 26 3

A !"

#$%

&=

1 1- 1- 02 3 0 1

B!!!!!

"

#

$$$$$

%

&

=

1-01 1

x

!"

#$%

&=

1-1

y

AB BA! BAA )( !+ BB! BB ! )( BBtr !

)( BBtr ! || BB ! || BB!A

91


y x

1 1

5 2

9 3

23 4

36 5

설명 변수가 1개인 회귀 모형( )에서 아래와 같이 5개의 관측치를 얻었다. SAS/IML을 이용하여 다음을 계산하시오. 프로그램 첨부.

(1) 형태의 행렬로 나타내시오. (2) 다음을 구하시오.

(A)OLS 추정치를 를 계산하시오. (B)추정치 를 계산하시오.

(C)잔차 를 구하시오.

(D) 을 계산하고 을 계산하시오.

(E) 일 때 예측치( )를 구하시오.

iii exy ++= βα

eXY += β

β βˆ XY =

YYer ˆˆ −==

SSRSSESST ,, 2R

5.4=X hY


Matrix (행렬)

R 이용하여 행렬 계산하기

•I 행렬은 diag() 함수에 의해 자동 행렬 형식

•그러나 rep(1,5)은 값의 오브젝트이므로 행렬로 만들어 주는 as.matrix() 함수를 사용해야 한다.

412522

=−

=−+

=−−

wuwvuwvu



Matrix (행렬)



Documents

0. 행렬 필요 이유 - Hannam Universitywolfpack.hannam.ac.kr/.../adv_stat/LinearModel/LM_matrix.pdf · 2017-03-18 · Matrix (행렬) 0. 행렬 필요 이유 설명 변수가