Embed Size (px)
Citation preview
평균 (Average) • 평균 = 산술 평균 = 표본 평균
• 통계학의 내용 중에서 가장 이해하기 쉬운 개념 중 하나.
• 개의 관측값 이 주어져 있을 때,평균은 다음과 같이 정의한다.
µ = X = 1N
Xii=1
N
∑
X1,X2,!,XN( )N
분산 (Variance) • 관측값들이 평균으로부터 얼마나 흩어져 있는가?• 퍼져 있는 정도만 중요하기 때문에 부호는 중요하지 않다.• 따라서, 각 편차(=관측값-평균)의 제곱의 합의 평균으로 분산을 정의한다. (부호를 없애는 방법으로 절대값을 취하는 방법과 제곱을 취하는 방법이 있는데, 절대값은 대수 연산에 있어 여러 가지 불편함이 있기 때문에 잘 사용하지 않는다.)
V =σ 2 = 1N
Xi − µ( )2i=1
N
∑
예제: 평균과 분산• 2학년 1반 학생들의 수학 성적
• 2학년 2반 학생들의 수학 성적
65 72 57 92 45
σ 2 = 15
65 − 66.2( )2 + 72 − 66.2( )2 + 57 − 66.2( )2 + 92 − 66.2( )2 + 45 − 66.2( )2{ } = 246.96µ = 1
565 + 72 + 57 + 92 + 45( ) = 66.2
76 58 72 65 63
σ 2 = 15
76 − 66.8( )2 + 58 − 66.8( )2 + 72 − 66.8( )2 + 65 − 66.8( )2 + 63− 66.8( )2{ } = 41.36µ = 1
576 + 58 + 72 + 65 + 63( ) = 66.8
표본공간 (Sample Space) • 한 번의 시행에서 일어날 수 있는 모든 결과(=사건)의 집합
• 주사위를 던져서 나오는 숫자에 대한 표본 공간
• 동전을 던져서 나오는 면에 대한 표본 공간
• 10문제가 나온 수학 시험 점수에 대한 표본 공간
S = 1,2,3,4,5,6{ }
S = front,back{ }
S = 0,10,20,30,40,50,60,70,80,90,100{ }
확률 (Probability) • 동일한 조건에서 같은 실험을 무수히 반복할 때 특정 결과가 나오는 비율.
• 확률은 0과 1 사이의 값을 가진다.
• 1에 가까울수록 확률이 높다고 말하며, 이는 무한 시행시특정 결과가 나올 확실성이 그만큼 크다는 것을 의미한다.
• 주사위를 던졌을 때 3이 나올 확률: 1/6• 동전을 던졌을 때 앞면이 나올 확률: 1/2
확률변수 (Random Variable) • 일정한 확률을 가지고 발생하는 실험결과(사건)에 수치를 부여한 것.
• 확률변수와 일반변수의 차이점은 확률표본에서 관찰한 변수인지 아닌지에 달려있다. (stochastic vs deterministic)
• 확률변수는 대문자, 확률변수가 취하는 값은 소문자로 표기.
P(X = x) = p
확률분포 (Probability Distribution) • 확률변수 가 가지는 값과 그 값을 가질 확률과의 대응 관계
• “확률변수 = 주사위를 던졌을 때 나오는 숫자”에 대한 확률분포는 이산균등분포
X
0
0.05
0.1
0.15
0.2
1 2 3 4 5 6
가우스 분포 (Gaussian Distribution) • 정규분포(normal distribution)라고도 한다.
34.1 34.113.5 13.5 2.5 2.5
P(x) = 1σ 2π
e−(x−µ )2
2σ 2
가우스 분포 (Gaussian Distribution)
https://www.youtube.com/watch?v=xDIyAOBa_yU
• 많은 수의 경제, 사회, 자연 현상들이 정규분포를 따른다.• 한국 남자의 평균키가 170cm이라는 것은, 키가 170cm에 가까운 사람들이 가장 많고, 이 수치에서 크게 벗어난 150cm, 또는 190cm의 사람들의 수는 기하급수적으로 적어진다는 의미이다.
기대값 (Expectation Value) • (각 사건이 발생할 때의 결과)×(그 사건이 일어날 확률)을전체 사건에 대해 합한 값.
• 어떤 확률적 사건에 대한 평균의 의미를 지님.
E(X) = xi ⋅P(xi )[ ]i=1
N
∑
E(X) = µ
예제: 기대값
수익률 확률
호황 50% 10%
보통 30% 50%
불황 -10% 40%
E(X) = 50 × 0.1( )+ 30 × 0.5( )+ −10 × 0.4( ) = 5 +15 − 4 = 16%
Proof) E(aX) = aE(X)
E(aX) = axi ⋅P(xi )[ ]i=1
N
∑
= a xi ⋅P(xi )[ ]i=1
N
∑ = aE(X)
V (X) = E (X − µ)2⎡⎣ ⎤⎦ = xi − µ( )2 ⋅P(xi )⎡⎣
⎤⎦
i=1
N
∑
= xi2 − 2µxi + µ2( ) ⋅P(xi )⎡⎣ ⎤⎦
i=1
N
∑
= xi2 ⋅P(xi )⎡⎣ ⎤⎦
i=1
N
∑ − 2µ xi ⋅P(xi )[ ]i=1
N
∑ + µ2 P(xi )[ ]i=1
N
∑ = E(X 2 )− 2µ2 + µ2
= E(X 2 )− µ2
Proof) V (X) = E(X 2 )− E(X)2
공분산 (Covariance) • 서로 다른 두 확률변수의 상관관계를 나타냄.• 두 확률변수의 편차의 곱.
Cov(X,Y ) = E X − E(X)( ) ⋅ Y − E(Y )( )⎡⎣ ⎤⎦
Cov(X,Y ) > 0 : X ↑⇒Y ↑
Cov(X,Y ) < 0 : X ↑⇒Y ↓Cov(X,Y ) = 0 : no relationship
ex) X :height, Y :weightex) X :age, Y :eyesightex) X :age, Y :eye size
상관계수 (Correlation)
Cor(X,Y ) =E X − E(X)( ) ⋅ Y − E(Y )( )⎡⎣ ⎤⎦
σ X ⋅σ Y
http://baileysimpson.weebly.com/objectives-1---8.html
Cov(X,Y ) = E X − E(X)( ) ⋅ Y − E(Y )( )⎡⎣ ⎤⎦ = E XY − XE(Y )−YE(X)+ E(X)E(Y )[ ] = E(XY )− E(X)E(Y )− E(X)E(Y )+ E(X)E(Y ) = E(XY )− E(X)E(Y ) = E(XY )− µXµY
Proof) Cov(X,Y ) = E X − E(X)( ) ⋅ Y − E(Y )( )⎡⎣ ⎤⎦ = E(XY )− µXµY
확률벡터 (Random Vector) • Multivariate random variables
• 각 성분이 확률변수인 벡터
X =
X1X2!XK
⎡
⎣
⎢⎢⎢⎢⎢
⎤
⎦
⎥⎥⎥⎥⎥
x =
x1x2!xK
⎡
⎣
⎢⎢⎢⎢⎢
⎤
⎦
⎥⎥⎥⎥⎥
확률 벡터 (random vector) 표본값 벡터 (sample vector)
확률벡터의 기대값과 분산• 기대값 벡터
• 공분산 행렬
!µ = X = E
X1X2"XK
⎡
⎣
⎢⎢⎢⎢⎢
⎤
⎦
⎥⎥⎥⎥⎥
=
E(X1)E(X2 )"
E(XK )
⎡
⎣
⎢⎢⎢⎢⎢
⎤
⎦
⎥⎥⎥⎥⎥
C(X) =
Var(X1) Cov(X1,X2 ) ! Cov(X1,XK )Cov(X2,X1) Var(X2 ) ! Cov(X2,XK )
! ! " !Cov(XK ,X1) Cov(XK ,X2 ) ! Var(XK )
⎡
⎣
⎢⎢⎢⎢⎢
⎤
⎦
⎥⎥⎥⎥⎥
Covariance Body• 개의 2차원 점들이 주어져 있을 때,N
from “My Friend, the Covariance Body”
Covariance Body• 이 점들의 분포를 설명해주는 타원 (ellipse).
from “My Friend, the Covariance Body”
Covariance Body• 즉, 가장 큰 분포를 가지는 축과,가장 작은 분포를 가지는 축을 구하는 문제.
from “My Friend, the Covariance Body”
Covariance Body• 만약 2차원이 아닌 차원의 점들의 분포라면,
차원에서 존재하는 타원체(hyper ellipsoid)가 됨.
http://mathground.net/ellipsoid/
3차원 타원체
KK
왜 Covariance Body 라고 부르는가?• Covariance matrix로 부터 계산하기 때문.
• 공분산 행렬 (covariance matrix)
xi2
i=1
N
∑ xiyii=1
N
∑
yixii=1
N
∑ yi2
i=1
N
∑
⎡
⎣
⎢⎢⎢⎢⎢
⎤
⎦
⎥⎥⎥⎥⎥
xi2
i=1
N
∑ xiyii=1
N
∑ xizii=1
N
∑
yixii=1
N
∑ yi2
i=1
N
∑ yizii=1
N
∑
zixii=1
N
∑ ziyii=1
N
∑ zi2
i=1
N
∑
⎡
⎣
⎢⎢⎢⎢⎢⎢⎢⎢
⎤
⎦
⎥⎥⎥⎥⎥⎥⎥⎥
3D covariance matrix2D covariance matrix
공분산 행렬 (Covariance Matrix)• 분산(variance)의 개념을 다차원으로 확대한 것.
• The variance in a collection of random points in two-dimensional space cannot be characterized fully by a single number. We need a 2 by 2 matrix to fully characterize the two-dimensional variation.
xi2
i=1
N
∑ xiyii=1
N
∑
yixii=1
N
∑ yi2
i=1
N
∑
⎡
⎣
⎢⎢⎢⎢⎢
⎤
⎦
⎥⎥⎥⎥⎥
Covariance Body• 2차원 확률변수 에 대한 회의 시행 결과라고 볼 수 있다.N
from “My Friend, the Covariance Body”
X
Covariance Body• 2개의 확률변수 와 에 대한 회의 시행 결과라고 볼 수 있다.
NX Y
C(X) =xi2
i=1
N
∑ xiyii=1
N
∑
yixii=1
N
∑ yi2
i=1
N
∑
⎡
⎣
⎢⎢⎢⎢⎢
⎤
⎦
⎥⎥⎥⎥⎥
공분산 행렬의 기하학적 의미• Covariance matrix의
가장 큰 eigenvalue = (타원 최대축의 길이)2
가장 큰 eigenvectors = (타원 최대축의 방향)
가장 작은 eigenvalue = (타원 최소축의 길이)2
가장 작은 eigenvectors = (타원 최소축의 방향)
가 된다.
공분산 행렬과 Eigen과의 관계• 일단 계산의 편의를 위해 점들의 중심을 원점으로 이동한다.• 따라서,
• 인 관계와 마찬가지로 공분산 행렬은 다음과 같이 표현할 수 있다.
• 그러면 이제 eigenvector 방향 대한 공분산을 구해보자.
E(X) = 0
V (X) = E(X 2 )− E(X)2 = E(X 2 )
v
C(vTX) = E vTX( ) vTX( )T⎡⎣
⎤⎦
the projected random vector onto v
C(X) = E XXT⎡⎣ ⎤⎦
공분산 행렬과 Eigen과의 관계
C(vTX) = E vTX( ) vTX( )T⎡⎣
⎤⎦ = E vTX( ) XTv( )⎡⎣ ⎤⎦
= E vTXXTv⎡⎣ ⎤⎦ = E vT XXT( )v⎡⎣ ⎤⎦ = vTE XXT( )v = vTC X( )v = vTλv = λvTv = λ
by the definition of eigenvalue & eigenvector:
C X( )v = λv
PCA (Principal Component Analysis)• The main purpose of PCA is the analysis of data to
identify patterns that represent the data “well.”
• The principal components can be understood as new axes of the dataset that maximize the variance along those axes (the eigenvectors of the covariance matrix).
• In other words, PCA aims to find the axes with maximum variances along which the data is most spread.
• PCA is used for reducing dimensions from a high dimensional space into a low dimensional space.
http://sebastianraschka.com/Articles/2014_kernel_pca.html
PCA (Principal Component Analysis)
https://www.analyticsvidhya.com/blog/2016/03/practical-guide-principal-component-analysis-python/
PCA의 활용: Image Compression
https://www.projectrhea.org/rhea/index.php/PCA_Theory_Examples
Q & A
