- 1 -

AMOS Day: SPSS Seminar

구조방정식 모형에서 Bootstrapping방법의 다양한 적용

고려대학교 교육학과 홍 세 희

http://www.seheehong.com/

- 2 -

■ 구조방정식 모형에서 Bootstrapping 방법의 다양한 적용 ■

● Bootstrapping 방법

￭ Bootstrapping의 절차￭ 신뢰구간 설정방법

● 구조방정식 모형에서 Bootstrapping방법의 적용

￭ 자료가 정상분포를 따르지 않는 경우￭ 추정된 계수에 대해 정상분포를 가정할 수 없는 경우

AMOS를 적용한 매개효과에 대한 bootstrapping의 예

AMOS bootstrap의 한계와 해결방안

- 3 -

■ 전통적인 모수적(parametric) 방법과 Bootstrapping 방법 비교

● 공통점

모수 에 대한 추론을 위해 통계치 에 대한 표집분포를 추정

● 차이점

모수적 방법에서는 에 대한 표집분포의 형태에 대해 사전에 가정

(예: 중심극한정리에 의해 표본크기가 적당히 크면 표본평균의 표집분포는 정상분포)

- 4 -

Bootstrapping 방법에서는 표본자료를 이용하여 에 대한 경험적인 분포형성

- 5 -

■ Bootstrapping 방법

● Bootstrapping의 절차

(1) 표본자료로부터 그 표본크기 과 동일한 수의 표본자료를 번 복원추출(sampling

with replacement)

예: 8명 남자의 체중 (68, 69, 69, 70, 71, 72, 73, 74)

5개의 bootstrap 표본자료의 예

(2) 추정치 를 번 반복추정하여 분포의 형태를 가정하지 않은 의 경험적 분포를 생성

- 6 -

● 신뢰구간 설정방법

￭ 정상분포를 가정한 신뢰구간 (

)

￭ Bootstrap 신뢰구간

• Percentile 방법: (

)

: 2.5번째 퍼센타일 (유의도 수준 5% 경우)

: 97.5번째 퍼센타일

Percentile 방법의 가정( is an unbiased estimator of ).

- 7 -

• Bias-corrected (BC) 방법

≤

: × 번째 퍼센타일

: × 번째 퍼센타일

≤ 이면 (즉, is an unbiased estimator of 이면)

이므로 BC방법은 percentile 방법과 동일

- 8 -

• Bias-corrected (BC) 방법의 예

≤ 인 경우

: × 번째 퍼센타일

: × 번째 퍼센타일

- 9 -

■ 구조방정식 모형에서 Bootstrapping방법의 적용

￭ 자료가 정상분포를 따르지 않는 경우

￭ 추정된 계수에 대해 정상분포를 가정할 수 없는 경우

- 10 -

● 자료가 정상분포를 따르지 않는 경우

표준오차가 작게 추정 (추정된 계수가 통계적으로 유의하게 나타날 가능성 증가)

참고: 비정상성에 대한 해결방법

Bootstrapping 방법: AMOS, Mplus, EQS, LISREL에서 사용

Scaled chi-square (S-B 또는 robust ) 방법 (Satorra & Benter, 1994):

Mplus, EQS, LISREL에서 사용

- 11 -

￭ Bootstrapping의 예

- 12 -

￭ AMOS Bootstrapping 방법

- 13 -

Estimate S.E. C.R. P Labelvisperc

- 15 -

Parameter SE SE-SE Mean Bias SE-Biasvisperc

- 17 -

Parameter SE SE-SE Mean Bias SE-Biasspatial 10.043 .502 24.454 1.152 .710verbal 2.082 .104 9.642 -.040 .147err_v 9.654 .483 22.655 -1.218 .683err_c 3.286 .164 11.217 -.385 .232err_l 10.434 .522 27.880 -.395 .738err_p .908 .045 2.749 -.085 .064err_s 1.384 .069 7.618 -.349 .098err_w 5.409 .270 18.957 -.968 .382

Variances: (Group number 1 - Default model)

200 usable bootstrap samples were obtained.

- 18 -

Parameter Estimate Lower Upper P

visperc

- 19 -

Parameter Estimate Lower Upper P

spatial

- 21 -

X

M

Y

a

c'

b

● 추정된 계수에 대해 정상분포를 가정할 수 없는 경우

매개효과의 예

매개효과 : ×

직접효과 : ′

- 22 -

￭ 매개효과()에 대한 직접 검증방법: 에 대한 정상성 가정

Sobel test:

다변량 델타방법(multivariate delta method)을 이용하여 에 대한 표준오차 계산

일때, ′: 를 편미분해서 얻은 벡터

: 추정치 공분산 행렬

- 23 -

￭ Shrout & Bolger (2002)의 예

- 24 -

￭ ′의 bootstrap 분포

- 25 -

￭ 의 bootstrap 분포

- 26 -

￭ Chen & Bargh(1997)의 예

- 27 -

￭ 의 bootstrap 분포

- 28 -

￭ 구조 방정식 모형을 적용한 매개모형 평가 예

- 29 -

Estimate S.E. C.R. P Label67_alienation

- 31 -

AMOS에서 간접효과 선택

- 32 -

AMOS에서 Bootstrap 선택 (CI를 90%에서 95%로)

95% 신뢰구간을 통해 매개효과 가 유의도 수준 5%에서 유의한지 검증

- 33 -

ses 67_alienation 71_alienation67_alienation -.575 .000 .00071_alienation -.576 .607 .000SEI 5.221 .000 .000educatio 1.000 .000 .000powles71 -.531 .559 .922anomia71 -.576 .607 1.000powles67 -.563 .979 .000anomia67 -.575 1.000 .000

ses 67_alienation 71_alienation67_alienation -.563 .000 .00071_alienation -.527 .567 .000SEI .642 .000 .000educatio .841 .000 .000powles71 -.438 .472 .832anomia71 -.424 .457 .806powles67 -.480 .852 .000anomia67 -.436 .775 .000

Matrices (Group number 1 - Default model)

Total Effects (Group number 1 - Default model)

Standardized Total Effects (Group number 1 - Default model)

- 34 -

ses 67_alienation 71_alienation67_alienation -.575 .000 .00071_alienation -.227 .607 .000SEI 5.221 .000 .000educatio 1.000 .000 .000powles71 .000 .000 .922anomia71 .000 .000 1.000powles67 .000 .979 .000anomia67 .000 1.000 .000

ses 67_alienation 71_alienation67_alienation -.563 .000 .00071_alienation -.208 .567 .000SEI .642 .000 .000educatio .841 .000 .000powles71 .000 .000 .832anomia71 .000 .000 .806powles67 .000 .852 .000anomia67 .000 .775 .000

Direct Effects (Group number 1 - Default model)

Standardized Direct Effects (Group number 1 - Default model)

- 35 -

ses 67_alienation 71_alienation67_alienation .000 .000 .00071_alienation -.349 .000 .000SEI .000 .000 .000educatio .000 .000 .000powles71 -.531 .559 .000anomia71 -.576 .607 .000powles67 -.563 .000 .000anomia67 -.575 .000 .000

ses 67_alienation 71_alienation67_alienation .000 .000 .00071_alienation -.319 .000 .000SEI .000 .000 .000educatio .000 .000 .000powles71 -.438 .472 .000anomia71 -.424 .457 .000powles67 -.480 .000 .000anomia67 -.436 .000 .000

Indirect Effects (Group number 1 - Default model)

Standardized Indirect Effects (Group number 1 - Default model)

- 36 -

ses 67_alienation 71_alienation67_alienation .057 .000 .00071_alienation .061 .053 .000SEI .458 .000 .000educatio .000 .000 .000powles71 .052 .057 .059anomia71 .061 .053 .000powles67 .047 .067 .000anomia67 .057 .000 .000

ses 67_alienation 71_alienation67_alienation .035 .000 .00071_alienation .036 .040 .000SEI .031 .000 .000educatio .033 .000 .000powles71 .033 .038 .028anomia71 .035 .035 .027

● Bootstrap을 이용해 추정한 표준오차

Total Effects - Standard Errors (Group number 1 - Default model)

Standardized Total Effects - Standard Errors (Group number 1 - Default model)

- 37 -

powles67 .032 .028 .000anomia67 .033 .026 .000

ses 67_alienation 71_alienation67_alienation .057 .000 .00071_alienation .053 .053 .000SEI .458 .000 .000educatio .000 .000 .000powles71 .000 .000 .059anomia71 .000 .000 .000powles67 .000 .067 .000anomia67 .000 .000 .000

ses 67_alienation 71_alienation67_alienation .035 .000 .00071_alienation .046 .040 .000SEI .031 .000 .000educatio .033 .000 .000powles71 .000 .000 .028

Direct Effects - Standard Errors (Group number 1 - Default model)

Standardized Direct Effects - Standard Errors (Group number 1 - Default model)

- 38 -

anomia71 .000 .000 .027powles67 .000 .028 .000anomia67 .000 .026 .000

ses 67_alienation 71_alienation67_alienation .000 .000 .00071_alienation .042 .000 .000SEI .000 .000 .000educatio .000 .000 .000powles71 .052 .057 .000anomia71 .061 .053 .000powles67 .047 .000 .000anomia67 .057 .000 .000

ses 67_alienation 71_alienation67_alienation .000 .000 .00071_alienation .029 .000 .000SEI .000 .000 .000educatio .000 .000 .000

Indirect Effects - Standard Errors (Group number 1 - Default model)

Standardized Indirect Effects - Standard Errors (Group number 1 - Default model)

- 39 -

powles71 .033 .038 .000anomia71 .035 .035 .000powles67 .032 .000 .000anomia67 .033 .000 .000

Bootstrap Confidence (Group number 1 - Default model)

Bias-corrected percentile method (Group number 1 - Default model)

95% confidence intervals (bias-corrected percentile method)

- 40 -

ses 67_alienation 71_alienation67_alienation .000 .000 .00071_alienation -.438 .000 .000SEI .000 .000 .000educatio .000 .000 .000powles71 -.633 .449 .000anomia71 -.704 .501 .000powles67 -.666 .000 .000anomia67 -.687 .000 .000

ses 67_alienation 71_alienation67_alienation .000 .000 .00071_alienation -.274 .000 .000SEI .000 .000 .000educatio .000 .000 .000powles71 -.440 .679 .000anomia71 -.469 .706 .000powles67 -.477 .000 .000anomia67 -.465 .000 .000

￭ Bootstrap을 이용해 추정한 95% 신뢰구간Indirect Effects - Lower Bounds (BC) (Group number 1 - Default model)

Indirect Effects - Upper Bounds (BC) (Group number 1 - Default model)

- 41 -

ses 67_alienation 71_alienation67_alienation ... ... ...71_alienation .008 ... ...SEI ... ... ...educatio ... ... ...powles71 .009 .012 ...anomia71 .009 .012 ...powles67 .007 ... ...anomia67 .006 ... ...

Indirect Effects - Two Tailed Significance (BC) (Group number 1 - Default model)

95%CI (-.438, -.274)가 0을 포함하지 않으므로 간접효과(SES -> 71_alienation)는 유의

도 수준 5%에서 유의

- 42 -

￭ AMOS bootstrapping의 장점

빠르고 사용편리 (Fan, 2003)

복잡한 간접효과(예: →→→)를 검증하는 경우 이에 대한 표준오차를 추정할 필요없이 bootstrapping방법을 적용한 후 BC 신뢰구간을 형성하여 쉽게 검증가능

- 43 -

￭ AMOS의 Bootstrapping의 한계

다중매개모형의 경우 개별간접효과(specific indirect effect)와 전체간접효과(total indirect

effect)에 대해 별도의 bootstrapping이 실시되어야 하지만 전체간접효과에 대한

bootstrapping만 제공

예: 의 에 대한 간접경로가 아래와 같은 경우

→→→

→→

개별간접효과에 대한 bootstrapping 결과가 제시되지 않고 두 간접효과의 합인

전체간접효과에 대한 bootstrapping 결과만 제공

- 44 -

x

m1

m2

y

e3

1

e1

1

e2

1

￭ 다중매개에 대한 AMOS Bootstrapping의 예 (편의상 측정변수 사용)

- 45 -

Estimate S.E. C.R. P Label

m1

- 47 -

m1 .840 .000 .000

y .708 .530 .569

x m2 m1

m2 .222 .000 .000

m1 .840 .000 .000

y .112 .530 .569

x m2 m1

m2 .000 .000 .000

m1 .000 .000 .000

y .596 .000 .000

Direct Effects (Group number 1 - Default model)

Indirect Effects (Group number 1 - Default model)

- 48 -

Parameter SE SE-SE Mean Bias SE-Bias

m1

- 49 -

Parameter SE SE-SE Mean Bias SE-Bias

e1 e2 11.765 .372 -20.723 .792 .526

Parameter SE SE-SE Mean Bias SE-Bias

e1 e2 .162 .005 -.303 -.006 .007

Parameter SE SE-SE Mean Bias SE-Bias

x 17.304 .547 80.344 -2.383 .774

e1 14.137 .447 75.174 -3.262 .632

e2 17.366 .549 63.861 -3.163 .777

e3 12.073 .382 57.411 -5.909 .540

Covariances: (Group number 1 - Default model)

Correlations: (Group number 1 - Default model)

Variances: (Group number 1 - Default model)

Matrices (Group number 1 - Default model)

Total Effects - Standard Errors (Group number 1 - Default model)

- 50 -

x m2 m1

m2 .142 .000 .000

m1 .162 .000 .000

y .179 .168 .135

x m2 m1

m2 .142 .000 .000

m1 .162 .000 .000

y .199 .168 .135

x m2 m1

m2 .000 .000 .000

m1 .000 .000 .000

y .177 .000 .000

Direct Effects - Standard Errors (Group number 1 - Default model)

Indirect Effects - Standard Errors (Group number 1 - Default model)

Bootstrap Confidence (Group number 1 - Default model)

Bias-corrected percentile method (Group number 1 - Default model)

- 51 -

Parameter Estimate Lower Upper P

m1

- 53 -

m1 .486 .000 .000

y .341 .151 .287

x m2 m1

m2 .501 .000 .000

m1 1.143 .000 .000

y 1.062 .843 .829

x m2 m1

m2 .103 ... ...

m1 .006 ... ...

y .004 .010 .006

x m2 m1

Total Effects - Upper Bounds (BC) (Group number 1 - Default model)

Total Effects - Two Tailed Significance (BC) (Group number 1 - Default model)

Direct Effects (Group number 1 - Default model)

Direct Effects - Lower Bounds (BC) (Group number 1 - Default model)

- 54 -

m2 -.041 .000 .000

m1 .486 .000 .000

y -.308 .151 .287

x m2 m1

m2 .501 .000 .000

m1 1.143 .000 .000

y .447 .843 .829

x m2 m1

m2 .103 ... ...

m1 .006 ... ...

y .593 .010 .006

x m2 m1

Direct Effects - Upper Bounds (BC) (Group number 1 - Default model)

Direct Effects - Two Tailed Significance (BC) (Group number 1 - Default model)

Indirect Effects (Group number 1 - Default model)

Indirect Effects - Lower Bounds (BC) (Group number 1 - Default model)

- 55 -

m2 .000 .000 .000

m1 .000 .000 .000

y .343 .000 .000

x m2 m1

m2 .000 .000 .000

m1 .000 .000 .000

y 1.097 .000 .000

x m2 m1

m2 ... ... ...

m1 ... ... ...

y .002 ... ...

Indirect Effects - Upper Bounds (BC) (Group number 1 - Default model)

Indirect Effects - Two Tailed Significance (BC) (Group number 1 - Default model)

전체간접효과의 95% CI (.343, 1.097)

- 56 -

￭ 개별간접효과에 대한 AMOS Bootstrapping 방법

Phantom 변수를 생성하여 곱의 형태로 된 간접효과를 하나의 단일계수로 표현하여

bootstrapping 적용

다중매개인 경우 개별매개에 대해 Phantom 변수를 생성하여 곱의 형태로 된 간접효과를

하나의 단일계수로 표현하여 bootstrapping 적용

- 57 -

• 원 모형

- 58 -

• 변환모형 (Phantom 변수적용)

두 모형은 수학적으로 동일모형 (a*=ab)

- 59 -

x

m1

m2

y

e3

1

F1

F2

1

1

D1

.569

D2.530

• 개별간접효과에 대한 AMOS Bootstrapping 방법의 예

- 60 -

Estimate S.E. C.R. P LabelF1

- 61 -

EstimateF1

- 63 -

m2 .239 1.000 .000m1 .653 .000 1.000y .552 .383 .571

x F2 F1F2 .118 .000 .000F1 .478 .000 .000m2 .000 1.888 .000m1 .000 .000 1.757y .112 1.000 1.000

x F2 F1F2 .239 .000 .000F1 .653 .000 .000m2 .000 1.000 .000m1 .000 .000 1.000y .087 .383 .571

Direct Effects (Group number 1 - Default model)

Standardized Direct Effects (Group number 1 - Default model)

Indirect Effects (Group number 1 - Default model)

- 64 -

x F2 F1F2 .000 .000 .000F1 .000 .000 .000m2 .222 .000 .000m1 .840 .000 .000y .596 .000 .000

x F2 F1F2 .000 .000 .000F1 .000 .000 .000m2 .239 .000 .000m1 .653 .000 .000y .465 .000 .000

Standardized Indirect Effects (Group number 1 - Default model)

Bootstrap (Group number 1 - Default model)

Bootstrap standard errors (Group number 1 - Default model)

Scalar Estimates (Group number 1 - Default model)

Regression Weights: (Group number 1 - Default model)

- 65 -

Parameter SE SE-SE Mean Bias SE-BiasF1

- 67 -

x F2 F1F2 .087 .000 .000F1 .167 .000 .000m2 .141 1.065 .000m1 .164 .000 .517y .179 .000 .000

x F2 F1F2 .140 .000 .000F1 .097 .000 .000m2 .140 .000 .000m1 .097 .000 .000y .108 .118 .150

x F2 F1F2 .087 .000 .000

Matrices (Group number 1 - Default model)

Total Effects - Standard Errors (Group number 1 - Default model)

Standardized Total Effects - Standard Errors (Group number 1 - Default model)

Direct Effects - Standard Errors (Group number 1 - Default model)

- 68 -

F1 .167 .000 .000m2 .000 1.065 .000m1 .000 .000 .517y .196 .000 .000

x F2 F1F2 .140 .000 .000F1 .097 .000 .000m2 .000 .000 .000m1 .000 .000 .000y .151 .118 .150

x F2 F1F2 .000 .000 .000F1 .000 .000 .000m2 .141 .000 .000m1 .164 .000 .000y .177 .000 .000

Standardized Direct Effects - Standard Errors (Group number 1 - Default model)

Indirect Effects - Standard Errors (Group number 1 - Default model)

- 69 -

x F2 F1F2 .000 .000 .000F1 .000 .000 .000m2 .140 .000 .000m1 .097 .000 .000y .128 .000 .000

Parameter Estimate Lower Upper PF1

- 71 -

Parameter Estimate Lower Upper PD1 D2 -.297 -.562 .050 .097

Parameter Estimate Lower Upper Px 82.727 54.083 119.909 .001D1 78.444 18.407 173.307 .003D2 66.953 10.578 170.868 .002e3 63.321 45.389 ... .000

x F2 F1F2 -.004 .000 .000F1 .211 .000 .000

Correlations: (Group number 1 - Default model)

Variances: (Group number 1 - Default model)

Matrices (Group number 1 - Default model)

Total Effects (Group number 1 - Default model)

Total Effects - Lower Bounds (BC) (Group number 1 - Default model)

- 72 -

m2 -.039 1.189 .000m1 .486 .000 1.214y .346 1.000 1.000

x F2 F1F2 .350 .000 .000F1 .891 .000 .000m2 .502 5.412 .000m1 1.143 .000 3.418y 1.058 1.000 1.000

x F2 F1F2 .070 ... ...F1 .003 ... ...m2 .101 .003 ...m1 .006 ... .003y .004 ... ...

Total Effects - Upper Bounds (BC) (Group number 1 - Default model)

Total Effects - Two Tailed Significance (BC) (Group number 1 - Default model)

Standardized Total Effects (Group number 1 - Default model)

- 73 -

x F2 F1F2 -.044 .000 .000F1 .409 .000 .000m2 -.044 1.000 .000m1 .409 .000 1.000y .245 .117 .276

x F2 F1F2 .507 .000 .000F1 .799 .000 .000m2 .507 1.000 .000m1 .799 .000 1.000y .704 .601 .866

x F2 F1F2 .095 ... ...F1 .005 ... ...

Standardized Total Effects - Lower Bounds (BC) (Group number 1 - Default model)

Standardized Total Effects - Upper Bounds (BC) (Group number 1 - Default model)

Standardized Total Effects - Two Tailed Significance (BC) (Group number 1 - Default model)

- 74 -

m2 .095 ... ...m1 .005 ... ...y .005 .005 .006

x F2 F1F2 -.004 .000 .000F1 .211 .000 .000m2 .000 1.189 .000m1 .000 .000 1.214y -.313 1.000 1.000

x F2 F1F2 .350 .000 .000F1 .891 .000 .000m2 .000 5.412 .000m1 .000 .000 3.418y .442 1.000 1.000

Direct Effects (Group number 1 - Default model)

Direct Effects - Lower Bounds (BC) (Group number 1 - Default model)

Direct Effects - Upper Bounds (BC) (Group number 1 - Default model)

- 75 -

x F2 F1F2 .070 ... ...F1 .003 ... ...m2 ... .003 ...m1 ... ... .003y .600 ... ...

x F2 F1F2 -.044 .000 .000F1 .409 .000 .000m2 .000 1.000 .000m1 .000 .000 1.000y -.262 .117 .276

x F2 F1F2 .507 .000 .000

Direct Effects - Two Tailed Significance (BC) (Group number 1 - Default model)

Standardized Direct Effects (Group number 1 - Default model)

Standardized Direct Effects - Lower Bounds (BC) (Group number 1 - Default model)

Standardized Direct Effects - Upper Bounds (BC) (Group number 1 - Default model)

- 76 -

F1 .799 .000 .000m2 .000 1.000 .000m1 .000 .000 1.000y .321 .601 .866

x F2 F1F2 .095 ... ...F1 .005 ... ...m2 ... ... ...m1 ... ... ...y .600 .005 .006

x F2 F1F2 .000 .000 .000F1 .000 .000 .000m2 -.039 .000 .000m1 .486 .000 .000

Standardized Direct Effects - Two Tailed Significance (BC) (Group number 1 - Default model)

Indirect Effects (Group number 1 - Default model)

Indirect Effects - Lower Bounds (BC) (Group number 1 - Default model)

- 77 -

y .343 .000 .000

x F2 F1F2 .000 .000 .000F1 .000 .000 .000m2 .502 .000 .000m1 1.143 .000 .000y 1.097 .000 .000

x F2 F1F2 ... ... ...F1 ... ... ...m2 .101 ... ...m1 .006 ... ...y .002 ... ...

Indirect Effects - Upper Bounds (BC) (Group number 1 - Default model)

Indirect Effects - Two Tailed Significance (BC) (Group number 1 - Default model)

Standardized Indirect Effects (Group number 1 - Default model)

Standardized Indirect Effects - Lower Bounds (BC) (Group number 1 - Default model)

- 78 -

x F2 F1F2 .000 .000 .000F1 .000 .000 .000m2 -.044 .000 .000m1 .409 .000 .000y .284 .000 .000

x F2 F1F2 .000 .000 .000F1 .000 .000 .000m2 .507 .000 .000m1 .799 .000 .000y .817 .000 .000

x F2 F1F2 ... ... ...F1 ... ... ...m2 .095 ... ...m1 .005 ... ...

Standardized Indirect Effects - Upper Bounds (BC) (Group number 1 - Default model)

Standardized Indirect Effects - Two Tailed Significance (BC) (Group number 1 - Default model)

- 79 -

y .002 ... ...

Model NPAR CMIN DF P CMIN/DFDefault model 10 .000 0Saturated model 10 .000 0Independence model 4 57.409 6 .000 9.568

ModelNFI

Delta1RFI

rho1IFI

Delta2TLI

rho2CFI

Default model 1.000 1.000 1.000Saturated model 1.000 1.000 1.000Independence model .000 .000 .000 .000 .000

Model RMSEA LO 90 HI 90 PCLOSEIndependence model .469 .363 .583 .000

Model Fit Summary

CMIN

Baseline Comparisons

RMSEA