CVR 분석 방법론을 활용한인과지도 개발 및 타당성 확보 방안

박 상 현2010. 9. 30( 목 )

한국정보화진흥원책임연구원 (Ph.D)

인과지도 개념 및 구조

인과지도란 ?

인과지도는 대상 시스템 관련 변수들의 피드백 구조를 바탕으로문제 인식 , 공유 및 해결 방안을 모색하는 도구

대상 시스템 관련 변수가 동태적 관계 발견 용이

개인 또는 팀의 공유 멘탈 모델 도출 및 정리 용이

피드백 구조를 바탕으로 정책 레버리지 발견 용이

동태적 사고

사실적 사고

인과지도 사고 체계

피드백사고

사 건(Events)

행 태(Behavior)

구 조(Structure)

문제 정의 및

브레인 스토밍

행태의 역사적 결과와

패턴분석

인과모형과 시뮬레이션

설계 및 구현

A

C

B

인과지도의 한계

인과지도는 문제를 규명하고 해석하는 강력한 도구 , 하지만…

“A mental model of a dynamic system is a relatively endur-ing and accessible, but limited, internal conceptual repre-sentation of an external system (historical, existing or pro-jected) whose structure is analogous to the perceived structure of that system.”

Doyle et al.

동태적 시스템의 멘탈 모델은 비교적 오랫동안 기억되고 이해하기 쉽지만 제한적이고 , 내적인 개념의 표현방식이다 .

“Although successes in addressing complex problems have been attributed to the use of causal-loop diagrams, they have also been criticized. A major limitation is that, due to the cognitive limitations of the human brain”

Bruce Campbell

인간 두뇌의 인지적 제약은 인과지도의 가장 큰 한계이다 .

인과지도는 문제를 규명하고 해석하는 강력한 도구 , 하지만…

인과지도의 한계

“ 차이가 차이를 만든다 .” “ 아는 만큼 보인다 .”

“ 입장이 바뀌면 생각도 바뀐다 .”

“ 열길 물속은 알아도 한길 사람 속은 모른다 .”

“ 생각은 시시각각 변한다 .”

“ 내 맘을 나도 모르겠다 .”

“ 그건 ~ 당신 생각이고… .”

경험 , 지식 , 신념 , 지위 , 시간과 공간의 차이 등이 인간 두뇌의 인지적 차이를 만든다 .

인과지도의 한계

Source: Martin Schaffernicht

외부 시스템과 내부적 인지 프로세스

인과지도 작성 프로세스

대안 제시 : CVR 분석

집단적 사고의 종합화를 통한 객관성 확보로변수 도출 , 변수간 관계 규명 , 인과지도 타당성 검증

CVR 분석이란 ?

CVR(Content Validity Ratio, 내용 타당도 비율 ) 분석은 전문가 패널에게 각 측정지표의 항목별로 반드시 필요하다 , 관련은 있으나 반드시 필요하진 않다 , 불필요하다로 구분하여 질문을 수행 (Lawshe, 1975)

즉 , 타당하다고 응답한 경우가 전체 응답자의 50% 이상일 때 , 해당 문항은 내용 타당도가 어느 정도 존재함을 인정

따라서 CRV 값은 타당하다는 응답이 50% 보다 적을 때 음수 , 50% 일 때 0, 100% 일 때 1

이 되며 50%~100% 사이 일 때 0 과 1 사이로 계산

이러한 CVR 값은 Schipper 가 제시한 데이터에 의해 델파이 조사에 참여한 패널의 수에 따라 최소값을 결정하며 유의도는 .05 수준에서 전문가 패널 수에 따른 최소값 이상의 CVR 값을 가진 항목들만 내용 타당도가 있다고 판단

여기서 Ne 는 타당하다고 응답한 패널의 수

즉 , 3 점 척도에서는 3 으로 응답한 패널의 수 , 5 점 척도에서는 4, 5 에 응답한 패널의 수 , 7 점 척도인 경우에는 5, 6, 7 점으로 응답한 패널의 수를 의미

N 은 연구에 참여한 전체 델파이 패널의 수

CVR 분석 방법

패널의 수 최소 허용 값 패널의 수 최소 허용 값

5 0.99 13 0.54

6 0.99 14 0.51

7 0.99 15 0.49

8 0.75 20 0.42

9 0.78 25 0.37

10 0.62 30 0.33

11 0.59 35 0.31

12 0.56 40 0.29

CVR 최소 허용값

합의도와 수렴도 분석

일반적으로 다수의 패널간 의견차를 좁히고 공유된 의견으로 수렴하기 위해 CVR 분석을 위한 델파이 조사는 2 회 이상 실시

2 회의 설문을 통해 의견이 어느 정도 합의되고 수렴되었는지를 판단하는 기준으로 합의도와 수렴도 분석

합의도는 1 사분위 (Q1) 와 3 사분위 (Q3) 가 일치할 때 1 의 값을 가지며 편차가 커질수록 값이 커지며 .75 이상이면 긍정적으로 판단 (Mdn 은 중위수 )

반면 수렴도는 의견이 한점에 모두 수렴됐을 때 0 의 값을 가지며 편차가 커질수록 값이 커지며 0.5 이하이면 긍정적으로 판단

1. 시민불편이 증가하면 민원제기가 증가한다 .

2. 주차부족 해결 민원 신청이 증가하면 공용 주차장이 증설된다 .

3. 주차장이 증설되면 주차장 수용 공간이 증가한다 .

4. 주차장 수용 공간이 증가하면 차량 이용 및 유입이 증가한다 .

5. 차량 이용 및 유입이 증가하면 교통체증이 심화된다 .

6. 교통체증이 심화되면 시민 불편이 증가한다 .

7. 주차장 수용 공간이 증가하면 시민 불편이 감소한다 .

전혀 아니다 아니다 보통 그렇다 매우 그렇다 1 2 3 4 5

예시 질의

주차장 수용여력

시민 불편

민원 제기

주차장 증설

-

+

+

+

B 시내 유입차량

시내 교통체증

+

-

++

R

B

예시 모델

요약 및 결론

시스템 다이내믹스는 연구 대상 시스템을 동태적 관점에서 전체적으로 조망하여 문제를 인식하고 해결방안을 모색으로 복잡한 문제에 대한 분석 및 연구에 매우 유용

인과지도는 시스템 사고를 도와주고 시스템에 대한 이해를 공유하기 위해 유용한 분석 도구

그러나 다수의 연구자들이 인과지도의 주관적 / 인지적 분석이 가지고 있는 한계를 지적하고 있으며 잘못된 사용 사례도 다수 발견

현실적으로 인과지도 모델링 과정에 객관성과 보편성을 보완하고 다수의 의견이 반영되어 집단지성이 인과지도로 구현될 수 있도록 새로운 접근 방법에 대한 연구 필요

CVR 등과 같은 통계적 방법론의 접목은 인과지도 작성을 도와주고 설명력을 높여주기 위한 보완적 방안이 될 것으로 기대

이를 위해 인과지도 작성 및 활용에 대한 심도 깊은 연구 필요