출구조사의 오차 발생요인과 극복방안

2003/3/25KOSOMAR 세미나

출구조사의 오차 발생요인과 극복방안

김창영( 코리아리서치센터 )

2003/3/25KOSOMAR 세미나 2


ⅠⅠ. . 연구의 배경연구의 배경

外外內內

• 16 대 대선 이후 예측조사에서 출구조사가 전화조사를 대체하는 경향이 가속화될 것으로 예상• 예측조사에서 얻은 성과를 바라보는 조사회사 안과 밖의 시각에 큰 차이가 있음• 출구조사는 연구자에게 방법론상의 승리의 나팔이 아니라 또 하나의 도전 / 과제 현재 조사회사에서 실시되고 있는 출구조사의 특성 파악과 정밀화 방안 마련 필요

A2-



ⅡⅡ. . 선거여론조사의 변화 과정선거여론조사의 변화 과정

1. 태동 단계 2. 발전 단계 3. 성숙 단계

• 1989 년 (13 대 대선 ) ~ 1995 년 (1 회 지방선거 )

• 1996 년 (15 대 총선 ) ~ 2000 년 (16 대 총선 )

• 2002 년 지방선거 이후

• 방문조사 (13,14 대 대선 ) +전화조사 (95 년 지방선거 )

• 전화조사 (96 총선 , 97대선 , 98 지방선건 ) + 출구조사 (16 대 총선 )

• 전화조사 + 출구조사

• 전국단위 여론조사 중심• 95 년 지방선거 최초 실시• 방법론적 측면 시험단계• 전화조사 방법의 활성화

• 전화조사의 보편화• 방법론적 연구의 발전 단계• 대규모 총선조사 / 예측실패• 출구 조사 처음 시행

• 광역단위 출구조사 시행• 당락오차 중심 정교화• 출구조사 방법론의 정교화• 새로운 조사기법의 등장

A2-



ⅢⅢ. . 전화조사 전화조사 vs vs 출구조사출구조사

1. 국회의원 선거

신한국당 국민회의 민주당 자민련 무소속

실제결과 121 66 9 41 16

예측결과 155 59 5 26 8

차이 +34 -7 -4 -15 -8

15 대 총선( 전화조사 )

15 대 총선( 전화조사 )

16 대 총선( 전화 + 출구 )

16 대 총선( 전화 + 출구 )

한나라당 민주당 자민련 무소속

실제결과 112 96 12 5

KBS-SBS예측결과 100 107 12 5

차이 -12 +8 0 0

한국신당과 민노당 , 민국당은 제외

39 개 지역 예측실패KRC 1,2 위 오차평균 6.4%point

20 개 지역 예측실패KRC 1,2 위 오차 평균전화 4.3%point출구 2.4%point

• 2000 년 총선에서의 출구조사는 방법론상으로 한계점이 있지만 , 출구조사가 도입되면서 전화조사에 비해 1,2 위 오차가 감소하는 경향을 보여주고 있음

A2-



2. 지방 선거

조사방법 MBC( 갤럽 )

KBS(KRC-MRI)

SBS(TNS)

1 회 (1995 년 ) 전화조사 4.3 - -

2 회 (1998 년 ) 전화조사 3.5 3.5

3 회 (2002 년 )전화조사 3.0 2.9 3.3

출구조사 - 1.6 1.7

1~3 회 지방선거 1,2 위 오차 평균 (%)1~3 회 지방선거 1,2 위 오차 평균 (%)

1998 년 KBS-SBS 조사 : KRC-MRI 2002 년 지방선거 출구조사 : KBS 6 개 , SBS 4 개 시도

• 2002 년 광역단체장 선거에서는 전화조사와 출구조사를 동시에 실시했으며 , 출구조사는 전화 조사와비교해 1,2 위 오차가 1% 대로 감소하는 경향을 보이고 있음

A2-



3. 대통령 선거

16 대 대선16 대 대선

이회창 노무현 1,2 위 오차 합

실제결과 46.6 48.9 -

출구조사

코리아리서치 46.9 48.4 0.8

MRI 46.8 49.1 0.4

TNS 46.7 48.2 0.8

전화조사 갤럽 48.5 46.2 4.6

• 출구조사가 본격적으로 도입된 2002 년 16 대 대선에서 출구조사는 전화조사 결과와 비교해1,2 위 오차가 현저하게 낮은 것으로 나타남

A2-



ⅢⅢ. . 조사방법별 장단점 비교조사방법별 장단점 비교

SamplingFrame

면접원교육 / 관리

조사대상

면접과정

결과 분석

전화조사 출구조사

• 가구 기준 전화번호부에 의한 체계적인 샘플링 가능

• 가구 기준 전화번호부에 의한 체계적인 샘플링 가능

• 투표소 기준 대표동 / 무작위 /클러스터 추출 등 다양한 방법 적용

• 투표소 기준 대표동 / 무작위 /클러스터 추출 등 다양한 방법 적용

• 숙련된 면접원에 대한 체계적인 관리 시스템 도입 / 운영

• 숙련된 면접원에 대한 체계적인 관리 시스템 도입 / 운영

• 학생들에 대한 단기간 교육으로 면접원의 질적 수준에 차이 발생 가능

• 학생들에 대한 단기간 교육으로 면접원의 질적 수준에 차이 발생 가능

• 선거 이전 투표 의향자 기준 조사• 선거 이전 투표 의향자 기준 조사

• 선거 당일 투표 완료자 조사• 선거 당일 투표 완료자 조사

• 면접과정에 대한 감청과 검증 가능하며 , 다양한 관리 시스템 도입 가능

• 면접과정에 대한 감청과 검증 가능하며 , 다양한 관리 시스템 도입 가능

• 투표 완료자에 대한 체계적인 추출이 원칙이나 그에 대한 관리방안 미흡

• 투표 완료자에 대한 체계적인 추출이 원칙이나 그에 대한 관리방안 미흡

• 태도 유보층에 대해 판별분석 등 다양한 분석 방법 적용 가능

• 태도 유보층에 대해 판별분석 등 다양한 분석 방법 적용 가능 • 태도 유보층에 대한 추가 분석 어려움

• 태도 유보층에 대한 추가 분석 어려움

• 출구조사는 전화조사에 비해 많은 단점이 있으나 , 투표자를 조사대상으로 한다는 특성때문에 결과의 정확성에서 우세를 보임 출구조사의 안정화를 위해서는 단계별 오차 최소화 방안 마련 필요

A2-



ⅣⅣ. . 출구조사의 오차 발생 요인출구조사의 오차 발생 요인1. 표본 오차와 비표본 오차

표본 오차

비표본 오차

• 조사 대상 투표소를 추출하는 과정에서 발생하는 오차• 조사대상 투표소에서 응답자를 선정하는 과정에서 발생하는 오차• 지역별 자료를 집계하는 과정에서 발생하는 오차 등

• 면접원들의 조사 진행 과정상에서 발생하는 오차• 조사 대상자의 응답 과정에서 발생할 수 있는 오차• 면접원들의 조사 결과 집계 / 전송 과정에서 발생하는 오차 등

A2-



2. 표본 오차 – 투표소 추출

1) 투표소 추출 방법

대표동 추출

클러스터 추출

PPS 추출

• 한 지역 내에는 그 지역을 대표할 수 있는 읍 / 면 / 동이 존재한다는 가정 하에 과거선거를 기준으로 해당지역 전체 결과와 각 읍 / 면 / 동 결과간 오차 제곱의 합이 가장적은 곳을 선정 투표소 변동이 심할 경우 추출 투표소의 대표성이 약화될 수 있음

• 전체 지역을 특성이 유사한 하위 지역으로 다시 층화 하는 방식으로 클러스터 추출 방식은 하위 지역에서 대표동 추출 방식이나 PPS 방식과 결합할 수 있음 클러스터링 하는 특정 시점의 결과에 따라 변동이 많아 폭 넓게 사용하는 데 한계가 있음

• 전체 지역 내의 읍 / 면 / 동 단위를 유권자 수 기준으로 정렬한 다음 PPS 방식에 의해 추출하는 방식 추출되는 읍 / 면 / 동의 경향성을 고려하지 않을 경우 오차 발생 가능성이 매우 높을 수 있음

• 최근까지 다양한 방식의 투표소 추출방식이 시도되었으며 , KRC 에서는 대표동 추출방식을 주로이용하고 필요에 따라 클러스터 추출방식이나 PPS 방식을 선택적으로 사용

A2-



2) 투표소 추출 결과 분석

• KRC KRC 대표동 추출방식대표동 추출방식에서는 15 대 대선 기준으로 1 위와 2 위의 오차가 적은 지역을 일차적으로 선정

• 지역별 1 위 오차가 0.0% 였던 대전지역과 2.2% 였던 경북지역을 비교할 경우 , 대전지역은 지역별편차가 1% 내에서 고른 반면 경북지역은 지역별 편차가 12.1% 까지 매우 크게 나타남

0.0 0.0 0.4 0.30.11.0

0.2 0.3

가 나 다 라

15대 16대

0.0 0.1 0.4 0.3 0.6 0.61.4 0.6

12.1

4.02.3 1.5

가 나 다 라 마 바

15대 16대

대전지역 15 대 /16 대 1 위 오차 경북지역 15 대 /16 대 1 위 오차

1 위 오차 : 노무현 실제 득표율 – 노무현 실제 ( 예측 ) 득표율 1 위 오차 : 이회창 실제 득표율 – 이회창 실제 ( 예측 ) 득표율

A2-



2. 표본 오차 – 응답자 선정

지역실제 득표율 (A) KRC 예측치 (B) 오차 (B-A)

이회창 노무현 이회창 노무현 이회창 노무현

서울 45.0 51.3 43.9 52.8 -1.1 1.5

부산 66.7 29.9 68.4 28.4 1.7 -1.5

대구 77.8 18.7 79.8 16.9 2.0 -1.8

인천 44.6 49.8 44.4 50.4 -0.2 0.6

광주 3.6 95.2 2.8 95.8 -0.8 0.6

대전 39.8 55.1 40.1 55.1 0.3 0.0

울산 52.9 35.3 54.5 33.4 1.6 -1.9

경기 44.2 50.7 43.8 51.3 -0.4 0.6

강원 52.5 41.5 54.9 39.0 2.4 -2.5

충북 42.9 50.4 43.9 50.8 1.0 0.4

충남 41.2 52.2 42.3 50.4 1.1 -1.8

전북 6.2 91.6 5.3 92.7 -0.9 1.1

전남 4.6 93.4 4.4 94.4 -0.2 1.0

경북 73.5 21.7 75.7 19.2 2.2 -2.5

경남 67.5 27.1 68.7 25.4 1.2 -1.7

제주 39.9 56.1 39.8 56.3 -0.1 0.2

16 개 지역별 예측 결과 및 오차

• 응답자 선정은 기본적으로 등간격을 유지하기 때문에 체계적 표본 추출이 가능함

• 그러나 , KRC 기준 지역별 오차를 분석한 결과 , 충청권을 제외하고 출구조사 결과에서 1 위 후보의예측치가 실제 결과에 비해 높게 나타남

• 충청지역이 이번 선거에서 경합 지역이었던 점을 감안한다면 , 출구조사에서 열세후보 지지층의 거절률이 상대적으로 높은 경향을 보이고 있음

A2-



3. 표본 오차 – 결과 집계

지역KRC 예측 오차 OO 사 예측 오차

이회창 노무현 오차 합( 절대값 )

이회창 노무현 오차 합( 절대값 )

전국 0.3 -0.5 0.8 0.2 0.2 0.4

서울 -1.1 1.5 2.6 2.2 -1.9 4.1

부산 1.7 -1.5 3.2 -0.8 0.5 1.3

대구 2.0 -1.8 3.8 -0.6 0.5 1.1

인천 -0.2 0.6 0.8 -1.3 1.9 3.2

광주 -0.8 0.6 1.4 -0.7 0.7 1.4

대전 0.3 0.0 0.3 -0.1 0.4 0.5

울산 1.6 -1.9 3.5 -5.2 3.4 8.6

경기 -0.4 0.6 1.0 -1.8 1.4 3.2

강원 2.4 -2.5 4.9 0.7 -0.7 1.4

충북 1.0 0.4 1.4 2.0 -1.1 3.1

충남 1.1 -1.8 2.9 2.0 0.3 2.3

전북 -0.9 1.1 2.0 -0.7 1.2 1.9

전남 -0.2 1.0 1.2 -1.2 1.9 3.1

경북 2.2 -2.5 4.7 -2.6 1.8 4.4

경남 1.2 -1.7 2.9 -4.8 3.5 8.3

제주 -0.1 0.2 0.3 -1.0 1.4 2.4

오차평균 1.1 1.2 2.3 1.7 1.4 3.1

16 개 지역별 예측 오차

• 대선예측을 위한 출구조사에서 KRC는 16 개 지역별 예측 결과를 종합해 전체 결과를 예측하는 방식을 적용함

• KRC 는 이번 선거에서 투표소 기준으로 최대 규모의 출구조사를 실시해 , 지역단위의 예측에서는 가장 정확한 결과를 보이고 있음

• 그러나 , 지역별 결과를 집계하는 과정에서 발생하는 오차로 인해 전체 결과예측에서는 두드러진 정확성을 보이지 못함

A2-



ⅤⅤ. . 출구조사의 오차 극복 방안출구조사의 오차 극복 방안

투표소 추출

응답자 선정

결과 집계

1. 표본 오차

• 이전 선거의 1,2 위 오차를 우선적으로 고려하는 현재의 대표동 ( 읍 / 면 ) 추출방식은동 ( 읍 / 면 ) 별 투표 성향의 변동에 따라 영향을 받을 수 있음

누적 자료를 바탕으로 지역별 대표성을 지수화하여 선거에 따른 변동을 최소화할수 있는 방법론 개발 필요

• 지역별로 열세에 있는 후보 지지자의 거절률이 상대적으로 높게 나타남 일차적으로 투표자의 응답률을 최소활 수 있는 방안을 마련하고 , 거절자의 성향을

분석할 수 있는 방안 ( 성별 / 연령별 특성 반영 ) 마련

• 현재의 결과집계방식은 정확한 지역별 투표율을 알 수 없어 과거 투표율을 근거로 한추정치를 사용함

과거 투표 경향과 투표 당일의 시간대별 투표율을 결합하여 실제에 가까운 투표율을 추정하여 가중치로 사용

• 출구조사에서 대표동 추출방식을 주로 사용할 경우에는 투표소 추출에 따른 오차 발생 가능성이 클 것으로 판단됨 투표소 추출방식에 대한 깊이 있는 연구 필요

A2-



면접원의수준 제고

조사진행관리

돌발상황대처

2. 비표본 오차

• 출구조사 과정 및 방법을 정확하게 이해하기 위한 교육 매뉴얼을 만든다• 조사에 대한 관여도가 높은 연구원을 중심으로 교육을 수행한다 ( 자료 참고 )• 교육 내용의 표준화를 위한 체크 리스트를 활용하여 반복 연습 교육을 실시한다• 조별 교육을 활용해 연구원간에 교육 내용을 상호 검증할 수 있는 시스템을 갖춘다• Role Playing 을 적극적으로 활용하여 교육 내용의 이해도를 체크 한다

• 지역별 관리자를 통해 투표소를 지속적으로 관리할 수 있는 시스템을 구축한다• 출구조사에 대한 경험이 있는 면접원을 조장으로 선발한다• 조장에 대한 추가적인 교육과 사명감 고취 등을 통해 자체 관리를 유도한다• 조장 / 조원 구성 시 조 내부에서 갈등이 발생할 수 있는 소지를 미연에 차단한다

• 조사과정에서 발생 가능한 문제에 대해 응대 요령을 숙지 시켜 초기 대응능력을 제고한다• 지역별 관리 책임자를 두어 면접원 단위의 대처가 불가능한 상황에 대해 대처한다• 지역별 관리 전담 연구원을 편성하여 현장의 문제상황에 대해 민첩하게 대응한다

• 출구조사의 특성상 면접원 동원과 교육 , 현장 조사진행 과정 등 조사 전반에서 비표본 오차가 발생할 가능성이 매우 높음 비표본 오차에 대한 지속적인 관리 / 개선 노력 필요

A2-



자료 1

조원 구성 및 역할에대한 설명

자료 2

자료 4자료 3

조원 역할배정 및

모의 상황에 대한 대처요령 설명

투표자에 대한 등간추출 및

응답과정모의 연습

문제상황에 대한 추가

설명 및보충

교육관련 참고 자료

A2-

Documents

출구조사의 오차 발생요인과 극복방안