이번 제17대 대통령선거를 겨냥한 각 방송사들에 출구조사 결과를 실제 득표율과 비교해보자. 우선 지난번에 행동지수를 적용했을 때는 투표율이 약 59% 선으로 매우 우려되는 상황이었으나, 다행히 60% 대는 지켜냈다. 이번 대선 투표율은 지난 제16대 대통령선거에 비해 약 8% 가량 하락한 63% 다.

- 방송사 출구조사 '이명박 과반득표' 예측
- 방송3사 출구조사 빗나갔다

위의 기사를 재정리 하였기에 이후 자료는 인용/계산과정에 오류가 있을 수 있음에 주의 바란다.

위의 기사에서 개표 결과가 각 방송사들의 추정치와 차이가 났다고 한다.

종합해 보면, 각 방송사의 예상 수치는 전반적으로 이명박 당선자가 고평가, 이회창 후보가 저평가된 경향이 있었고, 이는 YTN도 마찬가지였지만, YTN 조사결과가 상대적으로 이회창 후보의 저평가를 문국현 후보나 권영길 후보의 고평가로 상쇄한 덕에 이 당선자의 득표율 예측치가 비교적 정확했던 것으로 풀이된다.

만약에 1,000명이 투표에 참여했다고 가정하고 득표수를 계산해보면,

각 방송사 값은 당연히 추정치이다. 그럼 추정치와 실제 결과에 차이를 제곱하여 χ²검정통계량을 구해보자.

χ²검정통계량 값이 클수록 추정치가 실제 결과에서 많이 벗어났다는 걸 의미한다. 이 때 합을 보면 KBS/MBC < SBS < YTN < CBS 순으로 크다. 즉 KBS/MBC 조사의 차이가 상대적으로 가장 작았다는 것을 보여준다.

그럼 이 차이가 통계적으로 의미있는 차이인지 아닌지를 적합도검정을 해보면...

유의수준 0.05에서 YTN, CBS 추정치는 0.008, 0.001로 실제 결과와 같다고 말할 수 없다. 즉 YTN, CBS 추정치는 실제 결과와 다르다는 것이다. 그럼에도 위의 기사는 이명박 후보 득표율 하나 근접했다고 칭찬 아닌 칭찬을 하고 있다. 난감하게도...(TV 와 YTN 뉴스를 보니 YTN 조사가 맞고 지상파 출구조사가 틀렸다고, 주객이 전도된게 이만저만이 아니던데 더 어이 없는건, 맞았다고 자평하는 사람이나 틀렸다고 자평하는 사람이나 왜들 저러는지 모르겠다)

통계적 분석 결과는 제1종오류와 제2종오류를 항상 함께 안고 간다. 그리고 가급적 제1종오류를 줄이는데 노력한다. 그런데 앞서와 같이 참고한 YTN, CBS 결과가 틀렸다는 것은 제1종오류가 발생했다는 반증이다.

이는 크게 두가지 원인으로 접근 할 수 있다. 표본오차와 비표본오차.

표본구성에 문제는 물증은 없지만 아마도 유의추출과 가중치 적용에서 발생했을 가능성이 매우 높다. 그래서 표본론에서 확률추출을 제시하는 것이다. 물론 확률추출을 했다고 해서 제1종오류가 발생되지 않는다는 보장은 없으나 기본적으로 유의추출은 편의를 가지므로 확률추출이 우월한 조사방법이다.

응답자들이 실제와는 다른 응답을 했을 경우를 제외하면, 각 방송사들과 함께 작업한 조사회사들이 리얼미터를 제외하면 그래도 업계에서 인지도 있는 회사들인지라 비표본오차 발생 가능성을 제기하긴 조금 어려울 것 같다. 물론 각 방송사마다 서로 다른 조사방식을 사용했다는 것도 고려해야 될 것이다.

KBS/MBC, SBS - 출구조사
YTN - 패널 대상 휴대폰 이용 변형된 출구조사(?)
CBS - 아마도 ARS 전화조사?

만약에 이번 대선에 맞춰 표본구성 방법을 확률추출을 이용한 조사결과가 있었다면 좀더 재미있는 비교가 가능했을 거라는 아쉬움을 가져보며... 이번 조사 결과를 거울 삼아, 좀더 과학적인 조사방법 개발에 업계가 관심 갖기를 바란다. 온라인조사도 포함해서...