이번 제18대 국회의원 선거는 보수의 압승으로 끝났다. 거기에 노회찬 후보도 떨어지고... 그리고 여론조사 무용론이 언제나처럼 대두되었다. '엉터리'라 할지언정, '음모론'이란 얘기까진 아직 들리지 않는다는게 그나마 다행이랄까...

- [여적] 출구조사 무용론
- 예측 틀린 방송3사 "초경합지 많아서..."

투표 시간이 끝나자마자 방송사들이 선거 예측조사 결과를 발표했다. 여기서 '예측'이라는 말은 '미지를 추정한다'는 의미지만 이 말에는 '오차가 존재한다'는 의미 또한 함께 포함하고 있다. 통계적으론 말이다. 그러나 일반적으론 '오차'의 존재여부에 대해서는 전혀 인식하지 않고, '언제나', '항상', '반드시' 예측한 결과와 실제 결과가 같아야 한다고 여기고 있는거 같아 심히 안타깝게 생각한다. 참고로 '예측'이라고 말하는게 더 있어(?) 보이는지 모르겠지만, 통계에서는 '추정'(Estimate)라고 하지 '예측'(Forecast)이라고는 거의 하지 않는다.

그건 그렇고 궁금점, 선거 예측조사 결과가 얼마나 근접했고 얼마가 빗나갔나?

3대 방송사의 홈페이지를 훑어봤더니 KBS의 선거 예측조사 결과가 이용하기 수월하게 자료를 제공하고 있기에 KBS측의 선거 예측조사 결과와 중앙선거관리위원회의 개표 결과를 비교해 보는데, 전국 245개 선거구 모두 처리하기엔 양이 많아 서울 48개 선거구만 비교한다.

- 총선 예측 조사 왜 빗나갔나?

(응답자의 오응답을 문제 제기하는 것은 자기 모순이다.)

그전에 여러분이 개표 결과와 선거 예측조사 결과간에 서로 다른 결과가 나올수 있다고, 즉 '오차'를 인정한다면 몇개 까지를 수긍할 수 있는 오차로 보는지 스스로 정해보기 바란다. 1개, 2개, 3개, 4개, 5개, 6개 이상 선거구 이런 식으로 말이다.

※주의 : 해당자료는 인용과정에 오류가 있을 수 있습니다.

위 자료를 보면, 서울 48개 선거구 중에서 선거 예측조사 득표율 1위 후보와 개표 결과 1위 후보가 서로 다른 경우는 2개 선거구로 대략 4.2%를 차지했다. 만족스럽진 못하지만 개인적으론 그럭저럭 넘어갈 수준은 아닐까 하는데...

- '야당 찍고 대답 안하는 사람들' 고려안해

('틀린 선거구'의 정의가 뭘까?)

그런데 앞에서처럼 단순히 1위만 확인하는 방식은 '찍기 실력 검증'이랄 정도로 의미가 없다. 조사를 했다는 건 각 선거구별 후보 모두의 득표율을 추정했다는건데, 그럼 득표율 1위가 아니라 후보 모두의 예측 득표율이 실제 득표율과 같은지를 동시에 고려해야 된다. 이에 통계적 검정 방법 중 적합도검정을 적용해보면 유의수준 0.05에서 귀무가설을 기각하는 선거구는 27개다. 이는 56.3%에 달하는 선거구에서 예측한 득표율과 실제 득표율간에 차이가 있다는  것이다. 한마디로 '막장'이라 말해도 과언이 아닐 정도다. -_-;;

아래는 서울 48개 선거구 중 몇몇 선거구에 한해 예측 득표율과 개표 결과를 1,000명을 기준으로 했을 시 그 차이를 차트로 나타내봤다(선거구별로 P값이 유의수준 0.05 보다 크다면 예측 득표율과 실제 득표율에 차이가 없다는
것이다. 그리고 각 후보별로 차이제곱비가 작을수록 두 득표율이 서로 가깝다는 것이다).

※주의 : 계산 과정에 오류가 있을 수 있습니다.

이 정도 실력이 우리나라 정치조사의 수준이다(안타깝지만... 몇년을 떠들어도 말이다). 그때나 이때나 예전 그 인력 그대로, 거기서 거기인 비슷한 방식으로 조사/분석하니 이런 결과가 나오는게 어쩜 당연한 귀결일 것이다. 즉 선거 예측 모형의 변화 또는 개발 없이는 선거조사는 '언제나', '항상', '반드시'
욕 먹게 될 것이다.