대통령 취임 100일을 맞아 여러 곳에서 여론조사를 진행했지만, 통계표를 제공한 기사가 거의 없는 줄 알았는데 좀 더 훑어보니 더 있어서 다시 정리해봤다.

- FTA-쇠고기 연계 '잘못' 66%
- '취임 100일' 여론조사... MB 국정 운영 지지도 22.9%
- [李정부 100일 설문] 지지율 하락 원인은?... 30대 80% 등돌려
- [조선일보·한국갤럽 여론조사] 李대통령 지지율 21.2%로 급락
- "대통령 국정운영 지지도 17%"... KBS 여론조사

여기서 비교하고자 하는 대상은 본 문항이 아니라 '응답자 구성비'이다. 본 문항은 어떻게 물어보느냐 그리고 언제 물어보느냐에 따라 시시각각 변동될 수 있지만 응답자 특성은 단기간 내에 유의미한 변동이 생기기는 어렵다고 보기 때문이다. 그럼 비교를 위해서 각 조사들의 조사 방법을 검토해보면...(이후의 자료는 인용 과정에서 오류가 있을 수 있으니 주의바란다)

우선 눈에 띄는 건 '모집단'에 대한 정의에 기재된 '성인 남녀'. '만19세 이상'이면 '성인' 아닌가? 그리고 '남녀'는 왜 갖다 붙인걸까? 어쨌거나 대세(?)는 '전국 만19세이상 성인 남녀'인가 보다.

언론사	조사회사	표본추출방법	조사방법
문화일보	디오피니언	비례할당에 의한 층화 무작위 추출법	전화조사
동아일보	코리아리서치센터	지역/성/연령별 비례할당추출	CATI
국민일보	글로벌리서치	성/연령/지역별 인구수 비례할당 후 무작위 추출	전화조사
조선일보	한국갤럽	지역(시/도)별 인구수 비례 무작위 추출	전화조사
KBS	밀워드브라운미디어리서치	비례할당 및 체계적 추출법	CATI

우선 '조사방법'에 보면 어디는 '전화조사'고, 어디는 'CATI(Computer Assisted Telephone Interview)'라 했는데, 면접원이 응답자에게 직접 질문해 답변을 받아내는건 같지만 응답자에게 전화를 걸고 응답내용을 취합하는 과정을 컴퓨터를 이용해 자동화 했는지 여부에 따라 조금(?) 차이가 있다(시설비를 들인 만큼 아무래도 CATI가 작업 속도가 빠르다).

그리고 '표본추출방법'은 비슷한거 같기도 하고 서로 다른거 같기도 하고 영 난잡하다. 그냥 '지역, 성, 연령에 따른 비례 할당 추출'이라 했버리면 될걸 가지고 '층화'며 '체계적'이란 용어는 왜 쓰는지... 가방끈 짧은 나로써는 이해되지 않는다. 그렇게 갖다 붙이면 뭐 있어 보이나?

'표본오차'도 중요한 정보인데, 일전에 통상의 여론조사에서 계산하는 방법을 올린 글이 있으니 참고해 계산해 보면 반올림해서 유의수준 0.05에서 ±3.1%P 이다. 자료를 정리하고 보니 결과적으로 지난 글에서 소개한 논문('사회조사에서 표본의 왜곡과 가중치 보정의 결과')이 비교시 적용한 방식을 따라한 것이 돼버렸다.

참고한 조사가 「지역*성*연령」에 따른 비례 할당을 적용했기에 거의 비슷한 분포를 보여주고 있다. 그런데 할당에 따른 가중치를 적용했을 가능성이 99.99%일텐데... 유효자릿수로 인한 반올림 때문인지 조금씩 미세한 차이가 보인다. 아니면 각 조사 마다 서로 다른 자료를 참고해 할당했을 가능성도 있다(후자의 경우는 좀 복잡하다. 모집단 설정시 '인구'를 최근 주민등록 인구를 참고할지, 추계인구나 최근 인구총조사를 참고할지 등등 어느 것을 기준으로하냐에 따라 그 값이 달라질 수 있다). 그래도 이 정도는 애교로 봐줄만 하다. 아래 자료를 보면... -_-;;

직업은 분류하기 애매한 부분이 많지만, 짧은 질답 시간 동안에 한국표준직업분류표를 참고하며 조사한다는 건 진짜(?) 현실적이지 않다. 그래서 상식선에서 분류/재분류 하는데, 그래도 심한 경우 8~9% 차이가 생긴다는건 보는 사람이 되려 미안스럽다. -_-;;

뭐 이 정도도 애교로 넘어가자. 분류가 복잡하니...

뭐 거의 결정타를 날려주셨다. 만19세 이상 성인에서 대재 이상의 학력이 50% 이상을 차지한다는건 내 상식과 너무 동떨어져 있다. 그래서 또 편의(Bias) 얘기를 꺼내지 않을 수 없는거다. 그래서... 약 3년이라는 시차와 연령대 차이가 있어 비교하기엔 한계가 있으나, 지난 2005년 인구총조사 자료에서 만20세 이상 성인들의 학력 구성비와 비교해보면(그래프에서는 '무학'과 '무응답'을 함께 묶어서 정리했으니 주의 바람)...

역시나 대재 이상 학력이 2005년 인구총조사 보다 높게 나타난다. 그런데 이는 앞서 소개한 논문(2004년)에서 이미 문제 제기된 부분이다. 즉 약 3년이라는 시간 동안 여론조사 업계는 이에 전혀 귀 기울이지 않았다는 것이다. 그 결과 계속 꾸준히 역시나 편의가 생긴다는 것.

이렇게 얘기하면 꼭 화살이 돌아온다. 현실을 고려하지 않은 대안없는 비판이고, 싸잡아 욕하는 거라고(이건 뭐 내가 내부고발자가 된 기분이다)...

그렇게 얘기하면 속이 편하십니까?

업계 스스로 이런 문제점을 인지하고 연구를 통해 대안을 강구해야지, 문제에 대한 인식이 낮으니 고민도 없고 연구도 없으니 무슨 대안이 나오겠는가. 그러니 무용론, 심지어 음모론이 고개를 쳐드는거 아니겠어? 종국에는 정치조사를 넘어 여론조사 전체가 불신의 대상이 될지도 모르는데 말이다(그나마 이렇게 비교라도 할 수 있는건 정치조사 뿐이라 말해도 과언이 아니다. 대부분의 시장조사는 자료가 공개되지 않아 접할 수 없고, 조사마다 모집단 정의가 서로 다를 수 있어서 비교가 거의 불가능하다).

아래 논문을 보니 시간균형할당추출 방법을 적용했더니 기존 방식에 비해 편의가 1/2 이하로 나타났단다. 물론 편의를 완전히 제거하진 못했지만, 그래도 줄었다니 좋지 아니한가. 찾아가서 자문 좀 구해봐라.

허명회 외 1명, 2006, "전화조사를 위한 시간균형할당표본추출", 조사연구, 7권 2호, 39-52

그리고 제발 클라이언트 설득 좀 시켜라. 보고서고 분석이고 간에 표본추출이 적절해야 되는데 이건 직접비라서 줄일래야 줄일 수 없으니 돈 좀 더 쓰라고...(그 말을 당당하게 하지 못한다는 것은 보고서에 자신이 없어서 아닐까?)

그리고 허구헌 날 슈퍼바이저나 닥달해봤자 나올 것도 없다. 그들의 업무 영역도 아닐뿐더러 언제 제대로 된 교육이라도 추진해봤나?

덧붙여서... 들리는 얘기로는 "돈 버는 건 조사회사가 아니라 실사회사"라고 하던데 창피한 줄 알아라. 실사회사는 취합된 설문지가, 그리고 조사회사는 분석한 보고서가 최종 결과물인데 부가가치를 창출하지 못한 조사회사, 너희들이 문제지 어디 감히 넘 탓을 하는가.

그리고 이건 서비스... 지난 글에서 17대 대통령 선거 결과에 문화일보의 조사 결과를 비교했었는데, 위의 동아일보 조사 자료에 지난 17대 대선 투표 여부를 베너로 집계한 자료가 있기에 저번과 같이 정리해봤다(너무 기대하진 마시라. 좋은 소린 못 들을테니...).

참고한 두 조사 모두 지난 대선 결과와는 다른 결과를 보여주고 있다. 사전 조사가 아닌 사후 조사임에도 조금의 차이는 있으나 전반적으로 한쪽으로 쏠렸다는 걸 부정하긴 어려워 보인다. 이들 두 조사가 차별성 없이 대동소이한 조사방법을 적용했을테니 유사한 결과가 나오는 것이 어찌보면 당연한 결과일 것이다.