여론조사 품질이 떨어지는 3가지 이유 | ARS·당일치기·할당표집

선거 여론조사의 품질과 가치 | 'ARS·당일치기·할당표집' 저품질 3요소 만연

아무도 모르는 응답률 계산 방법

어찌 측정했는지 알 수 없는 응답률인데, 그마저 심각한 수준으로 낮다는 게 더욱 우려스러운 일이다. 선거여론조사공정심의위원회가 2014년 '제6회 전국동시지방선거 심의 백서'를 통해 밝힌 바에 따르면 선거기간 중 실시한 총 816개의 여론조사 중에서 응답률이 10% 이하인 경우가 412건으로 전체조사의 50.5%에 달했다. 응답률이 3%도 안 된다고 밝힌 경우는 76건으로 전체 조사의 9.3%였다. 응답률이 3%도 안 되는 76건의 조사는 모두 ARS 조사였다.

'제6회 전국동시지방선거 심의 백서'를 확인해 보면, ARS 조사 방법을 사용한 경우 응답률이 낮은 경향이 있으며, 또한 특정 연령대의 가중치가 높아진다는 것을 확인할 수 있다. [표1]은 조사 방법에 따른 20대 유권자의 가중치 평균을 제시한다. 여기에서 20대 유권자의 가중치를 검토하는 이유는 젊은 유권자의 조사 거절률이 높다는 것은 잘 알려진 사실이기 때문이다. 특히 우리나라 선거 여론조사는 ARS 조사든 전화조사든 할당표집을 적용해서 당일치기 조사를 수행하는 경우가 많은데, 이 경우 전화번호를 무한 대체하면서 연령별 할당된 응답자를 구할 때 가장 애를 먹는 게 20대 응답자 할당을 채우는 일이다. 따라서 조사를 완료한 시점에서 20대 응답자의 할당을 채우지 못해서 가중치를 적용해 분석하는 경우가 대부분이다. [표1]은 20대 응답자의 가중치 평균이 ARS 조사에서 높고, 유무선 전화조사에서 낮다는 것을 보여준다. 조사 방법에 따른 조사의 품질을 짐작할 수 있게 돕는 자료라고 할 수 있다.

기본이 안 된 여론조사

지난 연구에서 이미 그 문제점을 무수히 지적했음에도 불구하고, 아직도 우리나라 선거 여론조사에 (1) ARS 조사, (2) 당일치기 조사, (3) 할당표집을 이용한 조사가 판치고 있다.

둘째, 당일치기 조사는 '재접촉(call back)'이 제한된다는 문제가 있다. 조사 대상으로 추출된 가구나 개인에 접촉했을 때, 부재중, 해당자 없음, 시간 없음 등을 이유로 조사가 진행되지 못하고 다시 접촉을 추진해야 할 필요가 있는데 이 기회가 심각하게 제한된다. 당일치기 조사는 사실 '무제한적 응답자 대체' '조사시간 연장' '틀에 박힌 분석' 등 우리나라 선거 여론조사의 일반적 관행을 수반한다. 우리나라 여론조사의 품질은 조사 시작한 지 몇 시간 만에 전국 유권자 1,000명으로부터 응답을 얻어내어 다음 날 언론에 공표할 수 있는, '당일치기 실력'에 달려 있다고 말할 수 있다.

여론조사의 가치

현재 여론조사의 가치는 '조사 방법별 표본단가'로 계산한다. 유선전화조사는 표본당 얼마이고, 면접조사는 얼마이고, ARS는 얼마이고 하는 식이다. 조사 설계에 따라 달라지는 조사 특성과 그에 따른 비용의 차이, 그리고 그로 인한 품질의 차이를 별로 고려하지 않는다. 조사기관의 명성에 따른 단가의 차이가 있는 정도이다. 이 때문에 같은 전화조사라도 표집틀의 설정에 따라, 표집 방법에 따라, 조사 인력의 구성에 따라, 응답자 선정 규칙에 따라, 설문지의 특성에 따라, 재접촉 규칙의 적용에 따라, 그리고 거절자 대체 방식에 따라 여론조사의 가치가 달라지는 점을 고려하지 않는다.

조사의 가치를 조사 설계의 특성과 품질 요인을 설명변수로 삼아 모형화하고 이를 검토할 수 있다. 예컨대, 그로브즈(Groves 1989)는 '조사연구의 오차와 비용'에서 조사 방법의 차이에 따른 비교 요점을 제시한 바 있는데, 이를 이용해서 조사의 품질에 영향을 주는 요인을 정리해 볼 수 있다. [표2]는 그로브즈의 논의를 요약해서 여론조사 비용 요인으로 재정리한 것이다. 요점은 설계 특성에 따라 투입요소가 달라지고 그에 따라 비용도 달라지며, 그 결과 자료의 품질이 달라질 것을 기대할 수 있다는 것이다.

의뢰인, 특히 언론사의 문제

첫째, 여론조사 설계에 대한 특성을 따지지 않고 조사비용만 고려해서 선거 여론조사를 의뢰하는 언론사들이 있다. 선거기간에 폭증하는 여론조사 수요를 노리고 '떴다방'처럼 생기는 여론조사 회사들이 있다. 또한 기존에 크게 주목받지 못했던 여론조사 회사가 언론에 이름을 내기 위해 무리한 조사 결과를 발표하기도 한다. 언론사는 때로 이런 조사 회사를 이용한다. 주로 비용 때문이다. 비용을 절감하려는 언론사의 요구가 언론의 공신력을 이용하려는 조사 회사의 의도와 결합해서 잠재적으로 문제가 있는 저가형 조사가 양산된다. 여론의 향배에 대한 공정하고도 정확한 조사를 독려해야 할 언론사가 오히려 그것을 가로막는 경우라고 할 수 있다.

셋째, 눈에 띄지 않는 심각한 문제로 여론에 대한 설명과 해명이 아닌 단순한 후보 지지율의 변화에 주목하는 관행을 지적할 수 있다. 후보 지지율의 분포나 변화는 물론 나름 뉴스 가치를 갖는다. 그러나 무엇이 그런 지지율 분포나 변화에 영향을 미쳤는지 설명하면 더욱 큰 가치를 제공할 수 있다. 그런데 타 언론사의 여론조사를 인용하는 경우나 자료를 종합해서 축적된 여론의 변화를 제시하는 경우는 물론, 자사가 직접 의뢰한 조사 결과를 정리해서 기사를 쓰는 경우에도 치밀한 분석적 검토나 설명모형에 근거한 분석 결과를 제시하지 않는 경우가 대부분이다. 언론이 누가 이길 것인지 예단하는데만 신경을 쓰고, 누가 왜 이길 것 같은지 '설명하지는 못하는 데' 원인이 있다. 주로 당일치기 자료를 이용해서 후보 지지율 관련 최신 소식을 전하려 한다.

* 이 글은 한국언론진흥재단<신문과 방송> 3월호에 게재된 글입니다.