블로그
2016년 04월 15일 10시 37분 KST | 업데이트됨 2017년 04월 16일 14시 12분 KST

여론조사 품질이 떨어지는 3가지 이유 | ARS·당일치기·할당표집

Gettyimage/이매진스

선거 여론조사의 품질과 가치 | 'ARS·당일치기·할당표집' 저품질 3요소 만연

여론조사라고 해서 다 같은 여론조사가 아니다. 모집단 설정, 표본 설계, 표집 방법, 면접 방법, 그리고 분석 방법 등에 따라 품질이 천차만별이다. 응답률은 여론조사의 품질을 나타내는 중요한 지표 중 하나이다. 응답률이란 표본 설계에 따라 조사에 포함할 수 있는 '적격 대상자'를 찾아 접촉한 결과, 얼마나 많은 이들이 실제 조사에 끝까지 응했는지를 나타내는 비율이다. 따라서 응답률이 높을수록 표본설계에 따라 응답자를 확보하기 위해 노력했다고 말할 수 있다.

아무도 모르는 응답률 계산 방법

그런데 우리나라 선거 여론조사의 응답률이란 도대체 어떻게 계산했는지 의심스러운 경우가 많으며, 적절한 방식으로 계산했다 하더라도 응답률 자체가 낮아 조사의 품질이 의심스러운 경우가 대부분이다. 예컨대 ARS 조사를 수행한 경우, 어떻게 응답률을 규정하고 측정했는지 알 수 없는 경우가 많다. ARS 조사는 도대체 어떻게 '적격 응답자'를 걸러내는지, 그리고 적격 응답자의 '응답 수락 또는 거절'을 어떻게 확인하는지 모호하기 때문이다. 또한 이중표집틀을 사용한 조사의 경우, 집전화와 이동전화를 별도로 조사해서 조사 결과를 결합하는 방법을 사용하는데, 서로 다른 두 표본에서 다른 방식으로 발생하는 응답 수락을 어떻게 결합하는지 알 수 없다. 가장 심각하게는, 할당표집을 사용한 조사에서 특정 연령층에 속한 응답자를 얻기 위해 전화번호를 무한 대체하면서 전화를 걸게 되는데 이 경우 응답률의 분모인 적격 응답자를 어떻게 처리하는지 알 수 없다.

어찌 측정했는지 알 수 없는 응답률인데, 그마저 심각한 수준으로 낮다는 게 더욱 우려스러운 일이다. 선거여론조사공정심의위원회가 2014년 '제6회 전국동시지방선거 심의 백서'를 통해 밝힌 바에 따르면 선거기간 중 실시한 총 816개의 여론조사 중에서 응답률이 10% 이하인 경우가 412건으로 전체조사의 50.5%에 달했다. 응답률이 3%도 안 된다고 밝힌 경우는 76건으로 전체 조사의 9.3%였다. 응답률이 3%도 안 되는 76건의 조사는 모두 ARS 조사였다.

2016-04-15-1460690232-7193707-20160415121618.PNG

'제6회 전국동시지방선거 심의 백서'를 확인해 보면, ARS 조사 방법을 사용한 경우 응답률이 낮은 경향이 있으며, 또한 특정 연령대의 가중치가 높아진다는 것을 확인할 수 있다. [표1]은 조사 방법에 따른 20대 유권자의 가중치 평균을 제시한다. 여기에서 20대 유권자의 가중치를 검토하는 이유는 젊은 유권자의 조사 거절률이 높다는 것은 잘 알려진 사실이기 때문이다. 특히 우리나라 선거 여론조사는 ARS 조사든 전화조사든 할당표집을 적용해서 당일치기 조사를 수행하는 경우가 많은데, 이 경우 전화번호를 무한 대체하면서 연령별 할당된 응답자를 구할 때 가장 애를 먹는 게 20대 응답자 할당을 채우는 일이다. 따라서 조사를 완료한 시점에서 20대 응답자의 할당을 채우지 못해서 가중치를 적용해 분석하는 경우가 대부분이다. [표1]은 20대 응답자의 가중치 평균이 ARS 조사에서 높고, 유무선 전화조사에서 낮다는 것을 보여준다. 조사 방법에 따른 조사의 품질을 짐작할 수 있게 돕는 자료라고 할 수 있다.

기본이 안 된 여론조사

만약 품질이 낮은 여론조사, 즉 응답률도 낮고 특정 연령대 가중치가 높은 여론조사를 수행했음에도 불구하고 지지율 예측에 성공한다면 어떠한가? 나는 이런 결과를 얻는다면 오히려 부끄러워할 것 같다. 결과가 좋으면 모든 것이 좋다고 생각할 수도 있지만, 이 경우는 좋아도 왜 좋은지 모르는 격이기 때문이다. 이는 비유컨대 십자매 뽑기로 오늘의 운세를 점쳐본 후, 사후에 맞았다고 좋아하는 꼴이다. 적중한 결과라고 해도 왜 적중했는지 설명할 수 없다면 소용없다. 과학의 요점은 설명에 있다. 생각하지 못했던 외부 요인의 개입과 실행의 부실로 예측에 성공하지 못하는 경우가 있을 수 있지만, 만약 성공하면 왜 성공했는지 설명할 수 있어야 과학이다.

지난 연구에서 이미 그 문제점을 무수히 지적했음에도 불구하고, 아직도 우리나라 선거 여론조사에 (1) ARS 조사, (2) 당일치기 조사, (3) 할당표집을 이용한 조사가 판치고 있다.

첫째, ARS 조사의 문제는 한두 가지가 아니다. 조사 적격 여부, 응답자 특성 확인, 응답 거절 여부, 응답의 충실도 확인 등에 대한 정보를 얻을 수 없다. 오직 최종적인 협조자 비율과 협조한 자의 응답만을 확인할 수 있을 뿐이다. 이 자료를 가지고 표집틀이 포괄하려는 모집단 특성을 어떻게 추정할 수 있는지 나로서는 알 수 없다. 방법론적 문제와 더불어 심각한 설명상의 문제점이 있다. 조사 대상자의 응답 자체가 얼마나 성실하게 이루어졌는지 확인할 방법이 제한되기에 '진지한 응답'에 기초한 결과인지부터 의심스럽게 된다.

둘째, 당일치기 조사는 '재접촉(call back)'이 제한된다는 문제가 있다. 조사 대상으로 추출된 가구나 개인에 접촉했을 때, 부재중, 해당자 없음, 시간 없음 등을 이유로 조사가 진행되지 못하고 다시 접촉을 추진해야 할 필요가 있는데 이 기회가 심각하게 제한된다. 당일치기 조사는 사실 '무제한적 응답자 대체' '조사시간 연장' '틀에 박힌 분석' 등 우리나라 선거 여론조사의 일반적 관행을 수반한다. 우리나라 여론조사의 품질은 조사 시작한 지 몇 시간 만에 전국 유권자 1,000명으로부터 응답을 얻어내어 다음 날 언론에 공표할 수 있는, '당일치기 실력'에 달려 있다고 말할 수 있다.

셋째, 할당표집 역시 알려진 문제가 있다. 특히 할당기준에 해당하기만 하면 누구라도 응답자로 삼겠다는 식으로 응답자를 구하는 가운데, 할당기준에 해당하지 않은 응답자는 무제한 대체하는 결과를 낳게 된다. 이는 응답자 선정 편향을 초래하는 주요한 원인이 되며, 결국 선거 여론조사의 품질에 결정적으로 부정적인 영향을 미친다. 할당표집이라 하더라도 접촉 시간을 달리 하여 '재접촉'의 횟수를 늘린다든지, 할당기준 집단별 최소표본을 확보하기 위해 노력한다든지, 응답자 특성에 대한 별도의 변수를 수집해서 사후 보정을 엄밀하게 한다든지 하는 보완책을 적용한 '강화된 할당표집'이 가능하기는 하다. 그러나 일반적인 당일치기 조사를 수행한다면, 이런 '강화된 할당표집'을 적용하기 어려운 경우가 대부분이다.

여론조사의 가치

그렇다면 왜 이런가? 즉 왜 이런 기본이 되지 않는 조사 관행이 만연한가? '자료의 가치에 대한 정당한 평가'가 이루어지지 않기 때문이다. 그리고 가치에 따른 비용 계상이 이루어지지 않기 때문이다. 요컨대 고품질 조사와 그렇지 않은 조사 간의 가치 평가가 이루어지고 그에 따라 차별적으로 조사비용을 계상하는 방식이 정착될 필요가 있다.

현재 여론조사의 가치는 '조사 방법별 표본단가'로 계산한다. 유선전화조사는 표본당 얼마이고, 면접조사는 얼마이고, ARS는 얼마이고 하는 식이다. 조사 설계에 따라 달라지는 조사 특성과 그에 따른 비용의 차이, 그리고 그로 인한 품질의 차이를 별로 고려하지 않는다. 조사기관의 명성에 따른 단가의 차이가 있는 정도이다. 이 때문에 같은 전화조사라도 표집틀의 설정에 따라, 표집 방법에 따라, 조사 인력의 구성에 따라, 응답자 선정 규칙에 따라, 설문지의 특성에 따라, 재접촉 규칙의 적용에 따라, 그리고 거절자 대체 방식에 따라 여론조사의 가치가 달라지는 점을 고려하지 않는다.

사정이 이렇게 된 가장 큰 이유는 조사 설계의 특성, 조사의 품질, 그리고 비용을 연결시키는 별도의 이론적·자료적 근거가 없기 때문이다. 여론조사 설계와 방법에 따라 조사 품질이 달라지고, 품질을 높이기 위해 비용을 차별화해야 한다고 주장할 수 있는 근거를 제시해야 하는데 이런 식으로 접근하지 않는다. 즉 설계에 따라 다른 특성을 지닌 자료가 산출되며, 자료의 특성에 따라 품질이 결정되며, 일정 수준의 품질을 보장하기 위해서 비용을 투입해야 한다는 식으로 (가) 조사 설계 특성, (나) 조사결과의 품질, (다) 항목별 비용을 연결시켜 조사비용을 계산하지 않기 때문이다.

2016-04-15-1460690276-5371071-20160415121648.PNG

조사의 가치를 조사 설계의 특성과 품질 요인을 설명변수로 삼아 모형화하고 이를 검토할 수 있다. 예컨대, 그로브즈(Groves 1989)는 '조사연구의 오차와 비용'에서 조사 방법의 차이에 따른 비교 요점을 제시한 바 있는데, 이를 이용해서 조사의 품질에 영향을 주는 요인을 정리해 볼 수 있다. [표2]는 그로브즈의 논의를 요약해서 여론조사 비용 요인으로 재정리한 것이다. 요점은 설계 특성에 따라 투입요소가 달라지고 그에 따라 비용도 달라지며, 그 결과 자료의 품질이 달라질 것을 기대할 수 있다는 것이다.

조사의 가치를 최우선으로 생각하는 관점에서, 나는 선거여론조사공정심의위원회가 조사 설계에 따른 비용 내역을 확인해서 공개할 방법은 없을지 고민해 보았다. 물론 조사비용은 선거 여론조사의 공정성에 직접적 영향을 미치는 요인이라고 보기는 어려우며, 내용적으로도 사적 거래에 속하는 사안이기에 공적 규제의 대상이 되기 어렵다. 그러나 조사 설계의 특성, 조사 품질, 비용을 연결시키는 탐구와 그에 기반한 조사의 가치를 중요시하는 담론이 활성화되지 않고는 현재 선거 여론조사의 고질적 문제점을 개선하기 어렵다는 판단에서 이렇게 무리한 생각도 해 보았다. 이 문제를 정면으로 다루지 않고는 우리나라 선거 여론조사의 품질 개선은 요원하다고 생각했기 때문이다.

의뢰인, 특히 언론사의 문제

정당과 언론은 선거 여론조사의 주요 의뢰인이다. 언론은 선거 국면에서 판세 조사, 예측 조사, 출구조사 등을 발주하고 관리하는 여론조사 당사자라고 할 수 있을 정도다. 정당이야 저질 여론조사를 수행한다 하더라도 그 피해 범위가 정당에만 국한되기 때문에 상관할 일이 아니지만 언론이라면 이야기가 다르다. 언론이 수행하는 선거 여론조사는 유권자에게 직접적 영향을 준다. 그런데 언론의 선거 여론조사에 대해 갖는 인식과 이해가 우려할 정도로 낮아서 문제다.

첫째, 여론조사 설계에 대한 특성을 따지지 않고 조사비용만 고려해서 선거 여론조사를 의뢰하는 언론사들이 있다. 선거기간에 폭증하는 여론조사 수요를 노리고 '떴다방'처럼 생기는 여론조사 회사들이 있다. 또한 기존에 크게 주목받지 못했던 여론조사 회사가 언론에 이름을 내기 위해 무리한 조사 결과를 발표하기도 한다. 언론사는 때로 이런 조사 회사를 이용한다. 주로 비용 때문이다. 비용을 절감하려는 언론사의 요구가 언론의 공신력을 이용하려는 조사 회사의 의도와 결합해서 잠재적으로 문제가 있는 저가형 조사가 양산된다. 여론의 향배에 대한 공정하고도 정확한 조사를 독려해야 할 언론사가 오히려 그것을 가로막는 경우라고 할 수 있다.

둘째, 아직도 선거 여론조사 관련 필수 정보를 제시하지 않고 여론조사 기사를 작성하는 경우가 있다. 선거여론조사공정심의위원회가 발행한 심의 백서를 보면 여론조사 방법론 관련 필수 정보를 빠뜨리고 보도하는 경우가 있음을 확인할 수 있다. 또한 필수 정보를 포함한 경우에라도 자료의 함의를 정확하게 파악해서 기사를 쓰는 경우가 드물다. 예를 들어, 젊은이들의 조사 참여도가 낮기 때문에 20대의 가중치 규모가 과도하게 큰 자료를 이용해서 여론조사 보도를 할 경우에는 연령별 지지 성향을 해석할 때 주의를 기울여야 한다. 그러나 20대 응답자 특성별 가중치의 문제점에 주의하지 않거나, 주의하더라도 그런 점을 고려해서 기사에 반영하지 않는 경우가 있다.

셋째, 눈에 띄지 않는 심각한 문제로 여론에 대한 설명과 해명이 아닌 단순한 후보 지지율의 변화에 주목하는 관행을 지적할 수 있다. 후보 지지율의 분포나 변화는 물론 나름 뉴스 가치를 갖는다. 그러나 무엇이 그런 지지율 분포나 변화에 영향을 미쳤는지 설명하면 더욱 큰 가치를 제공할 수 있다. 그런데 타 언론사의 여론조사를 인용하는 경우나 자료를 종합해서 축적된 여론의 변화를 제시하는 경우는 물론, 자사가 직접 의뢰한 조사 결과를 정리해서 기사를 쓰는 경우에도 치밀한 분석적 검토나 설명모형에 근거한 분석 결과를 제시하지 않는 경우가 대부분이다. 언론이 누가 이길 것인지 예단하는데만 신경을 쓰고, 누가 왜 이길 것 같은지 '설명하지는 못하는 데' 원인이 있다. 주로 당일치기 자료를 이용해서 후보 지지율 관련 최신 소식을 전하려 한다.

문제는 이런 지지율 속보에 대한 강박관념을 벗어나 민주적 여론형성에 기여하는 언론으로 기능하도록 다른 누구도 간섭할 수 없다는 데 있다. 언론은 선거 여론조사에 대한 유권자의 관심을 환기시키고, 정확하고 요점 있는 여론조사 결과를 전달하며, 그에 대한 사회적 토론을 촉진하는 임무를 수행하기 위해서 스스로 노력할 필요가 있다.

* 이 글은 한국언론진흥재단<신문과 방송> 3월호에 게재된 글입니다.