들쭉날쭉 널뛰기 여론조사, 결과를 모두 합쳐봤더니

YTN라디오(FM 94.5) [YTN 뉴스FM 슬기로운 라디오생활]

□ 방송일시 : 2021년 11월 30일 (화요일)
□ 진행 : 이현웅 아나운서
□ 출연 : 한규섭 서울대 언론정보학과 교수

* 아래 텍스트는 실제 방송 내용과 차이가 있을 수 있으니 보다 정확한 내용은 방송으로 확인하시기 바랍니다.

◇ 이현웅 아나운서(이하 이현웅): 대선을 앞두고 매일매일 각종 여론 조사가 쏟아집니다. 민심 파악을 위한 주요 지표 중 하나로 사용되지만, 그만큼 논란도 큰데요. 같은 날 조사했는데도 결과가 상반되는 경우도 발생합니다. 그런데 이런 들쭉날쭉 널뛰기 지지율 여론조사의 한계를 극복하기 위한 새로운 방안이 제시됐다고 합니다. 이른바 통합 지지율, 이라는 건데요. 모든 여론조사 결과를 취합해서 추정값을 내보는 겁니다. 서울대 언론정보학과 한규섭 교수 연결해 관련내용 들어보겠습니다. 안녕하세요?

◆ 한규섭 교수(이하 한규섭): 네, 안녕하세요. 
 
◇ 이현웅: 오늘 이야기할 것이 많은 분들이 관심을 가지고 있는 여론조사인데요. 지금 여론조사에 대해서 연구를 많이 하고 계신 거죠?

◆ 한규섭: 네, 저희가 2017년 대선 때부터 여론조사 나오는 걸 다 모아서 전수를 취합해서 각 조사기관들이 가지고 있는 고유한 경향성을 보정해서 실제 지지율을 추정해보는 그런 작업을 해오고 있습니다. 

◇ 이현웅: 그 내용은 후반부 다시 들어보도록 하고요. 일단 여론조사 자체에 대해서 아주 많은 분들이 관심을 갖고 있어요. 저도 여론조사 추이라든가 결과를 청취자 분들께 전해드리지만 저조차 궁금한 게 많았거든요. 오늘 그런 것들을 하나하나 여쭤볼 텐데요. 일단 저는 그게 궁금한데요. 여론조사를 할 수 있도록 인증된 기관이 있는 겁니까?

◆ 한규섭: 우리나라에서는 중앙여론조사심의위원회가 있기 때문에 선거 여론조사를 할 수 있는 기간들은 따로 선거 여론조사기관으로 등록이 되어 있어야만 할 수가 있는 상황입니다. 

◇ 이현웅: 혹시 대략 몇 군데 정도 되는지도 알고 계실까요?

◆ 한규섭: 그걸 정확히 제가 몇 군데인지는 잘 모르겠는데요. 아마 지금 저희가 대선 여론조사를 모아서 분석하고 있기 때문에 현재 대선 여론조사를 활발하게 내놓고 있는 기관은 20~30여개 정도 되는 것으로 파악하고 있습니다. 

◇ 이현웅: 20~30개 여론조사기관이 현재 대선 여론조사를 활발하게 진행하고 있다고 말씀해주셨고요. 정말 이게 기초적이고 어떻게 보면 비상식적인 질문일 수도 있지만, 이런 거에 조작 가능성은 전혀 없다고 봐야겠죠?

◆ 한규섭: 의도된 조작이 자주 일어난다고 생각할 이유는 없을 것 같고요. 제 생각에는 아마 이럴 것 같은데요. 여론조사가 많이 나온 상황에서 분석을 해보면 조사 모드라든지 설문의 차이, 이런 것들로 조사기관들 간의 차이를 저희가 설명할 수 있는 부분이 상당 부분이 되고, 그걸로 설명이 안 되는 부분들도 조금 있긴 하지만 아주 특별한 경우를 제외하고는 제가 지금까지 분석해본 걸로는 의도된 조작이라고 볼 만한 증거를 찾지는 못했습니다. 

◇ 이현웅: 어떻게 보면 같은 질문일 수도 있는데요. 같은 날짜에 실시한 조사에서도 조사기관에 따라 결과의 차이가 발생하는 경우가 많습니다. 이렇게 달라지는 이유가 뭔가요?

◆ 한규섭: 크게 보면 아마 두 가지 차이가 있을 것 같은데요. 같은 대선 후보 지지율 조사라고 하더라도 질문이 조금씩 다른 경우들이 있고요. 질문이 다르면 조금만 달라도, 사실 설문조사가 가지고 있는 문제점이라고 할 수도 있는데요. 설문이 조금 달라지면 응답이 상당히 달라질 수 있는 문제가 있습니다. 그래서 설문을 어떻게 하느냐가 가장 중요한 차이 중에 하나고요. 그 다음에 조사 방식, 저희가 조사 모드라고 하는데요. 조사 모드가 달라지면 결과가 상당히 달라집니다. 이건 표집되는 대상의 차이가 있을 수 있어서 그런데요. 우리나라에서 나오는 조사들 중에서 모드에서 중요한 차이를 보이는 것들은 크게 보면 ARS 자동응답방식이냐 면접원이 있는 전화면접 조사냐, 그 다음에 유·무선 혼합이냐 무선이냐, 이 두 가지 정도의 차이에 따라서 상당부분 청취자 분들께서 보고 계신 여론조사의 차이가 설명된다고 보시면 되겠습니다. 

◇ 이현웅: 그러면 아까 말씀하신 모드 간으로 연령별로 차이가 나는 건가요?

◆ 한규섭: 주로 ARS 조사는 자동응답 조사기 때문에 응답율이 조금 낮아질 수밖에 없고요. 그 다음에 면접조사는 상대적으로 응답율이 높은 거죠. 많이 높은 건 아니고요. 그러다 보니까 ARS 조사는 아무래도 중도 성향의 유권자들이 전화면접조사보다는 상대적으로 더 안 잡히는 그런 경향이 나타날 수밖에 없고요. 그 다음에 유·무선 혼합이냐 무선이냐 이런 차이는 유·무선 혼합하지 않고 무선전화만 하게 되면 아무래도 상대적으로 진보적인 성향의 유권자들의 더 포함되는 경향이 나타납니다. 

◇ 이현웅: 그런 과정을 보면 당내 경선이 있을 때에도 조사 모드라든가 질문 작성하는 것에 대해서 신경전이 많이 벌어지곤 하잖아요. 질문은 누가 어떻게 만드는 겁니까?

◆ 한규섭: 경선 질문은 아무래도 당에서 이해당사자들이 계시기 때문에 서로 조정을 해서 어느 질문이 나에게 더 유리한가를 따져서 만들 수밖에 없는 부분이고요. 일반적인 대선이나 여론조사는 대개 의뢰하는 기관이 있지만, 언론사에서 의뢰하는 조사는 설문 문항 작성까지 조사기관에 의뢰하시는 거기 때문에 대부분 조사기관에서 만드는 경우가 많다고 보시면 될 것 같고요. 아마 같은 조사기관에서 내놓고 있는 대선 조사를 보게 되면 거의 대부분 같은 기관에서는 같은 설문으로 물어보고 있기 때문에 문항의 효과의 영향은 같은 조사기관의 결과에서는 큰 차이를 만들기 어렵다고 볼 수 있을 것 같습니다. 

◇ 이현웅: 질문을 바꾸지 않은 건 그 추이를 따라가기 위해서라고 보면 되겠죠?

◆ 한규섭: 네, 아무래도 해당 조사기관에서 생각하기에 그게 더 맞는 방식의 설문이라고 생각하는 거니까요. 그거에 대해서는 어떤 게 더 맞다 틀리다, 이렇게 얘기하기는 어려울 것 같습니다. 

◇ 이현웅: 그런데 궁금한 게요. 저한테는 전화가 한 번도 오지 않더라고요. 보면 ARS든 유·무선이든 많이 조사한다고 하는데, 어디에 등록이 되어 있어야 전화가 오는 건가요?

◆ 한규섭: 대부분의 경우는 그렇지 않고요. 

◇ 이현웅: 무작위입니까?

◆ 한규섭: 네, 무작위로 추출이 되고 아니면 안심번호라고 해서 선거 관련 조사는 통신사를 통해서 받은 암호화된 번호로 하는 거기 때문에. 어디 등록이 된 경우는 가끔 있습니다. 어떤 조사 같은 경우는 해당 업체의 조사 패널에 속한 사람들을 대상으로 한 조사도 있긴 합니다. 그런 조사는 많지 않고요. 가끔 나오는데요. 그 경우는 그 조사 패널에 속해있어야지만 나올 수가 있는 거겠죠. 그런데 아마 제 생각에는 전화를 못 받으시는 건 확률적으로 뽑힐 확률이 그렇게 높지 않아서 그런 건데, 요즘 많은 분들이 전화를 받았는데 내가 몇 살이라고 말했더니 끊는다든지 이런 부분을 말씀하시는데요. 이건 제가 보기에 의도적으로 조작을 하기 위한 시도라기보다 우리나라의 조사방식 자체가 할당표집을 대개 하고 있거든요. 그러면 해당 응답자가 속한 집단에 추출이 되어야 하는 표본숫자가 이미 다 찬 경우는 그 분을 추가적으로 조사할 필요가 없기 때문에 끊게 되는 경우로 이해하시면 될 것 같습니다. 

◇ 이현웅: 알겠습니다. 제가 교수님 관련 인터뷰를 찾아보다가 한 누리꾼의 댓글을 봤어요. ‘응답률이 10%를 안 넘으면 난 안 믿겠다’, 이런 댓글 혹시 보셨나요?

◆ 한규섭: 네, 그런 댓글들 많이 달립니다. 

◇ 이현웅: 응답률이 높으면 신뢰도도 높아지는 건가요?

◆ 한규섭: 일반적으로 이렇게 얘기하시면 되는데요. 조사에서 제일 문제가 되는 건 응답률 자체라기보다 응답을 하는 사람들하고 응답을 안 하는 사람들의 성향 차이가 있으면 문제가 되는 거거든요. 응답률이 높아지면 아무래도 그런 경향성이 줄어들 가능성이 높기 때문에 응답률이 높으면 조금 더 신뢰도가 있다고 볼 수도 있지만 사실 정치적인 상황이나 환경에 따라서 반드시 그렇게 얘기할 수는 없고요. 가령 예를 들면, 전화면접조사 같은 경우가 ARS보다 응답률이 높지만 사실 전화면접조사는 면접원하고 직접 통화를 해야 되는 경우니까, 정치적인 환경 자체가 숨는 현상이 나타날 수 있는 환경에서는 오히려 전화면접조사가 응답률이 높다고 해서 반드시 더 신뢰할 수 있다고도 볼 수 없는 측면이 있습니다. 그래서 짧게 말씀드리면 응답률이 높으면 일반적으로 더 좋다고 할 수 있지만, 상황에 따라서 꼭 그렇지는 않다고 말씀 드릴 수 있습니다. 

◇ 이현웅: 여론조사가 또 여론을 만든다, 이런 이야기도 하는데요. 이런 건 또 어떤 이유에서일까요?

◆ 한규섭: 그건 당연히 그럴 수밖에 없다고 생각하는데, 실제로 경선이나 우리 대선처럼 다자대결 구도에서는 유권자들이 가장 중요하게 생각하는 게 당선 가능성이 될 수밖에 없지 않습니까. 왜냐하면 사표방지 심리가 강하게 작동하기 때문에. 거기서 여론조사가 중요하게 영향을 미칠 수밖에 없는 거죠. 아무리 내가 지지하더라도 나하고 정치적 입장이 같더라도 지지율이 너무 낮은 것처럼 보이면 찍을 수 없는 그런 문제가 있다고 볼 수 있겠죠. 

◇ 이현웅: 여론조사를 조금 바꿔보자는 의견도 들려요. 교수님도 팀을 꾸려서 이런 것에 대한 연구를 하고 계신 거죠?

◆ 한규섭: 네, 미국에서는 대표적인 데이터 저널리즘 사이트, 파이브서티에잇닷컴(fivethirtyeight.com)이나 리얼클리어폴리틱스(RealClearPolitics) 등에서 여론조사를 전부 취합을 해서 방금 말씀드린 조사 모드나 이런 곳에서 오는 여러 왜곡 현상들을 서로 상쇄시켜서 조사기관들이 가지고 있는 고유한 경향성을 보정한 추정값을 뽑아서 발표하는 것이 일반화되고 있습니다. 미국에서도 이런 기관들이 오바마 대통령 당선을 제대로 예측했었고요. 저희들도 2017년 대선 때부터 이걸 해왔는데 그 당시에 문재인 대통령 득표율은 거의 정확하게 예측을 했고요. 그런데 미국하고는 조금 다른 조사환경이 있는 것이 일단 우리나라는 특정 조사기관들이 굉장히 많은 조사를 내놓는다는 점이 한 가지 있고, 조사기관의 고유한 경향성이 시간에 따라서 조금 바뀐다는 문제가 있습니다. 그래서 그런 것들은 감안한 새로운 모델을 만들어서 이번 대선에 적용해서 이번 주부터 통합지지율을 추정해서 매주 발표를 하고 있습니다. 

◇ 이현웅: 지난 대선에서 누가 된다, 이런 것뿐만 아니라 득표율까지도 어느 정도 예상이 가능했던 거죠?

◆ 한규섭: 네, 그렇습니다. 

◇ 이현웅: 앞서 말씀하신 경향성이라는 게 구체적으로 어떤 역할을 하는 건지 궁금한데요. 

◆ 한규섭: 경향성이라는 건 어떤 조사기관들이 아까 제가 모드에 따라서 굉장히 결과가 달라질 수 있다고 말씀 드렸는데 조사 기관들마다 일반적으로 사용하는 모드가 정해져있지 않습니까. 어떤 기관은 ARS를 한다고 한다든지 어떤 기관은 특정한 설문을 특정한 방식으로 물어본다든지 이런 것들이 조사기관이 가지고 있는 고유한 경향성에 반영이 되어서 나오는 거거든요. 조사기관이 가지고 있는 경향성을 보정한다는 건 그런 경향성을 가지고 있다는 걸 예전 데이터로부터 알고 있는 조사기관이 낸 결과는 그만큼 보정을 해서 낮추거나 높여서 저희가 실제 값을 추정해보는 거죠. 

◇ 이현웅: 조금 더 정확하게 신뢰할 수 있는 여론조사를 만들고 계신 것 같은데요. 끝으로 유권자들이 여론조사를 더 잘 읽을 수 있도록 참고할 만한 이야기 부탁드려도 될까요. 

◆ 한규섭: 일단 통합 지지율을 보시면 여러 가지 조사 간의 차이를 요약해서 보여드리는 거니까 좋을 것 같고, 개별 여론조사를 보실 때는 면접조사나 ARS냐, 무선이냐 유·무선 혼합이냐 여부 정도만 보셔도 그 조사가 다른 조사에 비해서 어떤 경향성이 있을지 대충은 아마 아실 수 있지 않을까 생각됩니다. 

◇ 이현웅: 왜곡 현상을 줄이는 데 계속해서 도움을 주시길 바랍니다. 오늘 말씀 고맙습니다. 

◆ 한규섭: 고맙습니다.