2019年09月06日

世論調査は人々の意見を正しく反映しているのか(前編) RDS法、オートコール、ネット、3種の調査結果を比較する

 第9回世論・選挙調査研究大会(2019年9月21日)のパネル・ディスカッション「出口調査、世論調査、まだ大丈夫だったか?」に討論者として登壇することになりました。今回の討論では、デジタル毎日「政治プレミア」に寄稿した全2回の記事「世論調査は人々の意見を正しく反映しているのか」で論じた内容を下敷きに論点を提示する予定です。この記事は会員でないと閲覧できないことから、こちらでも公開することとしました。
 なお、毎日新聞提供の調査の細かい数字に関してはこちらで詳細を公開いたしません。表では※と表記し、グラフでは範囲をぼかしていますので、気になる方は「政治プレミア」でご確認ください。

・関連リンク
第9回世論・選挙調査研究大会プログラム(pdf)
 なお大会への参加は登録が必要で、参加は有料です。詳しくはこちらをご覧ください。
元記事:菅原琢「世論調査は人々の意見を正しく反映しているのか(前編) RDS法、オートコール、ネット、3種の調査結果を比較する」(デジタル毎日「政治プレミア」)


世論調査は人々の意見を正しく反映しているのか(前編) RDS法、オートコール、ネット、3種の調査結果を比較する(2019年4月30日公開)

 今回の統一地方選の知事選の中で、国政与野党の統一候補が対決した唯一の選挙であった北海道知事選において、筆者を代表としたグループはインターネットによるアンケート調査を行った。この調査の主な目的は、マスメディアの世論調査について批判的に検証することである。しかし同時に、あるいは必然的に、現代日本の政治と人々の関わりを浮き彫りにするものとなった。

 今回は、前編、後編の2回にわたってこの調査の結果を簡単に報告し、現代日本の政治を理解する際に有意義と思われるデータと議論を提供したい。この前編では、世論調査に関する論点を整理するとともに、毎日新聞が実施した選挙期間中に結果予測のために行った調査(情勢調査)との比較を行う。



調査対象者からも調査関係者からも疑われている世論調査
 マスメディアの多くが行っている世論調査は、科学的な根拠に基づき、適正な方法により慎重に行われている。したがって、その結果も信頼に足るものであると考え、各メディアはこれを「世論」と呼び、報じている。

 しかし、一般の人々は世論調査結果に信を置いているわけではない。筆者も関わっている新聞通信調査会の「メディアに関する全国世論調査」の2018年調査において、「テレビ・新聞・通信社が実施し、報道する内閣支持率などの世論調査の結果は、人々の意見を正しく反映していると思いますか」と聞いたところ、否定的な意見(「そう思わない」、「あまりそう思わない」)は33.6%を占めた。

「メディアに関する全国世論調査」(新聞通信調査会)

 このように実際に世論調査に回答している人々の中からも、否定的に見られているのが昨今のマスメディアの世論調査の実情と言える。しかしそれだけでなく、今の世論調査は人々の意見をあまり正しくは反映していないのではないかと考えている世論調査関係者も多い。

 そうした世論調査関係者有志の声を受け、筆者らは世論調査について検証するための調査を企画した。世論調査に関する論点はいくつかあるが、今回の調査では特に回答者が本当にわれわれを代表しているのか、どういった人が抜け落ちやすいのかを調査することとした。


「全体の縮図」はどのようにゆがんでいるか
 本当は全体(母集団、今回の場合は日本の有権者)の意見分布を調べたいが、それが難しいので「全体の縮図」となるような一部の人々についてのみ調査を行う――簡単に言えばこれが世論調査の発想である。

 先に述べた「本当にわれわれを代表しているのか」という疑問は、この「縮図」が「全体」から大きくゆがんでいるのではないか、ということを意味する。「全体」に比較して回答者の構成が幾分異なっているのではないかと疑われるのである。

 現在、マスメディアが行っている世論調査の大部分はRDD法(Random Digit Dialing。毎日新聞社の呼称はRDS法=Random Digit Sampling)により回答者が選ばれている。簡単に言えば、ランダムに電話番号を生成し、この番号に実際に電話をかけ、有権者のいる世帯にかかったらまずその世帯の有権者数と固定電話数を確認し、その有権者の中から何らかの方法により無作為に対象者を選び、その対象者が在宅していればその人に電話を代わってもらい質問を開始し、その対象者がいなければ帰宅を待って電話を再度掛けなおし質問を行う、というものである。

 かつては、RDD法は携帯電話しか持たない若者に接触しないため、結果がゆがんでいるとしばしば指摘されていた。しかし近年、その手法や集計の適切さはともかくとして、携帯電話に対してもRDD法により調査が行われるようになった。その結果明らかとなったのは、携帯電話を含めて若年層が多少増えても、固定電話のみの場合と調査結果は大して違わないということである。

 そしてこのことは、RDD法による世論調査の結果がゆがんでいないということを意味するわけではない。調査結果は、現にゆがんでいるのである。

 その最も典型的でわかりやすい指標が投票率である。下記ページで筆者が報告したように、17年衆院選の投票率は約54%、つまり棄権率は約46%であったが、朝日新聞の選挙後調査で「投票していない」と答えた割合は24%、読売新聞の選挙後調査で「投票に行かなかった」のはわずか6%であった。さらに、自民党に投票した割合も実際の選挙結果よりも過大となっていた。

本ブログエントリ:若者が自民党を支持しているって本当?第3回――自民党の得票率を過大に報告するメディアの世論調査

 これらのデータをはじめ、さまざまなデータを比較、確認していくと、マスメディアの世論調査の回答者には政治に強い関心を有する層が実際よりもかなり多く含まれており、その意味で「縮図」であるはずの回答者群が「全体」に比較してゆがんでいるという結論に至らざるを得ない。世論調査の結果は有権者全体の意見を十分に適切には反映していないのである。




3種類の調査の概要
 これを探るため、そして改善の方向を模索するために、われわれは北海道知事選に関してインターネットモニターに対する調査(以下、ネット調査)を行うことにした。RDD法の電話調査を行わないのは、第一にはコストの問題からだが、電話調査は細かい質問を行うのにふさわしくなく、今回のテーマを分析しづらいことも大きい。一方、ネット調査にはさまざまな利点、欠点があるが、この点については随時述べていく。

 ネット調査は、毎日新聞のRDS法による選挙情勢調査(以下、固定RDS)とほぼ同時期に、ほぼ同内容の調査を行い、選挙後に選挙前調査回答者に対して実際の投票行動等を調査した。これにより、どのような属性の人々が回答しやすいのか等、議論できればと考えたのである。また、毎日新聞社は同日程で試験的に自動音声による電話調査(以下、オートコールRDS)を行った。読者にとっても興味深いと思われるので、今回はこれも比較対象として紹介しておきたい。

image002.png


 念のために述べておけば、このネット調査は、無作為抽出により対象者を選び出して行われる既存の世論調査を置き換えることを目指し実施したわけではない。ネット調査はネット利用者、ネット調査会社のモニターを対象とした調査であり、その結果を単純に「世論」と喧伝(けんでん)するような大胆さ、浅はかさはわれわれの誰も持ち合わせていない。

 ただし、ネット調査を調査会社のメニュー通り漫然と調査を行った場合、今回の目的に関しては不具合が出ることが確実である。特に、ネット調査ではテーマに関心のあるモニターが回答者となりやすい傾向があり、これが後の分析に影響する。回答者のほとんどが政治に関心を有し、必ず投票するような人々で占められれば、どのような層が政治に低関心層となっており、世論調査に代表されにくいのかを示すことができなくなる。

 説明が長くなるのでここでは詳細を省くが、今回は調査対象者の選定(スクリーニング)に際して、性別、年齢に加えて1週間のうち新聞を読む回数を聞き、これらにより回答者数を割り当てることで、政治への関心がより低い回答者を集められるように設計した。この新聞閲読頻度のデータは、先述の「メディアに関する全国世論調査」の性別・年代別の新聞閲読頻度の各割合を基準とした。なお、政治への関心等を直接聞かないのは、スクリーニング調査では政治に関する質問を入れないよう求められたためである。

 比較対象となる二つの調査についても簡単に説明しておく。固定RDSは、毎日新聞の通常の世論調査とは異なり、携帯電話への調査は行われていない。携帯電話調査は地域を限定できないためである。

 オートコールRDSは、しばしばネットなどで世論調査と誤認される、政党などが実施している簡易的な調査である。電話機の番号ボタンによる回答を要求するため、オペレーターを雇う必要がなく安上がりに実施できるが、回答率は低く後に見るように対象者に著しい偏りが生じる。こちらも固定電話のみを対象としている。いずれの調査も1000程度の回答者数を目標として調査を行われている。


調査手法による基本的属性の違い
 まず、調査手法の間で基本属性にどれだけ差があるかを確認しておきたい。図1は、各調査回答者の性別・年齢層別割合を示している。

image004.png

 ネット調査は、北海道の人口に応じて回収目標を設定したため、ほぼ北海道の有権者の年齢層別分布に一致する。ただし細かく見れば、70歳以上は若年側が集まりやすいため特に70〜72歳が多い、29歳以下では10代が少ないなどの傾向はある。

 一方、固定RDSは30歳代以下の回答者割合が少なく、オートコールRDSは50歳代以下の回答者割合が少なく、30歳代以下は極端に少ない。また、オートコールは性別に関しかなり男性側に偏っている。

 こうしてみると、ネット調査は「全体の縮図」をうまく作れる便利な調査のように思えるが、そうではない。事前の割り付けで指定していない要素については容易に分布がゆがむのである。たとえば地域別の回答者の傾向を見ると、北海道全体の有権者人口のうち札幌市は37%を占めるが、ネット調査ではこれが54%となる(固定RDSは※%、オートコールRDSは※%)。このような傾向が出るのはインターネットの積極利用者は都市部に多いためと思われる。他の2調査は高齢層の割合が高いため、都市部の突出が抑えられていると見ることもできる。




序盤情勢での投票先
 図2は投票先を決めているかどうかの割合を示している。今回は毎日新聞の質問票に合わせているが、筆者の見解を述べれば、最初に投票することが前提の質問を置くと棄権者が答えづらく、うその回答を誘導する可能性があり、質問票の設計としては適切ではない。結果予測を行う分には、これで十分という判断だろう。

image005.png


 それはともかくとして、この三つの調査では突出してオートコール調査の「決めている」割合が高い。年齢による補正(二つの調査の各年齢層の回答分布をネット調査の各年齢層の割合に乗じて合計した)を行ってもこの極端な分布は大きく変わらない。

 したがって、オートコール調査で「決めている」割合が極端に高いのは、高年齢層の回答者の割合が高いためという以上に、政治への関心が高く投票意欲も高い人ばかりが回答したことの表れだと考えられる。オートコールで中高年男性の割合が高くなったのはその逆で、この層が他の性別・年齢層に比較して政治への関心が高く、オートコールのような調査であっても回答する可能性が高かったためと考えられる。政治=中高年男性という日本社会の構図が、図らずも調査にあらわれた格好である。

関連記事:菅原琢「「おじさん支配」脱却こそ政治不信克服の鍵 女性議員増加なぜ必要なのか」(デジタル毎日「政治プレミア」)

 一方、固定RDS調査を年齢補正したものとネット調査とは近い分布となっている。設計を工夫すれば、ネット調査でRDD法世論調査に近い結果を得ることは可能なのだと、ここから主張できるかもしれない。もっとも、RDD法の世論調査自体がゆがんでいるとすれば、このような世論調査の“模造”に大した価値はない。

image006.png


 図3は、2問にわたって投票予定候補を聞いた結果を示している。この2問では「棄権する」という選択肢がないため、無回答等(ネット調査では「答えない/わからない」を選択した割合、固定RDSでは二つの選択肢を最終的に挙げなかった割合、オートコールRDSでは「決められない、わからない」を選択した割合)がこれを含んでいると想定できる。この割合はネット調査が最も高いが、それでも実際の棄権・無効率を下回っている。このことから、いずれの調査も、政治への関心が低い有権者、棄権者の意見が十分に反映されていないのではないかと推し量ることができる。

 ただし、これらのデータは投票前の回答であり、投票日までの変化も想定される。序盤情勢調査では特定候補に入れると回答したが、実際には棄権に回った回答者が多かったのであれば、この時点で無回答等の割合が低くても問題ではない。それでは実際どうだったのかという点に関しては、選挙後に実際の行動を見なければならない。ただし、選挙後に調査を行ったのはネット調査のみであり、分析には限界がある。いずれにしてもこの点は、後編の記事で触れることになる。

 話を投票先に戻すと、2候補の投票予定割合は三つの調査とも鈴木直道候補が石川知裕候補を上回っていたという点で同じである。固定RDSでは1.5倍を超えて鈴木候補が石川候補を引き離していた。毎日新聞は告示直後の情勢報道においてこの差を鈴木氏が「先行」し、石川氏が「追う」と表現したが、おそらくオートコールRDSやネット調査結果を基に記事を書いても近い表現となったのではないだろうか。

毎日新聞記事:「北海道知事選 鈴木氏が先行 与野党一騎打ち」


内閣支持率、政党支持率の比較
 次に、内閣支持率について比較しておきたい。

 毎日新聞世論調査の内閣支持・不支持の質問は、「支持する」、「支持しない」以外に第三の選択肢として「関心がない」が設定されている点が他のマスメディアの調査にない特徴となっている。今回のネット調査でも同様の選択肢を設定したが、固定RDSに比較すればこれを選択する割合は低かった。

 この理由は、ネット調査では三つの選択肢以外に「答えない/わからない」も選択肢として示しており、これを選択した回答者が多かったためと考えられる。固定RDSでも同様の項目があるが、これは選択肢に含まれず、回答者の反応を見てここに該当する場合に記録されるものである。固定RDSにおいて「関心がない」と回答するうちの一定部分は、内閣支持・不支持を答えたくなかったり、わからなかったりする人々だと推測することができる。

 一方、無回答系の選択肢が設定されていないにもかかわらず、オートコールRDSの「関心がない」の選択率は低い。これも政治に関心の高い層の割合が高いことの表れと考えられる。

 支持と不支持の傾向を確認すると、支持率はオートコールRDS>固定RDS>ネット調査の順となっており、両者の比(支持÷不支持)で見ると固定RDS>オートコールRDS>ネット調査となっている。

image007.png


 次に政党支持率を確認しておく。政党数が多くグラフでは煩雑になるのでここでは表で比較することとし、二つの電話調査については年齢補正値のみ示した。

 ここまでの回答は固定RDSとネット調査とは比較的似た傾向となっていたが、政党支持率に関しては自民党支持率と「支持政党はない」の割合に大きな差が生じている。固定RDSの「その他」の高さを考慮してもなお、固定RDSに比較してネット調査の自民党支持率は低く、「支持政党はない」の割合は高い。ちなみに、政党支持率におけるこの高い「その他」割合も毎日新聞世論調査の特徴の一つである。

image012.png





投票に「必ず行く」割合
 このような政党支持率の分布を見ると、今回のネット調査は、固定RDSに比較して政治低関心層を集め、自民党バイアスを弱め、より本当の世論に近い回答分布を得ることに成功したのだと思えるかもしれない。しかし、図5を見れば、途端にそうだとは言えなくなる。

 図5は、回答者が投票に行くかどうかを聞いたものと、実際の有効投票率(57.7%)を比較したものである。どの調査でも「必ず行く」が多数を占めているが、そのどの割合も投票率より高い。「行かない」と「たぶん行かない」を合わせた数は最大でもネット調査の7%で、「答えない/わからない」を合わせても15%にしかならない。

image010.png


 このように事前の投票予定と実際の投票率が大きくずれるのは、(1)気が変わった人が大勢いた(2)本当は投票に行くつもりがないのに行くと答えた人が大勢いた(3)各調査の回答者に投票に行く人が過剰に集まっていた、といった理由が考えられる。このとき、どの理由が説明として適切か調べるためには、実際の選挙時の行動を調べる必要がある。そこで、今回のネット調査では事前に計画し、選挙後に追跡調査を行うこととしたのである。

 後編では、選挙後に実施したインターネット調査(ネット追跡調査)の結果を主に分析し、世論調査がどのように世論をゆがめているのか、考えていきたい。

※今回の調査の企画、設計にあたっては、毎日新聞世論調査室から全面的な協力をいただいた。また、ネット調査の設計に際し、新聞通信調査会が中央調査社に委託して行っている「メディアに関する全国世論調査」の結果を利用させていただいた。ここに感謝の意を表する。



関連記事等
菅原琢「政治と社会を繋がないマス・メディアの世論調査」『放送メディア研究』13号、2016年、pp.57-78。(pdf)

(後編は9月7日公開予定)
posted by suga at 23:59 | 分析記事