コンテンツにスキップ

第11回 アンケート調査の方法と調査例

12/15(火)Ⅴ講 16:40〜18:20・A301教室

今日のリンク


この回の問い

同じことを尋ねているつもりの2つの質問文が、なぜ違う答えを返すのか。

到達目標

  1. アンケート調査(質問紙調査)の特徴と適用場面を理解する
  2. 実施方法の種類と、それぞれの長所・短所を比較できる
  3. 良い質問文と悪い質問文の違いを説明できる
  4. 尺度の種類とリッカート尺度の設計ができる
  5. 実際の調査票を読んで、その設計意図を考察できる
  6. 標本誤差と非標本誤差を区別し、「誤差 ±3%」が何を指しているかを説明できる
  7. 非標本誤差が調査のどの工程で入るかを、計画から公表まで順に挙げられる
  8. 発展:順序尺度を平均してはいけない理由を、数値の置き換えで確かめられる

要点

アンケート調査の強みと限界

アンケート調査(質問紙調査)の強みは標準化・大規模・定量化にある。全員に同じ質問を同じ形で尋ねるから、分布を出し、集団間で比べ、関連を測ることができる。逆に言えば、尋ねなかったことは決して分からない。

実施方法の5つと、そのトレードオフ

方法 回収率 費用 バイアスのリスク 複雑な質問への対応
郵送 低(20〜40%) 低 自己選択 中
留置 中〜高(50〜70%) 中 調査員効果 中
面接 高 高 社会的望ましさ 高
電話(RDD等) 中 中 カバレッジ(固定電話離れ) 低
Web 低〜中 非常に低 サンプル偏り 中

どれかが優れているのではなく、何を犠牲にするかが違う。 Web調査は圧倒的に安いが、無作為抽出が難しく、インターネット利用者に偏る(→ 第10回の選択バイアス)。面接は回収率が最も高いが、目の前に人がいることで社会的望ましさバイアスが入る。

閉じた質問と開いた質問

  • 閉じた質問(封鎖型) … 選択肢から選ばせる。集計・比較が容易で、回答が標準化される
  • 開いた質問(自由回答型) … 自由に記述させる。深い情報が得られるが、集計・分類に手間がかかる

大規模調査では閉じた質問が中心になり、開いた質問は補足的・探索的に使う。

尺度の種類 ―― 集める前に決まってしまう

尺度 特徴 例 使える統計
名義尺度 カテゴリの区別のみ 性別、出身地、専攻 最頻値、クロス集計
順序尺度 順序に意味あり、間隔は不明 満足度ランキング、学年 中央値、順位相関
間隔尺度 等間隔だが0に意味なし 気温、年号 平均値、標準偏差
比率尺度 等間隔かつ絶対0がある 収入、年齢、時間 すべての統計量

データを集める前に確認すること

尺度の種類によって、後から使える分析が決まってしまう。 順序尺度として集めたものを、あとから平均値で語ることはできない。設計段階で「この質問はどの尺度か」を確かめておく。

導出:順序尺度を平均すると、比較の向きまで変わってしまう

上の警告「順序尺度として集めたものを、あとから平均値で語ることはできない」を、数字で確かめておく。

順序尺度は順番だけに意味がある。①②③④⑤ に 1, 2, 3, 4, 5 を当てるのは慣習にすぎず、順番さえ保たれていれば 1, 2, 3, 4, 10 でもかまわない。どちらの付け方も「①より②が上」という情報を等しく表している。ところが平均は、この付け方しだいで変わる。

A組とB組(各10人)に同じ質問をした、次の結果を考える。

回答 A組 B組
①まったくそう思わない 0人 3人
②そう思わない 0人 0人
③どちらでもない 0人 0人
④そう思う 10人 0人
⑤非常にそう思う 0人 7人

コードX(1, 2, 3, 4, 5)で平均を出す

\[ \bar{x}_A = \frac{4 \times 10}{10} = 4.00, \qquad \bar{x}_B = \frac{1 \times 3 + 5 \times 7}{10} = \frac{38}{10} = 3.80 \]

A組のほうが高い。

コードY(1, 2, 3, 4, 10)で平均を出す

\[ \bar{x}_A = \frac{4 \times 10}{10} = 4.00, \qquad \bar{x}_B = \frac{1 \times 3 + 10 \times 7}{10} = \frac{73}{10} = 7.30 \]

今度はB組のほうが高い。 回答は1つも変わっていない。変えたのは、順番を保ったままの数字の割り当てだけである。それだけで「どちらが上か」という結論がひっくり返る。

中央値ならこうはならない。中央の回答者は A組が④、B組が⑤であり、これは数字の割り当てを変えても同じカテゴリのままである。順序尺度で中央値や順位相関が使えるのは、それらが「順番」しか見ていないからだ。

では、現場でリッカート尺度を平均しているのはなぜか

実務では「段階の間隔はほぼ等しい」とみなして平均を取ることが多く、それ自体が直ちに誤りというわけではない。問題は、それが仮定だと自覚しているかどうかである。仮定を置いた以上、結論がその仮定に依存することを、報告のどこかで断る必要がある。上の例は、仮定が崩れたときに何が起きるかを示している。

使った数学:平均の定義(足して割るだけ)。順序を保つ数値の置き換え。

リッカート尺度

態度・意見の強度を段階的に測る形式。

「大学での学習は将来の仕事に役立つと思う」 ①まったくそう思わない ②そう思わない ③どちらでもない ④そう思う ⑤非常にそう思う

設計上の注意は4つ。奇数段階か偶数段階か(中間選択肢を置くか)、段階数(4・5・7が一般的)、ラベルの対称性(ポジティブ側とネガティブ側を対称に)、そして逆転項目(一部を逆方向に表現して回答の一貫性を確認する)。

悪い質問の典型 4つ

ダブルバーレル質問 ―― 一つの質問に二つの内容が入っている。

✗「この授業は内容が充実していて、教え方もわかりやすいと思いますか?」 → 内容への評価と教え方への評価が分離できない。

誘導質問 ―― 特定の回答へ誘導してしまう。

✗「多くの専門家が推奨しているこの政策に、あなたは賛成しますか?」 → 「多くの専門家が推奨している」という情報自体が回答を偏らせる。

否定の否定 ―― 意味が複雑で回答者が混乱する。

✗「核廃絶に反対しないとは言えないと思いますか?」

曖昧な用語 ―― 言葉の意味が人によって違う。

✗「大きな政府に賛成ですか?」 → 「大きな政府」が何を指すのかが人によって違う。福祉の充実と読む人、増税と読む人、 規制の強化と読む人がいる。全員が同じ質問に答えていることになっていない。

集計すると一つの数字が出るので、答えが揃っているように見えてしまうのが厄介なところである。 専門用語に限らず、「若者」「地域」「格差」「負担」のような日常語でも起きる。 使うなら定義を質問文の中に書く(「ここでは社会保障給付を増やす政策を指します」など)。

KISS原則とチェックリスト

KISS=Keep It Simple and Straightforward(シンプルに、明確に)

  • [ ] 専門用語・略語を使っていないか(または説明を付けているか)
  • [ ] 一文に一つの内容のみか(ダブルバーレルでないか)
  • [ ] 特定の回答を誘導していないか(中立的な表現か)
  • [ ] 全員に当てはまる質問か(フィルター質問を適切に配置しているか)
  • [ ] 記憶に頼りすぎていないか(参照期間が明確か)
  • [ ] 社会的に望ましい方向へのバイアスはないか

順序効果とアンカリング

順序効果:前の質問が後の質問の回答に影響する。幸福感を聞いた後に恋愛満足度を聞くと、前者の影響が後者に出る。

同じ「原子力発電に賛成か」を聞いても、直前に何を聞いたかで答えが動く。

  • 地球温暖化について聞いた直後 → 「CO₂を出さない電源」という枠で考えやすくなる
  • 平和運動や核兵器について聞いた直後 → 「核」という枠で考えやすくなる

質問文は一字も変えていない。変えたのは順番だけである。

アンカリング:最初に提示された数値が判断の基準になる。「年収200万円以上ですか」と聞くのと「年収800万円以上ですか」と聞くのとでは、申告される収入が変わる。

対処法 … 重要な質問は序盤に置く/質問順序をランダマイズする/フィラー質問を挟んで前の質問の影響を薄める。

誤差はどこで入るのか ―― 第10回の続き

第10回で扱った標本誤差は、計算できる誤差だった。\(\sqrt{p(1-p)/n}\) で大きさが出て、 標本を増やせば小さくなる。だが調査の誤差はそれだけではない。

何か 性質
標本誤差 母集団の一部しか見ていないことから生じるランダムなずれ 大きさを計算できる。標本を増やせば小さくなる
非標本誤差 それ以外のすべて 大きさが計算できない。標本を増やしても小さくならない

「誤差 ±3.1%」に、非標本誤差は入っていない

支持率の報道にある「誤差 ±3.1%」は、標本誤差だけを指している。

質問文が誘導的だったこと、答えなかった人の偏り、記入ミス、コーディングの揺れ ―― これらはあの ±3.1% に一切含まれていない。

しかも、標本を10倍にしても非標本誤差は減らない。 むしろ調査員が増え、入力作業が増えるので、増える方向に働くことがある。

第10回の Literary Digest(1936年)は約230万人から回答を得て、それでも予測を外した。 数が足りなかったのではなく、非標本誤差(選ばれ方の偏り)で外した。

だから「n=10,000の大規模調査です」は、それだけでは品質の保証にならない。

非標本誤差の発生源 ―― 調査の工程順に見る

ここまで扱ってきた質問文の問題は、発生源のひとつにすぎない。工程順に並べると全体が見える。

工程 どこで誤差が入るか この授業のどこで扱うか
① 計画 調べるべき項目を落とす 下記
② 対象の選び方 カバレッジ/選択バイアス/無回答 第10回
③ 調査票の作り方 質問文・選択肢・順序・構成 この回の前半
④ 実査 調査員による差、回答者の偽り 下記
⑤ 記入・回収 記入ミス、読み取りミス 下記
⑥ コーディング 自由回答を分類するときの揺れ 下記
⑦ 集計・公表 調査機関の中立性、都合のよい切り出し 下記・第5回・第8回

① 計画の不備 ―― いちばん取り返しがつかない

集め終わってから「あの項目も聞いておけばよかった」と気づく。これは後からどうにもならない。

通学時間を聞いたが、通学手段を聞き忘れた。 「通学時間が長い学生は授業の満足度が低い」という結果が出たが、 徒歩20分と電車20分を区別できないので、何が効いているのか言えない。

課題の設計で質問を5問に絞るとき、「この結果が出たら何が言えるか」を先に書いてみると、 足りない項目に気づける。

④ 調査員による誤差・回答者による誤差

  • 調査員:同じ質問文でも、読み上げ方・補足の言い方・表情が人によって違う。 複数の調査員で分担すると、担当した調査員ごとに結果が違うことがある(調査員効果)
  • 回答者:嘘を教える、見栄を張る、答えの揺れ(同じ人が2週間後に別のことを答える)、 面倒になって全部③を選ぶ(ストレートライニング)

⑤ 記入・読み取りのミス ―― 「おかしい」と見えたものを勝手に直さない

ここが実務で一番もめるところである。例を2つ挙げる。

調査票に書かれていたこと ありうる解釈
性別「男」/職業「主婦」 入力ミスか? それとも男性の家事従業者か?
氏名「佐藤 三雄」/性別「女性」 チェックのミスか? それとも「みお」と読む女性か?

矛盾しているように見えるのは、こちらの思い込みのことがある

どちらも「ミスだろう」と判断して直してしまえば、本当のデータを壊すことになる。 「主婦は女性」「三雄は男性」という前提は、調査する側が持ち込んだものである。

正しい手続きはこうなる。

  1. 直さずに記録を残す(元の回答を保存する)
  2. 確認できるなら確認する(再接触、原票の照合)
  3. 確認できないなら、どちらとも決めずに「不明」として扱い、その扱いを報告に書く

第2回で「史料に書かれていることと、それが事実であることは別に扱う」と言ったのと同じ構えである。 勝手に埋めない。直したときは、直したと書く。

⑥ コーディングの誤差

コーディングとは、自由回答や職業などをあらかじめ決めたカテゴリに分類し、符号を与える作業である。

「バイトでコンビニの店番をしています」は、「販売従事者」か「サービス職業従事者」か。

同じ回答でも、分類する人によって別のカテゴリに入ることがある。対処は、

  • 分類の基準(コーディングルール)を文書にする
  • 同じ回答を2人が別々に分類して、一致率を確かめる(→ 第13回の信頼性)
  • 迷った事例を記録し、ルールを更新する

⑦ 集計・公表の段階 ―― 誰が調査したか

  • 業界団体が自社製品に有利な設問・集計を選ぶ、不都合な項目を公表しない
  • 同じデータから、都合のよい切り口だけを出す

第5回の「2次データを使う前に確認する4点」の③調査主体がこれである。 数字が正しくても、何を聞かなかったか・何を出さなかったかは数字に現れない。

全部を消すことはできない。だから「書く」

非標本誤差をゼロにする方法はない。できるのは次の2つだけである。

  1. 工程ごとに、入りやすい誤差に手を打つ(プリテスト、コーディングルール、調査員の訓練)
  2. 残った限界を報告に書く(回収率、無回答の扱い、コーディングの判断、聞かなかったこと)

第3回の課題で「改善しても残る限界」を書かせたのと同じである。 限界を書いた調査のほうが信頼できる。

プリテストは省略できない

プリテスト(予備調査) は本調査の前に小規模で試験的に実施する調査である。質問文の意味が正確に伝わるか、回答に何分かかるか、選択肢に漏れがないか、回収率はどれくらいかを確認する。対象者と同じプロフィールの人に最低でも10〜20名、回答後にその解釈を聞き取る(cognitive interview)のが望ましい。

本番で直せないものを、本番前に見つけるのがプリテストである。 質問文の不備は集計のあとでは直せない。 設計の教科書(Fowler 2014 ほか)が一様にプリテストを必須としているのは、そのためである。


今日の課題(Moodle提出)

配点:100点(この授業の評価は毎回の課題100%) / 提出期限:次回授業の開始前まで

課題:アンケート調査票の設計 分量:300〜500字程度(質問文の記述を含む)

自分が関心を持つ社会的テーマを一つ選び、そのテーマについてアンケート調査票の骨格を設計すること。以下の要件を満たすこと。

  1. 調査の目的(2〜3行):何を明らかにしたいか
  2. 対象者と実施方法:どのような人々を対象に、どの方法で実施するか
  3. 質問項目(5問):フェイスシート(属性)1〜2問と本質問3〜4問を含めること。閉じた質問を少なくとも2問、リッカート尺度を少なくとも1問使用すること
  4. 自己評価(2〜3行):自分の質問文の課題・改善余地。 非標本誤差の発生源(①計画〜⑦公表)のうち、自分の設計でいちばん心配なのはどれかを挙げ、 その理由を書くこと

3を書く前に、これをやってみてください

「この5問の結果が出たら、自分は何を言えるのか」を1文で書いてみる。

書けなければ、聞くべき項目が足りていません(=①計画の不備)。 通学時間を聞いて通学手段を聞き忘れる、というのがこの型の失敗です。 5問しかないので、何を捨てるかを決める作業になります。


この回のまとめ

  • アンケート調査は標準化・大規模・定量化が強みで、分布や関連の把握に向いている
  • 実施方法(郵送・留置・面接・電話・Web)はコスト・回収率・バイアスのトレードオフ
  • 質問は閉じた質問と開いた質問を目的に応じて使い分ける
  • 尺度の種類(名義・順序・間隔・比率)によって使える分析が変わる
  • リッカート尺度は態度測定に広く使われる。対称性・段階数に注意
  • ダブルバーレル・誘導質問・二重否定・曖昧な用語は避ける
  • 標本誤差は計算できて標本を増やせば小さくなるが、非標本誤差は計算できず、標本を増やしても小さくならない
  • 報道の「誤差 ±3%」は標本誤差だけを指している
  • 非標本誤差は①計画 ②対象の選び方 ③調査票 ④実査 ⑤記入・回収 ⑥コーディング ⑦集計・公表の各工程で入る
  • 矛盾して見える回答(性別「男」・職業「主婦」など)を勝手に直さない。確認する、できなければ不明として扱い、扱いを報告に書く
  • プリテストは必ず実施して質問文の妥当性を確認する
  • 非標本誤差はゼロにできない。工程ごとに手を打ち、残った限界を報告に書く

次回予告

第12回「インタビュー調査の方法と調査例」。同じテーマを、今度は話を聞いて調べる。


参考文献

アンケート調査の方法と調査例


入門書・教科書(社会調査全般)

1. 大谷信介・木下栄二・後藤範章・友枝敏雄(編)(2013) 『新・社会調査へのアプローチ:論理と方法』ミネルヴァ書房

社会調査の全体像を体系的に学べる定番教科書。質問紙調査の設計から実施・分析まで丁寧に解説されており、初学者に最適。特に第5〜7章が本回の内容に直接対応する。


2. 轟亮・杉野勇(編著)(2017) 『入門・社会調査法:2ステップで基礎から学ぶ(第3版)』法律文化社

「理解する」→「やってみる」の2ステップ構成で実践的に学べる。質問紙設計の演習問題が豊富で、授業の課題にも活用しやすい。


3. 佐藤郁哉(2015) 『社会調査の考え方(上・下)』東京大学出版会

量的調査と質的調査の双方をカバーする総合的な教科書。調査設計の論理的根拠を丁寧に説明しており、「なぜそうするのか」を理解したい学生に推薦。


4. 岩井紀子・保田時男(2007) 『調査を学ぶ:社会調査の考え方と方法』北大路書房

実際の調査プロセスに沿って丁寧に解説されており、実習に使いやすい構成。SSM調査など日本の大規模調査の実例を取り上げている点が特徴。


5. 盛山和夫(2004) 『社会調査法入門』有斐閣

調査の論理的基盤(測定・推定・因果推論)を理論的に説明する。やや難解だが、統計的推論の意味を深く理解したい学生には必読。


第11回テーマ(質問紙調査・測定尺度)に特化した文献

6. 南風原朝和(2002) 『量的研究と質的研究』放送大学教育振興会

量的アプローチの考え方と尺度構成について平易に解説。測定の妥当性・信頼性の概念(本回・第13回にもつながる)をしっかり理解したい場合に有用。


7. 鈴木淳子(2002) 『調査的面接の科学:サーベイリサーチの理論と実践』ナカニシヤ出版

質問紙調査(特に面接調査)における質問設計・回答プロセスの認知心理学的背景を解説。誘導質問やアンカリング効果を深く理解するために参照してほしい。


8. 林知己夫(2001) 『データの科学』朝倉書店

調査データに誤差がどこから入るかを、工程に沿って論じた日本語の古典。「データの質」という考え方そのものを提示した一冊で、この回の「非標本誤差の発生源」の内容に直接対応する。記入ミスやコーディングの扱いなど、実務の勘所が書かれている。


9. Groves, R. M., Fowler, F. J., Couper, M. P., Lepkowski, J. M., Singer, E., & Tourangeau, R. (2009) Survey Methodology (2nd ed.). Wiley

調査方法論の国際標準テキスト。標本誤差と非標本誤差をまとめて扱う総誤差(total survey error)の枠組みを示している。英語だが、各誤差の定義と対処が章立てで整理されているので、辞書的に引ける。


8. Fowler, F. J. Jr. (2014) Survey Research Methods (5th ed.). Sage Publications.

英語文献だが、質問設計・プリテスト・サンプリングについて国際標準的な知識が得られる。調査研究を本格的に進めたい学生には英語での参照を勧める。


ウェブリソース

内閣府消費者庁「消費者意識に関する基本調査」 https://www.caa.go.jp/policies/policy/consumer_research/

授業内で取り上げた実際の調査票・調査結果報告書が公開されている。調査票のPDFをダウンロードして質問設計を分析する演習に活用できる。


総務省統計局「統計でみる日本」 https://www.stat.go.jp/

国勢調査をはじめとする大規模統計調査の調査票・方法論が閲覧できる。日本における標準的な調査設計の実例として参考になる。


NHK放送文化研究所「日本人の意識調査」 https://www.nhk.or.jp/bunken/research/yoron/

1973年から5年ごとに継続されている大規模意識調査。同じ質問を長期にわたって繰り返す追跡調査の実例として、時系列変化の分析方法を学ぶ際に有用。


Qualtrics「Survey Design Tips」(英語) https://www.qualtrics.com/experience-management/research/survey-design/

質問設計のベストプラクティスを実務的な視点でまとめたブログ記事。ビジュアルが豊富でわかりやすく、補足的な参照として活用できる。


次回(第12回)に向けた事前読書案

推奨: 大谷ほか(2013)前掲書、第8〜9章「インタビュー調査の方法」

あるいは: 佐藤郁哉(2002)『フィールドワークの技法:問いを育てる、仮説をきたえる』新曜社

第3章「聞き取りの技法」が第12回の内容と直接対応する。分厚い本なので当該章のみでも可。


文献に関する質問は授業後またはオフィスアワーにどうぞ。


← 第10回 / 開講日程 / 第12回 →