第06回 標本分布と中心極限定理の再考¶
11/10(火)Ⅲ講 13:00〜14:40・B402教室
CLTの魔法には「独立」という隠れた前提がある
今日のリンク
- 📊 スライドを開く
- 📓 Colabノートを開く(06_clt.ipynb)
- 📝 課題を提出する(Moodle・第6回)
- 課題の本文はこのページの末尾にあります
考え方をガイドで確かめる
この回の考え方は、統計の考え方ガイドの「標本から全体を知る」でも解説しています。霊長類のデータを動かしながら確かめられます。
この回のゴール¶
- 中心極限定理(CLT)を再確認する:母集団が歪んでいても、独立な標本平均は正規分布に近づく
- 標準誤差 \(\mathrm{SE}=\sigma/\sqrt{n}\) の意味と、その 独立という前提 を理解する
- 標本が独立でない(相関する)と、本当のばらつきが SE より大きくなり、推測が崩れることを知る
- 「\(n\) を増やせば解決」が相関のもとでは通用しないことを見抜く
- 大数の法則と中心極限定理が別の主張であることを言える
- 標本誤差と非標本誤差を区別し、\(n\) を増やしても直らない誤差があることを知る
- 発展:\(\mathrm{Var}[\bar{X}]=\sigma^2/n\) と、相関があるときの \(\dfrac{\sigma^2}{n}\left[1+(n-1)\rho\right]\) を、自分で導ける
到達目標との対応:G1(確率の理解) と G4(独立性と集団判断) をつなぐ、今期の要の回。
1. CLTの復習 ―― 歪んだ母集団でも、標本平均は正規¶
先に定義 ―― よく混同される2つ
- 大数の法則(law of large numbers):標本の大きさ \( n \) を大きくしていくと、標本平均は母平均 \( \mu \) に近づく。 例:サイコロを投げれば投げるほど、出た目の平均は \( (1+2+\dots+6)/6=3.5 \) に近づく。
- 中心極限定理(central limit theorem, CLT):\( n \) を大きくしていくと、標本平均の分布の形が正規分布に近づく(平均 \( \mu \)、分散 \( \sigma^2/n \))。
大数の法則は「どこに寄るか」、CLTは「どう散らばるか」を言っている。 寄り先を教えるのが前者、寄りかたのばらつき具合を教えるのが後者だ。 推定ができるのは前者のおかげ、誤差の大きさが言えるのは後者のおかげである。どちらも独立を前提にしている。
母集団を思いきり歪ませる(指数分布:平均10・右に長い裾、正規とは似ても似つかない)。ここから 独立に \(n=30\) を選んで平均を取る、を1万回くりかえすと――
標本平均の分布は、きれいな正規分布になる。 これが中心極限定理だ。そのばらつき(標準誤差 SE)は理論どおり
になる。\(n\) を増やせば SE は小さくなる=推定が精密になる。ここまではⅠの復習。
導出①:\(\mathrm{SE}=\sigma/\sqrt{n}\) を、前提の側から見直す
統計学Ⅰ第6回で導いた式だが、ここでは どの行で独立を使ったか に注目して見直す。
分散は定数倍について \(\mathrm{Var}[aX]=a^2\mathrm{Var}[X]\) なので、
ここまでは、標本が独立でなくても成り立つ。次の1行が問題である。
和の分散が分散の和になるのは、\(X_i\) が互いに独立(正確には無相関)のときだけだ。これを認めれば
\(\sigma/\sqrt{n}\) という式そのものに「独立」と書いてあるわけではない。独立は、導出の途中の1行に隠れている。だからこの式だけを覚えると、前提ごと見落とす。
使った数学:分散の定数倍と加法性(微I)。総和の記号操作(線I)。
2. 契約書の細かい字 ―― CLTは「独立」を前提にしている¶
いまさらっと 「独立に \(n=30\) を選んで」 と書いた。実は、CLTも \(\sigma/\sqrt{n}\) という式も、標本が独立であることを前提にしている。
では標本が独立でなかったら? アンケートで回答者が 隣の人を気にして似た回答をする(空気を読む)。一人ひとりは母集団から来ているが、互いに 相関 している。Colabで、各標本内の観測が相関 \(\rho\) で似通うように作り、標本平均の本当のばらつきを測る:
| \(n=30\), 母SD=1 | 標本平均のばらつき |
|---|---|
| 独立を仮定した素朴な SE \(\sigma/\sqrt{n}\) | 0.183 |
| 実際(独立な標本 \(\rho=0\)) | 0.183 ← 一致。CLT通り |
| 実際(相関した標本 \(\rho=0.3\)) | 0.570 ← 約3倍に膨らむ |
独立なら理論どおり。だが相関すると、本当のばらつきは素朴な \(\sigma/\sqrt{n}\) の約3倍。 つまり「空気を読んだ」標本では、推定は実際よりずっと不確実なのに、\(\sigma/\sqrt{n}\) を信じると 過剰に自信を持つ。検定なら偽の有意差、区間推定なら狭すぎる信頼区間(→第7回)につながる。
導出②:相関があるとき、標本平均の分散はどうなるか
導出①の「独立」の1行を外してみる。一般に、和の分散は共分散の項を持つ。
どの2つを取っても相関が同じ \(\rho\) だとすると \(\mathrm{Cov}[X_i,X_j]=\rho\sigma^2\) で、\(i \ne j\) となる組 \((i,j)\) は \(n(n-1)\) 個ある。したがって
\(n^2\) で割って、
\(\rho=0\) を入れると角かっこが 1 になり、導出①の \(\sigma^2/n\) に戻る。独立は、この式の特別な場合にすぎない。
角かっこの中身が、素朴な分散を何倍に膨らませるかを表している。\(n=30\)、\(\rho=0.3\) なら \(1+29\times0.3=9.7\) 倍、標準偏差では \(\sqrt{9.7}=3.11\) 倍。上の表の「約3倍」は、この式が出した値である。
数値で確かめる:\(n=30,\ \rho=0.3,\ \sigma=1\) の理論値 \(\mathrm{SD}[\bar{X}]=0.569\) に対し、2万回のシミュレーションでの実測は 0.573。
使った数学:共分散を含む和の分散(微I)。組の数え上げ(\(n(n-1)\) 通り)。
3. 最大のワナ ―― 「nを増やせば解決」は通用しない¶
「相関が問題なら、サンプルを増やせば?」 独立なら確かに \(n\) を増やすほど SE は0に近づく。だが 相関した標本では、\(n\) をいくら増やしても不確実性は0にならない。
| \(n\) | 独立(\(\rho=0\)) | 相関(\(\rho=0.3\)) |
|---|---|---|
| 30 | 0.183 | 0.570 |
| 3000 | 0.018(ほぼ0) | 0.542(下がらない) |
相関した標本のばらつきは \(\sqrt{\rho}\approx0.55\) で 下げ止まる。3000人集めても、ほとんど精密にならない。
導出③:なぜ \(n\) を増やしても下げ止まるのか
導出②の式を、2つの項に分けて書き直す。
第1項は \(n\to\infty\) で 0 に向かう。だが第2項の \(\frac{n-1}{n}\) は 1 に近づくだけなので、
0 にならない。 \(\rho>0\) である限り、標本平均のばらつきは \(\sigma\sqrt{\rho}\) で下げ止まる。\(\rho=0.3\) なら \(\sqrt{0.3}=0.548\)。本文の \(\sqrt{\rho}\approx0.55\) は、この極限値である。
同じことを「実質何人分か」で言い換えられる。独立な標本で同じばらつきになる人数を 実効標本サイズ といい、\(\dfrac{\sigma^2}{n_{\text{eff}}} = \dfrac{\sigma^2}{n}\left[1+(n-1)\rho\right]\) を解いて
\(\rho=0.3\) なら、何人集めても実効標本サイズは \(1/0.3=3.3\) 人を超えられない。
数値で確かめる:\(\rho=0.3\) のとき、\(n=30\) で \(n_{\text{eff}}=3.09\)、\(n=3000\) でも \(n_{\text{eff}}=3.33\)。3000人が3人分にしかならない。
小さな \(\rho\) でも油断はできない。効くのは \(\rho\) 単独ではなく \((n-1)\rho\) だから、\(\rho=0.01\) という弱い相関でも \(n=3000\) なら \(1+2999\times0.01\approx31\) 倍に膨らむ。\(n\) が大きいほど、わずかな相関が効いてくる。
使った数学:極限(微I)。導出②の式変形。
今期の核心
みんなが空気を読んで似た答えをすると、いくら人数を集めても、独立な少人数ぶんの情報しか得られない。「大勢が賛成しているから確かだ」は、その大勢が互いを見て合わせているなら、まったく根拠にならない。これが第13回 コンドルセの陪審定理(独立な多数は賢いが、空気を読む多数は賢くない)の数理的な正体だ。
4. もうひとつの「n を増やせば解決」の嘘 ―― 誤差には2種類ある¶
第3節で見たのは、標本の中の相関が \( n \) では直らないことだった。実は、\( n \) で直らない失敗はもう1つある。そもそも誰を標本に選んだかである。
先に定義
- 無作為抽出(random sampling):母集団のどの個体も、標本に選ばれる確率が等しい抽出法。ランダム=出鱈目ではない。「手近な人に聞く」は無作為抽出ではない。
- 抽出枠:実際に抽出のもとにする名簿(有権者名簿、顧客リスト、電話帳)。母集団そのものではない。
- 標本誤差(sampling error):正しく無作為抽出しても生じる、標本の値と母数とのずれ。第1〜3節で扱ってきた \( \sigma/\sqrt{n} \) がこれである。
- 非標本誤差:抽出とは無関係に生じる誤差。名簿の偏り、無回答、記入・入力・集計のミス。
抽出枠は、母集団とずれている¶
名簿は母集団と完全には一致しない。枠に載っていない調査対象(カバー不足)と、枠に載っているが対象でないもの(カバー超過)が、必ず出る。電話帳を名簿に使えば、電話を持たない人は最初から選ばれない。
「渋谷の駅前で100人に聞きました」はなぜ無作為抽出でないのか
選ばれる確率が等しくないから ―― ではなく、もっと手前の問題がある。母集団が何なのかが決まっていない。 渋谷駅前の100人と巣鴨駅前の100人では、答えが違ってよい。何の母集団について語っているのかが言えないなら、標本誤差を計算する意味もない。
母集団に似せて選ぶ(割当法)は、無作為抽出の代わりにならない¶
割当法(quota sampling):年齢や性別の構成が母集団と同じになるように、人数を割り当てて集める方法。一見もっともらしいが、手段と結果が逆になっている。
- 無作為に抽出する → 結果として母集団に似てくる
- 母集団に似せて抽出する → 無作為抽出になるわけではない
似せられるのは、あらかじめ分かっている特性だけである。そして調査の目的は、分かっていない特性を知ることだ。分かっている特性だけを揃えて標本を作ると、肝心の知りたい特性のほうが偏りうる。
1936年 ―― 240万人を集めて、18ポイント外した¶
アメリカ大統領選で、老舗の週刊誌 Literary Digest は約1,000万通の調査票を送り、約240万通を回収した。当時として桁違いの規模である。同誌は共和党ランドンの勝利を予測した。結果は民主党ルーズベルトの圧勝だった。
240万人分のデータがあって、なぜ外したのか。
| 値 | |
|---|---|
| 回収数 | 約 240万 |
| この \( n \) での理論上の標本誤差(母比率50%・95%) | ±0.06% |
| 実際のずれ(ルーズベルトの得票率の見積もりと実績) | 4割強と見積もり → 実際は6割超。約18ポイント |
理論上の標本誤差のおよそ280倍、外している。 原因は \( n \) の不足ではない。
- 名簿の偏り:電話帳・自誌の購読者名簿・クラブ会員名簿を使った。大恐慌期に電話や雑誌購読を維持できたのは所得の高い層で、その層は共和党支持に偏っていた(選択バイアス)
- 無回答バイアス:回収率は2割強。返信した人と、しなかった人は同じではない
一方、新興のギャラップ社ははるかに少ない標本でルーズベルトの勝利を当てた。ただしギャラップ社も割当法を使っており、1948年の選挙では外している。以後、無作為抽出法が定着した。
この回の主張が、2つそろう
\( n \) は、次の2つを直さない。
- 標本の中が相関していると、\( n \) を増やしても実効標本サイズは \( 1/\rho \) で頭打ちになる(第3節)
- 抽出が偏っていると、\( n \) を増やしても偏ったままである(本節)
どちらも「たくさん集めたから確かだ」を無効にする。数の多さは、独立性も代表性も買えない。 そして第12〜13回で見るとおり、「みんなが言っているから正しい」も同じ構造の誤りである。
今日のまとめ¶
| ポイント | 中身 |
|---|---|
| 大数の法則とCLT | 前者は「どこに寄るか」、後者は「どう散らばるか」。別の主張 |
| CLT | 母集団が歪んでいても、独立な標本平均は正規分布に近づく |
| 標準誤差 | \(\mathrm{SE}=\sigma/\sqrt{n}\)。ただし独立が前提 |
| 独立が崩れると | 本当のばらつきが SE より大きい→過剰な自信→偽の有意差・狭すぎる区間 |
| \(n\) を増やしても | 相関は消えない。不確実性は \(\sqrt{\rho}\) で下げ止まる |
今日の課題(Moodle提出)¶
配点:100点(選択40点 + 記述60点)/ 提出先:Moodle / 提出期限:次回授業の開始時刻まで
第6回のColabノート 06_clt.ipynb を上から実行し、結果を見たうえで答えること。
パートA:選択問題(各10点 ×4=40点)¶
A1. 中心極限定理(CLT)が述べているのは、次のどれか?
- (ア) 母集団そのものが、標本を増やすと正規分布になる
- (イ) 母集団がどんな形でも、(独立な)標本平均の分布は正規分布に近づく
- (ウ) 標本のヒストグラムは、nを増やすと必ず正規分布になる
A2. 標準誤差 \(\mathrm{SE}=\sigma/\sqrt{n}\) について正しいのは?
- (ア) 標本が独立でなくても常に成り立つ
- (イ) 標本が独立であることを前提にした式である
- (ウ) \(n\) を増やすと SE は大きくなる
A3. Colabで、各標本内の回答が相関する(ρ=0.3、空気を読む)とき、標本平均の「本当のばらつき」は、独立を仮定した素朴な \(\sigma/\sqrt{n}\) と比べてどうだったか?
- (ア) ほぼ同じだった
- (イ) 約3倍に大きくなった(素朴なSEは精密さを過大評価していた)
- (ウ) 約3分の1に小さくなった
A4. 相関した標本(ρ=0.3)で、標本サイズ \(n\) を3000まで増やすと、標本平均のばらつきはどうなったか?
- (ア) 独立のときと同じく、ほぼ0まで小さくなった
- (イ) \(\sqrt{\rho}\approx0.55\) あたりで下げ止まり、ほとんど小さくならなかった
- (ウ) 逆に大きくなり続けた
パートB:記述問題(AIフィードバック対象・60点)¶
B1.(30点) 中心極限定理について、①どんな主張か(何が正規分布に近づくのか)②その式 \(\sigma/\sqrt{n}\) が成り立つための前提は何か を、150〜250字程度で説明しなさい。「標本そのもの」と「標本平均の分布」を混同しないこと。
B2.(30点) Colabで、標本が独立でない(空気を読んで相関する)と、本当のばらつきが素朴な標準誤差より大きくなり、しかも nを増やしても下げ止まる ことを見た。これを踏まえて次の2点を書きなさい。
- 標本が独立でないのに \(\sigma/\sqrt{n}\) を信じて分析すると、結論にどんな間違い(過信)が生じるか
- 「大勢の人が同じ意見だから、その結論は信頼できる」という主張は、どんなときに成り立たないか。今日の結果を使って説明しなさい
ヒント:B2の2は第13回「コンドルセの陪審定理」の予告。「大勢」が互いに空気を読んでいたら、人数のわりに情報は乏しい。
文字数の目安:B1・B2あわせて 300〜500字。コピペ・引き写しは評価しない。自分の言葉で書くこと。
字数は目安です。多少の過不足で減点はしません。見るのは、設問が挙げた要素(上の箇条書き)が書けているかどうかです。ただし要素が抜けていれば、その分は引きます。
次回予告
第7回「区間推定の理論」。今日の標準誤差から、信頼区間がどう作られるか。そして 独立でない標本では、信頼区間が狭くなりすぎて『95%』が嘘になる ことを確かめる。