第08回 仮説検定(1)：帰無仮説とt検定¶
11/24（火）Ⅱ講 10:35〜12:15・B402教室
「差がある」とは何か ―― そして、p値という誤解されやすい数
今日のリンク
- 📊 スライドを開く
- 📓 Colabノートを開く（08_ttest.ipynb）
- 📝 課題を提出する（Moodle・第8回）
- 課題の本文はこのページの末尾にあります
この回のゴール¶
- 帰無仮説・対立仮説と、検定の背理法的なロジックを説明できる
- t検定を実行し、p値を正しく解釈できる
- 「p値 ≠ 効果の大きさ」「有意 ≠ 重要」を理解し、効果量も見る習慣をつける
到達目標との対応：G2（このコースの中核）。
0. フック¶
保護区の中と外で、同じ種のサルの体重を測った。保護区の中のほうが平均0.2kg重かった。 これは「保護区に効果があった」のか、「たまたま」なのか？
直感では決められない。0.2kgは大きい？小さい？――この問いに答えるのが仮説検定だ。
1. 帰無仮説 ―― 背理法で考える¶
検定は背理法に似ている。
- まず「差はない（偶然だ）」と仮定する。これが 帰無仮説。
- その仮定のもとで、観測されたような差が起きる確率を計算する。これが p値。
- p値がとても小さい（＝偶然ではめったに起きない）なら、「差はない」という仮定のほうが間違っていた、と考える。これを「有意差がある」という。
「差がある」＝「偶然では説明しにくいほどの差だった」の言い換え。
2. t検定をやってみる（明確な差の例）¶
霊長類の進化を語るとき、大きな区分が 旧世界ザル（アフリカ・アジア）と 新世界ザル（中南米）である。両者は3,000万年以上前に分かれた。この2つの科で体重に差があるかを調べる。第3回のとおり体重は対数で扱う。
| 科 | 体重の中央値（n） |
|---|---|
| オナガザル科（旧世界） | 7,226 g（92種） |
| オマキザル科（新世界） | 492 g（39種） |
t検定の結果：t = 20.03、p ≈ 8.4 × 10⁻²⁷（ほぼ0）。
「差はない」と仮定すると、これほどの差（中央値で約15倍）は偶然ではまず起きない → 有意差あり。
対照：差がない例も、同じデータの中にある¶
今度は オナガザル科（旧世界）と クモザル科（新世界） を比べる。クモザル科も新世界ザルだが、大型の種が多い。
| 科 | 体重の中央値（n） |
|---|---|
| オナガザル科 | 7,226 g（92種） |
| クモザル科 | 6,652 g（16種） |
t = −0.02、p = 0.98。 まったく差があると言えない。
何と何を比べるかは、検定の外側
旧世界か新世界かで決まるのではない。新世界ザルの中に、小型のオマキザル科と大型のクモザル科が両方いるからである。
同じデータ・同じ手法で、比べる相手を変えただけで結論が正反対になる。「何と何を比べるか」は検定にかける前のあなたの判断であり、統計は「その比較が妥当か」を教えてくれない。
3. p値の意味を、正しく¶
ここで誤解を3つ、はっきり打ち消す。
- ❌ p値は「帰無仮説が正しい確率」ではない。p値は「帰無仮説が正しいと仮定したときに、観測以上の差が出る確率」。
- ❌ p値は「効果の大きさ」ではない。p=0.001 でも差は小さいことがある。
- ❌ 「有意（p<0.05）＝重要」ではない。有意は「偶然では説明しにくい」だけ。
4. p値の脆さ ―― 同じ差でも n で変わる¶
冒頭のフックに戻る。保護区の外6.0kg・中6.2kg、真の差はたった0.2kgで固定。そこから n 頭ずつ捕獲して測る、を2000回くりかえし、有意（p<0.05）になった割合を見る。
| 各群の頭数 n | 有意になった割合 |
|---|---|
| 20 | 約 8% |
| 100 | 約 23% |
| 500 | 約 80% |
効果は同じ。n が違うだけ
真の差は常に0.2kg。なのに n を増やすほど「有意」になりやすい。 つまり、サンプルを増やすだけで小さな差でも「有意差あり」を作れてしまう。 「p<0.05だった」だけでは、効果が大きいことの証明にはならない。
5. 効果量（Cohen's d）―― 「大きさ」を測る¶
p値とは別に、差の大きさ自体を標準化したのが 効果量 d（差が標準偏差いくつ分か）。目安：0.2小・0.5中・0.8大。
| 比較 | 効果量 d |
|---|---|
| 旧世界 vs 新世界（オマキザル科） | 4.40（けた外れに大きい） |
| 旧世界 vs クモザル科 | −0.00（実質ゼロ） |
| 保護区の内外（0.2kgの差） | 0.18（小さい効果） |
d = 4.40 は目安の「0.8で大」をはるかに超えている。群内のばらつき4個分以上も離れているということ。
一方、保護区の例は d = 0.18。n さえ増やせば有意にできるが、生物学的にはごくわずかな差である。有意 ≠ 効果が大きい。 だから検定では、p値と一緒に必ず効果量も見る。
p値は「偶然かどうか」、効果量は「どれくらいか」。論文でも報告書でも、両方を書く。
6. 2種類の誤り¶
検定は完璧ではない。間違え方が2つある。
| 本当は差がない | 本当は差がある | |
|---|---|---|
| 「差あり」と判定 | 第一種の誤り（偽陽性） | 正解 |
| 「差なし」と判定 | 正解 | 第二種の誤り（見逃し） |
- 有意水準 α = 0.05：本当は差がないのに「差あり」と誤る確率を5%まで許す基準。
- だから「有意」でも、20回に1回は偶然の偽陽性かもしれない。検定を何度も繰り返せば偽陽性は増える（→第9回）。
まとめ¶
| 概念 | ひとこと |
|---|---|
| 帰無仮説 | まず「差はない（偶然）」と仮定する |
| p値 | 帰無仮説のもとで観測以上の差が出る確率 |
| 有意差 | p<0.05 ＝「偶然では説明しにくい」 |
| ❌ よくある誤り | p値=帰無仮説が正しい確率／有意=効果大／n増やせば必ず有意 |
| 効果量 d | 差の大きさ。有意とは別に必ず見る |
| α・2種の誤り | 偽陽性5%を許す基準。検定の繰り返しに注意 |
「差がある」＝「偶然では説明しにくい」。それ以上でも以下でもない。 p値の小ささは効果の大きさを意味しない。必ず効果量も見る。
今日の課題（Moodle提出）¶
配点：100点（自動採点40点 ＋ 記述60点）／ 提出先：Moodle
Colab 08_ttest.ipynb を実行したうえで答えること。
パートA：選択問題（自動採点・各10点 ×4＝40点）¶
A1. 帰無仮説とは何か。最も適切なのは？ - (ア) 「差がある」とまず仮定すること - (イ) 「差はない（偶然だ）」とまず仮定すること - (ウ) 効果量のこと
A2. p値の意味として最も正しいのは？ - (ア) 帰無仮説が正しい確率 - (イ) 帰無仮説が正しいと仮定したとき、観測以上の差が出る確率 - (ウ) 効果がどれくらい大きいかを表す値
A3. 真の差が「2点」で固定のまま、各群の人数 n を 20→100→500 と増やすと、有意（p<0.05）になる割合はどう変わったか。 - (ア) 8%→23%→80% と増えた - (イ) ずっと5%で変わらない - (ウ) 80%→23%→8% と減った
A4. 「旧世界ザル vs 新世界ザルの体重差は効果量 d=4.40、保護区の内外の差は d=0.18」。ここから言えることは？ - (ア) p値さえ小さければ効果量は見なくてよい - (イ) 有意であることと効果が大きいことは別で、効果量も見る必要がある - (ウ) d が小さいほど効果が大きい
パートB：記述問題（AIフィードバック対象・60点）¶
【全記述に共通・重要】自分の出力を引用すること
記述には、今日のColabで確認した数値を最低1つ引用すること（例：「n=500で有意割合80%」「旧世界 vs 新世界の効果量d=4.40」「p=8.4×10⁻²⁷」）。引用がない記述は満点になりません。
B1.（30点） あるニュースが次のように報じた。
「サプリXを飲んだ群は飲まない群より体重が0.2kg多く減り、統計的に有意（p<0.01）だった。だからサプリXには大きなダイエット効果がある。」
この主張のどこが問題かを、今日学んだ「p値」「効果量」「サンプルサイズ」の観点から指摘しなさい。（ヒント：p<0.01 は何を意味し、何を意味しないか。0.2kgは大きいか）
B2.（30点） 「t検定で p<0.05 が出た。これで帰無仮説が間違いだと証明できた」。この言い方の、言い過ぎな点を説明しなさい。p値と「証明」、第一種の誤り（偽陽性）の言葉を使うこと。
目安：B1・B2あわせて350〜550字。自分の言葉で書くこと。
次回予告
第9回「仮説検定(2)：分散分析（ANOVA）」。3つ以上の群を比べるとき、t検定を繰り返すと何が起きるか。偽陽性が爆発する罠と、その回避法へ。