第09回　効果量とp値批判¶

12/1（火）Ⅲ講 13:00〜14:40・B402教室

「有意」であることと「重要」であることは、まったく別

今日のリンク

この回のゴール¶

p値が 標本サイズ \(n\) に依存 することを理解する（\(n\) を増やせば無意味な差でも有意になる）
効果量（Cohen's d）を理解し、計算・解釈できる
「統計的に有意」と「実質的に重要」が別の軸であることを見抜く
p値だけで結論せず、効果量（＋信頼区間）をセットで報告する作法を身につける

到達目標との対応：G2（p値の限界と効果量の重要性を理解し、統計的誤用を批判的に検証できる） の本丸。

1. ほんの少しの差を、巨大な標本で調べると¶

2つの教育法 A と B。本当の平均点の差は、たった 0.5点（100点満点・SD=10に対してごくわずか）。実質的にはどうでもいい差だ。

これを標本サイズ \(n\) を増やしながら t 検定する（1標本だとp値が運でぶれるので、200回くりかえした p値の中央値 を見る）：

\(n\)	典型的な p値
100	0.45
1,000	0.27
10,000	0.0003 ★有意
100,000	≈0 ★★有意

差は0.5点のまま変わらないのに、\(n\) を大きくするだけで p値はいくらでも小さくなる。 10万人も調べれば、どうでもいい差が「p<0.001 で有意！」になる。

理由：t検定の統計量は（差の大きさ）×\(\sqrt{n}\) におよそ比例する。差が小さくても \(n\) を増やせば統計量は大きくなり、p値は下がる。p値は「差の重要さ」ではなく、半分は「標本の大きさ」を映しているだけだ。

2. 効果量 ―― 「差の大きさ」そのものを測る¶

p値が当てにならないなら、何を見るか。効果量（effect size） ―― 標本サイズに振り回されない、差の大きさそのものの指標だ。2群の平均差には Cohen's d を使う：

\[d = \frac{\bar{x}_A - \bar{x}_B}{s}\quad(\text{差が、標準偏差いくつぶんか})\]

目安は \(d=0.2\) 小、\(0.5\) 中、\(0.8\) 大。さっきの「0.5点差」は \(d\approx0.05\) ―― 「小」の基準 0.2 にも遠く及ばない、無視してよい差だと分かる。p値は \(n\) で激変するが、効果量はぶれない。

だから結果は「有意かどうか」だけでなく、必ず「効果量はどれだけか」をセットで見る。できれば効果量に信頼区間を付けて「どれくらいの差が、どれくらいの確かさであるか」を語る。

3. 4つの組み合わせ ―― 有意と重要は独立¶

「統計的に有意か」と「実質的に重要（効果量が大きい）か」は別々の軸で、組み合わせは4通り。とくに危ないのが2つ：

Colabの実例	p値	効果量 d	落とし穴
① 巨大標本×ごく小さな差	p≈0（有意）	0.05（ごく小）	「重要な発見」と誤る
② 小標本×はっきりした差	p=0.25（非有意）	0.70（大）	「差はなかった」と切り捨てる

①をp値だけで「重要な発見」と誤り、②を「差はなかった」と切り捨てる ―― これがp値偏重の典型的な誤用だ。

近年の 再現性危機（多くの“有意な発見”が追試で再現しない問題）の一因もここにある。p<0.05 という関門だけを見て、効果量・事前登録（第8回）・サンプル設計を軽視してきたことのツケだ。

p値との正しい付き合い方

p値は「偶然だけでこの差が出る出やすさ」を測るだけで、差の大きさでも、仮説が正しい確率でも、結果の重要さでもない。「有意差が出た」と聞いたら問う ―― 『効果量は？それは実生活で意味のある大きさ？』。p値と効果量、両方をそろえて初めて結論できる。

今日のまとめ¶

ポイント	中身
p値の弱点	標本 \(n\) に依存。\(n\) を増やせば無意味な差でも有意になる
効果量	差の大きさそのもの（Cohen's d など）。\(n\) に振り回されない
有意 ≠ 重要	「小さいが有意」「大きいが非有意」がありうる
報告の作法	p値だけでなく、効果量（＋信頼区間）をセットで示す

今日の課題（Moodle提出）¶

配点：100点（自動採点40点＋記述60点）／提出先：Moodle

第9回のColabノート 09_effectsize.ipynb を上から実行し、結果を見たうえで答えること。

パートA：選択問題（自動採点・各10点 ×4＝40点）¶

A1. 本当の平均差がごく小さい（0.5点）まま、標本サイズ \(n\) だけを大きくしていくと、p値はどうなるか？ - (ア) ずっと変わらない - (イ) どんどん小さくなり、やがて有意（p<0.05）になる - (ウ) どんどん大きくなる

A2. 効果量（Cohen's d など）が、p値と比べて優れている点は？ - (ア) 標本サイズに振り回されず、差の大きさそのものを表す - (イ) 標本サイズが大きいほど必ず大きくなる - (ウ) 0.05より小さければ「有意」と判定できる

A3. 「統計的に有意（p<0.05）」だが「効果量が非常に小さい（d=0.05）」という結果の解釈として、最も適切なのは？ - (ア) 有意なのだから、実生活でも重要な差である - (イ) 差は確かにありそうだが、大きさは無視できるほど小さく、実質的な重要性は低い - (ウ) 効果量が小さいので、この差は完全に存在しない

A4. 小さい標本（n=6）で「効果量は大きい（d=0.7）が p=0.25 で非有意」という結果が出た。最も適切な態度は？ - (ア) 非有意なので「差はなかった」と結論する - (イ) 大きい効果量が見えているので、標本不足で見逃した可能性を考え、サンプルを増やして再検討する - (ウ) p値が0.25なので、効果量も信用できない

パートB：記述問題（AIフィードバック対象・60点）¶

B1.（30点） 「10万人を対象に調査したところ、新薬で症状スコアが平均0.5ポイント下がり、統計的に有意だった（p<0.001）」という発表がある。この結果を どう読むべきか、p値と効果量の違いに触れて4〜6文で説明しなさい。「p値が小さい＝効果が大きい」という誤解を正すこと。

B2.（30点） 「統計的に有意」と「実質的に重要」は別の軸である。あなたの身近な例（勉強法・健康・商品の宣伝など何でもよい）で、「有意だが重要でない」または「重要そうだが（標本が小さく）有意と言えない」 にあてはまりそうな状況を1つ考え、次の2点を書きなさい。

その状況で、p値だけを見るとどんな間違った判断をしてしまうか
効果量（差の大きさ）も見ると、判断はどう変わるか

文字数の目安：B1・B2あわせて 300〜500字。コピペ・引き写しは評価しない。自分の言葉で書くこと。

次回予告

第10回「因果推論入門：RCTと観察研究」。ここからは因果の話。「サプリを飲んだ人は健康だった。サプリのおかげ？それとも、もともと健康志向の人が飲んだだけ？」

第09回 効果量とp値批判¶