ほんの少しの差 × 巨大な標本
本当の差は 0.5点(SD=10に対しごくわずか)
n を増やして検定(p値の中央値):
|
典型的な p値 |
| 100 |
0.45 |
| 1,000 |
0.27 |
| 10,000 |
0.0003 ★ |
| 100,000 |
≈0 ★★ |
差は同じ。nを増やすだけで有意に!
なぜか:p値はnを映している
t統計量 ≈(差の大きさ)×
差が小さくても、 を増やせば統計量は大きくなる
→ p値は下がる
p値は半分、「標本の大きさ」を映しているだけ
効果量 ―― 差の大きさそのもの
標準偏差いくつぶんの差か
目安: 小/ 中/ 大
さっきの 0.5点差 → (小にも届かない)
p値は n で激変。効果量はぶれない
有意 ≠ 重要(独立な2軸)
| 例 |
p値 |
効果量 d |
| ① 巨大標本×小さな差 |
≈0(有意) |
0.05(ごく小) |
| ② 小標本×大きな差 |
0.25(非有意) |
0.70(大) |
①を「発見」と誤り、②を「差なし」と切り捨てる
= p値偏重の典型的誤用(再現性危機の一因)
p値との正しい付き合い方
p値は「偶然でこの差が出る出やすさ」だけ
差の大きさでも・正しさの確率でも・重要さでもない
「有意差が出た」→「効果量は?」
p値と効果量、両方そろえて初めて結論できる
今日の課題
p値と効果量の読み分け(自動採点)
+「この有意差は実質的に重要か」(記述)
次回:因果推論入門(RCTと観察研究)
「サプリのおかげ? もともと健康志向だっただけ?」