今日のゴール

1. 検定を繰り返すと 偽陽性が累積 する
2. ファミリーワイズ・エラー
3. p-hacking の危うさ
4. 対策：ボンフェローニ補正・事前登録

xkcd "Significant"

「緑のゼリービーンズはニキビの原因！」

20色を1つずつ検定したら、緑だけ p<0.05

→ Colab：どの色も効果ゼロなのに、有意な色が出る

「緑が原因」と報告したら 完全な誤り

偽陽性が積み上がる

効果ゼロでも、1回の検定で5%は有意になる
回で「少なくとも1つ偽陽性」：

「有意なものだけ報告」＝偶然拾い＝p-hacking

対策①：多重比較補正

回やるなら基準を厳しく：ボンフェローニ
（20回なら 0.05/20 = 0.0025）

対策②：事前登録（より根本）

補正でも防げない巧妙な p-hacking：

• HARKing：結果を見て仮説を後付け
• チェリーピッキング：有意な指標だけ報告
• optional stopping：有意まで足し続ける

→ 事前登録：データを取る前に仮説と方法を固定

統計的誤用を見抜く目

「有意差が出ました（p<0.05）」と聞いたら：

「それ、何回検定したうちの1つ？」

「仮説は先に決めてあった？」

多くの“発見”は、たくさん試したまぐれ当たり