第08回　検定の多重性問題¶

11/24（火）Ⅲ講 13:00〜14:40・B402教室

たくさん試せば、偶然の「有意」はいくらでも出る

今日のリンク

この回のゴール¶

検定を繰り返すと 偽陽性（第一種の誤り）が累積 することを理解する
ファミリーワイズ・エラー率 \(1-(1-\alpha)^m\) を説明できる
p-hacking（有意が出るまで試す・有意なものだけ報告）の危うさを見抜く
多重比較補正（ボンフェローニ）と 事前登録 という対策を知る

到達目標との対応：G2（p値の限界・統計的誤用の批判的検証） の中核。

1. 効果ゼロでも、20色のうち1つは「有意」になる¶

有名な風刺漫画（xkcd "Significant"）：「緑のゼリービーンズはニキビの原因だ！（p<0.05）」。20色を1つずつ調べたら、緑だけ偶然 p<0.05 になった、というオチだ。

Colabで再現する。20色すべて 本当は効果ゼロ（食べた群と食べない群が同じ分布）なのに、t検定すると 有意な色が出てしまう。これを「緑が原因だ」と報告したら完全な誤りだ。

なぜか。1回の検定で偶然有意になる確率は5%。だが 20回もやれば、どれか1つが偶然5%を引く確率はぐっと上がる。

2. 偽陽性が積み上がる ―― ファミリーワイズ・エラー¶

効果ゼロのとき、1回の検定で有意になる確率は \(\alpha=0.05\)。独立に \(m\) 回検定して 少なくとも1回は偽陽性が出る 確率は：

\[1-(1-\alpha)^{m}\]

検定回数 \(m\)	少なくとも1つ偽陽性（実測 / 理論）
1	5% / 5%
5	23% / 23%
10	40% / 40%
20	65% / 64%

20回検定すれば、効果ゼロでも6割超で「有意」が出る。「たくさん調べて、有意だったものだけ報告する」のは発見ではなく、偶然を拾っているだけ。これを p-hacking と呼ぶ。

3. 対策 ―― 多重比較補正（ボンフェローニ）¶

\(m\) 回検定するなら基準を厳しくする。最も簡単な ボンフェローニ補正 は有意水準を \(\alpha/m\) にする（20回なら \(0.05/20=0.0025\)）。

20回検定での偽陽性率
補正なし（各回 α=0.05）	64%
ボンフェローニ補正（α=0.0025）	5%（目標に戻る）

補正すれば偽陽性率は5%前後に戻る（より緩やかな FDR 制御などもある）。だがもっと大事なのは、そもそも有意が出るまで検定を繰り返さないこと。

4. もっと根本の対策 ―― 事前登録¶

p-hacking には補正だけでは防げない巧妙な形がある。

HARKing：結果を見てから「最初からこの仮説でした」と後付けする
チェリーピッキング：有意だったサブグループ・指標だけを報告する
optional stopping：有意になるまでデータを足し続ける

これらの根本対策が 事前登録（pre-registration） ―― データを取る前に「どの仮説を・どの方法で検定するか」を公開して固定し、後出しを封じる。

統計的誤用を見抜く目

「有意差が出ました（p<0.05）」と聞いたら、まず問う ―― 『それ、何回検定したうちの1つ？』『仮説は先に決めてあった？』。多くの“発見”は、たくさん試した中のまぐれ当たりだ。これを疑えることが、第9回（効果量とp値批判）へとつながる。

今日のまとめ¶

ポイント	中身
多重性問題	検定を \(m\) 回繰り返すと、偽陽性確率は \(1-(1-\alpha)^m\)（20回で約64%）
p-hacking	有意が出るまで試す／有意なものだけ報告する。偶然を発見と偽る
ボンフェローニ補正	有意水準を \(\alpha/m\) に厳しくして偽陽性を抑える
事前登録	データを取る前に仮説と方法を固定し、後出しを封じる

今日の課題（Moodle提出）¶

配点：100点（自動採点40点＋記述60点）／提出先：Moodle

第8回のColabノート 08_multiple.ipynb を上から実行し、結果を見たうえで答えること。

パートA：選択問題（自動採点・各10点 ×4＝40点）¶

A1. 本当は効果がゼロのとき、有意水準5%で 独立に20回 検定すると、「少なくとも1回は有意（偽陽性）になる」確率に 最も近い のは？ - (ア) 約 5%　(イ) 約 36%　(ウ) 約 64%

A2. 「p-hacking」の説明として 最も適切 なのは？ - (ア) データを取る前に仮説と分析方法を公開して固定すること - (イ) 有意な結果が出るまで検定を繰り返したり、有意だったものだけを選んで報告したりすること - (ウ) サンプルサイズを大きくして検定の精度を上げること

A3. 20回の検定をまとめて行うとき、ボンフェローニ補正で使う有意水準は？ - (ア) 0.05 のまま - (イ) 0.05 × 20 = 1.0 - (ウ) 0.05 ÷ 20 = 0.0025

A4. 結果を見てから「最初からこの仮説を検証するつもりだった」と後付けすることを何と呼ぶか。また、その根本的な対策は？ - (ア) HARKing。対策は事前登録（データ取得前に仮説・方法を固定） - (イ) ボンフェローニ補正。対策は多重比較 - (ウ) 第二種の誤り。対策はサンプル増加

パートB：記述問題（AIフィードバック対象・60点）¶

B1.（30点） 「20色のゼリービーンズを調べたら、緑だけがニキビと有意に関連していた（p<0.05）」という主張は、なぜ信用できないのか。多重性の問題を使って4〜6文で説明しなさい。「1回あたり5%」「20回」という数字に触れること。

B2.（30点） ある研究者が「新しい教育法で成績が上がった（p=0.04）」と発表した。この主張を鵜呑みにする前に、あなたが確認すべきことを2つ挙げ、それぞれ なぜ確認が必要か を説明しなさい。

ヒント：今日学んだ「何回検定したか」「仮説は先に決めてあったか（事前登録）」「有意なサブグループだけ報告していないか」などの観点を使う。

文字数の目安：B1・B2あわせて 300〜500字。コピペ・引き写しは評価しない。自分の言葉で書くこと。

次回予告

第9回「効果量とp値批判」。今度は逆に「n＝100万なら、無意味な差でも p<0.001 になる」 ―― 有意であることと、重要であることは、まったく別の話だ。

第08回 検定の多重性問題¶