第09回 効果量とp値批判¶
12/1（火）Ⅲ講 13:00〜14:40・B402教室
「有意」であることと「重要」であることは、まったく別
今日のリンク
- 📊 スライドを開く
- 📓 Colabノートを開く（09_effectsize.ipynb）
- 📝 課題を提出する（Moodle・第9回）
- 課題の本文はこのページの末尾にあります
考え方をガイドで確かめる
この回の考え方は、統計の考え方ガイドの「仮説検定とp値」でも解説しています。霊長類のデータを動かしながら確かめられます。
この回のゴール¶
- p値が 標本サイズ \(n\) に依存 することを理解する（\(n\) を増やせば無意味な差でも有意になる）
- 効果量（Cohen's d）を理解し、計算・解釈できる
- 「統計的に有意」と「実質的に重要」が別の軸であることを見抜く
- 第2種の過誤と検出力を理解し、「有意差なし」を「差がない」と読まない
- 見つけたい効果の大きさから、必要な人数を見積もれる
- p値だけで結論せず、効果量（＋信頼区間）をセットで報告する作法を身につける
- 発展：\(t=d\sqrt{n/2}\) を導き、p 値が \(n\) で動く一方 \(d\) が動かない理由を式で説明できる
到達目標との対応：G2（p値の限界と効果量の重要性を理解し、統計的誤用を批判的に検証できる） の本丸。
1. ほんの少しの差を、巨大な標本で調べると¶
2つの教育法 A と B。本当の平均点の差は、たった 0.5点（100点満点・SD=10に対してごくわずか）。実質的にはどうでもいい差だ。
これを標本サイズ \(n\) を増やしながら t 検定する（1標本だとp値が運でぶれるので、200回くりかえした p値の中央値 を見る）：
| \(n\) | 典型的な p値 |
|---|---|
| 100 | 0.45 |
| 1,000 | 0.27 |
| 10,000 | 0.0003 ★有意 |
| 100,000 | ≈0 ★★有意 |
差は0.5点のまま変わらないのに、\(n\) を大きくするだけで p値はいくらでも小さくなる。 10万人も調べれば、どうでもいい差が「p<0.001 で有意！」になる。
理由：t検定の統計量は（差の大きさ）×\(\sqrt{n}\) におよそ比例する。差が小さくても \(n\) を増やせば統計量は大きくなり、p値は下がる。p値は「差の重要さ」ではなく、半分は「標本の大きさ」を映しているだけだ。
導出①：\(t = d\sqrt{n/2}\) ―― p 値が \(n\) で動く正体
2群の標本サイズが等しく \(n\) のとき、独立2標本の \(t\) 統計量は
である（\(s_p\) は2群をプールした標準偏差）。一方、効果量は同じ分子を \(s_p\) で割ったものだった。
分子が共通なので、\(\bar{x}_A-\bar{x}_B = d\,s_p\) を \(t\) の式に入れると \(s_p\) が約分される。
この1本の式に、この回の主張がすべて入っている。
- \(d\) は 差の大きさ。単位を変えても \(n\) を変えても動かない（導出②）。
- \(\sqrt{n/2}\) は 標本の大きさだけで決まる。\(d\) とは無関係に、\(n\) を増やせばいくらでも大きくなる。
\(t\) はこの2つの積である。だから \(d\) が 0.05 のまま動かなくても、\(n\) を大きくすれば \(t\) はいくらでも大きくなり、p 値はいくらでも 0 に近づく。第1節の表で起きていたのは、これである。
数値で確かめる：\(d=0.5/10=0.05\)（100点満点・SD=10 で 0.5点差）のとき、\(t\) の平均的な大きさはこうなる。
| 各群の \(n\) | \(d\) | \(\sqrt{n/2}\) | \(t=d\sqrt{n/2}\) |
|---|---|---|---|
| 100 | 0.05 | 7.07 | 0.354 |
| 1,000 | 0.05 | 22.36 | 1.118 |
| 10,000 | 0.05 | 70.71 | 3.536 |
| 100,000 | 0.05 | 223.6 | 11.18 |
\(d\) の列は 1 行も動かない。動いているのは \(\sqrt{n/2}\) の列だけで、その積である \(t\) が増えていく。第1節で p 値が下がっていったのは、この \(t\) が大きくなったからである。
実データでも確かめられる。各群 500 の2群を乱数で作ると、\(t\) の実測は 2.7249、\(d\sqrt{n/2}\) も 2.7249 で完全に一致する。近似ではなく、同じ量を別の書き方で表しているだけだからである。
使った数学：文字式の約分（中学）。平方根の扱い。新しい概念は使っていない。
2. 効果量 ―― 「差の大きさ」そのものを測る¶
p値が当てにならないなら、何を見るか。効果量（effect size） ―― 標本サイズに振り回されない、差の大きさそのものの指標だ。2群の平均差には Cohen's d を使う：
目安は \(d=0.2\) 小、\(0.5\) 中、\(0.8\) 大。さっきの「0.5点差」は \(d\approx0.05\) ―― 「小」の基準 0.2 にも遠く及ばない、無視してよい差だと分かる。p値は \(n\) で激変するが、効果量はぶれない。
だから結果は「有意かどうか」だけでなく、必ず「効果量はどれだけか」をセットで見る。できれば効果量に信頼区間を付けて「どれくらいの差が、どれくらいの確かさであるか」を語る。
導出②：Cohen's \(d\) は、ものさしの目盛りを変えても動かない
測定の単位を変えることは、すべての値を定数倍することである。点数を \(a\) 倍のスケールで測り直したとしよう（\(x \to ax\)）。
分子の平均差は \(a\) 倍になる。
分母の標準偏差も \(a\) 倍になる（第5回の線形変換：\(\mathrm{SD}[aX]=|a|\,\mathrm{SD}[X]\)）。
分子と分母が同じ倍率で変わるので、比は変わらない。
定数を足す場合（\(x \to x+b\)）も、平均差は変わらず標準偏差も変わらないので \(d\) は動かない。
つまり \(d\) は「標準偏差いくつぶんの差か」という比であり、ものさしの目盛りの取り方に依存しない。センチでもインチでも、偏差値でも素点でも、同じ値になる。
一方 \(p\) 値は、導出①で見たとおり \(n\) に依存する。ここに両者の役割の違いがある。
| 何を測るか | \(n\) を増やすと | 単位を変えると | |
|---|---|---|---|
| \(d\) | 差の大きさ | 変わらない | 変わらない |
| \(p\) | 差の見つけやすさ | 小さくなる | 変わらない |
「有意かどうか」と「重要かどうか」が別の軸だというのは、この表の 2 行が別のものを測っているということである。
数値で確かめる：各群 500 の2群を乱数で作って \(d\) を計算すると 0.1723。すべての値を10倍しても 0.1723、すべてに 7 を足しても 0.1723 で、まったく動かない。
使った数学：線形変換による平均と標準偏差の変化（第5回）。分数の約分。
3. 4つの組み合わせ ―― 有意と重要は独立¶
「統計的に有意か」と「実質的に重要（効果量が大きい）か」は別々の軸で、組み合わせは4通り。とくに危ないのが2つ：
| Colabの実例 | p値 | 効果量 d | 落とし穴 |
|---|---|---|---|
| ① 巨大標本×ごく小さな差 | p≈0（有意） | 0.065（ごく小） | 「重要な発見」と誤る |
| ② 小標本×本当は大きい差 | p=0.745（非有意） | 0.19（推定値・小） | 「差はなかった」と切り捨てる |
①をp値だけで「重要な発見」と誤り、②を「差はなかった」と切り捨てる ―― これがp値偏重の典型的な誤用だ。
近年の 再現性危機（多くの“有意な発見”が追試で再現しない問題）の一因もここにある。p<0.05 という関門だけを見て、効果量・事前登録（第8回）・サンプル設計を軽視してきたことのツケだ。
②に名前をつける ―― 第2種の過誤と検出力¶
②で起きたことには、きちんとした名前がある。
先に定義
検定の判定は、真実と判定の組み合わせで4通りになる。
| \( H_0 \) を採択（有意でない） | \( H_1 \) を採択（有意） | |
|---|---|---|
| \( H_0 \) が真（本当は差がない） | 正しい判定 \( 1-\alpha \) | 第1種の過誤（確率 \( \alpha \)） 無い差を「あった」と言う |
| \( H_1 \) が真（本当は差がある） | 第2種の過誤（確率 \( \beta \)） ある差を「なかった」と言う |
正しい判定 \( 1-\beta \) |
- 第1種の過誤（α）：有意水準そのもの。ふつう 0.05 に決め打つ。
- 第2種の過誤（β）：本物の差を見逃す確率。 決め打てない。
- 検出力（power）\( 1-\beta \)：本当に差があるとき、それを正しく有意と判定できる確率。慣習的に 80%以上 を目安にする。
αは自分で決める数、βは設計の結果として決まる数である。だからβは、放っておくと誰も見ていない。
②の例の検出力を計算してみる。 真の効果量は \( d=0.8 \)（大）、各群 \( n=6 \)、有意水準5%だった。このとき
4回に3回は見逃す設計だった。 ②で「差はなかった」と読んではいけなかったのは、このためである。有意にならなかったのは、差が無いからではなく、最初から見つけられない実験だったからだ。
検出力80%に必要な人数¶
同じ有意水準5%で、検出力を80%にするために各群に何人要るか。
| 見つけたい効果量 | 各群の人数 | 合計 |
|---|---|---|
| \( d=0.8 \)（大） | 26人 | 52人 |
| \( d=0.5 \)（中） | 64人 | 128人 |
| \( d=0.2 \)（小） | 394人 | 788人 |
小さな効果を見つけたいなら、桁違いの人数が要る。 効果量が半分になると、必要な人数はおよそ4倍になる（ここでも \( \sqrt{n} \) が効いている）。
第7回とつながっている
第7回では「どれくらいの精度がほしいか」から必要な人数を出した（40/50/60を見分けるなら400人）。 ここでは「どれくらいの効果を見つけたいか」から人数を出している。 問いの向きが違うだけで、同じ計算である。 どちらも、データを取る前に決めておく話だ。
αを小さくすると、βは大きくなる
「間違って有意と言いたくないから \( \alpha=0.01 \) にしよう」とすると、何が起きるか。②の例（\( d=0.8,\ n=6 \)）で計算すると、
| 有意水準 \( \alpha \) | 検出力 \( 1-\beta \) |
|---|---|
| 0.10 | 36.4% |
| 0.05 | 24.1% |
| 0.01 | 8.0% |
厳しくするほど、本物の差を見逃しやすくなる。 αとβはトレードオフで、片方だけを小さくすることはできない。 両方を小さくする唯一の方法が、\( n \) を増やすことである（\( d=0.8 \) なら各群6人で24.1%、20人で69.3%、26人で80.7%）。
統計的有意性は、現象の真理ではない
有意な結果が出たときに言えるのは、「帰無仮説が正しいとしたら、これは珍しい」ということだけである。 そもそも帰無仮説（差がぴったりゼロ）は、現実にはほとんど常に正しくない。\( n \) を十分に増やせば、どんな小さな差でも有意になる（第1節）。
だから問うべきは「有意か」ではなく、「どれくらいの大きさの効果が、どれくらいの確かさで示されたか」である。 これが アメリカ統計学会（ASA）が2016年に出したp値についての声明の主旨でもある（日本計量生物学会による日本語訳がある）。 声明は、p値が仮説が正しい確率ではないこと、効果の大きさや結果の重要性を測るものではないこと、p値だけで科学的結論を下してはならないことを挙げている。
導出③：効果量にも信頼区間が要る ―― \(d\) もまた推定値である
\(d\) は母集団の真の効果量そのものではなく、標本から計算した推定値である。標本を取り直せば \(d\) も動く。だから \(d\) にも標準誤差があり、区間で語れる。
2群の標本サイズが等しく \(n\) のとき、\(d\) の標準誤差はおよそ次の形になる。
第1項が \(2/n\) なのは、2つの平均の差を見ているからである（各群の平均の分散が \(\sigma^2/n\) で、独立なら差の分散はその2倍。統計学Ⅰ 第6回）。第2項は \(d\) 自身の推定のばらつきで、\(d\) が小さいときはほとんど効かない。
95%信頼区間は \(d \pm 1.96\,\mathrm{SE}(d)\) である。
数値で確かめる：上の表の①②に、そのまま当てはめてみる。
| 例 | 各群 \(n\) | \(d\) | \(d\) の95%信頼区間 | 0 を含むか |
|---|---|---|---|---|
| ① 巨大標本×ごく小さな差 | 50,000 | 0.065 | [0.053, 0.077] | 含まない（＝有意） |
| ② 小標本×本当は大きい差 | 6 | 0.19 | [−0.942, 1.327] | 含む（＝非有意） |
①は区間が 0 を含まないので「有意」である。だが区間の上端まで見ても 0.077 ―― 「小」の目安 0.2 にすら届かない。有意であることと、意味のある大きさであることが、ここで完全に分離して見える。p 値をいくら小さくしても、この区間は 0.2 に近づかない。
②はもっと重要なことを教えてくれる。このデータは本当は 0.8σ の差がある集団から作った（50点 vs 58点、\(\sigma=10\)）。つまり真の効果量は \(d=0.8\)（大）である。ところが \(n=6\) で測ると、推定値は \(d=0.19\) にしかならなかった。
区間は \([-0.942,\ 1.327]\) と 0 をまたぐので非有意。上端は 1.327 で、大きな効果がある可能性をまったく否定できていない。つまり「差はなかった」ではなく「\(n\) が足りず、何も言えていない」が正しい読み方である。
そして注意すべきは、効果量も \(n\) が小さければ当てにならないという点だ。\(d\) は \(p\) 値と違って \(n\) に振り回されない量だが、それは「期待値として偏らない」という意味であって、1回の推定値がぶれないという意味ではない。真の \(d=0.8\) が \(0.19\) と出ることもある。だから \(d\) も、点推定だけでなく区間で見る。
点推定だけを報告すると、この幅の情報が消えてしまう。\(d\) を区間で報告すべきなのは、このためである。
\(\mathrm{SE}(d)\) の式そのものの導出は範囲外
この標準誤差は近似式であり、厳密に導くには \(d\) の標本分布（非心 \(t\) 分布）を扱う必要がある。それはこの科目で扱う範囲の外にある。ここで押さえるべきは、\(d\) が推定値である以上ばらつきを持ち、区間で語るべきだという点である。
使った数学：標準誤差の考え方と区間推定（統計学Ⅰ 第6回・第7回）。
p値との正しい付き合い方
p値は「偶然だけでこの差が出る出やすさ」を測るだけで、差の大きさでも、仮説が正しい確率でも、結果の重要さでもない。「有意差が出た」と聞いたら問う ―― 『効果量は？ それは実生活で意味のある大きさ？』。p値と効果量、両方をそろえて初めて結論できる。
今日のまとめ¶
| ポイント | 中身 |
|---|---|
| p値の弱点 | 標本 \(n\) に依存。\(n\) を増やせば無意味な差でも有意になる |
| 効果量 | 差の大きさそのもの（Cohen's d など）。\(n\) に振り回されない |
| 有意 ≠ 重要 | 「小さいが有意」「大きいが非有意」がありうる |
| 報告の作法 | p値だけでなく、効果量（＋信頼区間）をセットで示す |
今日の課題（Moodle提出）¶
配点：100点（選択40点 ＋ 記述60点）／ 提出先：Moodle ／ 提出期限：次回授業の開始時刻まで
第9回のColabノート 09_effectsize.ipynb を上から実行し、結果を見たうえで答えること。
パートA：選択問題（各10点 ×4＝40点）¶
A1. 本当の平均差がごく小さい（0.5点）まま、標本サイズ \(n\) だけを大きくしていくと、p値はどうなるか？
- (ア) ずっと変わらない
- (イ) どんどん小さくなり、やがて有意（p<0.05）になる
- (ウ) どんどん大きくなる
A2. 効果量（Cohen's d など）が、p値と比べて優れている点は？
- (ア) 標本サイズに振り回されず、差の大きさそのものを表す
- (イ) 標本サイズが大きいほど必ず大きくなる
- (ウ) 0.05より小さければ「有意」と判定できる
A3. 「統計的に有意（p<0.05）」だが「効果量が非常に小さい（d=0.05）」という結果の解釈として、最も適切なのは？
- (ア) 有意なのだから、実生活でも重要な差である
- (イ) 差は確かにありそうだが、大きさは無視できるほど小さく、実質的な重要性は低い
- (ウ) 効果量が小さいので、この差は完全に存在しない
A4. ある別の研究で、小さい標本（n=6）から「効果量は大きい（d=0.7）が p=0.25 で非有意」という結果が出た。最も適切な態度は？
- (ア) 非有意なので「差はなかった」と結論する
- (イ) 大きい効果量が見えているので、標本不足で見逃した可能性を考え、サンプルを増やして再検討する
- (ウ) p値が0.25なので、効果量も信用できない
パートB：記述問題（AIフィードバック対象・60点）¶
B1.（30点） 「10万人を対象に調査したところ、新薬で症状スコアが平均0.5ポイント下がり、統計的に有意だった（p<0.001）」という発表がある。この結果を どう読むべきか、p値と効果量の違いに触れて150〜250字程度で説明しなさい。「p値が小さい＝効果が大きい」という誤解を正すこと。
B2.（30点） 「統計的に有意」と「実質的に重要」は別の軸である。 あなたの身近な例（勉強法・健康・商品の宣伝など何でもよい）で、「有意だが重要でない」または「重要そうだが（標本が小さく）有意と言えない」 にあてはまりそうな状況を1つ考え、次の2点を書きなさい。
- その状況で、p値だけを見るとどんな間違った判断をしてしまうか
- 効果量（差の大きさ）も見ると、判断はどう変わるか
文字数の目安：B1・B2あわせて 300〜500字。コピペ・引き写しは評価しない。自分の言葉で書くこと。
字数は目安です。多少の過不足で減点はしません。見るのは、設問が挙げた要素（上の箇条書き）が書けているかどうかです。ただし要素が抜けていれば、その分は引きます。
次回予告
第10回「因果推論入門：RCTと観察研究」。ここからは因果の話。「サプリを飲んだ人は健康だった。サプリのおかげ？ それとも、もともと健康志向の人が飲んだだけ？」