1何のための手法か

有意にならなかった結果を、どう読むかを決める。

検定が有意にならなかったとき、「効果がない」と書いてはいけない。検定は帰無仮説を棄却できるかどうかしか答えず、棄却できないことは帰無仮説が正しいことを意味しない。標本が小さければ、本当に効果があっても棄却できない。

検出力は、この区別をつけるための量である。効果が本当にあるとき、それを検出できる確率として定義される。検出力が高い設計で有意にならなかったなら、効果は小さいと言ってよい。検出力が低い設計なら、何も言えていない。どちらなのかを、結果を見る前ではなく結果の解釈と同時に示す必要がある。

この研究では、査読で指摘された「効果が credible でない」という結果に対して、それが効果の不在なのか標本の小ささなのかを切り分けるために用いられた。

2定義

第二種の誤りの余事象。3つの量で決まる。

検出力の定義
\[ 1-\beta \;=\; \Pr\bigl(\text{帰無仮説を棄却} \;\bigm|\; H_1 \text{が真}\bigr) \]

\(\alpha\) … 第一種の誤り。効果がないのに「ある」と言う確率
\(\beta\) … 第二種の誤り。効果があるのに「ない」と言う確率（見逃し）
\(1-\beta\) … 検出力。見逃さない確率

検出力は、標本サイズ \(n\)、真の効果量、有意水準 \(\alpha\) の3つで決まる。単純な設計であれば解析的に書ける。たとえば1標本の \(z\) 検定なら次の形になる。

解析的に書ける場合（片側 \(z\) 検定）
\[ 1-\beta \;=\; \Phi\!\left(\frac{|\delta|\sqrt{n}}{\sigma} - z_{1-\alpha}\right) \]

\(\delta\) … 真の効果の大きさ
\(\sigma\) … 標準偏差
\(\Phi\) … 標準正規分布の累積分布関数
読み方 … \(n\) が増えると括弧の中が大きくなり検出力が上がる。効果が小さければ \(n\) で補う必要がある

4つの量のうち3つを決めれば残りが決まる

検出力・標本サイズ・効果量・有意水準は互いに結ばれている。研究計画では検出力を0.8に置いて必要な \(n\) を逆算するのが通例だが、標本サイズが先に決まってしまう観察研究では、その \(n\) で何が検出できるのかを後から評価することになる。この研究はその後者である。

3起源

Neyman と Pearson が枠組みを作り、Cohen が実務に持ち込んだ。

1933年、Jerzy Neyman と Egon Pearson は仮説検定を「2種類の誤りのバランスを取る決定問題」として定式化した（Neyman & Pearson 1933）。第一種の誤りを一定に抑えたうえで第二種の誤りを最小にする検定が最も効率的である、という枠組みであり、ここで検出力という概念が明示的に定義された。

しかし実務では長く第一種の誤りだけが注目された。1969年、心理学者 Jacob Cohen が Statistical Power Analysis for the Behavioral Sciences を著し、行動科学の研究者に検出力分析を届けた。効果量の指標として広く使われる Cohen's \(d\) も同じ流れにある。

計算機が手法を変えた

解析的な検出力計算が使えるのは、検定統計量の帰無分布と対立分布の両方が書ける場合に限られる。階層モデルや混合モデルでは、それが閉じた形で書けないことが多い。計算機が安価になったことで、データを生成して数えるという方法が一般的になった。シミュレーションベースの検出力計算はその産物である。

4Cohen の警告と、再現性問題

検出力の低い研究を量産すると、文献全体が信用できなくなる。

Cohen は1962年、Journal of Abnormal and Social Psychology の1960〜61年の78本の論文を調べ、仮説に関わる検定を含む70本について検出力を計算した。結果は、中程度の効果に対して統計的な確認を得る確率が平均して2分の1未満というものだった（Cohen 1962）。標本サイズは合理的な検出力分析ではなく、慣習や都合や交渉で決まっていた。

低い検出力は、見逃しだけの問題ではない

検出力が低い設計では、有意になった結果のほうも歪む。効果が小さいとき、偶然大きく出た標本だけが有意の閾値を越えるため、報告される効果量が真の値より大きくなる。さらに、有意でない結果が出版されにくければ、文献に残るのは過大な推定値ばかりになる。出版バイアスと低検出力が組み合わさると、個々の研究に不正がなくても、分野全体の推定が系統的にずれる。

再現性問題の議論で検出力が繰り返し取り上げられるのは、この構造のためである。追試が失敗するのは、元の研究が嘘だったからとは限らない。元の研究の設計が、効果を安定して捉えられる水準になかったという説明で足りることが多い。

5設計ベースのシミュレーション

公式に当てはめるのではなく、実際の設計からデータを作って数える。

この研究のモデルは、項目・集落・学区の3層の変量効果を持つベータ二項混合モデルである。検出力の解析式は存在しない。そこで、実際の設計をそのまま使ってデータを生成する方法を取る。

  1. 設計を固定する　各集落の実際の中学生数と高年世代数、実際の標準化人口成長率と規模、102項目、25集落という構造をそのまま用いる。仮想的な均衡設計ではなく、現実の不均衡をそのまま持ち込む点が要点である。
  2. 分散構造を借りる　実データに当てはめたカウントレベルモデル fit_rawcount から、変量効果の分散成分を取る。
  3. 真の効果を置く　世代×成長の交互作用の真値を \(\beta_{\text{true}} \in \{0,\,-0.15,\,-0.30,\,-0.50\}\) と決める。
  4. 生成する　その真値のもとでベータ二項データを生成する。各水準につき100データセット。
  5. 推定し直す　生成したデータを高速な一般化線形混合モデル（lme4、nAGQ=0、観測レベル変量で過分散を近似）で推定する。
  6. 数える　交互作用の95%信頼区間が0を下回った割合を検出力とする。あわせて推定値の分布も記録する。
検出力を割合として数える
\[ \widehat{1-\beta} \;=\; \frac{1}{S}\sum_{s=1}^{S} \mathbf{1}\bigl\{\,\text{CI}^{(s)}_{\text{upper}} < 0 \,\bigr\}, \qquad S=100 \]

\(\mathbf{1}\{\cdot\}\) … 条件が成り立てば1、そうでなければ0
読み方 … 生成した100個のうち、交互作用が確かに負だと言えたものの割合。これがこの設計の検出力の推定値になる

この推定にも誤差がある

各水準100回なので、検出力の推定自体が二項分布に従う標本値である。真の検出力が0.12前後なら、100回での標準誤差はおよそ0.03になる。表の数値を小数第2位まで確定した値として読むべきではない。

6この研究での結果

推定量は正しい。足りないのは検出力のほうだった。

\(\beta_{\text{true}}\)推定の平均90%範囲検出力
0−0.015[−0.284, 0.254]0.02
−0.15−0.147[−0.447, 0.179]0.12
−0.30−0.317[−0.636, −0.066]0.39
−0.50−0.541[−0.876, −0.257]0.82

数値は 20_power_simulation.R の出力 power_simulation.csv をそのまま引用。各水準100シミュレーション。

推定量は不偏である

推定の平均は真値をほぼ正確に回収している（−0.15 に対して −0.147、−0.30 に対して −0.317、−0.50 に対して −0.541）。モデルが偏った推定を返しているわけではない。問題はばらつきの大きさにあり、90%範囲はいずれの水準でも広く、−0.15 と −0.30 では0をまたいでいる。

現実的な効果量では、ほとんど検出できない

言語変化の研究で想定される効果の大きさ、つまり −0.15 から −0.30 の範囲で、検出力は12%から39%にとどまる。100回この研究を繰り返しても、効果を捉えられるのは12回から39回である。0.8に達するのは −0.50 という大きな効果を置いたときだけだった。

観測値をこの分布の上に置く

実データでの交互作用の推定値は −0.165 である。これは \(\beta_{\text{true}}\) が −0.15 から −0.20 のあたりに置かれたときの分布と整合し、効果が0のときの分布の中心（−0.015）からは外れている。つまり観測は、検出力が足りなかった中程度の効果と読むほうが自然である。

この結果が変えたのは、主張の書き方である

検出力シミュレーションは効果の存在を証明しない。できるのは、「効果がなかった」という読み方を退けることだけである。この研究では、集計モデルと個票レベルモデルで方向が一致していること、そして設計の検出力が低いことを併記したうえで、主結果を「方向は一貫しており示唆的だが、設計上の検出力の限界により決定的ではない」という形に書き改めている。

あわせて、集計モデルが示していた高い精度（事後確率0.99）が、高年世代の人数が極端に少ないこと（中央値で数名）による不確実性を無視した結果であることも明らかになった。検出力の評価は、他の結果の読み直しにも波及している。

7出典とデータ

シミュレーションは 20_power_simulation.R に実装され、実デザインの再構成から生成・再推定・集計までを一続きに実行する。入力は解析マスタと集落一覧で、出力は power_simulation.csv と図 FigS_power である。解析は R スクリプトとして手順化され、原データファイルは改変せず作業コピー経由でのみ読む構成になっている。

手法の文献

  • Neyman, J. & Pearson, E. S. (1933) On the problem of the most efficient tests of statistical hypotheses. Philosophical Transactions of the Royal Society of London, Series A, 231, 289–337. doi:10.1098/rsta.1933.0009
  • Cohen, J. (1962) The statistical power of abnormal-social psychological research: a review. Journal of Abnormal and Social Psychology, 65(3), 145–153. doi:10.1037/h0045186
  • Cohen, J. (1969) Statistical Power Analysis for the Behavioral Sciences.

この手法がどの観点に属するか

検出力は、真の値を固定したうえで標本を取り直したときに手続きがどれだけ当たるかを測る量である。第一種の誤りと同じく、繰り返しのなかでの割合として定義される。このシミュレーションがしていることは、解析式が書けない設計について、その割合を生成によって直接数えることにほかならない。7つの観点を式で読むの観点2（頻度論）に書いた「確率がかかっているのは区間のほうで、パラメータは動かない」という構図が、そのまま当てはまる。

このページは、小野原が実際の研究で使っている手法を、同じ分野の読み手に向けて整理したものです。数値はすべて解析スクリプトの出力から引用し、推定値や概算は記載していません。
手法の位置づけの全体像は 7つの観点を式で読む、どの授業回がどの観点に当たるかは 手法と数学の地図 にあります。