1何のための手法か

当てはまりの良さではなく、まだ見ていないデータでの当たり方を知りたい。

学習理論が本当に小さくしたいのは期待リスク \(R(f)=\mathbb{E}_{(x,y)\sim P}[\ell(f(x),y)]\) である。ところがデータの従う分布 \(P\) は分からないので、手元で計算できるのは経験リスク \(\hat{R}(f)\) だけになる。同じデータで当てはめて同じデータで測れば、当てはまりは必ず良く出る。この二つの量の差をどう埋めるかが、観点4の中心的な問いである。

7つの観点を式で読むでは、この差を上から押さえる道具として汎化境界 \(R(f) \le \hat{R}(f) + \mathfrak{C}(\mathcal{F},n,\delta)\) を挙げた。複雑さの項を理論的に評価する道である。交差検証はそれとは別の道をとる。実際に一部を隠して、隠した分で測る。理論的な上界ではなく、標本の抜き差しによる直接の見積もりである。

一つ抜き交差検証は、その最も極端な形にあたる。隠すのは毎回ひとつだけで、残り全部で当てはめる。訓練に使えるデータを最大限に残せるので、小標本で使いやすい。米原・関ケ原の研究が集落 \(n=25\) という規模であることは、この手法を選ぶ直接の理由になっている。

2起源 ―― 予測のための標本再利用として

当てはめの評価ではなく、予測の評価のために作られた。

交差検証は 1970 年代に、Seymour Geisser と Mervyn Stone によってほぼ同時期に独立に定式化された。Geisser (1975) は自らの手続きを「予測的標本再利用（predictive sample reuse）」と呼んでいる。この名前が手法の性格をよく表している。新しいデータを取ってこられないとき、手元の標本を訓練用と評価用に繰り返し使い回すことで、予測の良さを測るという発想である。

1990 年代に機械学習の標準的な評価手法となったのち、ベイズ推定の文脈で再び道具立てが整えられた。Vehtari, Gelman & Gabry (2017) は、事後標本を作り直さずに一つ抜きの予測性能を見積もる計算法を整理し、重点重みを安定化させるパレート平滑化重点サンプリング（PSIS）を導入した。brms の loo() はこの実装であり、米原・関ケ原の研究が使っているのもこれである。

米原・関ケ原の研究では二つの役割で使われている

ひとつはモデル比較である。空間ランダム効果を入れた模型と入れない模型の、どちらが予測において良いかを loo() で比べている。もうひとつは影響度分析で、1集落を外すと結果がどれだけ動くかを見る。後者はモデル選択ではなく、疫学や生態学の感度分析の伝統に近い使い方である。同じ「一つ抜き」でも目的が違い、計算の仕方も違う。第4節と第5節で分けて扱う。

3数学的にどこから来ているか

期待値を標本平均で置き換える、という一点に尽きる。

交差検証が拠っているのは、知りたい期待値を計算可能な平均で置き換えるという操作である。期待リスクは分布 \(P\) についての積分だが、\(P\) は分からない。そこで各観測を一度ずつ「まだ見ていないデータ」の役に回し、そこでの損失を平均する。

一つ抜き交差検証の定義
\[ \widehat{R}_{\mathrm{LOO}} \;=\; \frac{1}{n}\sum_{i=1}^{n} \ell\Bigl(f^{(-i)}(x_i),\; y_i\Bigr) \]

\(f^{(-i)}\) … 第 \(i\) 観測を除いて当てはめた模型
\(\ell\bigl(f^{(-i)}(x_i), y_i\bigr)\) … その模型が、当てはめに使わなかった点をどれだけ当てたか
\(n\) … 観測数。当てはめ直しも \(n\) 回必要になる

ベイズ模型では損失として対数予測密度をとる。このとき評価されるのは点推定ではなく事後予測分布であり、不確実性を含んだまま予測の良さが測られる。

ベイズ流の一つ抜き（elpd）
\[ \mathrm{elpd}_{\mathrm{LOO}} \;=\; \sum_{i=1}^{n} \log \int p\bigl(y_i \mid \theta\bigr)\, p\bigl(\theta \mid y_{-i}\bigr)\, d\theta \]

\(p(\theta \mid y_{-i})\) … 第 \(i\) 観測を除いた事後分布
elpd … expected log pointwise predictive density。大きいほど予測が良い
模型どうしの比較では、この差 \(\Delta\mathrm{elpd}\) とその標準誤差を見る

情報量規準との関係

観点5（情報理論）で扱う AIC は、当てはまりに複雑さの罰則を足して予測の良さを見積もる規準だった。一つ抜き交差検証は、罰則の形を理論的に導く代わりに、実際に抜いて測る。同じ「未知データでの予測」を狙いながら、片方は解析的に、片方は標本操作で到達する。7つの観点を式で読むで同じ式が別の観点から読めると述べているのは、こういう関係を指している。

4近似と、その代償

定義どおりに実装すると、ベイズ模型では現実的でなくなる。

第3節の定義をそのまま実装すると、観測数と同じ回数だけ当てはめ直すことになる。最小二乗のような軽い当てはめなら問題にならないが、MCMC で事後分布を得るベイズ模型では、\(n\) 回のサンプリングを走らせることになり現実的でない。

そこで、全データで一度だけ得た事後標本を使い回す。第 \(i\) 観測を除いた事後分布は、全データの事後分布を重み付けし直したものとして書けるからである。重みはその観測の尤度の逆数に比例する。

重点重み ―― 抜いた分を重みで打ち消す
\[ w_i^{(s)} \;\propto\; \frac{1}{p\bigl(y_i \mid \theta^{(s)}\bigr)} \qquad \theta^{(s)} \sim p(\theta \mid y) \]

\(\theta^{(s)}\) … 全データの事後から得た \(s\) 番目の標本
観測 \(i\) をよく説明する \(\theta\) ほど重みが小さくなる。これで「\(i\) を見ていない事後」を近似する

問題は、この重みが非常に大きな値をとりうることである。ある観測が模型にとって極端で、それを説明できる \(\theta\) が事後のごく一部にしかないとき、重みの分布は右に重い裾を持ち、少数の標本が総和を支配する。推定は不安定になる。PSIS は重みの上位側に一般化パレート分布を当てはめて平滑化し、この裾を抑える。

近似である以上、効いているかを確かめる必要がある

一般化パレート分布の形状パラメータの推定値 \(\hat{k}\) が、そのまま診断量になる。\(\hat{k}\) が大きいほど裾が重く、重点サンプリングの収束が悪い。従来は \(\hat{k} > 0.7\) を目安に、その観測については近似が信頼できないと判断してきた（標本数に依存する閾値が後に提案されている）。

ここで注意すべきなのは、診断が引っかかった観測こそが、その模型にとって最も影響の大きい観測であるという点である。\(\hat{k}\) が大きいとは、その1点を抜くと事後が大きく動くということにほかならない。近似の破れと、結果の脆さとは、同じことの裏表である。

この研究で実際に出た診断

空間ランダム効果を入れない模型では、25 観測すべてで \(\hat{k} \le 0.7\) だった。一方、ICAR 空間ランダム効果を入れた模型では 24 観測（96.0%）が良好で、1 観測が \(\hat{k} > 0.7\) に入った。実行ログにはモーメント合わせを勧める警告がそのまま残っている。この模型は採用されなかったため再計算は行われていない。近似が全域で効いているとは限らない、という実例である。

模型elpdp_loolooicパレート \(\hat{k}\)
階層ベータ（空間項なし）33.8 ± 2.64.4−67.725/25 が良好
＋ICAR 空間ランダム効果33.1 ± 2.44.8−66.324/25 が良好、1 が 0.7 超
差（空間あり − なし）−0.7 ± 0.3———

8,000 事後標本 × 25 観測の対数尤度行列から算出。空間項を足すと elpd はわずかに下がる。差が標準誤差の 2 倍程度にとどまるため強い選好とは言えないが、空間項を入れる理由がデータにないことの根拠として使われている。

5この研究での使い方 ―― 何を単位として抜くか

抜く単位を、従属関係のまとまりに合わせる。

この研究の主分析は、集落を単位とした集計模型である。25 集落それぞれについて、祖父母世代が使い中学生世代が使わなくなった語彙の割合（消失率）を応答とし、人口成長率を説明変数に置く。1 集落が 1 行という構造なので、この模型では一つ抜きと「1集落抜き」が一致する。

小野原はこれを LOSO（Leave-One-Settlement-Out）と呼び、集計ベータ回帰を 25 回完全に当てはめ直している。第4節の重点サンプリングによる近似ではなく、定義どおりの計算である。ベータ回帰の当てはめは軽いので近似を使う必要がない。

  1. 全データでの推定　25 集落すべてで人口成長率の標準化係数を推定する。\(b = +0.246\)、\(p < .0001\)。
  2. 1集落ずつ外す　集落 \(i\) を除いた 24 集落で同じ模型を当てはめ直し、係数と \(p\) 値を記録する。これを 25 回繰り返す。
  3. 係数の動きを見る　係数は \(b \in [0.115,\ 0.267]\) の範囲で動いた。符号はすべて正で、方向は一貫している。
  4. 有意性の維持を数える　25 通りのうち 24 通りで \(p<.05\) を維持した。崩れたのは1通りだけである。
  5. 仕様への頑健性も確認する　中学校区をランダム効果ではなく固定効果にした版でも \(b = +0.228\)、\(p<.0001\) と変わらない。

有意性が、最も信頼できない1集落に依存していた

崩れた1通りは「杉澤」を外した場合である。この集落は祖父母世代の回答者が 1 名しかおらず、人口成長率は 25 集落中最大の 1.315、消失率は 0.5 と高い。外すと係数は \(b = 0.115\)、\(p = 0.2501\) となり、有意性が失われる。

つまり、正の関連そのものは 24 集落で一貫している一方で、統計的有意性は、回答者1名という最も推定精度の低い集落が支えている。高レバレッジかつ低信頼の点に主結果が駆動されている、という構図である。LOSO はこれを具体的な数字として示した。

なぜ「集落」を単位にするのか ―― カウントレベル模型との対比

集計模型では 1 集落 = 1 観測なので、抜く単位を考える余地はない。問題になるのは、同じ研究が並行して走らせているカウントレベル模型のほうである。こちらは語彙項目 × 集落 × 世代の 5,100 セルを直接モデル化する。ここで素朴に 1 セルだけ抜いても、同じ集落の他のセルから情報が漏れる。同一集落のセルは共通のランダム効果を通じて互いに従属しているからである。1 セルを隠しても、模型はその集落をほぼ知ったままになる。

この状況で予測性能を正しく見積もるには、抜く単位を従属関係のまとまりに合わせる必要がある。集落まるごとを抜けば、その集落について模型は本当に何も知らない状態になる。「新しい集落が来たときにどれだけ予測できるか」を問うなら、抜く単位は集落でなければならない。一つ抜き交差検証における単位の選択は、計算の都合ではなくどの予測課題を評価したいのかの表明である。

三方向のロバストネス検証のうちの一角である

LOSO は単独で使われているのではなく、集計値で分析することの危うさを三方向から確かめる構成の一角にあたる。残り二つは、集計せず生の人数のままモデル化するカウントレベル模型と、隣接集落を統合して標本を増やしてからの再分析である。三つの結果は同じ方向を向いていない。

分析単位人口成長 → 消失読み方
集計ベータ回帰（主分析）25 集落+0.23確信区間が 0 を除外
LOSO（影響度分析）24 集落 × 25 通り0.115 〜 0.267方向は一貫、有意性は 24/25
カウントレベル模型5,100 セル+0.17区間が 0 をまたぐ
集落統合（祖父母 5 名以上）12 ユニット−0.07関連が消える

集計から生データへ、統合へと単位を変えるにつれて主張が弱くなる。この勾配そのものが結果であり、論文では暫定的な位置づけを支える根拠として報告されている。

6限界 ―― この手法で言えないこと

予測の良さを測る道具であって、正しさを保証する道具ではない。

係数が動かないことは、模型が正しいことを意味しない

LOSO で係数が安定していても、それは「どの1点を抜いても同じ答えが出る」ことを示すだけである。模型の形が誤っていれば、誤った答えが安定して出る。交差検証が測るのは予測性能であって、因果構造でも模型の妥当性でもない。

elpd の差は、小さいと解釈が難しい

この研究の空間あり・なしの差は \(-0.7 \pm 0.3\) である。標準誤差の 2 倍強という大きさで、決定的な差ではない。差が小さいときに「良い」と言い切れないのはこの手法の性格であり、実際この研究も「空間項は適合を改善しない」という形で、弱い結論にとどめている。

抜く単位を変えれば、評価している問いも変わる

1 セルを抜くのと 1 集落を抜くのとでは、予測性能の数値が違うのは当然である。どちらが正しいという話ではなく、問いが違う。「同じ集落の別の語彙項目を予測する」のか「新しい集落を予測する」のかで、評価すべき単位が変わる。この選択を明示しないまま数値だけを比べることはできない。

小標本では診断そのものが不安定になる

この研究の集計模型は \(n=25\) である。パレート \(\hat{k}\) の推定も、elpd の標準誤差も、この規模では精度に限りがある。診断が良好だったことは近似が破綻していないことを示すが、それ以上の保証ではない。

7出典とデータ

滋賀県米原市から岐阜県関ケ原町にかけての 25 集落を対象とした、3 世代方言語彙調査のデータにもとづく分析である。集計模型のベイズ推定は brms と Stan、LOSO の再当てはめは betareg による。モデル比較の loo() 出力と LOSO の全 25 行の結果は、実行ログと CSV として保存されている。

手法の文献

  • Geisser, S. (1975) The predictive sample reuse method with applications. Journal of the American Statistical Association, 70(350), 320–328. doi:10.1080/01621459.1975.10479865
  • Vehtari, A., Gelman, A. & Gabry, J. (2017) Practical Bayesian model evaluation using leave-one-out cross-validation and WAIC. Statistics and Computing, 27, 1413–1432. doi:10.1007/s11222-016-9696-4
  • Vehtari, A., Simpson, D., Gelman, A., Yao, Y. & Gabry, J. (2024) Pareto smoothed importance sampling. Journal of Machine Learning Research, 25. jmlr.org（初出は arXiv:1507.02646, 2015）

この手法がどの観点に属するか

一つ抜き交差検証は、確率模型の正しさを問わず、まだ見ていないデータでの損失だけを見る。手元で計算できる経験リスクと、本当に知りたい期待リスクの差を、標本の抜き差しで直接見積もる道具である。汎化境界が複雑さの項で上から押さえるのに対し、こちらは実測で埋めにいく。7つの観点を式で読むの観点4（学習理論・リスク最小化）に重なる。同じ「未知データでの予測」を情報量規準の側から見たものが、観点5の AIC にあたる。

このページは、小野原が実際の研究で使っている手法を、同じ分野の読み手に向けて整理したものです。数値はすべて解析スクリプトの実行結果から引用し、推定値や概算は記載していません。
手法の位置づけの全体像は 7つの観点を式で読む、どの授業回がどの観点に当たるかは 手法と数学の地図 にあります。