1何のための手法か

分類そのものより、「分けているのは何か」を知りたい。

対象が \(n\) 個あり、それぞれに \(p\) 個の説明変数と、1つの所属ラベルが与えられているとする。ラベルを当てる規則を作るのが分類問題だが、小野原の研究でこの手法が呼び出される場面は、当てること自体が目的ではないことが多い。

揖斐川上流域の研究では、まず基礎語彙から集落の系統推定を行い、そこで得られた枝のまとまりを分類ラベルとして与え直している。そのうえで「集落を分けている要因になっている語彙が何であるか」をランダムフォレストによって求めた、と述べられている。分類器の精度ではなく、分類に効いた変数の順位のほうが読みたい出力である。

統計教育の調査でも同じ使い方をしている。理系出身とそれ以外の学生の自由記述を分け、両群のあいだで出現頻度に顕著な相違が認められる語を「特徴語」として取り出すために、この手法が用いられた。

2起源 ―― 1本の木から、束へ

CART の決定木を、ブートストラップと変数の無作為選択で束ねたもの。

出発点は Breiman, Friedman, Olshen, Stone (1984) の CART（Classification and Regression Trees）である。説明変数の値で対象を2つに割り、割ったことで不純度がどれだけ減るかを基準に分割を選び、これを再帰的に繰り返して木を育てる。

1本の木は解釈しやすいが不安定で、データがわずかに変われば木の形が変わる。Breiman (2001) は、この不安定さを欠点ではなく利用できる資源として扱う枠組みを与えた。互いに少しずつ違う木を大量に育て、その多数決を取る。小野原の論文では「ランダムフォレストは CART 法による決定木のアンサンブル学習と言える」と要約されている。

個々の木は弱くてよい、という設計

揖斐川上流域の2本の論文は、この手法を「決して精度の高くない分類方法を複数組み合わせて精度を向上させ、分析に用いる方法である」と紹介している。素朴には奇妙な説明に見えるが、次節の分散の式を見れば、これが手法の設計思想をそのまま述べたものだと分かる。強い予測器を1つ作るのではなく、弱くて互いに似ていない予測器を多数作ることに賭けている。

3観点4「学習理論」との対応

期待リスクと経験リスクの差に、上界でも実測でもない第三の答え方をする。

学習理論が扱う問いは、手元で計算できる経験リスク \(\hat{R}(f)\) と、本当に小さくしたい期待リスク \(R(f)\) の差をどう押さえるか、という一点にある。7つの観点の観点4では、この差を複雑さの項で上から押さえる汎化境界の形を挙げた。

観点4の基本形（再掲）
\[ R(f) \;=\; \mathbb{E}_{(x,y)\sim P}\bigl[\ell(f(x),y)\bigr], \qquad \hat{R}(f) \;=\; \frac{1}{n}\sum_{i=1}^{n} \ell\bigl(f(x_i),y_i\bigr) \]

\(P\) … データが従う分布。中身は分からないが存在すると考える
\(\ell\) … 損失関数。確率モデルは立てない

同じ観点に置いたLOO 感度分析は、この差を実測で埋めにいく。標本を1つずつ抜いて当てはめ直し、抜いた点での損失を平均する。ランダムフォレストの答え方はどちらとも違う。仮説集合を制限するのでも、抜き差しで測るのでもなく、予測器そのものを平均して分散を下げる。

Breiman が証明したのは収束であって、無敵性ではない

Breiman (2001) の主張は2つある。第一に、木の数を増やしていくと森の汎化誤差はある極限へほとんど確実に収束する。発散しない、という形の主張である。第二に、その極限の上界は、個々の木の強さと木どうしの相関という2つの量で決まる。次節の分散の式は、この第二の主張の直感的な姿にあたる。

42つのランダム化は、何のためにあるか

相関の低い予測器を平均すると、分散が落ちる。落ち方に上限があることが重要。

木を作るときに、2箇所で乱数を使う。1つはブートストラップで、木ごとに標本を復元抽出し直して違うデータを見せる。もう1つは各分割での変数の無作為選択で、分割を選ぶ候補を毎回 \(p\) 個すべてではなく一部に絞る。小野原の論文でも「決定木の生成においてはすべての対象を使用せず、ブートストラップ法により対象を選択する。これに加え、変数もランダムに選択し、1本の決定木を生成する」と2段階が明記されている。

なぜ2つ要るのか。\(B\) 本の木の予測を \(T_1(x),\dots,T_B(x)\) とし、どれも分散 \(\sigma^2\) を持ち、任意の2本のあいだの相関が \(\rho\) だとする。このとき平均した予測器の分散は次の形になる。

相関のある予測器を平均したときの分散
\[ \mathrm{Var}\!\left(\frac{1}{B}\sum_{b=1}^{B} T_b(x)\right) \;=\; \rho\,\sigma^{2} \;+\; \frac{1-\rho}{B}\,\sigma^{2} \]

第2項 … 木を増やせば \(B\) で割られて消える。ここがブートストラップの効き所
第1項 … \(B\) を含まない。木をいくら増やしても残る
\(\rho\) … 木どうしの相関。これを下げない限り第1項は下がらない

第1項が、変数を無作為に選ぶ理由のすべてである

ブートストラップだけで木を育てると、強い説明変数が1つあれば、どの木もその変数を根の近くで使ってしまう。結果として木どうしがよく似る、つまり \(\rho\) が大きくなり、上の式の第1項が高止まりする。木の本数をいくら増やしても、この項は消えない。分割のたびに候補変数を絞るのは、強い変数に全部の木が飛びつくのを禁じて \(\rho\) を下げるための操作である。Breiman が汎化誤差の上界を「強さと相関」で書いたことと、この式は同じことを別の言い方で述べている。

剪定しない理由 ―― 偏りと分散の分担

1本の決定木では、深く育てすぎると手元のデータに合いすぎるため、交差検証で木を刈り込む（剪定する）のが普通である。ランダムフォレストはこれを行わない。小野原の論文にも「ランダムフォレストでは未剪定の決定木を生成し組み合わせることで分類精度の向上を図る」とある。分担がはっきりしている。個々の木は深く育てて偏りを小さくし、分散のほうは平均に引き受けさせる。上の式で第2項が \(B\) とともに消えることが、この分担を支えている。

5変数重要度と Gini 係数 ―― 観点5への橋

「分けたことで不確かさがどれだけ減ったか」を、木の全体で平均する。

節点 \(t\) におけるクラス \(k\) の割合を \(p_{k|t}\) と書く。CART が分割の良し悪しを測るのに使う不純度には、次の2つがよく用いられる。

Gini 不純度とエントロピー
\[ G(t) \;=\; 1-\sum_{k} p_{k|t}^{2}, \qquad\qquad H(t) \;=\; -\sum_{k} p_{k|t}\log p_{k|t} \]

どちらも、節点の中が1つのクラスで占められているとき 0 になり、混ざっているほど大きくなる

分割は、これがいちばん減る形を選ぶ。減り方は親と子の加重差で書ける。

分割による不純度の減少
\[ \Delta G(t) \;=\; G(t) \;-\; \frac{n_L}{n_t}G(t_L) \;-\; \frac{n_R}{n_t}G(t_R) \]

左右の子の不純度を、そこへ流れた対象の割合で重み付けして引く。観点5の情報利得 \(\mathrm{IG} = H(\text{親}) - \sum_c \frac{n_c}{n}H(\text{子}_c)\) と、同じ形をしている

変数 \(x_j\) の重要度は、森のすべての木を通じて、その変数が使われた分割での減少分を足し上げて平均したものになる。R の出力では MeanDecreaseGini という名前で返る。

平均 Gini 減少量
\[ \mathrm{MDG}(x_j) \;=\; \frac{1}{B}\sum_{b=1}^{B}\ \sum_{t\in\mathcal{T}_b\,:\,v(t)=j} \Delta G(t) \]

\(v(t)=j\) … 節点 \(t\) の分割に変数 \(x_j\) が使われたことを表す
値が大きい変数ほど、分類に寄与したと読む

Gini 係数はエントロピーの代用である

小野原の博士論文は、この点を明示して次のように書いている。「Random forest における Gini 係数とはエントロピーの代用であり、特徴量の変数（ここでは語彙）の分類の際の重要度を計算するために用いられる」。Gini 不純度と情報利得は別の指標だが、どちらも分けることで不確かさがどれだけ減るかを測っている点で同じ発想に立つ。7つの観点の観点5（情報理論）に「決定木は情報の増え方で分ける」という節を置いたのは、この対応による。観点4の手法でありながら、変数重要度の部分だけは情報理論の物差しで動いている。

重要度の定義は、論文によって違う

揖斐川上流域の3つの報告（2012年の研究報告、『揖斐川上流域における語彙の類型と地理的分布』、博士論文）は、いずれも MeanDecreaseGini すなわち上の不純度減少にもとづく重要度を使っている。一方、統計教育の調査（2013年）は「変数の1つにノイズを与え、ノイズによる不純度と正しい不純度の差のすべての決定木による平均を正規化した値が重要度となる」と説明しており、これは変数を撹乱して精度の落ち方を見る別系統の重要度の記述にあたる。同じ手法名でも、どちらの重要度を読んでいるかで結果の意味は変わる。

6この研究での使い方

3つの場面。前の2つは変数重要度を読むため、最後の1つは地図を描くため。

（1）方言の系統分類を分けている語彙を探す

  1. 系統推定を先に行う　山田 (1978, 1980) が報告した基礎語彙をもとに、揖斐川上流域 21 地点に東京・京都を加えた集落について NeighborNet で系統推定を行う（系統ネットワークを参照）。枝の信頼度はブートストラップ 1000 回で求めている。
  2. 枝のまとまりをラベルにする　得られたまとまりを、典型（東京・京都・木之本）、徳山（門入・戸入・塚・櫨原・山手・上開田・本郷・下開田）、坂内（川上・広瀬・坂本）、藤橋久瀬（東横山・西津汲・東津汲・日坂・外津汲）、小津鶴見（小津・鶴見）、周辺（今庄・池田）の6つにコード分けする。
  3. 列を落とす　東京・京都に対してともに対応する語、および欠損を表す記号が1集落でも含まれる語は、その語の列そのものを削除する。すべて同じ値を示す列は分析に組み込まれないためである。
  4. 森を育てる　各回の決定木の数を 500 とし、それを 100 回繰り返して、Gini 係数減少平均値の分布を求める。図の見出しには rf. 23cases, 37vars, loop=100、乱数の種として seed = 200 が記録されている。
  5. 上位語を対応分析の結果と突き合わせる　重要度の上位に挙がったのは grease、good、bite、fish、correct、they、he、sit、lie であった。これらを対応分析で抽出した特徴語と対照し、重複するものを確認している。

数値・語はいずれも印刷された論文および博士論文の本文から引用。対象は 23 ケース × 37 変数。

（2）理系出身とそれ以外で、自由記述の語が違うかを見る

統計教育の調査では、データサイエンス科目の受講生 303 名に 38 問のアンケートを実施し（2012年度 12月21日、同志社大学京田辺校地 情報メディア館の演習室3教室、自己記入式）、そのうち自由記述の設問について形態素解析を行った。名詞・動詞・形容詞・副詞の4品詞を対象に、unigram と bigram で特徴語を抽出している。外的基準は、高校生のころ何系のクラスだったかという付帯質問による理系・理系以外の別である。決定木は 500 本。結果として「データサイエンス」という語が理系出身の記述に特徴的に現れ、「理解」と「できる」という bigram、「説明」と「ほしい」という bigram が理系以外の出身に多く現れた。

この論文には、500 という数の説明に食い違いがある

統計教育の論文は、手法の説明では「本研究では 500 本の決定木を生成し、ランダムフォレストを行った」と書いている。一方その次ページでは、先行研究（金・村上 2007）がランダムフォレストを 100 回繰り返して平均を取っていることを挙げたうえで、「本研究におけるランダムフォレストの 500 回の繰り返しは妥当な回数であると考えられる」と述べている。同じ 500 が、木の本数とも繰り返し回数とも読める形で書かれている。

方言研究の側では両者が明確に分かれており、「各回の決定木の数は 500 としてそれを 100 回繰り返し」と書かれている。ここでは印刷された記述をそのまま示すにとどめ、どちらが正しいかの判定はしない。

（3）ワイン用ブドウの栽培適地を推定する

岩崎亘典を筆頭とし、小野原が第3著者として加わった共同研究である。千曲川ワインバレー（東地区）特区の 1104 の3次メッシュを対象に、現地踏査と聞き取りでワイン用ブドウ圃場の位置を把握して目的変数とし、地形・気象・地質・土地利用を説明変数とした。圃場ありのメッシュが 44 しかないため、圃場なしのメッシュをダウンサンプリングしている。機械学習モデルとしてランダムフォレストを、線形回帰モデルとしてロジスティック回帰を当て、推定結果を地図として出力した。

場面ラベル変数木読みたい出力
方言の系統分類系統推定の枝（6区分）語彙 37500 × 100回Gini 減少の上位語
統計教育の自由記述理系／理系以外unigram・bigram500特徴語
栽培適地の推定圃場あり／なし地形・気象・地質記載なし適地の地図

「記載なし」は、要旨に木の本数の記述が見当たらないことを示す。推測は記載していない。

7限界 ―― この手法で言えないこと

よく当たることと、正しい理由で当たっていることは別である。

F1 値が近くても、出てくる地図は違う

栽培適地の研究がそのまま例になっている。学習に用いたデータの F1 値は、ランダムフォレストが 0.67、ロジスティック回帰が 0.62 であった。差は小さい。ところが推定地図は大きく異なった。ロジスティック回帰は高標高の地域まで適地と推定したのに対し、ランダムフォレストによる評価ではこれらの範囲が含まれなかった、と報告されている。

評価指標が1つ近いことは、2つの手法が同じことを言っている証拠にはならない。とくに成果物が地図である場合、どこが適地かという空間的な配置こそが結論であって、要約された1つの数値ではない。なお、この F1 値は学習に用いたデータで計算されたものであり、未知のメッシュに対する当たり方を示すものではない点にも注意が要る。

変数重要度は「何が効いているか」ではなく「何が見分けに使えるか」しか言わない

同じ研究の予備的な解析では、ランダムフォレストとロジスティック回帰のいずれでも、国土数値情報の「その他の農地」の寄与が最も高かった。しかしこれは栽培適地の特性を示すものではなく、農地が集積して立地していることを反映していると判断され、土地利用に関する要素を除いて分析がやり直されている。

重要度が高い変数は、ラベルをよく予測する変数である。それが対象の性質を説明しているかどうかは、手法の外側で判断するしかない。ここでは分析者がその判断を下し、変数を落とすという形で対処している。

Gini にもとづく重要度には、変数の型による偏りがある

不純度の減少にもとづく重要度は、取りうる値の数が多い変数や、尺度の粗さが異なる変数のあいだで公平ではない。Strobl ら (2007) は、予測変数が測定の尺度や水準の数において異なる状況では、この重要度が信頼できないことを示し、非復元の部分抽出を用いる解決策を与えている。連続変数とカテゴリ変数が混在する設計では、順位そのものが手法の副産物である可能性を疑う必要がある。

なお『揖斐川上流域における語彙の類型と地理的分布』では、この点について「Gini 係数だけではなく、別の変数重要度決定法でも random Forest を行ったが特徴語として上位に挙がった単語は Gini 係数による結果と一致した」と、別の重要度で確かめた旨が記されている。変数がすべて同型の2値語彙データであることも、この事例では偏りが出にくい方向に働いている。

「過剰適合しない」と書き切ることはできない

統計教育の論文には「ランダムフォレストは過剰適合しないとされる（Breiman, 2001）」という記述がある。原典が示したのは、より限定された主張である。木の数を増やしていくと汎化誤差はある極限へほとんど確実に収束する、つまり発散しない、という形の結果であり、その極限の上界が個々の木の強さと木どうしの相関で決まる、というものである。

したがって「木を増やしすぎたせいで過剰適合する」ことは起きない。だが、その収束先が低いことは保証されていない。ラベルに誤りが多い場合、標本が小さい場合、あるいは有効な変数がごく少ない場合には、収束先そのものが高いままになりうる。木の本数を増やすことと、データに対して適合しすぎないことは、別の問題である。

100 回の繰り返しが消しているのは、乱数の揺れだけである

方言研究では森を 100 回作り直し、Gini 係数減少平均値の分布として重要度を示している。図が点ではなく箱ひげで描かれているのはそのためである。これによって乱数の引き方による順位の揺れは均される。ただしそれは、同じデータを同じ手続きにかけたときのばらつきにすぎない。標本が別の 23 集落だったら何が上位に来たか、という問いには答えていない。繰り返しを増やしても、推定の不確実性そのものが減るわけではない。

ラベルの作り方が、答えを半分決めている

方言研究では、ランダムフォレストに与える分類ラベルが、先立つ系統推定の結果そのものである。したがってこの手続きが答えているのは「系統推定が作った区分を、どの語がよく再現するか」であって、「集落が本当はどう分かれるか」ではない。系統推定の段階で別のまとまりを採っていれば、上位に来る語も変わる。栽培適地の研究にも同じ構造がある。現在圃場がある場所を適地としてモデルを作っているが、論文自身が「現状圃場がない場所が栽培不適とは限らない」と明記している。

8出典とデータ

この手法が使われている小野原の報告は次のとおり。所属はいずれも発表時点の記載による。

手法の文献

  • Breiman, L. (2001) Random forests. Machine Learning, 45(1), 5–32. doi:10.1023/A:1010933404324
  • Breiman, L., Friedman, J. H., Olshen, R. A. & Stone, C. J. (1984) Classification and Regression Trees. Wadsworth, Belmont, California.
  • Strobl, C., Boulesteix, A.-L., Zeileis, A. & Hothorn, T. (2007) Bias in random forest variable importance measures: Illustrations, sources and a solution. BMC Bioinformatics, 8, 25. doi:10.1186/1471-2105-8-25
  • 金明哲・村上征勝 (2007) ランダムフォレスト法による文章の書き手の同定. 統計数理, 55(2), 255–268.

Breiman, Friedman, Olshen, Stone の書誌は、統計教育の論文の参考文献欄では Friedman が Freidman と綴られている。ここでは原著の綴りに従った。

この手法がどの観点に属するか

ランダムフォレストは、データが従う分布も誤差の形も仮定しない。損失を小さくすることだけを目標に置き、まだ見ていないデータでの当たり方を、予測器を平均するという形で改善しにいく。確率モデルを立てないまま予測を扱う点で、7つの観点を式で読むの観点4（学習理論・リスク最小化）に属する。同じ観点のLOO 感度分析が期待リスクとの差を実測で埋めにいくのに対し、こちらは分散を下げることで差を詰める。ただし変数重要度の部分だけは、不純度の減少という観点5（情報理論）の物差しで測られている。

このページは、小野原が実際の研究で使っている手法を、同じ分野の読み手に向けて整理したものです。数値はすべて印刷された論文・要旨・博士論文の本文から引用し、推定値や概算は記載していません。
手法の位置づけの全体像は 7つの観点を式で読む、どの授業回がどの観点に当たるかは 手法と数学の地図 にあります。