1何のための手法か

変数が多いとき、何を捨てて何を残すか。

手元にあるのは \(n \times p\) の数値表 \(X\) である。行はケース（集落、論文）、列は変数（語、集計値）で、各セルには数が入っている。\(p\) が 4 なら表を眺めて済むかもしれないが、24 や 37 になると、列どうしの関係を頭のなかで追うことはできない。

そこで \(p\) 個の変数を、少数の新しい変数に束ね直す。束ね方は無数にあるので、基準がいる。主成分分析が採る基準は分散である。データを 1 本の直線に射影したとき、射影された値のばらつきが最も大きくなる方向を第1主成分とし、それに直交する方向のうち次にばらつきが大きいものを第2主成分とする。以下同様に続ける。

捨てているのは分散の小さい方向である。「ばらつきが小さい＝ケースの違いを説明しない」という前提を置いて、ばらつきの大きい方向だけを残す。この前提が妥当かどうかは手法の外側の問題で、あとの 8節 で扱う。

小野原の研究では、21 集落 × 4 変数、23 ケース × 37 変数、30 編 × 24 語という 3 つの異なる形の表に対して、この同じ操作が使われている。

2定式化：分散最大化から固有値問題へ

「分散を最大にする方向」を探すと、共分散行列の固有ベクトルが出てくる。

\(p\) 次元の確率ベクトル \(x\) を考え、平均は引いてあるものとする（\(\mathbb{E}[x] = 0\)）。共分散行列を \(\Sigma = \mathbb{E}[x x^{\top}]\) と書く。単位ベクトル \(w\) の方向に射影した値 \(w^{\top}x\) の分散は、次のように \(\Sigma\) の二次形式になる。

射影した値の分散
\[ \mathrm{Var}\bigl[w^{\top}x\bigr] \;=\; \mathbb{E}\bigl[(w^{\top}x)^{2}\bigr] \;=\; w^{\top}\,\mathbb{E}\bigl[x x^{\top}\bigr]\,w \;=\; w^{\top}\Sigma\, w \]

\(w\) … 射影する方向。長さを 1 に固定しないと、\(w\) を何倍にでもして分散をいくらでも大きくできてしまう
\(\Sigma\) … 共分散行列。対称かつ半正定値

したがって第1主成分は、次の制約つき最大化問題の解として定義される。

第1主成分の定義
\[ \max_{\lVert w \rVert = 1}\; \mathrm{Var}\bigl[w^{\top}x\bigr] \;=\; \max_{w^{\top}w = 1}\; w^{\top}\Sigma\, w \]

Lagrange 乗数で解く

制約 \(w^{\top}w = 1\) を Lagrange 乗数 \(\lambda\) で取り込む。

\[ L(w,\lambda) \;=\; w^{\top}\Sigma\, w \;-\; \lambda\bigl(w^{\top}w - 1\bigr) \]

\(\Sigma\) が対称であることから \(\partial (w^{\top}\Sigma w)/\partial w = 2\Sigma w\)、\(\partial (w^{\top}w)/\partial w = 2w\) である。

停留条件
\[ \frac{\partial L}{\partial w} \;=\; 2\Sigma w \;-\; 2\lambda w \;=\; 0 \qquad\Longleftrightarrow\qquad \boxed{\;\Sigma w \;=\; \lambda w\;} \]

つまり、分散を最大にする方向 \(w\) は、共分散行列 \(\Sigma\) の固有ベクトルでなければならない。Lagrange 乗数 \(\lambda\) が、そのまま固有値になっている。

さらに、この \(w\) での目的関数の値を計算すると、

\[ w^{\top}\Sigma\, w \;=\; w^{\top}(\lambda w) \;=\; \lambda\, w^{\top}w \;=\; \lambda \]

となる。固有値そのものが、その方向に射影したときの分散である。したがって分散を最大にするには最大固有値 \(\lambda_1\) を選べばよく、第1主成分の方向 \(w_1\) は \(\lambda_1\) に対応する固有ベクトルである。

第2主成分以降

第2主成分は「\(w_1\) に直交する」という制約を追加して同じ問題を解く。対称行列の固有ベクトルは互いに直交するように取れるので、答えは第2固有値 \(\lambda_2\) の固有ベクトル \(w_2\) になる。以下同様に、

\[ \Sigma \;=\; \sum_{k=1}^{p} \lambda_k\, w_k w_k^{\top}, \qquad \lambda_1 \ge \lambda_2 \ge \cdots \ge \lambda_p \ge 0 \]

共分散行列の固有値分解が、そのまま主成分の並びを与える。主成分は互いに直交するので、新しい変数どうしは無相関になる。小野原・矢野 (2014) が引く古沢・芳賀 (1992) の定義に「ただし、総合指標間は関連がないように」と書かれているのは、この直交性のことである。

有限標本では

実際には \(\Sigma\) は分からないので、中心化した \(n \times p\) のデータ行列 \(X\) から標本共分散行列を作る。

\[ S \;=\; \frac{1}{n-1}X^{\top}X, \qquad z_{ik} \;=\; w_k^{\top}x_i \]

\(z_{ik}\) がケース \(i\) の第 \(k\) 主成分得点である。計算上は \(S\) の固有値分解ではなく \(X\) の特異値分解で求めるのが普通で、\(X = U\Sigma_{\mathrm{sv}}V^{\top}\) の \(V\) の列が \(w_k\)、特異値の二乗が \((n-1)\lambda_k\) にあたる。

3寄与率とは何か

固有値の比。累積して読む。

主成分は互いに直交するので、元のデータの分散の総和は固有値の和に等しい。

分散の分解
\[ \mathrm{tr}(\Sigma) \;=\; \sum_{j=1}^{p}\mathrm{Var}[x_j] \;=\; \sum_{k=1}^{p}\lambda_k \]

左辺は「元の変数のばらつきの総量」、右辺は「主成分ごとのばらつきの総量」である。同じものを別の座標系で数えているだけなので、一致する。

第 \(k\) 主成分の寄与率と累積寄与率
\[ c_k \;=\; \frac{\lambda_k}{\sum_{l=1}^{p}\lambda_l}, \qquad C_K \;=\; \sum_{k=1}^{K} c_k \]

\(c_k\) が寄与率（proportion of variance）、\(C_K\) が累積寄与率である。R の prcomp や FactoMineR の PCA が図の軸ラベルに印字する百分率がこれにあたる。

読み方の注意

寄与率が答えているのは「元の表にあったばらつきのうち、何割をこの軸が拾ったか」という一点だけである。

寄与率は、その軸が意味のある構造を捉えたかどうかを言わない。分析がうまくいったかどうかも言わない。2次元の図を見るということは \(C_2\) の外側を捨てるということであり、図から読める主張は \(C_2\) の範囲でしか保証されない。

もうひとつ、寄与率は変数の数と相関構造に強く依存する。相関行列を使う場合 \(\mathrm{tr} = p\) なので、変数が 4 つしかなければ \(c_1\) は大きく出やすく、変数が 37 個あれば同じ構造でも \(c_1\) は小さくなる。異なる研究のあいだで寄与率の数値を直接比べることはできない。この点は 8節 でもう一度扱う。

4主成分得点と主成分負荷量

ケースを置くのが得点、変数を置くのが負荷量。この2つは違う図である。

主成分分析の出力は 2 種類ある。同じ「Dim 1 / Dim 2」という軸の上に描かれるので混同されやすいが、プロットされている点の正体が違う。

主成分得点（principal component score）
\[ z_{ik} \;=\; w_k^{\top}x_i \qquad (i = 1,\dots,n) \]

ケース \(i\) を主成分の方向に射影した値。点の個数は \(n\)（ケースの数）。図の上の 1 点が 1 つの集落、1 編の論文にあたる。

主成分負荷量（loading）
\[ \ell_{jk} \;=\; \mathrm{Corr}\bigl(x_j,\, z_k\bigr) \;=\; w_{jk}\,\frac{\sqrt{\lambda_k}}{\sqrt{\mathrm{Var}[x_j]}} \qquad (j = 1,\dots,p) \]

変数 \(x_j\) と第 \(k\) 主成分得点との相関。点（または矢印）の個数は \(p\)（変数の数）。図の上の 1 点が 1 つの語、1 つの集計値にあたる。
なお「負荷量」の語は、固有ベクトルの成分 \(w_{jk}\) そのものを指す流儀と、上の相関を指す流儀があり、文献によって違う。

見分け方

実務的には 点の数を数えればよい。『揖斐川上流域における語彙の類型と地理的分布』の図8 は 23 ケース、図9 は 37 変数である。前者には集落名と「東京」「京都」が、後者には Tfish、Kcorrect のような変数名が並ぶ。

もうひとつの見分け方は目盛りである。データを標準化して主成分分析した場合、負荷量は相関係数なので必ず \(-1\) から \(1\) の範囲に収まり、2次元の図では半径 1 の円の内側に入る。図9 の「Variables factor map (PCA)」、および小野原・矢野 (2014) の図4 には、この円が描かれている。得点の図（図8「Individuals factor map (PCA)」）には円がなく、目盛りは \(-5\) から \(5\) を超える範囲に広がっている。

「近い」の意味が違う

得点どうしが近いとは、そのケースたちが変数全体にわたって似た値を持つということである。小野原・矢野 (2014) は「近い位置にプロットされる論文同士で使われる名詞は似ており」と書いている。

負荷量どうしが近いとは、その変数たちがケースを横断して似た動き方をするということである。同じ論文が「近い位置にプロットされる名詞同士は、論文内で似たような頻度で出現する」と述べている。

そして得点と負荷量のあいだの距離には、直接の意味がない。両者を重ねた図（biplot）で読めるのは距離ではなく方向である。あるケースの点が、ある変数の矢印と同じ向きに遠く離れていれば、そのケースはその変数の値が大きい、と読む。小野原・矢野 (2014) の図4 と、旧徳山村周辺の発表資料の図は、どちらもこの重ね描きになっている。

『揖斐川上流域における語彙の類型と地理的分布』が「主成分得点と主成分負荷量の関係を見ると」と前置きしてから結論を述べているのは、この 2 枚を突き合わせる読み方を指している。図9 で固まっている語の位置と、図8 でその方向にある集落の位置を、両方見て初めて言えることである。

5相関行列か、共分散行列か

変数の単位が違うとき、標準化しないと分散の大きい変数が軸を独占する。

2節の定式化は共分散行列 \(\Sigma\) を使った。しかし \(\Sigma\) の固有ベクトルは変数の尺度に依存する。ある変数をセンチメートルからミリメートルに直すだけで、その変数の分散は 100 倍になり、第1主成分はその変数の方向に引き寄せられる。

標準化してから主成分分析する＝相関行列を分解する
\[ \tilde{x}_j \;=\; \frac{x_j - \bar{x}_j}{s_j}, \qquad \Sigma_{\tilde{x}} \;=\; R \;=\; \bigl(\mathrm{Corr}(x_j, x_{j'})\bigr)_{j,j'} \]

標準化した変数の共分散行列は、元の変数の相関行列 \(R\) に等しい。\(\mathrm{tr}(R) = p\) なので、各変数が同じだけの「持ち分」をもって参加することになる。

単位の違う変数（身長と体重、頻度と年数）を混ぜるときは相関行列を使うのが原則である。逆に、すべての変数が同じ単位・同じ意味で測られていて、分散の大きさ自体に意味があるときは共分散行列を使う理由がある。

この研究ではどちらか

3 件とも、本文には相関行列を使ったのか共分散行列を使ったのかが明記されていない。ただし、次のことは資料から言える。

旧徳山村周辺の発表資料は元データ（21 集落 × 4 変数）を全数値で掲載している。この表を相関行列で主成分分析すると、寄与率は第1主成分 83.92%、第2主成分 15.03% となり、資料に印字された数値と一致する（このページでの検算）。同じ表を共分散行列で分析すると一致しない。したがって、この分析は標準化した主成分分析であったと判断できる。

『揖斐川上流域における語彙の類型と地理的分布』の図9 と 小野原・矢野 (2014) の図4 は、いずれも半径 1 の円が描かれた相関円の形式である。これは標準化した主成分分析の出力と整合する。前者の論文は参考文献に R のパッケージ FactoMineR を挙げており、図のタイトル「Individuals factor map (PCA)」「Variables factor map (PCA)」も FactoMineR の PCA の出力と一致する。同関数の既定は標準化ありである。ただし論文本文にその旨の記載はないので、図から読めるというところまでにとどめる。

なお前者の 2 件は、変数がいずれも 0 / 0.5 / 1 に符号化された語彙データで尺度が揃っているため、標準化の有無が結果を大きく変えない可能性はある。この点も資料からは検証できない。

63つの適用例

同じ手法が、まったく違う形の表に使われている。

研究データの形第1第2第3第4出典
(a) 揖斐川上流域の語彙23 ケース × 37 変数23.07%14.73%——図8・図9
(b) 旧徳山村周辺の語彙21 集落 × 4 変数83.92%15.03%——結果スライドの図
(c) 『行動計量学』投稿論文30 編 × 24 語20.54%12.1%10.27%9.38%図4・図5

数値はすべて各出典に印字された値。「—」は第3主成分以降の寄与率が資料に記載されていないことを示す。(c) のみ本文に第3・第4主成分の寄与率が書かれている。

(a) ランダムフォレストの結果を別の角度から確かめる

『揖斐川上流域における語彙の類型と地理的分布』では、主成分分析は「4. 分析の手順および分析手法」に挙げられていない。同節が挙げるのは系統推定（NeighborNet）、対応分析、random Forest の 3 つである。主成分分析は結果の節（5.3）に、random Forest の結果を確かめる補助として現れる。

  1. 元データ　山田 (1978, 1980) が揖斐川上流域の 21 地点で調査した基礎語彙。各語について、中核的形態素が東京方言・京都方言と対応すれば ＋、対応しなければ －、疑問なら ○、相当語が 2 つあり一方のみ対応する場合は △ と記録されている。
  2. 符号化と絞り込み　random Forest にあたって、東京・京都に対してともに ＋ になる語を省き、さらに ○ や NR が 1 集落でも含まれる語は列ごと削除した。残った変数は Tfish、Kcorrect のように「語 × 東京／京都」の形をとり、値は 1 / 0.5 / 0 に対応する。
  3. データの大きさ　図7 のヘッダに rf. 23cases, 37vars, loop=100 と印字されている。23 ケースは 21 集落に東京・京都を加えた数にあたる。
  4. 主成分分析　論文は「図8、図9 は、random Forest で用いたデータを主成分分析した結果である」と述べている。

読み取られたのは次のことである。ランダムフォレスト が特徴語として上位に挙げた grease、good、bite、fish、correct、they、he、sit、lie は、負荷量の図（図9）で丸で囲んだ位置に固まる。そして得点の図（図8）から、それらの語は日坂・東津汲・西津汲・東横山・坂本・木之本といった集落において特徴的な様相を示す。得点と負荷量の関係を合わせて見ることで、これらが「東京方言寄りの方言形と京都方言寄りの方言形を分ける語彙かつ京都寄りの語彙」であると論文は結論している。

つまりここでの主成分分析は、別の手法が出した答えを、別の座標系の上で目で確かめるために使われている。同じデータに対して、分類の重要度（random Forest）と分散の方向（主成分分析）という違う基準をあてて、同じ語の集まりが浮かび上がるかを見ている。

(b) 4つの集計値で集落差を見る ― 読者が手を動かせる例

発表資料「旧徳山村周辺地域の語彙に関する数理的側面からの再検討」は、元データを全数値で掲載している。21 集落について、4 つの集計値が印字されている。手元で再現できる例なので、以下に転記する。

4つの変数の定義（資料の記載どおり）

Ep … 東京の語彙と対応する語彙数
En … （東京の語彙と）対応しない語彙数
Wp … 京都の語彙と対応する語彙数
Wn … （京都の語彙と）対応しない語彙数

資料はさらに、東京・京都それぞれへの ＋／－ の組み合わせと 4 変数の対応を表で示している。東京 ＋ の語は「東京にも京都にも似ている（＋＋）」と「東京に似ている（＋－）」の両方が Ep に、東京 － の語は「京都に似ている（－＋）」と「どっちにも似ていない（－－）」の両方が En に入る。同様に京都 ＋ の語（＋＋ と －＋）が Wp、京都 － の語（＋－ と －－）が Wn に入る。
つまり E は東京（East）、W は京都（West）、p / n は対応の有無であり、Ep と En、Wp と Wn はそれぞれ同じ 200 語を裏表から数え直したものである。

集落郡・村EpEnWpWn
門入徳山1682717027
戸入徳山1682716630
塚徳山1682716927
櫨原徳山1702516729
山手徳山1682616728
上開田徳山1682816729
本郷徳山1682817027
下開田徳山1682716829
川上坂内1702517224
広瀬坂内1722217223
坂本坂内1732217323
鶴見藤橋1722417124
東横山藤橋1761917720
西津汲久瀬1761817521
東津汲久瀬1732217718
小津久瀬1732417423
日坂久瀬1752117720
外津汲久瀬1742317622
今庄南条1663117523
池田今立1673017226
木之本大野1762118513

発表資料のスライドに印字された表をそのまま転記した。「郡・村」列は資料では「村 / mura」と表記されている。木之本の値が「大野」となっているが、同じ資料の図では木之本は「伊香」に色分けされており、『揖斐川上流域における語彙の類型と地理的分布』の表1 も木之本町を滋賀県伊香郡としている。この 1 点は資料内で食い違っている。
Ep と En の和は 194〜197、Wp と Wn の和は 195〜198 の範囲にあり、基礎語彙 200 語には一致しない。差の理由は資料に説明がない。

  1. 元データ　資料は「『基礎語彙』と呼ばれる語彙＝『わたし』『あなた』『あたま』のようなどこの地域にも見られると思われる語彙200語（Swadesh List (Swadesh, 1950) から服部 (1955) が選んだ200語）」と述べ、山田 (1978, 1980) の集計結果を用いている。
  2. 変数とケース　資料の記載どおり「集落間の違いを出すために、Ep, En, Wp, Wn を変数、集落をケースにして主成分分析を行った」。
  3. 結果　Dim 1 (83.92%)、Dim 2 (15.03%) の平面に、集落の得点と 4 変数のベクトルを重ねて描いている。Ep と Wp は右側、En と Wn は左側を向く。
  4. 読み取り　徳山村の集落は図の左側に固まり、木之本は右端に単独で位置する。資料の考察は徳山村について「他村の集落に比べ、より一層、東京、京都の語彙と似ていない」と述べている。

考察スライドの本文は「Wn, Pn 側に偏っている」と書かれているが、図中に Pn という変数はなく、En の誤記と読める。

(c) 投稿論文の内容の時系列変化を見る

小野原・矢野 (2014) は、対応分析 にかけたのと同じ「論文 30 編 × 名詞 24 件」のデータに、主成分分析もかけている。論文は「さらに、別の角度からデータを考察するために」と動機を述べ、主成分分析を古沢ほか (1992) にもとづいて「2 種類以上の属性を持つ複数個のサンプルに対して、属性同士の関係を考慮した総合指標（ただし、総合指標間は関連がないように）を作り、それに基づいて、属性とサンプルの関係を示す分析」と定義している。

  1. 図4　主成分得点（名詞情報に基づく論文内容の傾向）と主成分負荷量（矢印で示す、頻出名詞の論文内での使われ方の傾向）を同時にプロットしている。第1主成分の寄与率 20.54%、第2主成分 12.1%、以下 第3主成分 10.27%、第4主成分 9.38% と続く。
  2. 図5 左　各論文の第1主成分得点を棒グラフにし、上を古い論文、下を新しい論文として年代順に並べ直した。2000年代に入ってから、得点が負から正に変化している。
  3. 図5 右　第1主成分負荷量。得点が正の論文に特徴的な名詞は、負荷量の大きいものから「評価」「性」「採点」「課題」「者」。得点が負の論文に特徴的な名詞は「語」「音素」「単語」「音声」「言語」。
  4. 第2主成分以下　論文は「第1主成分に見られたような時系列変化は第2主成分以下では見られなかった」と明記している。

ここで効いているのは、主成分得点を外部情報（発行年）の順に並べ直すという操作である。主成分分析そのものは年代を知らない。年代を知らずに作った軸の上でケースを並べたら、年代と対応していた、というのが読み取りの構造である。論文が第1主成分軸の解釈について「教育に関する論文が出現している可能性がある」「経済に関係するテーマの論文が出現している可能性がある」と、いずれも「可能性がある」で止めているのは、この事後的な解釈の性質を踏まえたものと読める。

7対応分析との違い

同じ「平面に布置する」でも、最小にしている量が違う。

主成分分析と 対応分析 は、どちらも低ランク近似の二乗誤差を最小にする手法であり、解は特異値分解で与えられる。図の見た目もよく似ている。違いは何を行列に入れ、どの距離で測るかにある。

最小化している量を並べる
\[ \text{PCA:}\quad \max_{\lVert w \rVert = 1} w^{\top}\Sigma\, w \qquad\Longleftrightarrow\qquad \min_{\mathrm{rank}\,\le\, K}\bigl\lVert X - \hat{X} \bigr\rVert_F^{2} \] \[ \text{CA:}\quad \min_{\mathrm{rank}\,\le\, K}\bigl\lVert D_r^{-1/2}\bigl(P - \mathbf{r}\mathbf{c}^{\top}\bigr)D_c^{-1/2} - \hat{S} \bigr\rVert_F^{2} \]

主成分分析が分解するのはデータ行列そのもの（中心化・必要なら標準化したもの）で、距離はユークリッド距離である。対応分析が分解するのは独立からのずれを周辺度数で重み付けしたもので、距離はカイ二乗距離である。

主成分分析対応分析
入力量的変数の数値表。負の値も、標準化した値も入る非負の度数表（分割表）、または 0/1 の2値データ
測っている距離ユークリッド距離（標準化の有無で変わる）カイ二乗距離。列の周辺割合 \(c_j\) で重み付け
最大化／最小化射影の分散を最大化行と列の数量化値の重み付き相関を最大化
行の大きさそのまま距離に入る（中心化はする）プロファイル化により消える
図に載るもの得点（ケース）と負荷量（変数）は別の図。重ねるなら biplot行と列を同じ平面に同時に置くのが定義
軸の指標寄与率 \(\lambda_k / \sum \lambda_l\)慣性の説明率 \(\sigma_k^2 / \sum \sigma_l^2\)。全慣性は \(\chi^2/n\)

両方かけるとどうなるか

小野原・矢野 (2014) は、同じ 30 編 × 24 語のデータに両方をかけている。結果として見えたものが違った。対応分析の図ではジャンルごとに論文が固まり、主成分分析では第1主成分得点に時系列変化が見えた。

ただし、この差は手法の違いだけによるものではない。対応分析の結果はジャンル情報を重ねて読み、主成分分析の結果は得点を年代順に並べ直して読んでいる。低次元に落とした座標を、どの外部情報と突き合わせるかでも見えるものは変わる。手法の違いと読み方の違いは、分けて考える必要がある。

『揖斐川上流域における語彙の類型と地理的分布』でも両方が使われているが、こちらは入力が違う。対応分析は東京・京都以外の集落と語彙の表に、主成分分析は random Forest 用に整形した 23 ケース × 37 変数の表にかけられている。

8限界

高い寄与率は、成功の証ではない。

寄与率 83.92% は「うまくいった」ことを意味しない

(b) の第1主成分の寄与率は 83.92% で、第2主成分と合わせると 98.95% になる。数字だけ見れば理想的だが、これは4 つの変数が互いに強く相関していたことの表れでもある。

実際、Ep と En は同じ 200 語を裏表から数えた値であり、公開されている表の上で足し合わせると 194〜197 の範囲に収まる。Wp と Wn も同様に 195〜198 である。一方が決まればもう一方はほぼ決まるので、4 変数の実質的な自由度はおおむね 2 しかない。2 次元でほぼ 100% を説明できるのは当然に近い。

寄与率が高いことは「データがうまく要約できた」とも「そもそも変数に独立な情報が少なかった」とも読める。どちらであるかは、寄与率の数値からは分からない。変数の作り方に戻って確かめるしかない。逆に (c) の 20.54% は「失敗」ではなく、24 語が互いにあまり相関していなかったことを意味する。異なる研究の寄与率を横に並べて優劣を論じることには意味がない。

線形の方向しか探さない

主成分分析が探すのは直線の方向だけである。データが曲面に沿って分布していても、あるいはケースが非線形な形で分かれていても、手法はそれを直線に射影してしまう。二乗誤差を最小にする平面は求まるが、その平面が構造を保っている保証はない。

語彙の一致数のように単調に効く量であれば線形の仮定は無理がない。しかし 0 / 0.5 / 1 に符号化した語彙データ（(a)）や、頻度を論文長で割った値（(c)）について、変数と潜在的な構造の関係が線形であるかどうかは、資料からは検証されていない。

分散を最大化するので、外れ値が軸を決める

目的関数が分散である以上、平均から大きく離れた 1 点は二乗で効く。少数の外れたケースが第1主成分の向きをほとんど決めてしまうことがありうる。

(b) の図では、木之本が Dim 1 の 4 付近に単独で位置しており、他の 20 集落から離れている。公開された表でも木之本の Wp は 185 で、次に大きい値より 8 大きい。この 1 点が第1主成分の向きにどれだけ効いているかは、木之本を除いた再計算が資料に示されていないため判断できない。(a) の図8 でも「東京」が他のケースから離れた位置にある。

一般には、外れ値を除いた場合の結果を併記するか、頑健な主成分分析を使うかで確かめる必要がある。3 件とも、その確認は行われていない。

主成分の解釈は、すべて事後的である

手法が出すのは「分散の大きい順に並んだ直交する方向」だけであり、第1主成分が何を表すかは一言も言わない。軸に名前を付けるのは分析者である。

(c) で「第1主成分軸の正の方向は教育に関する論文が出現している可能性がある」と述べられているのは、負荷量の大きい名詞（「評価」「性」「採点」「課題」「者」）を見てから与えた解釈である。論文がいずれも「可能性がある」と留保しているのは正しい書き方だが、読者には、軸のラベルが分析の出力ではなく解釈であることが見えにくい。

とくに、負荷量の上位いくつかを見て軸に名前を付ける手続きには、どこまでを見るかの基準がない。(c) は「上位 5 つ」を採っているが、この 5 という数に根拠はない。

標本数に対して変数が多い

(a) は 23 ケース × 37 変数、(c) は 30 編 × 24 語である。いずれもケース数が変数の数に近いか、下回っている。ケース数 \(n\)、変数の数 \(p\) のとき、標本共分散行列の階数は高々 \(n-1\) なので、(a) では 37 次元のうち 22 次元しか意味を持たない。

より本質的な問題は、\(n\) が小さいと標本共分散行列自体の推定が不安定になることである。固有値は上側が過大に、下側が過小に推定される傾向が知られており、寄与率も上振れしやすい。ここで印字されている 23.07% や 20.54% が、母集団の構造をどれだけ反映しているかは、この標本規模からは保証されない。

実際、(c) では第1主成分から第4主成分まで足しても 52.29% にとどまり、固有値が明確に分離していない。固有値が近接しているとき、対応する主成分の方向は標本のわずかな違いで入れ替わりうる。2 次元の図に描かれた第1・第2主成分が安定な方向であるかどうかは、資料からは判断できない。

どの変数を入れるかで、主成分は変わる

主成分は入力した変数の集合に対して定義される。変数を 1 つ足せば、すべての主成分が変わる。

(c) は 6,096 の異なり語から、論文長で正規化した頻度の標準偏差が大きい順に 24 語を選んでいる。この 24 という数は、標準偏差の減少率が安定し始める点を目視で選んだものである。(a) は、東京・京都にともに ＋ となる語と、○ や NR を含む語の列を削除して 37 変数にしている。どちらも合理的な前処理だが、別の基準で選べば別の主成分が出る。寄与率の数値は、選ばれた変数の集合に対する値であって、元のデータ全体に対する値ではない。

2次元の図は、捨てた次元について何も言わない

(a) の図8・図9 が説明しているのは 23.07 + 14.73 = 37.80% である。(c) の図4 は 20.54 + 12.1 = 32.64% にすぎない。残りの 6 割以上は、この平面に描かれていない。

したがって、図の上で 2 点が近いことは「この 2 次元では近い」以上を意味しない。捨てた軸の上で大きく離れている可能性は常にある。(b) のように第2主成分までで 98.95% を説明する場合は、この心配は小さい。しかしその高い説明率が前述のとおり変数の重複に由来しているのであれば、今度は「4 変数がそもそも何を測っていたのか」という別の問いが残る。

9出典とデータ

(a) 揖斐川上流域の語彙

  • 小野原彩香「揖斐川上流域における語彙の類型と地理的分布」研究論文。手元の刷りには誌名・巻号・発行年の記載を確認できなかったため、書誌は題名までにとどめる。
  • 主成分分析は 5.3 節、図8「主成分分析（主成分得点）」・図9「主成分分析（主成分負荷量）」。図のタイトルはそれぞれ "Individuals factor map (PCA)"、"Variables factor map (PCA)"、軸は Dim 1 (23.07%)、Dim 2 (14.73%)。
  • 元データは 山田達也 (1978)「揖斐川上流域における基礎語彙について」名古屋市立大学教養部紀要人文社会研究 22, 33–66、および 山田達也 (1980)「福井県今庄、池田方言及び滋賀県木之本方言の基礎語彙について――徳山村方言に関連して」同 24, 23–34。調査項目は Hattori, S. (1973) Japanese Dialects, Current Trends in Linguistics 11, 368–400 の 200 項目。
  • Package 'FactoMineR' (2012) は同論文の参考文献に挙げられている（対応分析について明示的に使用が記されている）。

(b) 旧徳山村周辺の語彙

  • 小野原彩香「旧徳山村周辺地域の語彙に関する数理的側面からの再検討――徳山村とその周辺には差が見られるか――」（同志社大学大学院文化情報学研究科文化情報学専攻 博士後期課程1年 当時）発表資料。手元のファイルには発表先・発表年月の記載がないため、書誌は題名と所属までにとどめる。
  • 元データは 山田 (1978, 1980)。資料は基礎語彙 200 語について、Swadesh List (Swadesh, 1950) から 服部四郎 (1955)「『言語年代学』即ち『語彙統計学』の方法について――日本祖語の年代――」季刊民族學研究 19(1), 100–101 が選んだものと記している。
  • 本ページに転記した 21 集落 × 4 変数の表は、同資料の「使用データについて」「分析手法」のスライドに印字された値である。

(c) 『行動計量学』投稿論文の分析

  • 小野原彩香・矢野環 (2014)「雑誌『行動計量学』における言語に関する投稿論文の傾向――投稿論文の時系列変化と『計量国語学』論文との比較」岸江信介・田畑智司 編『テキストマイニングによる言語研究』ひつじ研究叢書〈言語編〉第121巻、pp. 1–20、ひつじ書房。ISBN 978-4-89476-695-2
  • 主成分分析は 4.1.2 節（pp. 11–13）。図4「主成分分析」（Variables factor map (PCA)、Dim 1 (20.54%)、Dim 2 (12.1%)）、図5「第1主成分得点（左）と第1主成分負荷量（右）」。
  • 古沢正三・芳賀敏郎 (1992)『多変量解析事例集 第1集』日科技連出版社（同論文が主成分分析の定義に用いた文献）

手法の文献

  • Pearson, K. (1901) On lines and planes of closest fit to systems of points in space. Philosophical Magazine, 2(11), 559–572. doi:10.1080/14786440109462720（射影の二乗誤差最小化としての定式化）
  • Hotelling, H. (1933) Analysis of a complex of statistical variables into principal components. Journal of Educational Psychology, 24(6), 417–441. doi:10.1037/h0071325（分散最大化としての定式化）
  • Eckart, C. & Young, G. (1936) The approximation of one matrix by another of lower rank. Psychometrika, 1(3), 211–218. doi:10.1007/BF02288367（低ランク近似の最適解が特異値分解で与えられること）
  • 足立浩平・村上隆 (2011)『非計量多変量解析法：主成分分析から多重対応分析へ』シリーズ〈行動計量の科学〉9、朝倉書店。ISBN 978-4-254-12829-1

Pearson (1901)、Hotelling (1933)、Eckart & Young (1936) は本ページで手法の位置づけを説明するために挙げた一般的な文献であり、上記 (a)(b)(c) の資料に引用されているものではない。

この手法がどの観点に属するか

主成分分析は確率モデルを立てない。尤度も事前分布も出てこない。出てくるのは「どの平面に射影すればデータの形がいちばん保たれるか」という幾何の問いだけである。

そしてこの問いには 2 つの言い方がある。ひとつは 2節で解いた分散最大化、もうひとつは射影の二乗誤差最小化である。中心化したデータ \(x_i\) を単位ベクトル \(w\) の張る直線に射影すると、残差の二乗和は \(\sum_i \lVert x_i - w w^{\top}x_i \rVert^{2} = \sum_i \lVert x_i \rVert^{2} - \sum_i (w^{\top}x_i)^{2}\) となる。第1項は \(w\) に依存しないので、二乗誤差を最小にすることと、射影した値の二乗和（＝分散）を最大にすることは同じ問題である。Pearson (1901) は前者から、Hotelling (1933) は後者から同じ手法に到達した。

この「二乗誤差を最小にする低ランク近似」という枠組みは、対応分析 とも k-means とも共有されている。違うのは行列に何を入れ、どの重みで測るかだけである。7つの観点を式で読む の 観点1（幾何・最小二乗） の中心に、この同値性がある。

このページは、小野原が実際の研究で使っている手法を、同じ分野の読み手に向けて整理したものです。寄与率などの数値はすべて出典に印字された値から引用しています。5節と8節で触れた検算（相関行列での寄与率の再現、Ep と En の和の範囲）は、発表資料に公開されている表から計算したもので、その旨を明記しています。推定値や概算は記載していません。
同じデータに別の基準をあてた手法は ランダムフォレスト、同じ「平面に布置する」手法は 対応分析 と Neighbor-Net にあります。手法の位置づけの全体像は 7つの観点を式で読む、どの授業回がどの観点に当たるかは 手法と数学の地図 にあります。