1何のための手法か

「どの対象が、どのカテゴリと結びついているか」を、1枚の図にする。

手元にあるのは \(I \times J\) の分割表 \(N\) である。行は対象（論文、回答者）、列はカテゴリ（名詞、方言項目）で、各セルには度数が入っている。問いは、どの行とどの列が結びついているかという一点にある。

素朴には、行ごとに使用率を出して並べればよさそうに見える。しかし列が24個も30個もあると、表を眺めて全体の構造を掴むことはできない。次元を落として図にしたい。ここで主成分分析を使うこともできるが、主成分分析が布置するのは行か列のどちらか一方である。対応分析は、行と列を同じ平面に同時に置く。「この論文はこの語を特徴的に使う」「この世代はこの方言を使う」という結びつきを、点と点の近さとして読めるようにする。

これが、小野原の2つの研究で対応分析が中核に据えられている理由である。論文分析では30編の論文と24語を、方言調査では809人の回答者と調査項目を、それぞれ1枚の図に載せている。

2起源

分割表の連関を相関に読み替えるという発想から、フランスのデータ解析へ。

出発点は Hirschfeld (1935) である。分割表の行と列にそれぞれ数値を割り当て、その相関が最大になるように選ぶ、という問題を立てた。今日の言葉で言えば、正準相関の離散版にあたる。

これを体系化したのが Benzécri (1973) で、L'Analyse des Correspondances としてフランスのデータ解析学派の中心的な道具になった。モデルを立てて検定するのではなく、データの幾何構造をそのまま図にするという姿勢が特徴で、英語圏には Greenacre の一連の仕事を通じて広まった。日本語では足立・村上 (2011) が主成分分析からの連続として整理しており、小野原・矢野 (2014) もこの本を引いて対応分析を定義している。

論文中での定義

小野原・矢野 (2014) は対応分析を「同一対象群に対して名義尺度によって観測された変量が複数個得られた際に、対象間の近さ遠さ、各変量に属するカテゴリ間の近さ遠さ、対象と各カテゴリ間の近さ遠さの関係を低次元空間で同時に表現する視覚化法」と述べている。3種類の近さを同時に扱うという点に力点が置かれている。

3数学的にどこから来ているか

カイ二乗距離のもとでの特異値分解。重み付きの最小二乗近似である。

総度数を \(n\) として対応行列 \(P = N/n\) を作る。行和を \(\mathbf{r}\)、列和を \(\mathbf{c}\) とし、\(D_r = \mathrm{diag}(\mathbf{r})\)、\(D_c = \mathrm{diag}(\mathbf{c})\) と書く。対応分析が分解するのは、行と列が独立だとしたときからのずれである。

標準化した残差を特異値分解する
\[ S \;=\; D_r^{-1/2}\bigl(P - \mathbf{r}\mathbf{c}^{\top}\bigr)D_c^{-1/2} \;=\; U\,\Sigma\,V^{\top} \]

\(\mathbf{r}\mathbf{c}^{\top}\) … 行と列が独立なら期待される割合
\(D_r^{-1/2},\,D_c^{-1/2}\) … 周辺度数による重み付け。まれな行・列ほど大きく扱う
\(\Sigma\) … 特異値 \(\sigma_1 \ge \sigma_2 \ge \cdots\)。各軸の「慣性」の平方根

全慣性はカイ二乗統計量そのもの

\[ \sum_{k}\sigma_k^{2} \;=\; \lVert S \rVert_F^{2} \;=\; \frac{\chi^{2}}{n} \]

独立からのずれの総量が、そのまま分解の対象になっている。各軸の説明率 \(\sigma_k^2 / \sum_l \sigma_l^2\) は、このずれのうち何割をその軸が拾ったかを表す。

使っている距離はユークリッドではない

\[ d_{\chi^2}(i,i')^{2} \;=\; \sum_{j} \frac{1}{c_j}\left(\frac{p_{ij}}{r_i} - \frac{p_{i'j}}{r_{i'}}\right)^{2} \]

行を合計1のプロファイル \(p_{ij}/r_i\) に直してから比べる。各項を列の周辺割合 \(c_j\) で割るのがカイ二乗距離の定義であり、ここが主成分分析との分かれ目である。

主成分分析との違いを式で並べる

主成分分析が最大化するのは、ユークリッド距離のもとでの分散である。

\[ \text{PCA:}\quad \max_{\lVert w \rVert = 1} w^{\top}\Sigma\, w \qquad\Longleftrightarrow\qquad \min_{\mathrm{rank}\le K} \lVert X - \hat{X} \rVert_F^{2} \] \[ \text{CA:}\quad \min_{\mathrm{rank}\le K}\; \bigl\lVert D_r^{-1/2}(P - \mathbf{r}\mathbf{c}^{\top})D_c^{-1/2} - \hat{S} \bigr\rVert_F^{2} \]

どちらも低ランク近似における二乗誤差の最小化であり、解は特異値分解で与えられる（Eckart–Young）。違うのは、何を行列に入れ、どう重み付けするかだけである。
主成分分析は生の値（あるいは標準化した値）を、対応分析は独立からのずれを周辺度数で重み付けしたものを分解する。

したがって対応分析は、7つの観点の観点1（幾何）にある「主成分分析も同じ発想」という節の、そのまた延長線上にある。設計行列と重みを取り替えただけで、最小にしているものは変わっていない。

4定義と仮定

入力は非負の度数表。行の大きさは消える。

  1. 非負の度数であること　分割表として意味を持つ必要がある。負の値や、意味の違う量が混在した表には使えない。
  2. 行プロファイル化　各行を合計1に直してから比べるので、行の大きさの違いは消える。論文の長さ、回答者数の違いは距離に入らない。逆に言えば、量そのものを問いたいときには向かない。
  3. 軸は慣性の大きい順に出る　第1軸は最も多くのずれを拾う方向として決まる。その軸が何を意味するかは、手法は答えない。
  4. 次元は連続的に落ちる　\(K\) 次元に落としたときの損失は \(\sum_{k>K}\sigma_k^2\) で決まる。2次元の図を見るということは、第3軸以降を捨てるということである。

5この研究での使い方

2つの研究で、行と列の中身がまったく違う。

(A) 学術誌の投稿論文分析（2014）

行が論文、列が名詞である。学際分野の学術誌で、どんな話題がどう移り変わってきたかを問う研究である。

  1. 対象の選定　J-STAGE 上で公開されている『行動計量学』481編のうち、題名・キーワード・本文に「方言」「言語」「音声」「テキストマイニング」が現れる30編を選んだ。
  2. データクリーニング　英語要旨、巻末の参考文献、文中の参考文献情報、数式、記号、所属欄の内容、図表の文字情報、謝辞を除外した。
  3. 形態素解析と集計　MeCab で解析し、MTMiner で名詞の件数のみを集計した。異なり語数は6,096である。
  4. 長さの正規化　論文ごとに長さが違うため、論文 \(d_i\) の総名詞数 \(n_i\) で割った \(tf_j/n_i\) を各語の頻度とした。
  5. 語の絞り込み　この値の標準偏差 \(s\) を語ごとに計算し、大きい順に並べた。減少率が安定し始める24語目までを採用した。
  6. 対応分析　30編 × 24語の表に対応分析をかけた。
  7. 主成分分析　同じデータ構造に主成分分析もかけ、別の角度から見た。
語を選ぶのに使った標準偏差
\[ s \;=\; \sqrt{\frac{1}{30-1}\sum_{i}\left(\frac{tf_j}{n_i} - \overline{\left(\frac{tf_j}{n_i}\right)}\right)^{2}} \]

論文ごとの使われ方のばらつきが大きい語ほど、論文の違いをよく表すという考え方による。全語を入れると、どの論文にも等しく現れる語が軸を占めてしまう。

手法第1軸第2軸第3軸第4軸読めたこと
対応分析14.45%13.01%——論文がジャンルごとに固まる
主成分分析20.54%12.1%10.27%9.38%第1主成分得点に時系列変化

数値は小野原・矢野 (2014) 本文から引用。対応分析は第3軸以降の説明率が論文に記載されていないため空欄とした。

なぜ両方をかけたのか

論文は「別の角度からデータを考察するために」同じ 30編 × 24語 のデータで主成分分析を行ったと述べている。結果として、2つの手法は違うものを見せた。

対応分析の図では、論文が年代別に固まっているように一見見える。しかし元の論文をジャンル（音声・社会調査・教育・心理・テキストマイニング・他）で分けて重ねると、年代ではなくジャンルごとに固まっていることが分かった。1995年・2003年・2011年に特集が組まれ、同じジャンルの論文が複数掲載されたことが、年代に見えた原因である。つまり対応分析が拾ったのは「分野によって使う語が違う」という構造だった。

一方、主成分分析では第1主成分得点を年代順に並べ直すことで、2000年代に入ってから得点が負から正へ変化することが見えた。第1主成分負荷量の正側は「評価」「性」「採点」「課題」「者」、負側は「語」「音素」「単語」「音声」「言語」で、教育に関する話題への移行と読める。この時系列変化は第2主成分以下では見られなかった。

ただし正確に言えば、この差は手法だけによるものではない。対応分析の結果はジャンル情報を重ねて読み、主成分分析の結果は得点を年代順に並べ直して読んでいる。低次元に落とした座標をどの外部情報と突き合わせるかで、見えるものが変わっている。

(B) 県境の方言調査（2015）

行が回答者、列が方言項目である。滋賀県米原市と岐阜県関ケ原町という、近江と美濃の旧国境をまたぐ地域で、方言の使用と理解がどう分かれるかを問う調査である。

  1. 調査　質問紙他記式。米原市の3中学校区（柏原・河南・伊吹山）と関ケ原町の2中学校区（今須・関ケ原）の中学生と、その地域に在住する成人を対象とした。成人は親世代（60歳未満）と祖父母世代（60歳以上）に区分している。
  2. 規模　調査実施人数は中学生544人・成人329人。有効回答は809人、有効回答率92.6%。調査時期は2015年11〜12月。
  3. 項目　全40項目106語について、「知っているか／知らないか」と、使用・不使用を聞いた。
  4. 対応分析　回答者と調査項目を同じ図に布置した（図2）。さらに中学校区別（図3）、東西対立項目（図4）、地域の類似関係（図6）、近江系・美濃系それぞれの使用率（図8・図9）、中学生の学校方言（図13）と、冊子全体で繰り返し用いられている。

読み取られたこと

図2では、中学生・親世代・祖父母世代が図の左から右へきれいに分かれ、原点の上側に関ケ原町、下側に米原市の対象者が集中した。世代によって使うことばが違い、かつ両市町のあいだでも違うという結果である。調査項目のほうも、左側が若い世代で使われることば、右に行くほど高年層のことばとして並んだ。

冊子は対応分析を「多次元のデータを低次元に縮約することで、データの傾向を把握しやすくする手法」と紹介している。専門用語を最小限にしたうえで、図の読み方（近い点どうしは似た回答）を先に示す構成になっている。

6限界

図はよく読めるが、読めているのは一部である。

2次元の図が説明しているのは、全体の3割に満たない

(A) の対応分析は、第1軸 14.45%、第2軸 13.01% である。合わせても 27.46%にすぎない。残りの7割以上は、この平面に描かれていない第3軸以降に入っている。主成分分析でも第1・第2で 32.64%、第4軸まで足してようやく 52.29% である。

したがって、図の上で2点が近いことは「この2次元では近い」以上を意味しない。捨てた軸の上で大きく離れている可能性は常にある。逆に、図の上で離れている点が実際に無関係だとも限らない。布置図から読める主張は、説明率の範囲でしか保証されない。

軸の意味は、手法ではなく分析者が与えている

対応分析が出すのは、慣性の大きい順に並んだ軸だけである。第1軸が「新しい↔古い」を表すとも、第2軸が「関ケ原↔米原」を表すとも、手法は一言も言わない。

(B) の図2には横軸に「新 ← → 古」、縦軸に「関ケ原 ↑ ／ 米原 ↓」と書き込まれているが、これは布置を見てから分析者が与えた解釈である。世代と地域という既知の情報が軸に沿って並んだことを確認したうえで名前を付けており、順序としては正しい。ただし読者には、軸のラベルが分析の出力ではなく解釈であることが見えにくい。一般向けの資料ではとくに注意が要る点である。

カイ二乗距離は、まれなカテゴリを重く扱う

距離の定義に \(1/c_j\) が入っているため、出現の少ない列ほど軸を強く引っ張る。1編の論文にしか出てこない語、1人しか使わない方言項目が、第1軸を決めてしまうことがありうる。

(A) が全6,096語をそのまま使わず、標準偏差の上位24語に絞ったのは、この影響への対処でもある。論文自身は「件数がかなり低いものも含まれる。これらは、分析の際に大きな影響をおよぼすことがないため、あらかじめ除外するのが望ましい」と述べている。ただしどこで切るかは分析者の判断であり、24語という閾値は標準偏差の減少率が安定する点を目視で選んだものである。

行の大きさが消えることは、長所でも短所でもある

プロファイル化により、論文の長さや回答者数の違いは距離に入らない。分量の違う対象を比べられるのは利点だが、「よく使われている」という量の情報は落ちる。ある語が全体の何割を占めるかを問いたいなら、対応分析の図からは読めない。(A) が語の出現件数や IDF を表2に併記しているのは、この不足を補う配置だと読める。

7出典とデータ

(A) 学術誌の投稿論文分析

  • 小野原彩香・矢野環 (2014)「雑誌『行動計量学』における言語に関する投稿論文の傾向——投稿論文の時系列変化と『計量国語学』論文との比較」岸江信介・田畑智司 編『テキストマイニングによる言語研究』ひつじ研究叢書〈言語編〉第121巻、pp. 1–20、ひつじ書房。ISBN 978-4-89476-695-2（2014年12月3日 初版1刷）
  • 分析対象は J-STAGE 上で公開されている『行動計量学』の論文。『計量国語学』側は学会ウェブサイトで公開されている題名とキーワード（1957–1987年、CSV形式）。

(B) 県境の方言調査

  • はびろネット『滋賀・岐阜県境を越えた方言ハンドブック』（「まいばら協働事業提案制度」採択事業、東西東西プロジェクト）。米原市柏原地区の市民グループによる発行物。
  • あとがきによれば、はびろネットは2014年度から同制度に採択され「東西東西プロジェクト」を展開しており、2015年度のテーマがことば（方言）文化であった。関ケ原町でも同様の調査が検討されていたため共同企画として実施され、県境を越えたアンケート調査となった。調査にあたっての助言と分析は小野原彩香・杉崎好洋が担当したと記されている。

この冊子は査読論文ではない

(B) は地域の市民グループが発行した一般向けの調査報告冊子であり、学術誌に投稿・査読を経た論文ではない。方言辞典やコラムを含む読み物としての構成を取っており、分析手法の詳細（使用したソフトウェア、前処理、軸の選択基準など）は記載されていない。ここで引用しているのは、冊子に印刷された調査概要と図、および本文の記述である。

手法の文献

  • Hirschfeld, H. O. (1935) A connection between correlation and contingency. Mathematical Proceedings of the Cambridge Philosophical Society, 31(4), 520–524. doi:10.1017/S0305004100013517
  • Benzécri, J.-P. (1973) L'Analyse des Données. Tome 2: L'Analyse des Correspondances. Paris: Dunod.
  • 足立浩平・村上隆 (2011)『非計量多変量解析法：主成分分析から多重対応分析へ』シリーズ〈行動計量の科学〉9、朝倉書店。ISBN 978-4-254-12829-1
  • 古沢正三・芳賀敏郎 (1992)『多変量解析事例集 第1集』日科技連出版社（小野原・矢野 2014 が主成分分析の定義に用いた文献）

小野原・矢野 (2014) の参考文献欄では足立・村上 (2011) の副題が「主成分分析から対応分析へ」と表記されているが、書籍の正式な副題は「主成分分析から多重対応分析へ」である。ここでは書誌情報を優先した。

この手法がどの観点に属するか

対応分析は確率モデルを立てない。独立からのずれを行列に並べ、低ランク近似の二乗誤差を最小にすることで軸を決める。解が特異値分解で与えられる点も、主成分分析や k-means と同じ構造である。違うのは距離の測り方だけで、最小化しているものは変わらない。7つの観点を式で読むの観点1（幾何・最小二乗）にそのまま重なる。

このページは、小野原が実際の研究で使っている手法を、同じ分野の読み手に向けて整理したものです。数値はすべて出典に印刷された値から引用し、推定値や概算は記載していません。
同じ研究で併用された系統ネットワークについては Neighbor-Net を、手法の位置づけの全体像は 7つの観点を式で読む、どの授業回がどの観点に当たるかは 手法と数学の地図 にあります。