1幾何（最小二乗）

点の集まりに、いちばん近い線（面）を引く。ずれの二乗和を最小にする。

線I線II微I
何を最小にするか
\[\hat{\beta} \;=\; \arg\min_{\beta} \; \lVert \mathbf{y} - X\beta \rVert^2\]

\(\mathbf{y}\) … 観測した値を縦に並べたベクトル
\(X\) … 説明変数を並べた行列（設計行列）
\(\lVert\cdot\rVert^2\) … 二乗和。ずれの大きさを測るものさし

解は連立一次方程式になる

\[X^{\top}X\hat{\beta} = X^{\top}\mathbf{y}\]

正規方程式。左辺の行列を分解（QR・Cholesky）して解く。ここが線形代数Ⅰの守備範囲。

解は直交射影である

\[\hat{\mathbf{y}} = X(X^{\top}X)^{-1}X^{\top}\mathbf{y} = H\mathbf{y}\]

\(H\) は射影行列。予測値は、観測値を「説明変数が張る空間」に垂直に落とした影である。

主成分分析も同じ発想

\[\max_{\lVert w \rVert = 1} w^{\top}\Sigma w \quad\Longrightarrow\quad \Sigma w = \lambda w\]

分散が最大になる方向を探すと、共分散行列の固有ベクトルに行き着く。

k-means も二乗和の最小化

\[\min_{C,\mu} \sum_{k}\sum_{i \in C_k} \lVert x_i - \mu_k \rVert^2\]

まとまりの中心からの距離の合計を小さくする。確率モデルは立てない。

授業で扱う回：統計学Ⅰ 第10回、統計学Ⅰ 第13回

この観点に当たる、実際の研究で使っている手法

研究で使う手法：Gower距離 ―― 名義尺度のアクセント型から、集落間の距離を作る

研究で使う手法：対応分析 ―― 行と列を同じ平面に置き、カイ二乗距離で布置する

研究で使う手法：系統ネットワーク（Neighbor-Net）―― 距離行列を分割に分け、混ざりを許して描く

研究で使う手法：主成分分析 ―― 分散が最大になる方向を探すと、固有値問題になる

研究で使う手法：媒介中心性 ―― 交通網の最短経路から、集落の行きにくさを測る

研究で使う手法：話者正規化つきアクセント距離 ―― 時間の伸び縮みを許して音声の型を比べる

2頻度論（標本変動・推定・検定）

母集団のパラメータは固定された値で、ランダムなのは標本のほうだと考える。標本を取り直したときのばらつきで、推定量や検定の質を測る。パラメータを選ぶ原理としてよく使われるのが最尤法だが、尤度はベイズでも使う。

微I微II線I
何を最大にするか
\[\hat{\theta} \;=\; \arg\max_{\theta} \; \ell(\theta), \qquad \ell(\theta) = \sum_{i=1}^{n} \log p(x_i \mid \theta)\]

\(p(x_i\mid\theta)\) … パラメータ \(\theta\) のもとで、その観測が出る確率（密度）
\(\ell(\theta)\) … 対数尤度。掛け算を足し算に直すために対数を取る
\(\hat{\theta}\) … 最尤推定量。尤度を最大にする値

最大化の条件は微分＝0

\[\frac{\partial \ell(\theta)}{\partial \theta} = 0\]

この左辺をスコア関数という。解けない場合はニュートン法などで数値的に解く。

推定のばらつきは情報量で決まる

\[I(\theta) = -\,\mathbb{E}\!\left[\frac{\partial^2 \ell}{\partial \theta^2}\right], \qquad \sqrt{n}\,(\hat{\theta}-\theta) \;\xrightarrow{d}\; N\!\left(0,\, I(\theta)^{-1}\right)\]

二階微分（曲がり具合）が大きいほど、推定は安定する。信頼区間はここから出る。

正規誤差を仮定すると幾何と一致する

\[p(y \mid X,\beta) \propto \exp\!\left(-\frac{\lVert \mathbf{y}-X\beta \rVert^2}{2\sigma^2}\right)\]

対数を取ると二乗和の最小化そのものになる。最小二乗と最尤が同じ答えを出すのはこのため。

頻度論が評価するのは、手続きの当たり率

\[ \Pr\big(\theta \in \mathrm{CI}(X_1,\dots,X_n)\big) = 0.95 \qquad \text{（標本を取り直したときの割合）} \]

確率がかかっているのは区間のほうで、\(\theta\) は動かない。検定の第一種の誤りも、同じく「手続きを繰り返したときの割合」として定義される。

授業で扱う回：統計学Ⅰ 第7回、統計学Ⅱ 第7回

この観点に当たる、実際の研究で使っている手法

研究で使う手法：ベータ回帰 ―― 0と1のあいだの割合を、区間の外に出さずにモデル化する

研究で使う手法：Rarefaction ―― 標本の大きさを揃えて、語彙の豊かさを比べる

研究で使う手法：検出力シミュレーション ―― 効果があるとき、それを検出できるか

研究で使う手法：Mantel検定 ―― 距離行列どうしの対応を、行と列の同時並べ替えで検定する

研究で使う手法：線形混合モデルとAIC ―― 入れ子の観測を最尤で扱い、モデルを選ぶ

研究で使う手法：重回帰分析と変数選択 ―― VIFで共線性を見て、全部分集合から選ぶ

3ベイズ

観測前の知識とデータを合わせて、信念を更新する。パラメータのほうが分布を持つ。

微I微II線I
更新の式
\[p(\theta \mid D) \;=\; \frac{p(D \mid \theta)\, p(\theta)}{p(D)}, \qquad p(D)=\int p(D\mid\theta)p(\theta)\,d\theta\]

\(p(\theta)\) … 事前分布。データを見る前の信念
\(p(D\mid\theta)\) … 尤度。頻度論で最大化していたもの
\(p(\theta\mid D)\) … 事後分布。更新後の信念

予測も分布で出す

\[p(\tilde{x} \mid D) = \int p(\tilde{x}\mid\theta)\, p(\theta \mid D)\, d\theta\]

1つの値ではなく、これから出るデータの分布を返す。不確実性を持ったまま予測する。

分母の積分が難しいので近似する

\[\log p(D) \;\ge\; \mathbb{E}_{q}\!\left[\log p(D,\theta) - \log q(\theta)\right] \;=\; \mathrm{ELBO}(q)\]

変分推論は、この下界を最大にする \(q\) を探す。MCMCは積分を標本で置き換える。

仮説が有限個なら、足し算と割り算で計算できる

\[ P\!\left(p=\tfrac34 \,\middle|\, \text{表・表・表}\right) = \frac{(3/4)^3}{(1/4)^3+(3/4)^3} = \frac{27}{28} \]

表の確率が \(1/4\) か \(3/4\) のどちらかで、事前をそれぞれ \(1/2\) としたとき。分母は積分ではなく有限個の足し算。この段階なら、微積分を学ぶ前でも事前・尤度・事後の更新を実際に計算できる。連続なパラメータに移ると積分が必要になり、近似が要る。

Ridge回帰はベイズのMAP推定

\[\arg\max_{\beta} \left[\log p(\mathbf{y}\mid\beta) + \log p(\beta)\right] \;=\; \arg\min_{\beta}\left[\lVert \mathbf{y}-X\beta\rVert^2 + \lambda\lVert\beta\rVert^2\right]\]

事前分布に正規分布を置くと、罰則付き最小二乗と同じ式になる（\(\lambda = \sigma^2/\tau^2\)）。

授業で扱う回：統計学Ⅰ 第12回、統計学Ⅱ 第3回

この観点に当たる、実際の研究で使っている手法

研究で使う手法：ベイズ推定（Stan / brms）―― 事前分布・収束診断・事後分布の読み方

研究で使う手法：ICAR 空間ランダム効果 ―― 隣接関係を事前分布に入れる

研究で使う手法：アクセント類統合のベイズ系統推定 ―― 統合という現象そのものを突然変異として書く（方法論・実装：高橋卓也氏）

4学習理論（リスク最小化）

手元のデータではなく、まだ見ていないデータでの損失を小さくしたい。確率モデルは立てなくてよい。

微II線I線II
本当に小さくしたいもの
\[R(f) \;=\; \mathbb{E}_{(x,y)\sim P}\left[\ell\big(f(x),\,y\big)\right] \qquad \text{（期待リスク）}\]

\(P\) … データが従う分布。中身は分からないが、存在すると考える
\(\ell\) … 損失関数。予測が外れたときの痛み
\(f\) … 学習する関数（モデル）

手元で計算できるのは経験リスクだけ

\[\hat{R}(f) = \frac{1}{n}\sum_{i=1}^{n} \ell\big(f(x_i),\,y_i\big), \qquad \hat{f} = \arg\min_{f \in \mathcal{F}} \hat{R}(f)\]

これが経験リスク最小化（ERM）。学習とは、この最小化のことだと割り切る。

差を押さえるのが汎化境界

\[R(f) \;\le\; \hat{R}(f) \;+\; \underbrace{\mathfrak{C}(\mathcal{F},\,n,\,\delta)}_{\text{モデルの複雑さの項}}\]

モデルの自由度が高いほど、右の項は大きくなる。正則化は、この項を抑える操作にあたる。

SVMは余白を最大にする

\[\min_{w,b}\ \tfrac{1}{2}\lVert w\rVert^2 + C\sum_{i=1}^{n}\xi_i \quad \text{s.t.}\quad y_i(w^{\top}x_i+b) \ge 1-\xi_i,\ \ \xi_i \ge 0\]

境界から最も近い点までの距離を広く取る。確率を一切仮定しない分類法。

授業で扱う回：いまのところなし

この観点に当たる、実際の研究で使っている手法

研究で使う手法：LOO 感度分析 ―― 抜く単位を、従属関係のまとまりに合わせる

研究で使う手法：ランダムフォレスト ―― 相関の低い木を平均して、分散だけを下げる

5情報理論

短く符号化できることを、よい説明とみなす。モデル選択の物差しになる。

微I微II
不確かさの量
\[H(p) \;=\; -\sum_{x} p(x)\log p(x), \qquad D_{\mathrm{KL}}(p \,\|\, q) \;=\; \sum_{x} p(x)\log\frac{p(x)}{q(x)} \;\ge\; 0\]

\(H(p)\) … エントロピー。その分布の予測しにくさ
\(D_{\mathrm{KL}}\) … 真の分布 \(p\) をモデル \(q\) で表したときの、無駄な符号長
等号 … 2つの分布が一致するときだけ0になる

交差エントロピーは最尤と同じもの

\[H(p,q) = H(p) + D_{\mathrm{KL}}(p\,\|\,q) \qquad \Longleftrightarrow \qquad \min_{q} H(p,q) \;\equiv\; \max_{q}\ \text{尤度}\]

分類モデルの損失に交差エントロピーを使うのは、最尤推定をしているのと同じである。

AICは当てはまりと複雑さの釣り合い

\[\mathrm{AIC} = -2\,\ell(\hat{\theta}) + 2k\]

\(k\) はパラメータ数。当てはめを良くしても、パラメータを増やした分は差し引かれる。

決定木は情報の増え方で分ける

\[\mathrm{IG} = H(\text{親}) - \sum_{c}\frac{n_c}{n}H(\text{子}_c)\]

分けたことで不確かさがどれだけ減ったかを測り、いちばん減る分割を選ぶ。

授業で扱う回：統計学Ⅰ 第11回

この観点に当たる、実際の研究で使っている手法

研究で使う手法：正規化圧縮距離 ―― 圧縮できた量で、構造の違う対象どうしの近さを測る

6ゲーム・敵対

競い合う二者の釣り合いとして学習を捉える。片方が良くなると、もう片方が困る。

微II線II
最小化と最大化が同時に起きる
\[\min_{G}\ \max_{D}\ V(D,G) \;=\; \mathbb{E}_{x\sim p_{\text{data}}}\big[\log D(x)\big] \;+\; \mathbb{E}_{z\sim p_z}\big[\log\big(1-D(G(z))\big)\big]\]

\(G\) … 生成する側。本物らしい偽物を作りたい
\(D\) … 見分ける側。本物と偽物を区別したい
\(\min\max\) … 片方の最善手に対して、もう片方が最善手を返す。釣り合った点が解

最悪の場合に備える形も同じ構造

\[\min_{\theta}\ \max_{Q \in \mathcal{U}}\ \mathbb{E}_{Q}\big[\ell(\theta)\big]\]

想定しうる分布のうち、最も都合の悪いものでの損失を小さくする（分布頑健最適化）。

音声のディープフェイクも同じ構図

\[\text{生成器の改善} \;\longrightarrow\; \text{検出器の性能低下} \;\longrightarrow\; \text{検出器の改善}\]

偽造と検出は、終わらない追いかけっこになる。どちらか一方だけの評価では意味がない。

授業で扱う回：音声処理と認識 第13回（準備中）

この観点に当たる、実際の研究で使っている手法

研究で使う手法：敵対的生成ネットワークによる文化動態のモデリング ―― λで敵対と特徴報酬の配分を時間で切り替える

研究で使う手法：経済ゲームによる協力行動の実験 ―― アクセントを社会的なタグとして、誰と協力するかを測る

7因果

介入したらどうなるかを問う。予測とは別の種類の問いで、データだけからは決まらない。

線I線II微I
見えない結果を扱う
\[\mathrm{ATE} \;=\; \mathbb{E}\big[Y(1) - Y(0)\big]\]

\(Y(1)\) … 処置を受けたときの結果
\(Y(0)\) … 受けなかったときの結果
問題 … 1人について、どちらか一方しか観測できない

無作為化がないと使えない仮定

\[\big(Y(1),\,Y(0)\big) \;\perp\!\!\!\perp\; T \;\mid\; X\]

処置の割り当てが、共変量 \(X\) を条件づければ結果と独立であること。観察データでは仮定であって、検証はできない。

調整の公式

\[\mathbb{E}\big[Y \mid do(T=t)\big] \;=\; \sum_{x} \mathbb{E}\big[Y \mid T=t,\, X=x\big]\, P(X=x)\]

層ごとに効果を見て、層の大きさで重みを付けて足す。シンプソンのパラドックスはこの重み付けの問題。

回帰での調整は射影である

\[\hat{\tau} = \big(Z^{\top}X\big)^{-1}Z^{\top}\mathbf{y} \quad \text{（操作変数・2段階最小二乗）}\]

交絡を避けるために別の変数 \(Z\) を使う。計算は結局、線形代数の問題になる。

授業で扱う回：統計学Ⅱ 第10回、統計学Ⅱ 第11回

この観点に当たる、実際の研究で使っている手法

研究で使う手法：見かけ上の時間法 ―― 世代差を時間変化の代用として読む

同じ式が、別の観点で読める

Ridge回帰　幾何では「罰則つきの最小二乗」、ベイズでは「正規分布を事前に置いたときのMAP推定」、学習理論では「モデルの複雑さを抑える操作」。3つとも同じ式 \(\min_\beta \lVert \mathbf{y}-X\beta\rVert^2 + \lambda\lVert\beta\rVert^2\) を指しています。
交差エントロピー　最尤の負の対数尤度であり、情報理論のKLダイバージェンスの最小化であり、学習理論では損失関数のひとつです。
SVM　学習理論では余白の最大化、ゲームの側から見れば最悪の場合に備える min–max 問題として読めます。

枠組みのもとにした資料：「数学的技法と統計手法・機械学習との関係」（小野原、2025年9月）。式は代表的な形に絞って書いたもので、条件や正則性の仮定は省いています。
どの回がどの世界観に当たるかは 手法と数学の地図、考え方そのものの解説は 統計の考え方ガイド にあります。