本回の到達目標

1. 従来型音声認識システムの全体アーキテクチャを説明できる
2. HMMの3要素を理解し、音声認識への応用を説明できる
3. GMMが連続値の特徴量の出力確率密度をどう表すか理解する
4. 自己教師あり学習の概念と、wav2vec 2.0・HuBERTの違いを説明できる

従来型音声認識の全体アーキテクチャ

O：観測列、W：単語列。音素列を先に一つへ確定する単純な直列処理ではない。

Kaldiのデコードグラフ解説：実装ではモデルの重みや挿入ペナルティなども使う。

マルコフ連鎖の概念

マルコフ性（Markov Property）：現在の状態は直前の状態だけに依存する、という仮定

天気のマルコフ連鎖（具体例）

状態集合 晴れ, 曇り, 雨

（行：現在の状態、列：次の状態）

音声では「状態 = 音素の一部（音素サブユニット）」と対応づける。音声は時間軸上で状態が遷移する過程として捉えられる。

HMMの3要素

• 観測できるもの：音声の特徴量列
• 隠れたもの：どの音響状態がどのフレームに対応するか

ASRの最終目標は文字・単語列。その探索の中でHMMの状態系列も扱う。

MFCCのような連続値には確率密度を使う。密度値は1を超える場合もある。

音素HMMの構造

説明用に、音素/a/へ3状態の左から右へ進むHMMを割り当てる。

各状態から特徴量を出力する。出る遷移の確率は終端も含めて合計1。自己ループ確率が高いと継続時間の期待値が長くなる。

HMMの3つの問題

1. 評価：観測列の確率（密度） → 前向きアルゴリズム
2. 復号：最良状態系列 → Viterbiアルゴリズム
3. 学習：パラメータ推定 → Baum-Welch（EMの特殊版）

Viterbiアルゴリズムの直感的理解

目標：観測列Oに対して、最も確率が高い状態系列を求める。

δ_t(j)：時刻tで状態jにいる、最良パスの値。

N状態・T時刻の全探索N^Tを、密な遷移ならO(N²T)へ削減。連続観測では出力密度を用いる。

ガウス混合モデル（GMM）の基礎

多次元ガウス分布：例として13次元MFCCに差分2種類を加えた39次元特徴量を扱える。

この密度式では共分散行列Σを正定値とする。

GMM：複数のガウス分布を重み付き和で組み合わせる。

• 多峰性を含む、複雑な特徴量分布を近似できる
• 2成分でも必ず2つの山になるわけではない
• 成分が性別・感情などの群と一対一に対応するとは限らない

GMM-HMMからDNN-HMMへ

GMM-HMM：連続観測の出力密度をGMMでモデル化。

EMのEステップで状態・成分の事後確率を計算し、Mステップでパラメータを更新する。大域最適解や汎化性能の改善は保証しない。

DNN-HMM：DNNが推定する状態事後確率を、状態の事前確率で割って利用。

DNNの出力そのものは、GMMの出力密度と同じ量ではない。

評価の注意：TIMITの音素認識でのPERと、単語認識でのWERを区別する。学習・評価条件をそろえて比較する。

Hinton et al. (2012)

自己教師あり学習とは

文字起こしの作成には人手が必要。利用できる量や作業時間は、言語・分野・音質などに依存する。

自己教師あり学習：文字起こしのない音声から、入力自体を用いて学習目標を作る。

Masked Prediction（マスク予測）

• BERT：一部のトークンを隠すなどして、そのトークンを予測
• wav2vec 2.0・HuBERT：潜在特徴量をマスクし、対応する量子化表現やクラスタIDを予測

単純な次の音の予測や、元波形の復元そのものではない。

wav2vec 2.0 のアーキテクチャ

波形 → CNN特徴量z。原論文では16 kHz入力から約20 ms間隔、25 msの受容野で特徴量を出す。

Q_t：正例と、同じ発話の別のマスク位置から選ぶ負例。simはコサイン類似度、κは温度。

コードは正解の音素ラベルではない。コードブックの多様性損失も加える。Baevski et al. (2020)

HuBERT：オフラインクラスタリングによる学習

核心：クラスタIDを擬似ラベルとして作り、マスク位置で予測する。

クラスタIDは正解の音素ラベルではない。反復するだけで必ず改善するわけではない。Hsu et al. (2021)

ラベル付きデータ量と性能：条件をそろえて比較

wav2vec 2.0：BASE・LS-960で事前学習・4-gram LMで復号。LibriSpeechテストセットのWER（%）。

Baevski et al. (2020), Table 1の同一条件の行を比較。

• 10分は追加学習に使う文字起こし付き音声の量
• 事前学習には960時間の音声、言語モデルには別途テキストを使う
• 英語読み上げ音声での値。別言語・雑音条件に同じ性能を保証しない

Google Forms テスト（全5問）

締め切り：翌週末 23:59

1. HMMの3要素：初期確率・遷移確率・出力分布の正しい説明の組み合わせはどれか
2. Viterbi：最も確率の高い状態系列を動的計画法で求めるアルゴリズムの説明はどれか
3. GMM：「成分数Kを大きくすれば常に汎化性能が向上する」は正しいか
4. wav2vec 2.0：量子化ベクトルを正例とするコントラスト学習の説明はどれか
5. 自己教師あり学習：紹介した原論文で、事前学習と文字起こし付きの追加学習をどう組み合わせるか