本回の到達目標

1. メル尺度が人間の聴覚特性を反映する理由を説明できる
2. MFCCの計算ステップを順に説明できる
3. Pythonで MFCC を計算・可視化できる
4. デルタ特徴量の意味を説明できる

周波数の差と、音の高さの尺度

同じHzの差でも、周波数比や音程は異なる。

高域の100 Hz差が聞き取れないとは限らない。
弁別できるかは、音圧・長さ・周波数・聴取者などによる。

メル尺度は音の高さの知覚に基づく尺度。
オクターブを等間隔に置く尺度や、周波数差の弁別閾、蝸牛のフィルタ幅とは区別する。

メル尺度：HTKで使われる近似式

逆変換（メル → Hz）：

700 Hzに折れ目はない。fが700より十分小さいと線形に近く、十分大きいと対数に近づく。
librosaの既定はSlaney方式。本回はhtk=Trueで式に合わせる。

メルフィルタバンク

メル尺度で 等間隔に並んだ三角形フィルタ群 でスペクトルをまとめる

パワースペクトル（本実習：FFT長512 → 257ビン）
  ↓
三角フィルタをかける（例：40個）
  ↓
各フィルタ内のパワーを重み付きで合計
  ↓
40次元のメルエネルギーベクトル

番目のフィルタ出力：

• 低周波：フィルタが狭い（細かく分析）
• 高周波：フィルタが広い（まとめて分析）

X[n]はパワースペクトル、H_k[n]はフィルタの重み。
本回はフィルタの面積正規化を使わず、norm=Noneとする。

ログメルスペクトログラム

対数の役割：メルパワーの広い数値範囲を圧縮する。
聴覚に着想を得た処理だが、ラウドネスそのものではない。

• S[k]：メルフィルタバンクの出力
• ε：log(0)を避ける正の下限（例：10⁻¹⁰）
• 実習では自然対数の代わりにpower_to_dbを使用。底・基準・下限・切り詰め条件で数値は変わる

Whisperは対数メルスペクトログラム、wav2vec 2.0は波形を入力する。MFCCとは区別する。

出典：power_to_db・Whisper・wav2vec 2.0

DCT（離散コサイン変換）の役割

L[k]：対数メル値、K：帯域数。正規直交DCT-IIでは
α₀ = 1/√K、αₙ = √(2/K)（n > 0）。コードのnorm="ortho"に対応。

• 全係数を保てば可逆。低次係数の選択で次元を減らす
• 相関を低減しやすいが、無相関性・統計的独立性は保証しない
• C[0]は対数メルパワーの平均に比例。波形の総エネルギーとは別の量

各係数とF1・F2に一対一の対応はない。n_mfcc=13はC[0]〜C[12]の13係数。

MFCCの計算ステップ全体

入力：音声波形 x[n]
  ↓
① プリエンファシス（採用する場合）x'[n] = x[n] − α x[n−1]
  ↓
② フレーム分割＋Hann窓：25 ms窓、10 msホップ（重複15 ms）
  ↓
③ 必要に応じてゼロパディング、FFT → パワースペクトル
  ↓
④ メルフィルタでパワーを重み付き集約
  ↓
⑤ 正の下限を設け、対数へ（実習では基準1のdB値）
  ↓
⑥ 正規直交DCT-II → 残す係数を選択
  ↓
出力：MFCC（例：C[0]〜C[12]）× フレーム数

プリエンファシスは必須ではない。librosaは自動では行わず、本実習も省略。

Python実装：librosaでMFCC計算

import librosa
import numpy as np

# 朗読音声。16 kHz、窓400点＝25 ms、ホップ160点＝10 ms
y, sr = librosa.load(librosa.example("libri1"), sr=16000, mono=True)
S_mel = librosa.feature.melspectrogram(
    y=y, sr=sr, n_fft=512, win_length=400, hop_length=160,
    n_mels=40, htk=True, norm=None)
# 同じログメル値をDCTへ。フィルタのnormとDCTのnormは別。
S_db = librosa.power_to_db(S_mel, ref=1.0)
mfcc = librosa.feature.mfcc(
    S=S_db, n_mfcc=13, dct_type=2, norm="ortho")
print(mfcc.shape)  # (13, フレーム数)、C[0]〜C[12]

FFT長512と窓長400は異なる。librosaの既定Slaney方式と本回のHTK設定を区別する。
mfcc(y=...)で同じ条件にする場合、フィルタ側はmel_norm=Noneを指定。

デルタ（Δ）特徴量

1フレームのMFCCに、周辺フレームから求めた時間変化を明示的に追加する方法。

例：K = 2なら前後2フレーム（width = 5）。上式は1フレームあたりの傾き。
秒あたりにするならホップ秒数で割る。二階微分ならその二乗で割る。

13次元のMFCC＋13次元のΔ＋13次元のΔΔ = 39次元

# フレーム番号に対する微分の近似。端は最近傍値で延長。
mfcc_d = librosa.feature.delta(mfcc, width=5, order=1, mode="nearest")
mfcc_dd = librosa.feature.delta(mfcc, width=5, order=2, mode="nearest")
mfcc_39 = np.concatenate([mfcc, mfcc_d, mfcc_dd], axis=0)

librosaはSavitzky–Golay法を使用。order=2は二階微分の直接推定で、一次を2回適用する方法と常に同じではない。MFCC系列を時系列モデルに渡す方式もある。

MFCCの次元数と実習の設定

Whisperは80または128帯域の対数メル、wav2vec 2.0は波形。80次元MFCCを使うという意味ではない。

Google Forms テスト（全5問）

締め切り：翌週末 23:59

問1：メル尺度について正しい説明はどれか
A. 全帯域を線形スケールで表したもの
B. 高音域を拡張したもの
C. 低音域を細かく、高音域を粗く扱うもの ✓
D. 基本周波数F0を検出するための尺度

問2：MFCCの正しい計算順序はどれか
A. FFT → メルフィルタ → 対数 → DCT ✓
B. DCT → FFT → メルフィルタ → 対数
C. メルフィルタ → FFT → 対数 → DCT
D. FFT → 対数 → メルフィルタ → DCT