音声処理と認識¶
北星学園大学 情報科学部 情報科学科 3年後期・2単位 ／ 担当：小野原 彩香
この授業について¶
人間の発話音声をデジタル信号として処理・分析する代表的な方法を習得し、音声認識技術の基礎を理解します。
前半では音の性質やヒトの発話・聴覚のしくみを概観し、音声信号のデジタル処理（スペクトログラム、MFCC など）を学びます。後半では、機械学習による音声認識や、音声インタフェースの実例（Siri、Google 音声入力など）を取り上げ、自然言語処理・AI 技術との接続にも触れます。統計的手法とともに、音声と認知・言語との関連にも意識を向け、文理融合的な視点から音声技術の基礎を身につけます。
講義と Python 演習（Google Colab）を組み合わせて進めます。半数の回はオンデマンド動画＋CBT（理解確認テスト）、残りはオンライン同期型で実施します。
神経多様性への配慮
発話・録音・発表・対人作業が困難な場合には、事前に相談のうえで代替手段を設けます。評価の形式にも幅を持たせています。同じ内容を、視覚教材・聴覚教材・テキスト教材の3通りで用意します。
各回に「進化の視点」があります
ヒトの声と耳は、設計されたのではなく進化してできた器官です。各回に、その回の技術とつながる進化・生物学の話を1つずつ置いています。第1回と第14回で、全体をこの視点から振り返ります。
到達目標¶
- 音声をデジタル信号として分析するための基本的手法を説明できる
- 音響特徴量（MFCC など）を用いた音声データの解析ができる
- 音声認識技術の基礎構成と仕組みを説明できる
- Python で簡単な音声処理ができる
- 音声処理と認知・言語・UX 設計との関係を論じられる
各回の資料¶
| 回 | 内容 | 形式 | 資料 |
|---|---|---|---|
| 1 | ガイダンス／音声技術の応用紹介 | 動画回 | スライド ・ PDF |
| 2 | 発話・聴覚メカニズムの基礎 | オンライン同期回 | スライド ・ PDF |
| 3 | 音声信号とデジタル化（サンプリング・量子化） | 動画回 | スライド ・ PDF |
| 4 | スペクトログラムの理解と可視化演習 | オンライン同期回 | スライド ・ PDF |
| 5 | 音響特徴量（MFCC）の原理とPython実装 | 動画回 | スライド ・ PDF |
| 6 | ピッチ・エネルギー・ゼロ交差などの前処理 | オンライン同期回 | スライド ・ PDF |
| 7 | 音声と統計モデル（HMM・GMM）＋自己教師あり表現学習 | 動画回 | スライド ・ PDF |
| 8 | ニューラルASRモデル — Conformer / Whisper | オンライン同期回 | スライド ・ PDF |
| 9 | 音声認識システムの構成要素と評価指標（WER, CER, SLUEベンチマーク） | 動画回 | スライド ・ PDF |
| 10 | 音声インタフェースとUX設計 | オンライン同期回 | スライド ・ PDF |
| 11 | 自然言語処理との接続（NLUと音声） | 動画回 | スライド ・ PDF |
| 12 | 音声処理と認知科学・言語学 | オンライン同期回 | スライド ・ PDF |
| 13 | 応用事例と社会的インパクト | 動画回 | スライド ・ PDF |
| 14 | まとめと最終発表 | オンライン同期回 | スライド ・ PDF |
成績評価¶
| 項目 | 配分 |
|---|---|
| 小課題・演習（動画回のCBTテスト、同期回の演習課題） | 30% |
| 期末プロジェクトまたはレポート＋発表 | 70% |
期末評価には、プレゼン・録画・レポート・スライドメモなど複数の提出形式を認めます。
教科書・参考書¶
- 中川聖一 編著『音声言語処理と自然言語処理（増補）』コロナ社
- Jurafsky & Martin, Speech and Language Processing
- Python ライブラリのドキュメント（librosa, numpy, speechrecognition ほか）
準備するもの¶
- マイク付きのPC（音声入力環境を各自で用意してください）
- オンライン回への安定した接続環境
- 各回の事前・事後学習は、合わせて4時間程度を見込んでいます
このサイトは準備中です
2027年度の開講に向けて作成しています。日程・課題・提出先は、開講前に確定します。