コンテンツにスキップ

第2回　発話・聴覚メカニズムの基礎

この回の資料

学習目標

この回を終えると、次のことができるようになる：

  1. ヒトの発話器官（肺・声帯・声道・口・鼻）の役割をそれぞれ説明できる
  2. 子音を調音部位・調音様式・有声性で分類し、母音を舌や唇の位置と結びつけて説明できる
  3. 有声音・無声音、および基本周波数F0とフォルマントF1・F2の違いを説明できる
  4. 聴覚系（外耳→中耳→内耳の蝸牛→聴神経）の各部位の機能を述べられる
  5. マクガーク効果・カクテルパーティ効果などの音声知覚現象を説明できる
  6. 人間の音声処理と機械の音声処理の類似点・相違点を挙げられる

図の説明は代替テキストで詳しく記載しています。クイズへの参加はZoomチャットへの書き込みでも構いません。グループディスカッションは任意参加で、Zoom参加できない場合はメールで意見を送ってもらっても構いません。発言が苦手な場合、テキストチャットで参加でも構いません。

進化の視点：声道の形は「話すため」に進化したのか

長らく、喉頭の下降による声道形の変化が、多様な母音を作るための前提だとする仮説が論じられてきた。近年、この仮説は比較解剖学と音響分析から再検討されている。

  • 生きたマカクのX線動画から声道の形を測定した研究では、その形から計算した音響的な可能性が、複数の母音を区別するのに十分な範囲を持つと報告された。著者らは、発話の進化における神経制御の重要性を指摘している。ただし、ヒトとマカクの解剖が同じことや、マカクが実際に言語を話せることを示した研究ではない（Fitch ほか 2016）。1
  • ヒヒの発声を分析した研究は、ヒトの母音に似たフォルマント構造を持つ5種類の母音様の音と、一つの発声内で異なる2種類が連続する例を報告した（Boë ほか 2017）。2 Boë ほか（2019）は、これらを含む研究を総説し、対照的なフォルマント構造を作るために喉頭下降が必須だとする説明を再検討している。3

技術への接続：これらの研究では、この回で学ぶソース・フィルタモデルを用い、音源と声道の共鳴を分けて考える。声道の形からフォルマントを推定する方法は、音声合成にもつながる。ただし、化石や標本に基づいて発声可能な音を推定できても、それだけで実際に言語を話せたかは判定できない。

問い：声道が作れる音の範囲と、その音を使いこなす制御・学習の能力は、どう分けて検証できるだろうか。

授業タイムライン

時間 内容 形式
0:00〜0:05 入室確認・前回の事前学習クイズ Zoomチャット
0:05〜0:35 スライド講義（発話と聴覚のしくみ） 講義
0:35〜0:55 グループディスカッション（任意） Zoom／メール
0:55〜1:10 発表・全体共有 発表
1:10〜1:20 インタラクティブ演習（下記3つから2つを選択） Zoom
1:20〜1:25 まとめ・小課題の説明 講義
1:25〜1:30 質疑応答 全体

講義の構成

1. タイトルと本日のアジェンダ

タイトル: 第2回：ヒトはどのように声を出し、聴くのか

アジェンダ:

  1. 前回の振り返りクイズ（Zoomチャット）
  2. 発話器官のしくみ
  3. 調音音声学の基礎
  4. 音声の音響的特性
  5. 聴覚系のしくみ
  6. 人間の音声知覚の特性
  7. 人間と機械の比較
  8. グループディスカッション
  9. まとめ・小課題

講師メモ: 開始直後にZoomチャットを使い、マクガーク効果の選択問題1問と、録音した声についての自由記述1問を実施する。点数は成績に関係しないことを伝える。

2. 前回の振り返り（確認クイズ）

タイトル: 事前学習の確認クイズ

クイズ問題1（Zoomチャットに書き込む）:

「マクガーク効果」とはどのような現象か？ A) 騒音の中でも特定の人の声を聞き分けられる現象 B) 映像の口の動きが聴こえる音の知覚に影響を与える現象 C) 自分の録音した声が普段の声と違って聞こえる現象 D) 耳介の形が音の方向知覚に影響を与える現象

クイズ問題2（Zoomチャットに自由記述）:

「自分の録音した声を聴いて、どう感じましたか？」

講師メモ: 回答をいくつか取り上げ、発声中は空気を伝わる音に加えて骨・組織を伝わる振動も聴取に関わることを説明する。録音・再生機器の特性も聞こえ方に影響するため、違いを一つの原因だけで説明しない。録音していない場合は教員の説明を聞いて考えるだけでもよい。

3. ヒトが声を出す器官の全体図

タイトル: 発話は複数の器官の協調動作

図解説明（図の代替テキスト）:

ヒトの頭部・胸部の断面図（矢状断面）。肺→気管→喉頭（声帯を含む）→咽頭と続き、咽頭から口腔側・鼻腔側へ分岐する。軟口蓋の動きによって鼻腔との接続が変わる。各器官に矢印と名称ラベルが付いている。

各器官の役割:

器官 発話における役割
肺・呼吸系 呼気（吐く息）を送り、通常の発話のエネルギーを供給する
声帯（Vocal folds） 有声音では、呼気によって振動し、気流を周期的に変化させて音源を作る
声道（Vocal tract） 喉から口・鼻までの空間。形状を変えることで音色（フォルマント）を制御する
舌（Tongue） 口腔内の形状を最も細かく制御する器官。子音・母音の主要な調音器官
唇（Lips） 開閉・突き出しにより音色を変える。両唇音（[p][b][m]）の形成
鼻腔（Nasal cavity） 軟口蓋が下がると声道に接続される。鼻音[m]・[n]などでは口腔側を閉鎖し、気流が鼻へ抜ける

講師メモ: 通常の発話では「呼気によるエネルギー供給→音源の生成→声道によるフィルタリング」と整理する。声帯振動を使う有声音をまず説明し、次に摩擦音などの異なる音源を紹介する。4

4. 音声生成のソース-フィルタモデル

タイトル: 声のしくみ：ソースとフィルタ

図解説明（図の代替テキスト）:

3つのボックスが矢印でつながれた横フロー図。 有声母音の例：[ソース：声帯振動による周期的な気流変化] → [フィルタ：声道の共鳴特性] → [出力：母音の音色を持つ音声]。呼気はこの音源を駆動するエネルギーを供給する。

説明文:

ソース（音源）:

  • 有声音では、声帯振動により、基本周波数F0とその整数倍の周波数成分（倍音）を含む音源が生じる
  • F0は声の音程を決める主な手がかり。例えばF0＝100 Hzなら周期は10 ms、200 Hzなら5 msである。F0は話者や発話条件によって変わる
  • 無声摩擦音では狭めた部分で生じる乱流が、閉鎖音では閉鎖を開放した際の短い破裂などが音源になる。有声摩擦音では声帯振動と摩擦の両方が関わる

フィルタ（声道）:

  • 声道の形（長さ・くびれの位置）が「共鳴周波数（フォルマント）」を決める
  • 舌・唇・軟口蓋の位置を変えることで声道の形が変わり、異なる母音が生まれる
  • フォルマントは「第1フォルマント（F1）」「第2フォルマント（F2）」などと呼ぶ

F0は音源の繰り返しの周波数、F1・F2は声道の共鳴周波数であり、区別する。 ソースとフィルタを分けるのは基本的なモデル化であり、実際には相互作用もある。5

講師メモ: ソース-フィルタモデルはLPCや音声合成の理解の基礎になる。「呼気がエネルギーを供給し、声帯などが音源を作り、声道が音色を変える」と説明し、エネルギー源と音源を混同しない。

5. 有声音と無声音

タイトル: 声帯が振動するか、しないか

図解説明（図の代替テキスト）:

有声母音と無声摩擦音の波形を比較する。左の有声母音には、おおむね周期的な繰り返しがあるが、正弦波そのものではない。右の無声摩擦音には不規則な変動がある。無声閉鎖音なら閉鎖区間と短い破裂が現れ、すべての無声音が同じ波形になるわけではない。

有声音（Voiced sounds）:

  • 声帯振動を伴う音
  • 例：通常の母音[a]・[i]など、鼻音[m]・[n]、有声摩擦音[z]など

無声音（Voiceless sounds）:

  • 声帯振動を伴わない音
  • 例：「サ」の子音[s]、「フ」の子音[ɸ]、「カ・タ・パ」の子音[k]・[t]・[p]など

音節全体と、その中の子音を区別する。 例えば「サ」[sa]は、無声子音[s]と通常は有声の母音[a]からなる。また、日本語の母音も発話環境によって無声化することがある。ここでは具体的な発音を角括弧[ ]で示す。6

確認方法:

発音する場合は、母音を付けずに[sː]（サの最初の摩擦だけ）と[zː]（有声の摩擦音）を伸ばして比較する。喉に軽く触れると声帯振動の違いを確かめやすい。「ス」「ズ」の音節全体の判定ではない。

講師メモ: 教員が母音を付けない例を示す。自分で発音するほか、教員の音や波形を観察してチャットで回答してもよい。

6. 調音音声学の基礎 ― 子音の分類

タイトル: 子音はどのように分類されるか

図解説明（子音分類表の代替テキスト）:

縦軸に調音部位（両唇・歯茎・歯茎硬口蓋・硬口蓋・軟口蓋など）、横軸に調音様式（閉鎖音・摩擦音・破擦音・鼻音・弾き音・接近音など）を取った表。各セルに代表的な子音の記号が入っている。

調音様式（Manner of articulation）: 子音を「どのように音を作るか」で分類する

調音様式 説明 日本語の例
閉鎖音（破裂音） 閉鎖を作ってから開放する 「カ・タ・パ」の子音[k]・[t]・[p]
摩擦音 気道を狭め、気流の乱れを生じさせる 「サ」の[s]、「シ」の[ɕ]、「フ」の[ɸ]
破擦音 閉鎖に続いて摩擦を生じさせる 「チ」の[tɕ]、「ツ」の[ts]
鼻音 口腔側を閉鎖し、鼻へ気流を通す 「マ・ナ」の子音[m]・[n]
弾き音 短時間だけ舌先が歯茎付近に触れる 「ラ」の代表的な子音[ɾ]
接近音（半母音） 強い摩擦が生じない程度に調音器官を近づける ヤ行の[j]など

調音部位（Place of articulation）: 子音を「どこで音を作るか」で分類する

  • 両唇音: [p]・[b]・[m] → 上唇と下唇を使う
  • 歯茎音: [t]・[d]・[n]・[s]・[z] → 舌先・舌端を歯茎付近に接触させる、または近づける。[s]・[z]では完全には閉鎖しない
  • 歯茎硬口蓋音: [ɕ]・[tɕ] → 日本語の「シ」「チ」の代表的な子音
  • 硬口蓋音: [j] → ヤ行の子音。舌を硬口蓋に近づける
  • 軟口蓋音: [k]・[g]・[ŋ] → 舌の奥と軟口蓋を使う

「タ行」のようなかなの行が、すべて同じ調音様式に対応するわけではない。「タ」の[t]は閉鎖音、「チ」の[tɕ]と「ツ」の[ts]は破擦音である。6

講師メモ: 完全な習得は音声学専門科目の目標なので、ここでは「音の違いが体の動きの違いから生まれる」という直感だけつかめればよい。

7. 母音とフォルマント

タイトル: 母音はフォルマントで区別される

図解説明（母音四角形の代替テキスト）:

母音四角形（Vowel Quadrilateral）図。横軸は舌の前後位置（左＝前舌・右＝後舌）、縦軸は舌の高さ（上＝高・下＝低）。日本語5母音（ア・イ・ウ・エ・オ）がこの四角形の中に配置されている。 - イ（i）：左上（前舌・高） - エ（e）：左中（前舌・中） - ア（a）：下中央（低） - オ（o）：右中（後舌・中） - ウ：高母音。日本語では[ɯ]に近い記号で示されることが多く、典型的な円唇母音[u]とは唇の形が異なる。舌の前後位置にも幅がある

フォルマントと母音の関係:

  • F1（第1フォルマント）: おおむね、舌が高く口の開きが小さい母音では低く、舌が低く口の開きが大きい母音では高い
  • F2（第2フォルマント）: おおむね前舌母音では高く、後舌母音では低い。ただし、唇の形や声道長なども影響する
  • F0（基本周波数）とは異なる。声の音程を大きく変えずに、母音の音色を変えることができる

母音の違いを考えるための模式表（同じ話者の中での相対的な傾向）:

母音 F1の傾向 F2の傾向
ア イより高い イより低い
イ 低い 高い
ウ アより低い イより低い
エ イより高く、アより低い イより低く、オより高い
オ ウより高く、アより低い イ・エより低い

これは実測値や判定の境界値を示す表ではない。フォルマントの値は、話者・発話条件・前後の音などで変わる。5

講師メモ: 「スペクトログラム（第4回）を見ると、F1とF2が横縞として見える」という予告を入れる。フォルマントは後の内容の重要な布石。

8. 聴覚系のしくみ ― 概観

タイトル: 耳はどのように音を処理するか

図解説明（聴覚系の全体図の代替テキスト）:

ヒトの耳の断面図（横断面）。左から右へ： 外耳（耳介と外耳道）→ 鼓膜・中耳の耳小骨（ツチ骨・キヌタ骨・アブミ骨）→ 内耳の蝸牛→聴神経→脳幹などを経て聴覚野へ。 主な入力経路を矢印で示す簡略図。蝸牛は内耳の一部である。実際の聴覚系には脳から耳へ向かう経路もある。

3つの区域のまとめ:

区域 主な器官 役割
外耳 耳介・外耳道 音波を集め鼓膜に伝える。耳介の形が音の方向知覚を助ける
中耳 鼓膜から振動を受ける耳小骨（3個） 鼓膜・耳小骨を通じ、空気中の音の振動を内耳の液体へ効率よく伝える
内耳の聴覚部分 蝸牛 周波数に応じて異なる場所が応答し、有毛細胞が機械的な振動を電気的な変化へ変換する

内耳には、聴覚を担う蝸牛のほかに、平衡感覚に関わる前庭・半規管もある。7

9. 蝸牛 ― 耳の中の周波数アナライザ

タイトル: 蝸牛：カタツムリ型の周波数分析器

図解説明（蝸牛の展開図の代替テキスト）:

蝸牛をほどいて真っ直ぐに伸ばした図（展開図）。 一本のチューブ状の構造。左端（基底部・Base）から右端（頂点部・Apex）まで伸びている。 左端の基底部には「高い周波数」、右端の頂端部には「低い周波数」というラベルが付き、その間は連続的に対応が変化する。二つの周波数帯に分かれているという意味ではない。 チューブの内側に基底膜（Basilar Membrane）があり、その上に有毛細胞（Hair Cells）が並んでいることが示されている。

蝸牛の重要な特性:

  1. 周波数分析（場所コード）: 高周波数は蝸牛の入口側（基底部）、低周波数は奥側（頂点部）で反応する。これを「周波数の場所的対応（Tonotopy）」という。
  2. 機械→電気変換: 基底膜の振動に伴って有毛細胞の感覚毛が曲がり、電気的な変化が生じる。これが聴神経への信号伝達につながる。
  3. 非線形な応答: 音の強さと蝸牛の応答は単純な比例関係ではない。蝸牛の能動的な働きは、感度や周波数選択性に関わる。

メル尺度との区別：メル尺度は、周波数と知覚される音の高さの関係を表す心理音響的な尺度である。音の大小への感度を表す尺度ではない。第5回では、この尺度を用いた音響特徴量を扱う。8

コンピュータとの類比:

蝸牛の「場所による周波数分析」は、コンピュータのフーリエ変換やフィルタバンクと機能上の類似がある。ただし、耳が同じ計算をしているという意味ではない（第4回で詳しく扱う）。

10. 人間の音声知覚 ― マクガーク効果

タイトル: 音声は「目」でも聴く ― マクガーク効果

説明文: 1976年にHarry McGurk と John MacDonald が報告した、音声知覚に視覚情報が影響する現象。9

実験の手順:

  • 口が「ガ（ga）」と動く映像に「バ（ba）」の音声を重ねて提示する
  • 代表的には、聴覚にも映像にもない「ダ（da）」のような音に聞こえることがある
  • 音だけを聴く条件と、映像と一緒に聴く条件を比較する
  • 効果の出方は聴取者・言語・刺激などで異なり、全員が同じ音に聞こえるわけではない

図解説明（マクガーク効果の図の代替テキスト）:

二つの入力が一つの知覚結果につながる図。 「映像情報（口の動き：/ga/）」と「聴覚情報（音声：/ba/）」の2本の矢印が中央で合流し、「知覚される音：/da/」という出力に矢印が向かっている。

この現象が示すこと:

  • 音声知覚には視覚情報も影響し得る
  • 脳は「もっともらしい音声」を能動的に構築している
  • 音声だけを入力するASRは視覚情報を使わない。一方、音声と映像を入力する音声認識モデルもある

音声技術への示唆:

  • マルチモーダル音声認識（映像＋音声）では、口の動きも認識の手がかりとして使える
  • 雑音下で性能を改善する例がある。ただし、映像の見え方や同期、対象話者の対応なども考慮する必要がある15

11. 人間の音声知覚 ― カクテルパーティ効果

タイトル: 騒音の中で声を選別する ― カクテルパーティ効果

説明文: 大勢の人が同時に話している騒がしいパーティーの場でも、特定の人の声だけに注意を向けて聞き取ることができる現象。

Cherry（1953）の研究:

  • 左耳と右耳に異なるメッセージを同時に提示する「両耳分離聴（ダイコティックリスニング）」実験で体系的に研究された
  • 注意した側の発話を復唱できる一方、注意していない側の内容は報告しにくい。声質などの変化に気づく場合はあり、「注意していない音を一切処理しない」という意味ではない10

特定の声を聞き取るための手がかり:

比較軸 人間 機械
聞き取る話者の選択 声の方向・声質・注意などを手がかりにする マイクアレイ、対象話者の声の特徴、口の映像などを利用できる
事前知識・文脈 話者や話題についての知識を使って解釈する 言語モデルや事前に与えた語句などを認識に利用できる
雑音・重なった声への対応 注意や聴覚的な分離が働くが、条件によって聞き取りは低下する 音声強調・話者分離などを用いるが、雑音や発話の重なりの影響を受ける

人間も機械も、雑音の種類、話者の重なり、利用できる手がかりによって成績が変わる。1415

技術的対応:

  • ビームフォーミング（複数のマイクの信号を組み合わせ、特定方向の音を強調する処理）
  • スペクトル減算法・Wienerフィルタ
  • 深層学習による話者分離・対象話者の抽出（Speaker Separation / Target Speaker Extraction）

12. その他の音声知覚現象

タイトル: 音声知覚の「不思議」な現象たち

1. 腹話術効果（Ventriloquism effect）: 音の聞こえる位置が、同時に提示される視覚情報の位置に引き寄せられる現象。例えば、映画の声がスピーカーからではなく、画面上の人物から聞こえるように感じられる。音の種類に関わるマクガーク効果と、音源の位置に関わる腹話術効果を区別する。11

2. カテゴリカル知覚（Categorical Perception）:

  • 音響特性を連続的に変えた刺激でも、音の分類の割合や聞き分けやすさが、カテゴリ境界付近で大きく変わることがある
  • 例：閉鎖の開放と声帯振動開始の時間差（VOT）を変え、/b/と/p/の分類がどう変わるかを調べる
  • 同じカテゴリ内の違いがすべて失われるわけではない。また、機械も連続的な特徴量から音素や文字などのカテゴリを推定できる

3. プライミング効果: 先に提示された語などが、後に提示された語の認識や反応時間に影響する。促進・抑制のどちらが生じるかは刺激や課題による。 「知覚は文脈の中で起きる」

4. 音素修復効果（Phoneme Restoration）: 文中のある音を雑音で置き換えても、文脈などを手がかりに、本来の音が続いているように知覚されることがある。補完されるのは綴りの文字ではなく、音としての知覚である。12

13. 人間と機械の音声処理の比較

タイトル: 人間の音声知覚と機械の音声処理

図解説明（2列対比表の代替テキスト）:

左列「人間」・右列「機械（ASRと関連する音声技術）」の比較表。各行が異なる比較軸。

ASRの主な目的は音声を文字列に変換すること。 感情や意図の推定は関連する別の課題であり、人間の会話理解全体と比較するときは、何を評価しているかをそろえる。17

比較軸 人間 機械（ASRと関連する音声技術）
周波数分析 蝸牛の周波数に応じた応答などを利用する 短時間フーリエ変換・メルフィルタバンク、または波形から学習した特徴を使う
処理の時間 音声を聞きながら逐次処理する 録音全体を処理する方式と、逐次処理するストリーミング方式がある
雑音・発話の重なり 注意などを使って聞き取るが、聴取条件に依存する モデル・学習データ・入力条件・前処理に依存する
方言・アクセントへの適応 言語経験や相手の話し方への慣れが影響する 学習データの多様性や、追加学習・適応の方法が影響する
学習に使うデータ 長期の言語経験を基に、新しい話者や表現に適応する 大規模な事前学習を使い、少量の文字起こし付きデータで追加学習できる場合がある
視覚・文脈 口の動きや文脈も知覚に影響する 文脈を利用でき、音声と映像を入力する認識モデルもある
感情・意図の推定 韻律や文脈などから推定するが、誤解も起こる 感情認識・意図推定のモデルを用い、文字起こしの正確さとは別に評価する
疲労・エラー 注意や疲労などの影響を受ける 生理的な疲労はないが、入力条件やシステムの状態によって結果が変わる

ストリーミングASR、文脈を利用するASR、視聴覚ASR、少量の文字起こし付きデータによる追加学習には、それぞれ研究例がある。「少量のラベル付きデータ」と「それ以前も含む学習データの総量」は区別する。13141516

まとめメッセージ:

人間の音声知覚には、聴覚に加えて注意・記憶・文脈・視覚が関わる。機械でもこれらに対応する情報を利用できるが、仕組みや目的は同一ではない。両者を比較するときは、課題・データ・評価条件をそろえることが重要である。

14. グループディスカッションの説明

タイトル: グループディスカッション（20分）

実施方法:

  • Zoom参加者はグループに分かれて議論する（3〜4人を想定）
  • 各グループに1つのテーマを割り当てる
  • 20分後に全体で各グループが2〜3分で発表する
  • 発言が苦手な場合は、テキストチャットで参加しても構わない
  • Zoomに参加できない場合は、好きなテーマを選んでメールで意見を送ってもよい

発表は「正解を言う」ことが目的ではありません。議論のプロセスと考え方を共有してください。

15. グループディスカッション課題

（詳細はセクション「グループディスカッション課題」を参照）

16. インタラクティブ演習

タイトル: やってみよう！音声知覚の体験実験

（詳細はセクション「インタラクティブ演習」を参照）

17. 次回（第3回）の予告

タイトル: 次回は「音声信号とデジタル化」

  • 形式: 動画回（非同期・自分のペースで）
  • テーマ: 音をコンピュータで扱うための数値化
  • 内容: サンプリング・量子化・ナイキスト定理・WAVファイル・Pythonで音声を読む

事前学習（任意推奨）:

  1. 手元の音声ファイルの情報表示から、サンプリングレートやチャンネル数を探してみる。アプリや形式によって表示項目は異なり、見つからなかった項目はそのままでよい
  2. 「なぜCDは44.1kHzなのか」を検索してみる

18. まとめ

タイトル: 第2回のまとめ

  1. 通常の発話では、呼気がエネルギーを供給し、声帯振動や乱流などが音源となり、声道がフィルタとして働く
  2. 子音は調音部位・調音様式・有声性で分類する。母音の音色に関わるF1・F2と、音程に関わるF0は異なる
  3. 耳の蝸牛は周波数ごとに異なる場所で反応する周波数アナライザである
  4. 人間の音声知覚はマクガーク効果・カクテルパーティ効果に見られるように、多感覚統合・注意・文脈を使った能動的な処理である
  5. ASRは音声を文字列に変換する技術であり、雑音・文脈・視覚情報の扱いはモデルによって異なる。人間との比較では、課題と評価条件をそろえる

グループディスカッション課題（20分）

テーマ割り当て方法

グループ数に応じて以下の3テーマを割り当て（グループが多い場合は同テーマを複数グループが担当してもよい）。

テーマA：「機械に人間のカクテルパーティ効果を実現させるには？」

問い: 人間は騒がしい環境でも特定の声を聞き分けられる。この能力を機械（音声認識システム）で実現するには、どのようなアプローチが考えられるか？

議論の観点（ヒント）:

  • マイクの工夫（ハードウェア面）で何ができるか？
  • ソフトウェア処理（信号処理・機械学習）でどんなことができるか？
  • 「特定の声を選ぶ」には、事前にどんな情報が必要か？
  • 実際の製品（スマートスピーカー・補聴器）はどう対処しているか？

発表でまとめること:

  • グループが考えたアプローチを2〜3つ挙げる
  • 各アプローチの「難しいところ」も述べる

テーマB：「音声認識のバイアスとはどういう問題か？どう対処すべきか？」

問い: 音声認識システムが特定の話者グループ（子ども・高齢者・方言話者・外国語話者など）に対して精度が低い問題（バイアス）はなぜ起きるのか？どのように対処できるか？

議論の観点（ヒント）:

  • 学習データの偏りとは何か？（誰がデータを提供したか）
  • 声の物理的特性（声の高さ・フォルマントの分布）の多様性はどう扱われているか？
  • バイアスがある音声認識システムが社会で使われるとき、どんな問題が起きうるか？
  • 開発者ができる対策、利用者ができる対策、政策レベルの対策をそれぞれ考える

発表でまとめること:

  • バイアスが生じるメカニズムを1〜2文で説明する
  • グループが考えた対策を役割別（開発者・利用者・政策）に整理して述べる

テーマC：「マクガーク効果から見えること ― 音声とは何か？」

問い: マクガーク効果は「音声知覚に視覚情報が影響する」ことを示している。では「音声を理解する」とはどういうことか、人間と機械の観点から考えよう。

議論の観点（ヒント）:

  • 映像と音声の統合は、どのような条件で有利になるか？進化的・機能的な仮説を挙げ、どんな観測や実験で確かめられるかも考える
  • Zoomやオンライン会議でマスクをしているとき、コミュニケーションはどう変わるか？（マクガーク効果との関係）
  • 機械がマクガーク効果を「再現」するとしたら、どのような技術が必要か？
  • 音声認識の「誤認識」と人間の「誤知覚」は、性質が同じか？違うか？

発表でまとめること:

  • 「音声を理解する」ことについて、比較する課題と、人間・機械の共通点または相違点を1〜2文でまとめる
  • グループで最も面白いと思ったアイデアや視点を一つ共有する

進行ガイド（担当教員用）

時間 進行
0分〜2分 テーマを発表・グループ分け開始
2分〜18分 グループで議論（Zoom参加者）・メール参加者は後日送信可
18分〜20分 まとめ・発表準備
20分〜30分 各グループが2〜3分で発表（全体）
30分〜35分 教員がまとめのコメント

教員巡回時のポイント:

  • グループが詰まっていたら「〇〇という観点から考えてみてはどうでしょう」とヒントを出す
  • 発言が特定の人に偏っていたら「他の人はどう思いますか？」と促す
  • テキストチャットを確認し、チャットで貢献している学生を積極的に拾い上げる

インタラクティブ演習（チャット活用）

授業内の10分では、以下から2つを選んで実施する。残りは任意の復習用とする。発声する代わりに、教員の提示する音や説明を観察して参加してもよい。

演習1：有声音・無声音の識別（Zoomチャット）

実施時間: 約5分

手順:

  1. 教員が、判定する音の部分を明示して5つの音を出す。子音の例には母音を付けない
  2. 学生はZoomチャットで「有声音」か「無声音」かを書き込む
  3. 回答を確認しながら即座に解説

出題例:

  • [zː]：有声の摩擦音だけを伸ばす → 有声
  • [sː]：「サ」の最初の摩擦だけを伸ばす → 無声
  • [mː]：口を閉じて鼻音だけを伸ばす → 有声
  • [ɸː]：「フ」の子音の息だけを伸ばす → 無声
  • [aː]：通常の声で「アー」と伸ばす → 有声

Zoomの雑音抑制などで無声摩擦音が聞こえにくい場合がある。聞き取れない場合は「判定できない」と回答してよい。音節全体と子音部分を区別することを確認する。

演習2：フォルマントの体感実験（チャット参加）

実施時間: 約5分

手順:

  1. できるだけ同じ音程を保ち、「アー」から「イー」へ舌と口の形を変える（教員の実演を聴くだけでもよい）
  2. 母音の音色がどう変わったかを、Zoomのチャットに書き込む
  3. 一般にアからイへ移るとF1は低く、F2は高くなることを説明する

期待される気づき: 声の音程を大きく変えなくても、母音の音色は変えられる。音程に関わるF0と、声道の共鳴に関わるF1・F2を区別する。発声中にF0も変わる場合があるため、体感だけで周波数の変化を断定せず、実際の値は後の回の音響分析で確かめる。

演習3：マクガーク効果の動画鑑賞（全体）

実施時間: 約5分

手順:

  1. YouTubeのマクガーク効果動画を全体でスクリーン共有
  2. 視聴後、Zoomチャットで「あなたには何と聞こえましたか？」を書き込む
  3. 回答を見ながら「なぜ違いが出るか」を議論

選択肢例（チャットに書き込む）:

  • 「バ（ba）」と聞こえた
  • 「ダ（da）」と聞こえた
  • 「ガ（ga）」と聞こえた
  • 揺れて一定しなかった

ポイント: 音だけを聴く場合と、映像と一緒に聴く場合を比較する。画面共有では音声も共有し、映像と音の同期を確認する。同じ刺激でも回答は異なり得る。効果が生じなかった回答も観察結果として扱う。

小課題

提出締め切り: 翌週末23:59 提出先: Google Drive（共有フォルダ「第2回小課題」）またはメールで提出 形式: テキスト（400〜600字程度）または任意の形式（箇条書き・図でも可）。やれる範囲で取り組んでください。 採点: 提出したことが小課題・演習の評価の一部にカウントされる（内容の完成度よりも「考えた証拠があること」を評価）

課題の内容

以下の2つの問いに答えてください（どちらかを選んで深く答えてもよいし、両方に簡潔に答えても可）。

問い①: 「今日の授業で最も印象に残った概念を1つ選び、それが音声処理技術の設計にどのような影響を与えると思うか、自分の考えを述べてください。」

（例：「マクガーク効果を学んで、音声認識システムもカメラで話者の口元を映像として取り込むべきだと思った。なぜなら……」）

問い②: 「人間の音声知覚と機械の音声処理の比較表を見て、どのような課題・条件で差が生じると考えるか、具体例を1つ挙げてください。その差を説明する仮説と、確かめるために必要な比較・データを述べてください。」

事前・事後学習の案内

第3回動画回に向けての事前学習（所要時間：15〜20分）

  1. 音ファイルのプロパティを確認する 手元の音声ファイルの情報表示から、サンプリングレート・チャンネル数、PCMのWAVなどならビット深度を探す。表示項目はアプリやファイル形式によって異なる。見つからなかった場合は、そのファイル形式と表示されていた項目をメモすればよい。ビットレートとビット深度は別の量なので、混同しない。

  2. 「アナログとデジタルの違い」を自分の言葉でメモしておく 「連続」と「離散」という言葉をキーワードに、3〜5文でまとめておく。

  3. （任意）Google Colabを開いてPython環境に慣れる colab.research.google.com にアクセスし、新しいノートブックを開いて print("hello audio world") を実行してみる。余力があれば取り組んでみてください。

第2回の事後学習（復習）

  • 今日のスライドを見直し、フォルマントの概念（F1・F2と舌の位置の関係）を自分で説明できるか確認する
  • 「ソース-フィルタモデル」を図に書いて説明できるか確かめる

参考資料

本文中の番号から、対応する研究・解説を参照できる。数値や研究の結論を用いるときは、対象と条件も確認する。

作成：小野原彩香 ／ 内容確認・修正：2026年10月20日

  1. Fitch, W. T., de Boer, B., Mathur, N., & Ghazanfar, A. A. (2016). Monkey vocal tracts are speech-ready. Science Advances, 2, e1600723. 論文 ↩

  2. Boë, L.-J., et al. (2017). Evidence of a Vocalic Proto-System in the Baboon (Papio papio) Suggests Pre-Hominin Speech Precursors. PLOS ONE, 12, e0169321. 論文 ↩

  3. Boë, L.-J., et al. (2019). Which way to the dawn of speech?: Reanalyzing half a century of debates and data in light of speech science. Science Advances, 5, eaaw3916. 論文 ↩

  4. NIDCD. How Does the Human Body Produce Voice and Speech? ↩

  5. 荒井隆行研究室. 声道模型 ↩↩

  6. Jennifer L. Smith, University of North Carolina at Chapel Hill. Japanese phonetics reference charts ↩↩

  7. NIDCD. How Do We Hear?／Balance Disorders ↩

  8. librosa公式ドキュメント. mel_frequencies：メル尺度の定義と実装 ↩

  9. McGurk, H., & MacDonald, J. (1976). Hearing lips and seeing voices. Nature, 264, 746–748. 論文 ↩

  10. Cherry, E. C. (1953). Some Experiments on the Recognition of Speech, with One and with Two Ears. Journal of the Acoustical Society of America, 25, 975–979. 論文 ↩

  11. Alais, D., & Burr, D. (2004). The Ventriloquist Effect Results from Near-Optimal Bimodal Integration. Current Biology, 14, 257–262. 論文 ↩

  12. Warren, R. M. (1970). Perceptual Restoration of Missing Speech Sounds. Science, 167, 392–393. 論文 ↩

  13. Shi, Y., et al. (2021). Emformer: Efficient Memory Transformer Based Acoustic Model For Low Latency Streaming Speech Recognition. 論文 ↩

  14. Pundak, G., et al. (2018). Deep Context: End-to-end Contextual Speech Recognition. 論文 ↩↩

  15. Shi, B., Hsu, W.-N., & Mohamed, A. (2022). Robust Self-Supervised Audio-Visual Speech Recognition. 論文 ↩↩↩

  16. Baevski, A., et al. (2020). wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations. 論文 ↩

  17. Yang, S.-w., et al. (2021). SUPERB: Speech Processing Universal PERformance Benchmark. 論文 ↩