第12回　音声処理と認知科学・言語学¶

この回の資料

📊 スライドを開く（HTML）
📄 スライド（PDF）
形式：オンライン同期回（Zoom・録画を後日公開）

発達・神経多様性研究と音声技術¶

オンライン同期授業¶

授業の目標¶

言語発達と音声知覚の主要な理論（臨界期仮説・音韻発達の段階）を説明できる
認知科学的アプローチによる音声知覚研究の主要概念を理解できる
神経多様性と音声処理の関係について、多様な側面から説明できる
人間と機械の音声認識の違いを批判的に比較・分析できる
音声インタフェースが多様な神経特性を持つ人々にとってバリアにも、ツールにもなりうることを、具体的な例と共に議論できる

進化の視点：音と意味の対応は、どこまで生得で、どこから文化か¶

ブーバ／キキ効果は、無意味語の音と丸い／尖った形の対応づけに傾向がある現象である。米国と台湾の参加者を比べたChenほか（2016）は、形の特徴が対応づけに及ぼす影響に、集団間の共通点と違いを報告した。¹ ただし、成人2集団の比較だけから、生得性と学習の寄与を分離したり、文化が差の原因だと確定したりすることはできない。

中国音楽の多感覚研究を整理した2026年の系統的レビューも、知覚・感情・神経・文化に関する説明を整理し、共感覚とクロスモーダル対応を区別する必要を指摘している。² 音と色・形を対応づける傾向があることと、ある刺激により別の感覚体験が自動的・安定的に生じる共感覚は、同じ概念ではない。

技術への接続：音声インタフェースの声質や通知音を設計するときには、音から受ける印象が、利用者の言語・文化的経験によって変わる可能性を検討する。これは上記の研究から導く設計上の問いであり、特定の声質が万人に同じ感情を生じさせると実証されたという意味ではない。

問い：同じ音を「明るい」と評価する傾向は、どこまで共有されているか。刺激の音響特徴をそろえた集団比較や学習実験で、どの仮説を区別できるだろうか。

この授業の特別な文脈¶

この回は、神経多様性の研究が授業テーマそのものです

「神経多様性（Neurodiversity）」は、人々の神経・認知特性に多様性があることを指し、その多様性を尊重する視点とも結びついています。人の価値を能力差で序列化しないことと、具体的な困難や支援の必要性を認めることは両立します。 ディスレクシア・ADHD・ASD・聴覚処理上の困難は同一の状態ではなく、診断名だけで個人の音声処理能力を予測することもできません。

この授業では当事者の視点を大切にします。当事者性を持つ学生が参加していることを意識し、学術的に正確でありながら、当事者を「対象」としてのみ見る視点に陥らないようにしましょう。

授業内での発言・議論において、特定の属性を「劣っている」とするような表現を避けてください。

参加方法と配慮事項¶

この回の参加スタイルについて

発話によるディスカッションが難しい場合、Zoomチャット・共有ドキュメントへの書き込みを発言と同等に扱います

カメラのオン/オフは自由です

ディスカッションは「発表」ではなく「対話」を重視します。正解を出すことより、思ったことを共有することを大切にしています

授業後にフォームで感想・意見を提出する方法も用意しています

自分の経験に関わる話題のため、気持ちの整理が必要な場合はいつでも退出してOKです

授業の流れ¶

時間	内容
0〜10分	前回の振り返り・本日の概要・アイスブレイク
10〜55分	講義（以下の6つのテーマ）
55〜85分	ディスカッション（Zoom参加またはメール提出でも可）
85〜90分	まとめ・次回予告・振り返りフォームの説明

事前学習の確認（5分）¶

第11回の最後に提示した事前読み資料を読んできましたか？
以下の質問をチャットに書き込んでください（任意）：

「読んだ資料から印象に残ったことを1文で」

（読んでいない場合は「未読」と書いていただいて大丈夫です。ディスカッションは資料未読でも参加できます）

スライド講義¶

講義テーマ1：言語発達と音声知覚¶

乳児期から幼児期の音韻発達¶

乳児は、成人が区別しにくい非母語の音声対比も弁別する場合がある。その後、周囲で使われる言語への経験によって音声知覚が変化する。すべての乳児が、すべての言語の音を最初から区別できるという意味ではない。³

発達の主な傾向

時期の目安	音声・言語発達で報告される変化
出生直後	母語の韻律などへの感受性が報告され、出生前からの聴覚経験も関わる
乳児期前半	音声の対比を弁別する。どの対比が弁別できるかは刺激や測定課題による
6〜12か月頃	母語の音への感受性が高まり、一部の非母語対比の弁別が低下する「知覚の絞り込み」がみられる
1歳前後以降	意味のある初語が現れ、音と語の対応を学んでいく
2歳頃以降	語を組み合わせた発話が増える。時期や発達の進み方には個人差がある
幼児期〜学齢期	音節・モーラ・音素を意識して操作する能力が発達する。文字学習や教育経験にも影響される

これは各年齢での一律の到達基準ではない。特に、知覚の絞り込みが10〜12か月で完全に終了するわけではない。母音と子音、言語対、言語経験によって発達の経過は異なる。³

Patricia Kuhlの「知覚マグネット効果（Perceptual Magnet Effect）」

音韻カテゴリの典型例（プロトタイプ）の周辺では、音響的に近い刺激どうしの違いを区別しにくくなる、という実験的現象である。Kuhl（1991）は、母音の典型例と非典型例を用いて検討した。⁴

「磁石」は知覚空間の圧縮を説明する比喩であり、非母語の音が物理的に聞こえなくなることではない
日本語母語話者の英語 /l/・/r/ の弁別も母語経験の影響を受けるが、それだけで知覚マグネット効果を直接実証したことにはならない
習熟度、刺激、話者、訓練によって弁別の成績は変わり得る

臨界期仮説（Critical Period Hypothesis）¶

Lenneberg（1967）の提唱

言語習得の可能性や到達度に、発達段階による制約があるという仮説。思春期前後の脳の成熟との関連が論じられたが、第一言語を初めて獲得する場合と、第一言語を持つ人が第二言語を学ぶ場合を区別する必要がある。

臨界期・感受性期を考える観点

観点	確認すること
第一言語と第二言語	幼少期に十分な言語入力を得られなかった人と、成人の第二言語学習者を同一視しない
言語のどの側面か	音声・語彙・文法で、年齢との関係が同じとは限らない
年齢と経験	学習開始年齢、入力の量・質、使用頻度などの影響を分けて検討する
学習可能性と到達度	学習が起こることと、母語話者と同じ成績になることを区別する

「感受性期」は、ある経験の影響を受けやすい時期を表す。成人でも学習が起こることは、あらゆる年齢効果や第一言語の臨界期を否定する証拠にはならない。年齢効果の形や機序は引き続き研究されている。⁵

神経科学との接続

神経可塑性や抑制性回路の発達は感受性期研究の論点である。ただし、動物の感覚系で得られた知見を、そのままヒトの言語全体の「終了年齢」に対応させることはできない。

音声学習の研究例

Kuhlほか（2003）は、英語環境の9〜10か月児に中国語話者との短期間の対面接触を設け、音声弁別への効果を調べた。乳児期後半でも経験の影響があることを示す例であり、9か月を境に外国語の音が学べなくなるという説明ではない。⁶

第二言語習得と音声知覚¶

SLM（Speech Learning Model）と改訂版SLM-r

Flege（1995）のSLMは、母語と第二言語の音の知覚的関係や音声経験から、音声カテゴリの形成を説明するモデルである。略称はSLMである。

第二言語の音を母語の音と同じカテゴリとして扱うと、違いの学習が難しくなる場合がある
違いを知覚し、新しいカテゴリを形成できるかには、入力の量・質や個人差が関わる
Flege & Bohn（2021）のSLM-rは、生涯にわたる学習機構と、母語・第二言語カテゴリの相互作用を重視する⁷

考えてみよう：日本語母語話者による英語 /l/・/r/ の弁別を調べるなら、英語経験や刺激話者をどのようにそろえると、このモデルの予測を検証できるだろうか。特定の音が誰にとっても「簡単」「困難」とは決めつけない。

講義テーマ2：認知科学的アプローチ¶

カクテルパーティ効果の認知モデル¶

現象：騒がしいパーティーの中でも、特定の話者の声を「聞き出す」ことができる。

Cherry（1953）の実験：両耳分離聴（Dichotic Listening）

左耳：「今日の天気は晴れです」（注意を向ける）
右耳：「りんごは赤い果物です」（無視する音声）
→ 注意した側の発話は報告しやすい一方、注意しなかった側の内容は報告しにくい
（注意しなかった入力を一切処理しない、という意味ではない）

Filter Model（Broadbent, 1958）

感覚入力 → [選択的フィルター] → 知覚処理 → 意識・記憶
                ↑
         物理的特性（ピッチ・場所等）でフィルタリング

Attenuation Model（Treisman, 1964）

選択されなかった入力も完全には遮断されない「減衰（attenuation）」される
→ 注意していない側の重要な語にも気づく場合があることを説明するモデル
（全員が必ず自分の名前に気づくわけではない）

音声の選択的注意の神経科学¶

聴覚皮質：周波数や時間変化などに応答し、注意の影響も受ける
前頭・頭頂領域を含むネットワーク：課題に応じた注意の制御に関わる
上側頭回・上側頭溝周辺：音声や視聴覚情報の処理などに関わる

一つの領域が一つの機能だけを担当するという対応表ではない。処理経路については後の神経科学の節で扱う。⁸

音声分離の計算論的モデル（ASRへの応用）

音声強調・話者分離技術（Speaker Separation）は、雑音や重なった発話から目的の信号を取り出す計算上の課題に取り組む。イヤホンなどのアクティブノイズキャンセリングとは、処理の目的・出力が異なる。

Conv-TasNet（2019）：時間領域の表現を学習して音声分離を行う
SepFormer（2021）：Transformerを用いて混合音声を分離する⁹

分離した複数の音源のうち、どの話者を選ぶかという対象話者の指定も別途考える必要がある。

先行刺激効果（Preceding Context Effects）¶

音素修復（Phonemic Restoration）

文中の音を咳払いなどの雑音で置き換えても、本来の音が続いているように知覚されることがある。Warren（1970）の古典的研究が出発点である。¹⁰ 補完されるのは文字ではなく音の知覚であり、雑音への置換と単なる無音への削除を区別する。

語彙効果（Lexical Effect）

曖昧な音を、実在する語になる側に分類しやすい場合がある（Ganong効果）¹¹
語彙情報が音の判断に影響する証拠だが、すべての単語内の音を常に正確に知覚するという意味ではない
知覚段階の変化と判断・反応の偏りを、実験上どう区別するかも論点になる

認知科学とASRへの示唆

人間の処理として検討する機能	音声技術で対応を考えられる処理
文脈や語彙による音の解釈	言語モデル、文脈語句の入力、デコーダによる文字列推定
重なった発話から話者を選ぶ	音源分離、対象話者の抽出、ビームフォーミング
音・語・文など異なる時間範囲の情報を使う	複数の時間範囲を扱う表現やモデル構造

これらは機能上の比較であり、実装や機序が同じという主張ではない。ビームサーチは候補文字列を効率よく探索する方法であり、人間の選択的注意や、マイクアレイのビームフォーミングとは区別する。

講義テーマ3：神経多様性と音声処理¶

用語について

この授業では、神経・認知特性の多様性を尊重しながら、各状態の定義と具体的な困難を区別して学びます。診断名だけで得意・不得意を決めつけず、本人が必要とする支援技術（AT）や環境調整を検討します。

ディスレクシア（発達性読み書き障害）と音韻処理¶

ディスレクシアとは

単語の読みや綴りの正確さ・速さに持続的な困難を示す学習障害であり、現れ方は文字体系にも影響される
音韻処理の困難はよくみられるが、全員に共通する唯一の原因ではない
知的能力全般が低いことを意味しない。一方、「知的能力・感覚機能に問題がなければ」という一律の条件だけで定義するものでもない
頻度や性差の推定は、定義、対象集団、検査、診断へのアクセスで変わる。ここでは出典と条件のない固定的な割合を置かない¹²

音韻処理仮説（Phonological Deficit Hypothesis）

有力な説明の一つが音韻処理の困難である。音韻意識、音韻的な短期記憶、語の音へのアクセスなどを分けて調べる。以下は考えられる一つの過程であり、全員に共通する因果関係がこの図だけで確定するわけではない。¹²

文字と音の対応（Grapheme-Phoneme Correspondence）の困難
         ↓
「か」→ /ka/ という変換が自動化されにくい
         ↓
読み速度の低下・音韻的ワーキングメモリの負荷増大

音韻意識（Phonological Awareness）の困難の例 - 「りんご」の最初のモーラ（拍）「り」を取り出す課題 - 「しんかんせん」を「し・ん・か・ん・せ・ん」の6モーラに分けて数える課題 - 「は・か」の2モーラの順を逆にして「か・は」とする課題

これらの成績に困難がみられる場合がある。日本語のモーラと音節、音素は別の単位であり、例えば「しん」は2モーラ・1音節である。

音声処理との関連

ASR（音声認識）を使うことで、ディスレクシアのある利用者について次のような支援が考えられる： - テキスト入力の負担を軽減できる - 読み上げ機能と組み合わせて文書作成を支援できる

一方で： - 自分の発話が正確に認識されない場合、逆にストレスになることもある - 校正が難しい（音声入力の誤りを読んで確認する必要がある）

聴覚処理障害（APD：Auditory Processing Disorder）¶

APDとは

聴覚情報の神経的な処理に関する困難を指す概念で、定義や評価方法について議論がある
純音聴力検査では説明しにくい、雑音下などでの聞き取りの困難がみられることがある
ただし「聴力が正常で聞き取りにくい」ことだけでAPDと判定できるわけではない。聴力、言語、注意・記憶などを区別した評価が必要になる¹³

APDの主な特性

困難な状況の例：
- 複数人が同時に話す環境（教室・会議・パーティー）
- エコーのある空間（体育館・コンクリートの廊下）
- 電話・マスク越しの音声
- 早口・なまりのある音声

音声処理との関連

字幕・文字情報が聞き取りを補助する場合がある。読みの負荷、表示速度、正確さも評価する
CART（Communication Access Realtime Translation）は専門の文字通訳者によるリアルタイムの文字化サービスを指し、自動ASR字幕とは区別する
ASRも雑音の影響を受けるが、似た入力条件で誤りが増えることは、人間のAPDと同じ機序を持つことを意味しない¹⁴

重要な問い：APDの困難を軽減する音声技術はどうあるべきか？

自閉スペクトラム症（ASD）と音声処理の多様性¶

ASDの音声知覚の多様性

ASDのある人の音声処理には、個人差が非常に大きいですが、以下のような特性が研究されています：

1. 音への感覚反応 - 音に対して強い不快や負担を感じる人も、反応の弱さや特定の音への関心を示す人もいる - 音量の耐えにくさを指すhyperacusisと、特定の音への反応などを一つの現象として扱わない - 診断名から苦手な周波数や好みの声質を決めつけず、音量・通知音・読み上げ速度などを調節できる設計を検討する

2. 音声の社会的処理 - 音声から感情や態度を判断する課題では、成績や使用する手がかりに違いが報告される場合がある - 個人差に加え、言語能力、刺激、課題、相手との文脈も考慮する - 特定の実験結果を、ASDのある人全員の感情理解や音響能力へ一般化しない

3. 発話とコミュニケーション手段の多様性 - 発話、文字、身振り、AACなどを組み合わせる人がいる - 発話が少ないことと、理解や伝えたい内容が少ないことを同一視しない - 状況による発話量の変化だけで「選択性緘黙（場面緘黙）」と呼ばない。場面緘黙は特定場面で話せない状態についての別の臨床概念である¹⁵¹⁶

音声AIとASD - 人との会話とは異なる利用のしやすさがある可能性を、本人の経験から検討する - 声質・音量・対話の速さが負担になる場合もある - 音声と文字の切替やカスタマイズを用意し、利用者にとっての効果を確かめる

AAC（拡大・代替コミュニケーション）技術¶

AACとは

Augmentative and Alternative Communication（拡大・代替コミュニケーション）は、発話などによるコミュニケーションを補ったり代替したりする手段の総称である。発話がまったくできない人だけを対象とするものではない。¹⁷

AACの種類

区分	例	音声技術との関係
道具を使わないAAC	身振り・サイン・表情	電子的な音声処理を必要としない
非電子的な道具を使うAAC	絵・写真・文字のコミュニケーションボード	本人が指差しなどで選ぶ。絵カード一般と、特定の指導体系PECSは区別する
電子的なAAC	タブレットアプリ、音声出力装置（VOCA／SGD）	TTSによる合成音声、録音音声の再生、または両方を使う
アクセス方法の工夫	視線、スイッチ、パートナーによる選択肢の順次提示	本人の選択を確認する。上記の道具の区分と組み合わせられる

音声技術とAACの接点

視線入力：目の動きで文字やシンボルを選び、音声出力につなぐ
予測入力：語の候補を提示し、本人が選択・修正する。提案された語を本人の意図と同一視しない
BCI（脳コンピュータインタフェース）：脳信号を使う文字選択や、発話しようとする際の信号からのデコードが研究されている。例えばWillettほか（2023）は埋込み電極を用いた。頭皮脳波から自由な思考をそのまま読み取る技術という説明ではない¹⁸

アプリの例：CboardはオープンソースのAACアプリ。Speak for YourselfやProloquo2Goなどの製品とは、機能やライセンスを個別に確認する。¹⁹ 音声出力付きAACでも、文字・シンボルを利用者が選択することと、AIが画像の意味を自動認識することは別である。

講義テーマ4：機械と人間の音声認識の比較¶

何を比較するか¶

人間の会話理解全体と、音声を文字列へ変換するASRを、一つの「能力」として比較しない。感情・意図の推定、意味の曖昧さの解消、話者分離などは、関連する別の課題である。

1. 文脈・語彙・意味

英語の同じ綴り・発音の “bank” が川岸か銀行かを判断する課題は、主に意味の曖昧性解消である。ASRが “bank” と正しく文字起こししただけでは、どちらの意味か理解したことにならない。人間についても、文字列の復唱と意味理解を別に測定する。

2. 雑音と声の重なり

人間は音響的な手がかり、注意、文脈などを使うが、聞き取りは条件で低下する
機械はモデル、データ、マイク、前処理などに影響される
同じ音声、同じ情報、同じ評価方法を用いて比較する。診断名から個人と機械の優劣を予測しない

3. 感情・態度・意図

人間も、韻律や言葉の内容、状況から相手の感情・意図を推測し、誤解することがある。機械の感情認識などを評価するときは、何を正解ラベルとするか（話者の自己報告、第三者の評定など）を明示する。文字起こしのWERとは別の評価である。

4. 計算・学習・運用

機械は複数の音声を並列に処理できるが、速度は機器・モデル・設定・音声長に依存する
多言語モデルは複数言語に対応するが、対応言語の数と各言語での性能は異なる。人間の習得可能言語数にも「2〜3言語」という固定上限はない
出力の再現性には、モデルの版、乱数、デコード設定、実行環境などをそろえる必要がある
微細な特徴量を測定できることと、その意味を正しく推定できることも区別する

比較のための表¶

比較軸	人間について測ること	機械について測ること
文字起こしの正確さ	指定した音声・条件でのWER／CER	同じ音声・正規化・分かち書きによるWER／CER
雑音・話者の重なり	注意の条件や聞き取り成績	前処理・入力条件・対象話者指定の影響
未知語・固有名詞	語の経験や文脈の効果	トークン化、学習データ、文脈入力の効果
感情・意図	評定の一致度・正解の定義	同じ課題での予測と誤り
多言語	各言語の経験・習熟度	言語ごとの性能とデータ条件
持続性・再現性	注意・経験・疲労などに伴う変動	設定・計算資源・稼働条件による変動
エネルギー	比較対象と測定範囲を明示	同じ処理量・時間について電力または電力量を測る

WERは誤り率なので小さいほどよい。 正解語数を分母とする置換・削除・挿入の率であり、「95%の正解率」と「95% WER」は同じではない。脳全体の電力と一つのASR処理の電力を、条件をそろえず比較することも避ける。

講義テーマ5：神経科学的アプローチ¶

fMRI・EEGによる音声処理研究¶

fMRI（機能的磁気共鳴画像法）

原理：血液の酸素化状態に依存するBOLD信号を測り、神経活動に伴う変化を間接的に捉える
時間：血行動態反応は秒単位で遅れて変化する。画像の取得間隔と神経活動の時間分解能は別
空間：ミリメートル程度の位置を扱えるが、装置・撮像方法・解析で変わる

音声処理に関わる主な脳領域

Hickok & Poeppelの二重経路モデルによる整理：⁸

部位・経路	主に関わる処理	半球との関係（モデルの概略）
一次聴覚野（Heschl回周辺）	周波数・時間変化などの音響情報	両半球
上側頭回・上側頭溝周辺	音声の分析など	両半球の寄与がある
腹側経路（Ventral Stream）	音声と意味の対応	おおむね両側性
背側経路（Dorsal Stream）	音声と発話運動の対応	左半球優位

これは特定のモデルによる機能の整理であり、音声が一方向に直列処理されるだけの図ではない。「背側＝空間処理」は聴覚一般の別の整理とも関わるため、音声の二重経路モデルと混同しない。

EEG（脳波）

原理：頭皮上の電位変化を測定
時間分解能：ミリ秒単位（非常に高い）
空間：頭皮上の電位から発生源を推定するため不定性があり、電極数・頭部モデル・解析法に依存する

音声・言語研究でのEEG指標

指標	時間・周波数の目安	主に検討されること
MMN（Mismatch Negativity）	音の変化後、およそ100〜250 msの陰性変化	反復系列の規則性から外れた音への応答
N400	およそ400 ms付近の陰性変化	語や文脈との関係など、意味処理に伴う違い
P600	およそ600 ms付近の陽性変化	構文の逸脱や再解析などに伴う違い
ASSR（聴性定常反応）	刺激の反復・変調周波数に同期。40 Hzは一例	周期的な音刺激への持続的な応答

N400・P600などの名称に含まれる数値は代表的な潜時の目安で、認知処理の固定的な開始時刻ではない。ASSRの40 Hzは周波数であり、潜時40 msではない。これらの指標と心理機能を一対一に対応させて診断や理解の有無を決めることはできない。²⁰

ディスレクシア研究との接続

音韻や読みの課題を用い、脳活動や行動成績の集団差が調べられている。活動の違いを解釈するときは、課題成績、年齢、読書経験などを考慮する。集団平均の差から、個人の能力や必要な支援を直接判定しない。音韻処理だけでは説明できない個人差も検討対象になる。¹²

音声AIの神経科学的評価¶

ニューラルアライメント研究

研究アプローチ：
1. 人間の音声処理中の脳波（EEG）・fMRIを計測
2. 同じ刺激に対するDNNの内部表現を取得
3. 両者の類似性を定量化

Kell et al. (2018)（Neuron）： - 音声と音楽の認識課題に最適化したDNNについて、人間の行動やfMRI応答との対応を調べた - モデル内の階層と聴覚皮質の応答に対応がみられ、課題に基づくモデル構築が知覚研究に役立つことを示した²¹ - 脳活動を予測できることと、学習過程や内部機構が人間と同じであることは別である

重要な問い：
「機械が人間の脳活動を予測できる」ことは、「機械が人間と同じように認識している」ことを意味するか？

講義テーマ6：音声AIの認知科学的評価¶

心理言語学実験との対比¶

音声AIを人間の音声知覚と同じ枠組みで評価することで、AIの限界と可能性が見えてきます。

1. 音素修復を調べる実験

文の一部の音を雑音で置き換え、元の音が続いて聞こえるかを調べる。正常な音声、雑音に置換した音声、無音にした音声を比べ、文脈の有無も操作する。¹⁰

対象	何を測るか
人間	聞こえた語、欠けた音の知覚、判断や反応時間
ASR	出力された文字列、条件ごとのWER／CERや出力傾向

ASRが元の語を出力しても、人間と同じ知覚体験を持った証拠にはならない。既存の語の確率が高いため出力した可能性など、競合する説明を検討する。

2. McGurk効果

視覚：「が」と口を動かす映像
聴覚：「ば」という音声
↓
人間の知覚：「だ」（視聴覚統合の錯覚）
ASR（音声のみ）：「ば」（視覚情報なし）
マルチモーダルASR：視覚情報を統合した場合の影響は？

音声と映像を入力するモデルでは、両者が一致する場合・食い違う場合を比較できる。人間についても効果の出方は個人・刺激などで異なる。音声のみのASRと比較するときは、利用できる入力情報の違いを明示する。

3. VOTを用いた音声カテゴリ境界の測定

「ば（ba）」〜「ぱ（pa）」を VOT（Voice Onset Time）で連続的に変化させた刺激
人間：「ば」と分類する割合などを、VOTの関数として測定する
ASR：同じ刺激に対する文字・音素の出力傾向を測定する

VOTは閉鎖の開放と声帯振動開始との時間差であり、ピッチ（F0）ではない。境界の位置や急峻さ、同じカテゴリ内の弁別などを比べれば、モデルが人間の行動をどこまで説明するか検証できる。カテゴリを出力できることだけで、知覚機構の一致を結論しない。

倫理的視点：音声AIの評価と社会的責任¶

公平性（Fairness）の問題

Koeneckeほか（2020）は、当時の5社の英語ASRを用い、研究で対象とした黒人話者と白人話者の発話でWERの差を報告した。これは特定の音声データと当時のシステムの比較であり、全システム・全話者に同じ差があると示した研究ではない。²²

性別、年齢、方言、第二言語のアクセントなどによる差を調べる場合も、各集団の平均だけでなく、録音条件・内容・話者ごとの分布を確認する。観察された差を、訓練データの偏りという一つの原因に自動的に帰属させない。

これは何を意味するか？

音声AIが「標準」とみなす話者は誰か？
誰の音声でより多く訓練されているか？
不公平な精度差は、ユーザーの経験・アクセスに直接影響します。

神経多様性と音声AI

ディスレクシアのある人が音声入力を使う場合：
- ASRの誤認識を読んで確認することが難しい → 校正負担が増大
（ディスレクシアがあること自体から、発話が非標準的だとは言えない）
- 「音声入力で楽になるはずが、逆に大変になる」

ASD・APDのある人が音声UIを使う場合：
- 特定の声質・音量が苦痛になりうる
- エラーハンドリングのメッセージが過負荷になりうる

設計の問い：「標準的なユーザー」を想定した設計は誰を排除するか？

ディスカッション（30分）¶

テーマ：「多様な神経特性を持つ人々にとって音声インタフェースはバリアかツールか？」¶

ディスカッションの趣旨¶

このテーマには「正解」がありません。また、どちらかに決めることが目的でもありません。

音声インタフェースが助けになる場面・人はどんなとき・誰か？
音声インタフェースが新たな困難を生む場面・人はどんなとき・誰か？
設計者として何ができるか？

重要な視点：「ツールかバリアか」は、同じ人にとっても状況・文脈・設計によって変わります。また、どちらでもあることもあります。

フェーズ1：小グループまたは個人での考察（15分）¶

グループ編成：Zoom参加者は3〜4人のグループ（任意）、または個人でも可
参加方法：発話でも、チャットへの書き込みでも可。Zoomに参加していない場合はメールで考えをまとめて送ってもOKです

議論のガイド（必ずしも全部やらなくていい）：

Step A：具体的な例から考える（5分）

以下は議論用の仮想事例であり、利用者全員の経験を表すものではない。1つ（または自分で考えた例）について話し合う：

事例1：視覚障害者とスマートスピーカー
ある利用者は、定型的な用件を音声で操作できることを便利だと感じる → ツールの可能性
一方、誤認識が続き、画面以外で修正できない → バリアの可能性
スクリーンリーダーとどちらが便利かは、利用者と用件によって確かめる。

事例2：ASDがある大学生と音声メモアプリ
授業中に声を出さずに使えないため、授業への参加が難しい → バリア？
テキスト入力より音声のほうが早く情報を整理できる → ツール？

事例3：吃音のある社会人と音声アシスタント
発話の繰り返しや間によって途中で入力が終了する → バリアの可能性
電話対応の代わりに音声UIで業務が完結する → ツール

事例4：APDのある高校生と字幕・文字起こしAI
音声を聞き取る代わりに文字起こし結果を読む → ツール
文字起こしに誤りがあると、かえって混乱する → バリア

Step B：設計者の視点（5分）

「ツールになるかバリアになるか」を分けるのは何か？

技術的な要因（ASR精度、カスタマイズ性、音声の品質）
設計上の要因（エラーハンドリング、フォールバック、フィードバック）
社会的・文脈的要因（使う場所、周囲の理解、スティグマ）

Step C：まとめ（5分）

グループとして「最も重要だと思った点」を1〜2文でチャットに書く準備をする。

フェーズ2：全体共有（15分）¶

各グループがチャットに投稿した内容を読み上げ（または本人が発表）、全体でコメント。

ファシリテーションの観点： - 「バリア」と「ツール」を対立として見ない - 「誰にとって」「どんな文脈で」という問いを大切にする - 当事者の声・研究・技術の三つの軸から考える

補足：事前読み資料の紹介¶

第11回で提示した事前読み資料の補足です。以下は授業後の学習にも使えます。

1. 神経多様性と教育支援 - 国立特別支援教育総合研究所（NISE）ウェブサイト：https://www.nise.go.jp/ - 発達障害情報・支援センター：https://www.rehab.go.jp/ddis/

2. AAC（拡大・代替コミュニケーション） - 日本AAC研究会（JAACRG）ウェブサイト：https://jaacrg.net/ - Cboard（オープンソースAACアプリ）：https://www.cboard.io/

3. 音声AIの公平性に関する研究 - Koenecke, A., et al. (2020). Racial disparities in automated speech recognition. PNAS.
（アメリカの黒人英語話者と白人英語話者のWERの差を示した研究）

4. ディスレクシアと音声技術 - British Dyslexia Association: Assistive Technology Guide
https://www.bdadyslexia.org.uk/advice/adults/technology - DyslexiaHelp（ミシガン大学）：https://dyslexiahelp.umich.edu/tools/assistive-technology

5. 認知科学・言語発達（入門的文献、日本語） - 今井むつみ（2010）『ことばと思考』岩波新書

振り返りフォームの案内¶

本日の授業後、Google Formsまたはメールで以下を提出できます（任意）。提出期限は授業で案内します。課題として採点する場合は、小課題・演習30%の範囲で扱い、匿名の授業改善コメントは採点と分けます。

振り返りの問い

今日の授業で最も印象に残ったこと・気づいたことは何ですか？

授業前後で変わった考え方・深まった視点はありますか？

授業の進め方・配慮についてのコメントがあれば教えてください（匿名可）

次回予告¶

第13回（動画回）：応用事例と社会的インパクト

音声合成・音声Deepfakeの仕組みと用途
音声偽造、検出技術、ASVspoofによる評価
音声AIのバイアスと、精度差を検証する方法
音声の利用に関わる権利、倫理、規制

参考文献（第12回）¶

言語発達・音声知覚¶

Kuhl, P. K. (2004). Early language acquisition: Cracking the speech code. Nature Reviews Neuroscience, 5, 831–843.
Werker, J. F., & Tees, R. C. (1984). Cross-language speech perception: Evidence for perceptual reorganization during the first year of life. Infant Behavior and Development, 7, 49–63.
Flege, J. E. (1995). Second language speech learning: Theory, findings, and problems. In W. Strange (Ed.), Speech perception and linguistic experience (pp. 233–277).

認知科学・神経科学¶

Cherry, E. C. (1953). Some experiments on the recognition of speech, with one and with two ears. Journal of the Acoustical Society of America, 25, 975–979.
Kell, A. J., et al. (2018). A task-optimized neural network replicates human auditory behavior, predicts brain responses, and reveals a cortical processing hierarchy. Neuron, 98(3), 630–644.

神経多様性と音声処理¶

Goswami, U. (2011). A temporal sampling framework for developmental dyslexia. Trends in Cognitive Sciences, 15(1), 3–10.
Tager-Flusberg, H. (2010). The origins of social impairments in autism spectrum disorder: Studies of infants at risk. Neural Networks, 23(8-9), 1072–1076.
Stiegler, L. N., & Davis, R. (2010). Understanding sound sensitivity in individuals with autism spectrum disorders. Focus on Autism and Other Developmental Disabilities, 25(2), 67–75.

音声AIの公平性¶

Koenecke, A., Nam, A., Lake, E., et al. (2020). Racial disparities in automated speech recognition. Proceedings of the National Academy of Sciences, 117(14), 7684–7689.
Tatman, R. (2017). Gender and dialect bias in YouTube's automatic captions. Proceedings of the First Workshop on Ethics in Natural Language Processing, 53–59.

AAC・支援技術¶

Beukelman, D., & Light, J. (2020). Augmentative and alternative communication: Supporting children and adults with complex communication needs (5th ed.). Brookes Publishing.

本文中の出典・追加資料¶

Chen, Y.-C., et al. (2016). When “Bouba” equals “Kiki”: Cultural commonalities and cultural differences in sound-shape correspondences. Scientific Reports, 6, 26681. 論文 ↩
Music synesthesia or cross-modal correspondences? A systematic review of terminology and findings in multisensory research on Chinese music. Humanities and Social Sciences Communications (2026). 論文 ↩
Mehler, J., et al. (1988). A precursor of language acquisition in young infants. 論文；Werker & Tees (1984). 論文。発達の概観はKuhl (2004). 総説 ↩↩
Kuhl, P. K. (1991). Human adults and human infants show a “perceptual magnet effect” for the prototypes of speech categories, monkeys do not. 論文 ↩
Mayberry, R. I., & Kluender, R. (2018). Rethinking the critical period for language: New insights into an old question from American Sign Language. 論文 ↩
Kuhl, P. K., Tsao, F.-M., & Liu, H.-M. (2003). Foreign-language experience in infancy: Effects of short-term exposure and social interaction on phonetic learning. 原論文 ↩
Flege, J. E., & Bohn, O.-S. (2021). The Revised Speech Learning Model (SLM-r). 著者によるモデルの説明 ↩
Hickok, G., & Poeppel, D. (2007). The cortical organization of speech processing. モデルを提案した論文 ↩↩
Luo, Y., & Mesgarani, N. (2019). Conv-TasNet. 論文；Subakan, C., et al. (2021). Attention Is All You Need In Speech Separation. 論文 ↩
Warren, R. M. (1970). Perceptual restoration of missing speech sounds. 原論文 ↩↩
Ganong, W. F. (1980). Phonetic categorization in auditory word perception. 原論文 ↩
International Dyslexia Association. 2025 Definition Glossary and Resources. 定義と説明。音韻処理の困難はcommon but not universalとされ、多因子的な背景を区別している。 ↩↩↩
ASHA. Central Auditory Processing Disorder. 専門団体による定義・評価の整理 ↩
National Court Reporters Association. What is Captioning. CARTの説明 ↩
ASHA. Autism and Autism Spectrum Disorder. 個人差・コミュニケーション支援の説明 ↩
ASHA. Selective Mutism. 場面緘黙の定義と鑑別 ↩
ASHA. Augmentative and Alternative Communication. AACの種類・入力・出力の説明 ↩
Willett, F. R., et al. (2023). A high-performance speech neuroprosthesis. 原論文 ↩
Cboard公式サイト・ソースコードとライセンス ↩
MMNの潜時・規則性の区別については、原研究（eNeuro, 2024）を参照。Kutas & Hillyard (1980). N400の原研究；Osterhout & Holcomb (1992). P600に関する原研究；Galambos, Makeig, & Talmachoff (1981). 40 Hz聴性応答 ↩
Kell, A. J., et al. (2018). A task-optimized neural network replicates human auditory behavior, predicts brain responses, and reveals a cortical processing hierarchy. Neuron. 著者の公開論文 ↩
Koenecke, A., et al. (2020). Racial disparities in automated speech recognition. 原論文 ↩

第12回 音声処理と認知科学・言語学¶