発声障害者の

音声コミュニケーション手段の研究

研究代表者： 平原 達也 富山県立大学 工学部

2008年6月11日 戦略的情報通信研究開発推進制度（SCOPE）第４回成果発表会

SCOPE 特定領域重点型研究開発・次世代ヒューマンインタフェース・コンテンツ技術 平成17～19年度

共同研究者：

大谷 真 富山県立大学 工学部鹿野清宏、戸田智基、中島淑貴 奈良先端科学技術大学院大学 情報科学研究科細井裕司、阪口剛史 奈良県立医科大学 医学部 耳鼻咽喉科学教室本多清志、足立整治 国際電気通信基礎技術研究所

051307004

秘匿性・対雑音性のある音声入力インタフェース

発声障害

声帯の老化

声帯の麻痺

喉頭摘出

電話 買い物

家庭 職場

×音源機能

調音機能

NAMの生成機序

NAM センサー開発

音源機能 を失うと声が出せなく

なり、日常生活に支障をきたす。

しかし、調音機能 は残存する

残存する調音機能と微弱振動音源を用いて微弱な声道共鳴音を生成できる。

この共鳴音を拡声したり通常音声に変換したりする代用音声技術を開発し、

発声障害者の音声コミュニケーション手段を回復する基盤技術を創る。

NAMデータベース構築・解析

変換代用音声技術Transformed Artificial Speech

ピッチ付与技術

音声変換技術

スペクトル歪補償技術

通常に近い音声

微弱な声道共鳴音

発声障害者

非可聴つぶやき音(Non-Audible Murmur)

健常者

ＴＡＳ技術の評価実験

音声コミュニケーション手段の回復

ＴＡＳ技術の応用

本プロジェクトの背景と目標

0 1 2 3 4 5 60

2k

4k

6k

8k

7

提案法

微弱振動源による声道共鳴音を「肉伝導音センサ」で検出し、

「声質変換技術」で聴きやすい音声にする変換代用音声技術

代用発声法食道発声 電気人工喉頭

さまざまな「音声」

肉導の弱い囁き声

気導 囁き声

泣き声・叫び声

歌声

通常音声

肉導肉導の通常音声

C = 340 [m/s]Z = 400 [kg/m2s]

C = 1500Z = 1.5×105

C = 4000Z = 7.8×105

骨導骨導の

通常音声

発話様式／エネルギーの大きさ

音の伝導媒体

NAM

2003年に中島淑貴がはじめて検出Non Audible Murmur と命名

8

6

4

2

1

0-1

00

1 2 3 4

通常の音声

時間 [s]

周波数[kHz]

正規化振幅

ＮＡＭ信号

0 1 2 3 4

8

6

4

2

0

時間 [s]

1

0-1

非可聴つぶやき声ＮＡＭ：Non-Audible Murmur

ＮＡＭの音響的特徴

10 dB

0.1 1 80.4 4ノイズフロアー

周波数 [kHz]

-17 dB/oct.

-10 dB/oct.

相対レベル

[dB

]

0.1 1 80.4 4

-12 dB/oct.

-23 dB/oct.

周波数 [kHz]

NAMマイク

NAM 信号の長時間スペクトル NAMの長時間スペクトル

通常の音声平均 S/N = 17 dB

装着性の良い新型ＮＡＭマイクウレタンエラストマーウレタンエラストマー

ウレタンエラストマー型 NAM マイク

二重包埋型 NAM マイク

-80

-60

-40

-20

0.1 0.4 1.0 4.0 2010感度

[dB

ref1

V/P

a]周波数 [kHz]

ワイヤレス型ＮＡＭマイク

Bluetooth-NAMマイク FM-NAMマイク

音声品質 高い伝播距離 9 m 以下遅延 250 ms

音声品質 中程度伝播距離 9 m 以上も可遅延 ≒ 0 ms

ＮＡＭ発話時の声門付近の声道形状

強い囁き声 ＮＡＭ弱い囁き声

声門付近冠状断面

喉頭蓋の開放による空洞の伸張

喉頭室の下降と開放

梨状窩の伸張

MRI画像

声道の立体形状計測

声門および声道を流れる空気流の３次元非圧縮性解析結果

Vorticitymagnitude

1,000

750

500

250

0

Vorticitymagnitude

4,000

3,000

2,000

1,000

0

囁き声

声門および声道を流れる空気流の渦度の絶対値|ω|の分布

ＮＡＭ

ＮＡＭ発声時にも、弱い渦が声門上部に生じている

体内伝播過程の数値解析結果

MRI画像

２次元頭部モデル

-50 dB@1 kHz

-20 dB/oct.

インテンシティレベル

[dB

]

周波数 [kHz]

-30 dB

32

4 10( )

air tissue

air tissue

Z ZZ Z

−⋅+

声道壁を透過するエネルギー

声道共鳴音の体内伝播過程

皮膚

ソフトシリコーン等

コンデンサマイク

声道壁声帯

乱流雑音

声道共鳴

声道壁反射で30 dB 減衰

肉部伝播減衰-10 dB/ oct.

全減衰量は-50 dB@1 kHz

インピーダンス整合

声道 軟組織 ＮＡＭマイク

変換代用音声（TAS）技術

ピッチ付与技術

音声変換技術

スペクトル歪補償技術

通常に近い音声

微弱な声道共鳴音

ささやき声

特徴量抽出 音声合成

変換自然音声

肉伝導音声の音響特徴量

x y

),|(maxarg trP θxyyy

=

)|,(maxarg θyxθθ

Ptr =

スペクトルパワー

スペクトルパワー

x y少量の学習データ

統計モデル

最尤変換

肉伝導音声 自然音声

自然音声の音響特徴量

声質変換

肉伝導音声

変換代用音声（TAS）の評価

自然性

了解度平均オピニオン

スコア

人工喉頭 微弱音源NAMマイク

↓声質変換（TAS）

ささやき声 通常音声

健常者の場合

変換代用音声（TAS）の評価

自然性

了解度平均オピニオン

スコア

人工喉頭 人工喉頭通常マイク

↓声質変換（TAS）

人工喉頭NAMマイク

↓声質変換（TAS）

微弱音源NAMマイク

↓声質変換（TAS）

人工喉頭を使い慣れた発声障害者の場合

本プロジェクトの成果1. ＮＡＭデータベースの構築と解析

43 名 630分の NAM を収録し、データベースを構築。NAM は、-23dB/octで高域成分が減衰、S/N=16dB 程度。

ＮＡＭの生成メカニズム声門上部の弱い渦が音源。NAM 発声時に声門は広がり、梨状窩は伸長。声道壁透過で-30dB、肉部伝播減衰は-10dB/oct. 合計で-50dB＠1kHz。

1. ＮＡＭセンサー開発

小型で装着性の良い NAM センサと、ワイヤレス NAM センサを開発。

2. 変換代用音声（ＴＡＳ）技術

微弱音源の肉伝導音を囁き声に変換するアルゴリズムを開発。

3. 変換代用音声（ＴＡＳ）技術の評価

従来の電気喉頭による代用音声より、自然性・明瞭度とも向上。

論文

論文

論文・特許

論文・特許

論文