自然発話に現れる感動詞の発話スタイルとパラ言語的機能の分析

石井カルロス寿憲

Intelligent Robotics and Communication Laboratories

ATR, Kyoto, Japan

第６回幼児のコモンセンス知識研究会

2

背景：言語情報とパラ言語・非言語情報を考慮した音声理解

スペクトル特徴抽出

音声認識( 言語情報 )

音声理解対話処理部へ

Audio signal

特徴抽出

発話内容　

韻律・声質の特徴抽出

パラ言語情報抽出 意図

態度感情

言語に依存しない

“ ”え＋

韻律＋

声質

＝

“ ”え＋

韻律＋

声質

＝

Breathy/Whispery voiceHarsh voiceCreaky voicePressed voice

感動詞（応答詞・感嘆詞・間投詞）は特に発話スタイル（韻律・声質）によって伝達されるパラ言語機能が変わる

本研究：　自然発話に出現するさまざまな感動詞について分析

•これまでのパラ言語情報（発話意図、態度、感情など）の抽出に関する多くの研究は基本周波数（ F0 ）・パワー・持続時間などの韻律特徴を重視して来たが、最近の研究では声質情報の重要性も示されている•特に表現豊かな発話音声 (expressive speech) では、声帯の振

動モードによる non-modal （気息性、非周期性など）の声質が現れやすく、 F0 さえ抽出できない場合も多いので、声質情報は重要となる

•声質は、 modal ( 通常発声 ), breathy 及び whispery ( 気息性を含んだ発声 ), vocal fry または creaky ( フライ発声；非常に低くパルス的な声 ), harsh または ventricular ( 雑音的で耳障りのある声 ), pressed ( 喉頭を緊張させたりきみ発声 ) 及び、これらの声質の組み合わせ（ hw, pcなど）によって表現できる

背景：　声質に関して

分析用の音声データ

3 種類の自然発話音声データベース：•　 JST/CREST 　 ESP 自然会話音声データベース

２０代～４０代の話者１０名（女性７名，男性３名）

１対話当たり，２０～３０分程度；　家族，友人，他人との会話を含む

•　 ATR ・ IRC 研で収録したマルチ･モーダル自然対話音声データベース２０代～５０代の話者７名（女性３名，男性４名）

１対話当たり，１０～１５分程度；　

本研究では音声と書き起こしデータのみを使用

•　 CSJ 「日本語話し言葉コーパス」の対話データ（ D01 ～ D04 ）

２０代～５０代の男女

１対話当たり，１０分程度；　親しい間柄や，職場・年齢の立場で上下関係が生じる話者同士の対話を含む

テキスト検索による感動詞のリストと出現数

え･えー 12729 はい･はーい 13044

うん･ふん 51240 は･はー･はん 321

あ･あー 29710 いいえ･いえ 211

あん･あーん 498 いや･いやー 3372

へ･へー 2381 や･やー 689

お･おー 452 あら･ありゃ 145

おん･おーん 168 あれ･あれー 295

ほ･ほー 1212 わ･わー･うわー 367

ほん･ほーん 527

「なるほど」、「なんか」、「えっと」、「でー」などの感動詞もテキスト検索で識別されたが、これらがもたらす機能のバリエーションは比較的少ないため、分析から除外した

分析対象とする感動詞

各感動詞のグループにおける発話リストを整理し、各感動詞のグループにおけるパラ言語情報のバリエーションを母語話者 2 名により、ラベル付与

•　各感動詞におけるパラ言語情報の項目の候補を、オンライン国語辞書及び過去の研究に基づいて準備•　被験者の判断により、新しい項目を自由に追加可能

被験者 2 名が付与したラベルは第 3 者の被験者が統一

感動詞の機能のラベリング

短い下降調：　肯定的反応（肯定、同意、承諾、理解、相槌など）

短い上昇調：　聞き返し・意外

上昇調＋気息音・ Harsh 発声：　意外＋驚き

長い上昇調：　否定的反応（不満、嫌悪、非難、疑いなど）

弱く長い平坦調：　考え中（フィラー）、発話の準備（オープナー）

長い平坦・上昇調：　感心、同情

長い＋りきみ発声：　深い驚き、深い同情

短い下降調の連続：　同意、理解

感動詞の発話スタイルと機能の分析：　「え・えー」

発話「え」との類似：

上昇下降調：　否定（打ち消し）

長い＋りきみ発声：　深く考えている・悩んでいる、躊躇

感動詞の発話スタイルと機能の分析：　「うん・ふん」

発話「え」との違い：

短い下降調：　肯定的反応（肯定、同意、承諾、理解、相槌など）短い上昇調：　聞き返し・意外 気息音・ Harsh 発声：　意外＋驚き 長い上昇調：　否定的反応（不満、嫌悪、非難、疑いなど）弱く長い平坦調：　考え中（フィラー）、発話の準備（オープナー）長い平坦・上昇調：　感心、同情 短い下降調の連続：　同意、理解

•短い平坦調：　気付き、思い出した時

•短い平坦調＋気息音：　気付き＋驚き

•長い＋下降調：　理解・同意・肯定

•発話頭の短い「あ」：　後続発話を和らげる「クッション的」役割；　「あ、そうですか」

•下降調の連続：　ピッチの立て直しが小さい場合： 理解・同意

•　　　　　　　　　ピッチの立て直しが明確場合：　同情、残念、 がっかり

•下降上昇調：　同上

感動詞の発話スタイルと機能の分析：　「あ・あー」

•短い下降調：　肯定的反応

•短い上昇調：　聞き返し

•短い上昇調＋ harsh/whispery 発声：　驚き・意外

•長い「へーー」：　相槌（対話相手の話を聞いている・興味を持っていることを表現）

•長い「へーー」（単独の場合）：　聞き流し、無関心

•長い「へーー」＋りきみ：　深い感心・驚き

感動詞の発話スタイルと機能の分析：　「へ・へー」

•肯定･承諾･相槌・返事としてフォーマルおよびカジュアルな場面で用いられる•「あ・あー」が先行することが多い：　気付き、理解•「はい」の連続＋下降イントネーション：　理解、共感 •「はい」の連続＋最後の「はい」でピッチの立て直し：　「邪魔くさい、もう分かった」の意味が表現

感動詞の発話スタイルと機能の分析：　「はい」

•平坦・下降調の「はー・はーん」：　「はい」と「うん・ふん」の間の会話音声；　相槌・理解

•柔らかい声質；短い・長い・連続：　対話者との間に距離がある場合；　謙遜

•長い「はー」：　感心、驚き、理解

•長い「はー」＋りきみ発声：　感心・驚きの度合いが増す

•長い「はー」＋下降調＋気息音発声：　ため息

•短い上昇調＋柔らかい声質：　聞き返し

•長い上昇調＋硬い声質？：　否定的反応（非難）？

感動詞の発話スタイルと機能の分析：「はー・はーん」

•短い「お」：　驚き、気付き　

•長い「おー」、「おん」：　「あー」「うん」のカジュアル形；　理解

•「おお」「おん」の連続：　強い理解

•（発話頭で現れた）長くて弱い「おーー」：　フィラー （先行発話末の音素が /o/ の場合）

感動詞の発話スタイルと機能の分析：　「お・おん」

•「あー」「うーん」の間の会話音声「ほーー」：　意外・弱い感心、相槌

•平坦・下降調「ほん」：　「うん・ふん」のカジュアル形；　相槌・理解

•長い「ほーー」＋りきみ：　深い感心・驚き

•「はー」と同様：　ため息

感動詞の発話スタイルと機能の分析：　「ほ・ほー」

•否定

•「いえ」：　「いいえ」のバリエーション

•「いいえ」・「いえいえ」：　「ありがとう」に対する返事

感動詞の発話スタイルと機能の分析：　「いいえ・いえ」

•　「いらない」、「嫌」の意味を持つが、感動詞としての使用が多い

•　短い：　否定的応答（「いいえ」の意味）

•　単なる接続詞（またはオープナー）として発話頭に出現することが多い

•　りきみ発声：　深い驚きや躊躇

•　高ピッチまたは harsh/whispery 発声：　強い驚き

•　「嫌」の意味の場合、「いやだ」「いやや」が多い

感動詞の発話スタイルと機能の分析：　「いや・やー」

•驚き・意外　

•上昇調：　疑問・疑い

•「あらー」＋ソフトな breathy 発声：　同情・残念・がっかり

•「あら」の連続：　望ましくない出来事に対する反応として使用

感動詞の発話スタイルと機能の分析：　「あら・ありゃ」

「あら」：　女性話者に多い

•「あら」と同様：　驚き・意外；ただし疑問・疑いの気持ちを多く含む•「あれーー」：　疑問・疑いが増す•　指示語の「あれ」；感動詞の「あれ」と識別する必要がある（言語情報が必要？）•「あれーー」：　考え中、フィラーとしても発話される

感動詞の発話スタイルと機能の分析：　「あれ」

•驚き・感動

•りきみ：　驚き・感心・嫌悪の度合いが増す

•Harsh/whispery 発声：　驚きの度合いが増す

感動詞の発話スタイルと機能の分析：　「わ・うわー」

本研究の知見を用いて、音響特徴によるパラ言語情報の自動識別を検討する

今後の予定

まとめ

自然対話音声に出現する感動詞がもたらすパラ言語情報と発話スタイルのバリエーションを調べた

感動詞の種類およびその発話スタイルをパラ言語情報の識別に考慮する必要があることが示された

声質に関して多くに感動詞において共通した特徴：

harsh/whispery 発声やりきみ発声を含んだものは、驚き・感心・嫌悪などの感情・態度表現を強める効果がある

[1] Ishi, C.T., Ishiguro, H., Hagita, N. (2008). Automatic extraction of paralinguistic information using prosodic features related to F0, duration and voice quality. Speech Communication 50(6), 531-543, June 2008.

[2] 石井カルロス寿憲，石黒浩，萩田紀博 (2008) “ 自然発話に現れる感動詞の発話スタイルと機能の分析” 日本音響学会 2008 年秋季研究発表会， Vol. I, 269-270

[3] Ishi, C.T., Ishiguro, H., Hagita, N. (2008). “The meanings carried by interjections in spontaneous speech,” Proc. Interspeech 2008, September 2008.