社会的シグナル(social signal)から対話相手の意図を読む

植田一博（東京大学）

講演内容

•社会性認知に関する研究 •言語コミュニケーションから非言語インタラクションへ

•他者の意図理解に関する研究

•我々の研究の紹介 •複数の非言語情報による嘘の自動判別 •対面販売場面における販売員と顧客のインタラクション： 非言語行動からの選好推定

•今後の研究課題 •ロボットやエージェントへの実装のために

社会性認知に関する研究

•社会性認知(social cognition) •個人間のインタラクションないしコミュニケーション（会話）を成立させる上で必要となる種々の認知能力

•その機能は，他者認知，顔・表情認知，視線認知，自己認識，模倣，共感，他者意図理解，社会的情動，共同注意，協調作業，観察学習，心の理論，コミュニケーションなどを含む。

•高次レベルの認知機能 →低次（感覚・運動に近い）レベルの認知機能 •社会心理学→認知科学・認知脳科学

•相手が発する非言語情報（表情，視線，しぐさやジェスチャー，姿勢，音声に含まれる韻律など），つまり社会的シグナルの読み取りから，ボトムアップに社会性認知が実現されている。

言語コミュニケーションから 非言語インタラクションへ

• (Grice, 1969)以降の言語学の主流 •意図的な情報伝達

•最近の認知科学や認知言語学 •表出された行動の連鎖として会話を捉える

•社会的シグナルとしての非言語情報の読み取りが，コミュニケーションの成立に重要である

•言語コミュニケーションから非言語インタラクションへ • インタラクション時の非言語情報の計測と分析が重視

他者の意図理解に関する研究（１） 誤信念課題を用いた研究

心の理論 人や類人猿などが，他者の心の状態，目的，意図，知識，信念，志向，疑念，推測などを推測する心の機能のこと（Premack & Woodruff, 1978）

サイモン・バロン＝コーエン：他者の心を 読むための機構 • 意図検出器（Intentionality Detector） • 視線検出器（Eye-Direction Detector） • 注意共有の機構（Shared-Attention

Mechanism） • 心の理論の機構（Theory-of-Mind Mechanism:

ToMM）

サリーとアンの課題の図

他者の意図理解に関する研究（３） インタラクションを通した情動理解

•コミュニケーションにおける同調傾向 •反応潜時（長岡ほか, 2002），顔表情（Gump & Kulik, 1997），

mimicry（Lundqvist, 1995; Hess et al., 1998），身体動作（Condon & Ogston, 1966; Kendon, 1970），呼吸変化（中村, 1995; 長岡・小森・中村, 2000）など

•身体の同調がラポールやポジティブな印象などの情動に影響（Laird & Lacasse, 2014）

•人-エージェント間でも同様な現象 •エージェントが表出する非言語情報が説得（Bailenson & Yee,

2006），関心（Mota & Picard, 2003），満足（Ohmoto et al., 2012）などの点で人に影響

他者の意図理解に関する研究（４）

•こうした機構が生得的に備わっているのかどうかについては議論があるが，普遍的な機構と考えられる •心の理論：生得性を強調する「モジュール説」 vs. 経験を通じた理論形成を強調する「子供＝小さな科学者説」

•模倣：人はmimicry によって共同社会の中で生きることに適応（Lakin, Jefferis, Cheng, & Chartrand, 2003） vs. 新生児模倣に対する否定的なデータ（Oostenbroek et al., 2016）

•こうした機構のメカニズムを解明し，それを人と人工物のインタラクションに役立てることは有益と考えられる。

•先行研究の問題点 •心的状態と単一の非言語情報との関連を調べたものが多い（例外：Banziger et al., 2012; Mehu & van der Maaten, 2014）

•実験室状況で調査→現実のコミュニケーションでは不明

研究目的

•現実のコミュニケーションの中で理解 •記号的な情報の読み取り

• 言語情報やシンボリックな情報

•意図や感情の読み取り • 主に非言語情報

非言語情報から人の意図を読み取る

→嘘の判別，対面販売での選好の判別

複数の非言語情報による 嘘の自動判別

大本義正（京都大学）

植田一博（東京大学）

大野健彦（NTT研究所）

大本 義正・植田 一博・大野 健彦 (2010)． 複数の非言語情報による自由なコミュニケーション中の嘘の自動判別の可能性の検討． 『電子情報通信学会和文論文誌D』，J93-D(6)，848-856．

本研究の目的とアプローチ

•自然なコミュニケーション中の人間の意図を，機械的に判別する方法の手がかりを得る

•アプローチ •嘘に焦点を当てる

• 非言語情報によって意味解釈が変化する典型例

•嘘をついているときの非言語情報の分析 • コミュニケーション中に自発的に嘘をつける環境（犯罪の初期捜査や不正行為に関わる初期の聞き取りなどを想定）

• 人間の判別能力の確認

• 非接触で機械計測された非言語情報

嘘研究の概要（１）

•ポリグラフ •呼吸，皮膚抵抗，脈波などの生理指標を用いる

•基本的に組になった質問を必要とする • 裁決―非裁決，関係―無関係など

•古くから研究があり，手法がほぼ確立

•脳活動 • ERPやfMRIなどを用いる •高い判別率（Kozel et al., 2005等）

嘘研究の概要（2）

•非言語情報による判別 •瞬き，音声，視線，反応潜時などを用いる

• 利用されると考えられている情報はとても多い

• どれも決定力に欠けることが多い

•基本的に刺激の提示を必要とする

•人間による観察 •人間が判断をして，報告をする

• インタビューとアンケートによる

•取り調べのような状態を想定することが多い • この状況なら，CIA職員で72％判別可能

何が問題か

•コミュニケーション中の嘘が対象ではない •映像などに関する報告における嘘や窃盗等を隠蔽する時の嘘

•被験者の状態は平静である • 一部の非言語情報を除く

•意図性を問題にしない • 自発的で任意性のある嘘を対象にしない

•質問や刺激の統制が必要

コミュニケーション中の嘘発見の可能性をまず調べる必要

実験概要

•人間同士のコミュニケーション実験 •自発的に嘘をつける環境を設定 •複数の非言語情報を非接触で機械計測

• 計測システムは自作

•参加者は23組（男性13組，女性10組）

•研究1：記録ビデオによる人間の判別能力を確認（スライド非公開）

•研究2：計測された非言語情報から機械的に判別可能性を検討

•研究3：計測された非言語情報の提示による人間の補助を検討（スライド非公開）

実験環境

•インディアンポーカーを利用 •自由度の高いコミュニケーション中に嘘をつく •安定して多くの嘘を自発的についてもらうため

•実験者も参加 •嘘をつくことに不安と緊張を持ってもらうため •円滑なゲーム進行のため

注目すべき非言語情報

•予備実験のビデオによる分析から

•有効であるように見える •視線

• 嘘をつく場合に，話しかける相手を見ない傾向

•韻律（声の調子） • 一定傾向ではないが，声の高さや大きさが変化

•表情（作り笑い） • 目元よりも口元が早く変化

• 数は少ないものの，作り笑いが増加する傾向

•無効，あるいは検出が難しい •発話潜時 •手や頭などの動き •微妙な表情変化

計測する顔特徴

•視線 •光彩（瞳孔）中心 •顔方向

• 目頭

• 鼻孔

•表情（作り笑い） •上瞼・下瞼 •口角

実験環境の構成

•画面を通してコミュニケーションを行う •画面の人とは視線が合うように調整

• ハーフミラーボックスと複数のカメラを使用

• ゲームはプログラムで行う

•お互いの間には仕切り

実験手順

インディアンポーカーの説明

本実験前に１回練習

本実験

１回の勝負が１試行

コミュニケーションに制約無し 70～80分

一ヶ月ほどの期間をおいて２回行った

研究2（嘘の自動判別）：分析方法

•分析の単位は「発話」 • 「嘘の発話」「それ以外の発話」

• 言語的に事実と異なるものが「嘘の発話」

• はぐらかし等は「それ以外の発話」

•判別分析 •先行研究（Vrij et al., 2000など）にならった •判別関数は総当たりで検索

• 18名（男性9名，女性9名）を分析対象 •計測不可の人や嘘をつかなかった人を除外 •全部で2214発話

• 嘘：653，嘘以外：1561

判別に利用した特徴の一覧

• 視線（発話時間に対する割合） • 発話相手の人の顔を見ている時間の割合 • 発話相手以外の人の顔を見ている時間の割合 • 発話相手の人のカードを見ている時間の割合 • 発話相手以外の人のカードを見ている時間の割合 • 発話相手外を見ている時間の割合 • 注視対象移動回数 • 注視対象移動割合

• 韻律（3段階にエンコード） • 発話の前半のピッチの平均 • 発話の後半のピッチの平均 • 発話のピッチの変化 • 発話の前半のパワーの平均 • 発話の後半のパワーの平均 • 発話のパワーの変化

• 表情（すべて真偽値） • 目元の変化が口元の変化と同時か早い • 目元が変化している • 口元が変化している

研究2：分析結果（1）

•全体の判別結果（平均69.6％の正解率）

•クロスバリデーションでも平均68.6％

•かなり高い判別率 •訓練されていない人：42％ •訓練された人間：50％ •人間でも，この状況に特化すればもう少し高い

嘘 嘘以外

嘘 65.7％ 26.6％

嘘以外 34.3％ 73.4％

非言語情報による自動判別の可能性

研究2：分析結果（2）

•嘘をついているときの挙動 • 発話相手から目をそらして，発話相手のカード以外の場所を見つめている

• 発話の前半から低く，平坦な声

• 作り笑いをしている

•個人差はある • 個人ごとにチューニングすると70％～85％

•状況による差もある • 実験の1回目と2回目で変化することも

•視線のみ，音声のみでは判別率が低い • 特定の非言語情報に特徴があるわけではない

適応による判別率向上

複数の非言語情報に注目する必要性

議論：なぜ機械判別は可能なのか

•多くの非言語情報を利用 •だまそうとする意図が，複数の非言語情報に漏洩 •非言語情報を広く見て統合的に利用 → 嘘をつく際の非言語情報の表出パターンをカバー

•話題の中心が移り変わる •嘘をつく状況と本当のことをいう状況が混在する

•嘘をつく状況になった際に，嘘がばれないように非言語情報の抑制を行う準備を十分に行えない

•いずれも，自由なコミュニケーションという環境によって新たに得られた手がかり

結論

•非接触計測された非言語情報の統合的な利用によって，嘘を判別可能であることを確認 • コミュニケーション中の嘘は判別しにくい •全体では70％近い自動判別が可能 •チューニングによってさらに改善することが示唆

•人間に計測データを見せることである程度補助できることを確認

今後は，より一般的な意図推定へ

対面販売場面における 販売員と顧客のインタラクション：

非言語行動からの選好推定

本田秀仁（東京大学）

久松稜介（東京大学）

大本義正（京都大学）

植田一博（東京大学）

Honda, H., Hisamatsu, R., Ohmoto, Y., & Ueda, K. Interaction in Face-To-Face Selling Situation: Estimation of Customer’s Preference Based on Nonverbal Behaviors. submitted to HAI International Conference 2016.

先行研究 非言語行動からの心的状態の推定

•視線，体勢，韻律，頭の位置と心的状態の関係性 （e.g., Bailenson et al., 2006; Mota & Picard, 2003; 藤江2005; Motaet al. 2003; Ohmoto et al., 2012; Stoltzman, 2006）

•実験室状況での検討が多い

•単一の行為と心的状態の関係性の検証

•Empirical question

•リアルフィールドではどうか？

27

実験の概要

実施した課題

•旅行相談課題 •顧客が旅行について相談する

•店員が相談に応じて，顧客が望む旅行プランを提案する

相談時間（30分）

旅行先（沖縄 or ハワイ）以外は

基本的に統制はなし

→可能な限り

リアルフィールドへ近づける

実験の参加者

• 販売員役：10名（女性，Mage = 30.02） 実際に旅行代理店で社員として旅行相談を行っている

• 顧客役：15名（男性4名・女性11名，Mage = 50.93） 実際に家族旅行に行きたいと考えている人を募集

• 合計30ペアに対して課題を実施 顧客は異なる二人の店員の相談に2回参加 販売員は異なる三人の顧客の相談に3回参加

測定した内容

•Kinectとカメラ（各2台） 動作，音声（相談内容）

•旅行相談課題直後に実施された顧客に対する質問紙 提案された旅行プラン（2-5プラン）をそれぞれ提示して，その魅力度の評定 １（全く魅力的ではない）ー７（非常に魅力的）

結果・分析

分析対象 旅行プラン提案中に表出した顧客の非言語行動

視線：販売員 顎に手

前かがみ うなづき

分析内容

表出した顧客の非言語行動の強さ

提案された旅行プランに対する顧客の魅力度評定

（１：全く魅力的ではないー７：非常に魅力的）

関係の強さを

統計的に分析

非言語行動の表出強度の操作的定義

提案時間：x秒 提案後，30秒

この間に出た非言語行動：y秒

表出強度：y / (x + 30)

（うなづきは回数で定義）

アンケート結果 提案された旅行プランに関する顧客の魅力度評定

評定値：６と７→魅力度強

評定値：５以下→魅力度弱

0 25 50 75 100 125

評定値

パーセント

１ ２ ３ ４ ５ ６ ７

顧客が表出した非言語行動の強度

表出強度：中央値以上→強表出

表出強度：中央値未満→弱表出

表出強度

統計分析の方法

• ロジスティック回帰分析

• 従属変数：顧客の選好強度（強→1，弱→0）

• 独立変数：顧客の非言語行動の表出強度 主効果：4種類の非言語行動 2次の交互作用：全組み合わせ（6通り）

• AICを指標として，ステップワイズ法により変数選択

38

統計分析の結果

•選択された変数 前かがみ＊うなづきの交互作用（p < .05） 顎に手＊前かがみの交互作用（p > .1）

39

結果のまとめ

•非言語行動からの選好推定

•顧客の前かがみとうなづきが強く観察されたときに，提案されたプランに対する魅力が高い

•それが販売員の行動によって間接的に引き起こされる可能性

•複数の非言語行動を用いることによって，選好の区分がより明確になる

40

総合討論

•リアルフィールドにおける非言語行動からの内的状態の推定 •リアルフィールドにおいても推定可能

•複数の指標を用いることによって，精度は増す

•リアルフィールドでの分析の重要性 •より実世界の場面における振る舞いと内的状態の関係についての知見→知見の応用性

•ユーザーの内的状態を推測しながら商品やサービスの推奨を行うようなオンラインショッピングにおけるコンシェルジュの構築など

41

課題（1と2のいずれかを選択）

1. 人-人インタラクションで，意図を読んでいる，ある

いは読まれていると考えられる事例を挙げて，どのような社会的シグナルがどのように使われているのかを考察しなさい。

2. 社会性認知に関する英語の先行研究（原著論文）を1本読み，その概要を200-300字程度でまとめる

とともに，その研究を発展させてできそうな研究計画を500字程度でまとめなさい。

• どの論文を読んだのかわかるように，論文情報（著者，タイトル，雑誌名，号・巻，掲載ページ）を明記しなさい。