記号を用いたコミュニケーションを実現するために何が必要か？― 記号創発ロボティクスの視点から ―

RT-2記号を用いたコミュニケーションを実現するために何が必要か？― 記号創発ロボティクスの視点から ―

企画者：田口亮（名古屋工業大学）谷口忠大（立命館大学）

アドバイザー：岡田浩之（玉川大学）

日本赤ちゃん学会第１２回学術集会＠玉川大学6月2日(土） 13:00～15:30 自主ラウンドテーブル

企画趣旨

家庭用ロボットの実用化を間近に見据え，実生活環境で動作するロボットの学術的競技大会であるロボカップ＠ホームリーグ世界大会が毎年開催されている．競技を通じて，ロボットと人とが身近な場面で実世界の事物を対象にコミュニケーションすることが極めて重要かつ困難な課題であることが明らかにされている．

コミュニケーションの場面において，人は言語やジェスチャー，表情，視線といった記号を用いて，他者の注意状態や心理状態を意図した事物・事象に向けさせ，その人と注意を共有しようとする．記号は社会的慣習であり，局所的には相互作用を通じて動的に変化するものである．従って，記号を用いたコミュニケーションが可能なロボットを実現するためには，実世界の連続的な信号から，離散的な記号がボトムアップに創発される過程や，他者との相互作用を通して記号が共有化される過程を計算論的に理解する必要がある．

この新しい研究領域－記号創発ロボティクス－は，サービスロボットの実現という工学的意義だけでなく，人間知能を構成論的に理解するという自然科学的意義を持つ．幼児の発達過程の理解は，ロボットの設計にも応用可能であり，また，ロボットを用いて発達心理学的な仮説の妥当性を確認することもできる．今後研究を発展させるためには既存の領域を横断した研究者の連携が重要である．その先駆けとして，本ラウンドテーブルでは，記号創発ロボティクスの研究者と，幼児の言語獲得の研究者が一同に会し，「現在のロボットは何ができて，何ができないのか？」について情報を共有した後，記号を用いたコミュニケーションやその学習を実現するために必要な能力について議論する．

谷口忠大（立命館大学）

「記号創発ロボティクス」

岩橋直人（情報通信研究機構）

「ロボットによる言語獲得技術の現状 - L-Coreの紹介 - 」

長井隆行（電気通信大学）

「ロボットによる概念形成・実世界理解」

今井むつみ（慶應義塾大学）

「統計学習だけでシンボル接地は可能か」

篠原修二（アドバンストアルゴリズム&システムズ）

「幼児エージェント（IA）の語彙学習」

橋本敬（北陸先端科学技術大学院大学）

「記号を用いたコミュニケーションを実現するために，

さらに何が必要か？～Beyond Symbol Grounding」

講演リスト

谷口忠大（立命館大学）

記号創発ロボティクス

立命館大学情報理工学部谷口忠大

記号創発ロボティクスの狙い The vision of Symbol Emergence in Robotics

日本赤ちゃん学会第12回学術集会 RT-2

「記号を用いたコミュニケーションを実現するために何が必要か？創発ロボティクスの視点から ―」

発達する知能環境に適応し多様な概念や行動を獲得する知能

人間は生まれた時，未分化な認識世界の中で活動を始める．

環境適応の中で様々な概念や行動を獲得していく．

そして言語を用いたコミュニケーションをも可能にする．

その構造，計算論的プロセスを知りたい．

「人間は記号を操る生き物」 Semantics

Abstraction

Compositionality

Pragmatics

Articulation

Phonology

Syntax

Poem

Metaphor

記号⊃言語

sign object

interpretant

Peirceの記号三項関係

慣習・規範・経験

状況

記号 = 記号過程 (Semiosis)

解釈者の自律性と適応性を仮定情報は解釈者が生成するもの（可変・多義）必ずしも文法は必須ではない．

「むかし，竹取の翁といふものありけり・・」

※記号が離散文字列というのは狭すぎる理解．

1. Icon (類像記号) 2. Index (指示記号) 3. Symbol (象徴記号)

言葉の意味は客観的に#define可能か？グラフ構造を持った意味ネットワーク，辞書の例で・・

自由

束縛

意志

社会秩序

心

積極的

精神作用

辞書に存在しない言葉辞書に存在する言葉

石

砂

岩

未定義語に基づく定義

無限ループに基づく定義

言葉の意味は感覚的に理解するしかない．

国語辞典の罠!!

「岩波国語辞典」の例 • 石 <土や木より固く，水に沈み，砂より大きく，岩より小さいかたまり．>

• 砂 <非常に粒の細かい石> • 岩 <大きな石>

鈴木孝夫「ことばと文化」より)

記号接地問題ロボットがいかに自らの身体を通して記号を意味づけるか？という問題．[Harnad ‘90]

人間が設計した記号に対して，ロボットがセンサ・モータ系を通して意味づける．

記号の恣意性

ラベル付けの恣意性

範疇化・分節化の恣意性

人間が作った恣意的な記号系を真なるものとして用いているが，ロボットの身体にとっての記号はそれで良いのか？

人間にとっても何が妥当な記号系なのか？

創発的な存在として記号系を捉える

自らの環世界に立脚して，経験の中からボトムアップに多様な行動や概念を獲得し，それに基づいてコミュニケーションを行なう知能を理解する必要がある．

エルンスト・マッハ「感覚の分析」環境身体

記号他者

Bottom-up

Top-down

記号創発システムとミクロ・マクロループ

コミュニケーションの為の用法や意味の制約

環境との相互作用に基づく記憶システムの組織化

記号的相互作用

物理的相互作用

Symbolic System

Emergence

谷口忠大. 「コミュニケーションするロボットは創れるか-記号創発システムへの構成論的アプローチ」( 2010).

記号創発ロボティクス記号を操る知能への２つの「構成」

構成論的アプローチ（constructive approach)

知能を構成することによって理解する．

構成主義 (constructivism)

世界を構成する知能を理解する．

(c) 電通大長井研究室

モデルを通した理解

• 対象を理解するアナロジーを提供する． • 実験科学に仮説を提供する． • 自然言語によらない，ダイナミクスの記述

「時（とき）」は満ち始めている 20世紀：不確実性，言語を操る情報技術の不足

’90年代までの人工知能と認知科学の歴史は一旦忘れましょう．

「人工知能が表象主義」だとか，「コネクショニズム」なんて言葉を使っている情報科学者は死滅している．

21世紀：革命の素地現実の知能が扱う程度に複雑な大量データ

WEB, クラウド，安価なセンサ，広大なメモリ空間，計算資源

確率的情報処理の進化：ベイズ理論（グラフィカルモデル，ノンパラメトリックベイズ理論），マルコフ連鎖モンテカルロ法，など

安価で統合的なオープンソース知能情報処理環境の充実 OPEN-CV, JUILIUS, 各種Google API, ROS, など

記号創発ロボティクスは，もはや極めて現実的な研究分野

記号創発ロボティクスは・・・

× 記号を創発させる研究をする．

○ 記号系が創発的な存在であることを認めた上で，それを支える認知・運動・言語の学習機構について研究を行う．

マルチモーダル対話相互信念モデル / コンテキストに依存した意味処理 / 言語・運動・画像の統一的処理

概念獲得予測モデルと概念分化 / 身体性依存の概念形成 / マルチモーダル概念獲得 / 概念獲得とバイアス

言語獲得と発達教師なし形態素解析 / 教師なし音韻獲得 / 未知語の学習

対話戦略対話戦略の能動学習 / ターンテイクの学習 / 発話生成 / 自然文生成

動作や行為の学習非分節動作からの模倣学習 / 行為の汎化 / 運動と言語の相互変換 / 大規模の動作データの学習

コミュニケーション・記号過程の創発サインの自己組織化 / コミュニケーションの創発 / 言語の超越性 / 比喩・オノマトペ

Keywords for Symbol Emergence in Robotics

In sum....

言語獲得を始め不確実性を含んだ環境下での知能発達のダイナミクスの記述のためには「自然言語」では役不足，

確率モデル，ダイナミカルシステムを含んだ数理的・計算論的な「実際に動作する」記述様式が必要．種々の実験結果を統一的に議論する際にも．

「実際に言語が獲得できる」，「実世界で活動できる」モデルを提供することは，知能理解への大きな示唆となる．

1. 本研究領域だけでは，もちろん発達研究に十分でなく，１パーツに過ぎない．（百も承知） 2. 構成論的アプローチの流れにおいては認知発達ロボティクスの文脈を引き継いでいる．

“記号創発ロボティクスの狙い”

Information 谷口忠大. 「記号創発の意味がわからなくて困っています．」（アイ・サイ問答教室）. システム/制御/情報, Vol. 54, No. 5, pp. 214-215, 2010

谷口忠大. 「コミュニケーションするロボットは創れるか-記号創発システムへの構成論的アプローチ」(叢書コムニス13). エヌティティ出版, 2010.

twitter: @tanichu

たった２ページですが会心の出来栄え・・・

２７２ページでして渾身の一冊・・・

岩橋直人（情報通信研究機構）

ロボットによる言語獲得技術の現状- L-Coreの紹介 -

ロボットによる言語獲得技術の現状ー L‐Coreの紹介ー

岩橋直人

1

内容

1. ロボットによる動作と言語によるコミュニケーション学習機構 L‐Coreの概説

2. 状況依存的発話理解の学習

2

背景

• 日常生活支援ロボットの対話機能は現状ではまったく不十分である

• ロボットの対話技術はとても難しい！

• どうして？

– 従来の言語処理は閉じた記号系に基づく

– 実世界に関する共有信念を形成できない

– 「いつものあれ持ってきて」

– 「これを引き出しにもどしておいて」

3はじめに

実世界

ロボット信念

拡張性

グラウンディング

ユーザ信念

共有

4

ロボット対話の三つの要件

発達的アプローチ

L‐Core幼児のようにコミュニケーションを自律的に学習する手法

5

ロボットプラットホーム

マイクロホン

画像センサ視線表出

ユニット

6

物体操作対話

7

ロボットとの状況依存的対話

Utterance

Situation Situation

Shared Beliefs Shared Beliefs

8

共有信念関数Ψ(s,a) 個別確信度

ベクトル

動作-オブジェクト

関係行動

コンテキスト音声言語動作物体

信念システム

全体確信度関数 f(d)

発話と行動の生成と理解

9

L‐Core ができること

ロボットに向けられた発話の検出

状況依存的発話理解

自律的オンライン物体学習

確認発話生成

実世界に関する質問応答

役割反転模倣

音韻

マルチモーダル物体概念

動作

単語

文法

語用法

10

RoboCup@Home 2010優勝

11

RoboCup@Home 200912





確認発話生成

質問応答

役割反転模倣

音韻


動作

単語

文法

語用法

13





確認発話生成

質問応答

役割反転模倣

音韻


動作

単語

文法

語用法

14

状況依存的発話理解の学習

15

Interaction in early stage16


“飛び越えさせて” “のせて”

17


18

「状況依存的発話理解の学習」のまとめ

• 共有信念関数を用いた状況依存的な発話理解手法の開発

• ９６サンプルのオンライン学習で発話理解率３８％改善

19

まとめ

• L‐Coreの特徴

– 複数の機能が一つのシステムに統合

– オンラインでインタラクティブな学習

– 単語ー＞文法ー＞語用の階層性を極力排除．どの部分からでも学習可能

20

長井隆行（電気通信大学）

ロボットによる概念形成・実世界理解

http://apple.ee.uec.ac.jp/isyslab ２０１２．０６．０２

ロボットによる概念形成・実世界理解記号を用いたコミュニケーションを実現するために何が必要か？

創発ロボティクスの視点から

電気通信大学大学院

情報理工学研究科

知能機械工学専攻

長井隆行


2

モチベーション WALL-Eに学ぶロボットの知能

•みまね •アフォーダンス •分類 •語意の理解？

•共有注意、心の理論・・・

道具の使い方学習

みまね学習

アフォーダンス


3

ロボットによる理解ロボットによる「理解」

理解するとはどのようなことか？キリンちゃん首なが！

黄色い

かわいい前に見たぞ

動物おもちゃ

様々なセンサから得られる情報や内部状態の処理

⇒生得的なプログラムとして利用

⇒次第に変化する

状況の判断適切な行動＊物理的行動＊発話（対話）＊内部状態の変更 etc.

パターンマッチング

事前のプログラム

辞書

ルール

論理構造

真の“理解”

ロボットの

クオリア

過去の経験のカテゴリゼーション

カテゴリを通した予測

行動の選択

学習

知能

コップ


4

マルチモーダルカテゴリゼーション [2][3]

マルチモーダル情報に基づく物体概念の形成視覚・聴覚・触覚情報を確率モデルにより分類

身体性の利用により、人の感覚に近いカテゴリを形成

人との自然なコミニュケーションのためにも重要

教師なし学習

人が正解を教える事なく学習が可能

一部の情報から確率的に様々な推論が可能

物体概念の理解に繋がる


5

語意の理解

“マラカス” “丸い” “固い” “マラカス”

カテゴリ分類により形成した概念に単語を接地確率モデルに単語情報を付加

確率的な推論が可能

カテゴリを表す単語（名詞）を獲得

知覚特徴を表す単語（形容詞）を獲得

一部のモーダル情報から、対応する単語を予測

知覚情報に基づく柔軟な発話が可能

語意の理解につながる


6

語意理解のためのステップ（１）カテゴリ分類＝特徴空間の切り分け＝概念の形成＝記号生成

世界

ぬいぐるみ

マラカス

赤

やわらかい


7

マルチモーダル情報の取得

ステレオカメラスピーカーマイク

6DOFアーム

3本指のハンド触覚アレイセンサー

ロボットが物体を観察・把持することで得られるマルチモーダル情報を利用


8

実際に取得された情報


9

物体のカテゴリゼーション

マルチモーダルLDAのパラメタ推定することで物体の分類が可能

マルチモーダル情報は特徴の発生頻度でモデル化 Bag of featuresモデル

物体の「特徴」が文書の「単語」に相当

発生頻度の類似性から物体の分類が可能

丸、音無し

やわらかい….

丸、シャカシャカ鳴る、硬い….

カテゴリ1

（ぬいぐるみ）

カテゴリ2

（マラカス）

LDA

LDA


10

様々な確率的予測未知物体のカテゴリ認識

カテゴリを通した予測

見た目からどのような音がするか予測可能

他の場合も同様に計算可能

視

聴

触

カテゴリー


11

物体概念の構築（実験）

物体を分類することで、物体概念を構築

視覚・聴覚・触覚情報を様々な組み合わせで構築

人の分類と比較

人の分類：８人の被験者共通に現れた分類

40個のおもちゃ8カテゴリを使用


12

分類結果

Category ID1 2 3 4 5 6 7 8

5

10

15

20

25

30

35

40

CategoryID

1 2 3 4 5 6 7 8

5

10

15

20

25

30

35

40

人手による分類（正解）視覚情報のみによる分類

マルチモーダルカテゴリゼーション Category ID

1 2 3 4 5 6 7 8

5

10

15

20

25

30

35

40

Obj

ect I

D

Obj

ect I

D

Category ID1 2 3 4 5 6 7 8

5

10

15

20

25

30

35

40

視覚・聴覚

Obj

ect I

D

Obj

ect I

D

７２．５％

８５．０％１００％


13

カテゴリ認識実験

全ての物体は正しく認識された未学習の物体であっても認識可能

未知物体を扱う上で非常に重要な能力

Leave-One-Out法により検証

39の物体で学習

残り1個を認識

以上の操作を計４０個の物体に対して行った


14

視覚的特徴

オブジェクトを表現する視覚的特徴(visual word)

(e)と(f),(g)は音が分類の手がかり

(h)と(i)は硬さが分類の手がかり


15

モダリティー間の予測

(b)Hard

(c)Sounder

0

10

20

30

40

50

60

70

80

0 0.2 0.4 0.6

Acc

ura

cy[%

]

Threshold

LDA

0

10

20

30

40

50

60

70

80

0 0.2 0.4 0.6

Acc

ura

cy[%

]

Threshold

LDA

0

10

20

30

40

50

60

70

80

0 0.2 0.4 0.6

Acc

ura

cy[%

]

Threshold

LDA

カテゴリの再計算により正答率の向上音の予測においてはLDAが優位

音の情報は曖昧性が高い

(a)Soft

pLSA (再計算あり)

pLSA (再計算なし)

LDA



LDA



LDA


16

予測の例

視覚⇒聴覚（予測）

赤：音を出す黄色：音を出さない


17

語意理解のためのステップ（２）概念をコミュニケーションに使うためには

世界

ぬいぐるみ

マラカス

赤

やわらかい


18

単語の接地 [5]

物体概念は形成済み形成された概念に単語を追加

ww : 単語情報 (Bag of words)

βw : 多項分布

単語の学習＝ βwの学習 zは既知なので、直接計算可能

α θ z wv βv

wa βa

wh βh

視覚

聴覚

触覚

単語

物体概念（学習済み）

ww βw

“マラカス” “楽器” ~~ βw

z = maraca モーダル

情報

多項分布

nw,z : カテゴリ z に対する、

単語wの発生回数

形態素解析


19

単語の予測

一部のマルチモーダル情報から単語の予測が可能

見た目や音を単語で表現可能

カテゴリを表す名詞

カテゴリを構成する形容詞

単語から関連するマルチモダール情報や単語を予測可能

• ぬいぐるみ • 柔らかい • 動物 • …

“柔らかい” • 単語情報 : “ぬいぐるみ”, “スポンジボール”… • 触覚情報 : “柔らかい”を表す触覚情報


20

単語とモダリティの結びつき特定のモダリティと結びついた単語：固い、丸い、楽器カテゴリ内の情報の類似性に着目

「固い」から想起される物体

結びつきを以下のように計算

触覚情報の類似性高

視覚情報の類似性低

聴覚情報の類似性低

: カテゴリ z の音情報の i 次元目 : から予測された音情報の i 次元目

カテゴリ内でどれだけ共通しているか全体でどれだけ共通しているか


21

単語の学習人がロボットに単語を教示

各カテゴリ8個に対応した文章を入力

ロボットに物体を見せ、対応する単語を予測

40個のおもちゃを使用

予測された上位3つの正答率を計算

これはマラカス

マラカスは固い

単語の生起確率 βw を学習

マラカス柔らか

い

これは楽器

正答率 77.5%


22

-0.1

0

0.1

0.2

0.3

0.4

0.5

0.6

これ

ガラガラ

音

柔らかい

楽器

動物

形

マラカス

固い

丸い

長い

タンバリン

砂場

道具

ゴム

人形

ぬいぐるみ

ボール

単語

単語と聴覚の結びつき

各単語と聴覚との結びつきの強さを計算

音が関係している単語は、結びつきが強くなる


23

単語とモダリティの結びつき

00.10.20.30.4

これ

ガラガラ

音

柔らかい

楽器

動物

形

マラカス

固い

丸い

長い

タンバリン

砂場

道具

ゴム

人形

ぬいぐるみ

ボール

単語

視覚

SIFTが局所的特徴のため「丸い」や「長い」といった特徴を

表わすのに適さない ⇒ 他の視覚特徴の導入

触覚

「長い」物体が固い物のみであったため、

触覚との結びつきが高くなった -0.2

00.20.40.6

これ

ガラガラ

音

柔らかい

楽器

動物

形

マラカス

固い

丸い

長い

タンバリン

砂場

道具

ゴム

人形

ぬいぐるみ

ボール単語


24

対話システム

提案システムを実装実験により学習したモデルを使用

物体概念：40物体8カテゴリ

単語：18単語

対話のテンプレートはあらかじめ与えた例：モーダル情報入力：カテゴリを予測

「固さは何？」：触覚モダリティと結びついた単語を発話

「これは柔らかい」：単語情報も用いて、カテゴリを予測


25

複雑な概念構造マルチモーダル情報に基づく概念の形成

複雑な概念構造をどのようにモデル化するか？

カテゴリ数決定の問題

各モダリティの重みの問題

複数のモデルを用いて様々な基準のカテゴリを構築

カテゴリは様々な基準、様々な粒度で存在

複数のモデルの使用により様々なカテゴリを形成

人の発話を通して有用なモデルのみを選択する（人の感覚に即したカテゴリ分類）

コップ（触覚・形）

黄色（色）

硬い（触覚）


26

語意理解のためのステップ（３）複雑な概念をコミュニケーションに使うためのモデル選択

世界

ぬいぐるみ

マラカス

赤

やわらかい


27

Bag of Multimodal LDA [6]

①マルチモーダル情報の取得 ②複数のモデルによる分類

コップ・黄色・硬い

③人の発話情報によるモデル・カテゴリの選択

④複数の概念を獲得

Bag of Multimodal LDA


28

複数モデルの学習

パラメタを変化させ、複数のモデルを学習

様々な概念を表すモデルが学習される

色・形・触覚・音の概念が形成される


29

単語の接地概念は形成済み形成された概念に単語を追加

: 単語情報 (Bag of words)

: 多項分布

(単語の学習) の学習 zは予測可能なので直接計算

“マラカス” “楽器”

~~

z = maraca モーダル情報

多項分布

：に対する単語の生起回数

視覚（SIFT）

視覚（色）

聴覚

触覚

単語

Multimodal Categorization

（学習済み）

語意獲得・カテゴリ選択

単語情報


30

単語が表すカテゴリの選択

学習されたモデル・カテゴリの中には、人の感覚に合わないものも多く存在

単語の情報からカテゴリを選択単語がカテゴリから多く発生している

⇒ 単語はカテゴリを表している

例：単語「マラカス」の発生確率

単語を表すモデルとカテゴリを次のように決定


31

概念構築実験 39個の物体を用いて概念構築カテゴリ数、モダリティの重みを様々に変化させ、135個の

モデルを作成 20個の物体をランダムに選択し物体を見せながら

単語を付与語意の学習

単語を表す

カテゴリの選択


32

実験結果

単語の接地とモデル選択

物体カテゴリ


33

単語の発生確率

各カテゴリ数における、単語の発生確率

0

0.05

0.1

0.15

0.2

0.25

0.3

2 3 4 5 6 7 8 9 10

ぬいぐるみ黄色柔らかい

カテゴリ数

単語

の発

生確

率


34

Bag of Multimodal HDP (BoMHDP)

BoMHDP パラメータの異なるHDPの集合

: モダリティへの重み

（結びつきの強さ）

: 重みの集合

を変化させることで様々なカテゴリを形成可能

マルチモーダル情報

多項分布から発生生起回数の情報として利用

二段階のDPにより構成

HDPを利用することでカテゴリ数も推定できる [7]


35

BoMHDPにより形成されるカテゴリ

数多くのカテゴリが形成される物体、色、触覚、音、etc…

しかし、人の感覚に即さないカテゴリも含まれる

人の教示から意味のあるカテゴリを選択する


36

単語の教示とカテゴリ選択

単語の教示から意味のあるカテゴリを選択人が物体を表す単語をロボットへ教示する

カテゴリから単語が発生する確率の計算

単語が表すカテゴリの選択相互情報量

これは緑の

ぬいぐるみ

緑

ぬいぐるみ

形態素解析

緑

コップ

ぬいぐるみ

カテゴリ認識結果

単語の

発生頻度緑

ぬいぐるみ


37

相互情報量によるカテゴリ選択

2つの確率変数の相互依存の尺度を表す量単語とカテゴリの相互情報量

もし、とが独立な場合が

成り立ち、相互情報量は0になる

単語が表すモデルとカテゴリ

情報量０ ⇒ カテゴリと単語に関係はない

情報量大 ⇒ カテゴリと単語に関係がある


38

実験：概念形成 39個の物体を用いBoMHDPを学習

モダリティへの重み

0,1,2,5,10,20,30 2400個のMHDPから構成

語意の獲得とモデル選択 39個からランダムで20個の物体を選択

20個の物体に単語を与え、カテゴリの選択を行った


39

形成されたカテゴリ

物体カテゴリは正しく学習された

特定のモダリティと結びついたカテゴリも概ね正しく学習された

ぬいぐるみ

ボールマラカスペットボトル

楽器

黄色

青緑

柔らかい

カテゴリの学習と、カテゴリの選択を行った結果


40

モデル同士の関係モデルが大量にありMHDPの関係を単純に解析できない

MDSに二次元空間にプロットし可視化 Multidimensional Scaling(MDS)

距離の関係からその位置関係を復元する手法

モデル間のKL距離を用いて二次元空間にプロット

-600

-400

-200

0

200

400

-1000 -500 0 500 1000

札幌東京金沢大阪福岡

札幌 0 832 806 1079 1417

東京 0 299 429 1092

金沢 0 260 689

大阪 0 481

福岡 0

福岡金沢

大阪

札幌

東京

各都市間の距離（km）


41

モデル間の関係性モダリティの重みを点の濃淡で表示

単語との相互情報量(結びつきの強さ)を濃淡で表示

ぬいぐるみ黄色マラカス柔らかい

SIFTの重み色の重み聴覚の重み触覚の重み


オンライン自律学習

42

物体の情報取得と概念形成

自律的な情報取得

a,b,c

物体単語情報の付与

確率モデルによる分類カテゴリ形成

ゾウの

ぬいぐるみ

教師なしオンライン形態素解析


43

マルチモーダルカテゴリゼーションに基づく概念形成概念と単語の結びつけ（接地問題） ⇒ 物体や単語の理解につながる

モダリティー間の重みの問題

カテゴリ数（概念構造）の問題

今後の課題大規模な実験と評価

オンライン学習

ダイナミクス

まとめ


44

現在の取り組みと今後の展開自律的オンライン物体学習 [8]

教師なし言語モデル[14]

行為と物体の理解動作の学習・理解 [9][10]

動作の分節化 [11]

動作と言語 [12]

物の機能・使い方 [13]

感情の理解

遊びの理解・創発

クラウドの利用

ロボット－ロボットコミュニケーション


45

参考文献 [1] 谷口, 岩橋, 新田, 岡田, 長井ｃ記号創発ロボティクスとマルチモーダルセマンティックインタラクション～実世界認

知・運動・言語を統べる知能構成への挑戦～", 人工知能学会全国大会2011, 2B2-OS22a-1, 2011.05 [2] T.Nakamura, T.Nagai, N.Iwahashi, "Multimodal Categorization by a Robot", IEEE/RSJ International

Conference on Intelligent Robots and Systems, pp.2415-2420, 2007.10

[3] 中村，長井，岩橋, "ロボットによる物体のマルチモーダルカテゴリゼーション", 電子情報通信学会論文誌D, vol.J92-D, no.10, pp.2507-2518,2008.10

[4] 中村，西田，長井, "把持動作による物体カテゴリの形成と認識", 情報処理学会全国大会, 5V-3, 2010.03 [5] T.Nakamura, T.Nagai, N.Iwahashi, "Grounding of word meanings in multimodal concepts using

LDA", IEEE/RSJ International Conference on Intelligent Robots and Systems, pp.3943-3948, 2009.10

[6] 中村, 長井, 岩橋, "複数のマルチモーダルLDA を用いた抽象的概念の形成", 人工知能学会全国大会2010, 1J1-OS13-3, 2010.05

[7] 中村, 長井, 岩橋, "階層ディリクレ過程を用いたマルチモーダル物体概念の形成", 人工知能学会全国大会2011, 3B1-OS22c-7, 2011

[8] 荒木, 中村, 長井, 船越, 中野, 岩橋, "移動ロボットによるマルチモーダル情報の自律的取得と概念・語意獲得", 人工知能学会全国大会2011, 2B2-OS22a-6, 2011

[9] 稲邑, 中村, 戸嶋, 江崎, "ミメシス理論に基づく見まね学習とシンボル創発の統合モデル", 日本ロボット学会誌, Vol. 22, No. 2, pp. 256-263, 2004

[10] K.Sugiura, N.Iwahashi, H.Kashioka, S.Nakamura, "Learning, Generation, and Recognition of Motions by Reference-Point-Dependent Probabilistic Models", Advanced Robotics, Vol. 25, No. 6-7, pp. 825-848, 2011

[11] 谷口, 岩橋, "複数予測モデル遷移のN-gram統計に基づく非分節運動系列からの模倣学習手法", 知能と情報, Vol. 21, No. 6, pp.1143-1154, 2009

[12] 高野, 中村, "運動と自然言語の統計的推論を用いた運動データベースの設計", 人工知能学会全国大会2011, 3B1-OS22b-6, 2011

[13] T.Nakamura, T.Nagai, "Object Concept Modeling Based on the Relationship among Appearance, Usage and Functions", IEEE/RSJ International Conference on Intelligent Robots and Systems, pp.5410-5415, 2010.10

[14]T.Araki, T.Nakamura, T.Nagai, S.Nagasaka, T.Taniguchi, N.Iwahashi, “Online Learning of Concepts and Words Using Multimodal LDA and Hierarchical Pitman-Yor Language Model ", submitted to IROS2012

今井むつみ（慶應義塾大学）

統計学習だけでシンボル接地は可能か

統計学習だけでシンボル接地は可能か

ロボットの言語理解

• ロボットが言語を理解し、話すことができるためには….

–音声の理解

– ことばの意味の理解

–文の意味の理解

音声の理解

• 人の声をまわりのノイズと分ける

• 人の声の個人差を無視して各音素の普遍的な特性を抽出する

• 連続的な言語インプット（人の話しかけ）を単語に区切る

文の意味の理解

• 区切った単語が環境中の何を指しているのか – 構文解析→区切った単語の文の中の役割を見つける

– あらかじめ持っている辞書と照合して単語（名詞）が自分が見ている外界のどの要素（モノ）に対応するかを見つける

– 外界のモノを認識する（画像認識）

– 動詞として抽出した単語を辞書と照合して、文の意味を構成する

– 文の意味とすでにプログラムされた動作シークエンスを対応づけ、アクションを実行する

統計分布の検出はヒヒでもできる

2012 4月18日朝日新聞

ヒト赤ちゃんも統計学習は得意

• スピーチからの単語の切り出し

–インプット音声中の遷移確率

–ストックされた音声単語語彙から母語での音素系列の分布の検出

• 語の形態（素）と意味との相関

ヒトの赤ちゃんの言語学習の特徴Ｉ

• 生物学的にプログラムされたタイムテーブルによって言語のそれぞれの側面の学習のタイミングが制約されている＊ただし「生物学的にプログラム」はChomskianの考え方である必要はなく、領域一般の情報処理の制約である可能性が高い

• いろいろなことを一度に学習せず、少しずつウインドウを広げていく

• 韻律の学習→音素の学習→単語の切り出し→語意学習と文法の学習→語用の学習

カテゴリーの形成

• すべての物理的特徴を弁別する細かい注意 ↓ カテゴリーの形成カテゴリー内のバリエーションを無視するようになる – 顔の弁別

– ピッチ情報の弁別絶対ピッチへの注意から相対ピッチへシフト

– Non-nativeな音素の対比への敏感性の喪失

– 母語の音素カテゴリー内の異音への注意の喪失

– 多義語の中の異なる意味への敏感性の喪失

ヒトの赤ちゃんの言語学習の特徴ＩＩ

• 連合学習ではなく、洞察の連続

• ヘレン・ケラーの洞察

–すべてのモノは名前を持つ

–すべてのことはことばの組合せで表現できる

ヒトの赤ちゃんの言語学習の特徴 III

• 新しい知識を学習すると同時にすでにある知識が再編成される

• 今(t)の学習経験が次(t+1)の学習のしかたを変える

サリバン先生の手紙 • その単語が、たまたま彼女の手に勢いよくかかる冷たい水の感覚にとてもぴったりしたことが、彼女をびっくりさせたようでした。彼女はコップを落とし、くぎづけされた人のように立ちすくみました。ある新しい明るい表情が浮かびました。彼女（ヘレン）は何度も、w-a-t-e-rと綴りました。それから地面にしゃがみこみその名前を尋ね、ポンプやぶどう棚を指さし、そして突然振り返って私の名前を尋ねたのです。私は「t-e-a-c-h-e-r」と綴りました。ちょうどそのとき、乳母がヘレンの妹を井戸小屋につれて来たので「b-a-b-y」と綴り、乳母を指さしました。家にもどる道すがら彼女はひどく興奮していて、手に触れるモノの名前をみな覚えてしまい、数時間で今までの語彙に30もの新しい単語をつけ加えることになりました」（アン・サリヴァン著、槇恭子訳「ヘレン・ケラーはどう教育されたのか」より）

ヒトの赤ちゃんの言語学習の特徴 III

• ことばの意味が使われたときの感情や状況に接地している

– Connotationが意味の一部

統計分布の検出はヒヒでもできる

2012 4月18日朝日新聞

赤ちゃんが統計学習でできること

• 単語の切り出しの手掛かりの抽出 –機能語の抽出（頻度が高く、繰り返し現れる）

–切り出してストックした単語の分析 • アクセントパターン

• 音の並び→当該の言語であり得る音の並びとあり得ない音の並び

• 語のタイプ（品詞）と意味との相関関係の抽出 –動詞の項構造と意味の関係

–可算、不可算文法と意味の関係

統計学習でできない（かもしれない）こと

• 感情との接地

• 状況との接地

• 統計学習で得られた様々な断片的な知識の柔軟な組み合わせによるブートストラッピング

ロボットにとっての最大の難関

• 意味を自分で推測し、自分で意味辞書をつくっていく

– ことばの意味の学習は単にことばと目の前にあるモノとの対応づけで終わるものではない

– 動詞の意味を状況の観察だけから推測することができるか

– 新しい語を学習することによって、すでに辞書にある単語の意味を自発的に修正できるか

• 話者の意図を理解する – 言語における語用（プラグマティクス）の慣習

– 状況の理解

– それぞれの単語の持つ感情的な含意の理解

篠原修二（アドバンストアルゴリズム& システムズ）

幼児エージェント（IA）の語彙学習

幼児エージェント（IA）の語彙学習

篠原修二

（アドバンストアルゴリズム＆システムズ）

研究の動機１

バイアスと学習すべき言語は整合的でなければならない。

語彙学習バイアスの疑問点•固有名ばかりの言語→事物カテゴリーバイアス×•同じ色の物体に同じ名前をつける言語→形状類似バイアス×

学習バイアス形成言語進化

「赤い象」は想像できるが「犬型の象」は想像し難い

同じ形の物体に同じ名前をつける言語→形状類似バイアス○

研究の動機２ルールのように固定されたバイアスではなく、教示言語に応じて、その言語の学習を促進するようなバイアスを形成する柔軟な「iPS細胞」的な機構（万能バイアス）はないのか？

同じ形の物体に同じ名前をつける言語

同じ色の物体に同じ名前をつける言語

形状類似バイアス

万能バイアス

形状類似バイアス

色類似バイアス

単純な幼児エージェントモデルを構築し色々調べてみる

幼児エージェント（IA）の学習

IAは経験に基づいて信念を形成

「りんご」

•赤いものはりんごである•丸いものはりんごである•りんごは赤い•りんごは丸い

りんご

…

…

a c

b d

ラベル対象

共起頻度

共通度と固有度

「lはoである」という言明に対する確信度

共通度:B(o|l) 例：「りんごは赤くて丸い」

「oはlである」という言明に対する確信度

固有度:B(l|o) 例：「赤くて丸いものはりんごである」

信念＝（共通度,固有度）

赤緑黄

いちご 0.3 0 0りんご 0.4 0.48 0.4ピーマン 0.3 0.52 0.6合計 1 1 1

赤緑黄合計いちご 30 0 0 30りんご 40 48 12 100ピーマン 30 52 18 100合計 100 100 30

赤緑黄合計

いちご 1 0 0 1

りんご 0.4 0.48 0.12 1ピーマン 0.3 0.52 0.18 1

表１：共起頻度

表２：共通度（P(o|l) ）

表３：固有度（P(l|o) ）

信念の具体例（条件付確率の場合）

「いちごは赤い」B(赤|いちご)=1.0

「赤い物はいちごである」B(いちご|赤)=0.3

信念に基づく判断ー「何？」に対する回答ー

「これ何？」に対する回答に使用するのは固有度

)|(maxarg)( iLli olBoWhatLOWhat :

対象oiに対して最も固有度の高いラベルを選択

信念に基づく判断ー「どれ？」に対する回答ー

「lはどれ？」に対する回答に使用するのは共通度

)|(maxarg)( kOok loBlWhichOLWhich :

ラベルlkに対して最も共通度の高い対象を選択

1. 「lはoである」と「oはlではない」とい

う信念を同時に持つ場合がある。

2. １は論理的矛盾ではないが、そのような信念を持つとコミュニケーションに不都合をきたす場合がある。

確信度として条件付確率を用いる際の問題点

コミュニケーションにおける不都合

O

「いちご」

「りんご」

「ピーマン」

LWhat

O

「いちご」

「りんご」

「ピーマン」

LWhich

Aさん：「りんご取って」（What（赤）＝「りんご」）

Bさん：緑の対象を取る（Which（りんご）＝緑）

Aさん：「それはりんごじゃない」（What（緑）＝「ピーマン」）

Aさんは赤い対象が欲しい

問題点の解消

llWhichWhatLl ))((,'条件２

})(,,|{' loWhatOoLllLただし

)|()|(,, olBloBLlOo条件１

以下の条件を満足するように信念を歪める必要あり

固有度（共通度）が高いならば共通度（固有度）も高いと信じる傾向性を付与 ⇒ 対称性バイアス

勝手に歪めていいのか？具体的にどう歪めるのか？

ラベルと対象の関係P→Qを

対称性バイアス＝信念を歪める因果推論

条件文：「PならばQ」として捉える

因果推論：「PだからQ」として捉える

条件文から因果推論へ

二つの確信度は異なる

•予測可能性(条件文)⇒pが起きた時にqが起きる確率P(q|p)が高い

•火の無い所に煙は立たない（条件１）⇒ qが起きた時にpが起きていた確率P(p|q)が高い

•pの有無とqの生起は無関係ではない（条件２）⇒ pが起きなかった時にqが起きない確率P(￢q|￢p)が高い

二つの事象p，q間に因果関係を認めるためには？

因果推論とは

被験者に与えられた共起情報

p（ミルクを飲む）￢￢p（飲まない）

q（腹痛）

￢￢q（腹痛なし）

a

b

c

d

•被験者は大学生５０人•与えられた共起頻度からpとqの間の因果関係の強度を１００段階で評価(平均値：Mean Rating)

Hattori2003における被験者実験

0.4

0.5

0.6

0.7

0.8

0.9

1

1.1

0 10 20 30 40 50 60 70 80

P(q|

p)

Mean Rating

P(q|p)=a/(a+b)と人間の評価値の間に相関は見られない(R^2=0.0001)。

⇒人間はP(q|p)のみによって因果性を判断するのではない。

人間の評価値（Hattori2003 ）とP(p|q)

•ΔPモデル（Jenkins & Ward 1965など）⇒予測可能性に加えて条件２を考慮

ΔP(q|p)=P(q|p)+P(￢q| ￢p)-1

•DFHモデル（Hattori 2003）⇒予測可能性に加えて条件1を考慮

DFH(q|p)=√(P(q|p)P(p| q))

ΔP(q|p)=ΔP(￢q|￢p) 相互排他性バイアス

DFH(q|p)= DFH(p|q) 対称性バイアス

因果帰納に関する確率モデル

LSモデル⇒予測可能性に加えて条件１，２を緩やかに考慮

LS(q|p)=(a+βd)/(a+b+αc+βd)ただし，α=a/(a+c)，β=b/(b+d)

二つのバイアスを緩やかに含む因果帰納モデル

篠原修二，田口亮，桂田浩一，新田恒雄： “因果性に基づく信念形成モデルとN本腕バンディット問題への適用” ，人工知能学会論文誌，Vol.22，No.1，pp.58-68 (2007)．

LS(q|p)と人間の評価値の間には強い相関が見られる(R^2=0.969)。

0.5

0.6

0.7

0.8

0 10 20 30 40 50 60 70 80

LS(q

|p)

Mean Rating

人間の評価値（Hattori2003 ）とLS

因果帰納実験とモデルの相関係数

LS DFH Φ CP RS ΔP

AS95 0.9 0.9 0.79 0.83 0.76 0.77BCC03exp1 0.96 0.94 0.83 0.67 0.85 0.85BCC03exp3 0.96 0.9 0.71 0.81 0.71 0.71H03 0.96 0.96 0.49 0 0.15 0H06 0.94 0.92 0.5 0.79 0.49 0.5LS00 0.74 0.79 0.71 0.18 0.77 0.76W03.2 0.92 0.69 0.2 0.2 0.49 0W03.6 0.72 0.81 計算不可 0.55 0.18 計算不可

相関係数の平均 0.96 0.95 0.86 0.86 0.85 0.84

誤差 9.09 10.44 11.48 12.93 11.25 11.81

東京電機大学高橋達二研究室大用庫智修士論文（2012）

LSと人間の評価値の間には強い相関が見られる。

⇒LSモデルは人間の感覚に非常によく合致する。⇒意思決定の課題（N本腕バンディット問題など）で非常に好成

績をおさめる。

モデル

実験

IAを用いた数値実験

IAP：条件付確率に従うIAIAS：因果推論を行うIA＝対称性バイアスを持つIA

二体のIAを用いて様々な実験を行い結果を比較する

因果推論が語彙学習にどのような影響を与えるか？

問題：因果推論（対称性バイアス）が言語進化や語彙学習バイアス形成の源泉とならないか？

実験１：言語の進化１Lang1:ランダムな初期言語LangN：N世代目のIAが教示される言語

=N-1世代目のIAが話す言語

Lang1

IAの学習 Lang2

教示データ

IAの学習 Lang3

…

（１世代目）

（２世代目）

•各世代で1500ステップの学習•25世代目までシミュレーション

各世代の成長段階で、全ての対象に対して「これ何？」と質問

初期言語：Lang1

05

1015

20 02

46

810

1214

01020

S

C

L

形

色

ラベル

IAS：各世代の学習到達度

0 200 400 600 800 1000 1200 1400Number of Steps

Lang1Lang3

Lang25

0

20

40

60

80

100C

orre

ct R

ate[

%]

世代を経るごとに、学習到達度上昇＋学習期間短縮（学習加速）

学習

到達

度

1世代目

3世代目

25世代目

IAS:Lang3

05

1015

20 02

46

810

1214

01020

S

C

L

IAS:Lang25

05

1015

20 02

46

810

1214

01020

S

C

L

構造化→同じ形を持つ対象には同じラベルが割り当てられる

IAS：言語情報量

0

1

2

3

4

5

0 5 10 15 20 25

Info

rmat

ion

Generation

H(L)I(C;L)I(S;L)

情報量を保持したまま、言語を形状に関して構造化

IAP:言語情報量

0

1

2

3

4

5

0 5 10 15 20 25

Info

rmat

ion

Generation

H(L)I(C;L)I(F;L)

一つのラベルが全ての対象を指示する無意味な言語→言語の退化

実験２：言語の進化２

1. IAP、IASに対しLang25を教示

2. 全ての対象に対して「これ何？」と質問

Lang25に対する各IAの学習到達度

0

0.2

0.4

0.6

0.8

1

0 200 400 600 800 1000 1200 1400

Cor

rect

Rat

e[%

]

Number of Steps

IAPIAS

Given Objects

IAS：教示より速く言語を学習

学習

到達

度 IAP

IAS

実験３：事物カテゴリーバイアス1. 言語Lang25の一部のみ（赤色部分）を経験（全体の10%）

2. 全ての対象について「これ何？」と質問

C

S

経験可能

色

形

IAP,IAS：正解率

0 200 400 600 800 1000 1200 14000

20

40

60

80

100C

orre

ct R

ate[

%]

Number of Steps

IAPIAS

Given Objects

IAP

IAS

実験４：形状類似バイアス1. 構造化された言語Lang25を教示2. 新奇な対象（青枠部分）に対して「lnovel」と一度だけ教示3. 赤枠（OC）と緑枠（OS）各々の部分について「これ何？」と質問

C

経験可能

S

新奇な色

新奇な形「新規な語 lnovel 」

OS

OC新奇な対象Onovel

IAS：形状類似バイアス

0 200 400 600 800 1000 1200 1400Number of Steps

OC

OS

0

20

40

60

80

100新

規な

語ｌ n

ovelと

回答

した

割合

同じ形状の対象に対して新規語の適用を拡張

同じ形状の対象

同じ色の対象

IAP ：形状類似バイアス

0 200 400 600 800 1000 1200 1400Number of Steps

OC

OS

0

20

40

60

80

100

新規語の適用を拡張しない→固有名

新規

な語

ｌ nov

elと

回答

した

割合

実験５：相互排他性バイアス1. 構造化された言語Lang25を教示2. 既知の対象（黒枠）と新奇な対象（青枠）を示し「 lnovelは

どっち？」と質問

経験可能

C

S 「 lnovelはどっち？」

新奇な色

新奇な形

新奇な対象Onovel

IAP,IAS:相互排他性バイアス

0 200 400 600 800 1000 1200 1400Number of Steps

IAPIAS

0

20

40

60

80

100新

規な

対象

Ono

velを

選択

した

割合

IAS

IAP

IASは新規な対象を選択するようになる

21 21 21 21 21 21 21 21 21 21 26 15 9 4 3328 28 28 28 28 28 28 28 28 28 26 15 9 4 3318 18 18 18 18 18 18 18 18 18 26 15 9 4 331 1 1 1 1 1 1 1 1 1 26 15 9 4 33

31 31 31 31 31 31 31 31 31 31 26 15 9 4 3311 11 11 11 11 11 11 11 11 11 26 15 9 4 338 8 8 8 8 8 8 8 8 8 26 15 9 4 33

32 32 32 32 32 32 32 32 32 32 26 15 9 4 332 2 2 2 2 2 2 2 2 2 26 15 9 4 330 0 0 0 0 0 0 0 0 0 26 15 9 4 33

24 24 24 24 24 24 24 24 24 24 26 15 9 4 3310 10 10 10 10 10 10 10 10 10 26 15 9 4 3329 29 29 29 29 29 29 29 29 29 26 15 9 4 3312 12 12 12 12 12 12 12 12 12 26 15 9 4 33

M（材質）

S（形）

物質（Substances）

物体（Objects）

510 15

2025 2

46

810

121415

30L

S

M

L

LangOS（物体と物質の区別）

ラベル

材質形

物体

物質

実験６：物体と物質の区別

1. IASに対しLangOSを教示

2. 全ての対象に対して「これ何？」と質問

正解率

0

20

40

60

80

100

0 500 1000 1500 2000

Cor

rect

Rat

e[%

]

Number of Steps

ObjectsSubstances

Objects and Substances

物質に関しては、U字カーブを描く

物体

物質

全体

実験７：形状類似バイアスの調整1. 物体と物質の区別がある言語LangOSを教示2. 新奇な対象（青枠部分）に対して「lnovel」と一度だけ教示3. 赤枠（OM）と緑枠（OS）各々の部分について「これ何？」と質問

M

経験可能

S

新奇な材質

新奇な形「 lnovel 」

OS

OM

形状類似バイアスの形成

同じ形状の対象群に対して語の適用を拡張ただしOsに対して新規な語の適用率は６０％強

0

20

40

60

80

100

0 1500

OMOS

同じ形状の対象

同じ材質の対象

新規

な語

ｌ nov

elと

回答

した

割合

物体/物質に対する形状類似バイアスの差異

同じ形状の物体に対してのみ語の適用を拡張→形状類似バイアス一時的に物質にまで形状類似バイアスを適用してしまう（過剰汎用）

同じ形状の物体

同じ形状の物質

0

20

40

60

80

100

0 1500Number of Steps

Objects in OS

Substances in OS

同じ形状の物体OSの中には物体と物質が含まれる→別々に分析新

規な

語ｌ n

ovelと

回答

した

割合

実験８-1：事物全体バイアスの調整1. 物体と物質の区別がある言語LangOSを教示2. 既知の物体（青枠部分）に対して「lnovel」と一度だけ教示3. 赤枠（OM）と緑枠（OS）の対象を提示し「 lnovel はどっち？」と質問

4. 扱う対象は物体に限る

M

経験可能

S

既知の材質

既知の形「新規な語 lnovel 」

OS

OM既知の物体

第二ラベル

「 lnovelはどっち？」

第一ラベルと第二ラベル適用の差異

第一ラベル：同じ形状の対象対して語の適用を拡張→形状類似バイアス第二ラベル：同じ材質の対象対して語の適用を拡張→材質類似バイアス

0

20

40

60

80

100

0 200 400 600 800 1000 1200 1400

Rat

e(S

elec

ted

obje

cts

incl

uded

in O

S,s

olid)[%

]

Number of Steps

Well-known

Unknown第一ラベル

第二ラベル

同じ

形状

の物

体を

選択

した

割合

チャンスレベル

実験8-2：事物全体バイアスの調整1. 物体と物質の区別がある言語LangOSを教示2. 既知の物体（青枠部分）に対して「lnovel」と一度だけ教示3. 赤枠（OM）の対象を提示し「これ何？」と質問

4. 扱う対象は物体に限る

M

経験可能

S

既知の材質

既知の形「新規な語 lnovel 」

OS

OM既知の物体

第二ラベル

「これ何？」

What(OM)に対する第一ラベル回答率

「これ何？」に対しては第一ラベルを回答→「 lnovel 」と回答するわけではない

0

20

40

60

80

100

0 200 400 600 800 1000 1200 1400

Cor

rect

Rat

e[%

]

Number of Steps

第一

ラベ

ル回

答率

「青」←第二ラベル「皿」

Which（「コップ」）＝

What（）＝「コップ」

「コップ」

第一ラベルの場合第二ラベルの場合

○○「青の「青のコップコップ」，」，××「「コップコップの青」の青」

第一ラベル=名詞，第二ラベル=形容詞

形容詞：形容詞：WhatWhat（（WhichWhich（（ll））））≠≠ll名詞：名詞：WhatWhat（（WhichWhich（（ll））＝））＝ll

Which（「青」）＝

What（）＝「コップ」

実験８の意味するところ

まとめ

•IASは言語の情報量を保持したまま構造化する。•IASは教示言語に応じて様々なバイアスを形成し、学習を加速する。•IASは物体にのみ形状類似バイアスを適用するが、学習の過渡期には物質に

もこのバイアスを過剰汎用してしまう。•IASは物体に対して与えられた第一ラベルには形状類似バイアスを適用するが、

その後に与えられる第二ラベルには材質類似バイアスを適用する←第一ラベルを形状を第二ラベルを材質を表す語とみなす。•IASに見られるバイアスは、ルールとして与えられたものではなく事後的にその

ような傾向性が観察されるに過ぎない。

文献1. Tatsuji Takahashi，Kuratomo Oyo, Shuji Shinohara： “A Loosely Symmetric Model of

Cognition”， Lecture Notes in Computer Science， No. 5778， Springer， pp. 234-241 (2011)．2. Tatsuji Takahashi，Masahiro Nakano, Shuji Shinohara： “Cognitive symmetry: Illogical but

rational biases”， Symmetry: Culture and Science ，Vol.21，No.1-3，pp.275-294 (2010)．3. 中野昌宏，篠原修二： “対称性バイアスの必然性と可能性：無意識の思考をどうモデル化

するか”，認知科学，Vol.15，No.3，pp.428-441 (2008)．4. 篠原修二，田口亮，桂田浩一，新田恒雄： “因果性に基づく信念形成モデルとN本腕バン

ディット問題への適用” ，人工知能学会論文誌，Vol.22，No.1，pp.58-68 (2007)．5. 篠原修二，田口亮, 桂田浩一, 新田恒雄： “語彙獲得課題における非論理的推論の有効

性”， ISPJ Symposium Series Vol.2006, No.10, pp.187-194 (2006)．6. 篠原修二，田口亮，橋本敬，桂田浩一，新田恒雄： “幼児エージェントにおけるバイアスの

形成と言語の構造化”，情報処理学会論文誌：数理モデル化と応用，Vol.48，No.SIG2(TOM16)，pp.125-146 (2007)．

7. 篠原修二，田口亮，橋本敬，桂田浩一，新田恒雄： “語彙学習エージェントにおけるバイアスの自律調整について” 人工知能学会論文誌，Vol.22，No.2，pp.103-114 (2007)．

8. 篠原修二，中野昌宏： “2本腕バンディット問題に対する「緩い対称性モデル」の有効性：因果推論における対称性バイアスと相互排他性バイアス”，進化経済学論集第11集 (2007)．

9. 中野昌宏，篠原修二：“コミュニケーションにおけるAha! は，「話が裏返る」ことによってもたらされる”，InterCommunication，特集＝コミュニケーションの現在，NTT出版， No.58，pp.53-65 (2006)．

橋本敬（北陸先端科学技術大学院大学）

記号を用いたコミュニケーションを実現するために，さらに何が必要か？～ Beyond Symbol Grounding

記号を用いたコミュニケーションを

実現するために，さらに何が必要か？

～Beyond Symbol Grounding

橋本敬[email protected]

北陸先端科学技術⼤学院⼤学（JAIST）知識科学研究科

2012/6/2＠⾚ちゃん学会RT CopyrightⒸ2012 Takashi Hashimoto All Rights Reserved 1

与えられたお題

• 次のステップに進むために考えるべき問題– 記号を⽤いたコミュニケーションを実現するために

• 次のステップとは？– シンボルグラウンディング

• 必須，とても⼤事– それだけで，⼈間的な記号コミュニケーションになるか？

• ならないとしたら，なにがある？必要？

• ロボティクスと発達研究の間の⽴場から– シミュレーション，⾔語進化


自己紹介

• 北陸先端科学技術⼤学院⼤学（JAIST）・知識科学研究科– 知識の創造・共有・活⽤を科学的に扱う

• ⾔語の起源・進化，コミュニケーションのダイナミクス，制度の創発・デザイン– 複雑系– 構成論的アプローチ– （最近は）実験室（⾔語創発進化）実験

• 記号創発ロボティクス– ⾕⼝さん，岩橋さんらに誘われて，

議論に（正統的？周辺？）参加


言語観・コミュニケーション観

• 動的 ← 複雑系– ⽂や単語の意味は、コミュニケーションの場で，

⾔語主体による意味付け活動を通じて作られる• ミハイル・バフチンの個⼈主義的主観論

– ⾔語は「活動そのものであり，個⼈の発話⾏為によって実現される絶え間ない創造の過程」

– （記号）コミュニケーション≠ (not just) 共通理解（意味の共有）

– ⽣成と共有の連鎖 = ⽇常的創造性• 異なる構成，異なる表現，⼼的活動を励起

→さらなるやりとり，新しい意味・表現


記号コミュニケーションシステムの創発（共創）実験

コミュニケーションのダイナミクス


コミュニケーションがどうやってできるか

コミュニケーションシステムがどうやってできるか

⾦野武司・森⽥純哉（JAIST）との共同研究


Server

A

Site 1

B

Site 2

A

B

調整ゲーム無意味記号をやりとりそれ以外のチャンネルなし

(Konno, Morita, Hashimoto, 2012)

課題の特徴

• 記号の意味づけが⾃発的になされる– 記号体系の成⽴過程を検討可能

• 意味空間の不定性– なにをメッセージに載せるか（記号の意味）は，あらかじめ決まっ

ておらず，様々な可能性がある• 少なくとも，プレイヤー間での⼀致を得るために，現在の位置，

⽬標位置を知る必要• メッセージの送受信が⾮同期

– 課題の成功に，ターンテイクのような記号コミュニケーション以外の要因が関与

– 単なるプロトコルの共有では，ある程度までしか得点できない

– 役割分担が課題の解決に有効• ⾔語的なコミュニケーションには不可⽋


現在位置「⻘にいる」

⾏き先「⻩⾊に来て」

Ａ

Ｂ

Performance

パフォーマンスの推移

初期中期後期相関R=0.438* 0.860** ３ステップ

各段階は次ステップの基盤


現在位置「⻘にいる」

⾏き先「⻘に来て」

ＡＢ

役割分担

意味(denotation)と意図(connotation)の分離


生成プロセス

共通基盤(subsymbolicpragmatics) 記号

システム(semantics, syntax) 役割分担

(pragmatics=intension)

CommunicationSystem

⾏動と記号使⽤の規則性

記号システムの同型性

役割分担は最後に成⽴するが，それを⾒込んだ記号システムは初期から形成される

ターンタイキングにより実現


文法化の構成論的モデル

⾔語の起源と進化


⾔語の⼀般的性質・⾔語の能⼒はどうやってできるか

語彙合成性

もっと⼈間⾔語に特有の性質を考えようよ

中塚雅也・⾦野武司（JAIST）との共同研究

• ⽂法化：⾔葉が⽂法的機能を帯びるようになる（be going to等）• 普遍性：世界中の⾔語で同様の変化• ⼀⽅向性：機能語から内容語への変化はあまりない（具体から抽象への⽅向性）

→ ⼈間の認知傾向の普遍性を⽰唆

• ⾔語進化との関連– ⾔語は⽂法化プロセスにより複雑化した（Heine&Kuteva, 2002）

– 初期⾔語の⽂法を再構成できる（Hurford, 2003; Heine & Kuteva, 2007）

• 問い：⽂法化にみられる⼀⽅向的意味変化（内容→機能，具体→抽象のような）に着⽬．どのような認知能⼒・認知バイアスで⽣じるか？

それはどんな認知傾向（メカニズム）か？

文法化の特徴

2012/6/2＠⾚ちゃん学会RT 12CopyrightⒸ2012 Takashi Hashimoto All Rights Reserved

言語的類推の効果


0102030405060708090100

0 50 100 150 200

表現度

世代

⾔語的類推あり

⾔語的類推なし

汎化操作すべてなし（記憶のみ）

表現度＝可能な意味全体のうち発話可能な意味の割合

1000

2000

802000

804000

806000

0⾔語的類推

あり⾔語的類推

なし

意味変化の頻度

獲得可能な⾔語・意味変化には，⾔語的類推能⼒＝構⽂的知識を既存の使⽤域を越えて拡⼤適⽤する能⼒

が有効である

⻘い［⾵景］

ルール獲得

ルール拡⼤適⽤

意味づけSymbol re‐(neo‐) grounding

⻘い空

⻘い海

⻘い○○

…

⻘い空⻘い海

経験Symbol grounding

＜意味づけ＞

現実と文の解釈を変更

現実を変更

表現が意味を持つようにする

創造的な⽐喩

ものづくり

⻘い［名詞］

⻘い⼼⻘い⽜

経験を越えた新しい⽂の創造（超越性displacement）Symbol de-grounding

新しい概念・現実の創造

言語的類推から創造性へ


言語を用いるヒトの特性


• 現実の多重認識可能性– 現実が，今まで理解されてい

たようにのみ解釈されるわけではない

• ⾔語を獲得することの効⽤(Tomasero, 1999)

• 応⽤⾏動分析による⾃閉症治療（北澤, 2008）

• Symbol grounding Symbol De‐grounding andSymbol neo‐grounding

re‐grounding ex‐grounding

（記号⾶翔＆新接地＜意味づけ＞）

言語的類推↓

新しい文

現実の新しい解釈

新しい現実の創造

結論

• 創造的な⾔語使⽤にはなにが必要か？– コミュニケーションシステム

（記号システムだけでなく）の共創(co‐creation)– 意味・意図の分離– ⾔語的類推（獲得ルールの拡⼤適⽤）– 超越性（超越的表現＆超越的理解）– 記号接地→記号⾶翔→記号再・外・新接地– Semantics, Syntax, Pragmatics, Poiesis


Documents

記号を用いたコミュニケーションを実現するために何が必要か？― 記号創発ロボティクスの 視点から ―

記号を用いたコミュニケーションを実現するために何が必要か？― 記号創発ロボティクスの視点から ―