ノンパラメトリックベイズ理論の応用による適応的知能の構成

グループ型研究プログラム「先端的機械学習に基づく自律的適応知能ダイナミクス創成プロジェクト」

AML-dynamics情報理工学部　谷口忠大

情報理工学部　知能情報学科　創発システム研究室

メンバー　（ 2012/06/26時点）谷口忠大　知能情報学科　准教授　（研究代表）北野勝則　知能情報学科　教授島田伸敬　知能情報学科　教授西尾信彦　情報システム学科　教授李周浩　情報コミュニケーション学科　教授仲田晋　メディア情報学科　准教授榊原一紀　知能情報学科　講師小林亮太　知能情報学科　助教韓先花　メディア情報学科（陳研）　 PD　

人工知能技術は，知識をルールとして設計者が表現する古典的なルールベースアプローチから，知識自体を計算機が学習するアプローチ（教師あり学習）を経て実用化が図られてきた．しかし，このような教師あり学習による知識獲得，最適化のアプローチは人手によるデータ整理，ラベリング，アノテーション（教師データ）を必要とし，現在のような大量のセンサ系，データ群が実世界から取得される系では有効ではない．=> トップダウン・アプローチ

現在，人手による教師データの付与を必要とせず，データ自体が持っている構造情報から知識発見，データ抽出を行う教師なし学習のアプローチが急速に注目を集めている．=> ボトムアップ・アプローチ

時代背景

また，このように明示的な教師データを求めず，自らの感覚運動情報から自己組織的に構造情報を抽出し，概念形成，知能発達を行うことは，人間の知能の根本的な特徴であり，その適切な創発的計算知能の表現は長らく求められてきた．

本研究では，ノンパラメトリックベイズ理論を始めとする先端的機械学習と，ライフログやセンサネットワーク，ロボットの感覚運動情報，脳神経活動データといった大規模実世界データの融合により自動的に知識を獲得し，機能を構成する創発的知能の創成を目指す．

研究目的

[H23-H25]立命館大学総合理工学研究機構グループ型研究プログラム

創発的計算(Emergent Computation)教師なし学習をベースとした創発的な学習器をベースとした，新たな知的情報処理の提案

ノンパラメトリックベイズ理論に基づく，機械学習理論の応用，及び基礎研究の推進．

人間・機械相互作用をボトムアップに構成するマルチモーダル情報処理，検索技術，データマイニング，画像処理技術についての研究の推進．

発達する知能環境に適応し多様な概念や行動を獲得する知能

人間は生まれた時，未分化な認識世界の中で活動を始める．

環境適応の中で様々な概念や行動を獲得していく．

そして言語を用いたコミュニケーションをも可能にする．

その構造，計算論的プロセスを知りたい．

ノンパラメトリックベイズ理論[00年代半ば～ ]ベイズ学習の枠組みに含まれる学習法ディリクレ過程やベータ過程，ガウス過程などの潜在的に無限のパラメータを持つ，確率モデルを仮定し，有限個の観測データから柔軟にモデルの複雑性を獲得するモデル．

MCMC（マルコフ連鎖モンテカルロ法）と併せて利用することにより，効率的なシステムの推定が可能になる．

複雑な隠れた構造をもつ知識を教師なし学習を用いて学習可能になってきた

ベイズ教師無し形態素解析形態素解析

日本語のような単語間の区切りのない言語では，単語の切れ目を解析することが重要になる．「分かち書き」

離散文字列から言語モデルを作るためには，この形態素解析ができる必要がある．

しかし，通常，形態素解析自体が「辞書」の存在を前提とする．鶏が先か卵が先か・・・

教師無し形態素解析辞書を使わずN-gram統計量のみを用いて，未知のテキストから単語・キーワードを抽出する手法が開発されてきている． 多くはヒューリスティック，もしくはMDLを基準にして計算量が重い．

ノンパラメトリックベイズ理論に基づく教師無し形態素解析[持橋’ 09]

[持橋　発表資料より ]

ball (polystyrene) ball (vinyl) balloon (water)

balloon (normal) balloon (bell) bell 1 (ring)

bell 2 (ring) bell 3 (bar) nutritive (can)

nutritive (box) nutritive (small box)

can (aluminum)

can (steel) spray bottle (full) spray bottle (empty)

soft toy 3 (with texture)

soft toy 2 (with texture)

soft toy 1(without texture)

Infinite Relational Modelを用いたマルチモーダル概念形成

階層 Pitman-Yor言語モデルに基づいた自動作曲手法の提案 [’11白井 ]

Semiotic Prediction of Driving Behavior using Unsupervised Double Articulation Analyzer

Collaborative work with　DENSO

Published in Intelligent Vehicle 2012

Language Model

Segment

Chunk

afa?

fd

View from driver’s seat

Averaged number of correctlypredicted hidden states Histogram

Giving theoretical probability to incomplete hidden words

Conclusionグループ型研究プログラム「先端的機械学習に基づく自律的適応知能ダイナミクス創成プロジェクト」

ノンパラメトリックベイズ理論に連なる研究成果の紹介．

他はまた別の機会に・・・