自律型生活支援ロボットMini

@ken_demu 出村　賢聖 2015-10-4

自己紹介：出村　賢聖

● DKT Robotics代表

● 明聖高等学校サイバー学習国3年

● 金沢工業大学ＦＭＴ研究所SROP Researcher● シリコンバレーのロボットシード企業　Adawarp

Robot Engineer

ロボカップ@ホーム世界大会初出場！マシントラブルありましたが

なんとか世界9位になりました！応援ありがとうございました！

Miniの自己紹介

一人暮らしのお年寄りと一人っ子のために作られた自律型生活支援ロボット

ハードウエア

かわいい

軽い　5kg / 7kg

2～3か月

軽い　5kg / 7kg

収納性

このスーツケース１つで収まります

のびます　90~140cmまで

https://youtu.be/AuMytE3bv5U

ものつかめます　ペイロード500g

台車はkobuki耐久性がある、ソフト開発が簡単

Kobukiでつくばチャレンジの秋の道なんとか走行可能です

NVIDIA GPGPU搭載（ノートＰＣ用）

　　高速な学習・科学計算が可能、かつ省エネ

センサ

● ＨＯＫＵＹＯ　LIDAR● Xtion pro live(RGB-Dカメラ）

● kobuki内蔵センサ（ジャイロ、エンコーダなど）

● Olympusガンマイク

ソフトウエア

開発ツール

Caffe NLTK

インフラ

● UnityのＵＩだとNVIDIA X serverがクラッシュするためXubuntu 14.04LTSを採用

● USBの挿し順番を間違えると音や音声入力が聞かなくなる

（音声周りをhot plug化するには/proc/asound以下をいじらないといけないためudevが面倒）

● ALSAの設定~/.asound.confの設定情報を有効化するためにpulseaudioをremoveする

画像処理・画像認識

顔追跡

複数のHaarCascade学習器＋Flat Clusteringによるノイズ除去

性別認識

NVIDIA DIGITS + NVIDIA Caffe

LeNet + Nesterov Accelerated Gradient

１カテゴリ700枚の画像で学習

女性の認識率が高い（ＦＰはほぼ０％）

男性のＦＰは40%（特にアジア系の判定が弱い）

CVで75%の認識率

推論時間0.03~0.05秒

ＯＣＲ

640x480解像度で10.5pxの活字文章を正確に推定可能

アルゴリズム: binarization → line segmentation → Long Short Term Memory

※ Long Short Term MemoryはOCRで最高の認識率を持つRecurrent Neural Networkのアルゴリズム

姿勢認識

45°ＦＯＶのxtionのＲＧＢカメラだけでConvNet(LeNet)を使って姿勢推定しようとしたが・・・・・・

ー人が倒れるときカメラの視界に入らなくなる

->高視野のカメラが必要

ー人が倒れる動作は立つ->倒れるなので立っているときの画像だけを入力にするとどうしても推論結果がおかしくなる

->動画（時系列）の入力にするか繰り返し推論して状態変化を観察する

自己位置推定/SLAM

gmapping

人間追跡

LIDAR pointcloud →深さ２Ｄ画像変換 →

ルールベース追跡https://youtu.be/2QPGgHWVzUU

音声認識

音声エンジン統合クライアント : Sirius

音声の文章：Kaldi

　Deep Neural Network

　wikiの11GBのデータセットから学習

　コンパイル最適化＋GPGPUで3~5秒で推論

　高精度音声認識

音声の単語：PocketSphinx

　高速な推論が可能

　主に音声の文章入力受付のトリガーとして使う

自然言語処理

NLTK

登録されていない質問・音声命令

　Kaldiでspeech to text(ROS topic)

→ taggerで品詞推定→

　品詞の配列による文型マッチングから意味となる単語を抽出　

照応解析：文型のマッチングから意味リストを作って代名詞の直前の意味リストインデックスを参照

※自己参照：生活支援ロボットMini

登録されている質問・音声命令

　 Kaldiでspeech to text → ChatterbotでN-gramベースマッチング

https://github.com/demulab

ご清聴ありがとうございました！