Embed Size (px)
Citation preview
自律型生活支援ロボットMini
@ken_demu 出村 賢聖 2015-10-4
自己紹介：出村 賢聖
● DKT Robotics代表
● 明聖高等学校サイバー学習国3年
● 金沢工業大学ＦＭＴ研究所SROP Researcher● シリコンバレーのロボットシード企業 Adawarp
Robot Engineer
ロボカップ@ホーム世界大会初出場！マシントラブルありましたが
なんとか世界9位になりました！応援ありがとうございました！
Miniの自己紹介
一人暮らしのお年寄りと一人っ子のために作られた自律型生活支援ロボット
ハードウエア
かわいい
軽い 5kg / 7kg
2～3か月
軽い 5kg / 7kg
収納性
このスーツケース１つで収まります
ものつかめます ペイロード500g
台車はkobuki耐久性がある、ソフト開発が簡単
Kobukiでつくばチャレンジの秋の道なんとか走行可能です
NVIDIA GPGPU搭載（ノートＰＣ用）
高速な学習・科学計算が可能、かつ省エネ
センサ
● ＨＯＫＵＹＯ LIDAR● Xtion pro live(RGB-Dカメラ）
● kobuki内蔵センサ（ジャイロ、エンコーダなど）
● Olympusガンマイク
ソフトウエア
開発ツール
Caffe NLTK
インフラ
● UnityのＵＩだとNVIDIA X serverがクラッシュするためXubuntu 14.04LTSを採用
● USBの挿し順番を間違えると音や音声入力が聞かなくなる
（音声周りをhot plug化するには/proc/asound以下をいじらないといけないためudevが面倒）
● ALSAの設定~/.asound.confの設定情報を有効化するためにpulseaudioをremoveする
画像処理・画像認識
顔追跡
複数のHaarCascade学習器＋Flat Clusteringによるノイズ除去
性別認識
NVIDIA DIGITS + NVIDIA Caffe
LeNet + Nesterov Accelerated Gradient
１カテゴリ700枚の画像で学習
女性の認識率が高い（ＦＰはほぼ０％）
男性のＦＰは40%（特にアジア系の判定が弱い）
CVで75%の認識率
推論時間0.03~0.05秒
ＯＣＲ
640x480解像度で10.5pxの活字文章を正確に推定可能
アルゴリズム: binarization → line segmentation → Long Short Term Memory
※ Long Short Term MemoryはOCRで最高の認識率を持つRecurrent Neural Networkのアルゴリズム
姿勢認識
45°ＦＯＶのxtionのＲＧＢカメラだけでConvNet(LeNet)を使って姿勢推定しようとしたが・・・・・・
ー人が倒れるときカメラの視界に入らなくなる
->高視野のカメラが必要
ー人が倒れる動作は立つ->倒れるなので立っているときの画像だけを入力にするとどうしても推論結果がおかしくなる
->動画（時系列）の入力にするか繰り返し推論して状態変化を観察する
自己位置推定/SLAM
gmapping
音声認識
音声エンジン統合クライアント : Sirius
音声の文章：Kaldi
Deep Neural Network
wikiの11GBのデータセットから学習
コンパイル最適化＋GPGPUで3~5秒で推論
高精度音声認識
音声の単語：PocketSphinx
高速な推論が可能
主に音声の文章入力受付のトリガーとして使う
自然言語処理
NLTK
登録されていない質問・音声命令
Kaldiでspeech to text(ROS topic)
→ taggerで品詞推定→
品詞の配列による文型マッチングから意味となる単語を抽出
照応解析：文型のマッチングから意味リストを作って代名詞の直前の意味リストインデックスを参照
※自己参照：生活支援ロボットMini
登録されている質問・音声命令
Kaldiでspeech to text → ChatterbotでN-gramベースマッチング
https://github.com/demulab
ご清聴ありがとうございました！
