46
Copyright©2017 NTT corp. All Rights Reserved. NTTにおけるロボティクス技術の展開と展望 日本電信電話株式会社 サービスエボリューション研究所 ネットワークド ロボット&ガジェット プロジェクト 山田智広 LSI とシステムのワークショップ2017

NTTにおけるロボティクス技術の展開と展望 · 深層学習型 (ディープニューラルネット) 約4000万パターンの音声を 表現可能 従来型(混合分布)

  • Upload
    others

  • View
    0

  • Download
    0

Embed Size (px)

Citation preview

Page 1: NTTにおけるロボティクス技術の展開と展望 · 深層学習型 (ディープニューラルネット) 約4000万パターンの音声を 表現可能 従来型(混合分布)

Copyrightcopy2017 NTT corp All Rights Reserved

NTTにおけるロボティクス技術の展開と展望

日本電信電話株式会社サービスエボリューション研究所

ネットワークド ロボットガジェット プロジェクト山田智広

LSIとシステムのワークショップ2017

Copyrightcopy2017 NTT corp All Rights Reserved 2

アジェンダ

1NTTグループのロボティクスへの取り組み

~ 色々なモノが繋がる世界の実現 ~

2ロボットに必要な機能

~ NTTのAI技術 corevoreg(コレボ)~

3ロボット進化の方向性

~ 人とロボットの共生社会 ~

Copyrightcopy2017 NTT corp All Rights Reserved 3

ロボット新戦略 ―ビジョン戦略アクションプラン―

出典ロボット革命実現会議発行の「ロボット新戦略」を元にNTTにて作成httpwwwmetigojppress2014012015012300420150123004bpdf

ロボット活用を推進すべき分野(重点分野)

介護医療分野インフラ災害対応建設農林水産業食品産業

ロボット革命実現会議が2015 年1月23 日に発表

① センサーAI などの技術進歩によりモノがロボット化しロボットの一つに② 製造現場から日常生活の様々な場面でロボットが活用③ 社会課題の解決やものづくりサービスの国際競争力の強化

ベッドからの移し替え支援歩行支援排泄支援認知症 の方の見守り入浴支援の5分野でのロボット活用

手術支援ロボット等の医療機器普及

労働集約的製造業を中心にロボット導入

IT等の活用によりロボットそのものを高度化

流通飲食宿泊業等の裏方作業へのロボッ ト導入

次世代要素技術の開発等により接客の自動化

ものづくりサービス

建設現場の省力化作業の自動化

インフラの目視点検等にロボットを活用

災害調査ロボットの利用

農業機械の自動走行アシストスーツ等による重労

働を機械化自動化

Copyrightcopy2017 NTT corp All Rights Reserved 4

ロボットと様々なデバイスの連携

ロボット等人を取り巻く各種デバイスが相互に連携人の状態を的確に把握し音声による対話等で個人に合わせたサポート様々なアプリやデバイスを柔軟に組み合わせ人の可能性を広げる

スマートモビリティ

情報端末

クラウド

R-env連舞regIoT-PF

対話アプリ 介護アプリ 音楽アプリ

AIエンジン 画像エンジン 音声エンジン

データ

各種センサロボット

Copyrightcopy2017 NTT corp All Rights Reserved 5出典NTT技術ジャーナルVol 20 No 1 pp 22-27 2008

ユビキタスネットワークロボットプラットフォーム(2004年~)

Copyrightcopy2017 NTT corp All Rights Reserved 6

転倒転落防止ベッド(2006年~)

出典NTT技術ジャーナルVol 20 No 1 pp 32-35 2008

Copyrightcopy2017 NTT corp All Rights Reserved 7

独居高齢者の健康管理への適用(2015年~)

日々の「生体情報の計測」や「服薬」を促す

測定結果を記録し介護施設や医療施設と共有し早期の問題把握に繋げる

記録された結果に従い高齢者へ運動や食事のへのモチベーションを喚起

アドバイスを実施健康維持

NTT風の谷プロジェクト (デイケアセンタ)三浦市立病院との共同研究

Copyrightcopy2017 NTT corp All Rights Reserved 8

NTT横須賀RampDセンタでの受付(2016年~)

①近づいて来たことを判定し挨拶②受付票を書くように案内③訪問相手へ電話をかける

①ロボットによる動画の解説②館内情報について質問応答③雑談を実施

ロボットセンサタブレットプロジェクションマッピング電話等を連携動作させることでロビーでのホスピタリティの向上と受付業務の効率化

Copyrightcopy2017 NTT corp All Rights Reserved 9

ロボット大機利 (ニコニコ超会議2017)

ロボットセンサ大画面プロジェクションマッピングスイッチ等を連携動作させることで会場と一体となったロボットによる大喜利を実施

Copyrightcopy2017 NTT corp All Rights Reserved 10

NTTグループ連携したサービストライアル

出典日本電信電話報道発表httpwwwnttcojpnews20161607160725ahtml

Copyrightcopy2017 NTT corp All Rights Reserved 11

bull 店舗観光案内システムの実証実験を新宿駅周辺6ヶ所にて実施bull クラウドを活用することで遠隔からの監視メンテナンスbull 利用者は音声認識とタブレットの両方で操作可能

NTT東日本とパートナ企業による実験

新宿中村屋 B2階

タカノ フルーツパーラー B2階

Copyrightcopy2017 NTT corp All Rights Reserved 12

NTT西日本とパートナ企業による実験

bull 近鉄京都駅改札内にて実施

bull 多言語(日本語英語中国語)観光案内を実施bull ロボットの声がけによる人の誘引や非言語動作(頷き等)による自然な対話を検証

Copyrightcopy2017 NTT corp All Rights Reserved 13

アジェンダ

1NTTグループのロボティクスへの取り組み

~ 色々なモノが繋がる世界の実現 ~

2ロボットに必要な機能

~ NTTのAI技術 corevoreg(コレボ)~

3ロボット進化の方向性

~ 人とロボットの共生社会 ~

Copyrightcopy2017 NTT corp All Rights Reserved 14

NTTグループのAI技術「corevo」

<ロゴイメージ>

corevo co-revolution

AIを活用しさまざまなプレイヤーの皆様とのコラボレーションによって無限の可能性を秘めた多くの価値が生み出される様子をロゴで表現

2016年5月30日報道発表

NTTグループのAI技術「corevo reg (コレボ)」によるコラボレーションを展開

~さまざまなプレイヤーの皆様とのコラボレーションを通じて一緒に革新(レボリューション)を起こす~

Copyrightcopy2017 NTT corp All Rights Reserved 15

corevo regのホームページ

ホームページhttpwwwnttcojpcorevo

Copyrightcopy2017 NTT corp All Rights Reserved 16

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 17

corevo regの構成技術モジュール群

Copyrightcopy2017 NTT corp All Rights Reserved 18

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 19

定型業務の代替支援 日常生活の拡張(移動コミュニケーション支援)

知的活動の支援

整理された知識(知識ベースルール)

解読

デザイン

知識の探索

インタラクション技術

実世界構造化技術映像音声センサ情報など

スマホロボットなどユーザインタフェース

人間理解技術

モビリティ型パーソナルエージェント

テレプレゼンスロボット

コンタクトセンタ窓口業務代替

介護業務代替支援

アイディア創出支援

ヘルスケア

人の発する情報を読み解き意図感情を理解し膨大な知識に基づいて推論し人らしく表現するAI

意図理解対話ロボティクス

暗黙知

基礎技術

翻訳

Agent-AI (人らしさの追求人と共存)

Copyrightcopy2017 NTT corp All Rights Reserved 20

深層学習に基づく音声認識技術

a

ui

eo

音声とのパターンマッチング

深層学習型(ディープニューラルネット)約4000万パターンの音声を表現可能

従来型(混合分布)約10万パターンの音声を表現可能

音声 音素

音声の特徴をディープニューラルネットで精緻に表現することにより音声認識の精度を大幅に改善(多段構造により膨大な組合せを考慮)

公共エリアの騒がしい環境で収録された音声を認識する国際技術評価CHiME-3 (201512実施) でNTTは参加25機関中トップの精度を達成

0 5 10 15 20 25 30 35

各参加団体の単語認識誤り率()

<国際技術評価CHiME-3の結果>

標準的なディープニューラル音声認識 334

NTT 58

Agent-AI

本技術を採用した音声認識エンジン開発を実施中

Copyrightcopy2017 NTT corp All Rights Reserved 21

高騒音下での音声集音インテリジェントマイク技術

複数のマイクを組み合わせ100dB(デシベル)を越える高い騒音環境下(ガード下のような環境)でも特定方向の話者の声をとらえて明瞭な音声通話や高精度な音声認識を実現

様々な音が混合

周波数

振幅

インテリジェントマイク処理

マイク1マイク2

雑音抑圧された信号

周波数

振幅

音声通話音声認識に活用騒音

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 22

高機能なロボットやIoTデバイスを「作る」のではなくそれらを複数組み合わせて「使う」ための技術

ロボットをはじめとする複数のデバイスを組み合わせたデバイス連携サービス作りを非エンジニア層にも可能にすることを目的に開発

【特徴1】メーカーや業種問わず多様なデバイスを連携制御可能

【特徴2】ブラウザ上のGUIツールにより簡単にデバイス連携サービスを開発可能

ロボット連携技術 「R-env連舞reg 」Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 23

R-env連舞を使ったカスタマイズ例

現在のデモの流れ

Copyrightcopy2017 NTT corp All Rights Reserved 24

開始場面のカスタマイズ

新しい状態が追加される

新しい状態の追加

Copyrightcopy2017 NTT corp All Rights Reserved 25

動作対象を選択し実行したい動作を選択(SOTAにモーションを追加)

動かしたいデバイスを選択

(SOTA)

実行したい動作を選択(手を振る)

Copyrightcopy2017 NTT corp All Rights Reserved 26

動作対象を選択し実行したい動作を選択(SOTAに発話させたい文章を追加)

動かしたいデバイスを選択

(SOTA)

実行したい動作を選択

(発話を選び「相談会実施中」

と入力)

Copyrightcopy2017 NTT corp All Rights Reserved 27

状態の遷移先を切り替える

状態遷移先を切り替える

Copyrightcopy2017 NTT corp All Rights Reserved 28

ユーザーの質問は多様であり同じ意味の多様な表現を理解する必要がある(ex ldquo国際電話をかけたいrdquo = ldquo外国に電話する方法を教えてrdquo)

ユーザーの質問とFAQコンテンツの質問が同一の意味であるかを判定 NTT研究所技術は大規模な日本語意味辞書を用いて日本語特有の多様

な表現を理解可能

発話意図理解技術(FAQ検索技術)

同一性の判定

QAコンテンツ

概念に基づく判定モデル

【質問】ldquo国際電話をかけたいrdquo 外国に電話する方法

を教えてくださいrdquoldquoまず設定画面で~rdquo

【質問】 【回答】

2具体

3主体

4人 362組織

389場所

1000抽象

372団体党派

373団体

大規模意味辞書1名詞テキストコーパス

機械学習

CGM文書コールセンタ応対ログ

~多様な言い回しの獲得~ ~同一の意味を理解~

日本語解析

Agent-AI

他社との性能比較でも優位性を確認

Copyrightcopy2017 NTT corp All Rights Reserved 29

雑談対話技術

ユーザと多様な話題で雑談するための技術ユーザの発話を解析し話題と意図を抽出

インターネット上のコンテンツを言語処理技術によって整理し対話知識とすることで多様な話題に対しても妥当な発話を生成

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 30

copy2015 Vstone

複数ロボットを用いた雑談対話技術

複数の音声対話ロボットを協調させ音声認識や発話生成の誤りに気づかせずに対話を継続できる技術従来と同じ性能のシステムであっても人の認知特性を利用することで印象を大きく改善

明日は寒くなるみたいだからコート着なきゃ

ふむふむ

今年のコートの流行はチェスターコートだよ

話題連続性に対する要求の低減

ロボットA

蘭がスキー(ラーメンが好きを誤認識)

ふむふむ(誤認識を検知)

僕は焼き肉が好きだよ(ロボット同士の対話に移行)

食べ物だったら何が好き

音声認識誤り検出時の破綻回避

ロボットAが一旦発話を受け止めdarr

話者をロボットBに切り替えdarr

話題が逸脱した場合の違和感を軽減

音声認識結果が対話の流れから逸脱darr

音声認識の誤りと判断darr

ロボット同士の対話に移行し対話破綻を回避

ロボットA

ロボットB

大阪大学 石黒研との共同研究成果

ロボットB

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 31

アングルフリー物体検索技術

異なるアングルから撮影しても精度よく物体を認識し関連情報を提示可能 事前に準備する参照画像数を従来の110程度まで大幅に削減準備コス

トの削減可能

参照画像DB

NW

撮影画像

被写体付加情報

撮影した画像に写った物体を認識

認識検出結果

従来の約110の登録画像枚数

スマホ等で物体を撮影

撮影アングルが異なっても他の物体が写りこんでいても同じ物体として認識

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 32

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 33

Heart-Touching-AI (無意識人のこころに触れる)

本人にも意識されない人の心と身体を読み解き深層心理知性本能を理解するAI

心的状態神経活動筋活動を読み解き働きかけ

教育

スポーツ

エンターテインメント 健康美容

子育て保育

医療カウンセリングコミュニケーション科学

人間科学の成果を発揮する領域

Copyrightcopy2017 NTT corp All Rights Reserved 34

目の動きからユーザの「ココロ」を推定

眼球運動瞳孔の大きさに基づくマインドリーティング コンピュータでしか認識できない人間の潜在的な心の動きを読み取る

「人間を超える」感情認識能力をもったAI

Heart-Touching-AI

好みの推定

対象者の各種状態を推定

特徴抽出

モデル生成

分類器(モデル)

ラベル(評価値)

データ計測

瞳孔反応

マイクロサッカード

Time [s]

Posi

tion [

deg]

Time [s]

Pupil

size

change

[z-

score

]

0 1 2 3

0

2

-3 NTT独自のアルゴリズムを適用

or

顔画像音楽など

推定(分類)

注意状態の推定 眠気の推定

Copyrightcopy2017 NTT corp All Rights Reserved 35

体感型釣りゲーム

ドライブ体験

ドライブ映像のカーブに合わせてハンドルが引っ張られる感覚を体感

釣りで魚が食いついたことで糸が引っ張られる感覚を体感

手をみちびく感覚を振動デバイスで実現

振動で人を導く「ぶるなび」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 36

止まっている対象に動きの印象を与えるプロジェクションマッピング

質感編集技術

原画像

変換後

変幻灯技術(画像検索との融合)

画像と動きシナリオ(動き方タイミング等)のデータベース

撮影画像列

差分画像列

アニメ画像列生成

画像検索

姿勢推定

検索結果の動きシナリオ

対象物

プロジェクション

アニメ画像列

乾いた風景

濡れたように

差分計算

壁紙が表情を変える「変幻灯」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 37

アジェンダ

1NTTグループのロボティクスへの取り組み

~ 色々なモノが繋がる世界の実現 ~

2ロボットに必要な機能

~ NTTのAI技術 corevoreg(コレボ)~

3ロボット進化の方向性

~ 人とロボットの共生社会 ~

Copyrightcopy2017 NTT corp All Rights Reserved 38

一人に一台のパーソナルエージェント

スマホ等

Webサービス

Bluetooth Bluetooth携帯電話網

スマホ等

音声通話

音声+視線+動作

音声+視線+動作

Copyrightcopy2017 NTT corp All Rights Reserved 39

パーソナルモビリティ自律走行技術の進展

WHILLNTTドコモ全国初「免許不要」のパーソナルモビリティシェアリングサービスの実証実験を横浜で実施(2015年)

横浜赤レンガ倉庫2号館赤レンガパーク

日本丸メモリアルパーク

出典WHILLプレスリリースhttpswhilljpnews5618

Copyrightcopy2017 NTT corp All Rights Reserved 40

人と移動ロボットの共生社会

さまざまな移動ロボットが人の生活空間を移動する世界では移動ロボットが自律的に安全に移動することに加えて周囲の人や移動ロボットを操作する人が協力して環境へ適応し安全な動作を生成していくということが必要

移動ロボットを使う人も周囲の人も誰もが安心してロボットと共生できるサービスの実現

さまざまなタイプの移動ロボットが普及し人の日常空間に共存する将来

移動ロボットを操作する初心者高齢者が増加しそれに伴う事故も増加 自律移動ロボットも完全に安全にすることはできず人や他の移動ロボッ

トとの衝突が発生

Copyrightcopy2017 NTT corp All Rights Reserved 41

ldquoR-env連舞rdquoInnovation

Hub

多様なロボット活用サービスの普及に向けて

ハードウェアメーカーと連携した

「デバイスハンズオン」rarr個別デバイスの利用者拡大

アプリ開発者サービス事業者と連携した

「ハッカソン」rarrデバイス連携サービスプロトタイプの蓄積

パートナと連携した

「フィールドトライアル」

rarrデバイス連携サービスの有効性検証

パートナNTTグループ連携による

「ビジネス創出」

rarrデバイス連携サービスのビジネス化

Copyrightcopy2017 NTT corp All Rights Reserved 42

最優秀賞チーム雅「箱入り娘と箱贈り親父」父親と娘のコミュニケーションを育むためにロボットが父親の代わりに離れて暮らす娘へ

メッセージを届けてくれるサービス

優秀賞Team avata「R-env2 テレヘルスサービス」遠隔医療にコミュニケーションロボットを活用「お尻が痛い」などデリケートな症状でも医

師に相談することの恥ずかしさの軽減を図るサービス

R-env連舞 ハッカソン

日時場所2016年6月18日~19日FabCafe TokyoMTRL渋谷 テーマ「ロボットldquoならではrdquoのサービスを作ろう」

Copyrightcopy2017 NTT corp All Rights Reserved 43

R-env連舞のホームページ

httpswwwr-envjp

Copyrightcopy2017 NTT corp All Rights Reserved 44

国際ロボット競技会(World Robot Summit)

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

Copyrightcopy2017 NTT corp All Rights Reserved 45

WRSのスケジュール

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

ldquo人の可能性を広げるldquo

諦めなければならなかった事をひとつでも多く実現するインタラクションサービス

様々なパートナと連携して実現していきます

Page 2: NTTにおけるロボティクス技術の展開と展望 · 深層学習型 (ディープニューラルネット) 約4000万パターンの音声を 表現可能 従来型(混合分布)

Copyrightcopy2017 NTT corp All Rights Reserved 2

アジェンダ

1NTTグループのロボティクスへの取り組み

~ 色々なモノが繋がる世界の実現 ~

2ロボットに必要な機能

~ NTTのAI技術 corevoreg(コレボ)~

3ロボット進化の方向性

~ 人とロボットの共生社会 ~

Copyrightcopy2017 NTT corp All Rights Reserved 3

ロボット新戦略 ―ビジョン戦略アクションプラン―

出典ロボット革命実現会議発行の「ロボット新戦略」を元にNTTにて作成httpwwwmetigojppress2014012015012300420150123004bpdf

ロボット活用を推進すべき分野(重点分野)

介護医療分野インフラ災害対応建設農林水産業食品産業

ロボット革命実現会議が2015 年1月23 日に発表

① センサーAI などの技術進歩によりモノがロボット化しロボットの一つに② 製造現場から日常生活の様々な場面でロボットが活用③ 社会課題の解決やものづくりサービスの国際競争力の強化

ベッドからの移し替え支援歩行支援排泄支援認知症 の方の見守り入浴支援の5分野でのロボット活用

手術支援ロボット等の医療機器普及

労働集約的製造業を中心にロボット導入

IT等の活用によりロボットそのものを高度化

流通飲食宿泊業等の裏方作業へのロボッ ト導入

次世代要素技術の開発等により接客の自動化

ものづくりサービス

建設現場の省力化作業の自動化

インフラの目視点検等にロボットを活用

災害調査ロボットの利用

農業機械の自動走行アシストスーツ等による重労

働を機械化自動化

Copyrightcopy2017 NTT corp All Rights Reserved 4

ロボットと様々なデバイスの連携

ロボット等人を取り巻く各種デバイスが相互に連携人の状態を的確に把握し音声による対話等で個人に合わせたサポート様々なアプリやデバイスを柔軟に組み合わせ人の可能性を広げる

スマートモビリティ

情報端末

クラウド

R-env連舞regIoT-PF

対話アプリ 介護アプリ 音楽アプリ

AIエンジン 画像エンジン 音声エンジン

データ

各種センサロボット

Copyrightcopy2017 NTT corp All Rights Reserved 5出典NTT技術ジャーナルVol 20 No 1 pp 22-27 2008

ユビキタスネットワークロボットプラットフォーム(2004年~)

Copyrightcopy2017 NTT corp All Rights Reserved 6

転倒転落防止ベッド(2006年~)

出典NTT技術ジャーナルVol 20 No 1 pp 32-35 2008

Copyrightcopy2017 NTT corp All Rights Reserved 7

独居高齢者の健康管理への適用(2015年~)

日々の「生体情報の計測」や「服薬」を促す

測定結果を記録し介護施設や医療施設と共有し早期の問題把握に繋げる

記録された結果に従い高齢者へ運動や食事のへのモチベーションを喚起

アドバイスを実施健康維持

NTT風の谷プロジェクト (デイケアセンタ)三浦市立病院との共同研究

Copyrightcopy2017 NTT corp All Rights Reserved 8

NTT横須賀RampDセンタでの受付(2016年~)

①近づいて来たことを判定し挨拶②受付票を書くように案内③訪問相手へ電話をかける

①ロボットによる動画の解説②館内情報について質問応答③雑談を実施

ロボットセンサタブレットプロジェクションマッピング電話等を連携動作させることでロビーでのホスピタリティの向上と受付業務の効率化

Copyrightcopy2017 NTT corp All Rights Reserved 9

ロボット大機利 (ニコニコ超会議2017)

ロボットセンサ大画面プロジェクションマッピングスイッチ等を連携動作させることで会場と一体となったロボットによる大喜利を実施

Copyrightcopy2017 NTT corp All Rights Reserved 10

NTTグループ連携したサービストライアル

出典日本電信電話報道発表httpwwwnttcojpnews20161607160725ahtml

Copyrightcopy2017 NTT corp All Rights Reserved 11

bull 店舗観光案内システムの実証実験を新宿駅周辺6ヶ所にて実施bull クラウドを活用することで遠隔からの監視メンテナンスbull 利用者は音声認識とタブレットの両方で操作可能

NTT東日本とパートナ企業による実験

新宿中村屋 B2階

タカノ フルーツパーラー B2階

Copyrightcopy2017 NTT corp All Rights Reserved 12

NTT西日本とパートナ企業による実験

bull 近鉄京都駅改札内にて実施

bull 多言語(日本語英語中国語)観光案内を実施bull ロボットの声がけによる人の誘引や非言語動作(頷き等)による自然な対話を検証

Copyrightcopy2017 NTT corp All Rights Reserved 13

アジェンダ

1NTTグループのロボティクスへの取り組み

~ 色々なモノが繋がる世界の実現 ~

2ロボットに必要な機能

~ NTTのAI技術 corevoreg(コレボ)~

3ロボット進化の方向性

~ 人とロボットの共生社会 ~

Copyrightcopy2017 NTT corp All Rights Reserved 14

NTTグループのAI技術「corevo」

<ロゴイメージ>

corevo co-revolution

AIを活用しさまざまなプレイヤーの皆様とのコラボレーションによって無限の可能性を秘めた多くの価値が生み出される様子をロゴで表現

2016年5月30日報道発表

NTTグループのAI技術「corevo reg (コレボ)」によるコラボレーションを展開

~さまざまなプレイヤーの皆様とのコラボレーションを通じて一緒に革新(レボリューション)を起こす~

Copyrightcopy2017 NTT corp All Rights Reserved 15

corevo regのホームページ

ホームページhttpwwwnttcojpcorevo

Copyrightcopy2017 NTT corp All Rights Reserved 16

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 17

corevo regの構成技術モジュール群

Copyrightcopy2017 NTT corp All Rights Reserved 18

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 19

定型業務の代替支援 日常生活の拡張(移動コミュニケーション支援)

知的活動の支援

整理された知識(知識ベースルール)

解読

デザイン

知識の探索

インタラクション技術

実世界構造化技術映像音声センサ情報など

スマホロボットなどユーザインタフェース

人間理解技術

モビリティ型パーソナルエージェント

テレプレゼンスロボット

コンタクトセンタ窓口業務代替

介護業務代替支援

アイディア創出支援

ヘルスケア

人の発する情報を読み解き意図感情を理解し膨大な知識に基づいて推論し人らしく表現するAI

意図理解対話ロボティクス

暗黙知

基礎技術

翻訳

Agent-AI (人らしさの追求人と共存)

Copyrightcopy2017 NTT corp All Rights Reserved 20

深層学習に基づく音声認識技術

a

ui

eo

音声とのパターンマッチング

深層学習型(ディープニューラルネット)約4000万パターンの音声を表現可能

従来型(混合分布)約10万パターンの音声を表現可能

音声 音素

音声の特徴をディープニューラルネットで精緻に表現することにより音声認識の精度を大幅に改善(多段構造により膨大な組合せを考慮)

公共エリアの騒がしい環境で収録された音声を認識する国際技術評価CHiME-3 (201512実施) でNTTは参加25機関中トップの精度を達成

0 5 10 15 20 25 30 35

各参加団体の単語認識誤り率()

<国際技術評価CHiME-3の結果>

標準的なディープニューラル音声認識 334

NTT 58

Agent-AI

本技術を採用した音声認識エンジン開発を実施中

Copyrightcopy2017 NTT corp All Rights Reserved 21

高騒音下での音声集音インテリジェントマイク技術

複数のマイクを組み合わせ100dB(デシベル)を越える高い騒音環境下(ガード下のような環境)でも特定方向の話者の声をとらえて明瞭な音声通話や高精度な音声認識を実現

様々な音が混合

周波数

振幅

インテリジェントマイク処理

マイク1マイク2

雑音抑圧された信号

周波数

振幅

音声通話音声認識に活用騒音

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 22

高機能なロボットやIoTデバイスを「作る」のではなくそれらを複数組み合わせて「使う」ための技術

ロボットをはじめとする複数のデバイスを組み合わせたデバイス連携サービス作りを非エンジニア層にも可能にすることを目的に開発

【特徴1】メーカーや業種問わず多様なデバイスを連携制御可能

【特徴2】ブラウザ上のGUIツールにより簡単にデバイス連携サービスを開発可能

ロボット連携技術 「R-env連舞reg 」Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 23

R-env連舞を使ったカスタマイズ例

現在のデモの流れ

Copyrightcopy2017 NTT corp All Rights Reserved 24

開始場面のカスタマイズ

新しい状態が追加される

新しい状態の追加

Copyrightcopy2017 NTT corp All Rights Reserved 25

動作対象を選択し実行したい動作を選択(SOTAにモーションを追加)

動かしたいデバイスを選択

(SOTA)

実行したい動作を選択(手を振る)

Copyrightcopy2017 NTT corp All Rights Reserved 26

動作対象を選択し実行したい動作を選択(SOTAに発話させたい文章を追加)

動かしたいデバイスを選択

(SOTA)

実行したい動作を選択

(発話を選び「相談会実施中」

と入力)

Copyrightcopy2017 NTT corp All Rights Reserved 27

状態の遷移先を切り替える

状態遷移先を切り替える

Copyrightcopy2017 NTT corp All Rights Reserved 28

ユーザーの質問は多様であり同じ意味の多様な表現を理解する必要がある(ex ldquo国際電話をかけたいrdquo = ldquo外国に電話する方法を教えてrdquo)

ユーザーの質問とFAQコンテンツの質問が同一の意味であるかを判定 NTT研究所技術は大規模な日本語意味辞書を用いて日本語特有の多様

な表現を理解可能

発話意図理解技術(FAQ検索技術)

同一性の判定

QAコンテンツ

概念に基づく判定モデル

【質問】ldquo国際電話をかけたいrdquo 外国に電話する方法

を教えてくださいrdquoldquoまず設定画面で~rdquo

【質問】 【回答】

2具体

3主体

4人 362組織

389場所

1000抽象

372団体党派

373団体

大規模意味辞書1名詞テキストコーパス

機械学習

CGM文書コールセンタ応対ログ

~多様な言い回しの獲得~ ~同一の意味を理解~

日本語解析

Agent-AI

他社との性能比較でも優位性を確認

Copyrightcopy2017 NTT corp All Rights Reserved 29

雑談対話技術

ユーザと多様な話題で雑談するための技術ユーザの発話を解析し話題と意図を抽出

インターネット上のコンテンツを言語処理技術によって整理し対話知識とすることで多様な話題に対しても妥当な発話を生成

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 30

copy2015 Vstone

複数ロボットを用いた雑談対話技術

複数の音声対話ロボットを協調させ音声認識や発話生成の誤りに気づかせずに対話を継続できる技術従来と同じ性能のシステムであっても人の認知特性を利用することで印象を大きく改善

明日は寒くなるみたいだからコート着なきゃ

ふむふむ

今年のコートの流行はチェスターコートだよ

話題連続性に対する要求の低減

ロボットA

蘭がスキー(ラーメンが好きを誤認識)

ふむふむ(誤認識を検知)

僕は焼き肉が好きだよ(ロボット同士の対話に移行)

食べ物だったら何が好き

音声認識誤り検出時の破綻回避

ロボットAが一旦発話を受け止めdarr

話者をロボットBに切り替えdarr

話題が逸脱した場合の違和感を軽減

音声認識結果が対話の流れから逸脱darr

音声認識の誤りと判断darr

ロボット同士の対話に移行し対話破綻を回避

ロボットA

ロボットB

大阪大学 石黒研との共同研究成果

ロボットB

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 31

アングルフリー物体検索技術

異なるアングルから撮影しても精度よく物体を認識し関連情報を提示可能 事前に準備する参照画像数を従来の110程度まで大幅に削減準備コス

トの削減可能

参照画像DB

NW

撮影画像

被写体付加情報

撮影した画像に写った物体を認識

認識検出結果

従来の約110の登録画像枚数

スマホ等で物体を撮影

撮影アングルが異なっても他の物体が写りこんでいても同じ物体として認識

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 32

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 33

Heart-Touching-AI (無意識人のこころに触れる)

本人にも意識されない人の心と身体を読み解き深層心理知性本能を理解するAI

心的状態神経活動筋活動を読み解き働きかけ

教育

スポーツ

エンターテインメント 健康美容

子育て保育

医療カウンセリングコミュニケーション科学

人間科学の成果を発揮する領域

Copyrightcopy2017 NTT corp All Rights Reserved 34

目の動きからユーザの「ココロ」を推定

眼球運動瞳孔の大きさに基づくマインドリーティング コンピュータでしか認識できない人間の潜在的な心の動きを読み取る

「人間を超える」感情認識能力をもったAI

Heart-Touching-AI

好みの推定

対象者の各種状態を推定

特徴抽出

モデル生成

分類器(モデル)

ラベル(評価値)

データ計測

瞳孔反応

マイクロサッカード

Time [s]

Posi

tion [

deg]

Time [s]

Pupil

size

change

[z-

score

]

0 1 2 3

0

2

-3 NTT独自のアルゴリズムを適用

or

顔画像音楽など

推定(分類)

注意状態の推定 眠気の推定

Copyrightcopy2017 NTT corp All Rights Reserved 35

体感型釣りゲーム

ドライブ体験

ドライブ映像のカーブに合わせてハンドルが引っ張られる感覚を体感

釣りで魚が食いついたことで糸が引っ張られる感覚を体感

手をみちびく感覚を振動デバイスで実現

振動で人を導く「ぶるなび」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 36

止まっている対象に動きの印象を与えるプロジェクションマッピング

質感編集技術

原画像

変換後

変幻灯技術(画像検索との融合)

画像と動きシナリオ(動き方タイミング等)のデータベース

撮影画像列

差分画像列

アニメ画像列生成

画像検索

姿勢推定

検索結果の動きシナリオ

対象物

プロジェクション

アニメ画像列

乾いた風景

濡れたように

差分計算

壁紙が表情を変える「変幻灯」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 37

アジェンダ

1NTTグループのロボティクスへの取り組み

~ 色々なモノが繋がる世界の実現 ~

2ロボットに必要な機能

~ NTTのAI技術 corevoreg(コレボ)~

3ロボット進化の方向性

~ 人とロボットの共生社会 ~

Copyrightcopy2017 NTT corp All Rights Reserved 38

一人に一台のパーソナルエージェント

スマホ等

Webサービス

Bluetooth Bluetooth携帯電話網

スマホ等

音声通話

音声+視線+動作

音声+視線+動作

Copyrightcopy2017 NTT corp All Rights Reserved 39

パーソナルモビリティ自律走行技術の進展

WHILLNTTドコモ全国初「免許不要」のパーソナルモビリティシェアリングサービスの実証実験を横浜で実施(2015年)

横浜赤レンガ倉庫2号館赤レンガパーク

日本丸メモリアルパーク

出典WHILLプレスリリースhttpswhilljpnews5618

Copyrightcopy2017 NTT corp All Rights Reserved 40

人と移動ロボットの共生社会

さまざまな移動ロボットが人の生活空間を移動する世界では移動ロボットが自律的に安全に移動することに加えて周囲の人や移動ロボットを操作する人が協力して環境へ適応し安全な動作を生成していくということが必要

移動ロボットを使う人も周囲の人も誰もが安心してロボットと共生できるサービスの実現

さまざまなタイプの移動ロボットが普及し人の日常空間に共存する将来

移動ロボットを操作する初心者高齢者が増加しそれに伴う事故も増加 自律移動ロボットも完全に安全にすることはできず人や他の移動ロボッ

トとの衝突が発生

Copyrightcopy2017 NTT corp All Rights Reserved 41

ldquoR-env連舞rdquoInnovation

Hub

多様なロボット活用サービスの普及に向けて

ハードウェアメーカーと連携した

「デバイスハンズオン」rarr個別デバイスの利用者拡大

アプリ開発者サービス事業者と連携した

「ハッカソン」rarrデバイス連携サービスプロトタイプの蓄積

パートナと連携した

「フィールドトライアル」

rarrデバイス連携サービスの有効性検証

パートナNTTグループ連携による

「ビジネス創出」

rarrデバイス連携サービスのビジネス化

Copyrightcopy2017 NTT corp All Rights Reserved 42

最優秀賞チーム雅「箱入り娘と箱贈り親父」父親と娘のコミュニケーションを育むためにロボットが父親の代わりに離れて暮らす娘へ

メッセージを届けてくれるサービス

優秀賞Team avata「R-env2 テレヘルスサービス」遠隔医療にコミュニケーションロボットを活用「お尻が痛い」などデリケートな症状でも医

師に相談することの恥ずかしさの軽減を図るサービス

R-env連舞 ハッカソン

日時場所2016年6月18日~19日FabCafe TokyoMTRL渋谷 テーマ「ロボットldquoならではrdquoのサービスを作ろう」

Copyrightcopy2017 NTT corp All Rights Reserved 43

R-env連舞のホームページ

httpswwwr-envjp

Copyrightcopy2017 NTT corp All Rights Reserved 44

国際ロボット競技会(World Robot Summit)

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

Copyrightcopy2017 NTT corp All Rights Reserved 45

WRSのスケジュール

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

ldquo人の可能性を広げるldquo

諦めなければならなかった事をひとつでも多く実現するインタラクションサービス

様々なパートナと連携して実現していきます

Page 3: NTTにおけるロボティクス技術の展開と展望 · 深層学習型 (ディープニューラルネット) 約4000万パターンの音声を 表現可能 従来型(混合分布)

Copyrightcopy2017 NTT corp All Rights Reserved 3

ロボット新戦略 ―ビジョン戦略アクションプラン―

出典ロボット革命実現会議発行の「ロボット新戦略」を元にNTTにて作成httpwwwmetigojppress2014012015012300420150123004bpdf

ロボット活用を推進すべき分野(重点分野)

介護医療分野インフラ災害対応建設農林水産業食品産業

ロボット革命実現会議が2015 年1月23 日に発表

① センサーAI などの技術進歩によりモノがロボット化しロボットの一つに② 製造現場から日常生活の様々な場面でロボットが活用③ 社会課題の解決やものづくりサービスの国際競争力の強化

ベッドからの移し替え支援歩行支援排泄支援認知症 の方の見守り入浴支援の5分野でのロボット活用

手術支援ロボット等の医療機器普及

労働集約的製造業を中心にロボット導入

IT等の活用によりロボットそのものを高度化

流通飲食宿泊業等の裏方作業へのロボッ ト導入

次世代要素技術の開発等により接客の自動化

ものづくりサービス

建設現場の省力化作業の自動化

インフラの目視点検等にロボットを活用

災害調査ロボットの利用

農業機械の自動走行アシストスーツ等による重労

働を機械化自動化

Copyrightcopy2017 NTT corp All Rights Reserved 4

ロボットと様々なデバイスの連携

ロボット等人を取り巻く各種デバイスが相互に連携人の状態を的確に把握し音声による対話等で個人に合わせたサポート様々なアプリやデバイスを柔軟に組み合わせ人の可能性を広げる

スマートモビリティ

情報端末

クラウド

R-env連舞regIoT-PF

対話アプリ 介護アプリ 音楽アプリ

AIエンジン 画像エンジン 音声エンジン

データ

各種センサロボット

Copyrightcopy2017 NTT corp All Rights Reserved 5出典NTT技術ジャーナルVol 20 No 1 pp 22-27 2008

ユビキタスネットワークロボットプラットフォーム(2004年~)

Copyrightcopy2017 NTT corp All Rights Reserved 6

転倒転落防止ベッド(2006年~)

出典NTT技術ジャーナルVol 20 No 1 pp 32-35 2008

Copyrightcopy2017 NTT corp All Rights Reserved 7

独居高齢者の健康管理への適用(2015年~)

日々の「生体情報の計測」や「服薬」を促す

測定結果を記録し介護施設や医療施設と共有し早期の問題把握に繋げる

記録された結果に従い高齢者へ運動や食事のへのモチベーションを喚起

アドバイスを実施健康維持

NTT風の谷プロジェクト (デイケアセンタ)三浦市立病院との共同研究

Copyrightcopy2017 NTT corp All Rights Reserved 8

NTT横須賀RampDセンタでの受付(2016年~)

①近づいて来たことを判定し挨拶②受付票を書くように案内③訪問相手へ電話をかける

①ロボットによる動画の解説②館内情報について質問応答③雑談を実施

ロボットセンサタブレットプロジェクションマッピング電話等を連携動作させることでロビーでのホスピタリティの向上と受付業務の効率化

Copyrightcopy2017 NTT corp All Rights Reserved 9

ロボット大機利 (ニコニコ超会議2017)

ロボットセンサ大画面プロジェクションマッピングスイッチ等を連携動作させることで会場と一体となったロボットによる大喜利を実施

Copyrightcopy2017 NTT corp All Rights Reserved 10

NTTグループ連携したサービストライアル

出典日本電信電話報道発表httpwwwnttcojpnews20161607160725ahtml

Copyrightcopy2017 NTT corp All Rights Reserved 11

bull 店舗観光案内システムの実証実験を新宿駅周辺6ヶ所にて実施bull クラウドを活用することで遠隔からの監視メンテナンスbull 利用者は音声認識とタブレットの両方で操作可能

NTT東日本とパートナ企業による実験

新宿中村屋 B2階

タカノ フルーツパーラー B2階

Copyrightcopy2017 NTT corp All Rights Reserved 12

NTT西日本とパートナ企業による実験

bull 近鉄京都駅改札内にて実施

bull 多言語(日本語英語中国語)観光案内を実施bull ロボットの声がけによる人の誘引や非言語動作(頷き等)による自然な対話を検証

Copyrightcopy2017 NTT corp All Rights Reserved 13

アジェンダ

1NTTグループのロボティクスへの取り組み

~ 色々なモノが繋がる世界の実現 ~

2ロボットに必要な機能

~ NTTのAI技術 corevoreg(コレボ)~

3ロボット進化の方向性

~ 人とロボットの共生社会 ~

Copyrightcopy2017 NTT corp All Rights Reserved 14

NTTグループのAI技術「corevo」

<ロゴイメージ>

corevo co-revolution

AIを活用しさまざまなプレイヤーの皆様とのコラボレーションによって無限の可能性を秘めた多くの価値が生み出される様子をロゴで表現

2016年5月30日報道発表

NTTグループのAI技術「corevo reg (コレボ)」によるコラボレーションを展開

~さまざまなプレイヤーの皆様とのコラボレーションを通じて一緒に革新(レボリューション)を起こす~

Copyrightcopy2017 NTT corp All Rights Reserved 15

corevo regのホームページ

ホームページhttpwwwnttcojpcorevo

Copyrightcopy2017 NTT corp All Rights Reserved 16

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 17

corevo regの構成技術モジュール群

Copyrightcopy2017 NTT corp All Rights Reserved 18

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 19

定型業務の代替支援 日常生活の拡張(移動コミュニケーション支援)

知的活動の支援

整理された知識(知識ベースルール)

解読

デザイン

知識の探索

インタラクション技術

実世界構造化技術映像音声センサ情報など

スマホロボットなどユーザインタフェース

人間理解技術

モビリティ型パーソナルエージェント

テレプレゼンスロボット

コンタクトセンタ窓口業務代替

介護業務代替支援

アイディア創出支援

ヘルスケア

人の発する情報を読み解き意図感情を理解し膨大な知識に基づいて推論し人らしく表現するAI

意図理解対話ロボティクス

暗黙知

基礎技術

翻訳

Agent-AI (人らしさの追求人と共存)

Copyrightcopy2017 NTT corp All Rights Reserved 20

深層学習に基づく音声認識技術

a

ui

eo

音声とのパターンマッチング

深層学習型(ディープニューラルネット)約4000万パターンの音声を表現可能

従来型(混合分布)約10万パターンの音声を表現可能

音声 音素

音声の特徴をディープニューラルネットで精緻に表現することにより音声認識の精度を大幅に改善(多段構造により膨大な組合せを考慮)

公共エリアの騒がしい環境で収録された音声を認識する国際技術評価CHiME-3 (201512実施) でNTTは参加25機関中トップの精度を達成

0 5 10 15 20 25 30 35

各参加団体の単語認識誤り率()

<国際技術評価CHiME-3の結果>

標準的なディープニューラル音声認識 334

NTT 58

Agent-AI

本技術を採用した音声認識エンジン開発を実施中

Copyrightcopy2017 NTT corp All Rights Reserved 21

高騒音下での音声集音インテリジェントマイク技術

複数のマイクを組み合わせ100dB(デシベル)を越える高い騒音環境下(ガード下のような環境)でも特定方向の話者の声をとらえて明瞭な音声通話や高精度な音声認識を実現

様々な音が混合

周波数

振幅

インテリジェントマイク処理

マイク1マイク2

雑音抑圧された信号

周波数

振幅

音声通話音声認識に活用騒音

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 22

高機能なロボットやIoTデバイスを「作る」のではなくそれらを複数組み合わせて「使う」ための技術

ロボットをはじめとする複数のデバイスを組み合わせたデバイス連携サービス作りを非エンジニア層にも可能にすることを目的に開発

【特徴1】メーカーや業種問わず多様なデバイスを連携制御可能

【特徴2】ブラウザ上のGUIツールにより簡単にデバイス連携サービスを開発可能

ロボット連携技術 「R-env連舞reg 」Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 23

R-env連舞を使ったカスタマイズ例

現在のデモの流れ

Copyrightcopy2017 NTT corp All Rights Reserved 24

開始場面のカスタマイズ

新しい状態が追加される

新しい状態の追加

Copyrightcopy2017 NTT corp All Rights Reserved 25

動作対象を選択し実行したい動作を選択(SOTAにモーションを追加)

動かしたいデバイスを選択

(SOTA)

実行したい動作を選択(手を振る)

Copyrightcopy2017 NTT corp All Rights Reserved 26

動作対象を選択し実行したい動作を選択(SOTAに発話させたい文章を追加)

動かしたいデバイスを選択

(SOTA)

実行したい動作を選択

(発話を選び「相談会実施中」

と入力)

Copyrightcopy2017 NTT corp All Rights Reserved 27

状態の遷移先を切り替える

状態遷移先を切り替える

Copyrightcopy2017 NTT corp All Rights Reserved 28

ユーザーの質問は多様であり同じ意味の多様な表現を理解する必要がある(ex ldquo国際電話をかけたいrdquo = ldquo外国に電話する方法を教えてrdquo)

ユーザーの質問とFAQコンテンツの質問が同一の意味であるかを判定 NTT研究所技術は大規模な日本語意味辞書を用いて日本語特有の多様

な表現を理解可能

発話意図理解技術(FAQ検索技術)

同一性の判定

QAコンテンツ

概念に基づく判定モデル

【質問】ldquo国際電話をかけたいrdquo 外国に電話する方法

を教えてくださいrdquoldquoまず設定画面で~rdquo

【質問】 【回答】

2具体

3主体

4人 362組織

389場所

1000抽象

372団体党派

373団体

大規模意味辞書1名詞テキストコーパス

機械学習

CGM文書コールセンタ応対ログ

~多様な言い回しの獲得~ ~同一の意味を理解~

日本語解析

Agent-AI

他社との性能比較でも優位性を確認

Copyrightcopy2017 NTT corp All Rights Reserved 29

雑談対話技術

ユーザと多様な話題で雑談するための技術ユーザの発話を解析し話題と意図を抽出

インターネット上のコンテンツを言語処理技術によって整理し対話知識とすることで多様な話題に対しても妥当な発話を生成

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 30

copy2015 Vstone

複数ロボットを用いた雑談対話技術

複数の音声対話ロボットを協調させ音声認識や発話生成の誤りに気づかせずに対話を継続できる技術従来と同じ性能のシステムであっても人の認知特性を利用することで印象を大きく改善

明日は寒くなるみたいだからコート着なきゃ

ふむふむ

今年のコートの流行はチェスターコートだよ

話題連続性に対する要求の低減

ロボットA

蘭がスキー(ラーメンが好きを誤認識)

ふむふむ(誤認識を検知)

僕は焼き肉が好きだよ(ロボット同士の対話に移行)

食べ物だったら何が好き

音声認識誤り検出時の破綻回避

ロボットAが一旦発話を受け止めdarr

話者をロボットBに切り替えdarr

話題が逸脱した場合の違和感を軽減

音声認識結果が対話の流れから逸脱darr

音声認識の誤りと判断darr

ロボット同士の対話に移行し対話破綻を回避

ロボットA

ロボットB

大阪大学 石黒研との共同研究成果

ロボットB

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 31

アングルフリー物体検索技術

異なるアングルから撮影しても精度よく物体を認識し関連情報を提示可能 事前に準備する参照画像数を従来の110程度まで大幅に削減準備コス

トの削減可能

参照画像DB

NW

撮影画像

被写体付加情報

撮影した画像に写った物体を認識

認識検出結果

従来の約110の登録画像枚数

スマホ等で物体を撮影

撮影アングルが異なっても他の物体が写りこんでいても同じ物体として認識

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 32

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 33

Heart-Touching-AI (無意識人のこころに触れる)

本人にも意識されない人の心と身体を読み解き深層心理知性本能を理解するAI

心的状態神経活動筋活動を読み解き働きかけ

教育

スポーツ

エンターテインメント 健康美容

子育て保育

医療カウンセリングコミュニケーション科学

人間科学の成果を発揮する領域

Copyrightcopy2017 NTT corp All Rights Reserved 34

目の動きからユーザの「ココロ」を推定

眼球運動瞳孔の大きさに基づくマインドリーティング コンピュータでしか認識できない人間の潜在的な心の動きを読み取る

「人間を超える」感情認識能力をもったAI

Heart-Touching-AI

好みの推定

対象者の各種状態を推定

特徴抽出

モデル生成

分類器(モデル)

ラベル(評価値)

データ計測

瞳孔反応

マイクロサッカード

Time [s]

Posi

tion [

deg]

Time [s]

Pupil

size

change

[z-

score

]

0 1 2 3

0

2

-3 NTT独自のアルゴリズムを適用

or

顔画像音楽など

推定(分類)

注意状態の推定 眠気の推定

Copyrightcopy2017 NTT corp All Rights Reserved 35

体感型釣りゲーム

ドライブ体験

ドライブ映像のカーブに合わせてハンドルが引っ張られる感覚を体感

釣りで魚が食いついたことで糸が引っ張られる感覚を体感

手をみちびく感覚を振動デバイスで実現

振動で人を導く「ぶるなび」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 36

止まっている対象に動きの印象を与えるプロジェクションマッピング

質感編集技術

原画像

変換後

変幻灯技術(画像検索との融合)

画像と動きシナリオ(動き方タイミング等)のデータベース

撮影画像列

差分画像列

アニメ画像列生成

画像検索

姿勢推定

検索結果の動きシナリオ

対象物

プロジェクション

アニメ画像列

乾いた風景

濡れたように

差分計算

壁紙が表情を変える「変幻灯」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 37

アジェンダ

1NTTグループのロボティクスへの取り組み

~ 色々なモノが繋がる世界の実現 ~

2ロボットに必要な機能

~ NTTのAI技術 corevoreg(コレボ)~

3ロボット進化の方向性

~ 人とロボットの共生社会 ~

Copyrightcopy2017 NTT corp All Rights Reserved 38

一人に一台のパーソナルエージェント

スマホ等

Webサービス

Bluetooth Bluetooth携帯電話網

スマホ等

音声通話

音声+視線+動作

音声+視線+動作

Copyrightcopy2017 NTT corp All Rights Reserved 39

パーソナルモビリティ自律走行技術の進展

WHILLNTTドコモ全国初「免許不要」のパーソナルモビリティシェアリングサービスの実証実験を横浜で実施(2015年)

横浜赤レンガ倉庫2号館赤レンガパーク

日本丸メモリアルパーク

出典WHILLプレスリリースhttpswhilljpnews5618

Copyrightcopy2017 NTT corp All Rights Reserved 40

人と移動ロボットの共生社会

さまざまな移動ロボットが人の生活空間を移動する世界では移動ロボットが自律的に安全に移動することに加えて周囲の人や移動ロボットを操作する人が協力して環境へ適応し安全な動作を生成していくということが必要

移動ロボットを使う人も周囲の人も誰もが安心してロボットと共生できるサービスの実現

さまざまなタイプの移動ロボットが普及し人の日常空間に共存する将来

移動ロボットを操作する初心者高齢者が増加しそれに伴う事故も増加 自律移動ロボットも完全に安全にすることはできず人や他の移動ロボッ

トとの衝突が発生

Copyrightcopy2017 NTT corp All Rights Reserved 41

ldquoR-env連舞rdquoInnovation

Hub

多様なロボット活用サービスの普及に向けて

ハードウェアメーカーと連携した

「デバイスハンズオン」rarr個別デバイスの利用者拡大

アプリ開発者サービス事業者と連携した

「ハッカソン」rarrデバイス連携サービスプロトタイプの蓄積

パートナと連携した

「フィールドトライアル」

rarrデバイス連携サービスの有効性検証

パートナNTTグループ連携による

「ビジネス創出」

rarrデバイス連携サービスのビジネス化

Copyrightcopy2017 NTT corp All Rights Reserved 42

最優秀賞チーム雅「箱入り娘と箱贈り親父」父親と娘のコミュニケーションを育むためにロボットが父親の代わりに離れて暮らす娘へ

メッセージを届けてくれるサービス

優秀賞Team avata「R-env2 テレヘルスサービス」遠隔医療にコミュニケーションロボットを活用「お尻が痛い」などデリケートな症状でも医

師に相談することの恥ずかしさの軽減を図るサービス

R-env連舞 ハッカソン

日時場所2016年6月18日~19日FabCafe TokyoMTRL渋谷 テーマ「ロボットldquoならではrdquoのサービスを作ろう」

Copyrightcopy2017 NTT corp All Rights Reserved 43

R-env連舞のホームページ

httpswwwr-envjp

Copyrightcopy2017 NTT corp All Rights Reserved 44

国際ロボット競技会(World Robot Summit)

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

Copyrightcopy2017 NTT corp All Rights Reserved 45

WRSのスケジュール

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

ldquo人の可能性を広げるldquo

諦めなければならなかった事をひとつでも多く実現するインタラクションサービス

様々なパートナと連携して実現していきます

Page 4: NTTにおけるロボティクス技術の展開と展望 · 深層学習型 (ディープニューラルネット) 約4000万パターンの音声を 表現可能 従来型(混合分布)

Copyrightcopy2017 NTT corp All Rights Reserved 4

ロボットと様々なデバイスの連携

ロボット等人を取り巻く各種デバイスが相互に連携人の状態を的確に把握し音声による対話等で個人に合わせたサポート様々なアプリやデバイスを柔軟に組み合わせ人の可能性を広げる

スマートモビリティ

情報端末

クラウド

R-env連舞regIoT-PF

対話アプリ 介護アプリ 音楽アプリ

AIエンジン 画像エンジン 音声エンジン

データ

各種センサロボット

Copyrightcopy2017 NTT corp All Rights Reserved 5出典NTT技術ジャーナルVol 20 No 1 pp 22-27 2008

ユビキタスネットワークロボットプラットフォーム(2004年~)

Copyrightcopy2017 NTT corp All Rights Reserved 6

転倒転落防止ベッド(2006年~)

出典NTT技術ジャーナルVol 20 No 1 pp 32-35 2008

Copyrightcopy2017 NTT corp All Rights Reserved 7

独居高齢者の健康管理への適用(2015年~)

日々の「生体情報の計測」や「服薬」を促す

測定結果を記録し介護施設や医療施設と共有し早期の問題把握に繋げる

記録された結果に従い高齢者へ運動や食事のへのモチベーションを喚起

アドバイスを実施健康維持

NTT風の谷プロジェクト (デイケアセンタ)三浦市立病院との共同研究

Copyrightcopy2017 NTT corp All Rights Reserved 8

NTT横須賀RampDセンタでの受付(2016年~)

①近づいて来たことを判定し挨拶②受付票を書くように案内③訪問相手へ電話をかける

①ロボットによる動画の解説②館内情報について質問応答③雑談を実施

ロボットセンサタブレットプロジェクションマッピング電話等を連携動作させることでロビーでのホスピタリティの向上と受付業務の効率化

Copyrightcopy2017 NTT corp All Rights Reserved 9

ロボット大機利 (ニコニコ超会議2017)

ロボットセンサ大画面プロジェクションマッピングスイッチ等を連携動作させることで会場と一体となったロボットによる大喜利を実施

Copyrightcopy2017 NTT corp All Rights Reserved 10

NTTグループ連携したサービストライアル

出典日本電信電話報道発表httpwwwnttcojpnews20161607160725ahtml

Copyrightcopy2017 NTT corp All Rights Reserved 11

bull 店舗観光案内システムの実証実験を新宿駅周辺6ヶ所にて実施bull クラウドを活用することで遠隔からの監視メンテナンスbull 利用者は音声認識とタブレットの両方で操作可能

NTT東日本とパートナ企業による実験

新宿中村屋 B2階

タカノ フルーツパーラー B2階

Copyrightcopy2017 NTT corp All Rights Reserved 12

NTT西日本とパートナ企業による実験

bull 近鉄京都駅改札内にて実施

bull 多言語(日本語英語中国語)観光案内を実施bull ロボットの声がけによる人の誘引や非言語動作(頷き等)による自然な対話を検証

Copyrightcopy2017 NTT corp All Rights Reserved 13

アジェンダ

1NTTグループのロボティクスへの取り組み

~ 色々なモノが繋がる世界の実現 ~

2ロボットに必要な機能

~ NTTのAI技術 corevoreg(コレボ)~

3ロボット進化の方向性

~ 人とロボットの共生社会 ~

Copyrightcopy2017 NTT corp All Rights Reserved 14

NTTグループのAI技術「corevo」

<ロゴイメージ>

corevo co-revolution

AIを活用しさまざまなプレイヤーの皆様とのコラボレーションによって無限の可能性を秘めた多くの価値が生み出される様子をロゴで表現

2016年5月30日報道発表

NTTグループのAI技術「corevo reg (コレボ)」によるコラボレーションを展開

~さまざまなプレイヤーの皆様とのコラボレーションを通じて一緒に革新(レボリューション)を起こす~

Copyrightcopy2017 NTT corp All Rights Reserved 15

corevo regのホームページ

ホームページhttpwwwnttcojpcorevo

Copyrightcopy2017 NTT corp All Rights Reserved 16

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 17

corevo regの構成技術モジュール群

Copyrightcopy2017 NTT corp All Rights Reserved 18

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 19

定型業務の代替支援 日常生活の拡張(移動コミュニケーション支援)

知的活動の支援

整理された知識(知識ベースルール)

解読

デザイン

知識の探索

インタラクション技術

実世界構造化技術映像音声センサ情報など

スマホロボットなどユーザインタフェース

人間理解技術

モビリティ型パーソナルエージェント

テレプレゼンスロボット

コンタクトセンタ窓口業務代替

介護業務代替支援

アイディア創出支援

ヘルスケア

人の発する情報を読み解き意図感情を理解し膨大な知識に基づいて推論し人らしく表現するAI

意図理解対話ロボティクス

暗黙知

基礎技術

翻訳

Agent-AI (人らしさの追求人と共存)

Copyrightcopy2017 NTT corp All Rights Reserved 20

深層学習に基づく音声認識技術

a

ui

eo

音声とのパターンマッチング

深層学習型(ディープニューラルネット)約4000万パターンの音声を表現可能

従来型(混合分布)約10万パターンの音声を表現可能

音声 音素

音声の特徴をディープニューラルネットで精緻に表現することにより音声認識の精度を大幅に改善(多段構造により膨大な組合せを考慮)

公共エリアの騒がしい環境で収録された音声を認識する国際技術評価CHiME-3 (201512実施) でNTTは参加25機関中トップの精度を達成

0 5 10 15 20 25 30 35

各参加団体の単語認識誤り率()

<国際技術評価CHiME-3の結果>

標準的なディープニューラル音声認識 334

NTT 58

Agent-AI

本技術を採用した音声認識エンジン開発を実施中

Copyrightcopy2017 NTT corp All Rights Reserved 21

高騒音下での音声集音インテリジェントマイク技術

複数のマイクを組み合わせ100dB(デシベル)を越える高い騒音環境下(ガード下のような環境)でも特定方向の話者の声をとらえて明瞭な音声通話や高精度な音声認識を実現

様々な音が混合

周波数

振幅

インテリジェントマイク処理

マイク1マイク2

雑音抑圧された信号

周波数

振幅

音声通話音声認識に活用騒音

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 22

高機能なロボットやIoTデバイスを「作る」のではなくそれらを複数組み合わせて「使う」ための技術

ロボットをはじめとする複数のデバイスを組み合わせたデバイス連携サービス作りを非エンジニア層にも可能にすることを目的に開発

【特徴1】メーカーや業種問わず多様なデバイスを連携制御可能

【特徴2】ブラウザ上のGUIツールにより簡単にデバイス連携サービスを開発可能

ロボット連携技術 「R-env連舞reg 」Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 23

R-env連舞を使ったカスタマイズ例

現在のデモの流れ

Copyrightcopy2017 NTT corp All Rights Reserved 24

開始場面のカスタマイズ

新しい状態が追加される

新しい状態の追加

Copyrightcopy2017 NTT corp All Rights Reserved 25

動作対象を選択し実行したい動作を選択(SOTAにモーションを追加)

動かしたいデバイスを選択

(SOTA)

実行したい動作を選択(手を振る)

Copyrightcopy2017 NTT corp All Rights Reserved 26

動作対象を選択し実行したい動作を選択(SOTAに発話させたい文章を追加)

動かしたいデバイスを選択

(SOTA)

実行したい動作を選択

(発話を選び「相談会実施中」

と入力)

Copyrightcopy2017 NTT corp All Rights Reserved 27

状態の遷移先を切り替える

状態遷移先を切り替える

Copyrightcopy2017 NTT corp All Rights Reserved 28

ユーザーの質問は多様であり同じ意味の多様な表現を理解する必要がある(ex ldquo国際電話をかけたいrdquo = ldquo外国に電話する方法を教えてrdquo)

ユーザーの質問とFAQコンテンツの質問が同一の意味であるかを判定 NTT研究所技術は大規模な日本語意味辞書を用いて日本語特有の多様

な表現を理解可能

発話意図理解技術(FAQ検索技術)

同一性の判定

QAコンテンツ

概念に基づく判定モデル

【質問】ldquo国際電話をかけたいrdquo 外国に電話する方法

を教えてくださいrdquoldquoまず設定画面で~rdquo

【質問】 【回答】

2具体

3主体

4人 362組織

389場所

1000抽象

372団体党派

373団体

大規模意味辞書1名詞テキストコーパス

機械学習

CGM文書コールセンタ応対ログ

~多様な言い回しの獲得~ ~同一の意味を理解~

日本語解析

Agent-AI

他社との性能比較でも優位性を確認

Copyrightcopy2017 NTT corp All Rights Reserved 29

雑談対話技術

ユーザと多様な話題で雑談するための技術ユーザの発話を解析し話題と意図を抽出

インターネット上のコンテンツを言語処理技術によって整理し対話知識とすることで多様な話題に対しても妥当な発話を生成

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 30

copy2015 Vstone

複数ロボットを用いた雑談対話技術

複数の音声対話ロボットを協調させ音声認識や発話生成の誤りに気づかせずに対話を継続できる技術従来と同じ性能のシステムであっても人の認知特性を利用することで印象を大きく改善

明日は寒くなるみたいだからコート着なきゃ

ふむふむ

今年のコートの流行はチェスターコートだよ

話題連続性に対する要求の低減

ロボットA

蘭がスキー(ラーメンが好きを誤認識)

ふむふむ(誤認識を検知)

僕は焼き肉が好きだよ(ロボット同士の対話に移行)

食べ物だったら何が好き

音声認識誤り検出時の破綻回避

ロボットAが一旦発話を受け止めdarr

話者をロボットBに切り替えdarr

話題が逸脱した場合の違和感を軽減

音声認識結果が対話の流れから逸脱darr

音声認識の誤りと判断darr

ロボット同士の対話に移行し対話破綻を回避

ロボットA

ロボットB

大阪大学 石黒研との共同研究成果

ロボットB

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 31

アングルフリー物体検索技術

異なるアングルから撮影しても精度よく物体を認識し関連情報を提示可能 事前に準備する参照画像数を従来の110程度まで大幅に削減準備コス

トの削減可能

参照画像DB

NW

撮影画像

被写体付加情報

撮影した画像に写った物体を認識

認識検出結果

従来の約110の登録画像枚数

スマホ等で物体を撮影

撮影アングルが異なっても他の物体が写りこんでいても同じ物体として認識

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 32

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 33

Heart-Touching-AI (無意識人のこころに触れる)

本人にも意識されない人の心と身体を読み解き深層心理知性本能を理解するAI

心的状態神経活動筋活動を読み解き働きかけ

教育

スポーツ

エンターテインメント 健康美容

子育て保育

医療カウンセリングコミュニケーション科学

人間科学の成果を発揮する領域

Copyrightcopy2017 NTT corp All Rights Reserved 34

目の動きからユーザの「ココロ」を推定

眼球運動瞳孔の大きさに基づくマインドリーティング コンピュータでしか認識できない人間の潜在的な心の動きを読み取る

「人間を超える」感情認識能力をもったAI

Heart-Touching-AI

好みの推定

対象者の各種状態を推定

特徴抽出

モデル生成

分類器(モデル)

ラベル(評価値)

データ計測

瞳孔反応

マイクロサッカード

Time [s]

Posi

tion [

deg]

Time [s]

Pupil

size

change

[z-

score

]

0 1 2 3

0

2

-3 NTT独自のアルゴリズムを適用

or

顔画像音楽など

推定(分類)

注意状態の推定 眠気の推定

Copyrightcopy2017 NTT corp All Rights Reserved 35

体感型釣りゲーム

ドライブ体験

ドライブ映像のカーブに合わせてハンドルが引っ張られる感覚を体感

釣りで魚が食いついたことで糸が引っ張られる感覚を体感

手をみちびく感覚を振動デバイスで実現

振動で人を導く「ぶるなび」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 36

止まっている対象に動きの印象を与えるプロジェクションマッピング

質感編集技術

原画像

変換後

変幻灯技術(画像検索との融合)

画像と動きシナリオ(動き方タイミング等)のデータベース

撮影画像列

差分画像列

アニメ画像列生成

画像検索

姿勢推定

検索結果の動きシナリオ

対象物

プロジェクション

アニメ画像列

乾いた風景

濡れたように

差分計算

壁紙が表情を変える「変幻灯」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 37

アジェンダ

1NTTグループのロボティクスへの取り組み

~ 色々なモノが繋がる世界の実現 ~

2ロボットに必要な機能

~ NTTのAI技術 corevoreg(コレボ)~

3ロボット進化の方向性

~ 人とロボットの共生社会 ~

Copyrightcopy2017 NTT corp All Rights Reserved 38

一人に一台のパーソナルエージェント

スマホ等

Webサービス

Bluetooth Bluetooth携帯電話網

スマホ等

音声通話

音声+視線+動作

音声+視線+動作

Copyrightcopy2017 NTT corp All Rights Reserved 39

パーソナルモビリティ自律走行技術の進展

WHILLNTTドコモ全国初「免許不要」のパーソナルモビリティシェアリングサービスの実証実験を横浜で実施(2015年)

横浜赤レンガ倉庫2号館赤レンガパーク

日本丸メモリアルパーク

出典WHILLプレスリリースhttpswhilljpnews5618

Copyrightcopy2017 NTT corp All Rights Reserved 40

人と移動ロボットの共生社会

さまざまな移動ロボットが人の生活空間を移動する世界では移動ロボットが自律的に安全に移動することに加えて周囲の人や移動ロボットを操作する人が協力して環境へ適応し安全な動作を生成していくということが必要

移動ロボットを使う人も周囲の人も誰もが安心してロボットと共生できるサービスの実現

さまざまなタイプの移動ロボットが普及し人の日常空間に共存する将来

移動ロボットを操作する初心者高齢者が増加しそれに伴う事故も増加 自律移動ロボットも完全に安全にすることはできず人や他の移動ロボッ

トとの衝突が発生

Copyrightcopy2017 NTT corp All Rights Reserved 41

ldquoR-env連舞rdquoInnovation

Hub

多様なロボット活用サービスの普及に向けて

ハードウェアメーカーと連携した

「デバイスハンズオン」rarr個別デバイスの利用者拡大

アプリ開発者サービス事業者と連携した

「ハッカソン」rarrデバイス連携サービスプロトタイプの蓄積

パートナと連携した

「フィールドトライアル」

rarrデバイス連携サービスの有効性検証

パートナNTTグループ連携による

「ビジネス創出」

rarrデバイス連携サービスのビジネス化

Copyrightcopy2017 NTT corp All Rights Reserved 42

最優秀賞チーム雅「箱入り娘と箱贈り親父」父親と娘のコミュニケーションを育むためにロボットが父親の代わりに離れて暮らす娘へ

メッセージを届けてくれるサービス

優秀賞Team avata「R-env2 テレヘルスサービス」遠隔医療にコミュニケーションロボットを活用「お尻が痛い」などデリケートな症状でも医

師に相談することの恥ずかしさの軽減を図るサービス

R-env連舞 ハッカソン

日時場所2016年6月18日~19日FabCafe TokyoMTRL渋谷 テーマ「ロボットldquoならではrdquoのサービスを作ろう」

Copyrightcopy2017 NTT corp All Rights Reserved 43

R-env連舞のホームページ

httpswwwr-envjp

Copyrightcopy2017 NTT corp All Rights Reserved 44

国際ロボット競技会(World Robot Summit)

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

Copyrightcopy2017 NTT corp All Rights Reserved 45

WRSのスケジュール

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

ldquo人の可能性を広げるldquo

諦めなければならなかった事をひとつでも多く実現するインタラクションサービス

様々なパートナと連携して実現していきます

Page 5: NTTにおけるロボティクス技術の展開と展望 · 深層学習型 (ディープニューラルネット) 約4000万パターンの音声を 表現可能 従来型(混合分布)

Copyrightcopy2017 NTT corp All Rights Reserved 5出典NTT技術ジャーナルVol 20 No 1 pp 22-27 2008

ユビキタスネットワークロボットプラットフォーム(2004年~)

Copyrightcopy2017 NTT corp All Rights Reserved 6

転倒転落防止ベッド(2006年~)

出典NTT技術ジャーナルVol 20 No 1 pp 32-35 2008

Copyrightcopy2017 NTT corp All Rights Reserved 7

独居高齢者の健康管理への適用(2015年~)

日々の「生体情報の計測」や「服薬」を促す

測定結果を記録し介護施設や医療施設と共有し早期の問題把握に繋げる

記録された結果に従い高齢者へ運動や食事のへのモチベーションを喚起

アドバイスを実施健康維持

NTT風の谷プロジェクト (デイケアセンタ)三浦市立病院との共同研究

Copyrightcopy2017 NTT corp All Rights Reserved 8

NTT横須賀RampDセンタでの受付(2016年~)

①近づいて来たことを判定し挨拶②受付票を書くように案内③訪問相手へ電話をかける

①ロボットによる動画の解説②館内情報について質問応答③雑談を実施

ロボットセンサタブレットプロジェクションマッピング電話等を連携動作させることでロビーでのホスピタリティの向上と受付業務の効率化

Copyrightcopy2017 NTT corp All Rights Reserved 9

ロボット大機利 (ニコニコ超会議2017)

ロボットセンサ大画面プロジェクションマッピングスイッチ等を連携動作させることで会場と一体となったロボットによる大喜利を実施

Copyrightcopy2017 NTT corp All Rights Reserved 10

NTTグループ連携したサービストライアル

出典日本電信電話報道発表httpwwwnttcojpnews20161607160725ahtml

Copyrightcopy2017 NTT corp All Rights Reserved 11

bull 店舗観光案内システムの実証実験を新宿駅周辺6ヶ所にて実施bull クラウドを活用することで遠隔からの監視メンテナンスbull 利用者は音声認識とタブレットの両方で操作可能

NTT東日本とパートナ企業による実験

新宿中村屋 B2階

タカノ フルーツパーラー B2階

Copyrightcopy2017 NTT corp All Rights Reserved 12

NTT西日本とパートナ企業による実験

bull 近鉄京都駅改札内にて実施

bull 多言語(日本語英語中国語)観光案内を実施bull ロボットの声がけによる人の誘引や非言語動作(頷き等)による自然な対話を検証

Copyrightcopy2017 NTT corp All Rights Reserved 13

アジェンダ

1NTTグループのロボティクスへの取り組み

~ 色々なモノが繋がる世界の実現 ~

2ロボットに必要な機能

~ NTTのAI技術 corevoreg(コレボ)~

3ロボット進化の方向性

~ 人とロボットの共生社会 ~

Copyrightcopy2017 NTT corp All Rights Reserved 14

NTTグループのAI技術「corevo」

<ロゴイメージ>

corevo co-revolution

AIを活用しさまざまなプレイヤーの皆様とのコラボレーションによって無限の可能性を秘めた多くの価値が生み出される様子をロゴで表現

2016年5月30日報道発表

NTTグループのAI技術「corevo reg (コレボ)」によるコラボレーションを展開

~さまざまなプレイヤーの皆様とのコラボレーションを通じて一緒に革新(レボリューション)を起こす~

Copyrightcopy2017 NTT corp All Rights Reserved 15

corevo regのホームページ

ホームページhttpwwwnttcojpcorevo

Copyrightcopy2017 NTT corp All Rights Reserved 16

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 17

corevo regの構成技術モジュール群

Copyrightcopy2017 NTT corp All Rights Reserved 18

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 19

定型業務の代替支援 日常生活の拡張(移動コミュニケーション支援)

知的活動の支援

整理された知識(知識ベースルール)

解読

デザイン

知識の探索

インタラクション技術

実世界構造化技術映像音声センサ情報など

スマホロボットなどユーザインタフェース

人間理解技術

モビリティ型パーソナルエージェント

テレプレゼンスロボット

コンタクトセンタ窓口業務代替

介護業務代替支援

アイディア創出支援

ヘルスケア

人の発する情報を読み解き意図感情を理解し膨大な知識に基づいて推論し人らしく表現するAI

意図理解対話ロボティクス

暗黙知

基礎技術

翻訳

Agent-AI (人らしさの追求人と共存)

Copyrightcopy2017 NTT corp All Rights Reserved 20

深層学習に基づく音声認識技術

a

ui

eo

音声とのパターンマッチング

深層学習型(ディープニューラルネット)約4000万パターンの音声を表現可能

従来型(混合分布)約10万パターンの音声を表現可能

音声 音素

音声の特徴をディープニューラルネットで精緻に表現することにより音声認識の精度を大幅に改善(多段構造により膨大な組合せを考慮)

公共エリアの騒がしい環境で収録された音声を認識する国際技術評価CHiME-3 (201512実施) でNTTは参加25機関中トップの精度を達成

0 5 10 15 20 25 30 35

各参加団体の単語認識誤り率()

<国際技術評価CHiME-3の結果>

標準的なディープニューラル音声認識 334

NTT 58

Agent-AI

本技術を採用した音声認識エンジン開発を実施中

Copyrightcopy2017 NTT corp All Rights Reserved 21

高騒音下での音声集音インテリジェントマイク技術

複数のマイクを組み合わせ100dB(デシベル)を越える高い騒音環境下(ガード下のような環境)でも特定方向の話者の声をとらえて明瞭な音声通話や高精度な音声認識を実現

様々な音が混合

周波数

振幅

インテリジェントマイク処理

マイク1マイク2

雑音抑圧された信号

周波数

振幅

音声通話音声認識に活用騒音

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 22

高機能なロボットやIoTデバイスを「作る」のではなくそれらを複数組み合わせて「使う」ための技術

ロボットをはじめとする複数のデバイスを組み合わせたデバイス連携サービス作りを非エンジニア層にも可能にすることを目的に開発

【特徴1】メーカーや業種問わず多様なデバイスを連携制御可能

【特徴2】ブラウザ上のGUIツールにより簡単にデバイス連携サービスを開発可能

ロボット連携技術 「R-env連舞reg 」Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 23

R-env連舞を使ったカスタマイズ例

現在のデモの流れ

Copyrightcopy2017 NTT corp All Rights Reserved 24

開始場面のカスタマイズ

新しい状態が追加される

新しい状態の追加

Copyrightcopy2017 NTT corp All Rights Reserved 25

動作対象を選択し実行したい動作を選択(SOTAにモーションを追加)

動かしたいデバイスを選択

(SOTA)

実行したい動作を選択(手を振る)

Copyrightcopy2017 NTT corp All Rights Reserved 26

動作対象を選択し実行したい動作を選択(SOTAに発話させたい文章を追加)

動かしたいデバイスを選択

(SOTA)

実行したい動作を選択

(発話を選び「相談会実施中」

と入力)

Copyrightcopy2017 NTT corp All Rights Reserved 27

状態の遷移先を切り替える

状態遷移先を切り替える

Copyrightcopy2017 NTT corp All Rights Reserved 28

ユーザーの質問は多様であり同じ意味の多様な表現を理解する必要がある(ex ldquo国際電話をかけたいrdquo = ldquo外国に電話する方法を教えてrdquo)

ユーザーの質問とFAQコンテンツの質問が同一の意味であるかを判定 NTT研究所技術は大規模な日本語意味辞書を用いて日本語特有の多様

な表現を理解可能

発話意図理解技術(FAQ検索技術)

同一性の判定

QAコンテンツ

概念に基づく判定モデル

【質問】ldquo国際電話をかけたいrdquo 外国に電話する方法

を教えてくださいrdquoldquoまず設定画面で~rdquo

【質問】 【回答】

2具体

3主体

4人 362組織

389場所

1000抽象

372団体党派

373団体

大規模意味辞書1名詞テキストコーパス

機械学習

CGM文書コールセンタ応対ログ

~多様な言い回しの獲得~ ~同一の意味を理解~

日本語解析

Agent-AI

他社との性能比較でも優位性を確認

Copyrightcopy2017 NTT corp All Rights Reserved 29

雑談対話技術

ユーザと多様な話題で雑談するための技術ユーザの発話を解析し話題と意図を抽出

インターネット上のコンテンツを言語処理技術によって整理し対話知識とすることで多様な話題に対しても妥当な発話を生成

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 30

copy2015 Vstone

複数ロボットを用いた雑談対話技術

複数の音声対話ロボットを協調させ音声認識や発話生成の誤りに気づかせずに対話を継続できる技術従来と同じ性能のシステムであっても人の認知特性を利用することで印象を大きく改善

明日は寒くなるみたいだからコート着なきゃ

ふむふむ

今年のコートの流行はチェスターコートだよ

話題連続性に対する要求の低減

ロボットA

蘭がスキー(ラーメンが好きを誤認識)

ふむふむ(誤認識を検知)

僕は焼き肉が好きだよ(ロボット同士の対話に移行)

食べ物だったら何が好き

音声認識誤り検出時の破綻回避

ロボットAが一旦発話を受け止めdarr

話者をロボットBに切り替えdarr

話題が逸脱した場合の違和感を軽減

音声認識結果が対話の流れから逸脱darr

音声認識の誤りと判断darr

ロボット同士の対話に移行し対話破綻を回避

ロボットA

ロボットB

大阪大学 石黒研との共同研究成果

ロボットB

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 31

アングルフリー物体検索技術

異なるアングルから撮影しても精度よく物体を認識し関連情報を提示可能 事前に準備する参照画像数を従来の110程度まで大幅に削減準備コス

トの削減可能

参照画像DB

NW

撮影画像

被写体付加情報

撮影した画像に写った物体を認識

認識検出結果

従来の約110の登録画像枚数

スマホ等で物体を撮影

撮影アングルが異なっても他の物体が写りこんでいても同じ物体として認識

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 32

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 33

Heart-Touching-AI (無意識人のこころに触れる)

本人にも意識されない人の心と身体を読み解き深層心理知性本能を理解するAI

心的状態神経活動筋活動を読み解き働きかけ

教育

スポーツ

エンターテインメント 健康美容

子育て保育

医療カウンセリングコミュニケーション科学

人間科学の成果を発揮する領域

Copyrightcopy2017 NTT corp All Rights Reserved 34

目の動きからユーザの「ココロ」を推定

眼球運動瞳孔の大きさに基づくマインドリーティング コンピュータでしか認識できない人間の潜在的な心の動きを読み取る

「人間を超える」感情認識能力をもったAI

Heart-Touching-AI

好みの推定

対象者の各種状態を推定

特徴抽出

モデル生成

分類器(モデル)

ラベル(評価値)

データ計測

瞳孔反応

マイクロサッカード

Time [s]

Posi

tion [

deg]

Time [s]

Pupil

size

change

[z-

score

]

0 1 2 3

0

2

-3 NTT独自のアルゴリズムを適用

or

顔画像音楽など

推定(分類)

注意状態の推定 眠気の推定

Copyrightcopy2017 NTT corp All Rights Reserved 35

体感型釣りゲーム

ドライブ体験

ドライブ映像のカーブに合わせてハンドルが引っ張られる感覚を体感

釣りで魚が食いついたことで糸が引っ張られる感覚を体感

手をみちびく感覚を振動デバイスで実現

振動で人を導く「ぶるなび」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 36

止まっている対象に動きの印象を与えるプロジェクションマッピング

質感編集技術

原画像

変換後

変幻灯技術(画像検索との融合)

画像と動きシナリオ(動き方タイミング等)のデータベース

撮影画像列

差分画像列

アニメ画像列生成

画像検索

姿勢推定

検索結果の動きシナリオ

対象物

プロジェクション

アニメ画像列

乾いた風景

濡れたように

差分計算

壁紙が表情を変える「変幻灯」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 37

アジェンダ

1NTTグループのロボティクスへの取り組み

~ 色々なモノが繋がる世界の実現 ~

2ロボットに必要な機能

~ NTTのAI技術 corevoreg(コレボ)~

3ロボット進化の方向性

~ 人とロボットの共生社会 ~

Copyrightcopy2017 NTT corp All Rights Reserved 38

一人に一台のパーソナルエージェント

スマホ等

Webサービス

Bluetooth Bluetooth携帯電話網

スマホ等

音声通話

音声+視線+動作

音声+視線+動作

Copyrightcopy2017 NTT corp All Rights Reserved 39

パーソナルモビリティ自律走行技術の進展

WHILLNTTドコモ全国初「免許不要」のパーソナルモビリティシェアリングサービスの実証実験を横浜で実施(2015年)

横浜赤レンガ倉庫2号館赤レンガパーク

日本丸メモリアルパーク

出典WHILLプレスリリースhttpswhilljpnews5618

Copyrightcopy2017 NTT corp All Rights Reserved 40

人と移動ロボットの共生社会

さまざまな移動ロボットが人の生活空間を移動する世界では移動ロボットが自律的に安全に移動することに加えて周囲の人や移動ロボットを操作する人が協力して環境へ適応し安全な動作を生成していくということが必要

移動ロボットを使う人も周囲の人も誰もが安心してロボットと共生できるサービスの実現

さまざまなタイプの移動ロボットが普及し人の日常空間に共存する将来

移動ロボットを操作する初心者高齢者が増加しそれに伴う事故も増加 自律移動ロボットも完全に安全にすることはできず人や他の移動ロボッ

トとの衝突が発生

Copyrightcopy2017 NTT corp All Rights Reserved 41

ldquoR-env連舞rdquoInnovation

Hub

多様なロボット活用サービスの普及に向けて

ハードウェアメーカーと連携した

「デバイスハンズオン」rarr個別デバイスの利用者拡大

アプリ開発者サービス事業者と連携した

「ハッカソン」rarrデバイス連携サービスプロトタイプの蓄積

パートナと連携した

「フィールドトライアル」

rarrデバイス連携サービスの有効性検証

パートナNTTグループ連携による

「ビジネス創出」

rarrデバイス連携サービスのビジネス化

Copyrightcopy2017 NTT corp All Rights Reserved 42

最優秀賞チーム雅「箱入り娘と箱贈り親父」父親と娘のコミュニケーションを育むためにロボットが父親の代わりに離れて暮らす娘へ

メッセージを届けてくれるサービス

優秀賞Team avata「R-env2 テレヘルスサービス」遠隔医療にコミュニケーションロボットを活用「お尻が痛い」などデリケートな症状でも医

師に相談することの恥ずかしさの軽減を図るサービス

R-env連舞 ハッカソン

日時場所2016年6月18日~19日FabCafe TokyoMTRL渋谷 テーマ「ロボットldquoならではrdquoのサービスを作ろう」

Copyrightcopy2017 NTT corp All Rights Reserved 43

R-env連舞のホームページ

httpswwwr-envjp

Copyrightcopy2017 NTT corp All Rights Reserved 44

国際ロボット競技会(World Robot Summit)

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

Copyrightcopy2017 NTT corp All Rights Reserved 45

WRSのスケジュール

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

ldquo人の可能性を広げるldquo

諦めなければならなかった事をひとつでも多く実現するインタラクションサービス

様々なパートナと連携して実現していきます

Page 6: NTTにおけるロボティクス技術の展開と展望 · 深層学習型 (ディープニューラルネット) 約4000万パターンの音声を 表現可能 従来型(混合分布)

Copyrightcopy2017 NTT corp All Rights Reserved 6

転倒転落防止ベッド(2006年~)

出典NTT技術ジャーナルVol 20 No 1 pp 32-35 2008

Copyrightcopy2017 NTT corp All Rights Reserved 7

独居高齢者の健康管理への適用(2015年~)

日々の「生体情報の計測」や「服薬」を促す

測定結果を記録し介護施設や医療施設と共有し早期の問題把握に繋げる

記録された結果に従い高齢者へ運動や食事のへのモチベーションを喚起

アドバイスを実施健康維持

NTT風の谷プロジェクト (デイケアセンタ)三浦市立病院との共同研究

Copyrightcopy2017 NTT corp All Rights Reserved 8

NTT横須賀RampDセンタでの受付(2016年~)

①近づいて来たことを判定し挨拶②受付票を書くように案内③訪問相手へ電話をかける

①ロボットによる動画の解説②館内情報について質問応答③雑談を実施

ロボットセンサタブレットプロジェクションマッピング電話等を連携動作させることでロビーでのホスピタリティの向上と受付業務の効率化

Copyrightcopy2017 NTT corp All Rights Reserved 9

ロボット大機利 (ニコニコ超会議2017)

ロボットセンサ大画面プロジェクションマッピングスイッチ等を連携動作させることで会場と一体となったロボットによる大喜利を実施

Copyrightcopy2017 NTT corp All Rights Reserved 10

NTTグループ連携したサービストライアル

出典日本電信電話報道発表httpwwwnttcojpnews20161607160725ahtml

Copyrightcopy2017 NTT corp All Rights Reserved 11

bull 店舗観光案内システムの実証実験を新宿駅周辺6ヶ所にて実施bull クラウドを活用することで遠隔からの監視メンテナンスbull 利用者は音声認識とタブレットの両方で操作可能

NTT東日本とパートナ企業による実験

新宿中村屋 B2階

タカノ フルーツパーラー B2階

Copyrightcopy2017 NTT corp All Rights Reserved 12

NTT西日本とパートナ企業による実験

bull 近鉄京都駅改札内にて実施

bull 多言語(日本語英語中国語)観光案内を実施bull ロボットの声がけによる人の誘引や非言語動作(頷き等)による自然な対話を検証

Copyrightcopy2017 NTT corp All Rights Reserved 13

アジェンダ

1NTTグループのロボティクスへの取り組み

~ 色々なモノが繋がる世界の実現 ~

2ロボットに必要な機能

~ NTTのAI技術 corevoreg(コレボ)~

3ロボット進化の方向性

~ 人とロボットの共生社会 ~

Copyrightcopy2017 NTT corp All Rights Reserved 14

NTTグループのAI技術「corevo」

<ロゴイメージ>

corevo co-revolution

AIを活用しさまざまなプレイヤーの皆様とのコラボレーションによって無限の可能性を秘めた多くの価値が生み出される様子をロゴで表現

2016年5月30日報道発表

NTTグループのAI技術「corevo reg (コレボ)」によるコラボレーションを展開

~さまざまなプレイヤーの皆様とのコラボレーションを通じて一緒に革新(レボリューション)を起こす~

Copyrightcopy2017 NTT corp All Rights Reserved 15

corevo regのホームページ

ホームページhttpwwwnttcojpcorevo

Copyrightcopy2017 NTT corp All Rights Reserved 16

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 17

corevo regの構成技術モジュール群

Copyrightcopy2017 NTT corp All Rights Reserved 18

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 19

定型業務の代替支援 日常生活の拡張(移動コミュニケーション支援)

知的活動の支援

整理された知識(知識ベースルール)

解読

デザイン

知識の探索

インタラクション技術

実世界構造化技術映像音声センサ情報など

スマホロボットなどユーザインタフェース

人間理解技術

モビリティ型パーソナルエージェント

テレプレゼンスロボット

コンタクトセンタ窓口業務代替

介護業務代替支援

アイディア創出支援

ヘルスケア

人の発する情報を読み解き意図感情を理解し膨大な知識に基づいて推論し人らしく表現するAI

意図理解対話ロボティクス

暗黙知

基礎技術

翻訳

Agent-AI (人らしさの追求人と共存)

Copyrightcopy2017 NTT corp All Rights Reserved 20

深層学習に基づく音声認識技術

a

ui

eo

音声とのパターンマッチング

深層学習型(ディープニューラルネット)約4000万パターンの音声を表現可能

従来型(混合分布)約10万パターンの音声を表現可能

音声 音素

音声の特徴をディープニューラルネットで精緻に表現することにより音声認識の精度を大幅に改善(多段構造により膨大な組合せを考慮)

公共エリアの騒がしい環境で収録された音声を認識する国際技術評価CHiME-3 (201512実施) でNTTは参加25機関中トップの精度を達成

0 5 10 15 20 25 30 35

各参加団体の単語認識誤り率()

<国際技術評価CHiME-3の結果>

標準的なディープニューラル音声認識 334

NTT 58

Agent-AI

本技術を採用した音声認識エンジン開発を実施中

Copyrightcopy2017 NTT corp All Rights Reserved 21

高騒音下での音声集音インテリジェントマイク技術

複数のマイクを組み合わせ100dB(デシベル)を越える高い騒音環境下(ガード下のような環境)でも特定方向の話者の声をとらえて明瞭な音声通話や高精度な音声認識を実現

様々な音が混合

周波数

振幅

インテリジェントマイク処理

マイク1マイク2

雑音抑圧された信号

周波数

振幅

音声通話音声認識に活用騒音

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 22

高機能なロボットやIoTデバイスを「作る」のではなくそれらを複数組み合わせて「使う」ための技術

ロボットをはじめとする複数のデバイスを組み合わせたデバイス連携サービス作りを非エンジニア層にも可能にすることを目的に開発

【特徴1】メーカーや業種問わず多様なデバイスを連携制御可能

【特徴2】ブラウザ上のGUIツールにより簡単にデバイス連携サービスを開発可能

ロボット連携技術 「R-env連舞reg 」Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 23

R-env連舞を使ったカスタマイズ例

現在のデモの流れ

Copyrightcopy2017 NTT corp All Rights Reserved 24

開始場面のカスタマイズ

新しい状態が追加される

新しい状態の追加

Copyrightcopy2017 NTT corp All Rights Reserved 25

動作対象を選択し実行したい動作を選択(SOTAにモーションを追加)

動かしたいデバイスを選択

(SOTA)

実行したい動作を選択(手を振る)

Copyrightcopy2017 NTT corp All Rights Reserved 26

動作対象を選択し実行したい動作を選択(SOTAに発話させたい文章を追加)

動かしたいデバイスを選択

(SOTA)

実行したい動作を選択

(発話を選び「相談会実施中」

と入力)

Copyrightcopy2017 NTT corp All Rights Reserved 27

状態の遷移先を切り替える

状態遷移先を切り替える

Copyrightcopy2017 NTT corp All Rights Reserved 28

ユーザーの質問は多様であり同じ意味の多様な表現を理解する必要がある(ex ldquo国際電話をかけたいrdquo = ldquo外国に電話する方法を教えてrdquo)

ユーザーの質問とFAQコンテンツの質問が同一の意味であるかを判定 NTT研究所技術は大規模な日本語意味辞書を用いて日本語特有の多様

な表現を理解可能

発話意図理解技術(FAQ検索技術)

同一性の判定

QAコンテンツ

概念に基づく判定モデル

【質問】ldquo国際電話をかけたいrdquo 外国に電話する方法

を教えてくださいrdquoldquoまず設定画面で~rdquo

【質問】 【回答】

2具体

3主体

4人 362組織

389場所

1000抽象

372団体党派

373団体

大規模意味辞書1名詞テキストコーパス

機械学習

CGM文書コールセンタ応対ログ

~多様な言い回しの獲得~ ~同一の意味を理解~

日本語解析

Agent-AI

他社との性能比較でも優位性を確認

Copyrightcopy2017 NTT corp All Rights Reserved 29

雑談対話技術

ユーザと多様な話題で雑談するための技術ユーザの発話を解析し話題と意図を抽出

インターネット上のコンテンツを言語処理技術によって整理し対話知識とすることで多様な話題に対しても妥当な発話を生成

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 30

copy2015 Vstone

複数ロボットを用いた雑談対話技術

複数の音声対話ロボットを協調させ音声認識や発話生成の誤りに気づかせずに対話を継続できる技術従来と同じ性能のシステムであっても人の認知特性を利用することで印象を大きく改善

明日は寒くなるみたいだからコート着なきゃ

ふむふむ

今年のコートの流行はチェスターコートだよ

話題連続性に対する要求の低減

ロボットA

蘭がスキー(ラーメンが好きを誤認識)

ふむふむ(誤認識を検知)

僕は焼き肉が好きだよ(ロボット同士の対話に移行)

食べ物だったら何が好き

音声認識誤り検出時の破綻回避

ロボットAが一旦発話を受け止めdarr

話者をロボットBに切り替えdarr

話題が逸脱した場合の違和感を軽減

音声認識結果が対話の流れから逸脱darr

音声認識の誤りと判断darr

ロボット同士の対話に移行し対話破綻を回避

ロボットA

ロボットB

大阪大学 石黒研との共同研究成果

ロボットB

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 31

アングルフリー物体検索技術

異なるアングルから撮影しても精度よく物体を認識し関連情報を提示可能 事前に準備する参照画像数を従来の110程度まで大幅に削減準備コス

トの削減可能

参照画像DB

NW

撮影画像

被写体付加情報

撮影した画像に写った物体を認識

認識検出結果

従来の約110の登録画像枚数

スマホ等で物体を撮影

撮影アングルが異なっても他の物体が写りこんでいても同じ物体として認識

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 32

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 33

Heart-Touching-AI (無意識人のこころに触れる)

本人にも意識されない人の心と身体を読み解き深層心理知性本能を理解するAI

心的状態神経活動筋活動を読み解き働きかけ

教育

スポーツ

エンターテインメント 健康美容

子育て保育

医療カウンセリングコミュニケーション科学

人間科学の成果を発揮する領域

Copyrightcopy2017 NTT corp All Rights Reserved 34

目の動きからユーザの「ココロ」を推定

眼球運動瞳孔の大きさに基づくマインドリーティング コンピュータでしか認識できない人間の潜在的な心の動きを読み取る

「人間を超える」感情認識能力をもったAI

Heart-Touching-AI

好みの推定

対象者の各種状態を推定

特徴抽出

モデル生成

分類器(モデル)

ラベル(評価値)

データ計測

瞳孔反応

マイクロサッカード

Time [s]

Posi

tion [

deg]

Time [s]

Pupil

size

change

[z-

score

]

0 1 2 3

0

2

-3 NTT独自のアルゴリズムを適用

or

顔画像音楽など

推定(分類)

注意状態の推定 眠気の推定

Copyrightcopy2017 NTT corp All Rights Reserved 35

体感型釣りゲーム

ドライブ体験

ドライブ映像のカーブに合わせてハンドルが引っ張られる感覚を体感

釣りで魚が食いついたことで糸が引っ張られる感覚を体感

手をみちびく感覚を振動デバイスで実現

振動で人を導く「ぶるなび」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 36

止まっている対象に動きの印象を与えるプロジェクションマッピング

質感編集技術

原画像

変換後

変幻灯技術(画像検索との融合)

画像と動きシナリオ(動き方タイミング等)のデータベース

撮影画像列

差分画像列

アニメ画像列生成

画像検索

姿勢推定

検索結果の動きシナリオ

対象物

プロジェクション

アニメ画像列

乾いた風景

濡れたように

差分計算

壁紙が表情を変える「変幻灯」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 37

アジェンダ

1NTTグループのロボティクスへの取り組み

~ 色々なモノが繋がる世界の実現 ~

2ロボットに必要な機能

~ NTTのAI技術 corevoreg(コレボ)~

3ロボット進化の方向性

~ 人とロボットの共生社会 ~

Copyrightcopy2017 NTT corp All Rights Reserved 38

一人に一台のパーソナルエージェント

スマホ等

Webサービス

Bluetooth Bluetooth携帯電話網

スマホ等

音声通話

音声+視線+動作

音声+視線+動作

Copyrightcopy2017 NTT corp All Rights Reserved 39

パーソナルモビリティ自律走行技術の進展

WHILLNTTドコモ全国初「免許不要」のパーソナルモビリティシェアリングサービスの実証実験を横浜で実施(2015年)

横浜赤レンガ倉庫2号館赤レンガパーク

日本丸メモリアルパーク

出典WHILLプレスリリースhttpswhilljpnews5618

Copyrightcopy2017 NTT corp All Rights Reserved 40

人と移動ロボットの共生社会

さまざまな移動ロボットが人の生活空間を移動する世界では移動ロボットが自律的に安全に移動することに加えて周囲の人や移動ロボットを操作する人が協力して環境へ適応し安全な動作を生成していくということが必要

移動ロボットを使う人も周囲の人も誰もが安心してロボットと共生できるサービスの実現

さまざまなタイプの移動ロボットが普及し人の日常空間に共存する将来

移動ロボットを操作する初心者高齢者が増加しそれに伴う事故も増加 自律移動ロボットも完全に安全にすることはできず人や他の移動ロボッ

トとの衝突が発生

Copyrightcopy2017 NTT corp All Rights Reserved 41

ldquoR-env連舞rdquoInnovation

Hub

多様なロボット活用サービスの普及に向けて

ハードウェアメーカーと連携した

「デバイスハンズオン」rarr個別デバイスの利用者拡大

アプリ開発者サービス事業者と連携した

「ハッカソン」rarrデバイス連携サービスプロトタイプの蓄積

パートナと連携した

「フィールドトライアル」

rarrデバイス連携サービスの有効性検証

パートナNTTグループ連携による

「ビジネス創出」

rarrデバイス連携サービスのビジネス化

Copyrightcopy2017 NTT corp All Rights Reserved 42

最優秀賞チーム雅「箱入り娘と箱贈り親父」父親と娘のコミュニケーションを育むためにロボットが父親の代わりに離れて暮らす娘へ

メッセージを届けてくれるサービス

優秀賞Team avata「R-env2 テレヘルスサービス」遠隔医療にコミュニケーションロボットを活用「お尻が痛い」などデリケートな症状でも医

師に相談することの恥ずかしさの軽減を図るサービス

R-env連舞 ハッカソン

日時場所2016年6月18日~19日FabCafe TokyoMTRL渋谷 テーマ「ロボットldquoならではrdquoのサービスを作ろう」

Copyrightcopy2017 NTT corp All Rights Reserved 43

R-env連舞のホームページ

httpswwwr-envjp

Copyrightcopy2017 NTT corp All Rights Reserved 44

国際ロボット競技会(World Robot Summit)

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

Copyrightcopy2017 NTT corp All Rights Reserved 45

WRSのスケジュール

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

ldquo人の可能性を広げるldquo

諦めなければならなかった事をひとつでも多く実現するインタラクションサービス

様々なパートナと連携して実現していきます

Page 7: NTTにおけるロボティクス技術の展開と展望 · 深層学習型 (ディープニューラルネット) 約4000万パターンの音声を 表現可能 従来型(混合分布)

Copyrightcopy2017 NTT corp All Rights Reserved 7

独居高齢者の健康管理への適用(2015年~)

日々の「生体情報の計測」や「服薬」を促す

測定結果を記録し介護施設や医療施設と共有し早期の問題把握に繋げる

記録された結果に従い高齢者へ運動や食事のへのモチベーションを喚起

アドバイスを実施健康維持

NTT風の谷プロジェクト (デイケアセンタ)三浦市立病院との共同研究

Copyrightcopy2017 NTT corp All Rights Reserved 8

NTT横須賀RampDセンタでの受付(2016年~)

①近づいて来たことを判定し挨拶②受付票を書くように案内③訪問相手へ電話をかける

①ロボットによる動画の解説②館内情報について質問応答③雑談を実施

ロボットセンサタブレットプロジェクションマッピング電話等を連携動作させることでロビーでのホスピタリティの向上と受付業務の効率化

Copyrightcopy2017 NTT corp All Rights Reserved 9

ロボット大機利 (ニコニコ超会議2017)

ロボットセンサ大画面プロジェクションマッピングスイッチ等を連携動作させることで会場と一体となったロボットによる大喜利を実施

Copyrightcopy2017 NTT corp All Rights Reserved 10

NTTグループ連携したサービストライアル

出典日本電信電話報道発表httpwwwnttcojpnews20161607160725ahtml

Copyrightcopy2017 NTT corp All Rights Reserved 11

bull 店舗観光案内システムの実証実験を新宿駅周辺6ヶ所にて実施bull クラウドを活用することで遠隔からの監視メンテナンスbull 利用者は音声認識とタブレットの両方で操作可能

NTT東日本とパートナ企業による実験

新宿中村屋 B2階

タカノ フルーツパーラー B2階

Copyrightcopy2017 NTT corp All Rights Reserved 12

NTT西日本とパートナ企業による実験

bull 近鉄京都駅改札内にて実施

bull 多言語(日本語英語中国語)観光案内を実施bull ロボットの声がけによる人の誘引や非言語動作(頷き等)による自然な対話を検証

Copyrightcopy2017 NTT corp All Rights Reserved 13

アジェンダ

1NTTグループのロボティクスへの取り組み

~ 色々なモノが繋がる世界の実現 ~

2ロボットに必要な機能

~ NTTのAI技術 corevoreg(コレボ)~

3ロボット進化の方向性

~ 人とロボットの共生社会 ~

Copyrightcopy2017 NTT corp All Rights Reserved 14

NTTグループのAI技術「corevo」

<ロゴイメージ>

corevo co-revolution

AIを活用しさまざまなプレイヤーの皆様とのコラボレーションによって無限の可能性を秘めた多くの価値が生み出される様子をロゴで表現

2016年5月30日報道発表

NTTグループのAI技術「corevo reg (コレボ)」によるコラボレーションを展開

~さまざまなプレイヤーの皆様とのコラボレーションを通じて一緒に革新(レボリューション)を起こす~

Copyrightcopy2017 NTT corp All Rights Reserved 15

corevo regのホームページ

ホームページhttpwwwnttcojpcorevo

Copyrightcopy2017 NTT corp All Rights Reserved 16

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 17

corevo regの構成技術モジュール群

Copyrightcopy2017 NTT corp All Rights Reserved 18

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 19

定型業務の代替支援 日常生活の拡張(移動コミュニケーション支援)

知的活動の支援

整理された知識(知識ベースルール)

解読

デザイン

知識の探索

インタラクション技術

実世界構造化技術映像音声センサ情報など

スマホロボットなどユーザインタフェース

人間理解技術

モビリティ型パーソナルエージェント

テレプレゼンスロボット

コンタクトセンタ窓口業務代替

介護業務代替支援

アイディア創出支援

ヘルスケア

人の発する情報を読み解き意図感情を理解し膨大な知識に基づいて推論し人らしく表現するAI

意図理解対話ロボティクス

暗黙知

基礎技術

翻訳

Agent-AI (人らしさの追求人と共存)

Copyrightcopy2017 NTT corp All Rights Reserved 20

深層学習に基づく音声認識技術

a

ui

eo

音声とのパターンマッチング

深層学習型(ディープニューラルネット)約4000万パターンの音声を表現可能

従来型(混合分布)約10万パターンの音声を表現可能

音声 音素

音声の特徴をディープニューラルネットで精緻に表現することにより音声認識の精度を大幅に改善(多段構造により膨大な組合せを考慮)

公共エリアの騒がしい環境で収録された音声を認識する国際技術評価CHiME-3 (201512実施) でNTTは参加25機関中トップの精度を達成

0 5 10 15 20 25 30 35

各参加団体の単語認識誤り率()

<国際技術評価CHiME-3の結果>

標準的なディープニューラル音声認識 334

NTT 58

Agent-AI

本技術を採用した音声認識エンジン開発を実施中

Copyrightcopy2017 NTT corp All Rights Reserved 21

高騒音下での音声集音インテリジェントマイク技術

複数のマイクを組み合わせ100dB(デシベル)を越える高い騒音環境下(ガード下のような環境)でも特定方向の話者の声をとらえて明瞭な音声通話や高精度な音声認識を実現

様々な音が混合

周波数

振幅

インテリジェントマイク処理

マイク1マイク2

雑音抑圧された信号

周波数

振幅

音声通話音声認識に活用騒音

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 22

高機能なロボットやIoTデバイスを「作る」のではなくそれらを複数組み合わせて「使う」ための技術

ロボットをはじめとする複数のデバイスを組み合わせたデバイス連携サービス作りを非エンジニア層にも可能にすることを目的に開発

【特徴1】メーカーや業種問わず多様なデバイスを連携制御可能

【特徴2】ブラウザ上のGUIツールにより簡単にデバイス連携サービスを開発可能

ロボット連携技術 「R-env連舞reg 」Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 23

R-env連舞を使ったカスタマイズ例

現在のデモの流れ

Copyrightcopy2017 NTT corp All Rights Reserved 24

開始場面のカスタマイズ

新しい状態が追加される

新しい状態の追加

Copyrightcopy2017 NTT corp All Rights Reserved 25

動作対象を選択し実行したい動作を選択(SOTAにモーションを追加)

動かしたいデバイスを選択

(SOTA)

実行したい動作を選択(手を振る)

Copyrightcopy2017 NTT corp All Rights Reserved 26

動作対象を選択し実行したい動作を選択(SOTAに発話させたい文章を追加)

動かしたいデバイスを選択

(SOTA)

実行したい動作を選択

(発話を選び「相談会実施中」

と入力)

Copyrightcopy2017 NTT corp All Rights Reserved 27

状態の遷移先を切り替える

状態遷移先を切り替える

Copyrightcopy2017 NTT corp All Rights Reserved 28

ユーザーの質問は多様であり同じ意味の多様な表現を理解する必要がある(ex ldquo国際電話をかけたいrdquo = ldquo外国に電話する方法を教えてrdquo)

ユーザーの質問とFAQコンテンツの質問が同一の意味であるかを判定 NTT研究所技術は大規模な日本語意味辞書を用いて日本語特有の多様

な表現を理解可能

発話意図理解技術(FAQ検索技術)

同一性の判定

QAコンテンツ

概念に基づく判定モデル

【質問】ldquo国際電話をかけたいrdquo 外国に電話する方法

を教えてくださいrdquoldquoまず設定画面で~rdquo

【質問】 【回答】

2具体

3主体

4人 362組織

389場所

1000抽象

372団体党派

373団体

大規模意味辞書1名詞テキストコーパス

機械学習

CGM文書コールセンタ応対ログ

~多様な言い回しの獲得~ ~同一の意味を理解~

日本語解析

Agent-AI

他社との性能比較でも優位性を確認

Copyrightcopy2017 NTT corp All Rights Reserved 29

雑談対話技術

ユーザと多様な話題で雑談するための技術ユーザの発話を解析し話題と意図を抽出

インターネット上のコンテンツを言語処理技術によって整理し対話知識とすることで多様な話題に対しても妥当な発話を生成

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 30

copy2015 Vstone

複数ロボットを用いた雑談対話技術

複数の音声対話ロボットを協調させ音声認識や発話生成の誤りに気づかせずに対話を継続できる技術従来と同じ性能のシステムであっても人の認知特性を利用することで印象を大きく改善

明日は寒くなるみたいだからコート着なきゃ

ふむふむ

今年のコートの流行はチェスターコートだよ

話題連続性に対する要求の低減

ロボットA

蘭がスキー(ラーメンが好きを誤認識)

ふむふむ(誤認識を検知)

僕は焼き肉が好きだよ(ロボット同士の対話に移行)

食べ物だったら何が好き

音声認識誤り検出時の破綻回避

ロボットAが一旦発話を受け止めdarr

話者をロボットBに切り替えdarr

話題が逸脱した場合の違和感を軽減

音声認識結果が対話の流れから逸脱darr

音声認識の誤りと判断darr

ロボット同士の対話に移行し対話破綻を回避

ロボットA

ロボットB

大阪大学 石黒研との共同研究成果

ロボットB

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 31

アングルフリー物体検索技術

異なるアングルから撮影しても精度よく物体を認識し関連情報を提示可能 事前に準備する参照画像数を従来の110程度まで大幅に削減準備コス

トの削減可能

参照画像DB

NW

撮影画像

被写体付加情報

撮影した画像に写った物体を認識

認識検出結果

従来の約110の登録画像枚数

スマホ等で物体を撮影

撮影アングルが異なっても他の物体が写りこんでいても同じ物体として認識

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 32

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 33

Heart-Touching-AI (無意識人のこころに触れる)

本人にも意識されない人の心と身体を読み解き深層心理知性本能を理解するAI

心的状態神経活動筋活動を読み解き働きかけ

教育

スポーツ

エンターテインメント 健康美容

子育て保育

医療カウンセリングコミュニケーション科学

人間科学の成果を発揮する領域

Copyrightcopy2017 NTT corp All Rights Reserved 34

目の動きからユーザの「ココロ」を推定

眼球運動瞳孔の大きさに基づくマインドリーティング コンピュータでしか認識できない人間の潜在的な心の動きを読み取る

「人間を超える」感情認識能力をもったAI

Heart-Touching-AI

好みの推定

対象者の各種状態を推定

特徴抽出

モデル生成

分類器(モデル)

ラベル(評価値)

データ計測

瞳孔反応

マイクロサッカード

Time [s]

Posi

tion [

deg]

Time [s]

Pupil

size

change

[z-

score

]

0 1 2 3

0

2

-3 NTT独自のアルゴリズムを適用

or

顔画像音楽など

推定(分類)

注意状態の推定 眠気の推定

Copyrightcopy2017 NTT corp All Rights Reserved 35

体感型釣りゲーム

ドライブ体験

ドライブ映像のカーブに合わせてハンドルが引っ張られる感覚を体感

釣りで魚が食いついたことで糸が引っ張られる感覚を体感

手をみちびく感覚を振動デバイスで実現

振動で人を導く「ぶるなび」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 36

止まっている対象に動きの印象を与えるプロジェクションマッピング

質感編集技術

原画像

変換後

変幻灯技術(画像検索との融合)

画像と動きシナリオ(動き方タイミング等)のデータベース

撮影画像列

差分画像列

アニメ画像列生成

画像検索

姿勢推定

検索結果の動きシナリオ

対象物

プロジェクション

アニメ画像列

乾いた風景

濡れたように

差分計算

壁紙が表情を変える「変幻灯」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 37

アジェンダ

1NTTグループのロボティクスへの取り組み

~ 色々なモノが繋がる世界の実現 ~

2ロボットに必要な機能

~ NTTのAI技術 corevoreg(コレボ)~

3ロボット進化の方向性

~ 人とロボットの共生社会 ~

Copyrightcopy2017 NTT corp All Rights Reserved 38

一人に一台のパーソナルエージェント

スマホ等

Webサービス

Bluetooth Bluetooth携帯電話網

スマホ等

音声通話

音声+視線+動作

音声+視線+動作

Copyrightcopy2017 NTT corp All Rights Reserved 39

パーソナルモビリティ自律走行技術の進展

WHILLNTTドコモ全国初「免許不要」のパーソナルモビリティシェアリングサービスの実証実験を横浜で実施(2015年)

横浜赤レンガ倉庫2号館赤レンガパーク

日本丸メモリアルパーク

出典WHILLプレスリリースhttpswhilljpnews5618

Copyrightcopy2017 NTT corp All Rights Reserved 40

人と移動ロボットの共生社会

さまざまな移動ロボットが人の生活空間を移動する世界では移動ロボットが自律的に安全に移動することに加えて周囲の人や移動ロボットを操作する人が協力して環境へ適応し安全な動作を生成していくということが必要

移動ロボットを使う人も周囲の人も誰もが安心してロボットと共生できるサービスの実現

さまざまなタイプの移動ロボットが普及し人の日常空間に共存する将来

移動ロボットを操作する初心者高齢者が増加しそれに伴う事故も増加 自律移動ロボットも完全に安全にすることはできず人や他の移動ロボッ

トとの衝突が発生

Copyrightcopy2017 NTT corp All Rights Reserved 41

ldquoR-env連舞rdquoInnovation

Hub

多様なロボット活用サービスの普及に向けて

ハードウェアメーカーと連携した

「デバイスハンズオン」rarr個別デバイスの利用者拡大

アプリ開発者サービス事業者と連携した

「ハッカソン」rarrデバイス連携サービスプロトタイプの蓄積

パートナと連携した

「フィールドトライアル」

rarrデバイス連携サービスの有効性検証

パートナNTTグループ連携による

「ビジネス創出」

rarrデバイス連携サービスのビジネス化

Copyrightcopy2017 NTT corp All Rights Reserved 42

最優秀賞チーム雅「箱入り娘と箱贈り親父」父親と娘のコミュニケーションを育むためにロボットが父親の代わりに離れて暮らす娘へ

メッセージを届けてくれるサービス

優秀賞Team avata「R-env2 テレヘルスサービス」遠隔医療にコミュニケーションロボットを活用「お尻が痛い」などデリケートな症状でも医

師に相談することの恥ずかしさの軽減を図るサービス

R-env連舞 ハッカソン

日時場所2016年6月18日~19日FabCafe TokyoMTRL渋谷 テーマ「ロボットldquoならではrdquoのサービスを作ろう」

Copyrightcopy2017 NTT corp All Rights Reserved 43

R-env連舞のホームページ

httpswwwr-envjp

Copyrightcopy2017 NTT corp All Rights Reserved 44

国際ロボット競技会(World Robot Summit)

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

Copyrightcopy2017 NTT corp All Rights Reserved 45

WRSのスケジュール

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

ldquo人の可能性を広げるldquo

諦めなければならなかった事をひとつでも多く実現するインタラクションサービス

様々なパートナと連携して実現していきます

Page 8: NTTにおけるロボティクス技術の展開と展望 · 深層学習型 (ディープニューラルネット) 約4000万パターンの音声を 表現可能 従来型(混合分布)

Copyrightcopy2017 NTT corp All Rights Reserved 8

NTT横須賀RampDセンタでの受付(2016年~)

①近づいて来たことを判定し挨拶②受付票を書くように案内③訪問相手へ電話をかける

①ロボットによる動画の解説②館内情報について質問応答③雑談を実施

ロボットセンサタブレットプロジェクションマッピング電話等を連携動作させることでロビーでのホスピタリティの向上と受付業務の効率化

Copyrightcopy2017 NTT corp All Rights Reserved 9

ロボット大機利 (ニコニコ超会議2017)

ロボットセンサ大画面プロジェクションマッピングスイッチ等を連携動作させることで会場と一体となったロボットによる大喜利を実施

Copyrightcopy2017 NTT corp All Rights Reserved 10

NTTグループ連携したサービストライアル

出典日本電信電話報道発表httpwwwnttcojpnews20161607160725ahtml

Copyrightcopy2017 NTT corp All Rights Reserved 11

bull 店舗観光案内システムの実証実験を新宿駅周辺6ヶ所にて実施bull クラウドを活用することで遠隔からの監視メンテナンスbull 利用者は音声認識とタブレットの両方で操作可能

NTT東日本とパートナ企業による実験

新宿中村屋 B2階

タカノ フルーツパーラー B2階

Copyrightcopy2017 NTT corp All Rights Reserved 12

NTT西日本とパートナ企業による実験

bull 近鉄京都駅改札内にて実施

bull 多言語(日本語英語中国語)観光案内を実施bull ロボットの声がけによる人の誘引や非言語動作(頷き等)による自然な対話を検証

Copyrightcopy2017 NTT corp All Rights Reserved 13

アジェンダ

1NTTグループのロボティクスへの取り組み

~ 色々なモノが繋がる世界の実現 ~

2ロボットに必要な機能

~ NTTのAI技術 corevoreg(コレボ)~

3ロボット進化の方向性

~ 人とロボットの共生社会 ~

Copyrightcopy2017 NTT corp All Rights Reserved 14

NTTグループのAI技術「corevo」

<ロゴイメージ>

corevo co-revolution

AIを活用しさまざまなプレイヤーの皆様とのコラボレーションによって無限の可能性を秘めた多くの価値が生み出される様子をロゴで表現

2016年5月30日報道発表

NTTグループのAI技術「corevo reg (コレボ)」によるコラボレーションを展開

~さまざまなプレイヤーの皆様とのコラボレーションを通じて一緒に革新(レボリューション)を起こす~

Copyrightcopy2017 NTT corp All Rights Reserved 15

corevo regのホームページ

ホームページhttpwwwnttcojpcorevo

Copyrightcopy2017 NTT corp All Rights Reserved 16

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 17

corevo regの構成技術モジュール群

Copyrightcopy2017 NTT corp All Rights Reserved 18

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 19

定型業務の代替支援 日常生活の拡張(移動コミュニケーション支援)

知的活動の支援

整理された知識(知識ベースルール)

解読

デザイン

知識の探索

インタラクション技術

実世界構造化技術映像音声センサ情報など

スマホロボットなどユーザインタフェース

人間理解技術

モビリティ型パーソナルエージェント

テレプレゼンスロボット

コンタクトセンタ窓口業務代替

介護業務代替支援

アイディア創出支援

ヘルスケア

人の発する情報を読み解き意図感情を理解し膨大な知識に基づいて推論し人らしく表現するAI

意図理解対話ロボティクス

暗黙知

基礎技術

翻訳

Agent-AI (人らしさの追求人と共存)

Copyrightcopy2017 NTT corp All Rights Reserved 20

深層学習に基づく音声認識技術

a

ui

eo

音声とのパターンマッチング

深層学習型(ディープニューラルネット)約4000万パターンの音声を表現可能

従来型(混合分布)約10万パターンの音声を表現可能

音声 音素

音声の特徴をディープニューラルネットで精緻に表現することにより音声認識の精度を大幅に改善(多段構造により膨大な組合せを考慮)

公共エリアの騒がしい環境で収録された音声を認識する国際技術評価CHiME-3 (201512実施) でNTTは参加25機関中トップの精度を達成

0 5 10 15 20 25 30 35

各参加団体の単語認識誤り率()

<国際技術評価CHiME-3の結果>

標準的なディープニューラル音声認識 334

NTT 58

Agent-AI

本技術を採用した音声認識エンジン開発を実施中

Copyrightcopy2017 NTT corp All Rights Reserved 21

高騒音下での音声集音インテリジェントマイク技術

複数のマイクを組み合わせ100dB(デシベル)を越える高い騒音環境下(ガード下のような環境)でも特定方向の話者の声をとらえて明瞭な音声通話や高精度な音声認識を実現

様々な音が混合

周波数

振幅

インテリジェントマイク処理

マイク1マイク2

雑音抑圧された信号

周波数

振幅

音声通話音声認識に活用騒音

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 22

高機能なロボットやIoTデバイスを「作る」のではなくそれらを複数組み合わせて「使う」ための技術

ロボットをはじめとする複数のデバイスを組み合わせたデバイス連携サービス作りを非エンジニア層にも可能にすることを目的に開発

【特徴1】メーカーや業種問わず多様なデバイスを連携制御可能

【特徴2】ブラウザ上のGUIツールにより簡単にデバイス連携サービスを開発可能

ロボット連携技術 「R-env連舞reg 」Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 23

R-env連舞を使ったカスタマイズ例

現在のデモの流れ

Copyrightcopy2017 NTT corp All Rights Reserved 24

開始場面のカスタマイズ

新しい状態が追加される

新しい状態の追加

Copyrightcopy2017 NTT corp All Rights Reserved 25

動作対象を選択し実行したい動作を選択(SOTAにモーションを追加)

動かしたいデバイスを選択

(SOTA)

実行したい動作を選択(手を振る)

Copyrightcopy2017 NTT corp All Rights Reserved 26

動作対象を選択し実行したい動作を選択(SOTAに発話させたい文章を追加)

動かしたいデバイスを選択

(SOTA)

実行したい動作を選択

(発話を選び「相談会実施中」

と入力)

Copyrightcopy2017 NTT corp All Rights Reserved 27

状態の遷移先を切り替える

状態遷移先を切り替える

Copyrightcopy2017 NTT corp All Rights Reserved 28

ユーザーの質問は多様であり同じ意味の多様な表現を理解する必要がある(ex ldquo国際電話をかけたいrdquo = ldquo外国に電話する方法を教えてrdquo)

ユーザーの質問とFAQコンテンツの質問が同一の意味であるかを判定 NTT研究所技術は大規模な日本語意味辞書を用いて日本語特有の多様

な表現を理解可能

発話意図理解技術(FAQ検索技術)

同一性の判定

QAコンテンツ

概念に基づく判定モデル

【質問】ldquo国際電話をかけたいrdquo 外国に電話する方法

を教えてくださいrdquoldquoまず設定画面で~rdquo

【質問】 【回答】

2具体

3主体

4人 362組織

389場所

1000抽象

372団体党派

373団体

大規模意味辞書1名詞テキストコーパス

機械学習

CGM文書コールセンタ応対ログ

~多様な言い回しの獲得~ ~同一の意味を理解~

日本語解析

Agent-AI

他社との性能比較でも優位性を確認

Copyrightcopy2017 NTT corp All Rights Reserved 29

雑談対話技術

ユーザと多様な話題で雑談するための技術ユーザの発話を解析し話題と意図を抽出

インターネット上のコンテンツを言語処理技術によって整理し対話知識とすることで多様な話題に対しても妥当な発話を生成

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 30

copy2015 Vstone

複数ロボットを用いた雑談対話技術

複数の音声対話ロボットを協調させ音声認識や発話生成の誤りに気づかせずに対話を継続できる技術従来と同じ性能のシステムであっても人の認知特性を利用することで印象を大きく改善

明日は寒くなるみたいだからコート着なきゃ

ふむふむ

今年のコートの流行はチェスターコートだよ

話題連続性に対する要求の低減

ロボットA

蘭がスキー(ラーメンが好きを誤認識)

ふむふむ(誤認識を検知)

僕は焼き肉が好きだよ(ロボット同士の対話に移行)

食べ物だったら何が好き

音声認識誤り検出時の破綻回避

ロボットAが一旦発話を受け止めdarr

話者をロボットBに切り替えdarr

話題が逸脱した場合の違和感を軽減

音声認識結果が対話の流れから逸脱darr

音声認識の誤りと判断darr

ロボット同士の対話に移行し対話破綻を回避

ロボットA

ロボットB

大阪大学 石黒研との共同研究成果

ロボットB

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 31

アングルフリー物体検索技術

異なるアングルから撮影しても精度よく物体を認識し関連情報を提示可能 事前に準備する参照画像数を従来の110程度まで大幅に削減準備コス

トの削減可能

参照画像DB

NW

撮影画像

被写体付加情報

撮影した画像に写った物体を認識

認識検出結果

従来の約110の登録画像枚数

スマホ等で物体を撮影

撮影アングルが異なっても他の物体が写りこんでいても同じ物体として認識

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 32

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 33

Heart-Touching-AI (無意識人のこころに触れる)

本人にも意識されない人の心と身体を読み解き深層心理知性本能を理解するAI

心的状態神経活動筋活動を読み解き働きかけ

教育

スポーツ

エンターテインメント 健康美容

子育て保育

医療カウンセリングコミュニケーション科学

人間科学の成果を発揮する領域

Copyrightcopy2017 NTT corp All Rights Reserved 34

目の動きからユーザの「ココロ」を推定

眼球運動瞳孔の大きさに基づくマインドリーティング コンピュータでしか認識できない人間の潜在的な心の動きを読み取る

「人間を超える」感情認識能力をもったAI

Heart-Touching-AI

好みの推定

対象者の各種状態を推定

特徴抽出

モデル生成

分類器(モデル)

ラベル(評価値)

データ計測

瞳孔反応

マイクロサッカード

Time [s]

Posi

tion [

deg]

Time [s]

Pupil

size

change

[z-

score

]

0 1 2 3

0

2

-3 NTT独自のアルゴリズムを適用

or

顔画像音楽など

推定(分類)

注意状態の推定 眠気の推定

Copyrightcopy2017 NTT corp All Rights Reserved 35

体感型釣りゲーム

ドライブ体験

ドライブ映像のカーブに合わせてハンドルが引っ張られる感覚を体感

釣りで魚が食いついたことで糸が引っ張られる感覚を体感

手をみちびく感覚を振動デバイスで実現

振動で人を導く「ぶるなび」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 36

止まっている対象に動きの印象を与えるプロジェクションマッピング

質感編集技術

原画像

変換後

変幻灯技術(画像検索との融合)

画像と動きシナリオ(動き方タイミング等)のデータベース

撮影画像列

差分画像列

アニメ画像列生成

画像検索

姿勢推定

検索結果の動きシナリオ

対象物

プロジェクション

アニメ画像列

乾いた風景

濡れたように

差分計算

壁紙が表情を変える「変幻灯」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 37

アジェンダ

1NTTグループのロボティクスへの取り組み

~ 色々なモノが繋がる世界の実現 ~

2ロボットに必要な機能

~ NTTのAI技術 corevoreg(コレボ)~

3ロボット進化の方向性

~ 人とロボットの共生社会 ~

Copyrightcopy2017 NTT corp All Rights Reserved 38

一人に一台のパーソナルエージェント

スマホ等

Webサービス

Bluetooth Bluetooth携帯電話網

スマホ等

音声通話

音声+視線+動作

音声+視線+動作

Copyrightcopy2017 NTT corp All Rights Reserved 39

パーソナルモビリティ自律走行技術の進展

WHILLNTTドコモ全国初「免許不要」のパーソナルモビリティシェアリングサービスの実証実験を横浜で実施(2015年)

横浜赤レンガ倉庫2号館赤レンガパーク

日本丸メモリアルパーク

出典WHILLプレスリリースhttpswhilljpnews5618

Copyrightcopy2017 NTT corp All Rights Reserved 40

人と移動ロボットの共生社会

さまざまな移動ロボットが人の生活空間を移動する世界では移動ロボットが自律的に安全に移動することに加えて周囲の人や移動ロボットを操作する人が協力して環境へ適応し安全な動作を生成していくということが必要

移動ロボットを使う人も周囲の人も誰もが安心してロボットと共生できるサービスの実現

さまざまなタイプの移動ロボットが普及し人の日常空間に共存する将来

移動ロボットを操作する初心者高齢者が増加しそれに伴う事故も増加 自律移動ロボットも完全に安全にすることはできず人や他の移動ロボッ

トとの衝突が発生

Copyrightcopy2017 NTT corp All Rights Reserved 41

ldquoR-env連舞rdquoInnovation

Hub

多様なロボット活用サービスの普及に向けて

ハードウェアメーカーと連携した

「デバイスハンズオン」rarr個別デバイスの利用者拡大

アプリ開発者サービス事業者と連携した

「ハッカソン」rarrデバイス連携サービスプロトタイプの蓄積

パートナと連携した

「フィールドトライアル」

rarrデバイス連携サービスの有効性検証

パートナNTTグループ連携による

「ビジネス創出」

rarrデバイス連携サービスのビジネス化

Copyrightcopy2017 NTT corp All Rights Reserved 42

最優秀賞チーム雅「箱入り娘と箱贈り親父」父親と娘のコミュニケーションを育むためにロボットが父親の代わりに離れて暮らす娘へ

メッセージを届けてくれるサービス

優秀賞Team avata「R-env2 テレヘルスサービス」遠隔医療にコミュニケーションロボットを活用「お尻が痛い」などデリケートな症状でも医

師に相談することの恥ずかしさの軽減を図るサービス

R-env連舞 ハッカソン

日時場所2016年6月18日~19日FabCafe TokyoMTRL渋谷 テーマ「ロボットldquoならではrdquoのサービスを作ろう」

Copyrightcopy2017 NTT corp All Rights Reserved 43

R-env連舞のホームページ

httpswwwr-envjp

Copyrightcopy2017 NTT corp All Rights Reserved 44

国際ロボット競技会(World Robot Summit)

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

Copyrightcopy2017 NTT corp All Rights Reserved 45

WRSのスケジュール

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

ldquo人の可能性を広げるldquo

諦めなければならなかった事をひとつでも多く実現するインタラクションサービス

様々なパートナと連携して実現していきます

Page 9: NTTにおけるロボティクス技術の展開と展望 · 深層学習型 (ディープニューラルネット) 約4000万パターンの音声を 表現可能 従来型(混合分布)

Copyrightcopy2017 NTT corp All Rights Reserved 9

ロボット大機利 (ニコニコ超会議2017)

ロボットセンサ大画面プロジェクションマッピングスイッチ等を連携動作させることで会場と一体となったロボットによる大喜利を実施

Copyrightcopy2017 NTT corp All Rights Reserved 10

NTTグループ連携したサービストライアル

出典日本電信電話報道発表httpwwwnttcojpnews20161607160725ahtml

Copyrightcopy2017 NTT corp All Rights Reserved 11

bull 店舗観光案内システムの実証実験を新宿駅周辺6ヶ所にて実施bull クラウドを活用することで遠隔からの監視メンテナンスbull 利用者は音声認識とタブレットの両方で操作可能

NTT東日本とパートナ企業による実験

新宿中村屋 B2階

タカノ フルーツパーラー B2階

Copyrightcopy2017 NTT corp All Rights Reserved 12

NTT西日本とパートナ企業による実験

bull 近鉄京都駅改札内にて実施

bull 多言語(日本語英語中国語)観光案内を実施bull ロボットの声がけによる人の誘引や非言語動作(頷き等)による自然な対話を検証

Copyrightcopy2017 NTT corp All Rights Reserved 13

アジェンダ

1NTTグループのロボティクスへの取り組み

~ 色々なモノが繋がる世界の実現 ~

2ロボットに必要な機能

~ NTTのAI技術 corevoreg(コレボ)~

3ロボット進化の方向性

~ 人とロボットの共生社会 ~

Copyrightcopy2017 NTT corp All Rights Reserved 14

NTTグループのAI技術「corevo」

<ロゴイメージ>

corevo co-revolution

AIを活用しさまざまなプレイヤーの皆様とのコラボレーションによって無限の可能性を秘めた多くの価値が生み出される様子をロゴで表現

2016年5月30日報道発表

NTTグループのAI技術「corevo reg (コレボ)」によるコラボレーションを展開

~さまざまなプレイヤーの皆様とのコラボレーションを通じて一緒に革新(レボリューション)を起こす~

Copyrightcopy2017 NTT corp All Rights Reserved 15

corevo regのホームページ

ホームページhttpwwwnttcojpcorevo

Copyrightcopy2017 NTT corp All Rights Reserved 16

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 17

corevo regの構成技術モジュール群

Copyrightcopy2017 NTT corp All Rights Reserved 18

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 19

定型業務の代替支援 日常生活の拡張(移動コミュニケーション支援)

知的活動の支援

整理された知識(知識ベースルール)

解読

デザイン

知識の探索

インタラクション技術

実世界構造化技術映像音声センサ情報など

スマホロボットなどユーザインタフェース

人間理解技術

モビリティ型パーソナルエージェント

テレプレゼンスロボット

コンタクトセンタ窓口業務代替

介護業務代替支援

アイディア創出支援

ヘルスケア

人の発する情報を読み解き意図感情を理解し膨大な知識に基づいて推論し人らしく表現するAI

意図理解対話ロボティクス

暗黙知

基礎技術

翻訳

Agent-AI (人らしさの追求人と共存)

Copyrightcopy2017 NTT corp All Rights Reserved 20

深層学習に基づく音声認識技術

a

ui

eo

音声とのパターンマッチング

深層学習型(ディープニューラルネット)約4000万パターンの音声を表現可能

従来型(混合分布)約10万パターンの音声を表現可能

音声 音素

音声の特徴をディープニューラルネットで精緻に表現することにより音声認識の精度を大幅に改善(多段構造により膨大な組合せを考慮)

公共エリアの騒がしい環境で収録された音声を認識する国際技術評価CHiME-3 (201512実施) でNTTは参加25機関中トップの精度を達成

0 5 10 15 20 25 30 35

各参加団体の単語認識誤り率()

<国際技術評価CHiME-3の結果>

標準的なディープニューラル音声認識 334

NTT 58

Agent-AI

本技術を採用した音声認識エンジン開発を実施中

Copyrightcopy2017 NTT corp All Rights Reserved 21

高騒音下での音声集音インテリジェントマイク技術

複数のマイクを組み合わせ100dB(デシベル)を越える高い騒音環境下(ガード下のような環境)でも特定方向の話者の声をとらえて明瞭な音声通話や高精度な音声認識を実現

様々な音が混合

周波数

振幅

インテリジェントマイク処理

マイク1マイク2

雑音抑圧された信号

周波数

振幅

音声通話音声認識に活用騒音

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 22

高機能なロボットやIoTデバイスを「作る」のではなくそれらを複数組み合わせて「使う」ための技術

ロボットをはじめとする複数のデバイスを組み合わせたデバイス連携サービス作りを非エンジニア層にも可能にすることを目的に開発

【特徴1】メーカーや業種問わず多様なデバイスを連携制御可能

【特徴2】ブラウザ上のGUIツールにより簡単にデバイス連携サービスを開発可能

ロボット連携技術 「R-env連舞reg 」Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 23

R-env連舞を使ったカスタマイズ例

現在のデモの流れ

Copyrightcopy2017 NTT corp All Rights Reserved 24

開始場面のカスタマイズ

新しい状態が追加される

新しい状態の追加

Copyrightcopy2017 NTT corp All Rights Reserved 25

動作対象を選択し実行したい動作を選択(SOTAにモーションを追加)

動かしたいデバイスを選択

(SOTA)

実行したい動作を選択(手を振る)

Copyrightcopy2017 NTT corp All Rights Reserved 26

動作対象を選択し実行したい動作を選択(SOTAに発話させたい文章を追加)

動かしたいデバイスを選択

(SOTA)

実行したい動作を選択

(発話を選び「相談会実施中」

と入力)

Copyrightcopy2017 NTT corp All Rights Reserved 27

状態の遷移先を切り替える

状態遷移先を切り替える

Copyrightcopy2017 NTT corp All Rights Reserved 28

ユーザーの質問は多様であり同じ意味の多様な表現を理解する必要がある(ex ldquo国際電話をかけたいrdquo = ldquo外国に電話する方法を教えてrdquo)

ユーザーの質問とFAQコンテンツの質問が同一の意味であるかを判定 NTT研究所技術は大規模な日本語意味辞書を用いて日本語特有の多様

な表現を理解可能

発話意図理解技術(FAQ検索技術)

同一性の判定

QAコンテンツ

概念に基づく判定モデル

【質問】ldquo国際電話をかけたいrdquo 外国に電話する方法

を教えてくださいrdquoldquoまず設定画面で~rdquo

【質問】 【回答】

2具体

3主体

4人 362組織

389場所

1000抽象

372団体党派

373団体

大規模意味辞書1名詞テキストコーパス

機械学習

CGM文書コールセンタ応対ログ

~多様な言い回しの獲得~ ~同一の意味を理解~

日本語解析

Agent-AI

他社との性能比較でも優位性を確認

Copyrightcopy2017 NTT corp All Rights Reserved 29

雑談対話技術

ユーザと多様な話題で雑談するための技術ユーザの発話を解析し話題と意図を抽出

インターネット上のコンテンツを言語処理技術によって整理し対話知識とすることで多様な話題に対しても妥当な発話を生成

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 30

copy2015 Vstone

複数ロボットを用いた雑談対話技術

複数の音声対話ロボットを協調させ音声認識や発話生成の誤りに気づかせずに対話を継続できる技術従来と同じ性能のシステムであっても人の認知特性を利用することで印象を大きく改善

明日は寒くなるみたいだからコート着なきゃ

ふむふむ

今年のコートの流行はチェスターコートだよ

話題連続性に対する要求の低減

ロボットA

蘭がスキー(ラーメンが好きを誤認識)

ふむふむ(誤認識を検知)

僕は焼き肉が好きだよ(ロボット同士の対話に移行)

食べ物だったら何が好き

音声認識誤り検出時の破綻回避

ロボットAが一旦発話を受け止めdarr

話者をロボットBに切り替えdarr

話題が逸脱した場合の違和感を軽減

音声認識結果が対話の流れから逸脱darr

音声認識の誤りと判断darr

ロボット同士の対話に移行し対話破綻を回避

ロボットA

ロボットB

大阪大学 石黒研との共同研究成果

ロボットB

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 31

アングルフリー物体検索技術

異なるアングルから撮影しても精度よく物体を認識し関連情報を提示可能 事前に準備する参照画像数を従来の110程度まで大幅に削減準備コス

トの削減可能

参照画像DB

NW

撮影画像

被写体付加情報

撮影した画像に写った物体を認識

認識検出結果

従来の約110の登録画像枚数

スマホ等で物体を撮影

撮影アングルが異なっても他の物体が写りこんでいても同じ物体として認識

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 32

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 33

Heart-Touching-AI (無意識人のこころに触れる)

本人にも意識されない人の心と身体を読み解き深層心理知性本能を理解するAI

心的状態神経活動筋活動を読み解き働きかけ

教育

スポーツ

エンターテインメント 健康美容

子育て保育

医療カウンセリングコミュニケーション科学

人間科学の成果を発揮する領域

Copyrightcopy2017 NTT corp All Rights Reserved 34

目の動きからユーザの「ココロ」を推定

眼球運動瞳孔の大きさに基づくマインドリーティング コンピュータでしか認識できない人間の潜在的な心の動きを読み取る

「人間を超える」感情認識能力をもったAI

Heart-Touching-AI

好みの推定

対象者の各種状態を推定

特徴抽出

モデル生成

分類器(モデル)

ラベル(評価値)

データ計測

瞳孔反応

マイクロサッカード

Time [s]

Posi

tion [

deg]

Time [s]

Pupil

size

change

[z-

score

]

0 1 2 3

0

2

-3 NTT独自のアルゴリズムを適用

or

顔画像音楽など

推定(分類)

注意状態の推定 眠気の推定

Copyrightcopy2017 NTT corp All Rights Reserved 35

体感型釣りゲーム

ドライブ体験

ドライブ映像のカーブに合わせてハンドルが引っ張られる感覚を体感

釣りで魚が食いついたことで糸が引っ張られる感覚を体感

手をみちびく感覚を振動デバイスで実現

振動で人を導く「ぶるなび」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 36

止まっている対象に動きの印象を与えるプロジェクションマッピング

質感編集技術

原画像

変換後

変幻灯技術(画像検索との融合)

画像と動きシナリオ(動き方タイミング等)のデータベース

撮影画像列

差分画像列

アニメ画像列生成

画像検索

姿勢推定

検索結果の動きシナリオ

対象物

プロジェクション

アニメ画像列

乾いた風景

濡れたように

差分計算

壁紙が表情を変える「変幻灯」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 37

アジェンダ

1NTTグループのロボティクスへの取り組み

~ 色々なモノが繋がる世界の実現 ~

2ロボットに必要な機能

~ NTTのAI技術 corevoreg(コレボ)~

3ロボット進化の方向性

~ 人とロボットの共生社会 ~

Copyrightcopy2017 NTT corp All Rights Reserved 38

一人に一台のパーソナルエージェント

スマホ等

Webサービス

Bluetooth Bluetooth携帯電話網

スマホ等

音声通話

音声+視線+動作

音声+視線+動作

Copyrightcopy2017 NTT corp All Rights Reserved 39

パーソナルモビリティ自律走行技術の進展

WHILLNTTドコモ全国初「免許不要」のパーソナルモビリティシェアリングサービスの実証実験を横浜で実施(2015年)

横浜赤レンガ倉庫2号館赤レンガパーク

日本丸メモリアルパーク

出典WHILLプレスリリースhttpswhilljpnews5618

Copyrightcopy2017 NTT corp All Rights Reserved 40

人と移動ロボットの共生社会

さまざまな移動ロボットが人の生活空間を移動する世界では移動ロボットが自律的に安全に移動することに加えて周囲の人や移動ロボットを操作する人が協力して環境へ適応し安全な動作を生成していくということが必要

移動ロボットを使う人も周囲の人も誰もが安心してロボットと共生できるサービスの実現

さまざまなタイプの移動ロボットが普及し人の日常空間に共存する将来

移動ロボットを操作する初心者高齢者が増加しそれに伴う事故も増加 自律移動ロボットも完全に安全にすることはできず人や他の移動ロボッ

トとの衝突が発生

Copyrightcopy2017 NTT corp All Rights Reserved 41

ldquoR-env連舞rdquoInnovation

Hub

多様なロボット活用サービスの普及に向けて

ハードウェアメーカーと連携した

「デバイスハンズオン」rarr個別デバイスの利用者拡大

アプリ開発者サービス事業者と連携した

「ハッカソン」rarrデバイス連携サービスプロトタイプの蓄積

パートナと連携した

「フィールドトライアル」

rarrデバイス連携サービスの有効性検証

パートナNTTグループ連携による

「ビジネス創出」

rarrデバイス連携サービスのビジネス化

Copyrightcopy2017 NTT corp All Rights Reserved 42

最優秀賞チーム雅「箱入り娘と箱贈り親父」父親と娘のコミュニケーションを育むためにロボットが父親の代わりに離れて暮らす娘へ

メッセージを届けてくれるサービス

優秀賞Team avata「R-env2 テレヘルスサービス」遠隔医療にコミュニケーションロボットを活用「お尻が痛い」などデリケートな症状でも医

師に相談することの恥ずかしさの軽減を図るサービス

R-env連舞 ハッカソン

日時場所2016年6月18日~19日FabCafe TokyoMTRL渋谷 テーマ「ロボットldquoならではrdquoのサービスを作ろう」

Copyrightcopy2017 NTT corp All Rights Reserved 43

R-env連舞のホームページ

httpswwwr-envjp

Copyrightcopy2017 NTT corp All Rights Reserved 44

国際ロボット競技会(World Robot Summit)

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

Copyrightcopy2017 NTT corp All Rights Reserved 45

WRSのスケジュール

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

ldquo人の可能性を広げるldquo

諦めなければならなかった事をひとつでも多く実現するインタラクションサービス

様々なパートナと連携して実現していきます

Page 10: NTTにおけるロボティクス技術の展開と展望 · 深層学習型 (ディープニューラルネット) 約4000万パターンの音声を 表現可能 従来型(混合分布)

Copyrightcopy2017 NTT corp All Rights Reserved 10

NTTグループ連携したサービストライアル

出典日本電信電話報道発表httpwwwnttcojpnews20161607160725ahtml

Copyrightcopy2017 NTT corp All Rights Reserved 11

bull 店舗観光案内システムの実証実験を新宿駅周辺6ヶ所にて実施bull クラウドを活用することで遠隔からの監視メンテナンスbull 利用者は音声認識とタブレットの両方で操作可能

NTT東日本とパートナ企業による実験

新宿中村屋 B2階

タカノ フルーツパーラー B2階

Copyrightcopy2017 NTT corp All Rights Reserved 12

NTT西日本とパートナ企業による実験

bull 近鉄京都駅改札内にて実施

bull 多言語(日本語英語中国語)観光案内を実施bull ロボットの声がけによる人の誘引や非言語動作(頷き等)による自然な対話を検証

Copyrightcopy2017 NTT corp All Rights Reserved 13

アジェンダ

1NTTグループのロボティクスへの取り組み

~ 色々なモノが繋がる世界の実現 ~

2ロボットに必要な機能

~ NTTのAI技術 corevoreg(コレボ)~

3ロボット進化の方向性

~ 人とロボットの共生社会 ~

Copyrightcopy2017 NTT corp All Rights Reserved 14

NTTグループのAI技術「corevo」

<ロゴイメージ>

corevo co-revolution

AIを活用しさまざまなプレイヤーの皆様とのコラボレーションによって無限の可能性を秘めた多くの価値が生み出される様子をロゴで表現

2016年5月30日報道発表

NTTグループのAI技術「corevo reg (コレボ)」によるコラボレーションを展開

~さまざまなプレイヤーの皆様とのコラボレーションを通じて一緒に革新(レボリューション)を起こす~

Copyrightcopy2017 NTT corp All Rights Reserved 15

corevo regのホームページ

ホームページhttpwwwnttcojpcorevo

Copyrightcopy2017 NTT corp All Rights Reserved 16

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 17

corevo regの構成技術モジュール群

Copyrightcopy2017 NTT corp All Rights Reserved 18

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 19

定型業務の代替支援 日常生活の拡張(移動コミュニケーション支援)

知的活動の支援

整理された知識(知識ベースルール)

解読

デザイン

知識の探索

インタラクション技術

実世界構造化技術映像音声センサ情報など

スマホロボットなどユーザインタフェース

人間理解技術

モビリティ型パーソナルエージェント

テレプレゼンスロボット

コンタクトセンタ窓口業務代替

介護業務代替支援

アイディア創出支援

ヘルスケア

人の発する情報を読み解き意図感情を理解し膨大な知識に基づいて推論し人らしく表現するAI

意図理解対話ロボティクス

暗黙知

基礎技術

翻訳

Agent-AI (人らしさの追求人と共存)

Copyrightcopy2017 NTT corp All Rights Reserved 20

深層学習に基づく音声認識技術

a

ui

eo

音声とのパターンマッチング

深層学習型(ディープニューラルネット)約4000万パターンの音声を表現可能

従来型(混合分布)約10万パターンの音声を表現可能

音声 音素

音声の特徴をディープニューラルネットで精緻に表現することにより音声認識の精度を大幅に改善(多段構造により膨大な組合せを考慮)

公共エリアの騒がしい環境で収録された音声を認識する国際技術評価CHiME-3 (201512実施) でNTTは参加25機関中トップの精度を達成

0 5 10 15 20 25 30 35

各参加団体の単語認識誤り率()

<国際技術評価CHiME-3の結果>

標準的なディープニューラル音声認識 334

NTT 58

Agent-AI

本技術を採用した音声認識エンジン開発を実施中

Copyrightcopy2017 NTT corp All Rights Reserved 21

高騒音下での音声集音インテリジェントマイク技術

複数のマイクを組み合わせ100dB(デシベル)を越える高い騒音環境下(ガード下のような環境)でも特定方向の話者の声をとらえて明瞭な音声通話や高精度な音声認識を実現

様々な音が混合

周波数

振幅

インテリジェントマイク処理

マイク1マイク2

雑音抑圧された信号

周波数

振幅

音声通話音声認識に活用騒音

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 22

高機能なロボットやIoTデバイスを「作る」のではなくそれらを複数組み合わせて「使う」ための技術

ロボットをはじめとする複数のデバイスを組み合わせたデバイス連携サービス作りを非エンジニア層にも可能にすることを目的に開発

【特徴1】メーカーや業種問わず多様なデバイスを連携制御可能

【特徴2】ブラウザ上のGUIツールにより簡単にデバイス連携サービスを開発可能

ロボット連携技術 「R-env連舞reg 」Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 23

R-env連舞を使ったカスタマイズ例

現在のデモの流れ

Copyrightcopy2017 NTT corp All Rights Reserved 24

開始場面のカスタマイズ

新しい状態が追加される

新しい状態の追加

Copyrightcopy2017 NTT corp All Rights Reserved 25

動作対象を選択し実行したい動作を選択(SOTAにモーションを追加)

動かしたいデバイスを選択

(SOTA)

実行したい動作を選択(手を振る)

Copyrightcopy2017 NTT corp All Rights Reserved 26

動作対象を選択し実行したい動作を選択(SOTAに発話させたい文章を追加)

動かしたいデバイスを選択

(SOTA)

実行したい動作を選択

(発話を選び「相談会実施中」

と入力)

Copyrightcopy2017 NTT corp All Rights Reserved 27

状態の遷移先を切り替える

状態遷移先を切り替える

Copyrightcopy2017 NTT corp All Rights Reserved 28

ユーザーの質問は多様であり同じ意味の多様な表現を理解する必要がある(ex ldquo国際電話をかけたいrdquo = ldquo外国に電話する方法を教えてrdquo)

ユーザーの質問とFAQコンテンツの質問が同一の意味であるかを判定 NTT研究所技術は大規模な日本語意味辞書を用いて日本語特有の多様

な表現を理解可能

発話意図理解技術(FAQ検索技術)

同一性の判定

QAコンテンツ

概念に基づく判定モデル

【質問】ldquo国際電話をかけたいrdquo 外国に電話する方法

を教えてくださいrdquoldquoまず設定画面で~rdquo

【質問】 【回答】

2具体

3主体

4人 362組織

389場所

1000抽象

372団体党派

373団体

大規模意味辞書1名詞テキストコーパス

機械学習

CGM文書コールセンタ応対ログ

~多様な言い回しの獲得~ ~同一の意味を理解~

日本語解析

Agent-AI

他社との性能比較でも優位性を確認

Copyrightcopy2017 NTT corp All Rights Reserved 29

雑談対話技術

ユーザと多様な話題で雑談するための技術ユーザの発話を解析し話題と意図を抽出

インターネット上のコンテンツを言語処理技術によって整理し対話知識とすることで多様な話題に対しても妥当な発話を生成

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 30

copy2015 Vstone

複数ロボットを用いた雑談対話技術

複数の音声対話ロボットを協調させ音声認識や発話生成の誤りに気づかせずに対話を継続できる技術従来と同じ性能のシステムであっても人の認知特性を利用することで印象を大きく改善

明日は寒くなるみたいだからコート着なきゃ

ふむふむ

今年のコートの流行はチェスターコートだよ

話題連続性に対する要求の低減

ロボットA

蘭がスキー(ラーメンが好きを誤認識)

ふむふむ(誤認識を検知)

僕は焼き肉が好きだよ(ロボット同士の対話に移行)

食べ物だったら何が好き

音声認識誤り検出時の破綻回避

ロボットAが一旦発話を受け止めdarr

話者をロボットBに切り替えdarr

話題が逸脱した場合の違和感を軽減

音声認識結果が対話の流れから逸脱darr

音声認識の誤りと判断darr

ロボット同士の対話に移行し対話破綻を回避

ロボットA

ロボットB

大阪大学 石黒研との共同研究成果

ロボットB

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 31

アングルフリー物体検索技術

異なるアングルから撮影しても精度よく物体を認識し関連情報を提示可能 事前に準備する参照画像数を従来の110程度まで大幅に削減準備コス

トの削減可能

参照画像DB

NW

撮影画像

被写体付加情報

撮影した画像に写った物体を認識

認識検出結果

従来の約110の登録画像枚数

スマホ等で物体を撮影

撮影アングルが異なっても他の物体が写りこんでいても同じ物体として認識

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 32

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 33

Heart-Touching-AI (無意識人のこころに触れる)

本人にも意識されない人の心と身体を読み解き深層心理知性本能を理解するAI

心的状態神経活動筋活動を読み解き働きかけ

教育

スポーツ

エンターテインメント 健康美容

子育て保育

医療カウンセリングコミュニケーション科学

人間科学の成果を発揮する領域

Copyrightcopy2017 NTT corp All Rights Reserved 34

目の動きからユーザの「ココロ」を推定

眼球運動瞳孔の大きさに基づくマインドリーティング コンピュータでしか認識できない人間の潜在的な心の動きを読み取る

「人間を超える」感情認識能力をもったAI

Heart-Touching-AI

好みの推定

対象者の各種状態を推定

特徴抽出

モデル生成

分類器(モデル)

ラベル(評価値)

データ計測

瞳孔反応

マイクロサッカード

Time [s]

Posi

tion [

deg]

Time [s]

Pupil

size

change

[z-

score

]

0 1 2 3

0

2

-3 NTT独自のアルゴリズムを適用

or

顔画像音楽など

推定(分類)

注意状態の推定 眠気の推定

Copyrightcopy2017 NTT corp All Rights Reserved 35

体感型釣りゲーム

ドライブ体験

ドライブ映像のカーブに合わせてハンドルが引っ張られる感覚を体感

釣りで魚が食いついたことで糸が引っ張られる感覚を体感

手をみちびく感覚を振動デバイスで実現

振動で人を導く「ぶるなび」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 36

止まっている対象に動きの印象を与えるプロジェクションマッピング

質感編集技術

原画像

変換後

変幻灯技術(画像検索との融合)

画像と動きシナリオ(動き方タイミング等)のデータベース

撮影画像列

差分画像列

アニメ画像列生成

画像検索

姿勢推定

検索結果の動きシナリオ

対象物

プロジェクション

アニメ画像列

乾いた風景

濡れたように

差分計算

壁紙が表情を変える「変幻灯」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 37

アジェンダ

1NTTグループのロボティクスへの取り組み

~ 色々なモノが繋がる世界の実現 ~

2ロボットに必要な機能

~ NTTのAI技術 corevoreg(コレボ)~

3ロボット進化の方向性

~ 人とロボットの共生社会 ~

Copyrightcopy2017 NTT corp All Rights Reserved 38

一人に一台のパーソナルエージェント

スマホ等

Webサービス

Bluetooth Bluetooth携帯電話網

スマホ等

音声通話

音声+視線+動作

音声+視線+動作

Copyrightcopy2017 NTT corp All Rights Reserved 39

パーソナルモビリティ自律走行技術の進展

WHILLNTTドコモ全国初「免許不要」のパーソナルモビリティシェアリングサービスの実証実験を横浜で実施(2015年)

横浜赤レンガ倉庫2号館赤レンガパーク

日本丸メモリアルパーク

出典WHILLプレスリリースhttpswhilljpnews5618

Copyrightcopy2017 NTT corp All Rights Reserved 40

人と移動ロボットの共生社会

さまざまな移動ロボットが人の生活空間を移動する世界では移動ロボットが自律的に安全に移動することに加えて周囲の人や移動ロボットを操作する人が協力して環境へ適応し安全な動作を生成していくということが必要

移動ロボットを使う人も周囲の人も誰もが安心してロボットと共生できるサービスの実現

さまざまなタイプの移動ロボットが普及し人の日常空間に共存する将来

移動ロボットを操作する初心者高齢者が増加しそれに伴う事故も増加 自律移動ロボットも完全に安全にすることはできず人や他の移動ロボッ

トとの衝突が発生

Copyrightcopy2017 NTT corp All Rights Reserved 41

ldquoR-env連舞rdquoInnovation

Hub

多様なロボット活用サービスの普及に向けて

ハードウェアメーカーと連携した

「デバイスハンズオン」rarr個別デバイスの利用者拡大

アプリ開発者サービス事業者と連携した

「ハッカソン」rarrデバイス連携サービスプロトタイプの蓄積

パートナと連携した

「フィールドトライアル」

rarrデバイス連携サービスの有効性検証

パートナNTTグループ連携による

「ビジネス創出」

rarrデバイス連携サービスのビジネス化

Copyrightcopy2017 NTT corp All Rights Reserved 42

最優秀賞チーム雅「箱入り娘と箱贈り親父」父親と娘のコミュニケーションを育むためにロボットが父親の代わりに離れて暮らす娘へ

メッセージを届けてくれるサービス

優秀賞Team avata「R-env2 テレヘルスサービス」遠隔医療にコミュニケーションロボットを活用「お尻が痛い」などデリケートな症状でも医

師に相談することの恥ずかしさの軽減を図るサービス

R-env連舞 ハッカソン

日時場所2016年6月18日~19日FabCafe TokyoMTRL渋谷 テーマ「ロボットldquoならではrdquoのサービスを作ろう」

Copyrightcopy2017 NTT corp All Rights Reserved 43

R-env連舞のホームページ

httpswwwr-envjp

Copyrightcopy2017 NTT corp All Rights Reserved 44

国際ロボット競技会(World Robot Summit)

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

Copyrightcopy2017 NTT corp All Rights Reserved 45

WRSのスケジュール

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

ldquo人の可能性を広げるldquo

諦めなければならなかった事をひとつでも多く実現するインタラクションサービス

様々なパートナと連携して実現していきます

Page 11: NTTにおけるロボティクス技術の展開と展望 · 深層学習型 (ディープニューラルネット) 約4000万パターンの音声を 表現可能 従来型(混合分布)

Copyrightcopy2017 NTT corp All Rights Reserved 11

bull 店舗観光案内システムの実証実験を新宿駅周辺6ヶ所にて実施bull クラウドを活用することで遠隔からの監視メンテナンスbull 利用者は音声認識とタブレットの両方で操作可能

NTT東日本とパートナ企業による実験

新宿中村屋 B2階

タカノ フルーツパーラー B2階

Copyrightcopy2017 NTT corp All Rights Reserved 12

NTT西日本とパートナ企業による実験

bull 近鉄京都駅改札内にて実施

bull 多言語(日本語英語中国語)観光案内を実施bull ロボットの声がけによる人の誘引や非言語動作(頷き等)による自然な対話を検証

Copyrightcopy2017 NTT corp All Rights Reserved 13

アジェンダ

1NTTグループのロボティクスへの取り組み

~ 色々なモノが繋がる世界の実現 ~

2ロボットに必要な機能

~ NTTのAI技術 corevoreg(コレボ)~

3ロボット進化の方向性

~ 人とロボットの共生社会 ~

Copyrightcopy2017 NTT corp All Rights Reserved 14

NTTグループのAI技術「corevo」

<ロゴイメージ>

corevo co-revolution

AIを活用しさまざまなプレイヤーの皆様とのコラボレーションによって無限の可能性を秘めた多くの価値が生み出される様子をロゴで表現

2016年5月30日報道発表

NTTグループのAI技術「corevo reg (コレボ)」によるコラボレーションを展開

~さまざまなプレイヤーの皆様とのコラボレーションを通じて一緒に革新(レボリューション)を起こす~

Copyrightcopy2017 NTT corp All Rights Reserved 15

corevo regのホームページ

ホームページhttpwwwnttcojpcorevo

Copyrightcopy2017 NTT corp All Rights Reserved 16

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 17

corevo regの構成技術モジュール群

Copyrightcopy2017 NTT corp All Rights Reserved 18

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 19

定型業務の代替支援 日常生活の拡張(移動コミュニケーション支援)

知的活動の支援

整理された知識(知識ベースルール)

解読

デザイン

知識の探索

インタラクション技術

実世界構造化技術映像音声センサ情報など

スマホロボットなどユーザインタフェース

人間理解技術

モビリティ型パーソナルエージェント

テレプレゼンスロボット

コンタクトセンタ窓口業務代替

介護業務代替支援

アイディア創出支援

ヘルスケア

人の発する情報を読み解き意図感情を理解し膨大な知識に基づいて推論し人らしく表現するAI

意図理解対話ロボティクス

暗黙知

基礎技術

翻訳

Agent-AI (人らしさの追求人と共存)

Copyrightcopy2017 NTT corp All Rights Reserved 20

深層学習に基づく音声認識技術

a

ui

eo

音声とのパターンマッチング

深層学習型(ディープニューラルネット)約4000万パターンの音声を表現可能

従来型(混合分布)約10万パターンの音声を表現可能

音声 音素

音声の特徴をディープニューラルネットで精緻に表現することにより音声認識の精度を大幅に改善(多段構造により膨大な組合せを考慮)

公共エリアの騒がしい環境で収録された音声を認識する国際技術評価CHiME-3 (201512実施) でNTTは参加25機関中トップの精度を達成

0 5 10 15 20 25 30 35

各参加団体の単語認識誤り率()

<国際技術評価CHiME-3の結果>

標準的なディープニューラル音声認識 334

NTT 58

Agent-AI

本技術を採用した音声認識エンジン開発を実施中

Copyrightcopy2017 NTT corp All Rights Reserved 21

高騒音下での音声集音インテリジェントマイク技術

複数のマイクを組み合わせ100dB(デシベル)を越える高い騒音環境下(ガード下のような環境)でも特定方向の話者の声をとらえて明瞭な音声通話や高精度な音声認識を実現

様々な音が混合

周波数

振幅

インテリジェントマイク処理

マイク1マイク2

雑音抑圧された信号

周波数

振幅

音声通話音声認識に活用騒音

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 22

高機能なロボットやIoTデバイスを「作る」のではなくそれらを複数組み合わせて「使う」ための技術

ロボットをはじめとする複数のデバイスを組み合わせたデバイス連携サービス作りを非エンジニア層にも可能にすることを目的に開発

【特徴1】メーカーや業種問わず多様なデバイスを連携制御可能

【特徴2】ブラウザ上のGUIツールにより簡単にデバイス連携サービスを開発可能

ロボット連携技術 「R-env連舞reg 」Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 23

R-env連舞を使ったカスタマイズ例

現在のデモの流れ

Copyrightcopy2017 NTT corp All Rights Reserved 24

開始場面のカスタマイズ

新しい状態が追加される

新しい状態の追加

Copyrightcopy2017 NTT corp All Rights Reserved 25

動作対象を選択し実行したい動作を選択(SOTAにモーションを追加)

動かしたいデバイスを選択

(SOTA)

実行したい動作を選択(手を振る)

Copyrightcopy2017 NTT corp All Rights Reserved 26

動作対象を選択し実行したい動作を選択(SOTAに発話させたい文章を追加)

動かしたいデバイスを選択

(SOTA)

実行したい動作を選択

(発話を選び「相談会実施中」

と入力)

Copyrightcopy2017 NTT corp All Rights Reserved 27

状態の遷移先を切り替える

状態遷移先を切り替える

Copyrightcopy2017 NTT corp All Rights Reserved 28

ユーザーの質問は多様であり同じ意味の多様な表現を理解する必要がある(ex ldquo国際電話をかけたいrdquo = ldquo外国に電話する方法を教えてrdquo)

ユーザーの質問とFAQコンテンツの質問が同一の意味であるかを判定 NTT研究所技術は大規模な日本語意味辞書を用いて日本語特有の多様

な表現を理解可能

発話意図理解技術(FAQ検索技術)

同一性の判定

QAコンテンツ

概念に基づく判定モデル

【質問】ldquo国際電話をかけたいrdquo 外国に電話する方法

を教えてくださいrdquoldquoまず設定画面で~rdquo

【質問】 【回答】

2具体

3主体

4人 362組織

389場所

1000抽象

372団体党派

373団体

大規模意味辞書1名詞テキストコーパス

機械学習

CGM文書コールセンタ応対ログ

~多様な言い回しの獲得~ ~同一の意味を理解~

日本語解析

Agent-AI

他社との性能比較でも優位性を確認

Copyrightcopy2017 NTT corp All Rights Reserved 29

雑談対話技術

ユーザと多様な話題で雑談するための技術ユーザの発話を解析し話題と意図を抽出

インターネット上のコンテンツを言語処理技術によって整理し対話知識とすることで多様な話題に対しても妥当な発話を生成

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 30

copy2015 Vstone

複数ロボットを用いた雑談対話技術

複数の音声対話ロボットを協調させ音声認識や発話生成の誤りに気づかせずに対話を継続できる技術従来と同じ性能のシステムであっても人の認知特性を利用することで印象を大きく改善

明日は寒くなるみたいだからコート着なきゃ

ふむふむ

今年のコートの流行はチェスターコートだよ

話題連続性に対する要求の低減

ロボットA

蘭がスキー(ラーメンが好きを誤認識)

ふむふむ(誤認識を検知)

僕は焼き肉が好きだよ(ロボット同士の対話に移行)

食べ物だったら何が好き

音声認識誤り検出時の破綻回避

ロボットAが一旦発話を受け止めdarr

話者をロボットBに切り替えdarr

話題が逸脱した場合の違和感を軽減

音声認識結果が対話の流れから逸脱darr

音声認識の誤りと判断darr

ロボット同士の対話に移行し対話破綻を回避

ロボットA

ロボットB

大阪大学 石黒研との共同研究成果

ロボットB

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 31

アングルフリー物体検索技術

異なるアングルから撮影しても精度よく物体を認識し関連情報を提示可能 事前に準備する参照画像数を従来の110程度まで大幅に削減準備コス

トの削減可能

参照画像DB

NW

撮影画像

被写体付加情報

撮影した画像に写った物体を認識

認識検出結果

従来の約110の登録画像枚数

スマホ等で物体を撮影

撮影アングルが異なっても他の物体が写りこんでいても同じ物体として認識

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 32

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 33

Heart-Touching-AI (無意識人のこころに触れる)

本人にも意識されない人の心と身体を読み解き深層心理知性本能を理解するAI

心的状態神経活動筋活動を読み解き働きかけ

教育

スポーツ

エンターテインメント 健康美容

子育て保育

医療カウンセリングコミュニケーション科学

人間科学の成果を発揮する領域

Copyrightcopy2017 NTT corp All Rights Reserved 34

目の動きからユーザの「ココロ」を推定

眼球運動瞳孔の大きさに基づくマインドリーティング コンピュータでしか認識できない人間の潜在的な心の動きを読み取る

「人間を超える」感情認識能力をもったAI

Heart-Touching-AI

好みの推定

対象者の各種状態を推定

特徴抽出

モデル生成

分類器(モデル)

ラベル(評価値)

データ計測

瞳孔反応

マイクロサッカード

Time [s]

Posi

tion [

deg]

Time [s]

Pupil

size

change

[z-

score

]

0 1 2 3

0

2

-3 NTT独自のアルゴリズムを適用

or

顔画像音楽など

推定(分類)

注意状態の推定 眠気の推定

Copyrightcopy2017 NTT corp All Rights Reserved 35

体感型釣りゲーム

ドライブ体験

ドライブ映像のカーブに合わせてハンドルが引っ張られる感覚を体感

釣りで魚が食いついたことで糸が引っ張られる感覚を体感

手をみちびく感覚を振動デバイスで実現

振動で人を導く「ぶるなび」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 36

止まっている対象に動きの印象を与えるプロジェクションマッピング

質感編集技術

原画像

変換後

変幻灯技術(画像検索との融合)

画像と動きシナリオ(動き方タイミング等)のデータベース

撮影画像列

差分画像列

アニメ画像列生成

画像検索

姿勢推定

検索結果の動きシナリオ

対象物

プロジェクション

アニメ画像列

乾いた風景

濡れたように

差分計算

壁紙が表情を変える「変幻灯」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 37

アジェンダ

1NTTグループのロボティクスへの取り組み

~ 色々なモノが繋がる世界の実現 ~

2ロボットに必要な機能

~ NTTのAI技術 corevoreg(コレボ)~

3ロボット進化の方向性

~ 人とロボットの共生社会 ~

Copyrightcopy2017 NTT corp All Rights Reserved 38

一人に一台のパーソナルエージェント

スマホ等

Webサービス

Bluetooth Bluetooth携帯電話網

スマホ等

音声通話

音声+視線+動作

音声+視線+動作

Copyrightcopy2017 NTT corp All Rights Reserved 39

パーソナルモビリティ自律走行技術の進展

WHILLNTTドコモ全国初「免許不要」のパーソナルモビリティシェアリングサービスの実証実験を横浜で実施(2015年)

横浜赤レンガ倉庫2号館赤レンガパーク

日本丸メモリアルパーク

出典WHILLプレスリリースhttpswhilljpnews5618

Copyrightcopy2017 NTT corp All Rights Reserved 40

人と移動ロボットの共生社会

さまざまな移動ロボットが人の生活空間を移動する世界では移動ロボットが自律的に安全に移動することに加えて周囲の人や移動ロボットを操作する人が協力して環境へ適応し安全な動作を生成していくということが必要

移動ロボットを使う人も周囲の人も誰もが安心してロボットと共生できるサービスの実現

さまざまなタイプの移動ロボットが普及し人の日常空間に共存する将来

移動ロボットを操作する初心者高齢者が増加しそれに伴う事故も増加 自律移動ロボットも完全に安全にすることはできず人や他の移動ロボッ

トとの衝突が発生

Copyrightcopy2017 NTT corp All Rights Reserved 41

ldquoR-env連舞rdquoInnovation

Hub

多様なロボット活用サービスの普及に向けて

ハードウェアメーカーと連携した

「デバイスハンズオン」rarr個別デバイスの利用者拡大

アプリ開発者サービス事業者と連携した

「ハッカソン」rarrデバイス連携サービスプロトタイプの蓄積

パートナと連携した

「フィールドトライアル」

rarrデバイス連携サービスの有効性検証

パートナNTTグループ連携による

「ビジネス創出」

rarrデバイス連携サービスのビジネス化

Copyrightcopy2017 NTT corp All Rights Reserved 42

最優秀賞チーム雅「箱入り娘と箱贈り親父」父親と娘のコミュニケーションを育むためにロボットが父親の代わりに離れて暮らす娘へ

メッセージを届けてくれるサービス

優秀賞Team avata「R-env2 テレヘルスサービス」遠隔医療にコミュニケーションロボットを活用「お尻が痛い」などデリケートな症状でも医

師に相談することの恥ずかしさの軽減を図るサービス

R-env連舞 ハッカソン

日時場所2016年6月18日~19日FabCafe TokyoMTRL渋谷 テーマ「ロボットldquoならではrdquoのサービスを作ろう」

Copyrightcopy2017 NTT corp All Rights Reserved 43

R-env連舞のホームページ

httpswwwr-envjp

Copyrightcopy2017 NTT corp All Rights Reserved 44

国際ロボット競技会(World Robot Summit)

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

Copyrightcopy2017 NTT corp All Rights Reserved 45

WRSのスケジュール

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

ldquo人の可能性を広げるldquo

諦めなければならなかった事をひとつでも多く実現するインタラクションサービス

様々なパートナと連携して実現していきます

Page 12: NTTにおけるロボティクス技術の展開と展望 · 深層学習型 (ディープニューラルネット) 約4000万パターンの音声を 表現可能 従来型(混合分布)

Copyrightcopy2017 NTT corp All Rights Reserved 12

NTT西日本とパートナ企業による実験

bull 近鉄京都駅改札内にて実施

bull 多言語(日本語英語中国語)観光案内を実施bull ロボットの声がけによる人の誘引や非言語動作(頷き等)による自然な対話を検証

Copyrightcopy2017 NTT corp All Rights Reserved 13

アジェンダ

1NTTグループのロボティクスへの取り組み

~ 色々なモノが繋がる世界の実現 ~

2ロボットに必要な機能

~ NTTのAI技術 corevoreg(コレボ)~

3ロボット進化の方向性

~ 人とロボットの共生社会 ~

Copyrightcopy2017 NTT corp All Rights Reserved 14

NTTグループのAI技術「corevo」

<ロゴイメージ>

corevo co-revolution

AIを活用しさまざまなプレイヤーの皆様とのコラボレーションによって無限の可能性を秘めた多くの価値が生み出される様子をロゴで表現

2016年5月30日報道発表

NTTグループのAI技術「corevo reg (コレボ)」によるコラボレーションを展開

~さまざまなプレイヤーの皆様とのコラボレーションを通じて一緒に革新(レボリューション)を起こす~

Copyrightcopy2017 NTT corp All Rights Reserved 15

corevo regのホームページ

ホームページhttpwwwnttcojpcorevo

Copyrightcopy2017 NTT corp All Rights Reserved 16

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 17

corevo regの構成技術モジュール群

Copyrightcopy2017 NTT corp All Rights Reserved 18

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 19

定型業務の代替支援 日常生活の拡張(移動コミュニケーション支援)

知的活動の支援

整理された知識(知識ベースルール)

解読

デザイン

知識の探索

インタラクション技術

実世界構造化技術映像音声センサ情報など

スマホロボットなどユーザインタフェース

人間理解技術

モビリティ型パーソナルエージェント

テレプレゼンスロボット

コンタクトセンタ窓口業務代替

介護業務代替支援

アイディア創出支援

ヘルスケア

人の発する情報を読み解き意図感情を理解し膨大な知識に基づいて推論し人らしく表現するAI

意図理解対話ロボティクス

暗黙知

基礎技術

翻訳

Agent-AI (人らしさの追求人と共存)

Copyrightcopy2017 NTT corp All Rights Reserved 20

深層学習に基づく音声認識技術

a

ui

eo

音声とのパターンマッチング

深層学習型(ディープニューラルネット)約4000万パターンの音声を表現可能

従来型(混合分布)約10万パターンの音声を表現可能

音声 音素

音声の特徴をディープニューラルネットで精緻に表現することにより音声認識の精度を大幅に改善(多段構造により膨大な組合せを考慮)

公共エリアの騒がしい環境で収録された音声を認識する国際技術評価CHiME-3 (201512実施) でNTTは参加25機関中トップの精度を達成

0 5 10 15 20 25 30 35

各参加団体の単語認識誤り率()

<国際技術評価CHiME-3の結果>

標準的なディープニューラル音声認識 334

NTT 58

Agent-AI

本技術を採用した音声認識エンジン開発を実施中

Copyrightcopy2017 NTT corp All Rights Reserved 21

高騒音下での音声集音インテリジェントマイク技術

複数のマイクを組み合わせ100dB(デシベル)を越える高い騒音環境下(ガード下のような環境)でも特定方向の話者の声をとらえて明瞭な音声通話や高精度な音声認識を実現

様々な音が混合

周波数

振幅

インテリジェントマイク処理

マイク1マイク2

雑音抑圧された信号

周波数

振幅

音声通話音声認識に活用騒音

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 22

高機能なロボットやIoTデバイスを「作る」のではなくそれらを複数組み合わせて「使う」ための技術

ロボットをはじめとする複数のデバイスを組み合わせたデバイス連携サービス作りを非エンジニア層にも可能にすることを目的に開発

【特徴1】メーカーや業種問わず多様なデバイスを連携制御可能

【特徴2】ブラウザ上のGUIツールにより簡単にデバイス連携サービスを開発可能

ロボット連携技術 「R-env連舞reg 」Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 23

R-env連舞を使ったカスタマイズ例

現在のデモの流れ

Copyrightcopy2017 NTT corp All Rights Reserved 24

開始場面のカスタマイズ

新しい状態が追加される

新しい状態の追加

Copyrightcopy2017 NTT corp All Rights Reserved 25

動作対象を選択し実行したい動作を選択(SOTAにモーションを追加)

動かしたいデバイスを選択

(SOTA)

実行したい動作を選択(手を振る)

Copyrightcopy2017 NTT corp All Rights Reserved 26

動作対象を選択し実行したい動作を選択(SOTAに発話させたい文章を追加)

動かしたいデバイスを選択

(SOTA)

実行したい動作を選択

(発話を選び「相談会実施中」

と入力)

Copyrightcopy2017 NTT corp All Rights Reserved 27

状態の遷移先を切り替える

状態遷移先を切り替える

Copyrightcopy2017 NTT corp All Rights Reserved 28

ユーザーの質問は多様であり同じ意味の多様な表現を理解する必要がある(ex ldquo国際電話をかけたいrdquo = ldquo外国に電話する方法を教えてrdquo)

ユーザーの質問とFAQコンテンツの質問が同一の意味であるかを判定 NTT研究所技術は大規模な日本語意味辞書を用いて日本語特有の多様

な表現を理解可能

発話意図理解技術(FAQ検索技術)

同一性の判定

QAコンテンツ

概念に基づく判定モデル

【質問】ldquo国際電話をかけたいrdquo 外国に電話する方法

を教えてくださいrdquoldquoまず設定画面で~rdquo

【質問】 【回答】

2具体

3主体

4人 362組織

389場所

1000抽象

372団体党派

373団体

大規模意味辞書1名詞テキストコーパス

機械学習

CGM文書コールセンタ応対ログ

~多様な言い回しの獲得~ ~同一の意味を理解~

日本語解析

Agent-AI

他社との性能比較でも優位性を確認

Copyrightcopy2017 NTT corp All Rights Reserved 29

雑談対話技術

ユーザと多様な話題で雑談するための技術ユーザの発話を解析し話題と意図を抽出

インターネット上のコンテンツを言語処理技術によって整理し対話知識とすることで多様な話題に対しても妥当な発話を生成

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 30

copy2015 Vstone

複数ロボットを用いた雑談対話技術

複数の音声対話ロボットを協調させ音声認識や発話生成の誤りに気づかせずに対話を継続できる技術従来と同じ性能のシステムであっても人の認知特性を利用することで印象を大きく改善

明日は寒くなるみたいだからコート着なきゃ

ふむふむ

今年のコートの流行はチェスターコートだよ

話題連続性に対する要求の低減

ロボットA

蘭がスキー(ラーメンが好きを誤認識)

ふむふむ(誤認識を検知)

僕は焼き肉が好きだよ(ロボット同士の対話に移行)

食べ物だったら何が好き

音声認識誤り検出時の破綻回避

ロボットAが一旦発話を受け止めdarr

話者をロボットBに切り替えdarr

話題が逸脱した場合の違和感を軽減

音声認識結果が対話の流れから逸脱darr

音声認識の誤りと判断darr

ロボット同士の対話に移行し対話破綻を回避

ロボットA

ロボットB

大阪大学 石黒研との共同研究成果

ロボットB

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 31

アングルフリー物体検索技術

異なるアングルから撮影しても精度よく物体を認識し関連情報を提示可能 事前に準備する参照画像数を従来の110程度まで大幅に削減準備コス

トの削減可能

参照画像DB

NW

撮影画像

被写体付加情報

撮影した画像に写った物体を認識

認識検出結果

従来の約110の登録画像枚数

スマホ等で物体を撮影

撮影アングルが異なっても他の物体が写りこんでいても同じ物体として認識

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 32

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 33

Heart-Touching-AI (無意識人のこころに触れる)

本人にも意識されない人の心と身体を読み解き深層心理知性本能を理解するAI

心的状態神経活動筋活動を読み解き働きかけ

教育

スポーツ

エンターテインメント 健康美容

子育て保育

医療カウンセリングコミュニケーション科学

人間科学の成果を発揮する領域

Copyrightcopy2017 NTT corp All Rights Reserved 34

目の動きからユーザの「ココロ」を推定

眼球運動瞳孔の大きさに基づくマインドリーティング コンピュータでしか認識できない人間の潜在的な心の動きを読み取る

「人間を超える」感情認識能力をもったAI

Heart-Touching-AI

好みの推定

対象者の各種状態を推定

特徴抽出

モデル生成

分類器(モデル)

ラベル(評価値)

データ計測

瞳孔反応

マイクロサッカード

Time [s]

Posi

tion [

deg]

Time [s]

Pupil

size

change

[z-

score

]

0 1 2 3

0

2

-3 NTT独自のアルゴリズムを適用

or

顔画像音楽など

推定(分類)

注意状態の推定 眠気の推定

Copyrightcopy2017 NTT corp All Rights Reserved 35

体感型釣りゲーム

ドライブ体験

ドライブ映像のカーブに合わせてハンドルが引っ張られる感覚を体感

釣りで魚が食いついたことで糸が引っ張られる感覚を体感

手をみちびく感覚を振動デバイスで実現

振動で人を導く「ぶるなび」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 36

止まっている対象に動きの印象を与えるプロジェクションマッピング

質感編集技術

原画像

変換後

変幻灯技術(画像検索との融合)

画像と動きシナリオ(動き方タイミング等)のデータベース

撮影画像列

差分画像列

アニメ画像列生成

画像検索

姿勢推定

検索結果の動きシナリオ

対象物

プロジェクション

アニメ画像列

乾いた風景

濡れたように

差分計算

壁紙が表情を変える「変幻灯」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 37

アジェンダ

1NTTグループのロボティクスへの取り組み

~ 色々なモノが繋がる世界の実現 ~

2ロボットに必要な機能

~ NTTのAI技術 corevoreg(コレボ)~

3ロボット進化の方向性

~ 人とロボットの共生社会 ~

Copyrightcopy2017 NTT corp All Rights Reserved 38

一人に一台のパーソナルエージェント

スマホ等

Webサービス

Bluetooth Bluetooth携帯電話網

スマホ等

音声通話

音声+視線+動作

音声+視線+動作

Copyrightcopy2017 NTT corp All Rights Reserved 39

パーソナルモビリティ自律走行技術の進展

WHILLNTTドコモ全国初「免許不要」のパーソナルモビリティシェアリングサービスの実証実験を横浜で実施(2015年)

横浜赤レンガ倉庫2号館赤レンガパーク

日本丸メモリアルパーク

出典WHILLプレスリリースhttpswhilljpnews5618

Copyrightcopy2017 NTT corp All Rights Reserved 40

人と移動ロボットの共生社会

さまざまな移動ロボットが人の生活空間を移動する世界では移動ロボットが自律的に安全に移動することに加えて周囲の人や移動ロボットを操作する人が協力して環境へ適応し安全な動作を生成していくということが必要

移動ロボットを使う人も周囲の人も誰もが安心してロボットと共生できるサービスの実現

さまざまなタイプの移動ロボットが普及し人の日常空間に共存する将来

移動ロボットを操作する初心者高齢者が増加しそれに伴う事故も増加 自律移動ロボットも完全に安全にすることはできず人や他の移動ロボッ

トとの衝突が発生

Copyrightcopy2017 NTT corp All Rights Reserved 41

ldquoR-env連舞rdquoInnovation

Hub

多様なロボット活用サービスの普及に向けて

ハードウェアメーカーと連携した

「デバイスハンズオン」rarr個別デバイスの利用者拡大

アプリ開発者サービス事業者と連携した

「ハッカソン」rarrデバイス連携サービスプロトタイプの蓄積

パートナと連携した

「フィールドトライアル」

rarrデバイス連携サービスの有効性検証

パートナNTTグループ連携による

「ビジネス創出」

rarrデバイス連携サービスのビジネス化

Copyrightcopy2017 NTT corp All Rights Reserved 42

最優秀賞チーム雅「箱入り娘と箱贈り親父」父親と娘のコミュニケーションを育むためにロボットが父親の代わりに離れて暮らす娘へ

メッセージを届けてくれるサービス

優秀賞Team avata「R-env2 テレヘルスサービス」遠隔医療にコミュニケーションロボットを活用「お尻が痛い」などデリケートな症状でも医

師に相談することの恥ずかしさの軽減を図るサービス

R-env連舞 ハッカソン

日時場所2016年6月18日~19日FabCafe TokyoMTRL渋谷 テーマ「ロボットldquoならではrdquoのサービスを作ろう」

Copyrightcopy2017 NTT corp All Rights Reserved 43

R-env連舞のホームページ

httpswwwr-envjp

Copyrightcopy2017 NTT corp All Rights Reserved 44

国際ロボット競技会(World Robot Summit)

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

Copyrightcopy2017 NTT corp All Rights Reserved 45

WRSのスケジュール

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

ldquo人の可能性を広げるldquo

諦めなければならなかった事をひとつでも多く実現するインタラクションサービス

様々なパートナと連携して実現していきます

Page 13: NTTにおけるロボティクス技術の展開と展望 · 深層学習型 (ディープニューラルネット) 約4000万パターンの音声を 表現可能 従来型(混合分布)

Copyrightcopy2017 NTT corp All Rights Reserved 13

アジェンダ

1NTTグループのロボティクスへの取り組み

~ 色々なモノが繋がる世界の実現 ~

2ロボットに必要な機能

~ NTTのAI技術 corevoreg(コレボ)~

3ロボット進化の方向性

~ 人とロボットの共生社会 ~

Copyrightcopy2017 NTT corp All Rights Reserved 14

NTTグループのAI技術「corevo」

<ロゴイメージ>

corevo co-revolution

AIを活用しさまざまなプレイヤーの皆様とのコラボレーションによって無限の可能性を秘めた多くの価値が生み出される様子をロゴで表現

2016年5月30日報道発表

NTTグループのAI技術「corevo reg (コレボ)」によるコラボレーションを展開

~さまざまなプレイヤーの皆様とのコラボレーションを通じて一緒に革新(レボリューション)を起こす~

Copyrightcopy2017 NTT corp All Rights Reserved 15

corevo regのホームページ

ホームページhttpwwwnttcojpcorevo

Copyrightcopy2017 NTT corp All Rights Reserved 16

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 17

corevo regの構成技術モジュール群

Copyrightcopy2017 NTT corp All Rights Reserved 18

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 19

定型業務の代替支援 日常生活の拡張(移動コミュニケーション支援)

知的活動の支援

整理された知識(知識ベースルール)

解読

デザイン

知識の探索

インタラクション技術

実世界構造化技術映像音声センサ情報など

スマホロボットなどユーザインタフェース

人間理解技術

モビリティ型パーソナルエージェント

テレプレゼンスロボット

コンタクトセンタ窓口業務代替

介護業務代替支援

アイディア創出支援

ヘルスケア

人の発する情報を読み解き意図感情を理解し膨大な知識に基づいて推論し人らしく表現するAI

意図理解対話ロボティクス

暗黙知

基礎技術

翻訳

Agent-AI (人らしさの追求人と共存)

Copyrightcopy2017 NTT corp All Rights Reserved 20

深層学習に基づく音声認識技術

a

ui

eo

音声とのパターンマッチング

深層学習型(ディープニューラルネット)約4000万パターンの音声を表現可能

従来型(混合分布)約10万パターンの音声を表現可能

音声 音素

音声の特徴をディープニューラルネットで精緻に表現することにより音声認識の精度を大幅に改善(多段構造により膨大な組合せを考慮)

公共エリアの騒がしい環境で収録された音声を認識する国際技術評価CHiME-3 (201512実施) でNTTは参加25機関中トップの精度を達成

0 5 10 15 20 25 30 35

各参加団体の単語認識誤り率()

<国際技術評価CHiME-3の結果>

標準的なディープニューラル音声認識 334

NTT 58

Agent-AI

本技術を採用した音声認識エンジン開発を実施中

Copyrightcopy2017 NTT corp All Rights Reserved 21

高騒音下での音声集音インテリジェントマイク技術

複数のマイクを組み合わせ100dB(デシベル)を越える高い騒音環境下(ガード下のような環境)でも特定方向の話者の声をとらえて明瞭な音声通話や高精度な音声認識を実現

様々な音が混合

周波数

振幅

インテリジェントマイク処理

マイク1マイク2

雑音抑圧された信号

周波数

振幅

音声通話音声認識に活用騒音

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 22

高機能なロボットやIoTデバイスを「作る」のではなくそれらを複数組み合わせて「使う」ための技術

ロボットをはじめとする複数のデバイスを組み合わせたデバイス連携サービス作りを非エンジニア層にも可能にすることを目的に開発

【特徴1】メーカーや業種問わず多様なデバイスを連携制御可能

【特徴2】ブラウザ上のGUIツールにより簡単にデバイス連携サービスを開発可能

ロボット連携技術 「R-env連舞reg 」Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 23

R-env連舞を使ったカスタマイズ例

現在のデモの流れ

Copyrightcopy2017 NTT corp All Rights Reserved 24

開始場面のカスタマイズ

新しい状態が追加される

新しい状態の追加

Copyrightcopy2017 NTT corp All Rights Reserved 25

動作対象を選択し実行したい動作を選択(SOTAにモーションを追加)

動かしたいデバイスを選択

(SOTA)

実行したい動作を選択(手を振る)

Copyrightcopy2017 NTT corp All Rights Reserved 26

動作対象を選択し実行したい動作を選択(SOTAに発話させたい文章を追加)

動かしたいデバイスを選択

(SOTA)

実行したい動作を選択

(発話を選び「相談会実施中」

と入力)

Copyrightcopy2017 NTT corp All Rights Reserved 27

状態の遷移先を切り替える

状態遷移先を切り替える

Copyrightcopy2017 NTT corp All Rights Reserved 28

ユーザーの質問は多様であり同じ意味の多様な表現を理解する必要がある(ex ldquo国際電話をかけたいrdquo = ldquo外国に電話する方法を教えてrdquo)

ユーザーの質問とFAQコンテンツの質問が同一の意味であるかを判定 NTT研究所技術は大規模な日本語意味辞書を用いて日本語特有の多様

な表現を理解可能

発話意図理解技術(FAQ検索技術)

同一性の判定

QAコンテンツ

概念に基づく判定モデル

【質問】ldquo国際電話をかけたいrdquo 外国に電話する方法

を教えてくださいrdquoldquoまず設定画面で~rdquo

【質問】 【回答】

2具体

3主体

4人 362組織

389場所

1000抽象

372団体党派

373団体

大規模意味辞書1名詞テキストコーパス

機械学習

CGM文書コールセンタ応対ログ

~多様な言い回しの獲得~ ~同一の意味を理解~

日本語解析

Agent-AI

他社との性能比較でも優位性を確認

Copyrightcopy2017 NTT corp All Rights Reserved 29

雑談対話技術

ユーザと多様な話題で雑談するための技術ユーザの発話を解析し話題と意図を抽出

インターネット上のコンテンツを言語処理技術によって整理し対話知識とすることで多様な話題に対しても妥当な発話を生成

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 30

copy2015 Vstone

複数ロボットを用いた雑談対話技術

複数の音声対話ロボットを協調させ音声認識や発話生成の誤りに気づかせずに対話を継続できる技術従来と同じ性能のシステムであっても人の認知特性を利用することで印象を大きく改善

明日は寒くなるみたいだからコート着なきゃ

ふむふむ

今年のコートの流行はチェスターコートだよ

話題連続性に対する要求の低減

ロボットA

蘭がスキー(ラーメンが好きを誤認識)

ふむふむ(誤認識を検知)

僕は焼き肉が好きだよ(ロボット同士の対話に移行)

食べ物だったら何が好き

音声認識誤り検出時の破綻回避

ロボットAが一旦発話を受け止めdarr

話者をロボットBに切り替えdarr

話題が逸脱した場合の違和感を軽減

音声認識結果が対話の流れから逸脱darr

音声認識の誤りと判断darr

ロボット同士の対話に移行し対話破綻を回避

ロボットA

ロボットB

大阪大学 石黒研との共同研究成果

ロボットB

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 31

アングルフリー物体検索技術

異なるアングルから撮影しても精度よく物体を認識し関連情報を提示可能 事前に準備する参照画像数を従来の110程度まで大幅に削減準備コス

トの削減可能

参照画像DB

NW

撮影画像

被写体付加情報

撮影した画像に写った物体を認識

認識検出結果

従来の約110の登録画像枚数

スマホ等で物体を撮影

撮影アングルが異なっても他の物体が写りこんでいても同じ物体として認識

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 32

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 33

Heart-Touching-AI (無意識人のこころに触れる)

本人にも意識されない人の心と身体を読み解き深層心理知性本能を理解するAI

心的状態神経活動筋活動を読み解き働きかけ

教育

スポーツ

エンターテインメント 健康美容

子育て保育

医療カウンセリングコミュニケーション科学

人間科学の成果を発揮する領域

Copyrightcopy2017 NTT corp All Rights Reserved 34

目の動きからユーザの「ココロ」を推定

眼球運動瞳孔の大きさに基づくマインドリーティング コンピュータでしか認識できない人間の潜在的な心の動きを読み取る

「人間を超える」感情認識能力をもったAI

Heart-Touching-AI

好みの推定

対象者の各種状態を推定

特徴抽出

モデル生成

分類器(モデル)

ラベル(評価値)

データ計測

瞳孔反応

マイクロサッカード

Time [s]

Posi

tion [

deg]

Time [s]

Pupil

size

change

[z-

score

]

0 1 2 3

0

2

-3 NTT独自のアルゴリズムを適用

or

顔画像音楽など

推定(分類)

注意状態の推定 眠気の推定

Copyrightcopy2017 NTT corp All Rights Reserved 35

体感型釣りゲーム

ドライブ体験

ドライブ映像のカーブに合わせてハンドルが引っ張られる感覚を体感

釣りで魚が食いついたことで糸が引っ張られる感覚を体感

手をみちびく感覚を振動デバイスで実現

振動で人を導く「ぶるなび」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 36

止まっている対象に動きの印象を与えるプロジェクションマッピング

質感編集技術

原画像

変換後

変幻灯技術(画像検索との融合)

画像と動きシナリオ(動き方タイミング等)のデータベース

撮影画像列

差分画像列

アニメ画像列生成

画像検索

姿勢推定

検索結果の動きシナリオ

対象物

プロジェクション

アニメ画像列

乾いた風景

濡れたように

差分計算

壁紙が表情を変える「変幻灯」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 37

アジェンダ

1NTTグループのロボティクスへの取り組み

~ 色々なモノが繋がる世界の実現 ~

2ロボットに必要な機能

~ NTTのAI技術 corevoreg(コレボ)~

3ロボット進化の方向性

~ 人とロボットの共生社会 ~

Copyrightcopy2017 NTT corp All Rights Reserved 38

一人に一台のパーソナルエージェント

スマホ等

Webサービス

Bluetooth Bluetooth携帯電話網

スマホ等

音声通話

音声+視線+動作

音声+視線+動作

Copyrightcopy2017 NTT corp All Rights Reserved 39

パーソナルモビリティ自律走行技術の進展

WHILLNTTドコモ全国初「免許不要」のパーソナルモビリティシェアリングサービスの実証実験を横浜で実施(2015年)

横浜赤レンガ倉庫2号館赤レンガパーク

日本丸メモリアルパーク

出典WHILLプレスリリースhttpswhilljpnews5618

Copyrightcopy2017 NTT corp All Rights Reserved 40

人と移動ロボットの共生社会

さまざまな移動ロボットが人の生活空間を移動する世界では移動ロボットが自律的に安全に移動することに加えて周囲の人や移動ロボットを操作する人が協力して環境へ適応し安全な動作を生成していくということが必要

移動ロボットを使う人も周囲の人も誰もが安心してロボットと共生できるサービスの実現

さまざまなタイプの移動ロボットが普及し人の日常空間に共存する将来

移動ロボットを操作する初心者高齢者が増加しそれに伴う事故も増加 自律移動ロボットも完全に安全にすることはできず人や他の移動ロボッ

トとの衝突が発生

Copyrightcopy2017 NTT corp All Rights Reserved 41

ldquoR-env連舞rdquoInnovation

Hub

多様なロボット活用サービスの普及に向けて

ハードウェアメーカーと連携した

「デバイスハンズオン」rarr個別デバイスの利用者拡大

アプリ開発者サービス事業者と連携した

「ハッカソン」rarrデバイス連携サービスプロトタイプの蓄積

パートナと連携した

「フィールドトライアル」

rarrデバイス連携サービスの有効性検証

パートナNTTグループ連携による

「ビジネス創出」

rarrデバイス連携サービスのビジネス化

Copyrightcopy2017 NTT corp All Rights Reserved 42

最優秀賞チーム雅「箱入り娘と箱贈り親父」父親と娘のコミュニケーションを育むためにロボットが父親の代わりに離れて暮らす娘へ

メッセージを届けてくれるサービス

優秀賞Team avata「R-env2 テレヘルスサービス」遠隔医療にコミュニケーションロボットを活用「お尻が痛い」などデリケートな症状でも医

師に相談することの恥ずかしさの軽減を図るサービス

R-env連舞 ハッカソン

日時場所2016年6月18日~19日FabCafe TokyoMTRL渋谷 テーマ「ロボットldquoならではrdquoのサービスを作ろう」

Copyrightcopy2017 NTT corp All Rights Reserved 43

R-env連舞のホームページ

httpswwwr-envjp

Copyrightcopy2017 NTT corp All Rights Reserved 44

国際ロボット競技会(World Robot Summit)

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

Copyrightcopy2017 NTT corp All Rights Reserved 45

WRSのスケジュール

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

ldquo人の可能性を広げるldquo

諦めなければならなかった事をひとつでも多く実現するインタラクションサービス

様々なパートナと連携して実現していきます

Page 14: NTTにおけるロボティクス技術の展開と展望 · 深層学習型 (ディープニューラルネット) 約4000万パターンの音声を 表現可能 従来型(混合分布)

Copyrightcopy2017 NTT corp All Rights Reserved 14

NTTグループのAI技術「corevo」

<ロゴイメージ>

corevo co-revolution

AIを活用しさまざまなプレイヤーの皆様とのコラボレーションによって無限の可能性を秘めた多くの価値が生み出される様子をロゴで表現

2016年5月30日報道発表

NTTグループのAI技術「corevo reg (コレボ)」によるコラボレーションを展開

~さまざまなプレイヤーの皆様とのコラボレーションを通じて一緒に革新(レボリューション)を起こす~

Copyrightcopy2017 NTT corp All Rights Reserved 15

corevo regのホームページ

ホームページhttpwwwnttcojpcorevo

Copyrightcopy2017 NTT corp All Rights Reserved 16

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 17

corevo regの構成技術モジュール群

Copyrightcopy2017 NTT corp All Rights Reserved 18

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 19

定型業務の代替支援 日常生活の拡張(移動コミュニケーション支援)

知的活動の支援

整理された知識(知識ベースルール)

解読

デザイン

知識の探索

インタラクション技術

実世界構造化技術映像音声センサ情報など

スマホロボットなどユーザインタフェース

人間理解技術

モビリティ型パーソナルエージェント

テレプレゼンスロボット

コンタクトセンタ窓口業務代替

介護業務代替支援

アイディア創出支援

ヘルスケア

人の発する情報を読み解き意図感情を理解し膨大な知識に基づいて推論し人らしく表現するAI

意図理解対話ロボティクス

暗黙知

基礎技術

翻訳

Agent-AI (人らしさの追求人と共存)

Copyrightcopy2017 NTT corp All Rights Reserved 20

深層学習に基づく音声認識技術

a

ui

eo

音声とのパターンマッチング

深層学習型(ディープニューラルネット)約4000万パターンの音声を表現可能

従来型(混合分布)約10万パターンの音声を表現可能

音声 音素

音声の特徴をディープニューラルネットで精緻に表現することにより音声認識の精度を大幅に改善(多段構造により膨大な組合せを考慮)

公共エリアの騒がしい環境で収録された音声を認識する国際技術評価CHiME-3 (201512実施) でNTTは参加25機関中トップの精度を達成

0 5 10 15 20 25 30 35

各参加団体の単語認識誤り率()

<国際技術評価CHiME-3の結果>

標準的なディープニューラル音声認識 334

NTT 58

Agent-AI

本技術を採用した音声認識エンジン開発を実施中

Copyrightcopy2017 NTT corp All Rights Reserved 21

高騒音下での音声集音インテリジェントマイク技術

複数のマイクを組み合わせ100dB(デシベル)を越える高い騒音環境下(ガード下のような環境)でも特定方向の話者の声をとらえて明瞭な音声通話や高精度な音声認識を実現

様々な音が混合

周波数

振幅

インテリジェントマイク処理

マイク1マイク2

雑音抑圧された信号

周波数

振幅

音声通話音声認識に活用騒音

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 22

高機能なロボットやIoTデバイスを「作る」のではなくそれらを複数組み合わせて「使う」ための技術

ロボットをはじめとする複数のデバイスを組み合わせたデバイス連携サービス作りを非エンジニア層にも可能にすることを目的に開発

【特徴1】メーカーや業種問わず多様なデバイスを連携制御可能

【特徴2】ブラウザ上のGUIツールにより簡単にデバイス連携サービスを開発可能

ロボット連携技術 「R-env連舞reg 」Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 23

R-env連舞を使ったカスタマイズ例

現在のデモの流れ

Copyrightcopy2017 NTT corp All Rights Reserved 24

開始場面のカスタマイズ

新しい状態が追加される

新しい状態の追加

Copyrightcopy2017 NTT corp All Rights Reserved 25

動作対象を選択し実行したい動作を選択(SOTAにモーションを追加)

動かしたいデバイスを選択

(SOTA)

実行したい動作を選択(手を振る)

Copyrightcopy2017 NTT corp All Rights Reserved 26

動作対象を選択し実行したい動作を選択(SOTAに発話させたい文章を追加)

動かしたいデバイスを選択

(SOTA)

実行したい動作を選択

(発話を選び「相談会実施中」

と入力)

Copyrightcopy2017 NTT corp All Rights Reserved 27

状態の遷移先を切り替える

状態遷移先を切り替える

Copyrightcopy2017 NTT corp All Rights Reserved 28

ユーザーの質問は多様であり同じ意味の多様な表現を理解する必要がある(ex ldquo国際電話をかけたいrdquo = ldquo外国に電話する方法を教えてrdquo)

ユーザーの質問とFAQコンテンツの質問が同一の意味であるかを判定 NTT研究所技術は大規模な日本語意味辞書を用いて日本語特有の多様

な表現を理解可能

発話意図理解技術(FAQ検索技術)

同一性の判定

QAコンテンツ

概念に基づく判定モデル

【質問】ldquo国際電話をかけたいrdquo 外国に電話する方法

を教えてくださいrdquoldquoまず設定画面で~rdquo

【質問】 【回答】

2具体

3主体

4人 362組織

389場所

1000抽象

372団体党派

373団体

大規模意味辞書1名詞テキストコーパス

機械学習

CGM文書コールセンタ応対ログ

~多様な言い回しの獲得~ ~同一の意味を理解~

日本語解析

Agent-AI

他社との性能比較でも優位性を確認

Copyrightcopy2017 NTT corp All Rights Reserved 29

雑談対話技術

ユーザと多様な話題で雑談するための技術ユーザの発話を解析し話題と意図を抽出

インターネット上のコンテンツを言語処理技術によって整理し対話知識とすることで多様な話題に対しても妥当な発話を生成

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 30

copy2015 Vstone

複数ロボットを用いた雑談対話技術

複数の音声対話ロボットを協調させ音声認識や発話生成の誤りに気づかせずに対話を継続できる技術従来と同じ性能のシステムであっても人の認知特性を利用することで印象を大きく改善

明日は寒くなるみたいだからコート着なきゃ

ふむふむ

今年のコートの流行はチェスターコートだよ

話題連続性に対する要求の低減

ロボットA

蘭がスキー(ラーメンが好きを誤認識)

ふむふむ(誤認識を検知)

僕は焼き肉が好きだよ(ロボット同士の対話に移行)

食べ物だったら何が好き

音声認識誤り検出時の破綻回避

ロボットAが一旦発話を受け止めdarr

話者をロボットBに切り替えdarr

話題が逸脱した場合の違和感を軽減

音声認識結果が対話の流れから逸脱darr

音声認識の誤りと判断darr

ロボット同士の対話に移行し対話破綻を回避

ロボットA

ロボットB

大阪大学 石黒研との共同研究成果

ロボットB

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 31

アングルフリー物体検索技術

異なるアングルから撮影しても精度よく物体を認識し関連情報を提示可能 事前に準備する参照画像数を従来の110程度まで大幅に削減準備コス

トの削減可能

参照画像DB

NW

撮影画像

被写体付加情報

撮影した画像に写った物体を認識

認識検出結果

従来の約110の登録画像枚数

スマホ等で物体を撮影

撮影アングルが異なっても他の物体が写りこんでいても同じ物体として認識

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 32

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 33

Heart-Touching-AI (無意識人のこころに触れる)

本人にも意識されない人の心と身体を読み解き深層心理知性本能を理解するAI

心的状態神経活動筋活動を読み解き働きかけ

教育

スポーツ

エンターテインメント 健康美容

子育て保育

医療カウンセリングコミュニケーション科学

人間科学の成果を発揮する領域

Copyrightcopy2017 NTT corp All Rights Reserved 34

目の動きからユーザの「ココロ」を推定

眼球運動瞳孔の大きさに基づくマインドリーティング コンピュータでしか認識できない人間の潜在的な心の動きを読み取る

「人間を超える」感情認識能力をもったAI

Heart-Touching-AI

好みの推定

対象者の各種状態を推定

特徴抽出

モデル生成

分類器(モデル)

ラベル(評価値)

データ計測

瞳孔反応

マイクロサッカード

Time [s]

Posi

tion [

deg]

Time [s]

Pupil

size

change

[z-

score

]

0 1 2 3

0

2

-3 NTT独自のアルゴリズムを適用

or

顔画像音楽など

推定(分類)

注意状態の推定 眠気の推定

Copyrightcopy2017 NTT corp All Rights Reserved 35

体感型釣りゲーム

ドライブ体験

ドライブ映像のカーブに合わせてハンドルが引っ張られる感覚を体感

釣りで魚が食いついたことで糸が引っ張られる感覚を体感

手をみちびく感覚を振動デバイスで実現

振動で人を導く「ぶるなび」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 36

止まっている対象に動きの印象を与えるプロジェクションマッピング

質感編集技術

原画像

変換後

変幻灯技術(画像検索との融合)

画像と動きシナリオ(動き方タイミング等)のデータベース

撮影画像列

差分画像列

アニメ画像列生成

画像検索

姿勢推定

検索結果の動きシナリオ

対象物

プロジェクション

アニメ画像列

乾いた風景

濡れたように

差分計算

壁紙が表情を変える「変幻灯」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 37

アジェンダ

1NTTグループのロボティクスへの取り組み

~ 色々なモノが繋がる世界の実現 ~

2ロボットに必要な機能

~ NTTのAI技術 corevoreg(コレボ)~

3ロボット進化の方向性

~ 人とロボットの共生社会 ~

Copyrightcopy2017 NTT corp All Rights Reserved 38

一人に一台のパーソナルエージェント

スマホ等

Webサービス

Bluetooth Bluetooth携帯電話網

スマホ等

音声通話

音声+視線+動作

音声+視線+動作

Copyrightcopy2017 NTT corp All Rights Reserved 39

パーソナルモビリティ自律走行技術の進展

WHILLNTTドコモ全国初「免許不要」のパーソナルモビリティシェアリングサービスの実証実験を横浜で実施(2015年)

横浜赤レンガ倉庫2号館赤レンガパーク

日本丸メモリアルパーク

出典WHILLプレスリリースhttpswhilljpnews5618

Copyrightcopy2017 NTT corp All Rights Reserved 40

人と移動ロボットの共生社会

さまざまな移動ロボットが人の生活空間を移動する世界では移動ロボットが自律的に安全に移動することに加えて周囲の人や移動ロボットを操作する人が協力して環境へ適応し安全な動作を生成していくということが必要

移動ロボットを使う人も周囲の人も誰もが安心してロボットと共生できるサービスの実現

さまざまなタイプの移動ロボットが普及し人の日常空間に共存する将来

移動ロボットを操作する初心者高齢者が増加しそれに伴う事故も増加 自律移動ロボットも完全に安全にすることはできず人や他の移動ロボッ

トとの衝突が発生

Copyrightcopy2017 NTT corp All Rights Reserved 41

ldquoR-env連舞rdquoInnovation

Hub

多様なロボット活用サービスの普及に向けて

ハードウェアメーカーと連携した

「デバイスハンズオン」rarr個別デバイスの利用者拡大

アプリ開発者サービス事業者と連携した

「ハッカソン」rarrデバイス連携サービスプロトタイプの蓄積

パートナと連携した

「フィールドトライアル」

rarrデバイス連携サービスの有効性検証

パートナNTTグループ連携による

「ビジネス創出」

rarrデバイス連携サービスのビジネス化

Copyrightcopy2017 NTT corp All Rights Reserved 42

最優秀賞チーム雅「箱入り娘と箱贈り親父」父親と娘のコミュニケーションを育むためにロボットが父親の代わりに離れて暮らす娘へ

メッセージを届けてくれるサービス

優秀賞Team avata「R-env2 テレヘルスサービス」遠隔医療にコミュニケーションロボットを活用「お尻が痛い」などデリケートな症状でも医

師に相談することの恥ずかしさの軽減を図るサービス

R-env連舞 ハッカソン

日時場所2016年6月18日~19日FabCafe TokyoMTRL渋谷 テーマ「ロボットldquoならではrdquoのサービスを作ろう」

Copyrightcopy2017 NTT corp All Rights Reserved 43

R-env連舞のホームページ

httpswwwr-envjp

Copyrightcopy2017 NTT corp All Rights Reserved 44

国際ロボット競技会(World Robot Summit)

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

Copyrightcopy2017 NTT corp All Rights Reserved 45

WRSのスケジュール

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

ldquo人の可能性を広げるldquo

諦めなければならなかった事をひとつでも多く実現するインタラクションサービス

様々なパートナと連携して実現していきます

Page 15: NTTにおけるロボティクス技術の展開と展望 · 深層学習型 (ディープニューラルネット) 約4000万パターンの音声を 表現可能 従来型(混合分布)

Copyrightcopy2017 NTT corp All Rights Reserved 15

corevo regのホームページ

ホームページhttpwwwnttcojpcorevo

Copyrightcopy2017 NTT corp All Rights Reserved 16

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 17

corevo regの構成技術モジュール群

Copyrightcopy2017 NTT corp All Rights Reserved 18

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 19

定型業務の代替支援 日常生活の拡張(移動コミュニケーション支援)

知的活動の支援

整理された知識(知識ベースルール)

解読

デザイン

知識の探索

インタラクション技術

実世界構造化技術映像音声センサ情報など

スマホロボットなどユーザインタフェース

人間理解技術

モビリティ型パーソナルエージェント

テレプレゼンスロボット

コンタクトセンタ窓口業務代替

介護業務代替支援

アイディア創出支援

ヘルスケア

人の発する情報を読み解き意図感情を理解し膨大な知識に基づいて推論し人らしく表現するAI

意図理解対話ロボティクス

暗黙知

基礎技術

翻訳

Agent-AI (人らしさの追求人と共存)

Copyrightcopy2017 NTT corp All Rights Reserved 20

深層学習に基づく音声認識技術

a

ui

eo

音声とのパターンマッチング

深層学習型(ディープニューラルネット)約4000万パターンの音声を表現可能

従来型(混合分布)約10万パターンの音声を表現可能

音声 音素

音声の特徴をディープニューラルネットで精緻に表現することにより音声認識の精度を大幅に改善(多段構造により膨大な組合せを考慮)

公共エリアの騒がしい環境で収録された音声を認識する国際技術評価CHiME-3 (201512実施) でNTTは参加25機関中トップの精度を達成

0 5 10 15 20 25 30 35

各参加団体の単語認識誤り率()

<国際技術評価CHiME-3の結果>

標準的なディープニューラル音声認識 334

NTT 58

Agent-AI

本技術を採用した音声認識エンジン開発を実施中

Copyrightcopy2017 NTT corp All Rights Reserved 21

高騒音下での音声集音インテリジェントマイク技術

複数のマイクを組み合わせ100dB(デシベル)を越える高い騒音環境下(ガード下のような環境)でも特定方向の話者の声をとらえて明瞭な音声通話や高精度な音声認識を実現

様々な音が混合

周波数

振幅

インテリジェントマイク処理

マイク1マイク2

雑音抑圧された信号

周波数

振幅

音声通話音声認識に活用騒音

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 22

高機能なロボットやIoTデバイスを「作る」のではなくそれらを複数組み合わせて「使う」ための技術

ロボットをはじめとする複数のデバイスを組み合わせたデバイス連携サービス作りを非エンジニア層にも可能にすることを目的に開発

【特徴1】メーカーや業種問わず多様なデバイスを連携制御可能

【特徴2】ブラウザ上のGUIツールにより簡単にデバイス連携サービスを開発可能

ロボット連携技術 「R-env連舞reg 」Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 23

R-env連舞を使ったカスタマイズ例

現在のデモの流れ

Copyrightcopy2017 NTT corp All Rights Reserved 24

開始場面のカスタマイズ

新しい状態が追加される

新しい状態の追加

Copyrightcopy2017 NTT corp All Rights Reserved 25

動作対象を選択し実行したい動作を選択(SOTAにモーションを追加)

動かしたいデバイスを選択

(SOTA)

実行したい動作を選択(手を振る)

Copyrightcopy2017 NTT corp All Rights Reserved 26

動作対象を選択し実行したい動作を選択(SOTAに発話させたい文章を追加)

動かしたいデバイスを選択

(SOTA)

実行したい動作を選択

(発話を選び「相談会実施中」

と入力)

Copyrightcopy2017 NTT corp All Rights Reserved 27

状態の遷移先を切り替える

状態遷移先を切り替える

Copyrightcopy2017 NTT corp All Rights Reserved 28

ユーザーの質問は多様であり同じ意味の多様な表現を理解する必要がある(ex ldquo国際電話をかけたいrdquo = ldquo外国に電話する方法を教えてrdquo)

ユーザーの質問とFAQコンテンツの質問が同一の意味であるかを判定 NTT研究所技術は大規模な日本語意味辞書を用いて日本語特有の多様

な表現を理解可能

発話意図理解技術(FAQ検索技術)

同一性の判定

QAコンテンツ

概念に基づく判定モデル

【質問】ldquo国際電話をかけたいrdquo 外国に電話する方法

を教えてくださいrdquoldquoまず設定画面で~rdquo

【質問】 【回答】

2具体

3主体

4人 362組織

389場所

1000抽象

372団体党派

373団体

大規模意味辞書1名詞テキストコーパス

機械学習

CGM文書コールセンタ応対ログ

~多様な言い回しの獲得~ ~同一の意味を理解~

日本語解析

Agent-AI

他社との性能比較でも優位性を確認

Copyrightcopy2017 NTT corp All Rights Reserved 29

雑談対話技術

ユーザと多様な話題で雑談するための技術ユーザの発話を解析し話題と意図を抽出

インターネット上のコンテンツを言語処理技術によって整理し対話知識とすることで多様な話題に対しても妥当な発話を生成

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 30

copy2015 Vstone

複数ロボットを用いた雑談対話技術

複数の音声対話ロボットを協調させ音声認識や発話生成の誤りに気づかせずに対話を継続できる技術従来と同じ性能のシステムであっても人の認知特性を利用することで印象を大きく改善

明日は寒くなるみたいだからコート着なきゃ

ふむふむ

今年のコートの流行はチェスターコートだよ

話題連続性に対する要求の低減

ロボットA

蘭がスキー(ラーメンが好きを誤認識)

ふむふむ(誤認識を検知)

僕は焼き肉が好きだよ(ロボット同士の対話に移行)

食べ物だったら何が好き

音声認識誤り検出時の破綻回避

ロボットAが一旦発話を受け止めdarr

話者をロボットBに切り替えdarr

話題が逸脱した場合の違和感を軽減

音声認識結果が対話の流れから逸脱darr

音声認識の誤りと判断darr

ロボット同士の対話に移行し対話破綻を回避

ロボットA

ロボットB

大阪大学 石黒研との共同研究成果

ロボットB

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 31

アングルフリー物体検索技術

異なるアングルから撮影しても精度よく物体を認識し関連情報を提示可能 事前に準備する参照画像数を従来の110程度まで大幅に削減準備コス

トの削減可能

参照画像DB

NW

撮影画像

被写体付加情報

撮影した画像に写った物体を認識

認識検出結果

従来の約110の登録画像枚数

スマホ等で物体を撮影

撮影アングルが異なっても他の物体が写りこんでいても同じ物体として認識

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 32

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 33

Heart-Touching-AI (無意識人のこころに触れる)

本人にも意識されない人の心と身体を読み解き深層心理知性本能を理解するAI

心的状態神経活動筋活動を読み解き働きかけ

教育

スポーツ

エンターテインメント 健康美容

子育て保育

医療カウンセリングコミュニケーション科学

人間科学の成果を発揮する領域

Copyrightcopy2017 NTT corp All Rights Reserved 34

目の動きからユーザの「ココロ」を推定

眼球運動瞳孔の大きさに基づくマインドリーティング コンピュータでしか認識できない人間の潜在的な心の動きを読み取る

「人間を超える」感情認識能力をもったAI

Heart-Touching-AI

好みの推定

対象者の各種状態を推定

特徴抽出

モデル生成

分類器(モデル)

ラベル(評価値)

データ計測

瞳孔反応

マイクロサッカード

Time [s]

Posi

tion [

deg]

Time [s]

Pupil

size

change

[z-

score

]

0 1 2 3

0

2

-3 NTT独自のアルゴリズムを適用

or

顔画像音楽など

推定(分類)

注意状態の推定 眠気の推定

Copyrightcopy2017 NTT corp All Rights Reserved 35

体感型釣りゲーム

ドライブ体験

ドライブ映像のカーブに合わせてハンドルが引っ張られる感覚を体感

釣りで魚が食いついたことで糸が引っ張られる感覚を体感

手をみちびく感覚を振動デバイスで実現

振動で人を導く「ぶるなび」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 36

止まっている対象に動きの印象を与えるプロジェクションマッピング

質感編集技術

原画像

変換後

変幻灯技術(画像検索との融合)

画像と動きシナリオ(動き方タイミング等)のデータベース

撮影画像列

差分画像列

アニメ画像列生成

画像検索

姿勢推定

検索結果の動きシナリオ

対象物

プロジェクション

アニメ画像列

乾いた風景

濡れたように

差分計算

壁紙が表情を変える「変幻灯」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 37

アジェンダ

1NTTグループのロボティクスへの取り組み

~ 色々なモノが繋がる世界の実現 ~

2ロボットに必要な機能

~ NTTのAI技術 corevoreg(コレボ)~

3ロボット進化の方向性

~ 人とロボットの共生社会 ~

Copyrightcopy2017 NTT corp All Rights Reserved 38

一人に一台のパーソナルエージェント

スマホ等

Webサービス

Bluetooth Bluetooth携帯電話網

スマホ等

音声通話

音声+視線+動作

音声+視線+動作

Copyrightcopy2017 NTT corp All Rights Reserved 39

パーソナルモビリティ自律走行技術の進展

WHILLNTTドコモ全国初「免許不要」のパーソナルモビリティシェアリングサービスの実証実験を横浜で実施(2015年)

横浜赤レンガ倉庫2号館赤レンガパーク

日本丸メモリアルパーク

出典WHILLプレスリリースhttpswhilljpnews5618

Copyrightcopy2017 NTT corp All Rights Reserved 40

人と移動ロボットの共生社会

さまざまな移動ロボットが人の生活空間を移動する世界では移動ロボットが自律的に安全に移動することに加えて周囲の人や移動ロボットを操作する人が協力して環境へ適応し安全な動作を生成していくということが必要

移動ロボットを使う人も周囲の人も誰もが安心してロボットと共生できるサービスの実現

さまざまなタイプの移動ロボットが普及し人の日常空間に共存する将来

移動ロボットを操作する初心者高齢者が増加しそれに伴う事故も増加 自律移動ロボットも完全に安全にすることはできず人や他の移動ロボッ

トとの衝突が発生

Copyrightcopy2017 NTT corp All Rights Reserved 41

ldquoR-env連舞rdquoInnovation

Hub

多様なロボット活用サービスの普及に向けて

ハードウェアメーカーと連携した

「デバイスハンズオン」rarr個別デバイスの利用者拡大

アプリ開発者サービス事業者と連携した

「ハッカソン」rarrデバイス連携サービスプロトタイプの蓄積

パートナと連携した

「フィールドトライアル」

rarrデバイス連携サービスの有効性検証

パートナNTTグループ連携による

「ビジネス創出」

rarrデバイス連携サービスのビジネス化

Copyrightcopy2017 NTT corp All Rights Reserved 42

最優秀賞チーム雅「箱入り娘と箱贈り親父」父親と娘のコミュニケーションを育むためにロボットが父親の代わりに離れて暮らす娘へ

メッセージを届けてくれるサービス

優秀賞Team avata「R-env2 テレヘルスサービス」遠隔医療にコミュニケーションロボットを活用「お尻が痛い」などデリケートな症状でも医

師に相談することの恥ずかしさの軽減を図るサービス

R-env連舞 ハッカソン

日時場所2016年6月18日~19日FabCafe TokyoMTRL渋谷 テーマ「ロボットldquoならではrdquoのサービスを作ろう」

Copyrightcopy2017 NTT corp All Rights Reserved 43

R-env連舞のホームページ

httpswwwr-envjp

Copyrightcopy2017 NTT corp All Rights Reserved 44

国際ロボット競技会(World Robot Summit)

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

Copyrightcopy2017 NTT corp All Rights Reserved 45

WRSのスケジュール

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

ldquo人の可能性を広げるldquo

諦めなければならなかった事をひとつでも多く実現するインタラクションサービス

様々なパートナと連携して実現していきます

Page 16: NTTにおけるロボティクス技術の展開と展望 · 深層学習型 (ディープニューラルネット) 約4000万パターンの音声を 表現可能 従来型(混合分布)

Copyrightcopy2017 NTT corp All Rights Reserved 16

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 17

corevo regの構成技術モジュール群

Copyrightcopy2017 NTT corp All Rights Reserved 18

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 19

定型業務の代替支援 日常生活の拡張(移動コミュニケーション支援)

知的活動の支援

整理された知識(知識ベースルール)

解読

デザイン

知識の探索

インタラクション技術

実世界構造化技術映像音声センサ情報など

スマホロボットなどユーザインタフェース

人間理解技術

モビリティ型パーソナルエージェント

テレプレゼンスロボット

コンタクトセンタ窓口業務代替

介護業務代替支援

アイディア創出支援

ヘルスケア

人の発する情報を読み解き意図感情を理解し膨大な知識に基づいて推論し人らしく表現するAI

意図理解対話ロボティクス

暗黙知

基礎技術

翻訳

Agent-AI (人らしさの追求人と共存)

Copyrightcopy2017 NTT corp All Rights Reserved 20

深層学習に基づく音声認識技術

a

ui

eo

音声とのパターンマッチング

深層学習型(ディープニューラルネット)約4000万パターンの音声を表現可能

従来型(混合分布)約10万パターンの音声を表現可能

音声 音素

音声の特徴をディープニューラルネットで精緻に表現することにより音声認識の精度を大幅に改善(多段構造により膨大な組合せを考慮)

公共エリアの騒がしい環境で収録された音声を認識する国際技術評価CHiME-3 (201512実施) でNTTは参加25機関中トップの精度を達成

0 5 10 15 20 25 30 35

各参加団体の単語認識誤り率()

<国際技術評価CHiME-3の結果>

標準的なディープニューラル音声認識 334

NTT 58

Agent-AI

本技術を採用した音声認識エンジン開発を実施中

Copyrightcopy2017 NTT corp All Rights Reserved 21

高騒音下での音声集音インテリジェントマイク技術

複数のマイクを組み合わせ100dB(デシベル)を越える高い騒音環境下(ガード下のような環境)でも特定方向の話者の声をとらえて明瞭な音声通話や高精度な音声認識を実現

様々な音が混合

周波数

振幅

インテリジェントマイク処理

マイク1マイク2

雑音抑圧された信号

周波数

振幅

音声通話音声認識に活用騒音

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 22

高機能なロボットやIoTデバイスを「作る」のではなくそれらを複数組み合わせて「使う」ための技術

ロボットをはじめとする複数のデバイスを組み合わせたデバイス連携サービス作りを非エンジニア層にも可能にすることを目的に開発

【特徴1】メーカーや業種問わず多様なデバイスを連携制御可能

【特徴2】ブラウザ上のGUIツールにより簡単にデバイス連携サービスを開発可能

ロボット連携技術 「R-env連舞reg 」Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 23

R-env連舞を使ったカスタマイズ例

現在のデモの流れ

Copyrightcopy2017 NTT corp All Rights Reserved 24

開始場面のカスタマイズ

新しい状態が追加される

新しい状態の追加

Copyrightcopy2017 NTT corp All Rights Reserved 25

動作対象を選択し実行したい動作を選択(SOTAにモーションを追加)

動かしたいデバイスを選択

(SOTA)

実行したい動作を選択(手を振る)

Copyrightcopy2017 NTT corp All Rights Reserved 26

動作対象を選択し実行したい動作を選択(SOTAに発話させたい文章を追加)

動かしたいデバイスを選択

(SOTA)

実行したい動作を選択

(発話を選び「相談会実施中」

と入力)

Copyrightcopy2017 NTT corp All Rights Reserved 27

状態の遷移先を切り替える

状態遷移先を切り替える

Copyrightcopy2017 NTT corp All Rights Reserved 28

ユーザーの質問は多様であり同じ意味の多様な表現を理解する必要がある(ex ldquo国際電話をかけたいrdquo = ldquo外国に電話する方法を教えてrdquo)

ユーザーの質問とFAQコンテンツの質問が同一の意味であるかを判定 NTT研究所技術は大規模な日本語意味辞書を用いて日本語特有の多様

な表現を理解可能

発話意図理解技術(FAQ検索技術)

同一性の判定

QAコンテンツ

概念に基づく判定モデル

【質問】ldquo国際電話をかけたいrdquo 外国に電話する方法

を教えてくださいrdquoldquoまず設定画面で~rdquo

【質問】 【回答】

2具体

3主体

4人 362組織

389場所

1000抽象

372団体党派

373団体

大規模意味辞書1名詞テキストコーパス

機械学習

CGM文書コールセンタ応対ログ

~多様な言い回しの獲得~ ~同一の意味を理解~

日本語解析

Agent-AI

他社との性能比較でも優位性を確認

Copyrightcopy2017 NTT corp All Rights Reserved 29

雑談対話技術

ユーザと多様な話題で雑談するための技術ユーザの発話を解析し話題と意図を抽出

インターネット上のコンテンツを言語処理技術によって整理し対話知識とすることで多様な話題に対しても妥当な発話を生成

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 30

copy2015 Vstone

複数ロボットを用いた雑談対話技術

複数の音声対話ロボットを協調させ音声認識や発話生成の誤りに気づかせずに対話を継続できる技術従来と同じ性能のシステムであっても人の認知特性を利用することで印象を大きく改善

明日は寒くなるみたいだからコート着なきゃ

ふむふむ

今年のコートの流行はチェスターコートだよ

話題連続性に対する要求の低減

ロボットA

蘭がスキー(ラーメンが好きを誤認識)

ふむふむ(誤認識を検知)

僕は焼き肉が好きだよ(ロボット同士の対話に移行)

食べ物だったら何が好き

音声認識誤り検出時の破綻回避

ロボットAが一旦発話を受け止めdarr

話者をロボットBに切り替えdarr

話題が逸脱した場合の違和感を軽減

音声認識結果が対話の流れから逸脱darr

音声認識の誤りと判断darr

ロボット同士の対話に移行し対話破綻を回避

ロボットA

ロボットB

大阪大学 石黒研との共同研究成果

ロボットB

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 31

アングルフリー物体検索技術

異なるアングルから撮影しても精度よく物体を認識し関連情報を提示可能 事前に準備する参照画像数を従来の110程度まで大幅に削減準備コス

トの削減可能

参照画像DB

NW

撮影画像

被写体付加情報

撮影した画像に写った物体を認識

認識検出結果

従来の約110の登録画像枚数

スマホ等で物体を撮影

撮影アングルが異なっても他の物体が写りこんでいても同じ物体として認識

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 32

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 33

Heart-Touching-AI (無意識人のこころに触れる)

本人にも意識されない人の心と身体を読み解き深層心理知性本能を理解するAI

心的状態神経活動筋活動を読み解き働きかけ

教育

スポーツ

エンターテインメント 健康美容

子育て保育

医療カウンセリングコミュニケーション科学

人間科学の成果を発揮する領域

Copyrightcopy2017 NTT corp All Rights Reserved 34

目の動きからユーザの「ココロ」を推定

眼球運動瞳孔の大きさに基づくマインドリーティング コンピュータでしか認識できない人間の潜在的な心の動きを読み取る

「人間を超える」感情認識能力をもったAI

Heart-Touching-AI

好みの推定

対象者の各種状態を推定

特徴抽出

モデル生成

分類器(モデル)

ラベル(評価値)

データ計測

瞳孔反応

マイクロサッカード

Time [s]

Posi

tion [

deg]

Time [s]

Pupil

size

change

[z-

score

]

0 1 2 3

0

2

-3 NTT独自のアルゴリズムを適用

or

顔画像音楽など

推定(分類)

注意状態の推定 眠気の推定

Copyrightcopy2017 NTT corp All Rights Reserved 35

体感型釣りゲーム

ドライブ体験

ドライブ映像のカーブに合わせてハンドルが引っ張られる感覚を体感

釣りで魚が食いついたことで糸が引っ張られる感覚を体感

手をみちびく感覚を振動デバイスで実現

振動で人を導く「ぶるなび」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 36

止まっている対象に動きの印象を与えるプロジェクションマッピング

質感編集技術

原画像

変換後

変幻灯技術(画像検索との融合)

画像と動きシナリオ(動き方タイミング等)のデータベース

撮影画像列

差分画像列

アニメ画像列生成

画像検索

姿勢推定

検索結果の動きシナリオ

対象物

プロジェクション

アニメ画像列

乾いた風景

濡れたように

差分計算

壁紙が表情を変える「変幻灯」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 37

アジェンダ

1NTTグループのロボティクスへの取り組み

~ 色々なモノが繋がる世界の実現 ~

2ロボットに必要な機能

~ NTTのAI技術 corevoreg(コレボ)~

3ロボット進化の方向性

~ 人とロボットの共生社会 ~

Copyrightcopy2017 NTT corp All Rights Reserved 38

一人に一台のパーソナルエージェント

スマホ等

Webサービス

Bluetooth Bluetooth携帯電話網

スマホ等

音声通話

音声+視線+動作

音声+視線+動作

Copyrightcopy2017 NTT corp All Rights Reserved 39

パーソナルモビリティ自律走行技術の進展

WHILLNTTドコモ全国初「免許不要」のパーソナルモビリティシェアリングサービスの実証実験を横浜で実施(2015年)

横浜赤レンガ倉庫2号館赤レンガパーク

日本丸メモリアルパーク

出典WHILLプレスリリースhttpswhilljpnews5618

Copyrightcopy2017 NTT corp All Rights Reserved 40

人と移動ロボットの共生社会

さまざまな移動ロボットが人の生活空間を移動する世界では移動ロボットが自律的に安全に移動することに加えて周囲の人や移動ロボットを操作する人が協力して環境へ適応し安全な動作を生成していくということが必要

移動ロボットを使う人も周囲の人も誰もが安心してロボットと共生できるサービスの実現

さまざまなタイプの移動ロボットが普及し人の日常空間に共存する将来

移動ロボットを操作する初心者高齢者が増加しそれに伴う事故も増加 自律移動ロボットも完全に安全にすることはできず人や他の移動ロボッ

トとの衝突が発生

Copyrightcopy2017 NTT corp All Rights Reserved 41

ldquoR-env連舞rdquoInnovation

Hub

多様なロボット活用サービスの普及に向けて

ハードウェアメーカーと連携した

「デバイスハンズオン」rarr個別デバイスの利用者拡大

アプリ開発者サービス事業者と連携した

「ハッカソン」rarrデバイス連携サービスプロトタイプの蓄積

パートナと連携した

「フィールドトライアル」

rarrデバイス連携サービスの有効性検証

パートナNTTグループ連携による

「ビジネス創出」

rarrデバイス連携サービスのビジネス化

Copyrightcopy2017 NTT corp All Rights Reserved 42

最優秀賞チーム雅「箱入り娘と箱贈り親父」父親と娘のコミュニケーションを育むためにロボットが父親の代わりに離れて暮らす娘へ

メッセージを届けてくれるサービス

優秀賞Team avata「R-env2 テレヘルスサービス」遠隔医療にコミュニケーションロボットを活用「お尻が痛い」などデリケートな症状でも医

師に相談することの恥ずかしさの軽減を図るサービス

R-env連舞 ハッカソン

日時場所2016年6月18日~19日FabCafe TokyoMTRL渋谷 テーマ「ロボットldquoならではrdquoのサービスを作ろう」

Copyrightcopy2017 NTT corp All Rights Reserved 43

R-env連舞のホームページ

httpswwwr-envjp

Copyrightcopy2017 NTT corp All Rights Reserved 44

国際ロボット競技会(World Robot Summit)

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

Copyrightcopy2017 NTT corp All Rights Reserved 45

WRSのスケジュール

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

ldquo人の可能性を広げるldquo

諦めなければならなかった事をひとつでも多く実現するインタラクションサービス

様々なパートナと連携して実現していきます

Page 17: NTTにおけるロボティクス技術の展開と展望 · 深層学習型 (ディープニューラルネット) 約4000万パターンの音声を 表現可能 従来型(混合分布)

Copyrightcopy2017 NTT corp All Rights Reserved 17

corevo regの構成技術モジュール群

Copyrightcopy2017 NTT corp All Rights Reserved 18

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 19

定型業務の代替支援 日常生活の拡張(移動コミュニケーション支援)

知的活動の支援

整理された知識(知識ベースルール)

解読

デザイン

知識の探索

インタラクション技術

実世界構造化技術映像音声センサ情報など

スマホロボットなどユーザインタフェース

人間理解技術

モビリティ型パーソナルエージェント

テレプレゼンスロボット

コンタクトセンタ窓口業務代替

介護業務代替支援

アイディア創出支援

ヘルスケア

人の発する情報を読み解き意図感情を理解し膨大な知識に基づいて推論し人らしく表現するAI

意図理解対話ロボティクス

暗黙知

基礎技術

翻訳

Agent-AI (人らしさの追求人と共存)

Copyrightcopy2017 NTT corp All Rights Reserved 20

深層学習に基づく音声認識技術

a

ui

eo

音声とのパターンマッチング

深層学習型(ディープニューラルネット)約4000万パターンの音声を表現可能

従来型(混合分布)約10万パターンの音声を表現可能

音声 音素

音声の特徴をディープニューラルネットで精緻に表現することにより音声認識の精度を大幅に改善(多段構造により膨大な組合せを考慮)

公共エリアの騒がしい環境で収録された音声を認識する国際技術評価CHiME-3 (201512実施) でNTTは参加25機関中トップの精度を達成

0 5 10 15 20 25 30 35

各参加団体の単語認識誤り率()

<国際技術評価CHiME-3の結果>

標準的なディープニューラル音声認識 334

NTT 58

Agent-AI

本技術を採用した音声認識エンジン開発を実施中

Copyrightcopy2017 NTT corp All Rights Reserved 21

高騒音下での音声集音インテリジェントマイク技術

複数のマイクを組み合わせ100dB(デシベル)を越える高い騒音環境下(ガード下のような環境)でも特定方向の話者の声をとらえて明瞭な音声通話や高精度な音声認識を実現

様々な音が混合

周波数

振幅

インテリジェントマイク処理

マイク1マイク2

雑音抑圧された信号

周波数

振幅

音声通話音声認識に活用騒音

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 22

高機能なロボットやIoTデバイスを「作る」のではなくそれらを複数組み合わせて「使う」ための技術

ロボットをはじめとする複数のデバイスを組み合わせたデバイス連携サービス作りを非エンジニア層にも可能にすることを目的に開発

【特徴1】メーカーや業種問わず多様なデバイスを連携制御可能

【特徴2】ブラウザ上のGUIツールにより簡単にデバイス連携サービスを開発可能

ロボット連携技術 「R-env連舞reg 」Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 23

R-env連舞を使ったカスタマイズ例

現在のデモの流れ

Copyrightcopy2017 NTT corp All Rights Reserved 24

開始場面のカスタマイズ

新しい状態が追加される

新しい状態の追加

Copyrightcopy2017 NTT corp All Rights Reserved 25

動作対象を選択し実行したい動作を選択(SOTAにモーションを追加)

動かしたいデバイスを選択

(SOTA)

実行したい動作を選択(手を振る)

Copyrightcopy2017 NTT corp All Rights Reserved 26

動作対象を選択し実行したい動作を選択(SOTAに発話させたい文章を追加)

動かしたいデバイスを選択

(SOTA)

実行したい動作を選択

(発話を選び「相談会実施中」

と入力)

Copyrightcopy2017 NTT corp All Rights Reserved 27

状態の遷移先を切り替える

状態遷移先を切り替える

Copyrightcopy2017 NTT corp All Rights Reserved 28

ユーザーの質問は多様であり同じ意味の多様な表現を理解する必要がある(ex ldquo国際電話をかけたいrdquo = ldquo外国に電話する方法を教えてrdquo)

ユーザーの質問とFAQコンテンツの質問が同一の意味であるかを判定 NTT研究所技術は大規模な日本語意味辞書を用いて日本語特有の多様

な表現を理解可能

発話意図理解技術(FAQ検索技術)

同一性の判定

QAコンテンツ

概念に基づく判定モデル

【質問】ldquo国際電話をかけたいrdquo 外国に電話する方法

を教えてくださいrdquoldquoまず設定画面で~rdquo

【質問】 【回答】

2具体

3主体

4人 362組織

389場所

1000抽象

372団体党派

373団体

大規模意味辞書1名詞テキストコーパス

機械学習

CGM文書コールセンタ応対ログ

~多様な言い回しの獲得~ ~同一の意味を理解~

日本語解析

Agent-AI

他社との性能比較でも優位性を確認

Copyrightcopy2017 NTT corp All Rights Reserved 29

雑談対話技術

ユーザと多様な話題で雑談するための技術ユーザの発話を解析し話題と意図を抽出

インターネット上のコンテンツを言語処理技術によって整理し対話知識とすることで多様な話題に対しても妥当な発話を生成

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 30

copy2015 Vstone

複数ロボットを用いた雑談対話技術

複数の音声対話ロボットを協調させ音声認識や発話生成の誤りに気づかせずに対話を継続できる技術従来と同じ性能のシステムであっても人の認知特性を利用することで印象を大きく改善

明日は寒くなるみたいだからコート着なきゃ

ふむふむ

今年のコートの流行はチェスターコートだよ

話題連続性に対する要求の低減

ロボットA

蘭がスキー(ラーメンが好きを誤認識)

ふむふむ(誤認識を検知)

僕は焼き肉が好きだよ(ロボット同士の対話に移行)

食べ物だったら何が好き

音声認識誤り検出時の破綻回避

ロボットAが一旦発話を受け止めdarr

話者をロボットBに切り替えdarr

話題が逸脱した場合の違和感を軽減

音声認識結果が対話の流れから逸脱darr

音声認識の誤りと判断darr

ロボット同士の対話に移行し対話破綻を回避

ロボットA

ロボットB

大阪大学 石黒研との共同研究成果

ロボットB

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 31

アングルフリー物体検索技術

異なるアングルから撮影しても精度よく物体を認識し関連情報を提示可能 事前に準備する参照画像数を従来の110程度まで大幅に削減準備コス

トの削減可能

参照画像DB

NW

撮影画像

被写体付加情報

撮影した画像に写った物体を認識

認識検出結果

従来の約110の登録画像枚数

スマホ等で物体を撮影

撮影アングルが異なっても他の物体が写りこんでいても同じ物体として認識

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 32

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 33

Heart-Touching-AI (無意識人のこころに触れる)

本人にも意識されない人の心と身体を読み解き深層心理知性本能を理解するAI

心的状態神経活動筋活動を読み解き働きかけ

教育

スポーツ

エンターテインメント 健康美容

子育て保育

医療カウンセリングコミュニケーション科学

人間科学の成果を発揮する領域

Copyrightcopy2017 NTT corp All Rights Reserved 34

目の動きからユーザの「ココロ」を推定

眼球運動瞳孔の大きさに基づくマインドリーティング コンピュータでしか認識できない人間の潜在的な心の動きを読み取る

「人間を超える」感情認識能力をもったAI

Heart-Touching-AI

好みの推定

対象者の各種状態を推定

特徴抽出

モデル生成

分類器(モデル)

ラベル(評価値)

データ計測

瞳孔反応

マイクロサッカード

Time [s]

Posi

tion [

deg]

Time [s]

Pupil

size

change

[z-

score

]

0 1 2 3

0

2

-3 NTT独自のアルゴリズムを適用

or

顔画像音楽など

推定(分類)

注意状態の推定 眠気の推定

Copyrightcopy2017 NTT corp All Rights Reserved 35

体感型釣りゲーム

ドライブ体験

ドライブ映像のカーブに合わせてハンドルが引っ張られる感覚を体感

釣りで魚が食いついたことで糸が引っ張られる感覚を体感

手をみちびく感覚を振動デバイスで実現

振動で人を導く「ぶるなび」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 36

止まっている対象に動きの印象を与えるプロジェクションマッピング

質感編集技術

原画像

変換後

変幻灯技術(画像検索との融合)

画像と動きシナリオ(動き方タイミング等)のデータベース

撮影画像列

差分画像列

アニメ画像列生成

画像検索

姿勢推定

検索結果の動きシナリオ

対象物

プロジェクション

アニメ画像列

乾いた風景

濡れたように

差分計算

壁紙が表情を変える「変幻灯」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 37

アジェンダ

1NTTグループのロボティクスへの取り組み

~ 色々なモノが繋がる世界の実現 ~

2ロボットに必要な機能

~ NTTのAI技術 corevoreg(コレボ)~

3ロボット進化の方向性

~ 人とロボットの共生社会 ~

Copyrightcopy2017 NTT corp All Rights Reserved 38

一人に一台のパーソナルエージェント

スマホ等

Webサービス

Bluetooth Bluetooth携帯電話網

スマホ等

音声通話

音声+視線+動作

音声+視線+動作

Copyrightcopy2017 NTT corp All Rights Reserved 39

パーソナルモビリティ自律走行技術の進展

WHILLNTTドコモ全国初「免許不要」のパーソナルモビリティシェアリングサービスの実証実験を横浜で実施(2015年)

横浜赤レンガ倉庫2号館赤レンガパーク

日本丸メモリアルパーク

出典WHILLプレスリリースhttpswhilljpnews5618

Copyrightcopy2017 NTT corp All Rights Reserved 40

人と移動ロボットの共生社会

さまざまな移動ロボットが人の生活空間を移動する世界では移動ロボットが自律的に安全に移動することに加えて周囲の人や移動ロボットを操作する人が協力して環境へ適応し安全な動作を生成していくということが必要

移動ロボットを使う人も周囲の人も誰もが安心してロボットと共生できるサービスの実現

さまざまなタイプの移動ロボットが普及し人の日常空間に共存する将来

移動ロボットを操作する初心者高齢者が増加しそれに伴う事故も増加 自律移動ロボットも完全に安全にすることはできず人や他の移動ロボッ

トとの衝突が発生

Copyrightcopy2017 NTT corp All Rights Reserved 41

ldquoR-env連舞rdquoInnovation

Hub

多様なロボット活用サービスの普及に向けて

ハードウェアメーカーと連携した

「デバイスハンズオン」rarr個別デバイスの利用者拡大

アプリ開発者サービス事業者と連携した

「ハッカソン」rarrデバイス連携サービスプロトタイプの蓄積

パートナと連携した

「フィールドトライアル」

rarrデバイス連携サービスの有効性検証

パートナNTTグループ連携による

「ビジネス創出」

rarrデバイス連携サービスのビジネス化

Copyrightcopy2017 NTT corp All Rights Reserved 42

最優秀賞チーム雅「箱入り娘と箱贈り親父」父親と娘のコミュニケーションを育むためにロボットが父親の代わりに離れて暮らす娘へ

メッセージを届けてくれるサービス

優秀賞Team avata「R-env2 テレヘルスサービス」遠隔医療にコミュニケーションロボットを活用「お尻が痛い」などデリケートな症状でも医

師に相談することの恥ずかしさの軽減を図るサービス

R-env連舞 ハッカソン

日時場所2016年6月18日~19日FabCafe TokyoMTRL渋谷 テーマ「ロボットldquoならではrdquoのサービスを作ろう」

Copyrightcopy2017 NTT corp All Rights Reserved 43

R-env連舞のホームページ

httpswwwr-envjp

Copyrightcopy2017 NTT corp All Rights Reserved 44

国際ロボット競技会(World Robot Summit)

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

Copyrightcopy2017 NTT corp All Rights Reserved 45

WRSのスケジュール

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

ldquo人の可能性を広げるldquo

諦めなければならなかった事をひとつでも多く実現するインタラクションサービス

様々なパートナと連携して実現していきます

Page 18: NTTにおけるロボティクス技術の展開と展望 · 深層学習型 (ディープニューラルネット) 約4000万パターンの音声を 表現可能 従来型(混合分布)

Copyrightcopy2017 NTT corp All Rights Reserved 18

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 19

定型業務の代替支援 日常生活の拡張(移動コミュニケーション支援)

知的活動の支援

整理された知識(知識ベースルール)

解読

デザイン

知識の探索

インタラクション技術

実世界構造化技術映像音声センサ情報など

スマホロボットなどユーザインタフェース

人間理解技術

モビリティ型パーソナルエージェント

テレプレゼンスロボット

コンタクトセンタ窓口業務代替

介護業務代替支援

アイディア創出支援

ヘルスケア

人の発する情報を読み解き意図感情を理解し膨大な知識に基づいて推論し人らしく表現するAI

意図理解対話ロボティクス

暗黙知

基礎技術

翻訳

Agent-AI (人らしさの追求人と共存)

Copyrightcopy2017 NTT corp All Rights Reserved 20

深層学習に基づく音声認識技術

a

ui

eo

音声とのパターンマッチング

深層学習型(ディープニューラルネット)約4000万パターンの音声を表現可能

従来型(混合分布)約10万パターンの音声を表現可能

音声 音素

音声の特徴をディープニューラルネットで精緻に表現することにより音声認識の精度を大幅に改善(多段構造により膨大な組合せを考慮)

公共エリアの騒がしい環境で収録された音声を認識する国際技術評価CHiME-3 (201512実施) でNTTは参加25機関中トップの精度を達成

0 5 10 15 20 25 30 35

各参加団体の単語認識誤り率()

<国際技術評価CHiME-3の結果>

標準的なディープニューラル音声認識 334

NTT 58

Agent-AI

本技術を採用した音声認識エンジン開発を実施中

Copyrightcopy2017 NTT corp All Rights Reserved 21

高騒音下での音声集音インテリジェントマイク技術

複数のマイクを組み合わせ100dB(デシベル)を越える高い騒音環境下(ガード下のような環境)でも特定方向の話者の声をとらえて明瞭な音声通話や高精度な音声認識を実現

様々な音が混合

周波数

振幅

インテリジェントマイク処理

マイク1マイク2

雑音抑圧された信号

周波数

振幅

音声通話音声認識に活用騒音

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 22

高機能なロボットやIoTデバイスを「作る」のではなくそれらを複数組み合わせて「使う」ための技術

ロボットをはじめとする複数のデバイスを組み合わせたデバイス連携サービス作りを非エンジニア層にも可能にすることを目的に開発

【特徴1】メーカーや業種問わず多様なデバイスを連携制御可能

【特徴2】ブラウザ上のGUIツールにより簡単にデバイス連携サービスを開発可能

ロボット連携技術 「R-env連舞reg 」Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 23

R-env連舞を使ったカスタマイズ例

現在のデモの流れ

Copyrightcopy2017 NTT corp All Rights Reserved 24

開始場面のカスタマイズ

新しい状態が追加される

新しい状態の追加

Copyrightcopy2017 NTT corp All Rights Reserved 25

動作対象を選択し実行したい動作を選択(SOTAにモーションを追加)

動かしたいデバイスを選択

(SOTA)

実行したい動作を選択(手を振る)

Copyrightcopy2017 NTT corp All Rights Reserved 26

動作対象を選択し実行したい動作を選択(SOTAに発話させたい文章を追加)

動かしたいデバイスを選択

(SOTA)

実行したい動作を選択

(発話を選び「相談会実施中」

と入力)

Copyrightcopy2017 NTT corp All Rights Reserved 27

状態の遷移先を切り替える

状態遷移先を切り替える

Copyrightcopy2017 NTT corp All Rights Reserved 28

ユーザーの質問は多様であり同じ意味の多様な表現を理解する必要がある(ex ldquo国際電話をかけたいrdquo = ldquo外国に電話する方法を教えてrdquo)

ユーザーの質問とFAQコンテンツの質問が同一の意味であるかを判定 NTT研究所技術は大規模な日本語意味辞書を用いて日本語特有の多様

な表現を理解可能

発話意図理解技術(FAQ検索技術)

同一性の判定

QAコンテンツ

概念に基づく判定モデル

【質問】ldquo国際電話をかけたいrdquo 外国に電話する方法

を教えてくださいrdquoldquoまず設定画面で~rdquo

【質問】 【回答】

2具体

3主体

4人 362組織

389場所

1000抽象

372団体党派

373団体

大規模意味辞書1名詞テキストコーパス

機械学習

CGM文書コールセンタ応対ログ

~多様な言い回しの獲得~ ~同一の意味を理解~

日本語解析

Agent-AI

他社との性能比較でも優位性を確認

Copyrightcopy2017 NTT corp All Rights Reserved 29

雑談対話技術

ユーザと多様な話題で雑談するための技術ユーザの発話を解析し話題と意図を抽出

インターネット上のコンテンツを言語処理技術によって整理し対話知識とすることで多様な話題に対しても妥当な発話を生成

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 30

copy2015 Vstone

複数ロボットを用いた雑談対話技術

複数の音声対話ロボットを協調させ音声認識や発話生成の誤りに気づかせずに対話を継続できる技術従来と同じ性能のシステムであっても人の認知特性を利用することで印象を大きく改善

明日は寒くなるみたいだからコート着なきゃ

ふむふむ

今年のコートの流行はチェスターコートだよ

話題連続性に対する要求の低減

ロボットA

蘭がスキー(ラーメンが好きを誤認識)

ふむふむ(誤認識を検知)

僕は焼き肉が好きだよ(ロボット同士の対話に移行)

食べ物だったら何が好き

音声認識誤り検出時の破綻回避

ロボットAが一旦発話を受け止めdarr

話者をロボットBに切り替えdarr

話題が逸脱した場合の違和感を軽減

音声認識結果が対話の流れから逸脱darr

音声認識の誤りと判断darr

ロボット同士の対話に移行し対話破綻を回避

ロボットA

ロボットB

大阪大学 石黒研との共同研究成果

ロボットB

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 31

アングルフリー物体検索技術

異なるアングルから撮影しても精度よく物体を認識し関連情報を提示可能 事前に準備する参照画像数を従来の110程度まで大幅に削減準備コス

トの削減可能

参照画像DB

NW

撮影画像

被写体付加情報

撮影した画像に写った物体を認識

認識検出結果

従来の約110の登録画像枚数

スマホ等で物体を撮影

撮影アングルが異なっても他の物体が写りこんでいても同じ物体として認識

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 32

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 33

Heart-Touching-AI (無意識人のこころに触れる)

本人にも意識されない人の心と身体を読み解き深層心理知性本能を理解するAI

心的状態神経活動筋活動を読み解き働きかけ

教育

スポーツ

エンターテインメント 健康美容

子育て保育

医療カウンセリングコミュニケーション科学

人間科学の成果を発揮する領域

Copyrightcopy2017 NTT corp All Rights Reserved 34

目の動きからユーザの「ココロ」を推定

眼球運動瞳孔の大きさに基づくマインドリーティング コンピュータでしか認識できない人間の潜在的な心の動きを読み取る

「人間を超える」感情認識能力をもったAI

Heart-Touching-AI

好みの推定

対象者の各種状態を推定

特徴抽出

モデル生成

分類器(モデル)

ラベル(評価値)

データ計測

瞳孔反応

マイクロサッカード

Time [s]

Posi

tion [

deg]

Time [s]

Pupil

size

change

[z-

score

]

0 1 2 3

0

2

-3 NTT独自のアルゴリズムを適用

or

顔画像音楽など

推定(分類)

注意状態の推定 眠気の推定

Copyrightcopy2017 NTT corp All Rights Reserved 35

体感型釣りゲーム

ドライブ体験

ドライブ映像のカーブに合わせてハンドルが引っ張られる感覚を体感

釣りで魚が食いついたことで糸が引っ張られる感覚を体感

手をみちびく感覚を振動デバイスで実現

振動で人を導く「ぶるなび」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 36

止まっている対象に動きの印象を与えるプロジェクションマッピング

質感編集技術

原画像

変換後

変幻灯技術(画像検索との融合)

画像と動きシナリオ(動き方タイミング等)のデータベース

撮影画像列

差分画像列

アニメ画像列生成

画像検索

姿勢推定

検索結果の動きシナリオ

対象物

プロジェクション

アニメ画像列

乾いた風景

濡れたように

差分計算

壁紙が表情を変える「変幻灯」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 37

アジェンダ

1NTTグループのロボティクスへの取り組み

~ 色々なモノが繋がる世界の実現 ~

2ロボットに必要な機能

~ NTTのAI技術 corevoreg(コレボ)~

3ロボット進化の方向性

~ 人とロボットの共生社会 ~

Copyrightcopy2017 NTT corp All Rights Reserved 38

一人に一台のパーソナルエージェント

スマホ等

Webサービス

Bluetooth Bluetooth携帯電話網

スマホ等

音声通話

音声+視線+動作

音声+視線+動作

Copyrightcopy2017 NTT corp All Rights Reserved 39

パーソナルモビリティ自律走行技術の進展

WHILLNTTドコモ全国初「免許不要」のパーソナルモビリティシェアリングサービスの実証実験を横浜で実施(2015年)

横浜赤レンガ倉庫2号館赤レンガパーク

日本丸メモリアルパーク

出典WHILLプレスリリースhttpswhilljpnews5618

Copyrightcopy2017 NTT corp All Rights Reserved 40

人と移動ロボットの共生社会

さまざまな移動ロボットが人の生活空間を移動する世界では移動ロボットが自律的に安全に移動することに加えて周囲の人や移動ロボットを操作する人が協力して環境へ適応し安全な動作を生成していくということが必要

移動ロボットを使う人も周囲の人も誰もが安心してロボットと共生できるサービスの実現

さまざまなタイプの移動ロボットが普及し人の日常空間に共存する将来

移動ロボットを操作する初心者高齢者が増加しそれに伴う事故も増加 自律移動ロボットも完全に安全にすることはできず人や他の移動ロボッ

トとの衝突が発生

Copyrightcopy2017 NTT corp All Rights Reserved 41

ldquoR-env連舞rdquoInnovation

Hub

多様なロボット活用サービスの普及に向けて

ハードウェアメーカーと連携した

「デバイスハンズオン」rarr個別デバイスの利用者拡大

アプリ開発者サービス事業者と連携した

「ハッカソン」rarrデバイス連携サービスプロトタイプの蓄積

パートナと連携した

「フィールドトライアル」

rarrデバイス連携サービスの有効性検証

パートナNTTグループ連携による

「ビジネス創出」

rarrデバイス連携サービスのビジネス化

Copyrightcopy2017 NTT corp All Rights Reserved 42

最優秀賞チーム雅「箱入り娘と箱贈り親父」父親と娘のコミュニケーションを育むためにロボットが父親の代わりに離れて暮らす娘へ

メッセージを届けてくれるサービス

優秀賞Team avata「R-env2 テレヘルスサービス」遠隔医療にコミュニケーションロボットを活用「お尻が痛い」などデリケートな症状でも医

師に相談することの恥ずかしさの軽減を図るサービス

R-env連舞 ハッカソン

日時場所2016年6月18日~19日FabCafe TokyoMTRL渋谷 テーマ「ロボットldquoならではrdquoのサービスを作ろう」

Copyrightcopy2017 NTT corp All Rights Reserved 43

R-env連舞のホームページ

httpswwwr-envjp

Copyrightcopy2017 NTT corp All Rights Reserved 44

国際ロボット競技会(World Robot Summit)

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

Copyrightcopy2017 NTT corp All Rights Reserved 45

WRSのスケジュール

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

ldquo人の可能性を広げるldquo

諦めなければならなかった事をひとつでも多く実現するインタラクションサービス

様々なパートナと連携して実現していきます

Page 19: NTTにおけるロボティクス技術の展開と展望 · 深層学習型 (ディープニューラルネット) 約4000万パターンの音声を 表現可能 従来型(混合分布)

Copyrightcopy2017 NTT corp All Rights Reserved 19

定型業務の代替支援 日常生活の拡張(移動コミュニケーション支援)

知的活動の支援

整理された知識(知識ベースルール)

解読

デザイン

知識の探索

インタラクション技術

実世界構造化技術映像音声センサ情報など

スマホロボットなどユーザインタフェース

人間理解技術

モビリティ型パーソナルエージェント

テレプレゼンスロボット

コンタクトセンタ窓口業務代替

介護業務代替支援

アイディア創出支援

ヘルスケア

人の発する情報を読み解き意図感情を理解し膨大な知識に基づいて推論し人らしく表現するAI

意図理解対話ロボティクス

暗黙知

基礎技術

翻訳

Agent-AI (人らしさの追求人と共存)

Copyrightcopy2017 NTT corp All Rights Reserved 20

深層学習に基づく音声認識技術

a

ui

eo

音声とのパターンマッチング

深層学習型(ディープニューラルネット)約4000万パターンの音声を表現可能

従来型(混合分布)約10万パターンの音声を表現可能

音声 音素

音声の特徴をディープニューラルネットで精緻に表現することにより音声認識の精度を大幅に改善(多段構造により膨大な組合せを考慮)

公共エリアの騒がしい環境で収録された音声を認識する国際技術評価CHiME-3 (201512実施) でNTTは参加25機関中トップの精度を達成

0 5 10 15 20 25 30 35

各参加団体の単語認識誤り率()

<国際技術評価CHiME-3の結果>

標準的なディープニューラル音声認識 334

NTT 58

Agent-AI

本技術を採用した音声認識エンジン開発を実施中

Copyrightcopy2017 NTT corp All Rights Reserved 21

高騒音下での音声集音インテリジェントマイク技術

複数のマイクを組み合わせ100dB(デシベル)を越える高い騒音環境下(ガード下のような環境)でも特定方向の話者の声をとらえて明瞭な音声通話や高精度な音声認識を実現

様々な音が混合

周波数

振幅

インテリジェントマイク処理

マイク1マイク2

雑音抑圧された信号

周波数

振幅

音声通話音声認識に活用騒音

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 22

高機能なロボットやIoTデバイスを「作る」のではなくそれらを複数組み合わせて「使う」ための技術

ロボットをはじめとする複数のデバイスを組み合わせたデバイス連携サービス作りを非エンジニア層にも可能にすることを目的に開発

【特徴1】メーカーや業種問わず多様なデバイスを連携制御可能

【特徴2】ブラウザ上のGUIツールにより簡単にデバイス連携サービスを開発可能

ロボット連携技術 「R-env連舞reg 」Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 23

R-env連舞を使ったカスタマイズ例

現在のデモの流れ

Copyrightcopy2017 NTT corp All Rights Reserved 24

開始場面のカスタマイズ

新しい状態が追加される

新しい状態の追加

Copyrightcopy2017 NTT corp All Rights Reserved 25

動作対象を選択し実行したい動作を選択(SOTAにモーションを追加)

動かしたいデバイスを選択

(SOTA)

実行したい動作を選択(手を振る)

Copyrightcopy2017 NTT corp All Rights Reserved 26

動作対象を選択し実行したい動作を選択(SOTAに発話させたい文章を追加)

動かしたいデバイスを選択

(SOTA)

実行したい動作を選択

(発話を選び「相談会実施中」

と入力)

Copyrightcopy2017 NTT corp All Rights Reserved 27

状態の遷移先を切り替える

状態遷移先を切り替える

Copyrightcopy2017 NTT corp All Rights Reserved 28

ユーザーの質問は多様であり同じ意味の多様な表現を理解する必要がある(ex ldquo国際電話をかけたいrdquo = ldquo外国に電話する方法を教えてrdquo)

ユーザーの質問とFAQコンテンツの質問が同一の意味であるかを判定 NTT研究所技術は大規模な日本語意味辞書を用いて日本語特有の多様

な表現を理解可能

発話意図理解技術(FAQ検索技術)

同一性の判定

QAコンテンツ

概念に基づく判定モデル

【質問】ldquo国際電話をかけたいrdquo 外国に電話する方法

を教えてくださいrdquoldquoまず設定画面で~rdquo

【質問】 【回答】

2具体

3主体

4人 362組織

389場所

1000抽象

372団体党派

373団体

大規模意味辞書1名詞テキストコーパス

機械学習

CGM文書コールセンタ応対ログ

~多様な言い回しの獲得~ ~同一の意味を理解~

日本語解析

Agent-AI

他社との性能比較でも優位性を確認

Copyrightcopy2017 NTT corp All Rights Reserved 29

雑談対話技術

ユーザと多様な話題で雑談するための技術ユーザの発話を解析し話題と意図を抽出

インターネット上のコンテンツを言語処理技術によって整理し対話知識とすることで多様な話題に対しても妥当な発話を生成

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 30

copy2015 Vstone

複数ロボットを用いた雑談対話技術

複数の音声対話ロボットを協調させ音声認識や発話生成の誤りに気づかせずに対話を継続できる技術従来と同じ性能のシステムであっても人の認知特性を利用することで印象を大きく改善

明日は寒くなるみたいだからコート着なきゃ

ふむふむ

今年のコートの流行はチェスターコートだよ

話題連続性に対する要求の低減

ロボットA

蘭がスキー(ラーメンが好きを誤認識)

ふむふむ(誤認識を検知)

僕は焼き肉が好きだよ(ロボット同士の対話に移行)

食べ物だったら何が好き

音声認識誤り検出時の破綻回避

ロボットAが一旦発話を受け止めdarr

話者をロボットBに切り替えdarr

話題が逸脱した場合の違和感を軽減

音声認識結果が対話の流れから逸脱darr

音声認識の誤りと判断darr

ロボット同士の対話に移行し対話破綻を回避

ロボットA

ロボットB

大阪大学 石黒研との共同研究成果

ロボットB

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 31

アングルフリー物体検索技術

異なるアングルから撮影しても精度よく物体を認識し関連情報を提示可能 事前に準備する参照画像数を従来の110程度まで大幅に削減準備コス

トの削減可能

参照画像DB

NW

撮影画像

被写体付加情報

撮影した画像に写った物体を認識

認識検出結果

従来の約110の登録画像枚数

スマホ等で物体を撮影

撮影アングルが異なっても他の物体が写りこんでいても同じ物体として認識

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 32

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 33

Heart-Touching-AI (無意識人のこころに触れる)

本人にも意識されない人の心と身体を読み解き深層心理知性本能を理解するAI

心的状態神経活動筋活動を読み解き働きかけ

教育

スポーツ

エンターテインメント 健康美容

子育て保育

医療カウンセリングコミュニケーション科学

人間科学の成果を発揮する領域

Copyrightcopy2017 NTT corp All Rights Reserved 34

目の動きからユーザの「ココロ」を推定

眼球運動瞳孔の大きさに基づくマインドリーティング コンピュータでしか認識できない人間の潜在的な心の動きを読み取る

「人間を超える」感情認識能力をもったAI

Heart-Touching-AI

好みの推定

対象者の各種状態を推定

特徴抽出

モデル生成

分類器(モデル)

ラベル(評価値)

データ計測

瞳孔反応

マイクロサッカード

Time [s]

Posi

tion [

deg]

Time [s]

Pupil

size

change

[z-

score

]

0 1 2 3

0

2

-3 NTT独自のアルゴリズムを適用

or

顔画像音楽など

推定(分類)

注意状態の推定 眠気の推定

Copyrightcopy2017 NTT corp All Rights Reserved 35

体感型釣りゲーム

ドライブ体験

ドライブ映像のカーブに合わせてハンドルが引っ張られる感覚を体感

釣りで魚が食いついたことで糸が引っ張られる感覚を体感

手をみちびく感覚を振動デバイスで実現

振動で人を導く「ぶるなび」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 36

止まっている対象に動きの印象を与えるプロジェクションマッピング

質感編集技術

原画像

変換後

変幻灯技術(画像検索との融合)

画像と動きシナリオ(動き方タイミング等)のデータベース

撮影画像列

差分画像列

アニメ画像列生成

画像検索

姿勢推定

検索結果の動きシナリオ

対象物

プロジェクション

アニメ画像列

乾いた風景

濡れたように

差分計算

壁紙が表情を変える「変幻灯」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 37

アジェンダ

1NTTグループのロボティクスへの取り組み

~ 色々なモノが繋がる世界の実現 ~

2ロボットに必要な機能

~ NTTのAI技術 corevoreg(コレボ)~

3ロボット進化の方向性

~ 人とロボットの共生社会 ~

Copyrightcopy2017 NTT corp All Rights Reserved 38

一人に一台のパーソナルエージェント

スマホ等

Webサービス

Bluetooth Bluetooth携帯電話網

スマホ等

音声通話

音声+視線+動作

音声+視線+動作

Copyrightcopy2017 NTT corp All Rights Reserved 39

パーソナルモビリティ自律走行技術の進展

WHILLNTTドコモ全国初「免許不要」のパーソナルモビリティシェアリングサービスの実証実験を横浜で実施(2015年)

横浜赤レンガ倉庫2号館赤レンガパーク

日本丸メモリアルパーク

出典WHILLプレスリリースhttpswhilljpnews5618

Copyrightcopy2017 NTT corp All Rights Reserved 40

人と移動ロボットの共生社会

さまざまな移動ロボットが人の生活空間を移動する世界では移動ロボットが自律的に安全に移動することに加えて周囲の人や移動ロボットを操作する人が協力して環境へ適応し安全な動作を生成していくということが必要

移動ロボットを使う人も周囲の人も誰もが安心してロボットと共生できるサービスの実現

さまざまなタイプの移動ロボットが普及し人の日常空間に共存する将来

移動ロボットを操作する初心者高齢者が増加しそれに伴う事故も増加 自律移動ロボットも完全に安全にすることはできず人や他の移動ロボッ

トとの衝突が発生

Copyrightcopy2017 NTT corp All Rights Reserved 41

ldquoR-env連舞rdquoInnovation

Hub

多様なロボット活用サービスの普及に向けて

ハードウェアメーカーと連携した

「デバイスハンズオン」rarr個別デバイスの利用者拡大

アプリ開発者サービス事業者と連携した

「ハッカソン」rarrデバイス連携サービスプロトタイプの蓄積

パートナと連携した

「フィールドトライアル」

rarrデバイス連携サービスの有効性検証

パートナNTTグループ連携による

「ビジネス創出」

rarrデバイス連携サービスのビジネス化

Copyrightcopy2017 NTT corp All Rights Reserved 42

最優秀賞チーム雅「箱入り娘と箱贈り親父」父親と娘のコミュニケーションを育むためにロボットが父親の代わりに離れて暮らす娘へ

メッセージを届けてくれるサービス

優秀賞Team avata「R-env2 テレヘルスサービス」遠隔医療にコミュニケーションロボットを活用「お尻が痛い」などデリケートな症状でも医

師に相談することの恥ずかしさの軽減を図るサービス

R-env連舞 ハッカソン

日時場所2016年6月18日~19日FabCafe TokyoMTRL渋谷 テーマ「ロボットldquoならではrdquoのサービスを作ろう」

Copyrightcopy2017 NTT corp All Rights Reserved 43

R-env連舞のホームページ

httpswwwr-envjp

Copyrightcopy2017 NTT corp All Rights Reserved 44

国際ロボット競技会(World Robot Summit)

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

Copyrightcopy2017 NTT corp All Rights Reserved 45

WRSのスケジュール

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

ldquo人の可能性を広げるldquo

諦めなければならなかった事をひとつでも多く実現するインタラクションサービス

様々なパートナと連携して実現していきます

Page 20: NTTにおけるロボティクス技術の展開と展望 · 深層学習型 (ディープニューラルネット) 約4000万パターンの音声を 表現可能 従来型(混合分布)

Copyrightcopy2017 NTT corp All Rights Reserved 20

深層学習に基づく音声認識技術

a

ui

eo

音声とのパターンマッチング

深層学習型(ディープニューラルネット)約4000万パターンの音声を表現可能

従来型(混合分布)約10万パターンの音声を表現可能

音声 音素

音声の特徴をディープニューラルネットで精緻に表現することにより音声認識の精度を大幅に改善(多段構造により膨大な組合せを考慮)

公共エリアの騒がしい環境で収録された音声を認識する国際技術評価CHiME-3 (201512実施) でNTTは参加25機関中トップの精度を達成

0 5 10 15 20 25 30 35

各参加団体の単語認識誤り率()

<国際技術評価CHiME-3の結果>

標準的なディープニューラル音声認識 334

NTT 58

Agent-AI

本技術を採用した音声認識エンジン開発を実施中

Copyrightcopy2017 NTT corp All Rights Reserved 21

高騒音下での音声集音インテリジェントマイク技術

複数のマイクを組み合わせ100dB(デシベル)を越える高い騒音環境下(ガード下のような環境)でも特定方向の話者の声をとらえて明瞭な音声通話や高精度な音声認識を実現

様々な音が混合

周波数

振幅

インテリジェントマイク処理

マイク1マイク2

雑音抑圧された信号

周波数

振幅

音声通話音声認識に活用騒音

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 22

高機能なロボットやIoTデバイスを「作る」のではなくそれらを複数組み合わせて「使う」ための技術

ロボットをはじめとする複数のデバイスを組み合わせたデバイス連携サービス作りを非エンジニア層にも可能にすることを目的に開発

【特徴1】メーカーや業種問わず多様なデバイスを連携制御可能

【特徴2】ブラウザ上のGUIツールにより簡単にデバイス連携サービスを開発可能

ロボット連携技術 「R-env連舞reg 」Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 23

R-env連舞を使ったカスタマイズ例

現在のデモの流れ

Copyrightcopy2017 NTT corp All Rights Reserved 24

開始場面のカスタマイズ

新しい状態が追加される

新しい状態の追加

Copyrightcopy2017 NTT corp All Rights Reserved 25

動作対象を選択し実行したい動作を選択(SOTAにモーションを追加)

動かしたいデバイスを選択

(SOTA)

実行したい動作を選択(手を振る)

Copyrightcopy2017 NTT corp All Rights Reserved 26

動作対象を選択し実行したい動作を選択(SOTAに発話させたい文章を追加)

動かしたいデバイスを選択

(SOTA)

実行したい動作を選択

(発話を選び「相談会実施中」

と入力)

Copyrightcopy2017 NTT corp All Rights Reserved 27

状態の遷移先を切り替える

状態遷移先を切り替える

Copyrightcopy2017 NTT corp All Rights Reserved 28

ユーザーの質問は多様であり同じ意味の多様な表現を理解する必要がある(ex ldquo国際電話をかけたいrdquo = ldquo外国に電話する方法を教えてrdquo)

ユーザーの質問とFAQコンテンツの質問が同一の意味であるかを判定 NTT研究所技術は大規模な日本語意味辞書を用いて日本語特有の多様

な表現を理解可能

発話意図理解技術(FAQ検索技術)

同一性の判定

QAコンテンツ

概念に基づく判定モデル

【質問】ldquo国際電話をかけたいrdquo 外国に電話する方法

を教えてくださいrdquoldquoまず設定画面で~rdquo

【質問】 【回答】

2具体

3主体

4人 362組織

389場所

1000抽象

372団体党派

373団体

大規模意味辞書1名詞テキストコーパス

機械学習

CGM文書コールセンタ応対ログ

~多様な言い回しの獲得~ ~同一の意味を理解~

日本語解析

Agent-AI

他社との性能比較でも優位性を確認

Copyrightcopy2017 NTT corp All Rights Reserved 29

雑談対話技術

ユーザと多様な話題で雑談するための技術ユーザの発話を解析し話題と意図を抽出

インターネット上のコンテンツを言語処理技術によって整理し対話知識とすることで多様な話題に対しても妥当な発話を生成

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 30

copy2015 Vstone

複数ロボットを用いた雑談対話技術

複数の音声対話ロボットを協調させ音声認識や発話生成の誤りに気づかせずに対話を継続できる技術従来と同じ性能のシステムであっても人の認知特性を利用することで印象を大きく改善

明日は寒くなるみたいだからコート着なきゃ

ふむふむ

今年のコートの流行はチェスターコートだよ

話題連続性に対する要求の低減

ロボットA

蘭がスキー(ラーメンが好きを誤認識)

ふむふむ(誤認識を検知)

僕は焼き肉が好きだよ(ロボット同士の対話に移行)

食べ物だったら何が好き

音声認識誤り検出時の破綻回避

ロボットAが一旦発話を受け止めdarr

話者をロボットBに切り替えdarr

話題が逸脱した場合の違和感を軽減

音声認識結果が対話の流れから逸脱darr

音声認識の誤りと判断darr

ロボット同士の対話に移行し対話破綻を回避

ロボットA

ロボットB

大阪大学 石黒研との共同研究成果

ロボットB

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 31

アングルフリー物体検索技術

異なるアングルから撮影しても精度よく物体を認識し関連情報を提示可能 事前に準備する参照画像数を従来の110程度まで大幅に削減準備コス

トの削減可能

参照画像DB

NW

撮影画像

被写体付加情報

撮影した画像に写った物体を認識

認識検出結果

従来の約110の登録画像枚数

スマホ等で物体を撮影

撮影アングルが異なっても他の物体が写りこんでいても同じ物体として認識

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 32

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 33

Heart-Touching-AI (無意識人のこころに触れる)

本人にも意識されない人の心と身体を読み解き深層心理知性本能を理解するAI

心的状態神経活動筋活動を読み解き働きかけ

教育

スポーツ

エンターテインメント 健康美容

子育て保育

医療カウンセリングコミュニケーション科学

人間科学の成果を発揮する領域

Copyrightcopy2017 NTT corp All Rights Reserved 34

目の動きからユーザの「ココロ」を推定

眼球運動瞳孔の大きさに基づくマインドリーティング コンピュータでしか認識できない人間の潜在的な心の動きを読み取る

「人間を超える」感情認識能力をもったAI

Heart-Touching-AI

好みの推定

対象者の各種状態を推定

特徴抽出

モデル生成

分類器(モデル)

ラベル(評価値)

データ計測

瞳孔反応

マイクロサッカード

Time [s]

Posi

tion [

deg]

Time [s]

Pupil

size

change

[z-

score

]

0 1 2 3

0

2

-3 NTT独自のアルゴリズムを適用

or

顔画像音楽など

推定(分類)

注意状態の推定 眠気の推定

Copyrightcopy2017 NTT corp All Rights Reserved 35

体感型釣りゲーム

ドライブ体験

ドライブ映像のカーブに合わせてハンドルが引っ張られる感覚を体感

釣りで魚が食いついたことで糸が引っ張られる感覚を体感

手をみちびく感覚を振動デバイスで実現

振動で人を導く「ぶるなび」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 36

止まっている対象に動きの印象を与えるプロジェクションマッピング

質感編集技術

原画像

変換後

変幻灯技術(画像検索との融合)

画像と動きシナリオ(動き方タイミング等)のデータベース

撮影画像列

差分画像列

アニメ画像列生成

画像検索

姿勢推定

検索結果の動きシナリオ

対象物

プロジェクション

アニメ画像列

乾いた風景

濡れたように

差分計算

壁紙が表情を変える「変幻灯」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 37

アジェンダ

1NTTグループのロボティクスへの取り組み

~ 色々なモノが繋がる世界の実現 ~

2ロボットに必要な機能

~ NTTのAI技術 corevoreg(コレボ)~

3ロボット進化の方向性

~ 人とロボットの共生社会 ~

Copyrightcopy2017 NTT corp All Rights Reserved 38

一人に一台のパーソナルエージェント

スマホ等

Webサービス

Bluetooth Bluetooth携帯電話網

スマホ等

音声通話

音声+視線+動作

音声+視線+動作

Copyrightcopy2017 NTT corp All Rights Reserved 39

パーソナルモビリティ自律走行技術の進展

WHILLNTTドコモ全国初「免許不要」のパーソナルモビリティシェアリングサービスの実証実験を横浜で実施(2015年)

横浜赤レンガ倉庫2号館赤レンガパーク

日本丸メモリアルパーク

出典WHILLプレスリリースhttpswhilljpnews5618

Copyrightcopy2017 NTT corp All Rights Reserved 40

人と移動ロボットの共生社会

さまざまな移動ロボットが人の生活空間を移動する世界では移動ロボットが自律的に安全に移動することに加えて周囲の人や移動ロボットを操作する人が協力して環境へ適応し安全な動作を生成していくということが必要

移動ロボットを使う人も周囲の人も誰もが安心してロボットと共生できるサービスの実現

さまざまなタイプの移動ロボットが普及し人の日常空間に共存する将来

移動ロボットを操作する初心者高齢者が増加しそれに伴う事故も増加 自律移動ロボットも完全に安全にすることはできず人や他の移動ロボッ

トとの衝突が発生

Copyrightcopy2017 NTT corp All Rights Reserved 41

ldquoR-env連舞rdquoInnovation

Hub

多様なロボット活用サービスの普及に向けて

ハードウェアメーカーと連携した

「デバイスハンズオン」rarr個別デバイスの利用者拡大

アプリ開発者サービス事業者と連携した

「ハッカソン」rarrデバイス連携サービスプロトタイプの蓄積

パートナと連携した

「フィールドトライアル」

rarrデバイス連携サービスの有効性検証

パートナNTTグループ連携による

「ビジネス創出」

rarrデバイス連携サービスのビジネス化

Copyrightcopy2017 NTT corp All Rights Reserved 42

最優秀賞チーム雅「箱入り娘と箱贈り親父」父親と娘のコミュニケーションを育むためにロボットが父親の代わりに離れて暮らす娘へ

メッセージを届けてくれるサービス

優秀賞Team avata「R-env2 テレヘルスサービス」遠隔医療にコミュニケーションロボットを活用「お尻が痛い」などデリケートな症状でも医

師に相談することの恥ずかしさの軽減を図るサービス

R-env連舞 ハッカソン

日時場所2016年6月18日~19日FabCafe TokyoMTRL渋谷 テーマ「ロボットldquoならではrdquoのサービスを作ろう」

Copyrightcopy2017 NTT corp All Rights Reserved 43

R-env連舞のホームページ

httpswwwr-envjp

Copyrightcopy2017 NTT corp All Rights Reserved 44

国際ロボット競技会(World Robot Summit)

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

Copyrightcopy2017 NTT corp All Rights Reserved 45

WRSのスケジュール

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

ldquo人の可能性を広げるldquo

諦めなければならなかった事をひとつでも多く実現するインタラクションサービス

様々なパートナと連携して実現していきます

Page 21: NTTにおけるロボティクス技術の展開と展望 · 深層学習型 (ディープニューラルネット) 約4000万パターンの音声を 表現可能 従来型(混合分布)

Copyrightcopy2017 NTT corp All Rights Reserved 21

高騒音下での音声集音インテリジェントマイク技術

複数のマイクを組み合わせ100dB(デシベル)を越える高い騒音環境下(ガード下のような環境)でも特定方向の話者の声をとらえて明瞭な音声通話や高精度な音声認識を実現

様々な音が混合

周波数

振幅

インテリジェントマイク処理

マイク1マイク2

雑音抑圧された信号

周波数

振幅

音声通話音声認識に活用騒音

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 22

高機能なロボットやIoTデバイスを「作る」のではなくそれらを複数組み合わせて「使う」ための技術

ロボットをはじめとする複数のデバイスを組み合わせたデバイス連携サービス作りを非エンジニア層にも可能にすることを目的に開発

【特徴1】メーカーや業種問わず多様なデバイスを連携制御可能

【特徴2】ブラウザ上のGUIツールにより簡単にデバイス連携サービスを開発可能

ロボット連携技術 「R-env連舞reg 」Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 23

R-env連舞を使ったカスタマイズ例

現在のデモの流れ

Copyrightcopy2017 NTT corp All Rights Reserved 24

開始場面のカスタマイズ

新しい状態が追加される

新しい状態の追加

Copyrightcopy2017 NTT corp All Rights Reserved 25

動作対象を選択し実行したい動作を選択(SOTAにモーションを追加)

動かしたいデバイスを選択

(SOTA)

実行したい動作を選択(手を振る)

Copyrightcopy2017 NTT corp All Rights Reserved 26

動作対象を選択し実行したい動作を選択(SOTAに発話させたい文章を追加)

動かしたいデバイスを選択

(SOTA)

実行したい動作を選択

(発話を選び「相談会実施中」

と入力)

Copyrightcopy2017 NTT corp All Rights Reserved 27

状態の遷移先を切り替える

状態遷移先を切り替える

Copyrightcopy2017 NTT corp All Rights Reserved 28

ユーザーの質問は多様であり同じ意味の多様な表現を理解する必要がある(ex ldquo国際電話をかけたいrdquo = ldquo外国に電話する方法を教えてrdquo)

ユーザーの質問とFAQコンテンツの質問が同一の意味であるかを判定 NTT研究所技術は大規模な日本語意味辞書を用いて日本語特有の多様

な表現を理解可能

発話意図理解技術(FAQ検索技術)

同一性の判定

QAコンテンツ

概念に基づく判定モデル

【質問】ldquo国際電話をかけたいrdquo 外国に電話する方法

を教えてくださいrdquoldquoまず設定画面で~rdquo

【質問】 【回答】

2具体

3主体

4人 362組織

389場所

1000抽象

372団体党派

373団体

大規模意味辞書1名詞テキストコーパス

機械学習

CGM文書コールセンタ応対ログ

~多様な言い回しの獲得~ ~同一の意味を理解~

日本語解析

Agent-AI

他社との性能比較でも優位性を確認

Copyrightcopy2017 NTT corp All Rights Reserved 29

雑談対話技術

ユーザと多様な話題で雑談するための技術ユーザの発話を解析し話題と意図を抽出

インターネット上のコンテンツを言語処理技術によって整理し対話知識とすることで多様な話題に対しても妥当な発話を生成

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 30

copy2015 Vstone

複数ロボットを用いた雑談対話技術

複数の音声対話ロボットを協調させ音声認識や発話生成の誤りに気づかせずに対話を継続できる技術従来と同じ性能のシステムであっても人の認知特性を利用することで印象を大きく改善

明日は寒くなるみたいだからコート着なきゃ

ふむふむ

今年のコートの流行はチェスターコートだよ

話題連続性に対する要求の低減

ロボットA

蘭がスキー(ラーメンが好きを誤認識)

ふむふむ(誤認識を検知)

僕は焼き肉が好きだよ(ロボット同士の対話に移行)

食べ物だったら何が好き

音声認識誤り検出時の破綻回避

ロボットAが一旦発話を受け止めdarr

話者をロボットBに切り替えdarr

話題が逸脱した場合の違和感を軽減

音声認識結果が対話の流れから逸脱darr

音声認識の誤りと判断darr

ロボット同士の対話に移行し対話破綻を回避

ロボットA

ロボットB

大阪大学 石黒研との共同研究成果

ロボットB

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 31

アングルフリー物体検索技術

異なるアングルから撮影しても精度よく物体を認識し関連情報を提示可能 事前に準備する参照画像数を従来の110程度まで大幅に削減準備コス

トの削減可能

参照画像DB

NW

撮影画像

被写体付加情報

撮影した画像に写った物体を認識

認識検出結果

従来の約110の登録画像枚数

スマホ等で物体を撮影

撮影アングルが異なっても他の物体が写りこんでいても同じ物体として認識

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 32

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 33

Heart-Touching-AI (無意識人のこころに触れる)

本人にも意識されない人の心と身体を読み解き深層心理知性本能を理解するAI

心的状態神経活動筋活動を読み解き働きかけ

教育

スポーツ

エンターテインメント 健康美容

子育て保育

医療カウンセリングコミュニケーション科学

人間科学の成果を発揮する領域

Copyrightcopy2017 NTT corp All Rights Reserved 34

目の動きからユーザの「ココロ」を推定

眼球運動瞳孔の大きさに基づくマインドリーティング コンピュータでしか認識できない人間の潜在的な心の動きを読み取る

「人間を超える」感情認識能力をもったAI

Heart-Touching-AI

好みの推定

対象者の各種状態を推定

特徴抽出

モデル生成

分類器(モデル)

ラベル(評価値)

データ計測

瞳孔反応

マイクロサッカード

Time [s]

Posi

tion [

deg]

Time [s]

Pupil

size

change

[z-

score

]

0 1 2 3

0

2

-3 NTT独自のアルゴリズムを適用

or

顔画像音楽など

推定(分類)

注意状態の推定 眠気の推定

Copyrightcopy2017 NTT corp All Rights Reserved 35

体感型釣りゲーム

ドライブ体験

ドライブ映像のカーブに合わせてハンドルが引っ張られる感覚を体感

釣りで魚が食いついたことで糸が引っ張られる感覚を体感

手をみちびく感覚を振動デバイスで実現

振動で人を導く「ぶるなび」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 36

止まっている対象に動きの印象を与えるプロジェクションマッピング

質感編集技術

原画像

変換後

変幻灯技術(画像検索との融合)

画像と動きシナリオ(動き方タイミング等)のデータベース

撮影画像列

差分画像列

アニメ画像列生成

画像検索

姿勢推定

検索結果の動きシナリオ

対象物

プロジェクション

アニメ画像列

乾いた風景

濡れたように

差分計算

壁紙が表情を変える「変幻灯」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 37

アジェンダ

1NTTグループのロボティクスへの取り組み

~ 色々なモノが繋がる世界の実現 ~

2ロボットに必要な機能

~ NTTのAI技術 corevoreg(コレボ)~

3ロボット進化の方向性

~ 人とロボットの共生社会 ~

Copyrightcopy2017 NTT corp All Rights Reserved 38

一人に一台のパーソナルエージェント

スマホ等

Webサービス

Bluetooth Bluetooth携帯電話網

スマホ等

音声通話

音声+視線+動作

音声+視線+動作

Copyrightcopy2017 NTT corp All Rights Reserved 39

パーソナルモビリティ自律走行技術の進展

WHILLNTTドコモ全国初「免許不要」のパーソナルモビリティシェアリングサービスの実証実験を横浜で実施(2015年)

横浜赤レンガ倉庫2号館赤レンガパーク

日本丸メモリアルパーク

出典WHILLプレスリリースhttpswhilljpnews5618

Copyrightcopy2017 NTT corp All Rights Reserved 40

人と移動ロボットの共生社会

さまざまな移動ロボットが人の生活空間を移動する世界では移動ロボットが自律的に安全に移動することに加えて周囲の人や移動ロボットを操作する人が協力して環境へ適応し安全な動作を生成していくということが必要

移動ロボットを使う人も周囲の人も誰もが安心してロボットと共生できるサービスの実現

さまざまなタイプの移動ロボットが普及し人の日常空間に共存する将来

移動ロボットを操作する初心者高齢者が増加しそれに伴う事故も増加 自律移動ロボットも完全に安全にすることはできず人や他の移動ロボッ

トとの衝突が発生

Copyrightcopy2017 NTT corp All Rights Reserved 41

ldquoR-env連舞rdquoInnovation

Hub

多様なロボット活用サービスの普及に向けて

ハードウェアメーカーと連携した

「デバイスハンズオン」rarr個別デバイスの利用者拡大

アプリ開発者サービス事業者と連携した

「ハッカソン」rarrデバイス連携サービスプロトタイプの蓄積

パートナと連携した

「フィールドトライアル」

rarrデバイス連携サービスの有効性検証

パートナNTTグループ連携による

「ビジネス創出」

rarrデバイス連携サービスのビジネス化

Copyrightcopy2017 NTT corp All Rights Reserved 42

最優秀賞チーム雅「箱入り娘と箱贈り親父」父親と娘のコミュニケーションを育むためにロボットが父親の代わりに離れて暮らす娘へ

メッセージを届けてくれるサービス

優秀賞Team avata「R-env2 テレヘルスサービス」遠隔医療にコミュニケーションロボットを活用「お尻が痛い」などデリケートな症状でも医

師に相談することの恥ずかしさの軽減を図るサービス

R-env連舞 ハッカソン

日時場所2016年6月18日~19日FabCafe TokyoMTRL渋谷 テーマ「ロボットldquoならではrdquoのサービスを作ろう」

Copyrightcopy2017 NTT corp All Rights Reserved 43

R-env連舞のホームページ

httpswwwr-envjp

Copyrightcopy2017 NTT corp All Rights Reserved 44

国際ロボット競技会(World Robot Summit)

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

Copyrightcopy2017 NTT corp All Rights Reserved 45

WRSのスケジュール

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

ldquo人の可能性を広げるldquo

諦めなければならなかった事をひとつでも多く実現するインタラクションサービス

様々なパートナと連携して実現していきます

Page 22: NTTにおけるロボティクス技術の展開と展望 · 深層学習型 (ディープニューラルネット) 約4000万パターンの音声を 表現可能 従来型(混合分布)

Copyrightcopy2017 NTT corp All Rights Reserved 22

高機能なロボットやIoTデバイスを「作る」のではなくそれらを複数組み合わせて「使う」ための技術

ロボットをはじめとする複数のデバイスを組み合わせたデバイス連携サービス作りを非エンジニア層にも可能にすることを目的に開発

【特徴1】メーカーや業種問わず多様なデバイスを連携制御可能

【特徴2】ブラウザ上のGUIツールにより簡単にデバイス連携サービスを開発可能

ロボット連携技術 「R-env連舞reg 」Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 23

R-env連舞を使ったカスタマイズ例

現在のデモの流れ

Copyrightcopy2017 NTT corp All Rights Reserved 24

開始場面のカスタマイズ

新しい状態が追加される

新しい状態の追加

Copyrightcopy2017 NTT corp All Rights Reserved 25

動作対象を選択し実行したい動作を選択(SOTAにモーションを追加)

動かしたいデバイスを選択

(SOTA)

実行したい動作を選択(手を振る)

Copyrightcopy2017 NTT corp All Rights Reserved 26

動作対象を選択し実行したい動作を選択(SOTAに発話させたい文章を追加)

動かしたいデバイスを選択

(SOTA)

実行したい動作を選択

(発話を選び「相談会実施中」

と入力)

Copyrightcopy2017 NTT corp All Rights Reserved 27

状態の遷移先を切り替える

状態遷移先を切り替える

Copyrightcopy2017 NTT corp All Rights Reserved 28

ユーザーの質問は多様であり同じ意味の多様な表現を理解する必要がある(ex ldquo国際電話をかけたいrdquo = ldquo外国に電話する方法を教えてrdquo)

ユーザーの質問とFAQコンテンツの質問が同一の意味であるかを判定 NTT研究所技術は大規模な日本語意味辞書を用いて日本語特有の多様

な表現を理解可能

発話意図理解技術(FAQ検索技術)

同一性の判定

QAコンテンツ

概念に基づく判定モデル

【質問】ldquo国際電話をかけたいrdquo 外国に電話する方法

を教えてくださいrdquoldquoまず設定画面で~rdquo

【質問】 【回答】

2具体

3主体

4人 362組織

389場所

1000抽象

372団体党派

373団体

大規模意味辞書1名詞テキストコーパス

機械学習

CGM文書コールセンタ応対ログ

~多様な言い回しの獲得~ ~同一の意味を理解~

日本語解析

Agent-AI

他社との性能比較でも優位性を確認

Copyrightcopy2017 NTT corp All Rights Reserved 29

雑談対話技術

ユーザと多様な話題で雑談するための技術ユーザの発話を解析し話題と意図を抽出

インターネット上のコンテンツを言語処理技術によって整理し対話知識とすることで多様な話題に対しても妥当な発話を生成

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 30

copy2015 Vstone

複数ロボットを用いた雑談対話技術

複数の音声対話ロボットを協調させ音声認識や発話生成の誤りに気づかせずに対話を継続できる技術従来と同じ性能のシステムであっても人の認知特性を利用することで印象を大きく改善

明日は寒くなるみたいだからコート着なきゃ

ふむふむ

今年のコートの流行はチェスターコートだよ

話題連続性に対する要求の低減

ロボットA

蘭がスキー(ラーメンが好きを誤認識)

ふむふむ(誤認識を検知)

僕は焼き肉が好きだよ(ロボット同士の対話に移行)

食べ物だったら何が好き

音声認識誤り検出時の破綻回避

ロボットAが一旦発話を受け止めdarr

話者をロボットBに切り替えdarr

話題が逸脱した場合の違和感を軽減

音声認識結果が対話の流れから逸脱darr

音声認識の誤りと判断darr

ロボット同士の対話に移行し対話破綻を回避

ロボットA

ロボットB

大阪大学 石黒研との共同研究成果

ロボットB

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 31

アングルフリー物体検索技術

異なるアングルから撮影しても精度よく物体を認識し関連情報を提示可能 事前に準備する参照画像数を従来の110程度まで大幅に削減準備コス

トの削減可能

参照画像DB

NW

撮影画像

被写体付加情報

撮影した画像に写った物体を認識

認識検出結果

従来の約110の登録画像枚数

スマホ等で物体を撮影

撮影アングルが異なっても他の物体が写りこんでいても同じ物体として認識

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 32

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 33

Heart-Touching-AI (無意識人のこころに触れる)

本人にも意識されない人の心と身体を読み解き深層心理知性本能を理解するAI

心的状態神経活動筋活動を読み解き働きかけ

教育

スポーツ

エンターテインメント 健康美容

子育て保育

医療カウンセリングコミュニケーション科学

人間科学の成果を発揮する領域

Copyrightcopy2017 NTT corp All Rights Reserved 34

目の動きからユーザの「ココロ」を推定

眼球運動瞳孔の大きさに基づくマインドリーティング コンピュータでしか認識できない人間の潜在的な心の動きを読み取る

「人間を超える」感情認識能力をもったAI

Heart-Touching-AI

好みの推定

対象者の各種状態を推定

特徴抽出

モデル生成

分類器(モデル)

ラベル(評価値)

データ計測

瞳孔反応

マイクロサッカード

Time [s]

Posi

tion [

deg]

Time [s]

Pupil

size

change

[z-

score

]

0 1 2 3

0

2

-3 NTT独自のアルゴリズムを適用

or

顔画像音楽など

推定(分類)

注意状態の推定 眠気の推定

Copyrightcopy2017 NTT corp All Rights Reserved 35

体感型釣りゲーム

ドライブ体験

ドライブ映像のカーブに合わせてハンドルが引っ張られる感覚を体感

釣りで魚が食いついたことで糸が引っ張られる感覚を体感

手をみちびく感覚を振動デバイスで実現

振動で人を導く「ぶるなび」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 36

止まっている対象に動きの印象を与えるプロジェクションマッピング

質感編集技術

原画像

変換後

変幻灯技術(画像検索との融合)

画像と動きシナリオ(動き方タイミング等)のデータベース

撮影画像列

差分画像列

アニメ画像列生成

画像検索

姿勢推定

検索結果の動きシナリオ

対象物

プロジェクション

アニメ画像列

乾いた風景

濡れたように

差分計算

壁紙が表情を変える「変幻灯」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 37

アジェンダ

1NTTグループのロボティクスへの取り組み

~ 色々なモノが繋がる世界の実現 ~

2ロボットに必要な機能

~ NTTのAI技術 corevoreg(コレボ)~

3ロボット進化の方向性

~ 人とロボットの共生社会 ~

Copyrightcopy2017 NTT corp All Rights Reserved 38

一人に一台のパーソナルエージェント

スマホ等

Webサービス

Bluetooth Bluetooth携帯電話網

スマホ等

音声通話

音声+視線+動作

音声+視線+動作

Copyrightcopy2017 NTT corp All Rights Reserved 39

パーソナルモビリティ自律走行技術の進展

WHILLNTTドコモ全国初「免許不要」のパーソナルモビリティシェアリングサービスの実証実験を横浜で実施(2015年)

横浜赤レンガ倉庫2号館赤レンガパーク

日本丸メモリアルパーク

出典WHILLプレスリリースhttpswhilljpnews5618

Copyrightcopy2017 NTT corp All Rights Reserved 40

人と移動ロボットの共生社会

さまざまな移動ロボットが人の生活空間を移動する世界では移動ロボットが自律的に安全に移動することに加えて周囲の人や移動ロボットを操作する人が協力して環境へ適応し安全な動作を生成していくということが必要

移動ロボットを使う人も周囲の人も誰もが安心してロボットと共生できるサービスの実現

さまざまなタイプの移動ロボットが普及し人の日常空間に共存する将来

移動ロボットを操作する初心者高齢者が増加しそれに伴う事故も増加 自律移動ロボットも完全に安全にすることはできず人や他の移動ロボッ

トとの衝突が発生

Copyrightcopy2017 NTT corp All Rights Reserved 41

ldquoR-env連舞rdquoInnovation

Hub

多様なロボット活用サービスの普及に向けて

ハードウェアメーカーと連携した

「デバイスハンズオン」rarr個別デバイスの利用者拡大

アプリ開発者サービス事業者と連携した

「ハッカソン」rarrデバイス連携サービスプロトタイプの蓄積

パートナと連携した

「フィールドトライアル」

rarrデバイス連携サービスの有効性検証

パートナNTTグループ連携による

「ビジネス創出」

rarrデバイス連携サービスのビジネス化

Copyrightcopy2017 NTT corp All Rights Reserved 42

最優秀賞チーム雅「箱入り娘と箱贈り親父」父親と娘のコミュニケーションを育むためにロボットが父親の代わりに離れて暮らす娘へ

メッセージを届けてくれるサービス

優秀賞Team avata「R-env2 テレヘルスサービス」遠隔医療にコミュニケーションロボットを活用「お尻が痛い」などデリケートな症状でも医

師に相談することの恥ずかしさの軽減を図るサービス

R-env連舞 ハッカソン

日時場所2016年6月18日~19日FabCafe TokyoMTRL渋谷 テーマ「ロボットldquoならではrdquoのサービスを作ろう」

Copyrightcopy2017 NTT corp All Rights Reserved 43

R-env連舞のホームページ

httpswwwr-envjp

Copyrightcopy2017 NTT corp All Rights Reserved 44

国際ロボット競技会(World Robot Summit)

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

Copyrightcopy2017 NTT corp All Rights Reserved 45

WRSのスケジュール

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

ldquo人の可能性を広げるldquo

諦めなければならなかった事をひとつでも多く実現するインタラクションサービス

様々なパートナと連携して実現していきます

Page 23: NTTにおけるロボティクス技術の展開と展望 · 深層学習型 (ディープニューラルネット) 約4000万パターンの音声を 表現可能 従来型(混合分布)

Copyrightcopy2017 NTT corp All Rights Reserved 23

R-env連舞を使ったカスタマイズ例

現在のデモの流れ

Copyrightcopy2017 NTT corp All Rights Reserved 24

開始場面のカスタマイズ

新しい状態が追加される

新しい状態の追加

Copyrightcopy2017 NTT corp All Rights Reserved 25

動作対象を選択し実行したい動作を選択(SOTAにモーションを追加)

動かしたいデバイスを選択

(SOTA)

実行したい動作を選択(手を振る)

Copyrightcopy2017 NTT corp All Rights Reserved 26

動作対象を選択し実行したい動作を選択(SOTAに発話させたい文章を追加)

動かしたいデバイスを選択

(SOTA)

実行したい動作を選択

(発話を選び「相談会実施中」

と入力)

Copyrightcopy2017 NTT corp All Rights Reserved 27

状態の遷移先を切り替える

状態遷移先を切り替える

Copyrightcopy2017 NTT corp All Rights Reserved 28

ユーザーの質問は多様であり同じ意味の多様な表現を理解する必要がある(ex ldquo国際電話をかけたいrdquo = ldquo外国に電話する方法を教えてrdquo)

ユーザーの質問とFAQコンテンツの質問が同一の意味であるかを判定 NTT研究所技術は大規模な日本語意味辞書を用いて日本語特有の多様

な表現を理解可能

発話意図理解技術(FAQ検索技術)

同一性の判定

QAコンテンツ

概念に基づく判定モデル

【質問】ldquo国際電話をかけたいrdquo 外国に電話する方法

を教えてくださいrdquoldquoまず設定画面で~rdquo

【質問】 【回答】

2具体

3主体

4人 362組織

389場所

1000抽象

372団体党派

373団体

大規模意味辞書1名詞テキストコーパス

機械学習

CGM文書コールセンタ応対ログ

~多様な言い回しの獲得~ ~同一の意味を理解~

日本語解析

Agent-AI

他社との性能比較でも優位性を確認

Copyrightcopy2017 NTT corp All Rights Reserved 29

雑談対話技術

ユーザと多様な話題で雑談するための技術ユーザの発話を解析し話題と意図を抽出

インターネット上のコンテンツを言語処理技術によって整理し対話知識とすることで多様な話題に対しても妥当な発話を生成

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 30

copy2015 Vstone

複数ロボットを用いた雑談対話技術

複数の音声対話ロボットを協調させ音声認識や発話生成の誤りに気づかせずに対話を継続できる技術従来と同じ性能のシステムであっても人の認知特性を利用することで印象を大きく改善

明日は寒くなるみたいだからコート着なきゃ

ふむふむ

今年のコートの流行はチェスターコートだよ

話題連続性に対する要求の低減

ロボットA

蘭がスキー(ラーメンが好きを誤認識)

ふむふむ(誤認識を検知)

僕は焼き肉が好きだよ(ロボット同士の対話に移行)

食べ物だったら何が好き

音声認識誤り検出時の破綻回避

ロボットAが一旦発話を受け止めdarr

話者をロボットBに切り替えdarr

話題が逸脱した場合の違和感を軽減

音声認識結果が対話の流れから逸脱darr

音声認識の誤りと判断darr

ロボット同士の対話に移行し対話破綻を回避

ロボットA

ロボットB

大阪大学 石黒研との共同研究成果

ロボットB

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 31

アングルフリー物体検索技術

異なるアングルから撮影しても精度よく物体を認識し関連情報を提示可能 事前に準備する参照画像数を従来の110程度まで大幅に削減準備コス

トの削減可能

参照画像DB

NW

撮影画像

被写体付加情報

撮影した画像に写った物体を認識

認識検出結果

従来の約110の登録画像枚数

スマホ等で物体を撮影

撮影アングルが異なっても他の物体が写りこんでいても同じ物体として認識

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 32

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 33

Heart-Touching-AI (無意識人のこころに触れる)

本人にも意識されない人の心と身体を読み解き深層心理知性本能を理解するAI

心的状態神経活動筋活動を読み解き働きかけ

教育

スポーツ

エンターテインメント 健康美容

子育て保育

医療カウンセリングコミュニケーション科学

人間科学の成果を発揮する領域

Copyrightcopy2017 NTT corp All Rights Reserved 34

目の動きからユーザの「ココロ」を推定

眼球運動瞳孔の大きさに基づくマインドリーティング コンピュータでしか認識できない人間の潜在的な心の動きを読み取る

「人間を超える」感情認識能力をもったAI

Heart-Touching-AI

好みの推定

対象者の各種状態を推定

特徴抽出

モデル生成

分類器(モデル)

ラベル(評価値)

データ計測

瞳孔反応

マイクロサッカード

Time [s]

Posi

tion [

deg]

Time [s]

Pupil

size

change

[z-

score

]

0 1 2 3

0

2

-3 NTT独自のアルゴリズムを適用

or

顔画像音楽など

推定(分類)

注意状態の推定 眠気の推定

Copyrightcopy2017 NTT corp All Rights Reserved 35

体感型釣りゲーム

ドライブ体験

ドライブ映像のカーブに合わせてハンドルが引っ張られる感覚を体感

釣りで魚が食いついたことで糸が引っ張られる感覚を体感

手をみちびく感覚を振動デバイスで実現

振動で人を導く「ぶるなび」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 36

止まっている対象に動きの印象を与えるプロジェクションマッピング

質感編集技術

原画像

変換後

変幻灯技術(画像検索との融合)

画像と動きシナリオ(動き方タイミング等)のデータベース

撮影画像列

差分画像列

アニメ画像列生成

画像検索

姿勢推定

検索結果の動きシナリオ

対象物

プロジェクション

アニメ画像列

乾いた風景

濡れたように

差分計算

壁紙が表情を変える「変幻灯」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 37

アジェンダ

1NTTグループのロボティクスへの取り組み

~ 色々なモノが繋がる世界の実現 ~

2ロボットに必要な機能

~ NTTのAI技術 corevoreg(コレボ)~

3ロボット進化の方向性

~ 人とロボットの共生社会 ~

Copyrightcopy2017 NTT corp All Rights Reserved 38

一人に一台のパーソナルエージェント

スマホ等

Webサービス

Bluetooth Bluetooth携帯電話網

スマホ等

音声通話

音声+視線+動作

音声+視線+動作

Copyrightcopy2017 NTT corp All Rights Reserved 39

パーソナルモビリティ自律走行技術の進展

WHILLNTTドコモ全国初「免許不要」のパーソナルモビリティシェアリングサービスの実証実験を横浜で実施(2015年)

横浜赤レンガ倉庫2号館赤レンガパーク

日本丸メモリアルパーク

出典WHILLプレスリリースhttpswhilljpnews5618

Copyrightcopy2017 NTT corp All Rights Reserved 40

人と移動ロボットの共生社会

さまざまな移動ロボットが人の生活空間を移動する世界では移動ロボットが自律的に安全に移動することに加えて周囲の人や移動ロボットを操作する人が協力して環境へ適応し安全な動作を生成していくということが必要

移動ロボットを使う人も周囲の人も誰もが安心してロボットと共生できるサービスの実現

さまざまなタイプの移動ロボットが普及し人の日常空間に共存する将来

移動ロボットを操作する初心者高齢者が増加しそれに伴う事故も増加 自律移動ロボットも完全に安全にすることはできず人や他の移動ロボッ

トとの衝突が発生

Copyrightcopy2017 NTT corp All Rights Reserved 41

ldquoR-env連舞rdquoInnovation

Hub

多様なロボット活用サービスの普及に向けて

ハードウェアメーカーと連携した

「デバイスハンズオン」rarr個別デバイスの利用者拡大

アプリ開発者サービス事業者と連携した

「ハッカソン」rarrデバイス連携サービスプロトタイプの蓄積

パートナと連携した

「フィールドトライアル」

rarrデバイス連携サービスの有効性検証

パートナNTTグループ連携による

「ビジネス創出」

rarrデバイス連携サービスのビジネス化

Copyrightcopy2017 NTT corp All Rights Reserved 42

最優秀賞チーム雅「箱入り娘と箱贈り親父」父親と娘のコミュニケーションを育むためにロボットが父親の代わりに離れて暮らす娘へ

メッセージを届けてくれるサービス

優秀賞Team avata「R-env2 テレヘルスサービス」遠隔医療にコミュニケーションロボットを活用「お尻が痛い」などデリケートな症状でも医

師に相談することの恥ずかしさの軽減を図るサービス

R-env連舞 ハッカソン

日時場所2016年6月18日~19日FabCafe TokyoMTRL渋谷 テーマ「ロボットldquoならではrdquoのサービスを作ろう」

Copyrightcopy2017 NTT corp All Rights Reserved 43

R-env連舞のホームページ

httpswwwr-envjp

Copyrightcopy2017 NTT corp All Rights Reserved 44

国際ロボット競技会(World Robot Summit)

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

Copyrightcopy2017 NTT corp All Rights Reserved 45

WRSのスケジュール

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

ldquo人の可能性を広げるldquo

諦めなければならなかった事をひとつでも多く実現するインタラクションサービス

様々なパートナと連携して実現していきます

Page 24: NTTにおけるロボティクス技術の展開と展望 · 深層学習型 (ディープニューラルネット) 約4000万パターンの音声を 表現可能 従来型(混合分布)

Copyrightcopy2017 NTT corp All Rights Reserved 24

開始場面のカスタマイズ

新しい状態が追加される

新しい状態の追加

Copyrightcopy2017 NTT corp All Rights Reserved 25

動作対象を選択し実行したい動作を選択(SOTAにモーションを追加)

動かしたいデバイスを選択

(SOTA)

実行したい動作を選択(手を振る)

Copyrightcopy2017 NTT corp All Rights Reserved 26

動作対象を選択し実行したい動作を選択(SOTAに発話させたい文章を追加)

動かしたいデバイスを選択

(SOTA)

実行したい動作を選択

(発話を選び「相談会実施中」

と入力)

Copyrightcopy2017 NTT corp All Rights Reserved 27

状態の遷移先を切り替える

状態遷移先を切り替える

Copyrightcopy2017 NTT corp All Rights Reserved 28

ユーザーの質問は多様であり同じ意味の多様な表現を理解する必要がある(ex ldquo国際電話をかけたいrdquo = ldquo外国に電話する方法を教えてrdquo)

ユーザーの質問とFAQコンテンツの質問が同一の意味であるかを判定 NTT研究所技術は大規模な日本語意味辞書を用いて日本語特有の多様

な表現を理解可能

発話意図理解技術(FAQ検索技術)

同一性の判定

QAコンテンツ

概念に基づく判定モデル

【質問】ldquo国際電話をかけたいrdquo 外国に電話する方法

を教えてくださいrdquoldquoまず設定画面で~rdquo

【質問】 【回答】

2具体

3主体

4人 362組織

389場所

1000抽象

372団体党派

373団体

大規模意味辞書1名詞テキストコーパス

機械学習

CGM文書コールセンタ応対ログ

~多様な言い回しの獲得~ ~同一の意味を理解~

日本語解析

Agent-AI

他社との性能比較でも優位性を確認

Copyrightcopy2017 NTT corp All Rights Reserved 29

雑談対話技術

ユーザと多様な話題で雑談するための技術ユーザの発話を解析し話題と意図を抽出

インターネット上のコンテンツを言語処理技術によって整理し対話知識とすることで多様な話題に対しても妥当な発話を生成

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 30

copy2015 Vstone

複数ロボットを用いた雑談対話技術

複数の音声対話ロボットを協調させ音声認識や発話生成の誤りに気づかせずに対話を継続できる技術従来と同じ性能のシステムであっても人の認知特性を利用することで印象を大きく改善

明日は寒くなるみたいだからコート着なきゃ

ふむふむ

今年のコートの流行はチェスターコートだよ

話題連続性に対する要求の低減

ロボットA

蘭がスキー(ラーメンが好きを誤認識)

ふむふむ(誤認識を検知)

僕は焼き肉が好きだよ(ロボット同士の対話に移行)

食べ物だったら何が好き

音声認識誤り検出時の破綻回避

ロボットAが一旦発話を受け止めdarr

話者をロボットBに切り替えdarr

話題が逸脱した場合の違和感を軽減

音声認識結果が対話の流れから逸脱darr

音声認識の誤りと判断darr

ロボット同士の対話に移行し対話破綻を回避

ロボットA

ロボットB

大阪大学 石黒研との共同研究成果

ロボットB

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 31

アングルフリー物体検索技術

異なるアングルから撮影しても精度よく物体を認識し関連情報を提示可能 事前に準備する参照画像数を従来の110程度まで大幅に削減準備コス

トの削減可能

参照画像DB

NW

撮影画像

被写体付加情報

撮影した画像に写った物体を認識

認識検出結果

従来の約110の登録画像枚数

スマホ等で物体を撮影

撮影アングルが異なっても他の物体が写りこんでいても同じ物体として認識

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 32

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 33

Heart-Touching-AI (無意識人のこころに触れる)

本人にも意識されない人の心と身体を読み解き深層心理知性本能を理解するAI

心的状態神経活動筋活動を読み解き働きかけ

教育

スポーツ

エンターテインメント 健康美容

子育て保育

医療カウンセリングコミュニケーション科学

人間科学の成果を発揮する領域

Copyrightcopy2017 NTT corp All Rights Reserved 34

目の動きからユーザの「ココロ」を推定

眼球運動瞳孔の大きさに基づくマインドリーティング コンピュータでしか認識できない人間の潜在的な心の動きを読み取る

「人間を超える」感情認識能力をもったAI

Heart-Touching-AI

好みの推定

対象者の各種状態を推定

特徴抽出

モデル生成

分類器(モデル)

ラベル(評価値)

データ計測

瞳孔反応

マイクロサッカード

Time [s]

Posi

tion [

deg]

Time [s]

Pupil

size

change

[z-

score

]

0 1 2 3

0

2

-3 NTT独自のアルゴリズムを適用

or

顔画像音楽など

推定(分類)

注意状態の推定 眠気の推定

Copyrightcopy2017 NTT corp All Rights Reserved 35

体感型釣りゲーム

ドライブ体験

ドライブ映像のカーブに合わせてハンドルが引っ張られる感覚を体感

釣りで魚が食いついたことで糸が引っ張られる感覚を体感

手をみちびく感覚を振動デバイスで実現

振動で人を導く「ぶるなび」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 36

止まっている対象に動きの印象を与えるプロジェクションマッピング

質感編集技術

原画像

変換後

変幻灯技術(画像検索との融合)

画像と動きシナリオ(動き方タイミング等)のデータベース

撮影画像列

差分画像列

アニメ画像列生成

画像検索

姿勢推定

検索結果の動きシナリオ

対象物

プロジェクション

アニメ画像列

乾いた風景

濡れたように

差分計算

壁紙が表情を変える「変幻灯」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 37

アジェンダ

1NTTグループのロボティクスへの取り組み

~ 色々なモノが繋がる世界の実現 ~

2ロボットに必要な機能

~ NTTのAI技術 corevoreg(コレボ)~

3ロボット進化の方向性

~ 人とロボットの共生社会 ~

Copyrightcopy2017 NTT corp All Rights Reserved 38

一人に一台のパーソナルエージェント

スマホ等

Webサービス

Bluetooth Bluetooth携帯電話網

スマホ等

音声通話

音声+視線+動作

音声+視線+動作

Copyrightcopy2017 NTT corp All Rights Reserved 39

パーソナルモビリティ自律走行技術の進展

WHILLNTTドコモ全国初「免許不要」のパーソナルモビリティシェアリングサービスの実証実験を横浜で実施(2015年)

横浜赤レンガ倉庫2号館赤レンガパーク

日本丸メモリアルパーク

出典WHILLプレスリリースhttpswhilljpnews5618

Copyrightcopy2017 NTT corp All Rights Reserved 40

人と移動ロボットの共生社会

さまざまな移動ロボットが人の生活空間を移動する世界では移動ロボットが自律的に安全に移動することに加えて周囲の人や移動ロボットを操作する人が協力して環境へ適応し安全な動作を生成していくということが必要

移動ロボットを使う人も周囲の人も誰もが安心してロボットと共生できるサービスの実現

さまざまなタイプの移動ロボットが普及し人の日常空間に共存する将来

移動ロボットを操作する初心者高齢者が増加しそれに伴う事故も増加 自律移動ロボットも完全に安全にすることはできず人や他の移動ロボッ

トとの衝突が発生

Copyrightcopy2017 NTT corp All Rights Reserved 41

ldquoR-env連舞rdquoInnovation

Hub

多様なロボット活用サービスの普及に向けて

ハードウェアメーカーと連携した

「デバイスハンズオン」rarr個別デバイスの利用者拡大

アプリ開発者サービス事業者と連携した

「ハッカソン」rarrデバイス連携サービスプロトタイプの蓄積

パートナと連携した

「フィールドトライアル」

rarrデバイス連携サービスの有効性検証

パートナNTTグループ連携による

「ビジネス創出」

rarrデバイス連携サービスのビジネス化

Copyrightcopy2017 NTT corp All Rights Reserved 42

最優秀賞チーム雅「箱入り娘と箱贈り親父」父親と娘のコミュニケーションを育むためにロボットが父親の代わりに離れて暮らす娘へ

メッセージを届けてくれるサービス

優秀賞Team avata「R-env2 テレヘルスサービス」遠隔医療にコミュニケーションロボットを活用「お尻が痛い」などデリケートな症状でも医

師に相談することの恥ずかしさの軽減を図るサービス

R-env連舞 ハッカソン

日時場所2016年6月18日~19日FabCafe TokyoMTRL渋谷 テーマ「ロボットldquoならではrdquoのサービスを作ろう」

Copyrightcopy2017 NTT corp All Rights Reserved 43

R-env連舞のホームページ

httpswwwr-envjp

Copyrightcopy2017 NTT corp All Rights Reserved 44

国際ロボット競技会(World Robot Summit)

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

Copyrightcopy2017 NTT corp All Rights Reserved 45

WRSのスケジュール

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

ldquo人の可能性を広げるldquo

諦めなければならなかった事をひとつでも多く実現するインタラクションサービス

様々なパートナと連携して実現していきます

Page 25: NTTにおけるロボティクス技術の展開と展望 · 深層学習型 (ディープニューラルネット) 約4000万パターンの音声を 表現可能 従来型(混合分布)

Copyrightcopy2017 NTT corp All Rights Reserved 25

動作対象を選択し実行したい動作を選択(SOTAにモーションを追加)

動かしたいデバイスを選択

(SOTA)

実行したい動作を選択(手を振る)

Copyrightcopy2017 NTT corp All Rights Reserved 26

動作対象を選択し実行したい動作を選択(SOTAに発話させたい文章を追加)

動かしたいデバイスを選択

(SOTA)

実行したい動作を選択

(発話を選び「相談会実施中」

と入力)

Copyrightcopy2017 NTT corp All Rights Reserved 27

状態の遷移先を切り替える

状態遷移先を切り替える

Copyrightcopy2017 NTT corp All Rights Reserved 28

ユーザーの質問は多様であり同じ意味の多様な表現を理解する必要がある(ex ldquo国際電話をかけたいrdquo = ldquo外国に電話する方法を教えてrdquo)

ユーザーの質問とFAQコンテンツの質問が同一の意味であるかを判定 NTT研究所技術は大規模な日本語意味辞書を用いて日本語特有の多様

な表現を理解可能

発話意図理解技術(FAQ検索技術)

同一性の判定

QAコンテンツ

概念に基づく判定モデル

【質問】ldquo国際電話をかけたいrdquo 外国に電話する方法

を教えてくださいrdquoldquoまず設定画面で~rdquo

【質問】 【回答】

2具体

3主体

4人 362組織

389場所

1000抽象

372団体党派

373団体

大規模意味辞書1名詞テキストコーパス

機械学習

CGM文書コールセンタ応対ログ

~多様な言い回しの獲得~ ~同一の意味を理解~

日本語解析

Agent-AI

他社との性能比較でも優位性を確認

Copyrightcopy2017 NTT corp All Rights Reserved 29

雑談対話技術

ユーザと多様な話題で雑談するための技術ユーザの発話を解析し話題と意図を抽出

インターネット上のコンテンツを言語処理技術によって整理し対話知識とすることで多様な話題に対しても妥当な発話を生成

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 30

copy2015 Vstone

複数ロボットを用いた雑談対話技術

複数の音声対話ロボットを協調させ音声認識や発話生成の誤りに気づかせずに対話を継続できる技術従来と同じ性能のシステムであっても人の認知特性を利用することで印象を大きく改善

明日は寒くなるみたいだからコート着なきゃ

ふむふむ

今年のコートの流行はチェスターコートだよ

話題連続性に対する要求の低減

ロボットA

蘭がスキー(ラーメンが好きを誤認識)

ふむふむ(誤認識を検知)

僕は焼き肉が好きだよ(ロボット同士の対話に移行)

食べ物だったら何が好き

音声認識誤り検出時の破綻回避

ロボットAが一旦発話を受け止めdarr

話者をロボットBに切り替えdarr

話題が逸脱した場合の違和感を軽減

音声認識結果が対話の流れから逸脱darr

音声認識の誤りと判断darr

ロボット同士の対話に移行し対話破綻を回避

ロボットA

ロボットB

大阪大学 石黒研との共同研究成果

ロボットB

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 31

アングルフリー物体検索技術

異なるアングルから撮影しても精度よく物体を認識し関連情報を提示可能 事前に準備する参照画像数を従来の110程度まで大幅に削減準備コス

トの削減可能

参照画像DB

NW

撮影画像

被写体付加情報

撮影した画像に写った物体を認識

認識検出結果

従来の約110の登録画像枚数

スマホ等で物体を撮影

撮影アングルが異なっても他の物体が写りこんでいても同じ物体として認識

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 32

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 33

Heart-Touching-AI (無意識人のこころに触れる)

本人にも意識されない人の心と身体を読み解き深層心理知性本能を理解するAI

心的状態神経活動筋活動を読み解き働きかけ

教育

スポーツ

エンターテインメント 健康美容

子育て保育

医療カウンセリングコミュニケーション科学

人間科学の成果を発揮する領域

Copyrightcopy2017 NTT corp All Rights Reserved 34

目の動きからユーザの「ココロ」を推定

眼球運動瞳孔の大きさに基づくマインドリーティング コンピュータでしか認識できない人間の潜在的な心の動きを読み取る

「人間を超える」感情認識能力をもったAI

Heart-Touching-AI

好みの推定

対象者の各種状態を推定

特徴抽出

モデル生成

分類器(モデル)

ラベル(評価値)

データ計測

瞳孔反応

マイクロサッカード

Time [s]

Posi

tion [

deg]

Time [s]

Pupil

size

change

[z-

score

]

0 1 2 3

0

2

-3 NTT独自のアルゴリズムを適用

or

顔画像音楽など

推定(分類)

注意状態の推定 眠気の推定

Copyrightcopy2017 NTT corp All Rights Reserved 35

体感型釣りゲーム

ドライブ体験

ドライブ映像のカーブに合わせてハンドルが引っ張られる感覚を体感

釣りで魚が食いついたことで糸が引っ張られる感覚を体感

手をみちびく感覚を振動デバイスで実現

振動で人を導く「ぶるなび」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 36

止まっている対象に動きの印象を与えるプロジェクションマッピング

質感編集技術

原画像

変換後

変幻灯技術(画像検索との融合)

画像と動きシナリオ(動き方タイミング等)のデータベース

撮影画像列

差分画像列

アニメ画像列生成

画像検索

姿勢推定

検索結果の動きシナリオ

対象物

プロジェクション

アニメ画像列

乾いた風景

濡れたように

差分計算

壁紙が表情を変える「変幻灯」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 37

アジェンダ

1NTTグループのロボティクスへの取り組み

~ 色々なモノが繋がる世界の実現 ~

2ロボットに必要な機能

~ NTTのAI技術 corevoreg(コレボ)~

3ロボット進化の方向性

~ 人とロボットの共生社会 ~

Copyrightcopy2017 NTT corp All Rights Reserved 38

一人に一台のパーソナルエージェント

スマホ等

Webサービス

Bluetooth Bluetooth携帯電話網

スマホ等

音声通話

音声+視線+動作

音声+視線+動作

Copyrightcopy2017 NTT corp All Rights Reserved 39

パーソナルモビリティ自律走行技術の進展

WHILLNTTドコモ全国初「免許不要」のパーソナルモビリティシェアリングサービスの実証実験を横浜で実施(2015年)

横浜赤レンガ倉庫2号館赤レンガパーク

日本丸メモリアルパーク

出典WHILLプレスリリースhttpswhilljpnews5618

Copyrightcopy2017 NTT corp All Rights Reserved 40

人と移動ロボットの共生社会

さまざまな移動ロボットが人の生活空間を移動する世界では移動ロボットが自律的に安全に移動することに加えて周囲の人や移動ロボットを操作する人が協力して環境へ適応し安全な動作を生成していくということが必要

移動ロボットを使う人も周囲の人も誰もが安心してロボットと共生できるサービスの実現

さまざまなタイプの移動ロボットが普及し人の日常空間に共存する将来

移動ロボットを操作する初心者高齢者が増加しそれに伴う事故も増加 自律移動ロボットも完全に安全にすることはできず人や他の移動ロボッ

トとの衝突が発生

Copyrightcopy2017 NTT corp All Rights Reserved 41

ldquoR-env連舞rdquoInnovation

Hub

多様なロボット活用サービスの普及に向けて

ハードウェアメーカーと連携した

「デバイスハンズオン」rarr個別デバイスの利用者拡大

アプリ開発者サービス事業者と連携した

「ハッカソン」rarrデバイス連携サービスプロトタイプの蓄積

パートナと連携した

「フィールドトライアル」

rarrデバイス連携サービスの有効性検証

パートナNTTグループ連携による

「ビジネス創出」

rarrデバイス連携サービスのビジネス化

Copyrightcopy2017 NTT corp All Rights Reserved 42

最優秀賞チーム雅「箱入り娘と箱贈り親父」父親と娘のコミュニケーションを育むためにロボットが父親の代わりに離れて暮らす娘へ

メッセージを届けてくれるサービス

優秀賞Team avata「R-env2 テレヘルスサービス」遠隔医療にコミュニケーションロボットを活用「お尻が痛い」などデリケートな症状でも医

師に相談することの恥ずかしさの軽減を図るサービス

R-env連舞 ハッカソン

日時場所2016年6月18日~19日FabCafe TokyoMTRL渋谷 テーマ「ロボットldquoならではrdquoのサービスを作ろう」

Copyrightcopy2017 NTT corp All Rights Reserved 43

R-env連舞のホームページ

httpswwwr-envjp

Copyrightcopy2017 NTT corp All Rights Reserved 44

国際ロボット競技会(World Robot Summit)

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

Copyrightcopy2017 NTT corp All Rights Reserved 45

WRSのスケジュール

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

ldquo人の可能性を広げるldquo

諦めなければならなかった事をひとつでも多く実現するインタラクションサービス

様々なパートナと連携して実現していきます

Page 26: NTTにおけるロボティクス技術の展開と展望 · 深層学習型 (ディープニューラルネット) 約4000万パターンの音声を 表現可能 従来型(混合分布)

Copyrightcopy2017 NTT corp All Rights Reserved 26

動作対象を選択し実行したい動作を選択(SOTAに発話させたい文章を追加)

動かしたいデバイスを選択

(SOTA)

実行したい動作を選択

(発話を選び「相談会実施中」

と入力)

Copyrightcopy2017 NTT corp All Rights Reserved 27

状態の遷移先を切り替える

状態遷移先を切り替える

Copyrightcopy2017 NTT corp All Rights Reserved 28

ユーザーの質問は多様であり同じ意味の多様な表現を理解する必要がある(ex ldquo国際電話をかけたいrdquo = ldquo外国に電話する方法を教えてrdquo)

ユーザーの質問とFAQコンテンツの質問が同一の意味であるかを判定 NTT研究所技術は大規模な日本語意味辞書を用いて日本語特有の多様

な表現を理解可能

発話意図理解技術(FAQ検索技術)

同一性の判定

QAコンテンツ

概念に基づく判定モデル

【質問】ldquo国際電話をかけたいrdquo 外国に電話する方法

を教えてくださいrdquoldquoまず設定画面で~rdquo

【質問】 【回答】

2具体

3主体

4人 362組織

389場所

1000抽象

372団体党派

373団体

大規模意味辞書1名詞テキストコーパス

機械学習

CGM文書コールセンタ応対ログ

~多様な言い回しの獲得~ ~同一の意味を理解~

日本語解析

Agent-AI

他社との性能比較でも優位性を確認

Copyrightcopy2017 NTT corp All Rights Reserved 29

雑談対話技術

ユーザと多様な話題で雑談するための技術ユーザの発話を解析し話題と意図を抽出

インターネット上のコンテンツを言語処理技術によって整理し対話知識とすることで多様な話題に対しても妥当な発話を生成

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 30

copy2015 Vstone

複数ロボットを用いた雑談対話技術

複数の音声対話ロボットを協調させ音声認識や発話生成の誤りに気づかせずに対話を継続できる技術従来と同じ性能のシステムであっても人の認知特性を利用することで印象を大きく改善

明日は寒くなるみたいだからコート着なきゃ

ふむふむ

今年のコートの流行はチェスターコートだよ

話題連続性に対する要求の低減

ロボットA

蘭がスキー(ラーメンが好きを誤認識)

ふむふむ(誤認識を検知)

僕は焼き肉が好きだよ(ロボット同士の対話に移行)

食べ物だったら何が好き

音声認識誤り検出時の破綻回避

ロボットAが一旦発話を受け止めdarr

話者をロボットBに切り替えdarr

話題が逸脱した場合の違和感を軽減

音声認識結果が対話の流れから逸脱darr

音声認識の誤りと判断darr

ロボット同士の対話に移行し対話破綻を回避

ロボットA

ロボットB

大阪大学 石黒研との共同研究成果

ロボットB

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 31

アングルフリー物体検索技術

異なるアングルから撮影しても精度よく物体を認識し関連情報を提示可能 事前に準備する参照画像数を従来の110程度まで大幅に削減準備コス

トの削減可能

参照画像DB

NW

撮影画像

被写体付加情報

撮影した画像に写った物体を認識

認識検出結果

従来の約110の登録画像枚数

スマホ等で物体を撮影

撮影アングルが異なっても他の物体が写りこんでいても同じ物体として認識

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 32

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 33

Heart-Touching-AI (無意識人のこころに触れる)

本人にも意識されない人の心と身体を読み解き深層心理知性本能を理解するAI

心的状態神経活動筋活動を読み解き働きかけ

教育

スポーツ

エンターテインメント 健康美容

子育て保育

医療カウンセリングコミュニケーション科学

人間科学の成果を発揮する領域

Copyrightcopy2017 NTT corp All Rights Reserved 34

目の動きからユーザの「ココロ」を推定

眼球運動瞳孔の大きさに基づくマインドリーティング コンピュータでしか認識できない人間の潜在的な心の動きを読み取る

「人間を超える」感情認識能力をもったAI

Heart-Touching-AI

好みの推定

対象者の各種状態を推定

特徴抽出

モデル生成

分類器(モデル)

ラベル(評価値)

データ計測

瞳孔反応

マイクロサッカード

Time [s]

Posi

tion [

deg]

Time [s]

Pupil

size

change

[z-

score

]

0 1 2 3

0

2

-3 NTT独自のアルゴリズムを適用

or

顔画像音楽など

推定(分類)

注意状態の推定 眠気の推定

Copyrightcopy2017 NTT corp All Rights Reserved 35

体感型釣りゲーム

ドライブ体験

ドライブ映像のカーブに合わせてハンドルが引っ張られる感覚を体感

釣りで魚が食いついたことで糸が引っ張られる感覚を体感

手をみちびく感覚を振動デバイスで実現

振動で人を導く「ぶるなび」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 36

止まっている対象に動きの印象を与えるプロジェクションマッピング

質感編集技術

原画像

変換後

変幻灯技術(画像検索との融合)

画像と動きシナリオ(動き方タイミング等)のデータベース

撮影画像列

差分画像列

アニメ画像列生成

画像検索

姿勢推定

検索結果の動きシナリオ

対象物

プロジェクション

アニメ画像列

乾いた風景

濡れたように

差分計算

壁紙が表情を変える「変幻灯」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 37

アジェンダ

1NTTグループのロボティクスへの取り組み

~ 色々なモノが繋がる世界の実現 ~

2ロボットに必要な機能

~ NTTのAI技術 corevoreg(コレボ)~

3ロボット進化の方向性

~ 人とロボットの共生社会 ~

Copyrightcopy2017 NTT corp All Rights Reserved 38

一人に一台のパーソナルエージェント

スマホ等

Webサービス

Bluetooth Bluetooth携帯電話網

スマホ等

音声通話

音声+視線+動作

音声+視線+動作

Copyrightcopy2017 NTT corp All Rights Reserved 39

パーソナルモビリティ自律走行技術の進展

WHILLNTTドコモ全国初「免許不要」のパーソナルモビリティシェアリングサービスの実証実験を横浜で実施(2015年)

横浜赤レンガ倉庫2号館赤レンガパーク

日本丸メモリアルパーク

出典WHILLプレスリリースhttpswhilljpnews5618

Copyrightcopy2017 NTT corp All Rights Reserved 40

人と移動ロボットの共生社会

さまざまな移動ロボットが人の生活空間を移動する世界では移動ロボットが自律的に安全に移動することに加えて周囲の人や移動ロボットを操作する人が協力して環境へ適応し安全な動作を生成していくということが必要

移動ロボットを使う人も周囲の人も誰もが安心してロボットと共生できるサービスの実現

さまざまなタイプの移動ロボットが普及し人の日常空間に共存する将来

移動ロボットを操作する初心者高齢者が増加しそれに伴う事故も増加 自律移動ロボットも完全に安全にすることはできず人や他の移動ロボッ

トとの衝突が発生

Copyrightcopy2017 NTT corp All Rights Reserved 41

ldquoR-env連舞rdquoInnovation

Hub

多様なロボット活用サービスの普及に向けて

ハードウェアメーカーと連携した

「デバイスハンズオン」rarr個別デバイスの利用者拡大

アプリ開発者サービス事業者と連携した

「ハッカソン」rarrデバイス連携サービスプロトタイプの蓄積

パートナと連携した

「フィールドトライアル」

rarrデバイス連携サービスの有効性検証

パートナNTTグループ連携による

「ビジネス創出」

rarrデバイス連携サービスのビジネス化

Copyrightcopy2017 NTT corp All Rights Reserved 42

最優秀賞チーム雅「箱入り娘と箱贈り親父」父親と娘のコミュニケーションを育むためにロボットが父親の代わりに離れて暮らす娘へ

メッセージを届けてくれるサービス

優秀賞Team avata「R-env2 テレヘルスサービス」遠隔医療にコミュニケーションロボットを活用「お尻が痛い」などデリケートな症状でも医

師に相談することの恥ずかしさの軽減を図るサービス

R-env連舞 ハッカソン

日時場所2016年6月18日~19日FabCafe TokyoMTRL渋谷 テーマ「ロボットldquoならではrdquoのサービスを作ろう」

Copyrightcopy2017 NTT corp All Rights Reserved 43

R-env連舞のホームページ

httpswwwr-envjp

Copyrightcopy2017 NTT corp All Rights Reserved 44

国際ロボット競技会(World Robot Summit)

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

Copyrightcopy2017 NTT corp All Rights Reserved 45

WRSのスケジュール

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

ldquo人の可能性を広げるldquo

諦めなければならなかった事をひとつでも多く実現するインタラクションサービス

様々なパートナと連携して実現していきます

Page 27: NTTにおけるロボティクス技術の展開と展望 · 深層学習型 (ディープニューラルネット) 約4000万パターンの音声を 表現可能 従来型(混合分布)

Copyrightcopy2017 NTT corp All Rights Reserved 27

状態の遷移先を切り替える

状態遷移先を切り替える

Copyrightcopy2017 NTT corp All Rights Reserved 28

ユーザーの質問は多様であり同じ意味の多様な表現を理解する必要がある(ex ldquo国際電話をかけたいrdquo = ldquo外国に電話する方法を教えてrdquo)

ユーザーの質問とFAQコンテンツの質問が同一の意味であるかを判定 NTT研究所技術は大規模な日本語意味辞書を用いて日本語特有の多様

な表現を理解可能

発話意図理解技術(FAQ検索技術)

同一性の判定

QAコンテンツ

概念に基づく判定モデル

【質問】ldquo国際電話をかけたいrdquo 外国に電話する方法

を教えてくださいrdquoldquoまず設定画面で~rdquo

【質問】 【回答】

2具体

3主体

4人 362組織

389場所

1000抽象

372団体党派

373団体

大規模意味辞書1名詞テキストコーパス

機械学習

CGM文書コールセンタ応対ログ

~多様な言い回しの獲得~ ~同一の意味を理解~

日本語解析

Agent-AI

他社との性能比較でも優位性を確認

Copyrightcopy2017 NTT corp All Rights Reserved 29

雑談対話技術

ユーザと多様な話題で雑談するための技術ユーザの発話を解析し話題と意図を抽出

インターネット上のコンテンツを言語処理技術によって整理し対話知識とすることで多様な話題に対しても妥当な発話を生成

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 30

copy2015 Vstone

複数ロボットを用いた雑談対話技術

複数の音声対話ロボットを協調させ音声認識や発話生成の誤りに気づかせずに対話を継続できる技術従来と同じ性能のシステムであっても人の認知特性を利用することで印象を大きく改善

明日は寒くなるみたいだからコート着なきゃ

ふむふむ

今年のコートの流行はチェスターコートだよ

話題連続性に対する要求の低減

ロボットA

蘭がスキー(ラーメンが好きを誤認識)

ふむふむ(誤認識を検知)

僕は焼き肉が好きだよ(ロボット同士の対話に移行)

食べ物だったら何が好き

音声認識誤り検出時の破綻回避

ロボットAが一旦発話を受け止めdarr

話者をロボットBに切り替えdarr

話題が逸脱した場合の違和感を軽減

音声認識結果が対話の流れから逸脱darr

音声認識の誤りと判断darr

ロボット同士の対話に移行し対話破綻を回避

ロボットA

ロボットB

大阪大学 石黒研との共同研究成果

ロボットB

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 31

アングルフリー物体検索技術

異なるアングルから撮影しても精度よく物体を認識し関連情報を提示可能 事前に準備する参照画像数を従来の110程度まで大幅に削減準備コス

トの削減可能

参照画像DB

NW

撮影画像

被写体付加情報

撮影した画像に写った物体を認識

認識検出結果

従来の約110の登録画像枚数

スマホ等で物体を撮影

撮影アングルが異なっても他の物体が写りこんでいても同じ物体として認識

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 32

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 33

Heart-Touching-AI (無意識人のこころに触れる)

本人にも意識されない人の心と身体を読み解き深層心理知性本能を理解するAI

心的状態神経活動筋活動を読み解き働きかけ

教育

スポーツ

エンターテインメント 健康美容

子育て保育

医療カウンセリングコミュニケーション科学

人間科学の成果を発揮する領域

Copyrightcopy2017 NTT corp All Rights Reserved 34

目の動きからユーザの「ココロ」を推定

眼球運動瞳孔の大きさに基づくマインドリーティング コンピュータでしか認識できない人間の潜在的な心の動きを読み取る

「人間を超える」感情認識能力をもったAI

Heart-Touching-AI

好みの推定

対象者の各種状態を推定

特徴抽出

モデル生成

分類器(モデル)

ラベル(評価値)

データ計測

瞳孔反応

マイクロサッカード

Time [s]

Posi

tion [

deg]

Time [s]

Pupil

size

change

[z-

score

]

0 1 2 3

0

2

-3 NTT独自のアルゴリズムを適用

or

顔画像音楽など

推定(分類)

注意状態の推定 眠気の推定

Copyrightcopy2017 NTT corp All Rights Reserved 35

体感型釣りゲーム

ドライブ体験

ドライブ映像のカーブに合わせてハンドルが引っ張られる感覚を体感

釣りで魚が食いついたことで糸が引っ張られる感覚を体感

手をみちびく感覚を振動デバイスで実現

振動で人を導く「ぶるなび」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 36

止まっている対象に動きの印象を与えるプロジェクションマッピング

質感編集技術

原画像

変換後

変幻灯技術(画像検索との融合)

画像と動きシナリオ(動き方タイミング等)のデータベース

撮影画像列

差分画像列

アニメ画像列生成

画像検索

姿勢推定

検索結果の動きシナリオ

対象物

プロジェクション

アニメ画像列

乾いた風景

濡れたように

差分計算

壁紙が表情を変える「変幻灯」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 37

アジェンダ

1NTTグループのロボティクスへの取り組み

~ 色々なモノが繋がる世界の実現 ~

2ロボットに必要な機能

~ NTTのAI技術 corevoreg(コレボ)~

3ロボット進化の方向性

~ 人とロボットの共生社会 ~

Copyrightcopy2017 NTT corp All Rights Reserved 38

一人に一台のパーソナルエージェント

スマホ等

Webサービス

Bluetooth Bluetooth携帯電話網

スマホ等

音声通話

音声+視線+動作

音声+視線+動作

Copyrightcopy2017 NTT corp All Rights Reserved 39

パーソナルモビリティ自律走行技術の進展

WHILLNTTドコモ全国初「免許不要」のパーソナルモビリティシェアリングサービスの実証実験を横浜で実施(2015年)

横浜赤レンガ倉庫2号館赤レンガパーク

日本丸メモリアルパーク

出典WHILLプレスリリースhttpswhilljpnews5618

Copyrightcopy2017 NTT corp All Rights Reserved 40

人と移動ロボットの共生社会

さまざまな移動ロボットが人の生活空間を移動する世界では移動ロボットが自律的に安全に移動することに加えて周囲の人や移動ロボットを操作する人が協力して環境へ適応し安全な動作を生成していくということが必要

移動ロボットを使う人も周囲の人も誰もが安心してロボットと共生できるサービスの実現

さまざまなタイプの移動ロボットが普及し人の日常空間に共存する将来

移動ロボットを操作する初心者高齢者が増加しそれに伴う事故も増加 自律移動ロボットも完全に安全にすることはできず人や他の移動ロボッ

トとの衝突が発生

Copyrightcopy2017 NTT corp All Rights Reserved 41

ldquoR-env連舞rdquoInnovation

Hub

多様なロボット活用サービスの普及に向けて

ハードウェアメーカーと連携した

「デバイスハンズオン」rarr個別デバイスの利用者拡大

アプリ開発者サービス事業者と連携した

「ハッカソン」rarrデバイス連携サービスプロトタイプの蓄積

パートナと連携した

「フィールドトライアル」

rarrデバイス連携サービスの有効性検証

パートナNTTグループ連携による

「ビジネス創出」

rarrデバイス連携サービスのビジネス化

Copyrightcopy2017 NTT corp All Rights Reserved 42

最優秀賞チーム雅「箱入り娘と箱贈り親父」父親と娘のコミュニケーションを育むためにロボットが父親の代わりに離れて暮らす娘へ

メッセージを届けてくれるサービス

優秀賞Team avata「R-env2 テレヘルスサービス」遠隔医療にコミュニケーションロボットを活用「お尻が痛い」などデリケートな症状でも医

師に相談することの恥ずかしさの軽減を図るサービス

R-env連舞 ハッカソン

日時場所2016年6月18日~19日FabCafe TokyoMTRL渋谷 テーマ「ロボットldquoならではrdquoのサービスを作ろう」

Copyrightcopy2017 NTT corp All Rights Reserved 43

R-env連舞のホームページ

httpswwwr-envjp

Copyrightcopy2017 NTT corp All Rights Reserved 44

国際ロボット競技会(World Robot Summit)

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

Copyrightcopy2017 NTT corp All Rights Reserved 45

WRSのスケジュール

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

ldquo人の可能性を広げるldquo

諦めなければならなかった事をひとつでも多く実現するインタラクションサービス

様々なパートナと連携して実現していきます

Page 28: NTTにおけるロボティクス技術の展開と展望 · 深層学習型 (ディープニューラルネット) 約4000万パターンの音声を 表現可能 従来型(混合分布)

Copyrightcopy2017 NTT corp All Rights Reserved 28

ユーザーの質問は多様であり同じ意味の多様な表現を理解する必要がある(ex ldquo国際電話をかけたいrdquo = ldquo外国に電話する方法を教えてrdquo)

ユーザーの質問とFAQコンテンツの質問が同一の意味であるかを判定 NTT研究所技術は大規模な日本語意味辞書を用いて日本語特有の多様

な表現を理解可能

発話意図理解技術(FAQ検索技術)

同一性の判定

QAコンテンツ

概念に基づく判定モデル

【質問】ldquo国際電話をかけたいrdquo 外国に電話する方法

を教えてくださいrdquoldquoまず設定画面で~rdquo

【質問】 【回答】

2具体

3主体

4人 362組織

389場所

1000抽象

372団体党派

373団体

大規模意味辞書1名詞テキストコーパス

機械学習

CGM文書コールセンタ応対ログ

~多様な言い回しの獲得~ ~同一の意味を理解~

日本語解析

Agent-AI

他社との性能比較でも優位性を確認

Copyrightcopy2017 NTT corp All Rights Reserved 29

雑談対話技術

ユーザと多様な話題で雑談するための技術ユーザの発話を解析し話題と意図を抽出

インターネット上のコンテンツを言語処理技術によって整理し対話知識とすることで多様な話題に対しても妥当な発話を生成

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 30

copy2015 Vstone

複数ロボットを用いた雑談対話技術

複数の音声対話ロボットを協調させ音声認識や発話生成の誤りに気づかせずに対話を継続できる技術従来と同じ性能のシステムであっても人の認知特性を利用することで印象を大きく改善

明日は寒くなるみたいだからコート着なきゃ

ふむふむ

今年のコートの流行はチェスターコートだよ

話題連続性に対する要求の低減

ロボットA

蘭がスキー(ラーメンが好きを誤認識)

ふむふむ(誤認識を検知)

僕は焼き肉が好きだよ(ロボット同士の対話に移行)

食べ物だったら何が好き

音声認識誤り検出時の破綻回避

ロボットAが一旦発話を受け止めdarr

話者をロボットBに切り替えdarr

話題が逸脱した場合の違和感を軽減

音声認識結果が対話の流れから逸脱darr

音声認識の誤りと判断darr

ロボット同士の対話に移行し対話破綻を回避

ロボットA

ロボットB

大阪大学 石黒研との共同研究成果

ロボットB

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 31

アングルフリー物体検索技術

異なるアングルから撮影しても精度よく物体を認識し関連情報を提示可能 事前に準備する参照画像数を従来の110程度まで大幅に削減準備コス

トの削減可能

参照画像DB

NW

撮影画像

被写体付加情報

撮影した画像に写った物体を認識

認識検出結果

従来の約110の登録画像枚数

スマホ等で物体を撮影

撮影アングルが異なっても他の物体が写りこんでいても同じ物体として認識

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 32

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 33

Heart-Touching-AI (無意識人のこころに触れる)

本人にも意識されない人の心と身体を読み解き深層心理知性本能を理解するAI

心的状態神経活動筋活動を読み解き働きかけ

教育

スポーツ

エンターテインメント 健康美容

子育て保育

医療カウンセリングコミュニケーション科学

人間科学の成果を発揮する領域

Copyrightcopy2017 NTT corp All Rights Reserved 34

目の動きからユーザの「ココロ」を推定

眼球運動瞳孔の大きさに基づくマインドリーティング コンピュータでしか認識できない人間の潜在的な心の動きを読み取る

「人間を超える」感情認識能力をもったAI

Heart-Touching-AI

好みの推定

対象者の各種状態を推定

特徴抽出

モデル生成

分類器(モデル)

ラベル(評価値)

データ計測

瞳孔反応

マイクロサッカード

Time [s]

Posi

tion [

deg]

Time [s]

Pupil

size

change

[z-

score

]

0 1 2 3

0

2

-3 NTT独自のアルゴリズムを適用

or

顔画像音楽など

推定(分類)

注意状態の推定 眠気の推定

Copyrightcopy2017 NTT corp All Rights Reserved 35

体感型釣りゲーム

ドライブ体験

ドライブ映像のカーブに合わせてハンドルが引っ張られる感覚を体感

釣りで魚が食いついたことで糸が引っ張られる感覚を体感

手をみちびく感覚を振動デバイスで実現

振動で人を導く「ぶるなび」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 36

止まっている対象に動きの印象を与えるプロジェクションマッピング

質感編集技術

原画像

変換後

変幻灯技術(画像検索との融合)

画像と動きシナリオ(動き方タイミング等)のデータベース

撮影画像列

差分画像列

アニメ画像列生成

画像検索

姿勢推定

検索結果の動きシナリオ

対象物

プロジェクション

アニメ画像列

乾いた風景

濡れたように

差分計算

壁紙が表情を変える「変幻灯」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 37

アジェンダ

1NTTグループのロボティクスへの取り組み

~ 色々なモノが繋がる世界の実現 ~

2ロボットに必要な機能

~ NTTのAI技術 corevoreg(コレボ)~

3ロボット進化の方向性

~ 人とロボットの共生社会 ~

Copyrightcopy2017 NTT corp All Rights Reserved 38

一人に一台のパーソナルエージェント

スマホ等

Webサービス

Bluetooth Bluetooth携帯電話網

スマホ等

音声通話

音声+視線+動作

音声+視線+動作

Copyrightcopy2017 NTT corp All Rights Reserved 39

パーソナルモビリティ自律走行技術の進展

WHILLNTTドコモ全国初「免許不要」のパーソナルモビリティシェアリングサービスの実証実験を横浜で実施(2015年)

横浜赤レンガ倉庫2号館赤レンガパーク

日本丸メモリアルパーク

出典WHILLプレスリリースhttpswhilljpnews5618

Copyrightcopy2017 NTT corp All Rights Reserved 40

人と移動ロボットの共生社会

さまざまな移動ロボットが人の生活空間を移動する世界では移動ロボットが自律的に安全に移動することに加えて周囲の人や移動ロボットを操作する人が協力して環境へ適応し安全な動作を生成していくということが必要

移動ロボットを使う人も周囲の人も誰もが安心してロボットと共生できるサービスの実現

さまざまなタイプの移動ロボットが普及し人の日常空間に共存する将来

移動ロボットを操作する初心者高齢者が増加しそれに伴う事故も増加 自律移動ロボットも完全に安全にすることはできず人や他の移動ロボッ

トとの衝突が発生

Copyrightcopy2017 NTT corp All Rights Reserved 41

ldquoR-env連舞rdquoInnovation

Hub

多様なロボット活用サービスの普及に向けて

ハードウェアメーカーと連携した

「デバイスハンズオン」rarr個別デバイスの利用者拡大

アプリ開発者サービス事業者と連携した

「ハッカソン」rarrデバイス連携サービスプロトタイプの蓄積

パートナと連携した

「フィールドトライアル」

rarrデバイス連携サービスの有効性検証

パートナNTTグループ連携による

「ビジネス創出」

rarrデバイス連携サービスのビジネス化

Copyrightcopy2017 NTT corp All Rights Reserved 42

最優秀賞チーム雅「箱入り娘と箱贈り親父」父親と娘のコミュニケーションを育むためにロボットが父親の代わりに離れて暮らす娘へ

メッセージを届けてくれるサービス

優秀賞Team avata「R-env2 テレヘルスサービス」遠隔医療にコミュニケーションロボットを活用「お尻が痛い」などデリケートな症状でも医

師に相談することの恥ずかしさの軽減を図るサービス

R-env連舞 ハッカソン

日時場所2016年6月18日~19日FabCafe TokyoMTRL渋谷 テーマ「ロボットldquoならではrdquoのサービスを作ろう」

Copyrightcopy2017 NTT corp All Rights Reserved 43

R-env連舞のホームページ

httpswwwr-envjp

Copyrightcopy2017 NTT corp All Rights Reserved 44

国際ロボット競技会(World Robot Summit)

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

Copyrightcopy2017 NTT corp All Rights Reserved 45

WRSのスケジュール

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

ldquo人の可能性を広げるldquo

諦めなければならなかった事をひとつでも多く実現するインタラクションサービス

様々なパートナと連携して実現していきます

Page 29: NTTにおけるロボティクス技術の展開と展望 · 深層学習型 (ディープニューラルネット) 約4000万パターンの音声を 表現可能 従来型(混合分布)

Copyrightcopy2017 NTT corp All Rights Reserved 29

雑談対話技術

ユーザと多様な話題で雑談するための技術ユーザの発話を解析し話題と意図を抽出

インターネット上のコンテンツを言語処理技術によって整理し対話知識とすることで多様な話題に対しても妥当な発話を生成

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 30

copy2015 Vstone

複数ロボットを用いた雑談対話技術

複数の音声対話ロボットを協調させ音声認識や発話生成の誤りに気づかせずに対話を継続できる技術従来と同じ性能のシステムであっても人の認知特性を利用することで印象を大きく改善

明日は寒くなるみたいだからコート着なきゃ

ふむふむ

今年のコートの流行はチェスターコートだよ

話題連続性に対する要求の低減

ロボットA

蘭がスキー(ラーメンが好きを誤認識)

ふむふむ(誤認識を検知)

僕は焼き肉が好きだよ(ロボット同士の対話に移行)

食べ物だったら何が好き

音声認識誤り検出時の破綻回避

ロボットAが一旦発話を受け止めdarr

話者をロボットBに切り替えdarr

話題が逸脱した場合の違和感を軽減

音声認識結果が対話の流れから逸脱darr

音声認識の誤りと判断darr

ロボット同士の対話に移行し対話破綻を回避

ロボットA

ロボットB

大阪大学 石黒研との共同研究成果

ロボットB

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 31

アングルフリー物体検索技術

異なるアングルから撮影しても精度よく物体を認識し関連情報を提示可能 事前に準備する参照画像数を従来の110程度まで大幅に削減準備コス

トの削減可能

参照画像DB

NW

撮影画像

被写体付加情報

撮影した画像に写った物体を認識

認識検出結果

従来の約110の登録画像枚数

スマホ等で物体を撮影

撮影アングルが異なっても他の物体が写りこんでいても同じ物体として認識

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 32

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 33

Heart-Touching-AI (無意識人のこころに触れる)

本人にも意識されない人の心と身体を読み解き深層心理知性本能を理解するAI

心的状態神経活動筋活動を読み解き働きかけ

教育

スポーツ

エンターテインメント 健康美容

子育て保育

医療カウンセリングコミュニケーション科学

人間科学の成果を発揮する領域

Copyrightcopy2017 NTT corp All Rights Reserved 34

目の動きからユーザの「ココロ」を推定

眼球運動瞳孔の大きさに基づくマインドリーティング コンピュータでしか認識できない人間の潜在的な心の動きを読み取る

「人間を超える」感情認識能力をもったAI

Heart-Touching-AI

好みの推定

対象者の各種状態を推定

特徴抽出

モデル生成

分類器(モデル)

ラベル(評価値)

データ計測

瞳孔反応

マイクロサッカード

Time [s]

Posi

tion [

deg]

Time [s]

Pupil

size

change

[z-

score

]

0 1 2 3

0

2

-3 NTT独自のアルゴリズムを適用

or

顔画像音楽など

推定(分類)

注意状態の推定 眠気の推定

Copyrightcopy2017 NTT corp All Rights Reserved 35

体感型釣りゲーム

ドライブ体験

ドライブ映像のカーブに合わせてハンドルが引っ張られる感覚を体感

釣りで魚が食いついたことで糸が引っ張られる感覚を体感

手をみちびく感覚を振動デバイスで実現

振動で人を導く「ぶるなび」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 36

止まっている対象に動きの印象を与えるプロジェクションマッピング

質感編集技術

原画像

変換後

変幻灯技術(画像検索との融合)

画像と動きシナリオ(動き方タイミング等)のデータベース

撮影画像列

差分画像列

アニメ画像列生成

画像検索

姿勢推定

検索結果の動きシナリオ

対象物

プロジェクション

アニメ画像列

乾いた風景

濡れたように

差分計算

壁紙が表情を変える「変幻灯」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 37

アジェンダ

1NTTグループのロボティクスへの取り組み

~ 色々なモノが繋がる世界の実現 ~

2ロボットに必要な機能

~ NTTのAI技術 corevoreg(コレボ)~

3ロボット進化の方向性

~ 人とロボットの共生社会 ~

Copyrightcopy2017 NTT corp All Rights Reserved 38

一人に一台のパーソナルエージェント

スマホ等

Webサービス

Bluetooth Bluetooth携帯電話網

スマホ等

音声通話

音声+視線+動作

音声+視線+動作

Copyrightcopy2017 NTT corp All Rights Reserved 39

パーソナルモビリティ自律走行技術の進展

WHILLNTTドコモ全国初「免許不要」のパーソナルモビリティシェアリングサービスの実証実験を横浜で実施(2015年)

横浜赤レンガ倉庫2号館赤レンガパーク

日本丸メモリアルパーク

出典WHILLプレスリリースhttpswhilljpnews5618

Copyrightcopy2017 NTT corp All Rights Reserved 40

人と移動ロボットの共生社会

さまざまな移動ロボットが人の生活空間を移動する世界では移動ロボットが自律的に安全に移動することに加えて周囲の人や移動ロボットを操作する人が協力して環境へ適応し安全な動作を生成していくということが必要

移動ロボットを使う人も周囲の人も誰もが安心してロボットと共生できるサービスの実現

さまざまなタイプの移動ロボットが普及し人の日常空間に共存する将来

移動ロボットを操作する初心者高齢者が増加しそれに伴う事故も増加 自律移動ロボットも完全に安全にすることはできず人や他の移動ロボッ

トとの衝突が発生

Copyrightcopy2017 NTT corp All Rights Reserved 41

ldquoR-env連舞rdquoInnovation

Hub

多様なロボット活用サービスの普及に向けて

ハードウェアメーカーと連携した

「デバイスハンズオン」rarr個別デバイスの利用者拡大

アプリ開発者サービス事業者と連携した

「ハッカソン」rarrデバイス連携サービスプロトタイプの蓄積

パートナと連携した

「フィールドトライアル」

rarrデバイス連携サービスの有効性検証

パートナNTTグループ連携による

「ビジネス創出」

rarrデバイス連携サービスのビジネス化

Copyrightcopy2017 NTT corp All Rights Reserved 42

最優秀賞チーム雅「箱入り娘と箱贈り親父」父親と娘のコミュニケーションを育むためにロボットが父親の代わりに離れて暮らす娘へ

メッセージを届けてくれるサービス

優秀賞Team avata「R-env2 テレヘルスサービス」遠隔医療にコミュニケーションロボットを活用「お尻が痛い」などデリケートな症状でも医

師に相談することの恥ずかしさの軽減を図るサービス

R-env連舞 ハッカソン

日時場所2016年6月18日~19日FabCafe TokyoMTRL渋谷 テーマ「ロボットldquoならではrdquoのサービスを作ろう」

Copyrightcopy2017 NTT corp All Rights Reserved 43

R-env連舞のホームページ

httpswwwr-envjp

Copyrightcopy2017 NTT corp All Rights Reserved 44

国際ロボット競技会(World Robot Summit)

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

Copyrightcopy2017 NTT corp All Rights Reserved 45

WRSのスケジュール

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

ldquo人の可能性を広げるldquo

諦めなければならなかった事をひとつでも多く実現するインタラクションサービス

様々なパートナと連携して実現していきます

Page 30: NTTにおけるロボティクス技術の展開と展望 · 深層学習型 (ディープニューラルネット) 約4000万パターンの音声を 表現可能 従来型(混合分布)

Copyrightcopy2017 NTT corp All Rights Reserved 30

copy2015 Vstone

複数ロボットを用いた雑談対話技術

複数の音声対話ロボットを協調させ音声認識や発話生成の誤りに気づかせずに対話を継続できる技術従来と同じ性能のシステムであっても人の認知特性を利用することで印象を大きく改善

明日は寒くなるみたいだからコート着なきゃ

ふむふむ

今年のコートの流行はチェスターコートだよ

話題連続性に対する要求の低減

ロボットA

蘭がスキー(ラーメンが好きを誤認識)

ふむふむ(誤認識を検知)

僕は焼き肉が好きだよ(ロボット同士の対話に移行)

食べ物だったら何が好き

音声認識誤り検出時の破綻回避

ロボットAが一旦発話を受け止めdarr

話者をロボットBに切り替えdarr

話題が逸脱した場合の違和感を軽減

音声認識結果が対話の流れから逸脱darr

音声認識の誤りと判断darr

ロボット同士の対話に移行し対話破綻を回避

ロボットA

ロボットB

大阪大学 石黒研との共同研究成果

ロボットB

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 31

アングルフリー物体検索技術

異なるアングルから撮影しても精度よく物体を認識し関連情報を提示可能 事前に準備する参照画像数を従来の110程度まで大幅に削減準備コス

トの削減可能

参照画像DB

NW

撮影画像

被写体付加情報

撮影した画像に写った物体を認識

認識検出結果

従来の約110の登録画像枚数

スマホ等で物体を撮影

撮影アングルが異なっても他の物体が写りこんでいても同じ物体として認識

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 32

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 33

Heart-Touching-AI (無意識人のこころに触れる)

本人にも意識されない人の心と身体を読み解き深層心理知性本能を理解するAI

心的状態神経活動筋活動を読み解き働きかけ

教育

スポーツ

エンターテインメント 健康美容

子育て保育

医療カウンセリングコミュニケーション科学

人間科学の成果を発揮する領域

Copyrightcopy2017 NTT corp All Rights Reserved 34

目の動きからユーザの「ココロ」を推定

眼球運動瞳孔の大きさに基づくマインドリーティング コンピュータでしか認識できない人間の潜在的な心の動きを読み取る

「人間を超える」感情認識能力をもったAI

Heart-Touching-AI

好みの推定

対象者の各種状態を推定

特徴抽出

モデル生成

分類器(モデル)

ラベル(評価値)

データ計測

瞳孔反応

マイクロサッカード

Time [s]

Posi

tion [

deg]

Time [s]

Pupil

size

change

[z-

score

]

0 1 2 3

0

2

-3 NTT独自のアルゴリズムを適用

or

顔画像音楽など

推定(分類)

注意状態の推定 眠気の推定

Copyrightcopy2017 NTT corp All Rights Reserved 35

体感型釣りゲーム

ドライブ体験

ドライブ映像のカーブに合わせてハンドルが引っ張られる感覚を体感

釣りで魚が食いついたことで糸が引っ張られる感覚を体感

手をみちびく感覚を振動デバイスで実現

振動で人を導く「ぶるなび」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 36

止まっている対象に動きの印象を与えるプロジェクションマッピング

質感編集技術

原画像

変換後

変幻灯技術(画像検索との融合)

画像と動きシナリオ(動き方タイミング等)のデータベース

撮影画像列

差分画像列

アニメ画像列生成

画像検索

姿勢推定

検索結果の動きシナリオ

対象物

プロジェクション

アニメ画像列

乾いた風景

濡れたように

差分計算

壁紙が表情を変える「変幻灯」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 37

アジェンダ

1NTTグループのロボティクスへの取り組み

~ 色々なモノが繋がる世界の実現 ~

2ロボットに必要な機能

~ NTTのAI技術 corevoreg(コレボ)~

3ロボット進化の方向性

~ 人とロボットの共生社会 ~

Copyrightcopy2017 NTT corp All Rights Reserved 38

一人に一台のパーソナルエージェント

スマホ等

Webサービス

Bluetooth Bluetooth携帯電話網

スマホ等

音声通話

音声+視線+動作

音声+視線+動作

Copyrightcopy2017 NTT corp All Rights Reserved 39

パーソナルモビリティ自律走行技術の進展

WHILLNTTドコモ全国初「免許不要」のパーソナルモビリティシェアリングサービスの実証実験を横浜で実施(2015年)

横浜赤レンガ倉庫2号館赤レンガパーク

日本丸メモリアルパーク

出典WHILLプレスリリースhttpswhilljpnews5618

Copyrightcopy2017 NTT corp All Rights Reserved 40

人と移動ロボットの共生社会

さまざまな移動ロボットが人の生活空間を移動する世界では移動ロボットが自律的に安全に移動することに加えて周囲の人や移動ロボットを操作する人が協力して環境へ適応し安全な動作を生成していくということが必要

移動ロボットを使う人も周囲の人も誰もが安心してロボットと共生できるサービスの実現

さまざまなタイプの移動ロボットが普及し人の日常空間に共存する将来

移動ロボットを操作する初心者高齢者が増加しそれに伴う事故も増加 自律移動ロボットも完全に安全にすることはできず人や他の移動ロボッ

トとの衝突が発生

Copyrightcopy2017 NTT corp All Rights Reserved 41

ldquoR-env連舞rdquoInnovation

Hub

多様なロボット活用サービスの普及に向けて

ハードウェアメーカーと連携した

「デバイスハンズオン」rarr個別デバイスの利用者拡大

アプリ開発者サービス事業者と連携した

「ハッカソン」rarrデバイス連携サービスプロトタイプの蓄積

パートナと連携した

「フィールドトライアル」

rarrデバイス連携サービスの有効性検証

パートナNTTグループ連携による

「ビジネス創出」

rarrデバイス連携サービスのビジネス化

Copyrightcopy2017 NTT corp All Rights Reserved 42

最優秀賞チーム雅「箱入り娘と箱贈り親父」父親と娘のコミュニケーションを育むためにロボットが父親の代わりに離れて暮らす娘へ

メッセージを届けてくれるサービス

優秀賞Team avata「R-env2 テレヘルスサービス」遠隔医療にコミュニケーションロボットを活用「お尻が痛い」などデリケートな症状でも医

師に相談することの恥ずかしさの軽減を図るサービス

R-env連舞 ハッカソン

日時場所2016年6月18日~19日FabCafe TokyoMTRL渋谷 テーマ「ロボットldquoならではrdquoのサービスを作ろう」

Copyrightcopy2017 NTT corp All Rights Reserved 43

R-env連舞のホームページ

httpswwwr-envjp

Copyrightcopy2017 NTT corp All Rights Reserved 44

国際ロボット競技会(World Robot Summit)

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

Copyrightcopy2017 NTT corp All Rights Reserved 45

WRSのスケジュール

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

ldquo人の可能性を広げるldquo

諦めなければならなかった事をひとつでも多く実現するインタラクションサービス

様々なパートナと連携して実現していきます

Page 31: NTTにおけるロボティクス技術の展開と展望 · 深層学習型 (ディープニューラルネット) 約4000万パターンの音声を 表現可能 従来型(混合分布)

Copyrightcopy2017 NTT corp All Rights Reserved 31

アングルフリー物体検索技術

異なるアングルから撮影しても精度よく物体を認識し関連情報を提示可能 事前に準備する参照画像数を従来の110程度まで大幅に削減準備コス

トの削減可能

参照画像DB

NW

撮影画像

被写体付加情報

撮影した画像に写った物体を認識

認識検出結果

従来の約110の登録画像枚数

スマホ等で物体を撮影

撮影アングルが異なっても他の物体が写りこんでいても同じ物体として認識

Agent-AI

Copyrightcopy2017 NTT corp All Rights Reserved 32

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 33

Heart-Touching-AI (無意識人のこころに触れる)

本人にも意識されない人の心と身体を読み解き深層心理知性本能を理解するAI

心的状態神経活動筋活動を読み解き働きかけ

教育

スポーツ

エンターテインメント 健康美容

子育て保育

医療カウンセリングコミュニケーション科学

人間科学の成果を発揮する領域

Copyrightcopy2017 NTT corp All Rights Reserved 34

目の動きからユーザの「ココロ」を推定

眼球運動瞳孔の大きさに基づくマインドリーティング コンピュータでしか認識できない人間の潜在的な心の動きを読み取る

「人間を超える」感情認識能力をもったAI

Heart-Touching-AI

好みの推定

対象者の各種状態を推定

特徴抽出

モデル生成

分類器(モデル)

ラベル(評価値)

データ計測

瞳孔反応

マイクロサッカード

Time [s]

Posi

tion [

deg]

Time [s]

Pupil

size

change

[z-

score

]

0 1 2 3

0

2

-3 NTT独自のアルゴリズムを適用

or

顔画像音楽など

推定(分類)

注意状態の推定 眠気の推定

Copyrightcopy2017 NTT corp All Rights Reserved 35

体感型釣りゲーム

ドライブ体験

ドライブ映像のカーブに合わせてハンドルが引っ張られる感覚を体感

釣りで魚が食いついたことで糸が引っ張られる感覚を体感

手をみちびく感覚を振動デバイスで実現

振動で人を導く「ぶるなび」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 36

止まっている対象に動きの印象を与えるプロジェクションマッピング

質感編集技術

原画像

変換後

変幻灯技術(画像検索との融合)

画像と動きシナリオ(動き方タイミング等)のデータベース

撮影画像列

差分画像列

アニメ画像列生成

画像検索

姿勢推定

検索結果の動きシナリオ

対象物

プロジェクション

アニメ画像列

乾いた風景

濡れたように

差分計算

壁紙が表情を変える「変幻灯」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 37

アジェンダ

1NTTグループのロボティクスへの取り組み

~ 色々なモノが繋がる世界の実現 ~

2ロボットに必要な機能

~ NTTのAI技術 corevoreg(コレボ)~

3ロボット進化の方向性

~ 人とロボットの共生社会 ~

Copyrightcopy2017 NTT corp All Rights Reserved 38

一人に一台のパーソナルエージェント

スマホ等

Webサービス

Bluetooth Bluetooth携帯電話網

スマホ等

音声通話

音声+視線+動作

音声+視線+動作

Copyrightcopy2017 NTT corp All Rights Reserved 39

パーソナルモビリティ自律走行技術の進展

WHILLNTTドコモ全国初「免許不要」のパーソナルモビリティシェアリングサービスの実証実験を横浜で実施(2015年)

横浜赤レンガ倉庫2号館赤レンガパーク

日本丸メモリアルパーク

出典WHILLプレスリリースhttpswhilljpnews5618

Copyrightcopy2017 NTT corp All Rights Reserved 40

人と移動ロボットの共生社会

さまざまな移動ロボットが人の生活空間を移動する世界では移動ロボットが自律的に安全に移動することに加えて周囲の人や移動ロボットを操作する人が協力して環境へ適応し安全な動作を生成していくということが必要

移動ロボットを使う人も周囲の人も誰もが安心してロボットと共生できるサービスの実現

さまざまなタイプの移動ロボットが普及し人の日常空間に共存する将来

移動ロボットを操作する初心者高齢者が増加しそれに伴う事故も増加 自律移動ロボットも完全に安全にすることはできず人や他の移動ロボッ

トとの衝突が発生

Copyrightcopy2017 NTT corp All Rights Reserved 41

ldquoR-env連舞rdquoInnovation

Hub

多様なロボット活用サービスの普及に向けて

ハードウェアメーカーと連携した

「デバイスハンズオン」rarr個別デバイスの利用者拡大

アプリ開発者サービス事業者と連携した

「ハッカソン」rarrデバイス連携サービスプロトタイプの蓄積

パートナと連携した

「フィールドトライアル」

rarrデバイス連携サービスの有効性検証

パートナNTTグループ連携による

「ビジネス創出」

rarrデバイス連携サービスのビジネス化

Copyrightcopy2017 NTT corp All Rights Reserved 42

最優秀賞チーム雅「箱入り娘と箱贈り親父」父親と娘のコミュニケーションを育むためにロボットが父親の代わりに離れて暮らす娘へ

メッセージを届けてくれるサービス

優秀賞Team avata「R-env2 テレヘルスサービス」遠隔医療にコミュニケーションロボットを活用「お尻が痛い」などデリケートな症状でも医

師に相談することの恥ずかしさの軽減を図るサービス

R-env連舞 ハッカソン

日時場所2016年6月18日~19日FabCafe TokyoMTRL渋谷 テーマ「ロボットldquoならではrdquoのサービスを作ろう」

Copyrightcopy2017 NTT corp All Rights Reserved 43

R-env連舞のホームページ

httpswwwr-envjp

Copyrightcopy2017 NTT corp All Rights Reserved 44

国際ロボット競技会(World Robot Summit)

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

Copyrightcopy2017 NTT corp All Rights Reserved 45

WRSのスケジュール

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

ldquo人の可能性を広げるldquo

諦めなければならなかった事をひとつでも多く実現するインタラクションサービス

様々なパートナと連携して実現していきます

Page 32: NTTにおけるロボティクス技術の展開と展望 · 深層学習型 (ディープニューラルネット) 約4000万パターンの音声を 表現可能 従来型(混合分布)

Copyrightcopy2017 NTT corp All Rights Reserved 32

NTTグループが目指す4つのAI

Agent-AI

ヒト外界を奥深く認識理解

Ambient-AI

膨大なセンサデータを分析複合事象を素早く判断

Heart-Touching-AI

ヒト外界へ単なる便利さではなく心地よさを提供

Network-AI

社会環境全体を最適化

Copyrightcopy2017 NTT corp All Rights Reserved 33

Heart-Touching-AI (無意識人のこころに触れる)

本人にも意識されない人の心と身体を読み解き深層心理知性本能を理解するAI

心的状態神経活動筋活動を読み解き働きかけ

教育

スポーツ

エンターテインメント 健康美容

子育て保育

医療カウンセリングコミュニケーション科学

人間科学の成果を発揮する領域

Copyrightcopy2017 NTT corp All Rights Reserved 34

目の動きからユーザの「ココロ」を推定

眼球運動瞳孔の大きさに基づくマインドリーティング コンピュータでしか認識できない人間の潜在的な心の動きを読み取る

「人間を超える」感情認識能力をもったAI

Heart-Touching-AI

好みの推定

対象者の各種状態を推定

特徴抽出

モデル生成

分類器(モデル)

ラベル(評価値)

データ計測

瞳孔反応

マイクロサッカード

Time [s]

Posi

tion [

deg]

Time [s]

Pupil

size

change

[z-

score

]

0 1 2 3

0

2

-3 NTT独自のアルゴリズムを適用

or

顔画像音楽など

推定(分類)

注意状態の推定 眠気の推定

Copyrightcopy2017 NTT corp All Rights Reserved 35

体感型釣りゲーム

ドライブ体験

ドライブ映像のカーブに合わせてハンドルが引っ張られる感覚を体感

釣りで魚が食いついたことで糸が引っ張られる感覚を体感

手をみちびく感覚を振動デバイスで実現

振動で人を導く「ぶるなび」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 36

止まっている対象に動きの印象を与えるプロジェクションマッピング

質感編集技術

原画像

変換後

変幻灯技術(画像検索との融合)

画像と動きシナリオ(動き方タイミング等)のデータベース

撮影画像列

差分画像列

アニメ画像列生成

画像検索

姿勢推定

検索結果の動きシナリオ

対象物

プロジェクション

アニメ画像列

乾いた風景

濡れたように

差分計算

壁紙が表情を変える「変幻灯」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 37

アジェンダ

1NTTグループのロボティクスへの取り組み

~ 色々なモノが繋がる世界の実現 ~

2ロボットに必要な機能

~ NTTのAI技術 corevoreg(コレボ)~

3ロボット進化の方向性

~ 人とロボットの共生社会 ~

Copyrightcopy2017 NTT corp All Rights Reserved 38

一人に一台のパーソナルエージェント

スマホ等

Webサービス

Bluetooth Bluetooth携帯電話網

スマホ等

音声通話

音声+視線+動作

音声+視線+動作

Copyrightcopy2017 NTT corp All Rights Reserved 39

パーソナルモビリティ自律走行技術の進展

WHILLNTTドコモ全国初「免許不要」のパーソナルモビリティシェアリングサービスの実証実験を横浜で実施(2015年)

横浜赤レンガ倉庫2号館赤レンガパーク

日本丸メモリアルパーク

出典WHILLプレスリリースhttpswhilljpnews5618

Copyrightcopy2017 NTT corp All Rights Reserved 40

人と移動ロボットの共生社会

さまざまな移動ロボットが人の生活空間を移動する世界では移動ロボットが自律的に安全に移動することに加えて周囲の人や移動ロボットを操作する人が協力して環境へ適応し安全な動作を生成していくということが必要

移動ロボットを使う人も周囲の人も誰もが安心してロボットと共生できるサービスの実現

さまざまなタイプの移動ロボットが普及し人の日常空間に共存する将来

移動ロボットを操作する初心者高齢者が増加しそれに伴う事故も増加 自律移動ロボットも完全に安全にすることはできず人や他の移動ロボッ

トとの衝突が発生

Copyrightcopy2017 NTT corp All Rights Reserved 41

ldquoR-env連舞rdquoInnovation

Hub

多様なロボット活用サービスの普及に向けて

ハードウェアメーカーと連携した

「デバイスハンズオン」rarr個別デバイスの利用者拡大

アプリ開発者サービス事業者と連携した

「ハッカソン」rarrデバイス連携サービスプロトタイプの蓄積

パートナと連携した

「フィールドトライアル」

rarrデバイス連携サービスの有効性検証

パートナNTTグループ連携による

「ビジネス創出」

rarrデバイス連携サービスのビジネス化

Copyrightcopy2017 NTT corp All Rights Reserved 42

最優秀賞チーム雅「箱入り娘と箱贈り親父」父親と娘のコミュニケーションを育むためにロボットが父親の代わりに離れて暮らす娘へ

メッセージを届けてくれるサービス

優秀賞Team avata「R-env2 テレヘルスサービス」遠隔医療にコミュニケーションロボットを活用「お尻が痛い」などデリケートな症状でも医

師に相談することの恥ずかしさの軽減を図るサービス

R-env連舞 ハッカソン

日時場所2016年6月18日~19日FabCafe TokyoMTRL渋谷 テーマ「ロボットldquoならではrdquoのサービスを作ろう」

Copyrightcopy2017 NTT corp All Rights Reserved 43

R-env連舞のホームページ

httpswwwr-envjp

Copyrightcopy2017 NTT corp All Rights Reserved 44

国際ロボット競技会(World Robot Summit)

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

Copyrightcopy2017 NTT corp All Rights Reserved 45

WRSのスケジュール

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

ldquo人の可能性を広げるldquo

諦めなければならなかった事をひとつでも多く実現するインタラクションサービス

様々なパートナと連携して実現していきます

Page 33: NTTにおけるロボティクス技術の展開と展望 · 深層学習型 (ディープニューラルネット) 約4000万パターンの音声を 表現可能 従来型(混合分布)

Copyrightcopy2017 NTT corp All Rights Reserved 33

Heart-Touching-AI (無意識人のこころに触れる)

本人にも意識されない人の心と身体を読み解き深層心理知性本能を理解するAI

心的状態神経活動筋活動を読み解き働きかけ

教育

スポーツ

エンターテインメント 健康美容

子育て保育

医療カウンセリングコミュニケーション科学

人間科学の成果を発揮する領域

Copyrightcopy2017 NTT corp All Rights Reserved 34

目の動きからユーザの「ココロ」を推定

眼球運動瞳孔の大きさに基づくマインドリーティング コンピュータでしか認識できない人間の潜在的な心の動きを読み取る

「人間を超える」感情認識能力をもったAI

Heart-Touching-AI

好みの推定

対象者の各種状態を推定

特徴抽出

モデル生成

分類器(モデル)

ラベル(評価値)

データ計測

瞳孔反応

マイクロサッカード

Time [s]

Posi

tion [

deg]

Time [s]

Pupil

size

change

[z-

score

]

0 1 2 3

0

2

-3 NTT独自のアルゴリズムを適用

or

顔画像音楽など

推定(分類)

注意状態の推定 眠気の推定

Copyrightcopy2017 NTT corp All Rights Reserved 35

体感型釣りゲーム

ドライブ体験

ドライブ映像のカーブに合わせてハンドルが引っ張られる感覚を体感

釣りで魚が食いついたことで糸が引っ張られる感覚を体感

手をみちびく感覚を振動デバイスで実現

振動で人を導く「ぶるなび」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 36

止まっている対象に動きの印象を与えるプロジェクションマッピング

質感編集技術

原画像

変換後

変幻灯技術(画像検索との融合)

画像と動きシナリオ(動き方タイミング等)のデータベース

撮影画像列

差分画像列

アニメ画像列生成

画像検索

姿勢推定

検索結果の動きシナリオ

対象物

プロジェクション

アニメ画像列

乾いた風景

濡れたように

差分計算

壁紙が表情を変える「変幻灯」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 37

アジェンダ

1NTTグループのロボティクスへの取り組み

~ 色々なモノが繋がる世界の実現 ~

2ロボットに必要な機能

~ NTTのAI技術 corevoreg(コレボ)~

3ロボット進化の方向性

~ 人とロボットの共生社会 ~

Copyrightcopy2017 NTT corp All Rights Reserved 38

一人に一台のパーソナルエージェント

スマホ等

Webサービス

Bluetooth Bluetooth携帯電話網

スマホ等

音声通話

音声+視線+動作

音声+視線+動作

Copyrightcopy2017 NTT corp All Rights Reserved 39

パーソナルモビリティ自律走行技術の進展

WHILLNTTドコモ全国初「免許不要」のパーソナルモビリティシェアリングサービスの実証実験を横浜で実施(2015年)

横浜赤レンガ倉庫2号館赤レンガパーク

日本丸メモリアルパーク

出典WHILLプレスリリースhttpswhilljpnews5618

Copyrightcopy2017 NTT corp All Rights Reserved 40

人と移動ロボットの共生社会

さまざまな移動ロボットが人の生活空間を移動する世界では移動ロボットが自律的に安全に移動することに加えて周囲の人や移動ロボットを操作する人が協力して環境へ適応し安全な動作を生成していくということが必要

移動ロボットを使う人も周囲の人も誰もが安心してロボットと共生できるサービスの実現

さまざまなタイプの移動ロボットが普及し人の日常空間に共存する将来

移動ロボットを操作する初心者高齢者が増加しそれに伴う事故も増加 自律移動ロボットも完全に安全にすることはできず人や他の移動ロボッ

トとの衝突が発生

Copyrightcopy2017 NTT corp All Rights Reserved 41

ldquoR-env連舞rdquoInnovation

Hub

多様なロボット活用サービスの普及に向けて

ハードウェアメーカーと連携した

「デバイスハンズオン」rarr個別デバイスの利用者拡大

アプリ開発者サービス事業者と連携した

「ハッカソン」rarrデバイス連携サービスプロトタイプの蓄積

パートナと連携した

「フィールドトライアル」

rarrデバイス連携サービスの有効性検証

パートナNTTグループ連携による

「ビジネス創出」

rarrデバイス連携サービスのビジネス化

Copyrightcopy2017 NTT corp All Rights Reserved 42

最優秀賞チーム雅「箱入り娘と箱贈り親父」父親と娘のコミュニケーションを育むためにロボットが父親の代わりに離れて暮らす娘へ

メッセージを届けてくれるサービス

優秀賞Team avata「R-env2 テレヘルスサービス」遠隔医療にコミュニケーションロボットを活用「お尻が痛い」などデリケートな症状でも医

師に相談することの恥ずかしさの軽減を図るサービス

R-env連舞 ハッカソン

日時場所2016年6月18日~19日FabCafe TokyoMTRL渋谷 テーマ「ロボットldquoならではrdquoのサービスを作ろう」

Copyrightcopy2017 NTT corp All Rights Reserved 43

R-env連舞のホームページ

httpswwwr-envjp

Copyrightcopy2017 NTT corp All Rights Reserved 44

国際ロボット競技会(World Robot Summit)

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

Copyrightcopy2017 NTT corp All Rights Reserved 45

WRSのスケジュール

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

ldquo人の可能性を広げるldquo

諦めなければならなかった事をひとつでも多く実現するインタラクションサービス

様々なパートナと連携して実現していきます

Page 34: NTTにおけるロボティクス技術の展開と展望 · 深層学習型 (ディープニューラルネット) 約4000万パターンの音声を 表現可能 従来型(混合分布)

Copyrightcopy2017 NTT corp All Rights Reserved 34

目の動きからユーザの「ココロ」を推定

眼球運動瞳孔の大きさに基づくマインドリーティング コンピュータでしか認識できない人間の潜在的な心の動きを読み取る

「人間を超える」感情認識能力をもったAI

Heart-Touching-AI

好みの推定

対象者の各種状態を推定

特徴抽出

モデル生成

分類器(モデル)

ラベル(評価値)

データ計測

瞳孔反応

マイクロサッカード

Time [s]

Posi

tion [

deg]

Time [s]

Pupil

size

change

[z-

score

]

0 1 2 3

0

2

-3 NTT独自のアルゴリズムを適用

or

顔画像音楽など

推定(分類)

注意状態の推定 眠気の推定

Copyrightcopy2017 NTT corp All Rights Reserved 35

体感型釣りゲーム

ドライブ体験

ドライブ映像のカーブに合わせてハンドルが引っ張られる感覚を体感

釣りで魚が食いついたことで糸が引っ張られる感覚を体感

手をみちびく感覚を振動デバイスで実現

振動で人を導く「ぶるなび」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 36

止まっている対象に動きの印象を与えるプロジェクションマッピング

質感編集技術

原画像

変換後

変幻灯技術(画像検索との融合)

画像と動きシナリオ(動き方タイミング等)のデータベース

撮影画像列

差分画像列

アニメ画像列生成

画像検索

姿勢推定

検索結果の動きシナリオ

対象物

プロジェクション

アニメ画像列

乾いた風景

濡れたように

差分計算

壁紙が表情を変える「変幻灯」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 37

アジェンダ

1NTTグループのロボティクスへの取り組み

~ 色々なモノが繋がる世界の実現 ~

2ロボットに必要な機能

~ NTTのAI技術 corevoreg(コレボ)~

3ロボット進化の方向性

~ 人とロボットの共生社会 ~

Copyrightcopy2017 NTT corp All Rights Reserved 38

一人に一台のパーソナルエージェント

スマホ等

Webサービス

Bluetooth Bluetooth携帯電話網

スマホ等

音声通話

音声+視線+動作

音声+視線+動作

Copyrightcopy2017 NTT corp All Rights Reserved 39

パーソナルモビリティ自律走行技術の進展

WHILLNTTドコモ全国初「免許不要」のパーソナルモビリティシェアリングサービスの実証実験を横浜で実施(2015年)

横浜赤レンガ倉庫2号館赤レンガパーク

日本丸メモリアルパーク

出典WHILLプレスリリースhttpswhilljpnews5618

Copyrightcopy2017 NTT corp All Rights Reserved 40

人と移動ロボットの共生社会

さまざまな移動ロボットが人の生活空間を移動する世界では移動ロボットが自律的に安全に移動することに加えて周囲の人や移動ロボットを操作する人が協力して環境へ適応し安全な動作を生成していくということが必要

移動ロボットを使う人も周囲の人も誰もが安心してロボットと共生できるサービスの実現

さまざまなタイプの移動ロボットが普及し人の日常空間に共存する将来

移動ロボットを操作する初心者高齢者が増加しそれに伴う事故も増加 自律移動ロボットも完全に安全にすることはできず人や他の移動ロボッ

トとの衝突が発生

Copyrightcopy2017 NTT corp All Rights Reserved 41

ldquoR-env連舞rdquoInnovation

Hub

多様なロボット活用サービスの普及に向けて

ハードウェアメーカーと連携した

「デバイスハンズオン」rarr個別デバイスの利用者拡大

アプリ開発者サービス事業者と連携した

「ハッカソン」rarrデバイス連携サービスプロトタイプの蓄積

パートナと連携した

「フィールドトライアル」

rarrデバイス連携サービスの有効性検証

パートナNTTグループ連携による

「ビジネス創出」

rarrデバイス連携サービスのビジネス化

Copyrightcopy2017 NTT corp All Rights Reserved 42

最優秀賞チーム雅「箱入り娘と箱贈り親父」父親と娘のコミュニケーションを育むためにロボットが父親の代わりに離れて暮らす娘へ

メッセージを届けてくれるサービス

優秀賞Team avata「R-env2 テレヘルスサービス」遠隔医療にコミュニケーションロボットを活用「お尻が痛い」などデリケートな症状でも医

師に相談することの恥ずかしさの軽減を図るサービス

R-env連舞 ハッカソン

日時場所2016年6月18日~19日FabCafe TokyoMTRL渋谷 テーマ「ロボットldquoならではrdquoのサービスを作ろう」

Copyrightcopy2017 NTT corp All Rights Reserved 43

R-env連舞のホームページ

httpswwwr-envjp

Copyrightcopy2017 NTT corp All Rights Reserved 44

国際ロボット競技会(World Robot Summit)

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

Copyrightcopy2017 NTT corp All Rights Reserved 45

WRSのスケジュール

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

ldquo人の可能性を広げるldquo

諦めなければならなかった事をひとつでも多く実現するインタラクションサービス

様々なパートナと連携して実現していきます

Page 35: NTTにおけるロボティクス技術の展開と展望 · 深層学習型 (ディープニューラルネット) 約4000万パターンの音声を 表現可能 従来型(混合分布)

Copyrightcopy2017 NTT corp All Rights Reserved 35

体感型釣りゲーム

ドライブ体験

ドライブ映像のカーブに合わせてハンドルが引っ張られる感覚を体感

釣りで魚が食いついたことで糸が引っ張られる感覚を体感

手をみちびく感覚を振動デバイスで実現

振動で人を導く「ぶるなび」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 36

止まっている対象に動きの印象を与えるプロジェクションマッピング

質感編集技術

原画像

変換後

変幻灯技術(画像検索との融合)

画像と動きシナリオ(動き方タイミング等)のデータベース

撮影画像列

差分画像列

アニメ画像列生成

画像検索

姿勢推定

検索結果の動きシナリオ

対象物

プロジェクション

アニメ画像列

乾いた風景

濡れたように

差分計算

壁紙が表情を変える「変幻灯」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 37

アジェンダ

1NTTグループのロボティクスへの取り組み

~ 色々なモノが繋がる世界の実現 ~

2ロボットに必要な機能

~ NTTのAI技術 corevoreg(コレボ)~

3ロボット進化の方向性

~ 人とロボットの共生社会 ~

Copyrightcopy2017 NTT corp All Rights Reserved 38

一人に一台のパーソナルエージェント

スマホ等

Webサービス

Bluetooth Bluetooth携帯電話網

スマホ等

音声通話

音声+視線+動作

音声+視線+動作

Copyrightcopy2017 NTT corp All Rights Reserved 39

パーソナルモビリティ自律走行技術の進展

WHILLNTTドコモ全国初「免許不要」のパーソナルモビリティシェアリングサービスの実証実験を横浜で実施(2015年)

横浜赤レンガ倉庫2号館赤レンガパーク

日本丸メモリアルパーク

出典WHILLプレスリリースhttpswhilljpnews5618

Copyrightcopy2017 NTT corp All Rights Reserved 40

人と移動ロボットの共生社会

さまざまな移動ロボットが人の生活空間を移動する世界では移動ロボットが自律的に安全に移動することに加えて周囲の人や移動ロボットを操作する人が協力して環境へ適応し安全な動作を生成していくということが必要

移動ロボットを使う人も周囲の人も誰もが安心してロボットと共生できるサービスの実現

さまざまなタイプの移動ロボットが普及し人の日常空間に共存する将来

移動ロボットを操作する初心者高齢者が増加しそれに伴う事故も増加 自律移動ロボットも完全に安全にすることはできず人や他の移動ロボッ

トとの衝突が発生

Copyrightcopy2017 NTT corp All Rights Reserved 41

ldquoR-env連舞rdquoInnovation

Hub

多様なロボット活用サービスの普及に向けて

ハードウェアメーカーと連携した

「デバイスハンズオン」rarr個別デバイスの利用者拡大

アプリ開発者サービス事業者と連携した

「ハッカソン」rarrデバイス連携サービスプロトタイプの蓄積

パートナと連携した

「フィールドトライアル」

rarrデバイス連携サービスの有効性検証

パートナNTTグループ連携による

「ビジネス創出」

rarrデバイス連携サービスのビジネス化

Copyrightcopy2017 NTT corp All Rights Reserved 42

最優秀賞チーム雅「箱入り娘と箱贈り親父」父親と娘のコミュニケーションを育むためにロボットが父親の代わりに離れて暮らす娘へ

メッセージを届けてくれるサービス

優秀賞Team avata「R-env2 テレヘルスサービス」遠隔医療にコミュニケーションロボットを活用「お尻が痛い」などデリケートな症状でも医

師に相談することの恥ずかしさの軽減を図るサービス

R-env連舞 ハッカソン

日時場所2016年6月18日~19日FabCafe TokyoMTRL渋谷 テーマ「ロボットldquoならではrdquoのサービスを作ろう」

Copyrightcopy2017 NTT corp All Rights Reserved 43

R-env連舞のホームページ

httpswwwr-envjp

Copyrightcopy2017 NTT corp All Rights Reserved 44

国際ロボット競技会(World Robot Summit)

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

Copyrightcopy2017 NTT corp All Rights Reserved 45

WRSのスケジュール

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

ldquo人の可能性を広げるldquo

諦めなければならなかった事をひとつでも多く実現するインタラクションサービス

様々なパートナと連携して実現していきます

Page 36: NTTにおけるロボティクス技術の展開と展望 · 深層学習型 (ディープニューラルネット) 約4000万パターンの音声を 表現可能 従来型(混合分布)

Copyrightcopy2017 NTT corp All Rights Reserved 36

止まっている対象に動きの印象を与えるプロジェクションマッピング

質感編集技術

原画像

変換後

変幻灯技術(画像検索との融合)

画像と動きシナリオ(動き方タイミング等)のデータベース

撮影画像列

差分画像列

アニメ画像列生成

画像検索

姿勢推定

検索結果の動きシナリオ

対象物

プロジェクション

アニメ画像列

乾いた風景

濡れたように

差分計算

壁紙が表情を変える「変幻灯」Heart-Touching-AI

Copyrightcopy2017 NTT corp All Rights Reserved 37

アジェンダ

1NTTグループのロボティクスへの取り組み

~ 色々なモノが繋がる世界の実現 ~

2ロボットに必要な機能

~ NTTのAI技術 corevoreg(コレボ)~

3ロボット進化の方向性

~ 人とロボットの共生社会 ~

Copyrightcopy2017 NTT corp All Rights Reserved 38

一人に一台のパーソナルエージェント

スマホ等

Webサービス

Bluetooth Bluetooth携帯電話網

スマホ等

音声通話

音声+視線+動作

音声+視線+動作

Copyrightcopy2017 NTT corp All Rights Reserved 39

パーソナルモビリティ自律走行技術の進展

WHILLNTTドコモ全国初「免許不要」のパーソナルモビリティシェアリングサービスの実証実験を横浜で実施(2015年)

横浜赤レンガ倉庫2号館赤レンガパーク

日本丸メモリアルパーク

出典WHILLプレスリリースhttpswhilljpnews5618

Copyrightcopy2017 NTT corp All Rights Reserved 40

人と移動ロボットの共生社会

さまざまな移動ロボットが人の生活空間を移動する世界では移動ロボットが自律的に安全に移動することに加えて周囲の人や移動ロボットを操作する人が協力して環境へ適応し安全な動作を生成していくということが必要

移動ロボットを使う人も周囲の人も誰もが安心してロボットと共生できるサービスの実現

さまざまなタイプの移動ロボットが普及し人の日常空間に共存する将来

移動ロボットを操作する初心者高齢者が増加しそれに伴う事故も増加 自律移動ロボットも完全に安全にすることはできず人や他の移動ロボッ

トとの衝突が発生

Copyrightcopy2017 NTT corp All Rights Reserved 41

ldquoR-env連舞rdquoInnovation

Hub

多様なロボット活用サービスの普及に向けて

ハードウェアメーカーと連携した

「デバイスハンズオン」rarr個別デバイスの利用者拡大

アプリ開発者サービス事業者と連携した

「ハッカソン」rarrデバイス連携サービスプロトタイプの蓄積

パートナと連携した

「フィールドトライアル」

rarrデバイス連携サービスの有効性検証

パートナNTTグループ連携による

「ビジネス創出」

rarrデバイス連携サービスのビジネス化

Copyrightcopy2017 NTT corp All Rights Reserved 42

最優秀賞チーム雅「箱入り娘と箱贈り親父」父親と娘のコミュニケーションを育むためにロボットが父親の代わりに離れて暮らす娘へ

メッセージを届けてくれるサービス

優秀賞Team avata「R-env2 テレヘルスサービス」遠隔医療にコミュニケーションロボットを活用「お尻が痛い」などデリケートな症状でも医

師に相談することの恥ずかしさの軽減を図るサービス

R-env連舞 ハッカソン

日時場所2016年6月18日~19日FabCafe TokyoMTRL渋谷 テーマ「ロボットldquoならではrdquoのサービスを作ろう」

Copyrightcopy2017 NTT corp All Rights Reserved 43

R-env連舞のホームページ

httpswwwr-envjp

Copyrightcopy2017 NTT corp All Rights Reserved 44

国際ロボット競技会(World Robot Summit)

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

Copyrightcopy2017 NTT corp All Rights Reserved 45

WRSのスケジュール

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

ldquo人の可能性を広げるldquo

諦めなければならなかった事をひとつでも多く実現するインタラクションサービス

様々なパートナと連携して実現していきます

Page 37: NTTにおけるロボティクス技術の展開と展望 · 深層学習型 (ディープニューラルネット) 約4000万パターンの音声を 表現可能 従来型(混合分布)

Copyrightcopy2017 NTT corp All Rights Reserved 37

アジェンダ

1NTTグループのロボティクスへの取り組み

~ 色々なモノが繋がる世界の実現 ~

2ロボットに必要な機能

~ NTTのAI技術 corevoreg(コレボ)~

3ロボット進化の方向性

~ 人とロボットの共生社会 ~

Copyrightcopy2017 NTT corp All Rights Reserved 38

一人に一台のパーソナルエージェント

スマホ等

Webサービス

Bluetooth Bluetooth携帯電話網

スマホ等

音声通話

音声+視線+動作

音声+視線+動作

Copyrightcopy2017 NTT corp All Rights Reserved 39

パーソナルモビリティ自律走行技術の進展

WHILLNTTドコモ全国初「免許不要」のパーソナルモビリティシェアリングサービスの実証実験を横浜で実施(2015年)

横浜赤レンガ倉庫2号館赤レンガパーク

日本丸メモリアルパーク

出典WHILLプレスリリースhttpswhilljpnews5618

Copyrightcopy2017 NTT corp All Rights Reserved 40

人と移動ロボットの共生社会

さまざまな移動ロボットが人の生活空間を移動する世界では移動ロボットが自律的に安全に移動することに加えて周囲の人や移動ロボットを操作する人が協力して環境へ適応し安全な動作を生成していくということが必要

移動ロボットを使う人も周囲の人も誰もが安心してロボットと共生できるサービスの実現

さまざまなタイプの移動ロボットが普及し人の日常空間に共存する将来

移動ロボットを操作する初心者高齢者が増加しそれに伴う事故も増加 自律移動ロボットも完全に安全にすることはできず人や他の移動ロボッ

トとの衝突が発生

Copyrightcopy2017 NTT corp All Rights Reserved 41

ldquoR-env連舞rdquoInnovation

Hub

多様なロボット活用サービスの普及に向けて

ハードウェアメーカーと連携した

「デバイスハンズオン」rarr個別デバイスの利用者拡大

アプリ開発者サービス事業者と連携した

「ハッカソン」rarrデバイス連携サービスプロトタイプの蓄積

パートナと連携した

「フィールドトライアル」

rarrデバイス連携サービスの有効性検証

パートナNTTグループ連携による

「ビジネス創出」

rarrデバイス連携サービスのビジネス化

Copyrightcopy2017 NTT corp All Rights Reserved 42

最優秀賞チーム雅「箱入り娘と箱贈り親父」父親と娘のコミュニケーションを育むためにロボットが父親の代わりに離れて暮らす娘へ

メッセージを届けてくれるサービス

優秀賞Team avata「R-env2 テレヘルスサービス」遠隔医療にコミュニケーションロボットを活用「お尻が痛い」などデリケートな症状でも医

師に相談することの恥ずかしさの軽減を図るサービス

R-env連舞 ハッカソン

日時場所2016年6月18日~19日FabCafe TokyoMTRL渋谷 テーマ「ロボットldquoならではrdquoのサービスを作ろう」

Copyrightcopy2017 NTT corp All Rights Reserved 43

R-env連舞のホームページ

httpswwwr-envjp

Copyrightcopy2017 NTT corp All Rights Reserved 44

国際ロボット競技会(World Robot Summit)

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

Copyrightcopy2017 NTT corp All Rights Reserved 45

WRSのスケジュール

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

ldquo人の可能性を広げるldquo

諦めなければならなかった事をひとつでも多く実現するインタラクションサービス

様々なパートナと連携して実現していきます

Page 38: NTTにおけるロボティクス技術の展開と展望 · 深層学習型 (ディープニューラルネット) 約4000万パターンの音声を 表現可能 従来型(混合分布)

Copyrightcopy2017 NTT corp All Rights Reserved 38

一人に一台のパーソナルエージェント

スマホ等

Webサービス

Bluetooth Bluetooth携帯電話網

スマホ等

音声通話

音声+視線+動作

音声+視線+動作

Copyrightcopy2017 NTT corp All Rights Reserved 39

パーソナルモビリティ自律走行技術の進展

WHILLNTTドコモ全国初「免許不要」のパーソナルモビリティシェアリングサービスの実証実験を横浜で実施(2015年)

横浜赤レンガ倉庫2号館赤レンガパーク

日本丸メモリアルパーク

出典WHILLプレスリリースhttpswhilljpnews5618

Copyrightcopy2017 NTT corp All Rights Reserved 40

人と移動ロボットの共生社会

さまざまな移動ロボットが人の生活空間を移動する世界では移動ロボットが自律的に安全に移動することに加えて周囲の人や移動ロボットを操作する人が協力して環境へ適応し安全な動作を生成していくということが必要

移動ロボットを使う人も周囲の人も誰もが安心してロボットと共生できるサービスの実現

さまざまなタイプの移動ロボットが普及し人の日常空間に共存する将来

移動ロボットを操作する初心者高齢者が増加しそれに伴う事故も増加 自律移動ロボットも完全に安全にすることはできず人や他の移動ロボッ

トとの衝突が発生

Copyrightcopy2017 NTT corp All Rights Reserved 41

ldquoR-env連舞rdquoInnovation

Hub

多様なロボット活用サービスの普及に向けて

ハードウェアメーカーと連携した

「デバイスハンズオン」rarr個別デバイスの利用者拡大

アプリ開発者サービス事業者と連携した

「ハッカソン」rarrデバイス連携サービスプロトタイプの蓄積

パートナと連携した

「フィールドトライアル」

rarrデバイス連携サービスの有効性検証

パートナNTTグループ連携による

「ビジネス創出」

rarrデバイス連携サービスのビジネス化

Copyrightcopy2017 NTT corp All Rights Reserved 42

最優秀賞チーム雅「箱入り娘と箱贈り親父」父親と娘のコミュニケーションを育むためにロボットが父親の代わりに離れて暮らす娘へ

メッセージを届けてくれるサービス

優秀賞Team avata「R-env2 テレヘルスサービス」遠隔医療にコミュニケーションロボットを活用「お尻が痛い」などデリケートな症状でも医

師に相談することの恥ずかしさの軽減を図るサービス

R-env連舞 ハッカソン

日時場所2016年6月18日~19日FabCafe TokyoMTRL渋谷 テーマ「ロボットldquoならではrdquoのサービスを作ろう」

Copyrightcopy2017 NTT corp All Rights Reserved 43

R-env連舞のホームページ

httpswwwr-envjp

Copyrightcopy2017 NTT corp All Rights Reserved 44

国際ロボット競技会(World Robot Summit)

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

Copyrightcopy2017 NTT corp All Rights Reserved 45

WRSのスケジュール

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

ldquo人の可能性を広げるldquo

諦めなければならなかった事をひとつでも多く実現するインタラクションサービス

様々なパートナと連携して実現していきます

Page 39: NTTにおけるロボティクス技術の展開と展望 · 深層学習型 (ディープニューラルネット) 約4000万パターンの音声を 表現可能 従来型(混合分布)

Copyrightcopy2017 NTT corp All Rights Reserved 39

パーソナルモビリティ自律走行技術の進展

WHILLNTTドコモ全国初「免許不要」のパーソナルモビリティシェアリングサービスの実証実験を横浜で実施(2015年)

横浜赤レンガ倉庫2号館赤レンガパーク

日本丸メモリアルパーク

出典WHILLプレスリリースhttpswhilljpnews5618

Copyrightcopy2017 NTT corp All Rights Reserved 40

人と移動ロボットの共生社会

さまざまな移動ロボットが人の生活空間を移動する世界では移動ロボットが自律的に安全に移動することに加えて周囲の人や移動ロボットを操作する人が協力して環境へ適応し安全な動作を生成していくということが必要

移動ロボットを使う人も周囲の人も誰もが安心してロボットと共生できるサービスの実現

さまざまなタイプの移動ロボットが普及し人の日常空間に共存する将来

移動ロボットを操作する初心者高齢者が増加しそれに伴う事故も増加 自律移動ロボットも完全に安全にすることはできず人や他の移動ロボッ

トとの衝突が発生

Copyrightcopy2017 NTT corp All Rights Reserved 41

ldquoR-env連舞rdquoInnovation

Hub

多様なロボット活用サービスの普及に向けて

ハードウェアメーカーと連携した

「デバイスハンズオン」rarr個別デバイスの利用者拡大

アプリ開発者サービス事業者と連携した

「ハッカソン」rarrデバイス連携サービスプロトタイプの蓄積

パートナと連携した

「フィールドトライアル」

rarrデバイス連携サービスの有効性検証

パートナNTTグループ連携による

「ビジネス創出」

rarrデバイス連携サービスのビジネス化

Copyrightcopy2017 NTT corp All Rights Reserved 42

最優秀賞チーム雅「箱入り娘と箱贈り親父」父親と娘のコミュニケーションを育むためにロボットが父親の代わりに離れて暮らす娘へ

メッセージを届けてくれるサービス

優秀賞Team avata「R-env2 テレヘルスサービス」遠隔医療にコミュニケーションロボットを活用「お尻が痛い」などデリケートな症状でも医

師に相談することの恥ずかしさの軽減を図るサービス

R-env連舞 ハッカソン

日時場所2016年6月18日~19日FabCafe TokyoMTRL渋谷 テーマ「ロボットldquoならではrdquoのサービスを作ろう」

Copyrightcopy2017 NTT corp All Rights Reserved 43

R-env連舞のホームページ

httpswwwr-envjp

Copyrightcopy2017 NTT corp All Rights Reserved 44

国際ロボット競技会(World Robot Summit)

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

Copyrightcopy2017 NTT corp All Rights Reserved 45

WRSのスケジュール

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

ldquo人の可能性を広げるldquo

諦めなければならなかった事をひとつでも多く実現するインタラクションサービス

様々なパートナと連携して実現していきます

Page 40: NTTにおけるロボティクス技術の展開と展望 · 深層学習型 (ディープニューラルネット) 約4000万パターンの音声を 表現可能 従来型(混合分布)

Copyrightcopy2017 NTT corp All Rights Reserved 40

人と移動ロボットの共生社会

さまざまな移動ロボットが人の生活空間を移動する世界では移動ロボットが自律的に安全に移動することに加えて周囲の人や移動ロボットを操作する人が協力して環境へ適応し安全な動作を生成していくということが必要

移動ロボットを使う人も周囲の人も誰もが安心してロボットと共生できるサービスの実現

さまざまなタイプの移動ロボットが普及し人の日常空間に共存する将来

移動ロボットを操作する初心者高齢者が増加しそれに伴う事故も増加 自律移動ロボットも完全に安全にすることはできず人や他の移動ロボッ

トとの衝突が発生

Copyrightcopy2017 NTT corp All Rights Reserved 41

ldquoR-env連舞rdquoInnovation

Hub

多様なロボット活用サービスの普及に向けて

ハードウェアメーカーと連携した

「デバイスハンズオン」rarr個別デバイスの利用者拡大

アプリ開発者サービス事業者と連携した

「ハッカソン」rarrデバイス連携サービスプロトタイプの蓄積

パートナと連携した

「フィールドトライアル」

rarrデバイス連携サービスの有効性検証

パートナNTTグループ連携による

「ビジネス創出」

rarrデバイス連携サービスのビジネス化

Copyrightcopy2017 NTT corp All Rights Reserved 42

最優秀賞チーム雅「箱入り娘と箱贈り親父」父親と娘のコミュニケーションを育むためにロボットが父親の代わりに離れて暮らす娘へ

メッセージを届けてくれるサービス

優秀賞Team avata「R-env2 テレヘルスサービス」遠隔医療にコミュニケーションロボットを活用「お尻が痛い」などデリケートな症状でも医

師に相談することの恥ずかしさの軽減を図るサービス

R-env連舞 ハッカソン

日時場所2016年6月18日~19日FabCafe TokyoMTRL渋谷 テーマ「ロボットldquoならではrdquoのサービスを作ろう」

Copyrightcopy2017 NTT corp All Rights Reserved 43

R-env連舞のホームページ

httpswwwr-envjp

Copyrightcopy2017 NTT corp All Rights Reserved 44

国際ロボット競技会(World Robot Summit)

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

Copyrightcopy2017 NTT corp All Rights Reserved 45

WRSのスケジュール

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

ldquo人の可能性を広げるldquo

諦めなければならなかった事をひとつでも多く実現するインタラクションサービス

様々なパートナと連携して実現していきます

Page 41: NTTにおけるロボティクス技術の展開と展望 · 深層学習型 (ディープニューラルネット) 約4000万パターンの音声を 表現可能 従来型(混合分布)

Copyrightcopy2017 NTT corp All Rights Reserved 41

ldquoR-env連舞rdquoInnovation

Hub

多様なロボット活用サービスの普及に向けて

ハードウェアメーカーと連携した

「デバイスハンズオン」rarr個別デバイスの利用者拡大

アプリ開発者サービス事業者と連携した

「ハッカソン」rarrデバイス連携サービスプロトタイプの蓄積

パートナと連携した

「フィールドトライアル」

rarrデバイス連携サービスの有効性検証

パートナNTTグループ連携による

「ビジネス創出」

rarrデバイス連携サービスのビジネス化

Copyrightcopy2017 NTT corp All Rights Reserved 42

最優秀賞チーム雅「箱入り娘と箱贈り親父」父親と娘のコミュニケーションを育むためにロボットが父親の代わりに離れて暮らす娘へ

メッセージを届けてくれるサービス

優秀賞Team avata「R-env2 テレヘルスサービス」遠隔医療にコミュニケーションロボットを活用「お尻が痛い」などデリケートな症状でも医

師に相談することの恥ずかしさの軽減を図るサービス

R-env連舞 ハッカソン

日時場所2016年6月18日~19日FabCafe TokyoMTRL渋谷 テーマ「ロボットldquoならではrdquoのサービスを作ろう」

Copyrightcopy2017 NTT corp All Rights Reserved 43

R-env連舞のホームページ

httpswwwr-envjp

Copyrightcopy2017 NTT corp All Rights Reserved 44

国際ロボット競技会(World Robot Summit)

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

Copyrightcopy2017 NTT corp All Rights Reserved 45

WRSのスケジュール

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

ldquo人の可能性を広げるldquo

諦めなければならなかった事をひとつでも多く実現するインタラクションサービス

様々なパートナと連携して実現していきます

Page 42: NTTにおけるロボティクス技術の展開と展望 · 深層学習型 (ディープニューラルネット) 約4000万パターンの音声を 表現可能 従来型(混合分布)

Copyrightcopy2017 NTT corp All Rights Reserved 42

最優秀賞チーム雅「箱入り娘と箱贈り親父」父親と娘のコミュニケーションを育むためにロボットが父親の代わりに離れて暮らす娘へ

メッセージを届けてくれるサービス

優秀賞Team avata「R-env2 テレヘルスサービス」遠隔医療にコミュニケーションロボットを活用「お尻が痛い」などデリケートな症状でも医

師に相談することの恥ずかしさの軽減を図るサービス

R-env連舞 ハッカソン

日時場所2016年6月18日~19日FabCafe TokyoMTRL渋谷 テーマ「ロボットldquoならではrdquoのサービスを作ろう」

Copyrightcopy2017 NTT corp All Rights Reserved 43

R-env連舞のホームページ

httpswwwr-envjp

Copyrightcopy2017 NTT corp All Rights Reserved 44

国際ロボット競技会(World Robot Summit)

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

Copyrightcopy2017 NTT corp All Rights Reserved 45

WRSのスケジュール

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

ldquo人の可能性を広げるldquo

諦めなければならなかった事をひとつでも多く実現するインタラクションサービス

様々なパートナと連携して実現していきます

Page 43: NTTにおけるロボティクス技術の展開と展望 · 深層学習型 (ディープニューラルネット) 約4000万パターンの音声を 表現可能 従来型(混合分布)

Copyrightcopy2017 NTT corp All Rights Reserved 43

R-env連舞のホームページ

httpswwwr-envjp

Copyrightcopy2017 NTT corp All Rights Reserved 44

国際ロボット競技会(World Robot Summit)

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

Copyrightcopy2017 NTT corp All Rights Reserved 45

WRSのスケジュール

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

ldquo人の可能性を広げるldquo

諦めなければならなかった事をひとつでも多く実現するインタラクションサービス

様々なパートナと連携して実現していきます

Page 44: NTTにおけるロボティクス技術の展開と展望 · 深層学習型 (ディープニューラルネット) 約4000万パターンの音声を 表現可能 従来型(混合分布)

Copyrightcopy2017 NTT corp All Rights Reserved 44

国際ロボット競技会(World Robot Summit)

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

Copyrightcopy2017 NTT corp All Rights Reserved 45

WRSのスケジュール

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

ldquo人の可能性を広げるldquo

諦めなければならなかった事をひとつでも多く実現するインタラクションサービス

様々なパートナと連携して実現していきます

Page 45: NTTにおけるロボティクス技術の展開と展望 · 深層学習型 (ディープニューラルネット) 約4000万パターンの音声を 表現可能 従来型(混合分布)

Copyrightcopy2017 NTT corp All Rights Reserved 45

WRSのスケジュール

出典経済産業省国立研究開発法人新エネルギー産業技術総合開発機構httpwwwmetigojppress2016122016120200120161202001-1pdf

ldquo人の可能性を広げるldquo

諦めなければならなかった事をひとつでも多く実現するインタラクションサービス

様々なパートナと連携して実現していきます

Page 46: NTTにおけるロボティクス技術の展開と展望 · 深層学習型 (ディープニューラルネット) 約4000万パターンの音声を 表現可能 従来型(混合分布)

ldquo人の可能性を広げるldquo

諦めなければならなかった事をひとつでも多く実現するインタラクションサービス

様々なパートナと連携して実現していきます