Bluemix 雲端機器人 超級鋼蛋 watson

BlueMix 平台 - 超級鋼蛋

Norman Kungnormank@tw.ibm.com

Bluemix 超級鋼蛋 - 材料清單• RPI2 一塊• ARDUINO 套件 (Grove PI + 會使用到的感測器 )• USB 外接音效卡• 喇叭• RAPIRO 一隻• RAPIRO 電池• 麥克風• RPI 專用相機• 8*8LED 板 ( 機器人眼睛 )

目錄• 材料清單• 超級鋼蛋架構介紹• Rapiro 介紹• RPI 大腦介紹• Grove PI 介紹• LED 介紹• BlueMix 介紹

身體控制 :Arduino

大腦控制 :RPi

Bluemix 超級鋼蛋簡介

主控台

使用服務：1 、 Watson : 中文語音辨識、影像辨識、分析、語意分析2 、 Cloudant DB 、 IOT 、 NodeRed、 dashDB 、 R

腦神經

Bluemix 超級鋼蛋–系統架構RAPIRO 開發

• 開發語言： Node.JS,Python,HTML5,C

• 開發平台： Bluemix DevOps, Node-

Red,Orion,Arduino IDE

• 開發應用：Web 應用 – Node-Red 手機應用 - Mobile First語音應用 - Node-RED藍牙應用 - PythonBeacon 應用 – Presence

Insight

• 開發架構： 小腦： Raspberry Pi RAM:512MB-16GB SD

Card 大腦： IBM Bluemix 外觀： 3D 列印

(KickStarter) 身體： Arduino 控制板 12 顆伺服馬達

(KickStarter)

思考流程：中文語音辨識 -Watson邏輯判斷 -Node-Red, IOT Foundation中 / 英文語音回應 -Google/Watson語意分析 – Watson Sentiment身體行動 – Node.JS+Python

身體行動 (Arduino) ：雙手可緊握手臂可揮舞雙腳可走路

視覺 / 表情 (Camera) ：影像串流 -Node.JS影像識別 – Watson Tag人臉辨識 – Watson Face氣象播報 - Watson Weather

眼睛表情 (LED Matrix) -Python數據存儲 – Cloudant數據分析 – DashDB / R Script

高感度麥克風外接喇叭藍芽模組

序列埠溝通Beacon 裝置室內定位

BLUEMIX/Watson

RPI2/Arduino

感測器資訊 資訊處理

動作指令動作體現

Bluemix 超級鋼蛋–運作流程

Bluemix 超級鋼蛋 -Rapiro

功能 : 大腦載具、動作體現平台馬達關節 :12 個自由度開發語言平台 :Arduino IDE安裝教學 :http://www.rapiro.com/assembly-manual

Bluemix 超級鋼蛋 - 大腦 RPI

功能 : 本地端大腦，獲取感測器資訊傳送至 BLUEMIX使用語言 :node.js製作前準備 :1. 安裝好 USB 音效卡並且可以使用音效卡撥放音樂以及錄音2. 安裝 Node.js3. 安裝好無線網卡並且可以用無線上網4. 安裝好 RPI 專用相機並可以使用相機拍照

Bluemix 超級鋼蛋 -Grove PI+ 感測器

功能 : 使 RPI 可以獲取 Aduino 的感測器資訊使用語言 :node.js製作前準備 :1. 將相對應的感測器連接至 Grove pi 上2. 使用 GPIO 與 RPI 連接3. 安裝 $ npm install node-grovepi

Bluemix 超級鋼蛋 -Grove PI+ 感測器 ( 範例 )

Bluemix 超級鋼蛋 - 靈魂之窗 LED 眼睛

功能 : 透過 waston 語意服務，體現機器人表情語言 :python事前準備 :1. 將兩個 LED 燈板裝置在 GROVE PI 的 GPIO 接腳上2. 下載 python 程式檔

Bluemix 超級鋼蛋 -BlueMix

功能 : 將感測器資訊轉換成機器人指令事前準備 :1. 申請 bluemix 帳號2. 申請 iot 服務3. 申請 watson stt 服務4. 申請 watson tts 服務

申請 BLUEMIX 帳號• 前往 BLUEMIX 官網申請帳號

13

創建一個自己的應用程式

14

選擇 iot 應用程式

15

為應用程式新增服務

16

新增 iot 服務

17

新增裝置

18

請保留這張資訊

19

於 RPI 安裝 node.js

20

連結至 BlueMix node-red

21

前往 node-red

22

執行程式碼就可以看到資訊，代表連結成功

23

丟資訊至雲端 iot_client.publish('iot-2/evt/status/fmt/json', '{"d":{"status": "connected" }}');

24

DEIVCE

status

{"d":{"s

tatus":

"connect

ed" }}')

Node red

從雲端接收資料下來•    iot_client.on("message", function(topic,payload){

    console.log('received topic:'+topic+', payload:'+payload);});

25

speak

Node-red devicemotion

topic=speak

topic=motion

使用 waston STT 服務• 申請 STT 服務

於 RPI 上安裝 npm watson-developer-cloud( 範例 )

使用 Watson TTS 服務• 申請 TTS 服務

於 RPI上進行呼叫 (範例 )

影像辨識功能• 申請 AlchemyAPI 服務

• 呼叫影像辨識 (範例 )

語句情緒分析• 申請 AlchemyAPI服務

使用 node red 呼叫

• 結果

Reference URL

• DEMO 影片• https://drive.google.com/folderview?id=0B0nE6JAZk5nwSnBldElUbHdKWEU&usp=sharing• https://www.youtube.com/watch?v=d-NaiyUMtWg

• 詳細教學 BLOGGER• http://as93717913.pixnet.net/blog/post/57273927-bluemix%20%E8%B6%85%E7%B4%9A%E

9%8B%BC%E8%9B%8B!%20%E4%BB%8B%E7%B4%B9%E7%AF%87

• BLUEMIX網站• https://console.ng.bluemix.net/docs/overview/index.html

• SOURCE code • https://github.com/tommywu052/bluemixRobot