34
BlueMix 平平 - 平平平平 Norman Kung [email protected]

Bluemix 雲端機器人 超級鋼蛋 watson

  • Upload
    -

  • View
    681

  • Download
    4

Embed Size (px)

Citation preview

Page 1: Bluemix 雲端機器人 超級鋼蛋 watson

BlueMix 平台 - 超級鋼蛋

Norman [email protected]

Page 2: Bluemix 雲端機器人 超級鋼蛋 watson

Bluemix 超級鋼蛋 - 材料清單• RPI2 一塊• ARDUINO 套件 (Grove PI + 會使用到的感測器 )• USB 外接音效卡• 喇叭• RAPIRO 一隻• RAPIRO 電池• 麥克風• RPI 專用相機• 8*8LED 板 ( 機器人眼睛 )

Page 3: Bluemix 雲端機器人 超級鋼蛋 watson

目錄• 材料清單• 超級鋼蛋架構介紹• Rapiro 介紹• RPI 大腦介紹• Grove PI 介紹• LED 介紹• BlueMix 介紹

Page 4: Bluemix 雲端機器人 超級鋼蛋 watson

身體控制 :Arduino

大腦控制 :RPi

Bluemix 超級鋼蛋簡介

主控台

使用服務:1 、 Watson : 中文語音辨識、影像辨識、分析、語意分析2 、 Cloudant DB 、 IOT 、 NodeRed、 dashDB 、 R

腦神經

Page 5: Bluemix 雲端機器人 超級鋼蛋 watson

Bluemix 超級鋼蛋–系統架構RAPIRO 開發

• 開發語言: Node.JS,Python,HTML5,C

• 開發平台: Bluemix DevOps, Node-

Red,Orion,Arduino IDE

• 開發應用:Web 應用 – Node-Red 手機應用 - Mobile First語音應用 - Node-RED藍牙應用 - PythonBeacon 應用 – Presence

Insight

• 開發架構: 小腦: Raspberry Pi RAM:512MB-16GB SD

Card 大腦: IBM Bluemix 外觀: 3D 列印

(KickStarter) 身體: Arduino 控制板 12 顆伺服馬達

(KickStarter)

思考流程:中文語音辨識 -Watson邏輯判斷 -Node-Red, IOT Foundation中 / 英文語音回應 -Google/Watson語意分析 – Watson Sentiment身體行動 – Node.JS+Python

身體行動 (Arduino) :雙手可緊握手臂可揮舞雙腳可走路

視覺 / 表情 (Camera) :影像串流 -Node.JS影像識別 – Watson Tag人臉辨識 – Watson Face氣象播報 - Watson Weather

眼睛表情 (LED Matrix) -Python數據存儲 – Cloudant數據分析 – DashDB / R Script

高感度麥克風外接喇叭藍芽模組

序列埠溝通Beacon 裝置室內定位

Page 6: Bluemix 雲端機器人 超級鋼蛋 watson

BLUEMIX/Watson

RPI2/Arduino

感測器資訊 資訊處理

動作指令動作體現

Bluemix 超級鋼蛋–運作流程

Page 7: Bluemix 雲端機器人 超級鋼蛋 watson

Bluemix 超級鋼蛋 -Rapiro

功能 : 大腦載具、動作體現平台馬達關節 :12 個自由度開發語言平台 :Arduino IDE安裝教學 :http://www.rapiro.com/assembly-manual

Page 8: Bluemix 雲端機器人 超級鋼蛋 watson

Bluemix 超級鋼蛋 - 大腦 RPI

功能 : 本地端大腦,獲取感測器資訊傳送至 BLUEMIX使用語言 :node.js製作前準備 :1. 安裝好 USB 音效卡並且可以使用音效卡撥放音樂以及錄音2. 安裝 Node.js3. 安裝好無線網卡並且可以用無線上網4. 安裝好 RPI 專用相機並可以使用相機拍照

Page 9: Bluemix 雲端機器人 超級鋼蛋 watson

Bluemix 超級鋼蛋 -Grove PI+ 感測器

功能 : 使 RPI 可以獲取 Aduino 的感測器資訊使用語言 :node.js製作前準備 :1. 將相對應的感測器連接至 Grove pi 上2. 使用 GPIO 與 RPI 連接3. 安裝 $ npm install node-grovepi

Page 10: Bluemix 雲端機器人 超級鋼蛋 watson

Bluemix 超級鋼蛋 -Grove PI+ 感測器 ( 範例 )

Page 11: Bluemix 雲端機器人 超級鋼蛋 watson

Bluemix 超級鋼蛋 - 靈魂之窗 LED 眼睛

功能 : 透過 waston 語意服務,體現機器人表情語言 :python事前準備 :1. 將兩個 LED 燈板裝置在 GROVE PI 的 GPIO 接腳上2. 下載 python 程式檔

Page 12: Bluemix 雲端機器人 超級鋼蛋 watson

Bluemix 超級鋼蛋 -BlueMix

功能 : 將感測器資訊轉換成機器人指令事前準備 :1. 申請 bluemix 帳號2. 申請 iot 服務3. 申請 watson stt 服務4. 申請 watson tts 服務

Page 13: Bluemix 雲端機器人 超級鋼蛋 watson

申請 BLUEMIX 帳號• 前往 BLUEMIX 官網申請帳號

13

Page 14: Bluemix 雲端機器人 超級鋼蛋 watson

創建一個自己的應用程式

14

Page 15: Bluemix 雲端機器人 超級鋼蛋 watson

選擇 iot 應用程式

15

Page 16: Bluemix 雲端機器人 超級鋼蛋 watson

為應用程式新增服務

16

Page 17: Bluemix 雲端機器人 超級鋼蛋 watson

新增 iot 服務

17

Page 18: Bluemix 雲端機器人 超級鋼蛋 watson

新增裝置

18

Page 19: Bluemix 雲端機器人 超級鋼蛋 watson

請保留這張資訊

19

Page 20: Bluemix 雲端機器人 超級鋼蛋 watson

於 RPI 安裝 node.js

20

Page 21: Bluemix 雲端機器人 超級鋼蛋 watson

連結至 BlueMix node-red

21

Page 22: Bluemix 雲端機器人 超級鋼蛋 watson

前往 node-red

22

Page 23: Bluemix 雲端機器人 超級鋼蛋 watson

執行程式碼就可以看到資訊,代表連結成功

23

Page 24: Bluemix 雲端機器人 超級鋼蛋 watson

丟資訊至雲端 iot_client.publish('iot-2/evt/status/fmt/json', '{"d":{"status": "connected" }}');

24

DEIVCE

status

{"d":{"s

tatus":

"connect

ed" }}')

Node red

Page 25: Bluemix 雲端機器人 超級鋼蛋 watson

從雲端接收資料下來•    iot_client.on("message", function(topic,payload){

    console.log('received topic:'+topic+', payload:'+payload);});

25

speak

Node-red devicemotion

topic=speak

topic=motion

Page 26: Bluemix 雲端機器人 超級鋼蛋 watson

使用 waston STT 服務• 申請 STT 服務

Page 27: Bluemix 雲端機器人 超級鋼蛋 watson

於 RPI 上安裝 npm watson-developer-cloud( 範例 )

Page 28: Bluemix 雲端機器人 超級鋼蛋 watson

使用 Watson TTS 服務• 申請 TTS 服務

Page 29: Bluemix 雲端機器人 超級鋼蛋 watson

於 RPI上進行呼叫 (範例 )

Page 30: Bluemix 雲端機器人 超級鋼蛋 watson

影像辨識功能• 申請 AlchemyAPI 服務

Page 31: Bluemix 雲端機器人 超級鋼蛋 watson

• 呼叫影像辨識 (範例 )

Page 32: Bluemix 雲端機器人 超級鋼蛋 watson

語句情緒分析• 申請 AlchemyAPI服務

Page 33: Bluemix 雲端機器人 超級鋼蛋 watson

使用 node red 呼叫

• 結果