ガジェットやサービスを組み合わせて出来る生活の紹介とその考察 -...

ガジェットやサービスを組み合わせて 　

出来る生活の紹介とその考察 hheeccoommii

野生のおうちハック

はじめに

はじめに • 「野生のおうちハック」セッションということで、今現在、

• どういったものを

• どのようにつなげて

• どういうことが出来るか

• といった事例・そして暮らしてみての考察をご紹介します

自己紹介

LLIITTTTAAII (テーブルトップレゴシューティング） MMoonntt BBllaanncc PPjj..（レゴプロジェクションゲーム） http://tips.hecomi.com/entry/2014/09/10/003900 http://tips.hecomi.com/entry/2015/08/06/003049

@@ hheeccoommii

MMaaggiicc VVRR（VR 空間で指で魔法を描いて発射） http://tips.hecomi.com/entry/2014/12/19/235052

自己紹介 • ガジェットを組み合わせた部屋を作っています

凹みTips : http://tips.hecomi.com/

今どんなことが出来るのか？

使えるツールはたくさん

サービス

ネットワーク非対応機器 （リモコン操作機器）

電子工作

スマホアプリ / ウェアラブル機器

既存ソフトウェア / コーディング

スマートガジェット

つなげる方法もたくさん

サービス

ネットワーク非対応機器 （リモコン操作機器）

電子工作

スマホアプリ / ウェアラブル機器

既存ソフトウェア / コーディング

スマートガジェット

iRemocon

Netatmo Weather

hue WeMo Switch WeMo Motion

Netatmo Welcome Qrio Smart Lock Hue Withings

Blink1 IRKit WeMo Motion

ネットにつながったりスマホと連動するガジェット

iRemocon

Netatmo Weather

hue WeMo Switch WeMo Motion

Netatmo Welcome Qrio Smart Lock Hue Withings

Blink1 IRKit WeMo Motion

ネットにつながったりスマホと連動するガジェット

アプリ

アプリ

アプリ アプリ

アプリ アプリ アプリ アプリ アプリ

API

SDK/API

Hack SDK

API WEB API

WEB WEB

API

Hack

アプリ

iRemocon

Netatmo Weather

hue WeMo Switch WeMo Motion

Netatmo Welcome Qrio Smart Lock Hue Withings

Blink1 IRKit WeMo Motion

ネットにつながったりスマホと連動するガジェット

アプリ

アプリ

アプリ アプリ

アプリ アプリ アプリ アプリ アプリ

API

SDK/API

Hack SDK

API WEB API

WEB WEB

API

Hack

アプリ

IFTTT 様々なサービス、サービスとものをつなげるサービス

ガジェット同士の組み合わせ

例： WeMo 動体検知 à Hue 操作

プログラム： API 作成

API のルーティング

IR 信号の ID 割り振り

コードで制御するイベント

自然言語対応付け

組み合わせ API

OpenJTalk

Device API

WeMo 動き検知 / コンセント制御 Netatmo

気温/湿度/気圧/騒音/CO2

Hue 照明ON/OFF/色制御

iRemocon 学習リモコン

位置情報など

メールチェック タイトルで コマンド送信

コマンド マップ

＋

赤外線タップ + モニタ

タイマやサービス、天気、ガジェットトリガ

プロジェクタ Apple TV

HDMI 切替器

エアコン 照明

PS3 + 赤外線コントローラ

＋

Pebble 簡易コマンド送信

登録イベント

Twitter

音声認識

音声合成による返答

出先からのコマンド実行

文法生成

IR

SSDP / SOAP HTTP HTTP

TCP/IP

サービス連携

スマートガジェット

コントローラ

ネットワーク操作 非対応機器

WEB インターフェース

自然言語 API

unite source から起動

IFTTT のトリガや アクションを利用

うちの例の一部の図

https://github.com/hecomi/tsubakumi2

スマホ 連携

電子工作 センサ・ スイッチ

HTTP

IMAP

シリアル通信

メール

自然言語に対応付け

Twitter から操作

Google カレンダー連携

赤外線リモコン操作

例： 音声認識でプロジェクタ + torne 起動

Pebble から操作

Tasker、WiFi、NFC Tasker + WiFi / NFC

スマホで取れるイベントはほぼ全て出来る

マクロスイッチ

考察

片っ端からつなげた結果... • 果たして幸せになったのか？

片っ端からつなげた結果... • 果たして幸せになったのか？

ならなかった

片っ端からつなげた結果... • 果たして幸せになったのか？

ならなかった 単につなげただけだと。

「帰ってきたら電気をつける」

帰ってきたら 電気をつける

「帰ってきたら電気をつける」

帰ってきたら 電気をつける

どう作りますか？

「帰ってきたら電気をつける」をつくる

帰ってきたら 電気をつける

iBeacon で検知、アプリを書く

WiFi x Tasker で検知

WeMo Motion で検知

ドア開閉センサを自作

スマホの位置情報

ドアに NFC シールを貼ってタッチ

学習リモコンで ON

電気を全部 Hue にして API で ON

赤外線センサを設置

IFTTT

プログラム書く

各ガジェットアプリ WeMo Switch で電気を ON

「帰ってきたら電気をつける」をつくる

帰ってきたら 電気をつける

iBeacon で検知、アプリを書く

WiFi x Tasker で検知

WeMo Motion で検知

ドア開閉センサを自作

スマホの位置情報

ドアに NFC シールを貼ってタッチ

学習リモコンで ON

電気を全部 Hue にして API で ON

赤外線センサを設置

IFTTT

プログラム書く

各ガジェットアプリ WeMo Switch で電気を ON

センサが反応しなかった…

家の中にいるのに帰ってきたことになった…

Hue の電源がスイッチでオフになってた….

WeMo の IP/Port が変わってた…

前に障害物があった…

遠くの動きに反応した….

タッチ面倒くさい…

アプリのメンテきつい…

回路ミスっててセンサの電池切れた…

「帰ってきたら電気をつける」をつくる

帰ってきたら 電気をつける

iBeacon で検知、アプリを書く

WiFi x Tasker で検知

WeMo Motion で検知

ドア開閉センサを自作

スマホの位置情報

ドアに NFC シールを貼ってタッチ

学習リモコンで ON

電気を全部 Hue にして API で ON

赤外線センサを設置

IFTTT

プログラム書く

各ガジェットアプリ WeMo Switch で電気を ON

センサが反応しなかった…

Hue の電源がスイッチでオフになってた….

WeMo の IP/Port が変わってた…

前に障害物があった…

遠くの動きに反応した….

タッチ面倒くさい…

アプリのメンテきつい…

回路ミスっててセンサの電池切れた…

普段の生活にまで予期しないバグが混入！

家の中にいるのに帰ってきたことになった…

反応が遅い..

問題点

問題点

à 100 % で発動しない à スイッチなら 100 %

問題点

à 100 % で発動しない à スイッチなら 100 %

à たまに誤発する à テレビを見てる時に勝手に消えるとか

問題点

à 100 % で発動しない à スイッチなら 100 %

à たまに誤発する à テレビを見てる時に勝手に消えるとか

à 動作が遅い à スイッチ押せばすぐつくのに認識や通信の遅延がつらい

問題点

à 100 % で発動しない à スイッチなら 100 %

à たまに誤発する à テレビを見てる時に勝手に消えるとか

à 動作が遅い à スイッチ押せばすぐつくのに認識や通信の遅延がつらい

その他、 •  メンテが面倒（コードだけでなくルールにもバグが入る） •  やりたいことに対して費用が高い等 •  家族や来客がいる場合の判定をどうするか

その他、 •  メンテが面倒（コードだけでなくルールにもバグが入る） •  やりたいことに対して費用が高い等 •  家族や来客がいる場合の判定をどうするか

問題点

à 100 % で発動しない à スイッチなら 100 %

à たまに誤発する à テレビを見てる時に勝手に消えるとか

à 動作が遅い à スイッチ押せばすぐつくのに認識や通信の遅延がつらい

つなぐだけは簡単。でもそれだけでは生活に溶け込まない。

見直す • どうしたら良いか考えた

自動ではなく提案ベースの操作

Pebble x Tasker の例 ちょっとしたトリガを大量に追加しても便利

見直す • 能動的に選択できる UI に変更 • 「今使いたいであろう機能」を提案する方式

見直す • 能動的に選択できる UI に変更 • 「今使いたいであろう機能」を提案する方式

• 複数の選択肢を用意 • 外した場合でも近い機能を提案したり機能一覧を表示

見直す • 能動的に選択できる UI に変更 • 「今使いたいであろう機能」を提案する方式

• 複数の選択肢を用意 • 外した場合でも近い機能を提案したり機能一覧を表示

• ロバストで誤発が気にならないルールは自動のまま • 廊下を歩いたら電気がつくとかトイレの電気を自動で消すとか

生活してみて • 自動をやめたら劇的に改善した • 誤発にしても気にならない、他の選択肢を選べる

生活してみて • 自動をやめたら劇的に改善した • 誤発にしても気にならない、他の選択肢を選べる

• 今したい操作が提案されているのは良い • 提案や操作の種類は増やしても気にならない、むしろ便利

生活してみて • 自動をやめたら劇的に改善した • 誤発にしても気にならない、他の選択肢を選べる

• 今したい操作が提案されているのは良い • 提案や操作の種類は増やしても気にならない、むしろ便利

• 時計をつけてないと駄目なのが✗ • 同じ形式でコントローラの数や配置場所を増やしたい

UI の改善案

2014/12/23  20:05

解錠

電気ON 帰宅

2014/12/23  08:30

施錠

電気OFF 出社 エアコン OFF

2014/12/23  20:06

温度 低下

エアコン温度

2 3 度

2014/12/23  01:45

2014/12/22  08:00

降水確率 80%

雨

2014/12/22  07:50

平日 起床

2014/12/22  12:22

玄関 動き

2014/12/22  01:45

写真

MESSAGE:

電気ON

テレビON

カーテン開

オート

温度が選択できたり…

複数のコマンドが オプションで操作可能

センサがあれば実行済のものを提示する

情報のみの通知

オートで実行するものも通知が来て誤発の場合はすぐ設定し直し

おわりに

おわりに • つないだ先の体験の探求フェーズに来ている • 様々なサービスやガジェットのおかげで簡単になった

• 「提案型にする」以外にも色々な答えがあるはず • センサ群の組み合わせでよりロバストな高次の情報を提供するとか

• 是非みなさんも色々実験して知見を共有して下さい！ • 成功事例だけでなく失敗事例も重要です