AWSにおけるIoT/Bigdataソリューションについて

AmazonWebServicesJapanTakashiKoyanagawa

⾃⼰紹介

v名前v ⼩梁川 貴史（こやながわ たかし)

v所属v 技術統括本部 IoT Solution Design Teamv ソリューション アーキテクト

v前職v 電機メーカー⾃社サービスの開発・運⽤

元AWSユーザv好きなAWSサービス

v AWS IoTv AWS Lambda(python)v Amazon Kinesis

AWS と Intel様

https://aws.amazon.com/jp/intel/

IoT CompetencyAWS コンピテンシープログラムは、習熟した技術を持ち、専⾨的なソリューションエリアでお客様を成功させられることを実証した APN パートナーであることを⽰すために設計されています。AWS コンピテンシーの取得は、パートナーが特定のソリューション分野の専⾨知識を持っている証明となり、お客様に他社との違いを⽰すことができます。

https://aws.amazon.com/jp/iot/partner-solutions/

AmazonのIoT イノベーションについてご紹介

Amazon Robotics

Amazon Dash button

Amazon PrimeAir

Amazon Echo

Amazonのノベーションhttps://www.youtube.com/watch?v=FQn6aFQwBQU

IoT を構成する３要素

誰もがすぐに調達可能でアイデアと実⾏能⼒があれば市場参⼊が容易イノベーションにより市場に破壊が起きる

センシングデバイス ネットワークコネクティビティ 処理・分析を実⾏するサーバー

収集 分析 活⽤

• 環境データ（温湿度など）• 位置情報• ⾞載データ• 装置データ• 機器ログ• 機器ステータス• ⽣体データ• 監視動画・画像

• 機器稼働実績• 機器交換予測• 異常検知• ハザードマップ• 運送計画• ドライバ運転実績

• 歩留まり管理• 在庫管理• 資産管理• 配送管理• 社員教育

データの活⽤例から考えるまずは、データを上げるトライアルから始める

検討の流れ

AWS における IoT Solutionのご紹介

製造メンテナンス/異常検知

モニタリング

交通⾞両センサー

ドライバーの安全

エネルギースマートメータ

メンテナンス/異常検知

リテール動線把握

O2O

家電スマート家電

オートメーション

ヘルスケア医療機器管理

遠隔医療

農業モニタリング

遠隔制御

さまざまなIoTユースケース

IoTの代表的な要件

üモニタリング位置情報管理・状態監視・実績把握・動線把握

ü予防予知保全異常検知・故障予測

üデータ連携/モバイル保守作業・スマートデバイス・企業連携・オープンデータ

ü遠隔制御機器運⽤・ファームアップ

IoTプラットフォーム

データ収集

データ保存

データ処理・分析

活⽤

デバイス制御 デバイス管理

アラート

業務⽀援システム

Report/Dashboard(故障予知・予測)

デバイス管理

データ収集・分析

リモート制御

⼀社でセンサー/Gateway(Edge)/Cloud-PF/可視化/データ分析をやるのが困難な時代。エコシステムの構築が重要

AWS IoT Solution

アラート

業務⽀援システム

Report/Dashboard(故障予知・予測)

デバイス管理

デバイス制御

データ収集 データ処理・分析

データ保存

デバイス管理

データ活⽤

IoT

IoT

S3

Kinesis

IoT

S3 RDS DynamoDBElasticache

Redshift

EMR Machine Learning QuickSight

ElasticSearch

KinesisAnalytics

API GWLambda

SNS

AWS IoT Solution

Lambdaエッジ

Greengrass

AI関連

Athena

AWSのサービス-マネージド・サービスのメリット-

オンプレミス、EC2+ミドルウェア 、マネージドサービスの⽐較

電源、ネットワークラック導⼊管理

サーバメンテナンス

OSのパッチ

ミドルウェアのパッチバックアップ

スケーラビリティ可⽤性

ミドルウェアの導⼊

OSの導⼊

アプリからの利⽤

オンプレミス ミドルウェアon EC2 AWS IoT, RDS等マネージドサービス

お客様がご担当する作業 AWSが提供するマネージド機能

電源、ネットワークラック導⼊管理

サーバメンテナンス

OSのパッチ

ミドルウェアのパッチバックアップ

スケーラビリティ可⽤性

ミドルウェアの導⼊

OSの導⼊

アプリからの利⽤

電源、ネットワークラック導⼊管理

サーバメンテナンス

OSのパッチ

ミドルウェアのパッチバックアップ

スケーラビリティ可⽤性

ミドルウェアの導⼊

OSの導⼊

アプリからの利⽤

AWS IoT 全体構成

デバイス SDK デバイスゲートウェイ

認証と認可

ルールエンジン

AWSサービス- - - - -

その他のサービス

デバイスシャドウアプリケーション

AWS IoT API

デバイスレジストリ

■シンプル＆慣れた構⽂・SQL⽂を使ったトピックのフィルタ・オプションのWHERE句で条件を

記述することが可能・JSONサポート

■メッセージ変換機能・⽂字列操作 (正規表現サポート)・算術計算・コンテキストベースのヘルパー・暗号・UUID, Timestamp, 乱数など.

ルールエンジン

SELECT * FROM ʻthings/thing-2/colorʼ WHERE color = ʻredʼ

SELECT Data FROM topic WHERE 条件

{“color”=“red”}

データ収集のユースケース

sensor/#sensor/water/room1

temp

water

door

AWS Lambda

Amazon SNS

Amazon SQS

Amazon S3

Amazon Kinesis

Amazon DynamoDB Amazon RDS

Amazon Redshift

Amazon Glacier

Amazon EC2

外部エンドポイント(LambdaやSNS経由)

ルールエンジンから、以下に挙げるサービスとの連携など12のアクションが定義可能

デバイス シャドウの動作フロー

Shadow

DeviceSDK

1. デバイスが現在のステータスをレポート

2. ステータスはJSON形式でデータストアに保管

3. アプリケーションが現在のデバイスのステータスを取得

4. アプリケーションがデバイスのステータス変更をリクエスト5. アップデートされた

ステータスを同期（デバイス側でアプリケーションからのリクエストを処理）

6. デバイスが最新のステータスをレポート

7. デバイスのステータスが変更されたことを確認

AWSIoT

デバイス シャドウ

{"state" : {

“desired" : {"engine" : "ON"

},"reported" : {

"engine" : ”OFF"},"delta" : {

"engine" : ”ON"}

},"version" : 10

}

Thing

1つまたは複数の現状ステータスをシャドウに通知シャドウから要求されるステータスを取得

MobileApp

デバイスに対して変更したいステータスをセット最新の通知されたステータスを取得シャドウの削除

Shadow

シャドウは、delta, desired 及びreportedステータスをメタデータとバージョンをつけて管理

便利な機能がいろいろ

デバイスとクラウドとの相互認証

TLS1.2を⽤いた相互認証証明書に対するポリシ設定も可能

ルールエンジンとアクション

SQLライクな構⽂でルールの設定ルールに合致した場合、AWSの各種サービスとのインテグレーション

デバイスシャドー

デバイスが物理的に接続されてなくてもコマンドを伝達できる

デバイスレジストリ

多くのデバイスを管理Key-Value形式でファームバージョンなどの属性情報も管理可能

データ送受信(Ingest)⽤のサービス選定の例

AWS IoT Amazon Kinesis Amazon S3ペイロード⻑ 1メッセージあたり最⼤128KB 1レコードあたり1MB 1オブジェクトあたり5TB

プロトコル MQTTS/HTTPS/Websocket

HTTPS HTTPS

料⾦ 512Byteを1メッセージとして$8/百万メッセージ

1シャード$0.0195/時ペイロードユニットを25KBとして$0.0215/百万ペイロード(Streams)

$0.025/GB(最初の50TB, ⽉)

認証 クライアント証明書SigV4

SigV4 SigV4

使いどころ ペイロードが⼩さく送信頻度も低いデバイスとクラウド間の双⽅向通信が必要⾼いセキュリティを求められる

ペイロードが⼤きく、送信頻度が⾼い

メディアなどデータサイズが⼤きい場合、ファイル単位でデータを扱う場合

IoTデザインパターンの考え⽅

Devices Kinesis Stream Kinesis Analytics（ストリーミング分析）

Lambda SNS

Elasticsearch

データレイク（データ分析）

ストリーミング処理

リアルタイムモニタリング

S3 Redshift QuickSight

リアルタイムモニタリング ＋ストリーミング分析 + データレイク設備機器、製造ラインの可視化・予測など

AWSIoT

https://d0.awsstatic.com/events/jp/2017/summit/slide/D3T2-1.pdfSummittokyoでのお話したデザインパタンの資料

エッジ コンピューティング

AWS IoT Solution

アラート

業務⽀援システム

Report/Dashboard(故障予知・予測)

デバイス管理

デバイス制御

データ収集 データ処理・分析

データ保存

デバイス管理

データ活⽤

IoT

IoT

S3

Kinesis

IoT

S3 RDS DynamoDBGlacier

RedshiftEMR Machine Learning QuickSight

ElasticSearch

KinesisAnalytics

API GWLambda

SNS

AWS IoT Solution

Lambda

Greengrass

• AWS GreenGrass

ローカル環境にあるGatewayなどの機器に、クラウドで開発したのモジュールを配布/管理可能かつ、ローカルで実⾏することにより、

l Latencyの向上l ネットワーク常時接続性が不要l センシティブ情報の処理し、クラウドへデータ送信可能できる

Lambdaはpython2.7をサポート 6/7Launched!Region:Oregon/Virginia

https://aws.amazon.com/jp/blogs/news/aws-greengrass-run-aws-lambda-functions-on-connected-devices/

6/21Launched!Region:Tokyo

nodejs.6.10/Java8

AWS Greengrassのオーバービュー

Greengrass SDK

Local環境

MQTT

Greengrass要求スペックCPU１GHzsingle以上Memory128MB以上OS:Linux (x86orARMCPU)Kenel 4.4以上

• サービスとの接続

Greengrass Core

LambdaDeviceshadow

AWS IoT

• StatusSync• バージョン/配信管理

ThingsSense & Act

CloudStorage& Compute

IntelligenceInsights &Logic → Action

AWS IoTStarting in the cloud

Action

DeviceState

AWSServices

ApplicationsAuthentication&Authorization

DeviceGateway

Registry

AWSIoT API

Messages Messages

AWSGreengrass

Messages Messages

Authentication&Authorization

DeviceGateway

Action

DeviceState

AWSServices

Applications

Registry

AWSIoT API

AWS IoTGoing to the edge

Introducing AWS Greengrass

DeviceState

Action

DeviceGateway

Messages

Authentication&Authorization

Security

*Note: Greengrass is NOT Hardware (You bring your own)

注意点• AWS Coreの再起動AWS Greengrassで送信されるすべてのメッセージはQoS 0で送信されるために、AWS Greengrass Coreの再起動を実施すると未送信データは失われる。Greengrass Coreのdeployを実⾏した場合にも再起動が⾏われるので、再起動の実施による影響/実施タイミングを⾒極める必要がある。

• local storage fullローカルストレージに容量が不⾜すると以下のコンポーネントが失敗する可能性があるために、容量については注意が必要- local shadowの更新- 証明書の更新- deployの失敗

• ローカルディレクトリとの同期やアクセスGreengrassはハードウェア上でOverlayFSとして起動するためにローカルファイルシステムに対して、全権のアクセス権があるわけではない。

http://docs.aws.amazon.com/ja_jp/greengrass/latest/developerguide/gg-troubleshooting.html

Greengrass

データアグリゲーションパターン対象シーン - 通信の数を減らし、データをバルクでアップロードしたい

- 常時ネットワークコネクティビティがない環境でのデータ収集条件 - 特になし注意点 - リアルタイム性が落ちる。リアルタイムの異常検知が必要な場合は

Greengrass上とローカル環境で実装

N分間のデータをまとめてダイレクトにS3へ

Amazon S3

local環境Gateway

AWS IoT

Greengrass

センシティブ情報マスキングパターン

対象シーン - クラウドでのデータ活⽤がしたいがセンシティブ情報が含まれているためにクラウドへデータが送れないケース(社内規定などで)

条件 - 特になし

注意点 - maskingされた情報や削除した情報の管理はユーザサイドでの検討が必要

local環境

ID:”12345”,“heartrate”:100

ID:”827ccb0eea8a706c4c34a16891f84e7b”,“heartrate”:100

IDをhash化

ユーザID管理DB

データ解析 / データレイク

Amazon S3 Data Lake

Amazon KinesisStreams & Firehose

Hadoop / Spark

Amazon RedshiftData Warehouse

Amazon DynamoDB & ElastiCache

NoSQL DB & Redis

Relational Database

Amazon EMR

Amazon Aurora

Amazon Machine LearningMachine Learning

Any Open Source Tool of Choice on EC2D

ata

Sour

ces

Clusterless SQL Query

Amazon Athena

Tran

sact

iona

l Dat

a

Amazon S3を中⼼としたデータレイクを構成

https://aws.amazon.com/jp/answers/big-data/data-lake-solution/

AWSのBig Dataソリューション

ストリームトランザクション ファイルアップロード

必要とする対応速度（リアルタイムか、⽇時処理か）による分類

Spark Streaming

AmazonKinesis

AmazonDynamoDB

EC2+プログラムAWS Lambda

AmazonS3

AmazonRedshift

EC2+プログラムAWS Lambda

Spark・Athena＋

EMRHive＋EMR

KCL

秒単位 分単位 時間単位 ⽇⽉単位AWSIoT

AmazonRDSAurora

事例

AWSを利⽤したIoT事例のご紹介

IoTでビッグデータ＋リアルタイム処理で利益向上

年間10億件にものぼるデータをクラウド上で解析現在の消費状況から

「15分後の需要予測」を個々の店舗で実現廃棄率も1/4以下に

家庭⽤燃料電池の課題 とクラウドによるソリューション

メンテナンス業務効率化のために遠隔監視が必要

従来、家庭⽤燃料電池ではコストが⾒合わず、遠隔監視が実現できず

クラウドを活⽤することで、低コストでの家庭⽤燃料電池の遠隔監視、メンテナンス業務の効率化を実現

エネファームのIoTを活⽤したサービス概要（サマリー）

AWS summit Tokyo2017でのIoTセッション

KeynoteにおけるIoT関連の話題

http://d36cz9buwru1tt.cloudfront.net/jp/summit2017/Keynote_Day3.pdf

D3T1-4 : エンタープライズと IoT における⽇⽴の AWS 活⽤事例

D3T6-1:ERPのインフラ基盤から IoT サービス基盤としてサーバレス化の実現まで、JINS の AWS 活⽤

D4T5-2:ヤンマーが提案する『ロボットトラクタ』のご紹介 “A SUSTAINABLE FUTURE” の実現へ

D4T4-4: [富⼠ソフト] エンタープライズシステムも AWS で 〜IoT からデータセンター移⾏の課題と解決策〜

D4T5-5: [ソニーモバイルコミュニケーションズ] スマートホームシステムの開発 〜AWS を活⽤した新規サービスの⽴ち上げ〜

D4T5-6: [ダイドードリンコ] ⾃販機 IoT 実現に向けた DyDo の取り組み

https://aws.amazon.com/jp/summit2017-report/

SessionにおけるIoT関連の話題

IoTにAWSを活⽤する⽇本のお客さま

鮮度/生産管理 動線把握

モニタリング／操作

故障改善

遠隔制御

車両モニタリング／操作 畜産・生産性改善スマートホーム

スイング把握／改善

まとめ：IoT＆Bigdata , Why AWS

柔軟性、即調達可能、従量課⾦、uploadの転送は無料• IoTを⼩さく初めて、効果検証し、商⽤の規模を⽀えることが可能

で、IoTの要件にMatchしている• グローバル展開も容易

過去数年分など、超巨⼤になるRAWデータ• S3をデータレイクにすることでデータ保管できる• 取得しない/消したデータは利⽤できなくなる• Amazon Redshift / Amazon EMR /Amazon Athena/Amazon RDS

などケースに応じた使い分けができる