View
1
Download
0
Category
Preview:
Citation preview
IoT/ビッグデータ/AI連携時代のデータ管理とは?
2017年3月8日
クラウディアン株式会社本橋 信也
本日のアジェンダ
• クラウディアンの紹介
• オブジェクトストレージ、3つの特長
• IoT/ビッグデータ/AI連携事例
• 連携時代のデータ管理
© 2017 CLOUDIAN KK2
クラウディアンのご紹介
2001
2011$79M
日本生まれシリコンバレー本社
一流の投資家
100
経験豊富な人材が集結
Global
グローバルに展開
© 2017 CLOUDIAN KK3
2017年1月諏訪湖浜ノ湯Sales Kick Off
ソフトウェアによるオブジェクトストレージ製品(SDS: Software Defined Storage)
© 2017 CLOUDIAN KK4
ソフトウェア製品 アプライアンス製品 OEM製品
Lenovo Storage DX8200C powered by CLOUDIAN
HyperStore 1500 Appliance
HyperStore 4000 Appliance
オブジェクトストレージ:世界で採用が本格化
© 2017 CLOUDIAN KK5
14%
15%
18%
26%
35%
18%
23%
19%
18%
13%
22%
26%
22%
23%
24%
14%
12%
13%
14%
10%
8%
4%
8%
6%
3%
13%
12%
14%
9%
9%
11%
8%
6%
4%
5%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
ハイパーコンバージドインフラ
オールフラッシュアレイ
OpenStack
Software-Defined Storage
オブジェクトストレージ
本番環境で利用 評価中/POC 検討中 将来導入の可能性有 評価したが使っていない 検討対象外 知らない
貴方の組織で、以下のストレージ技術の採用状況はどのようなものですか?
出典: IDC Storage User Demand Study (SUDS) Survey 2016, n=1,130
CLOUDIAN HyperStoreの特長
Amazon S3と同等のストレージシステムを構築し、運用できる
S3 API対応アプリ等を改修せずに活用できる
Amazon S3はAWSが提供するクラウドストレージサービスであり、そのAPIは公開されクラウドストレージの事実上の標準となっている
© 2017 CLOUDIAN KK6
本日のアジェンダ
• クラウディアンの紹介
• オブジェクトストレージ、3つの特長
• IoT/ビッグデータ/AI連携事例
• 連携時代のデータ管理
•大量の非構造化データ- ビッグデータ
•インターネット経由データ- http(s)
•データのデータ- メタデータ
© 2017 CLOUDIAN KK7
特長1:構造化されていないデータを大量に保存
従来のデータベース処理に最適な構造化されたデータ
従来のデータベース処理には活用しない非構造化データ
企業データ全体の80%、年率50%で増加、と言われる
© 2017 CLOUDIAN KK8
正規化
今後増加する非構造化データの種類
出典:『2015年 国内企業のストレージ利用実態に関する調査:次世代ストレージへのトランスフォーメーション(IDC #J15630601、2015年12月発行』を基に作成
今後2年間での増加見込み(31%以上の増加を見込む回答率の割合)
0% 10% 20% 30%
ドキュメント/テキストデータ(n=620)
ログデータ(n=265)
電子メール(n=526)
アーカイブデータ(n=216)
バックアップ/レプリケーションデータ(n=302)
研究/開発/設計データ(n=345)
サーバー仮想化基盤向けデータ(n=112)
画像/動画/音声データ(n=525)
パブリッククラウドサービスインフラ向けデータ(n=87)
分析系データ(n=222)
映像コンテンツ(n=208)
IoT/M2M/センサーデータ(n=93)
© 2017 CLOUDIAN KK9
特長2:インターネット経由で直接データを読み書き
レガシー型ストレージのインターネットアクセス(3層構造)
一般的なオブジェクトストレージのインターネットアクセス
オブジェクトストレージ
HTTP(S) サーバー
SAN(構造化)
http(s)http(s)
© 2017 CLOUDIAN KK10
アプリケーション サーバー
DBサーバー
NAS(非構造化)
Web3層
特長3:データを管理するデータ(メタデータ)一体化
ファイルシステムオブジェクトベースのストレージシステム
C:/
fun
pic
http(s)://s3.cloudian.com/abc123def456/
メタデータ
データ
/c/fun/pic/party
オブジェクトID
日付、サイズ、カメラ、場所+ユーザー独自データ
© 2017 CLOUDIAN KK11
BLOBJPG/TIFのような実際の写真データ
システムが自動的に付与するメタデータ• ファイル名• 撮影日: • サイズ• 撮影情報• ISO• デバイス• 撮影場所
ユーザ独自に付与するメタデータ(例)• 店名: #恵比寿 鳥〇
• 種類: #ビール
• 人数: #6人
• 同伴者:#Gerson, #Arian, #Hayashi, #Dan, #Sean
• 背景: #レストラン、#夜
• 動作: #乾杯
ユーザ/クライアントが独自に付与するメタデータ
© 2017 CLOUDIAN KK12
本日のアジェンダ
• クラウディアンの紹介
• オブジェクトストレージ、3つの特長
• IoT/ビッグデータ/AI連携事例
• 連携時代のデータ管理
© 2017 CLOUDIAN KK13
製造・スマートファクトリー
医療・ヘルスケア
設 備自動車・交通 スマートハウス
防 犯
小売り・広告・マーケティング
スマートビルディングスマートシティ
スマートプロダクツ
農 業
スマート家電
物 流
スマートグリッド
バイオ 介 護
観 光
メディア・エンターテイメント 金融・コマース
通 信
建 設
IoTがビッグデータをWebからリアルの世界に
© 2017 CLOUDIAN KK14
AIを使いビッグデータを分類整理
IoT AI
DATA STORAGE = problem
IoT
DATA
Passive Delayed AnalyticsStatic Data
BIG DATA
INFORMATION
SMART DATA
SMART DATA STORAGE = solution
ActiveTimely Insight
MeaningActionable
Business Value
© 2017 CLOUDIAN KK15
AIのなかでも注目を集めるディープラーニング
機械学習マシンラーニング
深層学習ディープラーニング
特徴点抽出
学習
学習
学習済モデル
学習済モデル
識別/認知
人が特徴点を抽出(精度を高めるのは職人技)
機械が特徴点を抽出 (大量の学習用画像が認識精度を上げる)
特徴抽出
© 2017 CLOUDIAN KK16
© 2017 CLOUDIAN KK17
IoT/ビッグデータ/AI相互の連携は必然の流れ
IoT
ビッグデータ
AI
IoTは現実社会をビッグデータに
ビッグデータをAIが分類整理しスマートデータに
AIの精度を高めるためにはビッグデータが必要
ビッグデータを収集するためにはIoTが必要
本日のアジェンダ
• クラウディアンの紹介
• オブジェクトストレージ、3つの特長
• IoT/ビッグデータ/AI連携事例
• 連携時代のデータ管理
•スマートビルボード
•交通量調査
•モバイルIPバスカメラ
© 2017 CLOUDIAN KK18
© 2017 CLOUDIAN KK19
スマートビルボード構成
© 2017 CLOUDIAN KK20
本日のアジェンダ
• クラウディアンの紹介
• オブジェクトストレージ、3つの特長
• IoT/ビッグデータ/AI連携事例
• 連携時代のデータ管理
•スマートビルボード
•交通量調査
•モバイルIPバスカメラ
© 2017 CLOUDIAN KK21
スマートビルボードでは、2つのモデルを利用
物体検出
画像認識
• 振動・揺れ除去• 動体検知• 重なり処理
• メーカー認識• 車種認識• 年式認識
• 映像処理• FR調整
ディープラーニング処理(エッジサーバー)
約500msec • 車両の追跡
• 広告選択• 切換信号
小型コンピュータ
© 2017 CLOUDIAN KK22
物体検出モデルを交通量調査に活用
ビデオカメラ映像から測定した交通量4:0
0
5:0
0
6:0
0
7:0
0
8:0
0
9:0
0
10:0
0
11:0
0
12:0
0
13:0
0
14:0
0
15:0
0
16:0
0
17:0
0
18:0
0
19:0
0
20:0
0
21:0
0
22:0
0
23:0
0
A地点 B地点 C地点 D地点 E地点 F地点
23 © 2017 CLOUDIAN KK
• 交通量調査コストを大幅に削減
• 事前手配不要で調査開始
• 24時間365日調査可能
本日のアジェンダ
• クラウディアンの紹介
• オブジェクトストレージ、3つの特長
• IoT/ビッグデータ/AI連携事例
• 連携時代のデータ管理
© 2017 CLOUDIAN KK24
•スマートビルボード
•交通量調査
•モバイルIPバスカメラ
カリフォルニア州モンテベロ市
© 2017 CLOUDIAN KK25
モンテベロ市営バスに5台のIPカメラ
© 2017 CLOUDIAN KK26
モバイル経由で大量映像データを送信、保存
© 2017 CLOUDIAN KK27
モンテベロ市営バスにおけるモバイルIPカメラの用途
• 「パニックボタン」:- 車内映像のリアルタイム送信
• 乗降者数の把握
• 停留所毎の乗降者数の把握
• 市補助金の算出根拠
• 訴訟対策
• 犯罪防止
• 最適走行ルート分析
© 2017 CLOUDIAN KK28
本日のアジェンダ
• クラウディアンの紹介
• オブジェクトストレージ、3つの特長
• IoT/ビッグデータ/AI連携事例
• 連携時代のデータ管理
•ハイブリッドクラウド- IoT/ビッグデータに対応
• API操作-ビッグデータ/AIに対応
•豊富なアプリケーション- 既存IT環境との連携
© 2017 CLOUDIAN KK29
0% 10% 20% 30% 40%
増加率が予測できないデータ
高いデータ保護が必要なデータ
低コスト/長期保存データ
高セキュリティ対応データ
ITを活用した新規ビジネスデータ
自社の競争力に関わるデータ
コンプライアンス対応データ
パブリッククラウド オンプレミス
オンプレミスかパブリッククラウドか?
データの選択基準:オンプレミスとパブリッククラウドサービスの比較
『2017年 国内ストレージ需要動向調査:DXが与える影響(IDC JPJ41774117、2017年2月発行)』を基に作成対象は、オンプレミスとパブリッククラウドサービスの両方について利用中、もしくは利用を計画/検討中の回答者(n=373)オンプレミスとパブリッククラウドサービスのそれぞれについて上位項目を抜粋
© 2017 CLOUDIAN KK30
31
自社データセンターで運用管理するクラウド
CLOUDIAN HyperStoreパブリッククラウド
ペタバイト超級まで柔軟に拡張
いつでも使える
堅牢なデータ保護
万全なセキュリティ対応
どこからでもアクセス可能
規模に応じた投資
自社データセンターで運用管理
© 2017 CLOUDIAN KK31
ハイブリッドに使い分ける
AWSの使用料との統合請求サービスも欧米市場向けにあり
アプリケーション
自社データセンター
期間等のポリシーによりデータを自動転送
アプリケーション
© 2017 CLOUDIAN KK32
本日のアジェンダ
• クラウディアンの紹介
• オブジェクトストレージ、3つの特長
• IoT/ビッグデータ/AI連携事例
• 連携時代のデータ管理
•ハイブリッドクラウド- IoT/ビッグデータに対応
• API操作-ビッグデータ/AIに対応
•豊富なアプリケーション- 既存IT環境との連携
© 2017 CLOUDIAN KK33
AIはビッグデータを使い試行錯誤し精度を高める
大量画像の収集• 車種識別用• 交通量用• ナンバープレート用
(例:1車種数万枚)
画像整形およびバリエーション画像の作成
ラベリングしてライブラリー化/DB化 トレーニング画像の選択
現場映像との整合性などトレーニング画像の調整
ネットワークの選択コンフィグの設定
DL トレーニング
モデルの生成
サンプル画像の整備
テスト画像/映像の準備
実行環境システムの構築
DLによるテストの実行
トレーニングフェーズ 評価フェーズ
テスト結果の評価
実環境へ
OKNG
この
プロ
セス
を何
回も
回す
34 © 2017 CLOUDIAN KK
API でストレージを操作
APIで行えるストレージの操作
• データの読み書き• アクセス管理• データ管理• レポート・通知• 高度な操作
- マルチパートアップロード- バージョニング- 階層化- 暗号化- 課金- 監視- 複製- 期限管理- ・・・
標準的なストレージプロトコル
© 2017 CLOUDIAN KK35
APIによる操作が、開発準備工程を大幅に短縮
API
物理サーバー
物理サーバー/ディスク
物理サーバー/ディスク
仮想化
仮想ストレージ
仮想ストレージ
API
API
APIでストレージを操作し、リソース調達、設定、管理
伝統的なTインフラ CLOUDIAN HYPERSTORE
物理サーバー/ディスク
仮想ストレージ
物理ストレージ
物理ネットワーク
開発者© 2017 CLOUDIAN KK36
本日のアジェンダ
• クラウディアンの紹介
• オブジェクトストレージ、3つの特長
• IoT/ビッグデータ/AI連携事例
• 連携時代のデータ管理
•ハイブリッドクラウド- IoT/ビッグデータに対応
• API操作-ビッグデータ/AIに対応
•豊富なアプリケーション- 既存IT環境との連携
© 2017 CLOUDIAN KK37
既存IT環境との連携S3 APIに対応するアプリケーションは数百種類、企業で使われる多くのアプリケーションがS3 APIに対応
Amazon S3/Glacier、Google Cloud Storage他のHyperStoreシステム
© 2017 CLOUDIAN KK38
クラウドサービス
クラウド基盤製品
バックアップ・アーカイブ製品
クラウドゲートウェイ製品
NAS製品
フラッシュアレイ製品
ビッグデータ製品
ファイル管理製品、クライアント等
© 2017 CLOUDIAN KK39
CLOUDIAN HyperStore接続検証済アプリケーション例
ファイル仮想化により、
PCにデータを残さずセキュリティ確保
利用頻度の少ないファイルを、
自動的に階層化
ファイルをオブジェクトに変換、キャッシュ、圧縮
CLOUDIAN HyperStore
特に引き合いの多い企業IT向けアプリ
ビッグデータ分析用大量データを保管
© 2017 CLOUDIAN KK40
まとめ• IoTは現実社会をビッグデータ化し始めています
本日のご紹介例では: 従来はデータ化されていなかった車種数、交通量、乗降者数
• 大量で複雑なビッグデータの活用にはAIとの連携が必然になります
本日のご紹介例では: 大量の映像情報をAIが分類整理
• IoT/ビッグデータ/AI連携を支える次世代インフラにおいては、少なくとも次のデータ管理が求められます
• IoT:インターネット経由で安全にアクセスできる
• ビッグデータ:大量で複雑なデータを活用できる(メタデータ)
• AI:ビッグデータを柔軟に操作できる(API)
• その一方で、特殊なソリューションではなく、企業ITに馴染みの深いワークロードに使え、さらにオンプレミスとパブリックをハイブリッドに活用できることが求められます
© 2017 CLOUDIAN KK41
ご清聴ありがとうございました
ホームページ:http://cloudian.jp/
Facebook:https://www.facebook.com/cloudian.cloudstorage.S3
Twitter:https://twitter.com/Cloudian_KK
ブログ:http://www.cloudian-blog.com/
Slideshare: http://www.slideshare.net/geminimobile/presentations
© 2017 CLOUDIAN KK42
Recommended