Embed Size (px)
Citation preview
AWS re:Invent 2017で見たAWSの強さとは
2017/12/26NTT コミュニケーションズ 技術開発部 横山智大, 藤田康寛
“Attention
本スライドの記述はAmazon Web Serviceの公式見解ではありません
Hello!名前 藤田康寛所属 技術開発部 クラウドコアTU仕事 競合クラウド分析、POC構築経歴 2016~ 技術開発部クラウドコアTU
Hello!横山 智大
- Software Engineer- NTT Communications 技術開発部 クラウドコアTU
Job: - 競合クラウド分析(主にGCP)- マルチクラウドPOC
経歴: - 2015 入社- OpenStack技術開発, コミュニティ活動- 競合クラウド分析システム開発(IaC, CI/CD, API…)- オンプレ環境でのK8s基盤 構築/運用/検証
Agenda
1. AWS re:Invent 2017報告
2. New Releaseから見るAWSのTrend3. AWS re:Inventで見たAWSの強さとは
1.AWS re:Invent 2017参加報告
AWS re:Invent 2017 Report
AWS re:Inventとは
● AWSが主催する世界最大のLearning Conference○ 1000+ のセッション、自習用hands-on lab、bootcamp、hackson等、様々なス
タイルのコンテンツ
○ 各セッションやAWSラウンジでAWSのExpertや他の参加者と議論
○ チャリティマラソンや早食い競争等、一風変わったイベントも
60,000+ライブ視聴者数
1200+ 日本からの参加者数
43,000+参加者数
1300+テクニカルセッションの数
参加者数の推移
5年前の6000人と比べて
約7倍の参加者
会場の雰囲気
● AWSの資格を持っているDeveloper向け優遇ラウンジを用意、
Developerたちが交流を深められる場を提供
● AWS Village ○ NW、ML等、多岐に渡る分野ごとにAWS Expertがいて
自由に質問・議論ができる
全世界でのAWSのシェア
● 今なお圧倒的シェアを持つ
提供しているリージョン
リージョンおよびアベイラビリティーゾーンの数
・米国東部バージニア北部 (6)、オハイオ (3)
・米国西部北カリフォルニア (3)、オレゴン (3)
・アジアパシフィックムンバイ (2)、ソウル (2)、シンガポール (2)、シドニー (3)、東京 (3)
・カナダ中部 (2)
・中国北京 (2)、寧夏 (2)
・欧州フランクフルト (3)、アイルランド (3)、ロンドン (2)、パリ (3)
・南米サンパウロ (3)
・AWS GovCloud (US-West) (2)
新しいリージョン (近日追加予定 )
バーレーン
中国香港特別行政区
スウェーデン
AWS GovCloud (米国東部)
新サービスの紹介
1. Container2. IoT3. Media & Voice4. Database5. ML/AI6. Serverless7. EC28. Others
Preview
General Availability
1. Container
Amazon EKS(Elastic Container Service for Kubernetes)
● Managed Kubernetes(k8s)!○ k8sのMaster Nodeをマネージド型で提供
■ ユーザはMaster Nodeを意識する必要がない
● Worker NodeはEC2 instance
■ k8s clusterのversionアップデートはAWS側で実施
○ 利用するのはupstreamのk8s, コミュニティに貢献もしていく
● 様々なAWSサービスと統合が可能
■ ELB, IAM, VPC…
● 既存のECSがなくなるわけではない
Preview
AWS Fargate
● コンテナのWorker NodeとなるEC2を管理せず、コンテナを
起動可能に
○ クラスタ管理不要
○ vCPU/メモリのリソースを自由に設定
○ 簡単に実行、簡単にスケール
● ECS対応はリリース済, EKS対応は2018年予定
○ ユーザ側で全くNodeの管理が必要ないフルマネージドなk8sクラスタが可
能に！(なるはず
■ ユーザはk8s自体の機能の利用に集中できる
General Availability
AWS FargateGeneral Availability
2.IoT
IoT関連の新サービス
● AWS IoT Analytics● AWS IoT Device Management● AWS IoT Device Defender ● AWS IoT 1-Click● Amazon FreeRTOS● AWS Greengrass ML Inference
AWS IoT Analytics
● IoTデータ分析のためのフルマネージドサービス
○ データ収集、加工、保存、クエリ実行、機械学習の適用(Jupyter Notebookの利用)
Preview
AWS IoT Device Management
大量のIoTデバイスの管理を容易に
● Onboarding○ プロビジョニングのワークフロー制御
● Organizations ○ デバイスのグループ階層モデルを作成し管理
● Monitoring & Logging ● Remote Management
○ デバイスへファームウェアの更新をプッシュ等リモート管理可能
General Availability
AWS IoT Device Defender (Coming in 2018)
大量のデバイスに対してセキュリティポリシーの定義・適用
● カスタムな監査ルールの作成や、anomaly detect /アラームの提供
AWS IoT 1-Click
いろいろなデバイスからAWS Lambdaの実行が可能
● Amazon Dash Buttonのようなものが作れる
Preview
Amazon FreeRTOS
● マイクロコントローラ向けのIoT operating system○ 低消費電力なIoT向けコントローラ用のソリューション作成
を容易に
○ クラウドへのセキュアなデータ／コネクション
○ 各種マイクロコントローラのエコシステムとの統合
○ クラウド、そしてローカルへの接続(AWS Greengrass)をサ
ポート
General Availability
3.Media & Voice
AWS Media Servicesクラウド上で動画を処理・保存。収益化に集中可能に
● AWS Elemental MediaConvert○ 様々なフォーマット、コーデックをサポートしたブロードキャスト、マルチスクリーン配信用のファイルベースのトランス
コーディングサービス
○ 4K対応
● AWS Elemental MediaLive ○ ブロードキャストやストリーミング配信用のライブエンコーディングサービス
○ 字幕を簡単に付与可能
● AWS Elemental MediaPackage ○ 多種のデバイスで視聴するための様々な形式で出力するJust in Timeパッケージサービス
○ DRMにも対応
● AWS Elemental MediaStore○ S3を活用したメディア最適化ストレージ
● AWS Elemental MediaTailor○ 広告挿入をサポートする収益化サービス
General Availability
Amazon Sumerian
プログラミングや3Dグラフィックの専門知識がなくても、VR, AR, 3Dのアプリを短時間で作成・実行
Preview
Demo: https://d1tsyd7599mesx.cloudfront.net/3e72731dd59b4b08ac1240bfd4afce5d.scene/
Alexa for Business
Alexaデバイスで簡単スマートオフィス
● 音声コマンドで備品の発注、電話会議の開始などが可能に
General Availability
4.Database
Database関連の発表
● Amazon Neptune(New)● Amazon Aurora MySQL-compatible edition● Amazon Relational Database Service● Amazon DynamoDB● AWS Database Migration Service● Amazon ElastiCache● Amazon Redshift
Amazon Neptune
● AWS初のフルマネージドなGraph Database(NoSQL)○ 億単位のリレーションを保管した上で、ミリ秒のレイテンシ
● 3AZで6つのレプリカを構成
● 主に関係性を保存する際に使用
○ 拠点間の道路情報
○ 人間の関係性
都市間の輸送計画をグラフデータで記述した場合の例（出典：Rik Van Bruggen『Learning Neo4j』）
General Availability
Amazon Aurora MySQL-compatible edition
● Amazon Aurora Multi-Master● Aurora Serverless● Batched scans● Hash Joins● Parallel query● Reader Auto Scaling
Amazon Aurora Multi-Master
● 複数のデータセンターをまたぐRDS○ Read/Write両方でスケールアウト可能
○ どのノード障害においてもゼロアプリケーションダウンタイム
○ どのアベイラビリティ障害においてもゼロアプリケーションダウンタイム
● 現在はシングルリージョン・マルチマスター
○ Preview 2017/11/29〜○ マルチリージョン、マルチクラスタは2018年予定
○ マルチリージョンの実装により、リージョンを意識しないアプリケーションが作成可
能に
Preview
Aurora Serverless
● 様々なワークロードのアプリケーションに対応
するオンデマンドおよびオートスケールする
データベース
● 負荷に応じて自動的にスケールアウト・イン
○ 最大値と最小値を設定する必要あり
● 課金はCapacity Unitで1秒ごとに計算
○ 新規の場合は1分から課金
● 常時安定したワークロードが発生する
システムには既存のAuroraを推奨
Preview
Batched scans & Hash Joins
● Batched scans○ MySQLのオーバーヘッドを解決するために、InnoDB buffer poolからタプルを
まとめて 読み込む形式で実装
● Hash Joins○ ハッシュ結合に対応
Coming soon
Parallel query
● クエリを並列に実行可能に
○ 問い合わせの処理をプッシュダウン・並列化
○ データに近い箇所で処理を実行することで、ネットワークのトラフィッ
クとレイテンシが減少
Coming soon
Amazon Aurora Reader Auto Scaling
● Aurora Readerを動的に増減
○ 平均CPU利用率・平均コネクション数によって増減が可能
○ 読み取りクエリの分散や余分なコストを支払うリスクを軽減
○ 急激なスパイクには対応出来ないため、予測可能な場合は事前にスケー
ルさせておく必要あり
エンドポイント エンドポイント
Amazon Relational Database Service
● MySQLをバックアップから起動可能
○ バックアップデータをS3に保存することで、オンプレやEC2上のMySQLからマイグレーションが可能
● ストレージの容量上限を6TB -> 16TBまで拡張
General Availability
S3 Aurora
Amazon DynamoDB
● Global Tables● Backup & Restore
Amazon DynamoDB Global Tables
● 複数リージョンのTable間でレプリケーションや、
Multi-Masterが可能
● 制約として、Tableが空の状態で設定する必要あり
● Write CapacityにReplicationのデータもカウントされる
General Availability
Amazon DynamoDB Backup & Restore
● Capacityに影響なくバックアップ可能
● テーブル内のデータだけでなく、capacityの設定やLSI/GSI情報、Streamsの情報も保存
● Point in time recoveryにも対応
General Availability
AWS Database Migration Service
● Pre-migration validation○ ネットワークコネクション・データベースの権限やマイグレーション対象のデータ
を事前に確認可能
● Post-migration data○ マイグレーションソースとターゲットのデータの同一性を確認可能
General Availability
5.ML / AI
ML / AI
● SaaS○ Comprehend○ Amazon Translate○ Amazon Transcribe○ Amazon Rekognition Video
● PaaS○ Amazon Kinesis Video Streams○ Amazon SageMaker
● Engines○ Deep Learning AMI for Windows
● IaaS○ DeepLens○ Greengrass ML Inference
Comprehend
● 入力された文章に対して、様々な分析が可能
○ 言語の判定
○ キーフレーズ抽出
○ トピック抽出
○ センチメント分析
・・・etc
General Availability
Amazon Translate
● 言語翻訳サービス
● 他サービスと組み合わせることで、多言語対応サービスが構
築可能に
● バッチ処理、リアルタイム処理の双方に対応
Preview
Amazon Transcribe
● Speech to Textのサービス
● S3に保管された音声データのみでなく、リアルタイム処理も可
能
● 対応言語は英語とスペイン語
Preview
Amazon Rekognition Video
● 動画解析サービス
○ 人物のトラッキング
○ 顔の検出
○ ラベルの検出
○ 有名人の認識
● MP4 or Movに対応
● バッチ処理、リアルタイム処理の双方に対応
Amazon Kinesis Video Streams
● 大量のビデオデータを処理が可能なPaaS● インフラの管理なしで堅牢な保存、暗号化、インデックス作成
が可能
General Availability
Amazon SageMaker
● 機械学習モデルをスケーラブルにビルド・学習・ホストするこ
とを可能
○ オーサリング
■ データに関する調査・クレンジング・前処理
○ モデルトレーニング
■ 分散モデル構築／学習／評価
○ モデルホスティング
■ モデルのホスト
General Availability
Deep Learning AMI for Windows
● Deep Learning AMIをWindows Server 2012 R2、2016で提供
● 主要なDeep Learning Frameworkをサポート
○ CUDA 8 and 9○ CuDNN 6 and 7○ NCCL 2.0.5○ CuBLAS 8 and 9○ OpenCV 3.2.0○ SciPy 0.19.1○ Conda 5.01
General Availability
DeepLens
● SageMakerなどで学習したモデルで推論
● 100 GFLOPS を超えるデバイスの処理能力
● TensorFlow や Caffe を含む、ディープラーニングフレーム
ワークを実行可能
AWS Greengrass Machine Learning (ML) Inference
エッジデバイスで機械学習モデルの活用を容易に
● AWS Greengrass が稼働するエッシデバイスで、MXNet による深層学習モデル、学習
済み機械学習モデルをデプロイ・利用可能
● SageMaker で学習し、Amazon S3 に配置した学習モデルをデバイス側でDLして利用
General Availability
6. Serverless
Serverless
● AWS Serverless Application Repository● AWS Lambda
○ メモリの最大値変更1.5GB -> 3GB○ Concurrency Controls○ New Language(.Net 2.0 Golang)
AWS Serverless Application Repository
Serverlessに関するRepositoryをAWSが公開
Git等の他のレポジトリと連携可能
公開・非公開（Public、Private）の設定が可能
Lambda
● メモリの最大値変更1.5GB -> 3GB○ 最小64MBから最大1.5GBまでだったメモリの範囲を64MBか
ら3GBに変更
● Concurrency Controls○ 並列処理数の上限を設定可能
○ DDOSの対策
● New Language(.Net 2.0 Golang)○ .NET 2.0はPreview、GolangはAnnounce
7.EC2
EC2
● EC2シリーズの追加
○ Amazon EC2 H1 Series○ Amazon EC2 M5 Series○ Amazon EC2 T2 Unlimited ○ Amazon EC2 Bare Metal
● EC2機能の追加
○ Streamlined Access to Spot Capacity○ Smooth Price Changes○ Instance Hibernation
Amazon EC2 H1 Series
● ストレージに最適化されたインスタンス
○ ビッグデータ向けに開発
○ D2シリーズと比較し、容量あたりのCPU・Memoryが増加
○ シーケンシャルI/Oに最適化された磁気ストレージを搭載
Amazon EC2 M5 Series
● 新しい世代の、標準EC2インスタンス
○ 2.5GHz Xeon Platinum 8000シリーズSkylakeプロセッサー
○ M4インスタンスに比べ14%の性能向上
Amazon EC2 T2 Unlimited
● コストを安く抑えながらCPUのバーストに対応するモデル
○ 今まではCPUクレジットが枯渇した場合に著しくパフォーマンスが低下してしまう
ことがあった
● 有効にする方法はT2 Unlimitedの作成時にUnlimitedの場所をenableにするだけで
デプロイが可能
● 実行中のT2インスタンスもUnlimited化が可能
Amazon EC2 Bare Metal
● ハードウェアへのダイレクトアクセスを提供
○ I3.metal■ CPU:Intel Xeon E5-2686 v4 (2.3GHz)×2■ Memory:512GB■ Storage:NVMe 15.2TB■ Network: 25 Gbps
EC2機能の追加
● Streamlined Access to Spot Capacity○ インスタンスを起動するときに、容量が利用可能である限り、要求を実行
可能
○ スポットマーケット、入札などの煩雑な処理なし
● Smooth Price Changes○ Spotインスタンスの価格変化が緩やかになるように変更
● Instance Hibernation○ インスタンスの再利用時に、メモリ状態の保持が可能
Others
Amazon MQ
● ActiveMQをサポートしたマネージドメッセージブローカーサービス
○ 要はActiveMQをクラウド上でマネージドで使える
● JMS/MQTT/WebSocketをサポート
● AZを跨いだ自動フェイルオーバー可能なAct/Standby構成もサポート
● Cloudwatchで監視も可能
Amazon GuardDuty
● VPCフローログ、CloudTrailイベントログを分析・処理し、
セキュリティモニタリングを行う
● 公開データやAWS上で生成されるデータ等多数をもと
に機械学習している
● 数クリックで簡単に設定可能
Amazon AppSync
GraphQL APIをベースとしたアプリケーションための
Backend as a Service
● クロスプラットフォームでデータをリアルタイム同期可能
● GoogleのFirebaseの競合と考えられる
Amazon S3 Select & Glacier Select
● アプリケーションから、SQL文を用いてオブジェクトから
データの一部分を取り出し可能
○ E.g. GZIPで圧縮されたCSVファイルから必要なデー
タだけを取り出す
AWS Cloud9
● ブラウザ上で使えるIDE○ 複数人でリアルタイム編集
○ AWS Lambdaへデプロイ可能
○ Localテスト環境としてEC2インスタンスが立つ
2.New Releaseから見るAWSのTrend
Trend of Cloud
ML / AIContainer Serverless
Trends
Trends -> Container
Trends -> Container
出典: http://www.itmedia.co.jp/enterprise/articles/1612/19/news041.html
アプリ毎の実行環境を仮想化インフラの更新単位が
より小さく
“Microservices” 変化に強いインフラへ
Trends -> Container
出典: https://ubiteku.oinker.me/2017/02/21/docker-and-kubernetes-intro/
Trends -> Container
出典: https://thenewstack.io/tns-research-present-state-container-orchestration/
Trends -> Container
● Public Cloudの世界では各社がManaged k8sを提供
2015年8月からGA (当初はGoogle Container Engine)
2017年10月末 Previewを発表
Trends -> Container
AWSは・・？
Trends -> Container
出典: https://japan.zdnet.com/article/35105594/
※ CNCF = k8sの知的所有権を持つ、現在の k8s開発主体の団体
Trends -> Container
出典: http://www.publickey1.jp/blog/17/amazon_ekskubernetesaws_reinvent_2017.html
Trends -> Container
Trends -> Container
● ECS自体それなりのシェアがあり、CloudFormation等AWS内のサービスとも親和性が高い
● EKSは、既にオンプレや他社クラウドでk8sを利用(またはk8s on EC2)しているユーザをメインターゲットとしていると考えられ
る
○ IAM、VPC等、AWSの世界へk8sを持ってこれる
Trends -> Container
2017年7月末に発表
● AzureContainerInstances(ACI)はわずか2行のコマンドでコンテナ起動可能
● 一方、Fargateは設定項目が多い (Cluster, Task, Container…)
● ACIはPaaSライクなサービス , FargateはCluster Nodeの管理を不要にしたECS という印象
Trends -> ML / AI
AWSが提供するMLのサービス
http://bit.ly/awsreinvent2017wrapup
全ての層でサービスを発表
Trends -> ML / AI
クラウドサービス
AWS Azure GCP
自然言語 自然言語理解 Amazon Comprehend
Text Analytics API Cloud Natural Language API
多言語翻訳 AmazonTranslate
Translator Text API
Cloud Translation API
音声 Speech to Text AmazonTranscribe
Bing Speech API Speech API
映像 動画認識 AmazonRekognition Video
Media Analytics Cloud Vision API
AWSの新サービスと他クラウドのサービスの比較
Trends -> ML / AI
AWSとMicrosoftがAI開発フレームワークで協力
Keynoteでも紹介
- Gluon
Trends -> ML / AI
開発者向けのML / AI搭載型のデバイスを発表
ビジネス向けのML / AIサービスも発表
- AWS Deeplens- Alexa for Business
Trends -> Serverless
注目のサービス
- Lambda- AWS Serverless Application Repository- Aurora Serverless & Multi-Master、DynamoDB Global Table
Aurora Lambda
Trends -> Serverless
● PaaS、SaaSを利用して構築された基盤を構築
● 特徴
○ 運用者がServerを管理せずにサービスを提供可能
○ オートスケール
○ 従量課金による低コスト
リクエストに応じてスケール
Load Balancer
App Server
App Server
API Gateway
Lambda
Lambda
リクエストに応じて起動、課金
最大2台分のリクエストしか処理できない
ユーザアクセスがない場合も起動、課金
Lambda
従来 Serverless
Trends -> Serverless
- Lambda
Lambda
New Support &Announce
対応言語の幅を広げる
＋
Trends -> Serverless
- FaaSがサポートする言語比較Cloud Name AWS Azure GCP
FaaS Name Lambda Azure Functions Cloud Functions
Language javascript 〇 〇 〇
python 〇 〇 -
java 〇 〇 -
C# 〇 〇 -
F# - 〇 -
golang Announcement - -
PHP - Announcement -
golangをFaaSでサポートするAnnounceはAWSが初
Trends -> Serverless
- AWS Serverless Application Repository- Serverlessに関するRepositoryをAWSが公開
- Git等の他のレポジトリと連携可能
- 公開・非公開（Public、Private）の設定が可能
Trends -> Serverless
- 他の有名なレポジトリ
- Docker Hub- Terraform Module Registry- Chef Supermarket
Communityを形成し、利用者を増やす
Trends -> Serverless
- Aurora Serverless & Multi-Master- 今まではNoSQLのみだったが、今回の発表でRDSをServerlessで利用
可能に
- DynamoDB Global Table- 今までRegion内で提供されていたサービスがGlobalに対応
- Global Tableと同時にリストアのサービスも出すことで、マイグレー
ションを推進
Trends -> Serverless
Globalな分散データベースをフルマネージドで提供する時代
SpannerCosmosDBDynamoDB
Regionless Architectureの時代へ
Aurora
Trendsまとめ
● Container○ よりシェアが高いツール(k8s)を取り入れ、AWSだけで完結可能を目指す
○ Container Orchestrationのさらなるマネージド化(Fargate)
● ML / AI○ Microsoftと協業、MLを強化
○ 競合クラウドと同様の機能を取り入れた
● Serverless○ Lambdaでサポートする言語を増やす
○ Serverless Architectureのエコシステムを形成するための基盤を用意
○ ServerlessからRegionlessなArchitectureへ
3.AWS re:Inventで見たAWSの強さとは
Insight into the strength of AWS
AWS re:Inventで見たAWSの強さとは
・New Releaseから見るAWSの強さ
・AWSと競合クラウド
・AWSの志向
New Releaseから見るAWSの強さ
今回は他社の追従が多くあった
- EKS- DynamoDB(NoSQL Global Replication)- Resource Group- インターリージョンVPCピアリング
・・・etc
後発となってしまったAWS独自の強さは？
Everything is EverythingNew Releaseから見るAWSの強さ
New Releaseから見るAWSの強さ
全てのサービスが既存のサービスと連動していく
Everything is EverythingNew Releaseから見るAWSの強さ
顧客が新しいことにチャレンジできるよう、既存のワークロードを変化させず、チャレンジできるサービスを追加
AWSと競合クラウド
トップシェアのAWSと競合の関係は？
依然としてシェアはトップ
After winter, must come springAWSと競合クラウド
AWSと競合クラウド
出典: https://thenewstack.io/tns-research-present-state-container-orchestration/
AWSと競合クラウド
Top Programming Languages 2017
https://spectrum.ieee.org/static/interactive-the-top-programming-languages-2017
AWSと競合クラウド
Microsoftとの連携
・Gluon
・AMI on EC2 Windows
・Lambda(.NET Core 2.0サポート)
・SMS for Hyper-V Virtual Machines
などなど
https://aws.amazon.com/jp/blogs/news/reinvent-recap-announcements-to-boost-enterprise-innovation-with-windows
AWSと競合クラウド
競合の動向より、顧客の動向をベースとして実装していく
Lambda
After winter, must come springAWSと競合クラウド
時代の移り変わりに伴い協業や顧客の意見に柔軟に対応
コンテンツを増やしていく
AWSの志向
今回のre:Inventでも多くのアップデートがありました
AWSの目指すものとは？https://www.slideshare.net/ohashimamoru/aws-reinvent2017
79 Update
AWSの志向
Musicians and Builders
AWSの志向
「MusiciansとBuildersは
何かを作るという点では同じ」
(Andy Jassy：CEO, Amazon Web Service)
AWSの志向
Amazonの信念
『常に顧客中心に考えること』
『発明を続けること』
『我慢強くあること』
95%以上のAWSの新機能は
顧客からのフィードバックに基づいている
AWSの志向
Musicians and Builders
音楽を奏でる人たちのように自由に一つでも多くの顧客のロジックを
AWSで実現できるようにサービスを出す
AWS re:Inventで見た
AWSの強さとは？
徹底的な顧客志向
“最後に
今後ともAWS、Azure、GCPなど他社クラウドに関する情報発信をしていきますので、今後ともよろしくお願い致します
Thank you
