1

AWS CodeCommit AWS CodePipeline AWS CodeDeploy

AWS Black Belt Tech Webinar 2015 アマゾン データ サービス ジャパン株式会社 コンサルタント 佐藤聖規

2015/10/28

2

サービスの頻繁なリリースは ビジネスの成功に欠かせない

• ビジネスは常に変化する – Amazon.comはインターネット書店としてスタート

– 現在はAWSやKindleなど創業当時とは違う多くのビジネスを手がけている

• 1発1中は難しい

• 頻繁にリリースし、エンドユーザやビジネスのフィードバックを受けてサービスを育てていく。

3

AWSのイノベーションのペース

2008 2009 2010 2011

Amazon EBS

Amazon EC2

Amazon SNS

AWS Identity & Access Management

AWS Import & Export

Amazon CloudWatch

Amazon EMR

Amazon RDS

Amazon VPC

Auto Scaling

Elastic Load Balancing

Amazon ElastiCache

Amazon SES

AWS CloudFormation

AWS Direct Connect

AWS Elastic Beanstalk

GovCloud

Amazon SWF

Amazon Route 53

Amazon Redshift

Amazon Glacier

Amazon Dynamo DB

Amazon CloudSearch

AWS Storage Gateway

Amazon CloudTrail

Amazon CloudHSM

Amazon WorkSpaces

Amazon Kinesis

Amazon Elastic Transcoder

Amazon AppStream

AWS OpsWorks

AWS Data Pipeline

2013

2012

2014

Amazon Zocalo

EBS Encripion

Amazon Cloud Trail

EC2 T2 Instances

VPC Peering

AWS Lambda

AWS Directory Service

AWS CodeDeploy

Amazon EC2 Container Service

Amazon Aurora

4

DevOpsとは?

DevOps = ライフサイクルを高速化する効率の良さ

開発者 顧客

release test build

plan monitor

デリバリのパイプライン

フィードバックループ

ソフトウェア開発のライフサイクル

5

AmazonにおけるDevOpsの物語

6

7

モノリシックな開発のライフサイクル

開発者

release test build

デリバリパイプライン アプリ

8

• Service-Oriented Architecture (SOA)

• 単一の目的

• APIでのみ連携

• “Microservices”

9

• Two-pizza teams

• 全ての主導権

• 全ての責任

• 良くしようとする動機

• “DevOps”

10

足りないツール

開発者 デリバリパイプライン サービス

???

11

• セルフサービス

• テクノロジに依らない

• ベストプラクティス

• サービスは単一の目的

12

• デプロイサービス

• ダウンタイム無し

• ヘルスチェック

• バージョニングした成果物、ロールバック

13

• 継続的デリバリ

• コミットから本番環境まで

• 自動化されたアクションと遷移

• >90%のチームが利用

Pipelines

14

Microserviceの開発ライフサイクル

開発者 デリバリパイプライン サービス

release test build

release test build

release test build

release test build

release test build

release test build

15

= 5000万回/年のデプロイ

数千のチーム

× Microservice アーキテクチャ

× 継続的デリバリ

× 複数の環境

16

デリバリパイプラインのセットアップ

1) ソフトウェアのデプロイを自動化

2) リリースプロセスを自動化

deploy deploy deploy deploy

development test staging production

release: source > build > test > staging > production

17

デリバリパイプラインのセットアップ

0) ソフトウェアのバージョン管理

AWS CodeCommit

1) ソフトウェアのデプロイを自動化

AWS CodeDeploy

2) リリースプロセスを自動化

AWS CodePipeline

18

AWS CodeCommit/AWS CodePipeline/AWS CodeDeployの位置づけ

Monitor Provision Deploy Test Build Code

Elastic Beanstalk

OpsWorks

Cloud Watch

Cloud Formation

Code Deploy

Code Commit

Code Pipeline

19

AWS CodeCommit

20

バージョン管理システムとGit

• ファイルの変更履歴を保管する – 誰が、いつ、どのような、変更を行なったか自動的に記録する

– なぜ、はコメントとして残すことができる

– 好きな状態に戻すことができる

• ファイルの変更を保管しているデータベースをリポジトリと呼ぶ

• 近年、分散バージョン管理システムであるGitがよく採用される。

21

よくある課題

• 可用性・冗長性 – バージョン管理システムがダウンすると開発作業が進められない

• 耐久性 – リポジトリが消失するとソースコードの安定版が消失

• リポジトリサイズ – 開発が長期にわたるとリポジトリが大きくなり、ディスクサイズが足りなくなる

• パフォーマンス – 開発規模が大きくなるとバージョン管理システム自体のパフォーマンスが劣化

22

AWS CodeCommit

• Availability Zoneを跨ぎデータを冗長化

• データは暗号化されて保存

• IAMとの統合

• リポジトリのサイズは無制限

git push AWS CodeCommit

Gitのオブジェクトは Amazon S3

Gitのインデックスは Amazon DynamoDB

暗号化鍵は AWS KMS

SSH or HTTPS

安全、スケーラブル、マネージドな、Gitソース管理

23

AWS CodeCommitの特徴

• AWSのフルマネージド – Git用のインスタンスを立ててGitを管理する必要がない

– リポジトリのサイズは無制限。各ファイルは2GBまで

• 普通のGitリポジトリとして使える – 既存のリポジトリからの移行が容易

• AWS KMSを使って保存データは暗号化される

• アクセス権をIAMでコントロールできる – ssh公開鍵無しにAWS CLIと連携した認証も可能

24

Getting Started with https

• Step 1: AWS CodeCommitを使うためのIAMユーザの作成やAWS CLIのセットアップ

• Step 2: Gitのインストール • Step 3: Credential Helperのインストール • Step 4: AWS CodeCommitリポジトリの作成とClone • 手順Mac/Linux

– http://docs.aws.amazon.com/ja_jp/codecommit/latest/userguide/setting-up-https-unixes.html

• 手順Windows – http://docs.aws.amazon.com/ja_jp/codecommit/latest/userguide/settin

g-up-https-windows.html

25

Step 3: Credential Helperのインストール Mac/Linuxでのサンプル

$git config --global credential.helper '!aws --profile default codecommit credential-helper $@' $git config --global credential.UseHttpPath true

Credential Helperの設定

~/.gitconfigの中身

[credential] helper = !aws --profile CodeCommitProfile codecommit credential-helper $@ UseHttpPath = true

Mac OS Xの場合はKeychainの設定をしないと約15分で接続できなくなるので注意

26

Step 3: Credential Helperのインストール Windowsでのサンプル

cd %PROGRAMFILES(X86)%\AWS Tools\CodeCommit git-credential-AWSS4.exe -p default

Credential Helperの設定

%HOME%/.gitconfigの中身

[credential] helper = !'C:\\Users\\user-name\\AppData\\Roaming\\GitCredStore\\git-credential-AWSSV4.exe' --profile=CodeCommitProfile UseHttpPath = true

27

Getting Started with ssh

• Step 1: AWS CodeCommitを使うためのIAMユーザの作成 • Step 2: Gitのインストール • Step 3: SSH公開鍵の登録と秘密鍵の設定 • Step 4: AWS CodeCommitリポジトリの作成とClone • 手順Mac/Linux

– http://docs.aws.amazon.com/ja_jp/codecommit/latest/userguide/setting-up-ssh-unixes.html

• 手順Windows – http://docs.aws.amazon.com/ja_jp/codecommit/latest/userguide/settin

g-up-ssh-windows.html

28

Step 3: SSH公開鍵の登録と秘密鍵の設定 IAMユーザへのSSH公開鍵の登録

注意 iam:UploadSSHPublicKeyのポリシー設定が必要です。

29

Step 3: SSH公開鍵の登録と秘密鍵の設定

30

Step 3: SSH公開鍵の登録と秘密鍵の設定

31

Step 3: SSH公開鍵の登録と秘密鍵の設定

Host git-codecommit.*.amazonaws.com User APKAEIBAERJR2******* IdentityFile ~/.ssh/codecommit_rsa

~/.ssh/configファイルに以下を追記 UserにはSSH Key IDを指定

git clone ssh://Your-SSH-Key-ID@git-codecommit.us-east-1.amazonaws.com/v1/repos/MyDemoRepo my-demo-repo

WindowsではユーザIDをSSH Key IDとして指定

32

コンソールでソースコードを閲覧 〜ファイルの一覧

33

コンソールでソースコードを閲覧 〜ソースコードの表示

34

コンソールでソースコードを閲覧 〜MarkDownのレンダリング

35

AWS CodeCommitの料金

• ユーザ課金 – 1アクティブユーザ毎に$1/月

• 無料利用枠 – 5アクティブユーザ/月 – 50 GB/月 – 10,000 req/月

※アクティブユーザとは その月に1回でもCodeCommitにアクセスがあったIAM user/role等が対象

• ストレージ課金 – 10 GB/1アクティブユーザ/月が無料 – 超過分は$0.06/GB/月

• Gitリクエスト課金 – 2,000req/1アクティブユーザ/月が無料 – 超過分は$0.001/req – pullとpushが対象

• データ転送が無ければ対象外

36

よくある課題をAWS CodeCommitで解決

• 可用性・冗長性

→AWSのマネージドサービスで可用性や冗長性を確保

• 耐久性

→データはS3に配置されるため高い耐久性を誇る

• リポジトリサイズ

→リポジトリサイズは無制限

• パフォーマンス

→パフォーマンスはスケーラブル

37

AWS CodePipeline

38

デプロイメントパイプラインとは

• ソースコードからビルドやテストなどのステージを自動化したプロセス

• プロセスは開発チームやサービスそれぞれで異なる

• スムーズなデプロイメントには欠かせない

ソースコード

ビルド テスト ステージ デプロイ

本番 デプロイ

UAT

デプロイメントパイプライン

39

よくある課題

• デプロイメントパイプラインの設定が複雑 – デプロイ職人が生まれてしまう。

• 標準化されないデプロイメントパイプライン – デプロイメントパイプラインを他プロジェクトで再現できない

• デプロイメントパイプラインのバックアップ – 消失するとデプロイできなくなる

40

AWS CodePipeline

• カスタマイズ可能なワークフローエンジン

• パートナーやカスタムのシステムと連携

• ビジュアルエディターと可視化されたステータス

継続的デリバリー、リリース自動化を、Amazonの様に

Build 1) ビルド

2) Unitテスト

1) デプロイ

2) UIテスト

Source Beta Production

1) デプロイ

2) 負荷テスト

Gamma

1) カナリア デプロイ

2) リージョン1 デプロイ

3) リージョン2 デプロイ

41

AWS CodePipelineの特徴

• AWSマネージドのワークフローコントローラ – Build/Test/Deployを組み合わせた複雑なワークフロー

• AWSサービスやサードパーティとの連携が充実 – DeployとしてAWS CodeDeployやAWS Elastic Beanstalk

– BuildやTestをJenkinsサーバと連携

• 見やすいUI – マネージメントコンソールで確認・操作ができる

42

開発のスタイルにあったワークフローを自由に 例えば

ソースコード

ビルド ユニット テスト

ステージ デプロイ

本番 デプロイ

A機能画面 テスト

CodePipeline

ステージ デプロイ

B機能画面 テスト

43

開発のスタイルにあったワークフローを自由に

44

AWS CodePipeline パートナー連携

45

Custom Action

開発者が コミット

CodePipeline S3

カスタムアクションリソース

カスタムジョブワーカー カスタムビルドアクション

1. エージェントでポーリング

2. ジョブの詳細

4. ビルドの実行

3. ジョブのAck

5. ジョブの成功

46

AWS CodePipelineの料金

• 1アクティブパイプライン毎に、$1/月 – アクティブパイプラインとは、その月に1度でもアクションを実行したパイプライン

• 無料利用枠 – １パイプライン/月

47

よくある課題をAWS CodePipelineで解決

• デプロイメントパイプラインの設定が複雑

→見やすいUIで設定できる。もちろんCLIでも。

• 標準化されないデプロイメントパイプライン→CodePipelineなら標準化も簡単

• デプロイメントパイプラインのバックアップ

→マネージドサービスで消失の可能性は低い

48

AWS CodeDeploy

49

デプロイとは？

• アプリケーションやアセットの更新をサーバに反映させること

• 実際には、更新されたファイル群を対象のサーバ群に配布する

Availability Zone Availability Zone

v2

50

デプロイとビルド・プロビジョニングの違い

• ビルド – ソースコードから配布すべき成果物を生成する

• プロビジョニング – サーバにソフトウェアをインストール&設定

• オーケストレーション – DBやLBとのつなぎ込み

• デプロイ – アセットの更新をサーバに反映

ソース コード

ビルド ex. mvn, bundle

プロビジョニング ex. chef, puppet

オーケストレーション

デプロイ

Apache, Nginx Ruby, JDK Config, etc.

WEB LB

DB

Amazon Linux

51

よくあるデプロイ手法と課題

• Push型 – デプロイ元からデプロイ先へ – FTP, rsync, git pull

– Capistrano, Fabric

• 課題 – 自動化できていない

• 人間がサーバにログインしてコマンドを手動で実行している

– デプロイサーバの負荷、シングルポイント

– 新規サーバ構築時にデプロイ対象がわからない

– 複数人でデプロイがぶつからない様に管理するのが面倒

52

デプロイの効率化・安定化

• 質の高いリリースのためには、必要不可欠

• 効率的で安定している仕組みがあるなら、それを使わない手はない

AWS CodeDeployが選択肢

53

AWS CodeDeploy

• 1台も数千台も同じやり方で

• 開発環境もステージング環境もプロダクションも同じやり方で

• ダウンタイム無くデプロイ

• 中央でデプロイをコントロール・モニタリング

Staging

AWS CodeDeploy v1, v2, v3

Production

Dev

自動デプロイのコーディネートを、Amazonの様に

Application revisions

Deployment groups

54

AWS CodeDeploy概要

• デプロイに特化したサービス – 指定したグループに、指定したファイルを、指定した割合ずつ

– TagやAuto Scaling Groupでグループ指定

• エージェントを入れれば利用可能 – Pull型のデプロイ、EC2以外でも – Linux & Windows対応

• 関連する処理をフックで実行可能 – アプリ再起動なども自動化できる

Staging Production

Dev

Deployment groups

Agent Agent

Agent

Agent

Agent

Agent

Agent

AWS CodeDeploy v1, v2, v3

55

AWS CodeDeployの動作

1. 配布物をアップロード – Amazon S3 / GitHub

2. デプロイを指示 – 配布物ダウンロード

– files: 所定の場所に配置

– hooks: 任意の処理実行

Deployment group

Agent Agent Agent

…

or

Amazon S3

Application

1. Upload

files

hooks

/dst

2. Deploy Download

Polling

56

Deployment config – デプロイのスピード

v2 v1 v1 v1 v1 v1 v1 v1

v2 v2 v2 v2 v1 v1 v1 v1

v2 v2 v2 v2 v2 v2 v2 v2

OneAtATime (1台ずつ)

HalfAtATime (半分ずつ)

AllAtOnce (全て一度に)

※任意の割合のconfigも作成可能

57

AppSpec File – デプロイの手順書

• files

– どのファイルをどこに配置するか指定

• hooks

– 以下の黄色のEventで実行する処理を指定

version: 0.0 os: linux files: - source: config destination: /etc/app - source: target/hello.war destination: /var/lib/tomcat6/webapps hooks: ApplicationStop: - location: deploy_hooks/stop-tomcat.sh ApplicationStart: - location: deploy_hooks/start-tomcat.sh

58

Application – 成果物 + AppSpec File

• フォルダ構成 – appspec.yml (必須) – ビルド済の成果物 – その他配布物 – hookスクリプト

• アップロード – Amazon S3のObject

• zip/tar/tgz形式対応

– GitHubのRepository • zip形式でダウンロードされる

/ ├── appspec.yml ├── config/ │ └── config.xml ├── deploy_hooks/ │ ├── start-tomcat.sh │ └── stop-tomcat.sh └── target/ └── hello.war

or

Amazon S3

注: ソースコードではなくmavenやbundle後のファイル群をput/pushすることをオススメ

59

AWS CodeDeployでやること、やらないこと

やること

• ファイルをサーバに配る

• hookスクリプトの実行 – アプリ再起動

– オーケストレーション • ELB付け外し等

• これらの実行を中央管理 – 進捗やエラーログが、ブラウザやAPIで確認可能

やらないこと

• ビルド

• プロビジョニング

※いずれもhookスクリプトで実行できなくはないが、効率や安定性の面で オススメしない

60

AWS CodeDeployとAuto Scaling Group(ASG)

• スケールアウト時に最新のリビジョンが自動でデプロイされる – ASGのLifecycle Hookを利用

– 追加インスタンスのみにデプロイ

• Deployment GroupにASGを指定するだけで利用可能 デプロイに成功した最新の

リビジョンが自動でデプロイ

61

AWS CodeDeploy パートナー連携

62

AWS CodeDeployの料金

• Amazon EC2へのデプロイは全て無料 – Amazon S3を使う場合は、S3の利用料

• オンプレミスインスタンスへのデプロイ – $0.02/インスタンス/デプロイ

63

よくある課題をAWS CodeDeployで解決

• 自動化できていない →もちろん自動的にデプロイ • デプロイサーバの負荷、シングルポイント →マネージドサービスのためパフォーマンス、耐障害性も気にしなくて良くなる • 新規サーバ構築時にデプロイ対象がわからない →CodeDeployなら、AutoScalingと連動し自動でデプロイ • 複数人でデプロイがぶつからない様に管理するのが面倒 →AWS CodeDeployで一元管理

64

まとめ

65

CodeCommit/CodePipeline/CodeDeploy リリース状況

• CodeCommit – 2015年7月にGA!

– N. Virginia のみ

• CodePipeline – 2015年7月にGA!

– N. Virginia / Oregon

• CodeDeploy – 2015年8月東京リージョンで利用可能に!

2015年10月28日現在

66

質の高い開発のためには質の高いツールを

• 質の高い開発を継続するには、ツールが重要

• ただし、ツールだけではなく同時にアーキテクチャやプロセスと組織の整備も重要

AWS CodeCommit AWS CodePipeline AWS CodeDeployの利用をご検討ください

67

参考資料 • 【AWS初心者向けWebinar】AWSのプロビジョニングからデプロイまで

http://www.slideshare.net/AmazonWebServicesJapan/awswebinaraws-54198407

• AWS CodeCommit User Guide http://docs.aws.amazon.com/ja_jp/codecommit/latest/userguide/welcome.html

• AWS CodePipeline User Guide http://docs.aws.amazon.com/ja_jp/codepipeline/latest/userguide/welcome.html

• AWS CodePipeline API Reference http://docs.aws.amazon.com/ja_jp/codepipeline/latest/APIReference/Welcome.html

• AWS CodeDeploy User Guide http://docs.aws.amazon.com/ja_jp/codedeploy/latest/userguide/welcome.html

• AWS CodeDeploy Demo https://www.youtube.com/watch?v=jcR9iIWdU7E

68

AWS Black Belt Tech Webinar 2015 AWSのサービスをディープにご紹介

• 今後の配信予定 デプロイ&プロビジョニング月間! – 10月28日(水) 18:00〜 AWS CodeCommit / AWS CodePipeline /

AWS CodeDeploy

– 11月4日 (水) お休み

– 11月11日(水)18:00〜 AWS OpsWorks

– 11月18日(水)18:00〜 AWS CloudFormation

– 11月25日(水)18:00〜 AWS Elastic Beanstalk

• 申し込みサイト – http://aws.amazon.com/jp/about-aws/events/

69

Webinar資料の配置場所

• AWS クラウドサービス活用資料集 – http://aws.amazon.com/jp/aws-jp-introduction/

70

公式Twitter/Facebook AWSの最新情報をお届けします

@awscloud_jp

検索

最新技術情報、イベント情報、お役立ち情報、お得なキャンペーン情報などを 日々更新しています！

もしくは http://on.fb.me/1vR8yWm

71

AWS初心者向けWebinar

• AWSをこれからご使用になる向けのソリューションカットのオンラインセミナー

• 申し込みサイト – http://aws.amazon.com/jp/about-aws/events/

72

ご参加ありがとうございました。