えーだぶりゅーえすを完全初心者が触ってみた！

～Amazon S3編～

2015年1月21日

いけがみ みどり

自己紹介

Amazon S3について

S3環境の構築

S3環境へのデータ転送について

触ってみた感想

あじぇんだ

池上 緑（いけがみ みどり）ＧＭＯクラウドＷＥＳＴ株式会社

よく間違われますが正真正銘のサーバーエンジニア 最近はほぼクラウドエンジニア 会社ではVMware使い

個人では JAWS-UG関西女子会メンバー。 最近はちょこちょこ勉強会とかイベントとか参加。 パイ投げ挑戦したりレイヤーやってたりJKなってたりいろいろ（ 最近はどりぃって呼んでくれる人も増えてるので

初めての方は どりぃ∩ ＾ω＾）で覚えてください！(๑・౩・๑）

3月はJAWS DAYSスタッフするよ！

自己紹介

@p52_rocca

ＢＣＰ対策としてクラウドバックアップってやっぱり魅力だよね

・・・ということで|ω・)ｺｯｿﾘ

まずは手始めに簡単なところから！

レプリケーション構成のデータベースのバックアップを

Ｓ３に取ってみたよ！

正式にはAmazon Simple Storage Service（Amazon S3）

安全で耐久性があり拡張性の高いオブジェクトストレージ シンプルなWebインターフェースで使いやすい！ 実際の使用分のみの支払い（新規でAWSのアカウント作成し

たら無料枠がついてくるので、比較的気軽に試せるよ）

Amazon S3 は、単独で使用することも、Amazon EC2（Webサーバー）に代表される他の AWS サービスやサードパーティ製のストレージリポジトリやゲートウェイと組み合わせて使用することも可能。

クラウドアプリケーション、コンテンツ配信、バックアップとアーカイブ、災害対策、ビッグデータ分析などのさまざまなユースケースに対して、柔軟に利用出来る製品。

Amazon S3について

http://aws.amazon.com/jp/s3/

vSOM を手に入れた管理者

仮想環境全体を見渡せるからされているから、調査を始めやすいな。

参照系クエリ

更新系クエリ

非同期レプリケーション（実行中）

マスタサーバー（DBサーバー①）CentOS（Linux）

スレーブサーバー（DBサーバー②）CentOS（Linux）

ざくっと構成図

Amazon S3

S3にバックアップ

Active/StandbyのMySQLレプリケーション構成（オンプレ）スレーブサーバーで取得したmysqldumpをS3に転送要はデータベースのバックアップ先をS3にするってこと！MySQLレプリケーション？知らない人はｇｇったら幸せに（

さて問題はS3の構築なわけだが…

S3環境の構築（その1） AWSアカウントを作成

アカウント作成方法はここでは割愛。詳しい方々に教えてもらいましょう。

作成したアカウントでAWS マネジメントコンソールにログインhttp://aws.amazon.com/jp/console/

ログイン後にS3を選択。

初回はまずバケット（データを保存する箱）を作成するところから

しかしこの後思いもよらない災難が・・・

S3環境の構築（その2） バケット作る時は、作る先のリージョン（場所）の指定が必要。

特に何もなかったら東京かな・・・

バケットは全リージョンでユニークな名前でないといけないので、固有名詞とかで先に作成されてしまっていたら、そのバケット名は利用できない。

しかしこの後思いもよらない災難が・・・

S3環境の構築（その3） 今回は、テストサーバーにちなんだバケット名にしてみた。

無事作成完了。ここまでは簡単なんだよねー。

次に、このバケットの中にデータを転送する。

しかしこの後思いもよらない災難が・・・

今回はあくまで一転送方式のご紹介です。

Linuxからの転送になるので、コマンドがやりやすいなーと思い、モニョモニョあーでもないこーでもないと試行錯誤した結果・・・

s3syncにしてみたよ！

（CLIよくわからない人は寝てていいよ）

S3環境へのデータ転送方法について

S3環境へのデータ転送（その1） s3syncをダウンロードして展開。http://s3.amazonaws.com/ServEdge_pub/s3sync/s3sync.tar.gz

.bashrcにPATHを追記して反映させる。

反映されている事を確認。

[root@ns local]# ll /usr/local/.s3sync/

合計 132-rwx------ 1 root root 3591 6月 17 04:24 2008 HTTPStreaming.rb-rwx------ 1 root root 15968 6月 17 04:31 2008 README.txt-rwx------ 1 root root 5275 3月 13 12:18 2008 README_s3cmd.txt-rwx------ 1 root root 22263 3月 13 12:18 2008 S3.rb-rwx------ 1 root root 5699 3月 13 12:18 2008 S3_s3sync_mod.rb-rwx------ 1 root root 1849 3月 13 12:18 2008 S3encoder.rb-rwx------ 1 root root 9932 6月 17 04:30 2008 s3cmd.rb-rwx------ 1 root root 1002 3月 13 12:18 2008 s3config.rb-rwx------ 1 root root 106 1月 18 13:05 2015 s3config.yml-rwx------ 1 root root 129 3月 13 12:18 2008 s3config.yml.example-rwx------ 1 root root 28237 6月 17 04:30 2008 s3sync.rb-rwx------ 1 root root 7103 6月 17 04:29 2008 s3try.rb-rwx------ 1 root root 7603 3月 13 12:18 2008 thread_generator.rb

PATH="$PATH":/usr/local/.s3sync

[root@ns .s3sync]# echo $PATH/usr/lib64/qt-3.3/bin:/usr/kerberos/sbin:/usr/kerberos/bin:/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/opt/dell/srvadmin/bin:/opt/dell/srvadmin/sbin:/root/bin:/usr/local/.s3sync

S3環境へのデータ転送（その2） AWSマネージメントコンソールのSecurity Credentialsでキーを発行し、その情報を環境変数で指定する。

バケットの中身が見えるようになった。

[root@ns ~]# export AWS_ACCESS_KEY_ID=************************[root@ns ~]# export AWS_SECRET_ACCESS_KEY=5snAg*************************[root@ns ~]# export AWS_CALLING_FORMAT="SUBDOMAIN"

[root@ns ~]# s3cmd.rb listbucketsg-demo4

S3環境へのデータ転送（その3） まずは実際にどんな動きになるのか試してから・・・

実行

AWSマネージメントコンソールから確認してもデータが転送されている事を確認。

[root@ns ~]# s3sync.rb --dryrun -r --delete /home/homepage/mysql g-demo4:/Create nodeCreate node dbdump.sql

[root@ns ~]# s3sync.rb -r --delete /home/homepage/mysql g-demo4:/

[root@ns ~]# s3cmd.rb list g-demo4:/--------------------/mysql/mysql/dbdump.sql

ここまではまだ初期段階！今後はここからもうちょっと作り込んでいく予定だよ！

S3自体は他のオブジェクトストレージの検証で触った経験有り。一番入りやすいかなと思った。

基本的なコマンドやツールは一緒だけど、AWSのマネジメントコンソール上でいろいろひっかかった。

IAMユーザーとか作ってしまったせいでポリシー考えるのに余計な工数かかった(´-ω-`)

ブログとかドキュメント充実してるのはいいけど、古い情報とかも混ざってるので情報が錯綜して勢いでやってみようかーって気持ちにならない。

超初心者向けとかあったら参加したい！

触ってみた感想

みんな最初はよくわからない。ここから一緒に

勉強していきましょう！

JAWS-UG関西女子会運営メンバー

JAWS-UG関西女子会をサポートしてくださっている方々

会場をご提供頂いたエムオーテックス様

ご来場頂いているIT女子の皆様

ご清聴頂きまして本当にありがとうございました！

Ｓｐｅｃｉａｌ Ｔｈａｎｋｓ