S3 hybrid uploading

2016/4/4JAWS-UG ARCH

Hybrid Architecture Discussion #4山 奈緒美﨑

自己紹介 山 奈緒美﨑JAWS-UG 初心者支部

JAWS-UG アーキテクチャ専門支部

JAWS-UG 情シス支部AWS-HUB HUB 長

AWS Samurai 2015

宮崎 鵜戸神宮

Redshift にデータを

　突っ込みたい。

AWS 環境なら・・・

endpoints bucketAmazon EC2

Amazon Redshift

Hybrid 環境では・・・？

endpointsbucket Amazon Redshift

？？？

1.オンプレから S3 へアップロードしたい

2.DirectConnect を通したい

3.オンプレサーバ側にクレデンシャル情報をベタ書きしたくない

4.Windows, Linux, AIX からアップロード

5.AWS SDK ？何それうまいの？

6.AssumeRole で一時キー取得？何それうま(ry

7.つうか SFTP がいいんですけどー

必要要件

悪魔の囁きが聴こえた気がする

こんなかんじになりました

endpoints bucket Amazon Redshift

SFTP Server

S3fs

S3fsアンチパターン一丁上がり！

endpoints bucket Amazon Redshift

こんなかんじになりました

SFTP Server

endpoints bucket Amazon Redshift

データ連携対象が増えた。

SFTP Server

Sent status No such file　

アップロード失敗しまくり

Mar 24 01:19:50 ip-172-XXX-XXX-XXX internal-sftp[8921]: session opened for local user abcdefg from [172.XXX.XXX.XXX]Mar 24 01:19:50 ip-172-XXX-XXX-XXX internal-sftp[8921]: open "/dat.XXX.aws/data/abcdefg/AIR_TBL_M.zip" flags WRITE,CREATE,TRUNCATE mode 0666Mar 24 01:19:51 ip-172-XXX-XXX-XXX internal-sftp[8921]: close "/dat.XXX.aws/data/abcdefg/AIR_TBL_M.zip" bytes read 0 written 172Mar 24 01:19:51 ip-172-XXX-XXX-XXX internal-sftp[8921]: sent status No such fileMar 24 01:19:51 ip-172-XXX-XXX-XXX internal-sftp[8921]: set "/dat.XXX.aws/data/abcdefg/AIR_TBL_M.zip" modtime 20160323-16:20:05Mar 24 01:19:52 ip-172-XXX-XXX-XXX internal-sftp[8921]: sent status No such fileMar 24 01:19:52 ip-172-XXX-XXX-XXX internal-sftp[8921]: session closed for local user abcdefg from [172.XXX.XXX.XXX]

Mar 24 01:19:52 ip-172-XXX-XXX-XXX internal-sftp[8926]: session opened for local user abcdefg from [172.XXX.XXX.XXX]Mar 24 01:19:52 ip-172-XXX-XXX-XXX internal-sftp[8926]: open "/dat.XXX.aws/data/abcdefg/AIR_TBL_M.zip" flags WRITE,CREATE,TRUNCATE mode 0666Mar 24 01:19:53 ip-172-XXX-XXX-XXX internal-sftp[8926]: close "/dat.XXX.aws/data/abcdefg/AIR_TBL_M.zip" bytes read 0 written 172Mar 24 01:19:53 ip-172-XXX-XXX-XXX internal-sftp[8926]: set "/dat.XXX.aws/data/abcdefg/AIR_TBL_M.zip" modtime 20160323-16:20:05Mar 24 01:19:53 ip-172-XXX-XXX-XXX internal-sftp[8926]: open "/dat.XXX.aws/data/abcdefg/CAMP_TBL_M.zip" flags WRITE,CREATE,TRUNCATE mode 0666Mar 24 01:19:53 ip-172-XXX-XXX-XXX internal-sftp[8926]: close "/dat.XXX.aws/data/abcdefg/CAMP_TBL_M.zip" bytes read 0 written 174Mar 24 01:19:54 ip-172-XXX-XXX-XXX internal-sftp[8926]: sent status No such fileMar 24 01:19:54 ip-172-XXX-XXX-XXX internal-sftp[8926]: set "/dat.XXX.aws/data/abcdefg/CAMP_TBL_M.zip" modtime 20160323-16:20:06Mar 24 01:19:54 ip-172-XXX-XXX-XXX internal-sftp[8926]: sent status No such fileMar 24 01:19:54 ip-172-XXX-XXX-XXX internal-sftp[8926]: session closed for local user abcdefg from [172.XXX.XXX.XXX]

とりいそぎリトライ処理

入れてみたけど

こんなに失敗するモノだっけ？

そろそろ見直しの時期が来たようです

endpoints bucket Amazon Redshift

こんなかんじ？

SFTP Server

1. EC2 インスタンスに IAM Role を付与

2. lsyncd or inotify を起動3. SFTP アップロード先は EBS にす

る4. lsyncd or inotify がファイル

アップロードを検知5. aws s3 cp コマンド実行

Anything else?