2014 1019 Public OpenStack Swift service by ConoHa IaaS

Copyright (c) 2014 GMO Internet, Inc. All Rights Reserved.

ConoHa、OpenStack SwiftでObject

Storage始めました。 ~ ConoHaのOpenStack Swift環境について~

GMOインターネット株式会社システム本部郷古直仁OSC Tokyo 2014/Fall 2014-10-19


自己紹介•郷古直仁(@naoto_gohko)

•所属:GMOインターネットシステム本部第二サービス開発部オープンコンピューティングチーム

•ConoHaサービスの開発運用、GMOアプリクラウドのサービスの開発運用、お名前.com VPS KVMの運用などクラウド系サービスのお仕事、OpenStack関係

• Ingressは… 緑だけど…


自己紹介•美雲このは(@MikumoConoHa)

•クラウドのようなVPS「ConoHa」の応援団長

•データセンターの座敷童子

•年齢: 13歳くらい？

•身長: 150cm＋α

•https://www.conoha.jp/blog/conoha

https://www.conoha.jp/blog/conoha


ConoHa webのリニューアルhttps://www.conoha.jp/•上記URLにアクセスすると、会社で開いても落ち着いて見られるデザインに(このはのダークスーツ姿ではなかったw)

https://www.conoha.jp/


ConoHa webのこのは仕様https://www.conoha.jp/conoha•上記URLにアクセスすると、新しいConoHaデザイン

デザイン設定切り替え

https://www.conoha.jp/osc2014


ConoHa webのリニューアルhttps://www.conoha.jp/•リニューアルとともに、OpenStack Swiftを使ったObject Storageのサービスが追加されました

https://www.conoha.jp/osc2014


•OpenStack Swiftを使ったObject Storage •RESTful httpsアクセス可能な分散ストレージシステム •450円/100GB単位から転送量無制限、容量上限なし

オブジェクトストレージ始めました(2014/09~)

OSC Tokyo 2014/Fall•OpenStack関係のセミナー多し!!

オブジェクトストレージとは?•ファイルオブジェクトの格納場所はコンテナ(バケット)などの格納領域の中にフラットに配置される •ファイルシステムなどに見られるディレクトリ構造とは対照的

•オブジェクトの格納されるストレージ領域は冗長性と分散性を持つ •レプリカの数やキャッシュの工夫によりwebの配信エンジンとしての利用も

•アクセスにはRESTfulなwebの仕組みを利用する場合がほとんど •メタデータのアクセスにhttpを利用

file filestack

file

filestack

OpenStack Swiftとは?•オブジェクトの格納領域はAccount, Container, Objectの3サービスにより管理される •Swift Proxyサービスがオブジェクトの保存情報をAccount, Containerに保存、実オブジェクトはObjectサービスに保存 •認証サービスには主にKeystoneを利用する •メタデータなどの機能pluginはSwift Proxyに入れることで、機能が拡張できる •システムの独立性が高いので、メジャーバージョンアップしやすい •SoftLayer, HPCloud, CloudVPSrackspace cloudfiles などと共通

swift proxy

swift account

swift container

swift objectsswift objects

keystone

swift proxy keystone

swift account

swift container

swift objectsswift objects

plugin ratelimit

plugin s3swift

plugin static web

plugin … …

OpenStack Swift: ConoHa•OpenStack HavanaSwift 1.12 •5 zones •3 copy objects •keystone authConoHa (Grizzly)GMO Apps Cloud (Havana)=>> Swiftと認証系のOpenStackが違います


ConoHaのObject Storageの構成の秘密: 1

•実は、OpenStack Swift上、データ領域はGMOアプリクラウド(OpenStack Havana)と同居している=>> tenant_id(user)がそれぞれのkeystoneで重複しないことが条件

swift proxy keystone swift proxy keystone

swift account

swift container

swift account

swift container

swift account

swift container

swift objectsswift objects swift objectsswift objects swift objectsswift objects swift objectsswift objects swift objectsswift objects

swift account

swift container

swift account

swift container

Havana Grizzly

Havana



•Storage Clusterを共有するメリット=>> OpenStack SwiftはScale outさせるほうがメリットが高い=>> 共通化することで、コストメリットも


swift account

swift container

swift account

swift container

swift account

swift container


swift account

swift container

swift account

swift container

Havana Grizzly

Havana



•Storage Clusterを共有するメリットおなじOpenStack Swiftを使う=>> 利用方法など、ノウハウがたまり、提案しやすくなる


Havana Grizzly


ConoHaのObject Storageの構成の秘密:2

•構成のチューニングとしては、Account, Containerの両方のサービスは分散メタデータ型データベースとして動作するので、CPU、Disk IOに注意する(SSD以上の高速ストレージ、CPUのObjectサービスとの分離)


swift account

swift container

swift account

swift container

swift account

swift container


swift account

swift container

swift account

swift container

Havana Grizzly

Havana



•Network構成はFull 10Gbps NetworkObject storage/glance global network

Storage node network

proxy node network

Replication network

Universal service for ConoHa and GMO Apps cloud Unit8 (Physical Layer)

LVS DSR(act-stdby)

Manage/IPMI network (Object Storage only)

the Cloud(Internet)

Reverse proxyHAProxy

Reverse proxyHAProxy

swift-proxy

swift-proxy

LVSpacemaker

LVSpacemaker

zone 01 zone 02 zone 03 zone 04 zone 05

swift-proxy01

swift-proxy02

reverse-proxy01 reverse-proxy02elvs01

elvs02

IBM Xeon E5CPU 2 socket

MicroNodex2

MicroNodex2

sdata01 sdata02 sdata03 sdata04 sdata05

sdata06 sdata07 sdata08 sdata09 sdata10

Manage network (Unit8 Compute)

GMO Apps cloud Unit8 (Physical Layer)the Internet

LVS DSR(act-act)

vm instancesx2

nfv-lvs01

nfv-lvs02

LVSpacemaker

LVSpacemaker

proxy node network

Reverse proxynginx

Reverse proxynginx vm instances

x2

keystone01keystone02

keystone APIkeystone DB MySQLkeystone token kvs (mysql memcache IF)

api-app01api-app02

nova APIcinder APIceilometer API

vm instancesx2

vm instancesx2

keystone-db01keystone-db02

MariaDBGalera cluster

MySQL DB

api-reverse-proxy01 api-reverse-proxy02

containeraccount

account01containeraccount




account05



•提供URL EndpointはHTTPSSSL TerminationにはHAProxyを利用(HAProxy 1.5からHTTPS利用可能です)


swift account

swift container

swift account

swift container

swift account

swift container


swift account

swift container

swift account

swift container

Havana GrizzlyHavana

revers proxy revers proxy


HAProxy 1.5


nginx (keystone API;reverse proxy)


どうやって使うの＞＜


利用例 01: WordPress pluginからのFull backup; UpdraftPlus

•WordPressのpluginでweb, DBのfull backupがObject Storageに取得できるplug in http://updraftplus.com •plug inを入れて設定のみ Full backupなので、 siteの複製にも使えます •URLが変わる場合にはWordPressではfull pathで記載されるので注意が必要

http://updraftplus.com


利用例 02: ownCloud•Dropboxのように使えるownCloud serverには、OpenStack Swiftをバックエンドストレージとしてセットアップすることで、ownCloud自体の冗長性を拡張できます http://owncloud.org •ownCloudさんがセミナー、ブース出展していますので、そちらも見て下さい


利用例 03: StackSync•ownCloudと同様にDropbox的なインターフェースを提供するストレージサーバインターフェース http://stacksync.org •Atlanta 2014サミットで発表があったOSS


今後のOpenStack Swift対応予定•OpenStack Swiftの継続的update (予定) Swift 1.12 =>> Swift 2.1 •Swift pluginの追加機能 (予定)SwiftSync: swift to swiftのコンテナ同士の同期処理etc. •そして、さらなる使い方の共有このべん、勉強会、技術ブログに継続的に共有しますPrivate CloudでSwiftを使う場合の参考にもどうぞ


オブジェクトストレージ、もう一度おさらい

• 450円/100GB～ • 容量無制限、転送量課金なし • 使ってもらうほどスケールメリット効果が出るサービスです


では、つづいて、ひろのぶさんのOpenStack Swift使い方講座になります。

Engineering

2014 1019 Public OpenStack Swift service by ConoHa IaaS