DBTS2015 Tokyo DBAが知っておくべき最新テクノロジー

DBAが知っておくべき最新テクノロジー

株式会社インサイトテクノロジー

CTO 石川雅也

Disclaimer

本資料の内容はすべて執筆者の個人的な見解であり、株式会社インサイトテクノロジーの公式な見解を示すものではありません。

本資料内で使用されている社名、ロゴ、製品、サービス名およびブランド名は、該当する各社の登録商標または商標です。

本資料内でベンチマークプログラムの一部または全てを使用して性能測定している場合、データベースのベンチマーク目的ではありません。

本資料の一部あるいは全体について許可無く複製および転載することを禁じます。

• 石川雅也 (いしかわまさや)

• 現職

o 株式会社インサイトテクノロジー取締役 CTO

FB: MasayaIshikawa

• 職歴

o 外資系HWベンダーにて、ミニコンOS, UNIX OS担当SE. 社内SE向け技術情報発信、トラブルシュート。crash dump解析、UNIX SCSI Device Driver改造とか

o 1993年日本オラクルに入社。DBインフラ系テクニカルサポート、コンサルティング、トラブルシュート。

o 1995年インサイトテクノロジー設立Oracleパフォーマンス管理ツール Performance Insight開発 (1995~)

Oracleアクセスログ取得管理ツール PISO開発 (2004~)

SQL Server版、富士通Symfoware版 PISO開発 (2005~)

DB コンサルティング、トラブルシュート

2009年 SSDのR&D開始2011年1月 DB向けIAサーバー Insight Qube R&D開始2012年3月 Insight Qube発表

自己紹介

Designed in Ebisu

Rethink

Optimized

Database

Environment

Low Performanceメモリの不足によりI/Oが多発し、またI/Oの制約によって全体性能は制限されていた

CPU/Mem

NFS/SAN/iSCSI

CPU/Mem

SSD＜

＜ InfiniBand

High PerformanceI/O制約を取り除き、さらに大容量メモリによりLatency向上し、CPU性能を最大限に発揮

Insight Qube とはたった4つしかないデータベースのボトルネック要素(システムリソース)の帯域を拡げ CPU性能を最大限に発揮するよう設計されたサーバーである

InfiniBand(8 or 18port)

ストレージノード

データベースノードReal Application Cluster

Automatic Storage Management / Oracle Clusterware

最低3ノードから最大30ノード程度 (データベースノード数により増減) SSD容量実効 200GB～6TB/ストレージノード

ノードあたり CPU:4core～24core(Intel Xeon) / Memory:4GB～768GB

Insight Qube Cluster 構成イメージ

他社DB専用機と同等性能 ~ OLTP処理

実顧客での PoCテスト内容：

約30GB相当のデータをRAC2ノードからinsert (シーケンシャル/ランダムライト)のテストを実施

DBアプライアンス製品

IAサーバー +SSDキャッシュストレージ

Insight Qube 構成

<DBサーバ 2台>

Oracle 11gR2, RAC構成(2node)

CPU: Xeon5690 (3.46GHz/6core)

Memory: 48GB

<ストレージサーバ 3台>5.8TB(実効容量2.9TB)1ストレージサーバあたり: 240GB SSD × 8枚

処理時間（秒）

Oracle

日次バッチ A 日次バッチ B 日次バッチ C 日次バッチ D 日次バッチ E 月次バッチ全体

93 100 142

511 516

191 105 174

314375

Insight Qube DB専用機 (国内メーカー) DBアプライアンス製品

他社DB専用機より高性能 ~ Batch処理

実顧客での PoCテスト内容：

元データ約800GBに対する各種日次/月次バッチ処理の処理時間を比較

処理時間（秒）

Oracle

Insight Qube 構成

<DBサーバ 2台>

Oracle 11gR2, RAC構成(2node)

CPU: Xeon E5-2680 (2.7GHz/8core)

Memory: 512GB

<ストレージサーバ 3台>4.3TB(実効容量2.15TB)1ストレージサーバあたり: 240GB SSD × 6枚

Insight Qubeは何故速いのか?

• 特別はハードウェアは使用していない。(コモディティなパーツだけで構成)

• たった4つしか無いボトルネック要素だが、細かい要因に分けていくと、検討出来る項目は数100箇所に及ぶ。それらの項目も、パーツの組合せ、各データベースの特性、処理するワークロードの特性などにより最適な解は異なる。それらの最適な解を一つ一つ検証し、適用していった結果が Insight Qubeの速度を生んでいる。

今回のセッションの目的とゴール

目的• DBAとして押さえるべき最新テクノロジーをわかりやすく紹介する。

• 今回は主にストレージの観点から、HDD, Flash, 仮想化、クラウドなど(実はHDD, 仮想化は初めて話します)

ゴール• 最新のストレージ技術について正しい知識を得る(ベンダーに騙されないために)

• その他ストレージ界隈の技術について知見を得る

今日のお品書き• HDD

o High Capacity – SMR, Helium-filled HDD

• Flasho High Capacity SSD Trend

o High Performance – NVMe

• Virtualization, Cloudo Software Defined Storage – Server SAN

o Private Cloud - OpenStack

o Public Cloud Storage

Storage

http://www.slideshare.net/COMPUTEX/2014-bigdataforumhgst

http://www.hgst.com/ja/science-of-storage/next-generation-data-centers/10tb-smr-helioseal-hdd

• SMR – Shingled Magnetic Recording

• Shingle = 瓦

• HGST 10TB, Seagate 8TB (3.5”)

Shingled Magnetic Recording

• Only Archive (Cold Storage)

• DO NOT USE for RAID-5

• DO NOT USE for DATABASE

Shingled Magnetic Recording

Helium-filled HDD

• ヘリウムを密封したHDD 現在は HGSTのみ

• 空気抵抗が1/7になることにより

o プラッターの数が 5 から 7に増加し大容量化

o 消費電力低減、静音化、低温化

• 密封していることにより

o 空気が入らないため故障率が激減 MTBF 250万時間

o 空冷以外の新たな冷却方式が採用可能 (水冷/油冷?)

• 普通の7,200回転と同じ速度と思って下さい

• 価格は従来のHDDよりまだ若干高めだが、電力・スペースコストを考えると良い選択肢となる

Storage

大容量・低価格SSDの登場

• 4～6TB SSD (2.5” 9.5mm厚)

• 2.5” HDDは最大でも2TB弱

• SATA IFで書き込み寿命は 0.4～0.5 DWPD/5year

• その分、価格も通常SSD(DWPD3.0)と比較して半額程度

高速HDDと比較すると似たような価格帯！

• Archiveデータ用途あるいは DWH/向け

• DWHでも複数人が使用する=ランダムアクセスの場合はHDDと比較して非常に大きなアドバンテージ

• 通常のSAS SSD(DWPD=3.0以上)でも4TBなど大容量化が進んでいる。

Enterprise SSD by Interface

https://intel.activeevents.com/sf14/connect/fileDownload/session/F43F980A53C61EF7AF426BEE22BB7402/SF14_SSDS003_101f.pdf

2015/06 現在

Technical Basics of NVMe

• All Parameters for 4kb command in single 64B command

• Support deep queues (64K commands/queue, 64K queues)

• Supports MSI-X and interrupt steering

• Streamlined & simple command set (13 required commands)

FeRAM（強誘電体メモリ） MRAM（強磁性体メモリ） PRAM（相変化メモリ） ReRAM（抵抗変化型メモリ）

次世代

不揮発性

メモリ

NVMe Current Expectation

NVMe in Fabric Environment

• NVMeを使用したAll Flash アプライアンスのユースケース

• ファブリック上はSCSIプロトコルで通信

• NVMeとSCSIのプロトコル変換が必須だが 100us以上のペナルティ (NVMeのLatencyは1～2桁us)

NVMe over Fabrics

• 複数のファブリックタイプにNVMeアーキテクチャを適用o NVMe コマンドセット

o NVMe マルチキューモデル

• PCIe以外のファブリックo RDMA (iWARP, RoCE and

Infiniband)

o NVMe over Fibre Channel

(under developing)

• NVMe Ver1.2(2014.9) では規定が見送られた。2015Q2に出る予定

Hot Plugの難しさ

• ホスト・スレージ・コントローラーが SATA/SAS

と NVMe で異なるため、今までと異なるアプローチでの開発が必要。

• NVMe Ver1.2で主要ドライバはHot Plugをサポートしている(はず)

Flash Memory SUMMIT 2014

NVMe マシン設計の難しさ

NVMeの現状

• Hot Plugは十分な検証が必要

• HW RAIDは存在しないので、SWで冗長化を行う必要がある。あるいは冗長化が必要ないところで使用する。

• バランスの取れたサーバーを探す必要がある。

• Device側のFWも、まだ発展途上 (まだ良くなる)

• データベースで使い処を考えるのならば…

o 現状、冗長化の必要ないキャッシュ用途など

o 今年中にはもう少し違った形のデータベース向け NVMeサーバーを出したい

NVMe まとめ

• NVMに最適化されたプロトコル今後10年間以上、主流になるプロトコルである(と予想)

• Hot Plugのサポート

• NVMe over Fabric で、SANもサポート

Virtualization

Software Defined Storage• 既にバズワード化?

• 各社 SDSと称している製品を出しているが、機能やメリット/デメリット、アーキテクチャ千差万別なので、使い処をきちんと把握する必要がある

• (一般的に)必要とされている機能

o Automation

o Policy Base Management

o Self Service Management

o Service Level Management

o Standard Interface (API)

o Virtualized Data Path

Server SAN

http://wikibon.org/wiki/v/Server_SAN_Market_Definition

Private Cloud -OpenStack

• OpenStacko クラウド環境構築のソフトウェア群 (AWS を自前で作るものと思って下さい)

• Ironico ベアメタル・プロビジョニング

o Kiloリリース(2015.1)で正式採用

o 物理サーバーが元々持っている IPMI と PXE を利用して、物理サーバーにプロビジョニングする。

• Troveo DBaaS

(AWSの RDSを自前で作るものだと思って下さい。)

Public Cloud - Storage

• AWS EBSボリューム 4,000 IOPS

• AWS I2インスタンス 35,000～365,000 IOPS (4K Read)

35,000～315,000 IOPS (4K Write)

• Azure プレミアムストレージ50,000IOPS～ (4K Read)

• Google Compute Engine Local SSD (但し冗長化されない)

170,000～680,000 IOPS (4K Read)

90,000～360,000 IOPS (4K Write)

Public Cloud Managed SQL Databases

• AWSo RDS: MySQL, Oracle, MS SQL Server, PostgreSQL (OLTP)

o RedShift (DWH)

o Aurora (OLTP)

• Microsoft Azureo Azure SQL

• Google Compute Platformo Cloud SQL (OLTP: MySQL)

o BigQuery (DWH: Dremel, 擬似SQL)

• IBM Bluemixo SQL Database (OLTP: DB2)

o その他 MySQL, PostgreSQL など (OLTP)

o Analytic Warehouse (DWH: DB2)

Wrap up

• NVMeは次のトレンドo HDDの 2500倍の Random Readは破壊的な速度

o PCIe直結ではなく、SFF接続とすることで、Hot Swapのサポートと接続デバイス数を増やし、並列化・高速化することが可能

o 現在のNANDベースから次世代NVMになり更なる高速化が可能

• ストレージ仮想化、クラウドo SDS: 目的に応じて製品機能を見極める必要がある。

o 性能が必要なシステムでは、クラウドはまだ力不足か?

o 企業内データを扱うデータベースシステムとしては、まだ難しい部分が多い

o が、クラウド化・仮想化は今後の必須技術なので引き続きウォッチ

Designed in Ebisu

Rethink

Optimized

Database

Environment

DBTS2015 Tokyo DBAが知っておくべき最新テクノロジー

Devices & Hardware

MATEMÁTICAS - aprende.colombiaaprende.edu.coaprende.colombiaaprende.edu.co/ckfinder/userfiles/files... · DBA 5 DBA 6 DBA 7 Utiliza las medidas de tendencia central para resolver

DBA Ebay Pub

Diagn. DBA 9°

Oracle DBA Day - DBGuide.net · 2010-03-30 · dba 1.0 sqlplus의세대 dba 2.0 em의세대 sqlplus 명령어위주작업 각종성능view와로그조회 지식과경험에의존해문제해결

Dba test 2

DBA Presentation

Angiddy DBA

MATEMÁTICAS - CIENCIA · DBA 5 DBA 6 DBA 7 Utiliza las medidas de tendencia central para resolver problemas. DBA 11 Predice la posibilidad de ocurrencia de un evento simple. DBA

DBA para SharePoint

Diagn. DBA 7°

Scripts DBA

dbA _Portfolio

「Decoded >Fashion >Tokyo >Summit >2015」にて、ABEJAがブ … · 【ファッションとテクノロジーの融合で、よりよい未来を目指すDecoded >Fashion >Tokyo

オンチップ・セロミクス・テクノロジーのヒト幹細 …Cardiomyocyte Cells from Human Stem Cell Kenji YASUDA Institute of Biomaterials and Bioengineering, Tokyo Medical

Diagn. DBA 10°

Projeto 028 DBA

Kill the DBA

Embt DBA Evalguide

DBA EPG - UTP

Meniti Karir DBA