IBM Software-defined Storage · технологии решения для экономии энергии Block NAS Tape 4U Storage virtualization & native Flash Auto-Tiering, Real-time

Дмитрий АгеевРуководитель отдела технических решений,Департамента систем хранения данныхДепартамента систем хранения данных

IBM Software-defined Storage

© 2015 IBM Corporation

IBM System Storage

Решения IBM в СХД : Три основных направленияРешения IBM в СХД : Три основных направления

Классическая Масштабируемые грид ЭффективныеКлассическая инфраструктура

Масштабируемые гридтехнологии

Эффективныерешения для экономии

энергии

Block NAS Tape

4U

Storage virtualization & native FlashAuto-Tiering, Real-time compression,

Service classes with Spectrum ControlStorwize® V series & XIV ease of use

Spectrum® software-defined storageSpectrum Accelerate: for VM workloads

Spectrum Scale: for scale-out applicationsCloud Manager w/OpenStack: deploy+run

"Non-x86-generic" solutions for reduced heat, higher performance& lower footprint. E.g. CAPI-Flash, Elastic Storage Server Hadoop etc

© 2015 IBM Corporation2

Storwize® V-series & XIV ease-of-use Cloud Manager w/OpenStack: deploy+run Elastic Storage Server Hadoop, etc.

IBM System Storage

Экономическая эффективность классической инфраструктурыЭкономическая эффективность классической инфраструктурыПо информации от IDC, виртуализация СХД – это самая многообещающая технология для достижения этого

Горизонтальная сегментация Вертикальная сегментацияблоки/стеки

+ +илиВиртуализация

СХД

Block Tape

Block Block Block

Block Blockstretched

SAN Volume Controller SVC+управление через

SVC Stretched Cluster/HyperSwapПрозрачная защита VMware

VersaStack (IBM+Cisco)Storwize storage + USC servers


+управление черезIBM Spectrum Control (VSC)

Прозрачная защита VMwareElastic Storage stretched cluster

Storwize storage + USC serversЕдиная точка управления и обслуживания

IBM System Storage

Два пути к программно определяемым СХД :Два пути к программно-определяемым СХД :

Как достигнуть высокой степени автоматизации СХД

Традиционная инфраструктура: Изолировать на логическом уровне гетерогенные и историческиеданные так чтобы это выглядело одинаково на поверхности Это

1данные, так чтобы это выглядело одинаково на поверхности. Это приведёт к полной автоматизации на подобии управлениями классами ресурсов. (Типично для транзакционных ЦОДов.)

Геперконвергентная инфраструктура:Максимально стандартизованное оборудование которое использует несколько/не большое кол-во программных продуктов

(Т

2для управления вычислениями, памятью и ресурсами хранения. (Типично для сервис провайдеров / облачный подход, противопоказано для некоторых классов нагрузок.)


IBM System Storage

К ИТ ф

Transactional IT Web Scalability IT

Какая ИТ инфраструктура лучше подходит для:grey zone

Transactional IT Web Scalability IT

Banking, Finance Web applications

ERP (SAP, …) Media archives

traditional Microsoft Sync & share

SQL Analytics Hadoop Analytics

… …

CLASSIC


Block NAS Tape

GRID

IBM System Storage

Какие требования у приложений?Какие требования у приложений?

Надежное оборудование Спроектировано для сбоев"Надежное оборудование «Спроектировано для сбоев"

Низкое время отклика Динамическая масштабируемость

Целостность Не транзакции

Hardware-optimized Software-defined

CLASSIC

Block NAS Tape

GRID


IBM System Storage

ННо есть новые приложения и задачи:

VM hosts VM grids

SAP R/3 SAP HANA

Заказная архитектура Скорость

CLASSIC

Block NAS Tape

GRID


IBM System Storage

G l i f t t IBM S t St ftGreen lawn infrastructure: IBM Spectrum Storage software

Только x86 / Только Ethernet (нет SAN) IBM SDSТолько x86 / Только Ethernet (нет SAN)

Не новичок в этой технологии IBM разрабатывает высоко

IBM SDS:

IBM разрабатывает высоко масштабируемое кластерное решение (GPFS) с прошлого века.

Существует в виде аппаратного комплекса

рас ребо а й

Программное обеспечение разворачивается в

для растущих требований к надежности и эффективности.

Интеграция с облачными Программное обеспечение разворачивается в виде образа или драйвера для виртуальных машин или масштабируемых приложений

+

сервисами( Softlayer)дополнительный объем


IBM Cloud Manager = развертывание + запуск виртуальных машин

IBM System Storage

IBM Spectrum Accelerate®


IBM System Storage

ООпределения

Г б Гиперконвергентная система: «программное обеспечение трансформирующее серверные ресурсы в континуум " (хранение, сеть и вычисления)

Континуум СХД

Конвергентная система: Вычисления(ЦПУ), Сеть и СХД управляются из единой точки контроля VersaStack с интегрированным Storwize виз единой точки контроля. VersaStack с интегрированным Storwize в Cisco UCS

Континуум управления


IBM System Storage

П дПрограммно-определяемые решения:IBM Spectrum Accelerate®

IBM S t S l ®IBM Spectrum Scale®

(Семейство продуктов Spectrum Storage)


IBM System Storage

IBM S t A l t IBM XIV СХДIBM Spectrum Accelerate, на основе IBM XIV грид-СХД


ЦПУ и сетьESX hosts


VMware* образ

Емкость

x10GbE

Образ VMware который превращает внутренние Диски и Flash карты в кластер хранения Энтерпрайз класса.

Емкость доступна для любой VM виртуальной машины через VMware vSphere интерфейсы или через OpenStack Cinder через iSCSI.


p рф р p р

*планируется поддержка большего числа гипервизоров

IBM System Storage

IBM S t A l t бIBM Spectrum Accelerate = масштабируемость Масштабирование CPU


3-30* узлов в 1 кластере, до 144 кластеров

Емкость

x10GbE

Рост емкости, пропускной способности, ЦПУ и сети без ограничений с быстрым доступом

Функционал Энтерпрайз класса, zero tuning, self-healing, global consistent snapshots, QoS, multi-tenancy, WAN-mirroring, Apple-style GUI…


* Ограничения до 15 в 1 релизе (один кластер обеспечивает целостность; единое управление 144 кластерами).

IBM System Storage

IBM S t A l tIBM Spectrum Accelerate: защита

илиили

Требования к созданию резервных ЦОД = зеркалирование или мульти

Можно использовать свою инфраструктуру или облако IBM Softlayerфр ру уру y

Асинхронное зеркалирование основано на глобально целостных снимках данных.


IBM System Storage

IBM S t A l t XIV G 3IBM Spectrum Accelerate: аппаратное решение XIV Gen3

Из коробки, от

Identical software & features, 15

nodes per racknodes per rack.

Система Энтерпрайз класса с доступностью - 99,999%

Плюс: call-home / dial-in, три UPS, нет влияния VM, InfiniBand между модулями, интегрированное и протестированное решение, …


Убирает трафик метаданных с 10GbE

IBM System Storage

Самовосстановление и тюнинг системыСамовосстановление и тюнинг системы, восстановление 4ТБ за 30-50 минут

1МБ блоки данных распределены случайным образом по всем узлам системы

PS

Spectrum Accelerate

1МБ блоки данных распределены случайным образом по всем узлам системы

IO

all disks

IOP

S Traditional

Hot spot! Tuning required or live with itHot spot! Tuning required ‐ or live with it.

all disksThis cannot happen with Spectrum Accelerate


IBM System Storage

Об ф й GUIОбщая функциональность и единый GUI

Классы Классы обслуживания управляются через доменычерез домены

Домены – это пулыпулы виртуальной емкости

Соответствие PCI DSS : Полная интеграция с процессами

Соответствие PCI-DSS :

р цVMware vSphere


IBM System Storage

IBM iSCSI Disk


IBM System Storage

runs on -managed IBM storage grid


IBM System Storage

ebay X commerce platform architecture blueprint (2013)ebay X.commerce platform, architecture blueprint (2013)1U compute nodes (185)+OpenStack framework:Chef/Controller node (1)

1Gb mgmt1Gb mgmt1Gb mgmt( )

Chef failover node (1)Swift nodes (5)

In a box byIn a box, by

10Gb Data10Gb Data10Gb Data

10Gb User10Gb User10Gb User30 nodes

2 шкафа, 24x 10GbE порта, 486 ТБ полезной емкости*

Hosted Cloud ServicesMagento GOgMagento CommerceVarious Public Products

~2,000 hosted service users (*) 2013 figures for ebay's XIV Gen3


( ) 2013 figures for ebay s XIV Gen3

Note: standby capacity on-demandavailable for service providers

dev test

IBM System Storage

IBM Cloud Manager для управление грид архитектуройIBM Cloud Manager для управление грид архитектурой

IBM Cloud Manager w/OpenStack

1. Простой каталог2. Прячет низлежащую инфраструктуру; фокус на сервис


Стандартизация сервисов3. Гранулярность измерений и билинга

IBM System Storage

IBM Spectrum Scale®IBM Spectrum Scale®


IBM System Storage

IBM S t S l б й б йIBM Spectrum Scale: глобальный, общий доступ к данным

IBM Spectrum ScaleIBM Spectrum Scale

Драйвер (не образ VM ) Поддерживает Одновременную запись и доступ к одним и тем же данным с разных серверов.

Перенастроенные модели для масштабируемый приложений, таких как SAP HANA или DB2таких как SAP HANA или DB2 pureScale

Драйвер трансформирующий локальные HDDs, Flash PCI и RAM cache в распределенный СХД континуум с глобальной целостностью. На основе технологии IBM General Parallel File System - GPFS.

Поддерживает нагрузки по созданию "2000 файлов/сек" или "30 ГБ/сек" и выше


Поддерживает нагрузки по созданию 2000 файлов/сек или 30 ГБ/сек и выше

IBM System Storage

ЭЭкономичнее чем гиперконвергентные аппаратные комплексы

IBM Spectrum ScaleIBM Spectrum Scale

IBM Spectrum Scale

Серверная лицензия (3-5%)Клиентская лицензия

В отличие от гиперконвергентных систем, опыт с GPFS показывает что только 3-5% всех узлов кластера должны иметь локальные диски. Это выдерживает хороший баланс между трафиком данных иЭто выдерживает хороший баланс между трафиком данных и метаданными.


В дополнение: Локальная Флэш-память может использоваться как кэш

IBM System Storage

IBM S t S lIBM Spectrum Scale: возможности кластеризации

01100101011101001

Два кластера Spectrum Scale могут:Два кластера Spectrum Scale могут: Делиться данными (кросс монтирование), Обмен снимками файловых систем Организация единого метро кластера высокой Кэширование данных другого кластера с автоматической синхронизацией Поддержание обеих копий данных в режиме записи при разрыве соединения и

их автоматическое согласование


»Весь функционал включен в стоимость«

IBM System Storage

IBM El ti St S "S t S l б "IBM Elastic Storage Server = "Spectrum Scale из коробки"

IBM Spectrum Scale®

Клиентская лицензия

Из коробки, от

2 узла

2 узлаJBOD диски

Высокопроизводительная защита данных n+2 или n+3, самовосстанавливающаяся система.

Награда CRN «лучшая инновация в СХД» самое быстрое восстановление при минимальном влиянии на производительность (тройной сбой 4ТБ дисков = эффект всего 4


производительность (тройной сбой 4ТБ дисков эффект всего 4мин 20с )CRN Award 2013

Best Storage Innovation

IBM System Storage

Удобство готового решения…Удобство готового решения…д рд р


IBM System Storage

Масштабируемое файловое хранилищеМасштабируемое файловое хранилищеПрограммное обеспечения на клиенте должно заботиться о целостности и локальном кэшированиилокальном кэшировании.

Elastic Storage SWElastic Storage SW

Elastic Storage SWElastic Storage SW Elastic Storage SWElastic Storage SWElastic Storage SWElastic Storage SW

GS models

GS modelsGS1: 24 диска

GL models

GS2: 48 дисковGS4: 96 дисковGS6: 144 диска

1.2 TB SAS,

GL models

GL2: 120 дисковGL4: 240 дисковGL6 360

400 GB, 800 GB SSD


GL6: 360 дисков2 TB, 4 TB, 6TB, 8TB SAS

IBM System Storage

IBM’ D Fl h El ti St S M d lIBM’s DeepFlashTM Elastic Storage Server Models

Время отклика ниже в 8 раз в сравнении с HHD в тесте SPEC SFSВремя отклика ниже в 8 раз в сравнении с HHD в тесте SPEC SFS

ESS GF1 ESS GF2

DeepFlash 150 JBOF DeepFlash 150 JBOF

ESS GF1 ESS GF2

Не удается отобразить рисунок . Возможно, рисунок поврежден или недостаточно памяти для его открытия. Перезагрузите компьютер, а затем снова откройте файл. Если вместо рисунка все еще отображается красный крестик , попробуйте удалить рисунок и вставить его заново.








IBM Power Servers

IBM Power Servers

2 Enclosures 10u

1 Flash Enclosures, 7U≈ 180TB of usable Flash;

Max Read 13.6 GB/sec; Max Write 9.3 GB/secDeepFlash 150 JBOF

2 Enclosures, 10u≈ 360 TB of usable Flash

Max Read 26.6 GB/sec; Max Write 16.6 GB/sec


IBM System Storage

Простая интеграция кластерных приложенийПростая интеграция кластерных приложений, автоматическое многоуровневое хранение и ILM

IBM Spectrum Scale® GS modelПеремещение данных,путь всегда

Драйвер п.о и служба глобальных политик

GL model(пропускная

(время

отклика)

остается одинаковый: /fs/user/folder

010110 (пропускная

способность)

010110

Spectrum Scale®

PCI-Flash распределённый кэш

Служба глобальных политик определяет когда данные мигрируют между системами, в зависимости от стоимости хранения,производительности и типа данных.

Spectrum Scale принадлежит мировой рекорд: Категоризация 10 миллиардов файлов за 43 минуты, это 4

миллиона в секунду.


миллиона в секунду.

Распределенный RAM+Flash кэш имеет глобальную целостность.

IBM System Storage

Нужна пропускная способность? Это Spectrum Scale!Нужна пропускная способность? Это Spectrum Scale!

Command line used*: IOR -F -i 3 -p -d 10 -w -r -e -t 1m -b 64G -o /ibm/fs2/shared/ior/iorfilepapi = POSIXaccess = file-per-processordering in a file = sequential offsetsordering inter file = no tasks offsetsxfersize = 1 MiB

fil i 512 iaggregate filesize = 512 GiB

Размер блока файловой системы

Запись МБ/сек Чтение МБ/сек

1 MB 3726.02 6195.412 узла

4 MB 10691.13 16769.838 MB 14623.55 22273.60

6 JBODs

360 дисков

16 MB 18756.24 23354.11

Достигнутые результаты зависят от правильной конфигурации клиента и хорошего соединения и могут варьироваться в


Достигнутые результаты зависят от правильной конфигурации клиента и хорошего соединения и могут варьироваться в зависимости от окружения. Они не должны восприниматься как стандарт, и служат демонстрацией технических

возможностей системы.

* IOR доступно на http://sourceforge.net/projects/ior-sio/

IBM System Storage

Некоторые типовые решенияНекоторые типовые решения


IBM System Storage

x86 HANA Stackx86 HANA Stack

Business Applications

SAP HANA®

GPFS ITM

SUSE Linux Enterprise Server

GPFS

(scale-out filesystem)ITMTSM

IBM compl. SW

RedHat Enterprise Linux

HW Platform (Server+Storage)(Server+Storage)


IBM System Storage

Tivoli Storage Manager: быстрый дисковый пулTivoli Storage Manager: быстрый дисковый пул

Пиковая производительностьПиковая производительность при нескольких сессиях

резервного копирования на одном сервере: 5 4 ГБ/содном сервере: 5.4 ГБ/с

Пиковая производительность при нескольких операциях восстановления на одном

сервере : 6.5 ГБ/с

https://ibm biz/BdFUp7


https://ibm.biz/BdFUp7

IBM System Storage

Sync & Share Dropbox styleSync & Share, Dropbox-styleОбмен данными с любых устройств, используя IBM Mobile Navigator или ownCloud на решении IBM Spectrum Scale

M bil N i t

Файловый обмен

Mobile Navigator

или

Файловый обмен без управления правами доступа.~10.000 пользоватлей

01101001

Мобильный доступ без NAS проблем..р

Заменят 5 шкафов СХД


IBM System Storage

Архитектура решения на 100.000 пользователей: "Sync & Share"Архитектура решения на 100.000 пользователей: Sync & Share

File Module 1

Fil M d l 2

OwnCloud 1

OwnCloud 2

OwnCloud 6

OwnCloud 7

File Module 2

File Module 3

File Module 4

Quorum Serv.OwnCloud 3

OwnCloud 4

OwnCloud 5

OwnCloud 8

OwnCloud 9

OwnCloud 10

CIFS file service

GPFS mount (4)

GPFS mount

(10)

mount

10 GBit backbone

mount

SpectrumScale

SpectrumScale

1:1

stretched

Metro cluster


syncor

/share

syncor

/share

IBM System Storage

Большие данные и Аналитика в реальном времениБольшие данные и Аналитика в реальном времени

Сетевые диски3 копии данных

Eth

=Не нужно

перемещать данные= данные

SpectrumScale

Data × 3 Data × 1.3Классическая на HDFS IBM Spectrum Scale


IBM System Storage

Система видеонаблюденияСистема видеонаблюдения

GPFS драйвер на GPFS драйвер на Windowsсерверах(Приложение)

Единая файловая система с общим доступомдоступом

ESS как система храненияр

Each ESS system will bring 1PB capacity to the g p ycluster (configuration specific)


IBM System Storage

DisclaimerNo part of this document may be reproduced or transmitted in any form without written permission from IBM Corporation.

Product data has been reviewed for accuracy as of the date of initial publication Product data is subject to change without notice This information could includeProduct data has been reviewed for accuracy as of the date of initial publication. Product data is subject to change without notice. This information could include technical inaccuracies or typographical errors. IBM may make improvements and/or changes in the product(s) and/or program(s) at any time without notice. Any statements regarding IBM's future direction and intent are subject to change or withdrawal without notice, and represent goals and objectives only.

The performance data contained herein was obtained in a controlled, isolated environment. Actual results that may be obtained in other operating environments may vary significantly. While IBM has reviewed each item for accuracy in a specific situation, there is no guarantee that the same or similar results will be obtained elsewhere. Customer experiences described herein are based upon information and opinions provided by the customer. The same results may not be obtained by every user.

Reference in this document to IBM products, programs, or services does not imply that IBM intends to make such products, programs or services available in all countries in which IBM operates or does business. Any reference to an IBM Program Product in this document is not intended to state or imply that only that program product may be used. Any functionally equivalent program, that does not infringe IBM's intellectual property rights, may be used instead. It is the user's responsibility to evaluate and verify the operation on any non-IBM product, program or service.

THE INFORMATION PROVIDED IN THIS DOCUMENT IS DISTRIBUTED "AS IS" WITHOUT ANY WARRANTY, EITHER EXPRESS OR IMPLIED. IBM EXPRESSLYDISCLAIMS ANY WARRANTIES OF MERCHANTABILITY FITNESS FOR A PARTICULAR PURPOSE OR INFRINGEMENT IBM shall have no responsibility to updateDISCLAIMS ANY WARRANTIES OF MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE OR INFRINGEMENT. IBM shall have no responsibility to update this information. IBM products are warranted according to the terms and conditions of the agreements (e.g. IBM Customer Agreement, Statement of Limited Warranty, International Program License Agreement, etc.) under which they are provided. IBM is not responsible for the performance or interoperability of any non-IBM products discussed herein.

Information concerning non-IBM products was obtained from the suppliers of those products, their published announcements or other publicly available sources. IBM has not tested those products in connection with this publication and cannot confirm the accuracy of performance, compatibility or any other claims related to non-IBM products Questions on the capabilities of non IBM products should be addressed to the suppliers of those productsproducts. Questions on the capabilities of non-IBM products should be addressed to the suppliers of those products.

The providing of the information contained herein is not intended to, and does not, grant any right or license under any IBM patents or copyrights. Inquiries regarding patent or copyright licenses should be made, in writing, to:

IBM Director of LicensingIBM CorporationNorth Castle DriveNorth Castle DriveArmonk, NY 10504-1785USA


IBM System Storage


Documents

IBM Software-defined Storage · технологии решения для экономии энергии Block NAS Tape 4U Storage virtualization & native Flash Auto-Tiering, Real-time