Software Defined Storage

1© Copyright 2014 EMC Corporation. All rights reserved.© Copyright 2014 EMC Corporation. All rights reserved.

Software Defined StorageEMC ViPR


Рост данных меняет подход к хранениюЕмкость хранилищ растет на 53% ежегодно

Source: IDC EMC Digital Universe Study 2014

• Чрезмерная сложность– Большое количество разных

технологий защиты данных, протоколов, средств управления

• Отсутствие экономической гибкости

– Высокие накладные расходы в распределенных архитектурах,необходимость удешевления аппаратной платформы

• Отсутствие облачных технологий– Стандартная архитектура, отсутствие

самообслуживания


Сегодняшние инфраструктуры хранения

BLOCK FILE FILE BLOCK FILE OBJECT HDFS


Современные приложения меняют подход к хранению

• Слишком сложная архитектура– Блокировки, репликация, высокая

доступность, распределенная архитектура

• Сложность работы с Web и при наличии межсетевых экранов

– Сложность доступа в распределённых сетях

• Сложность разработки– Различное оборудование и технологии

для различных типов данных


И становится только хуже …

НОВЫЕ ПЛАТФОРМЫ ИМЕТОДЫ

ОТСУТСТВИЕ САМООБСЛУЖИВАНИЯ

МАССИВНЫЙ РОСТ ДАННЫХ


Как это исправить?

Стоимость Выбор Облака


Программно-ориентированный означает наличие коммодити компонент

Платформаиз коммодити компонент

Программно-ориентированное хранилище


Преимущество стандартных платформ

• Использование стандартизированных и открытых технологий

• Проприетарные компоненты дают меньшую экономическую гибкость

• Стандартные компоненты дают большую экономическую эффективность при использовании специализированного ПО

Экономическая гибкость


EMC ViPR: Software-Defined Storage

Commodity Hardware ECS AppliancesProtect Current Investments

Provisioning Self-Service ReportingAutomationViPRController

ViPRServices

EMC Non-EMCArray Support via OpenStack


Гибкое, отказоустойчивое, экономически эффективное хранилище

на основе стандартных компонент


Хранилище на основе стандартной платформы

Коммодитиплатформа

ViPRServices BLOCK

STORAGEHDFS

STORAGEOBJECT

STORAGE


• Меньшая стоимость относительно публичного облака

• Комбинирование эффективности хранения и доступности данных

• Упрощение разработки приложений – доступность по принципу active-active read/write из любой точки

• Отсутствие единой точки отказа увеличивает продуктивность и доступность

• Универсальный стандартизированный доступ позволяет отказаться от ETL процессов

• Множество методов доступа для разных приложений

Облачная платформа хранения «из коробки»


Распределенное управление данными

• Сбои оборудования и всего ЦОД– Disk, Node, Rack, Data Center

• Ребилд без перегрузок на каналах связи

• Снижение нагрузки и затрат

Защита от локальных и глобальных сбоев, active-active read/write

Site 1

Site 3

Site 2


Потери емкости на защиту данных

1,33

2,67

2,001,77

1,67 1,60 1,55 1,52

0,00

0,50

1,00

1,50

2,00

2,50

3,00

1 2 3 4 5 6 7 8

Overhead

# of Data Centers

Оптимизация доступа, защиты и эффективности


Единая платформа для всех типов доступа

• Различные интерфейсы доступа делают ненужным ETL

– Object, HDFS , File (Future)

• HDFS совместимость с Cloudera, Hortonworks, Pivotal etc.

• Поддержка S3, Swift, Atmos и Centera CAS API

• Расширения API– Byte-Range updates, Atomic appends, Rich

ACLs etc.

Совместимость с стандартными API

HDFS


Стандартные компоненты как платформа

• Поддержка серверов сторонних производителей и DAS

• Управление оборудованием как кластерной системой

• Полный цикл управления сторонним оборудованием

VIRTUAL ARRAY

CommodityCommodity Commodity

…


• Облачные архивы

• Контент-репозитории

• Распределенные отказоустойчивые платформы для больших данных и распределенных вычислений

• Платформа хранения для мобильных и веб приложений

• Гибридные облака хранения

Области применения ViPR Services


Software-Defined Storage – ViPR Block

ViPR Block (На основе ScaleIO)

ViPR Block на основе Scale IO

Управление аналогичное ViPR Services

Создание виртуальных пулов хранение различных уровней

Расширяемость до тысяч узлов


• Платформа хранения данных на основе стандартных компонент

– ПО для создания SAN из локальных носителей серверов

– СХД и вычислительные ресурсы на единой платформе

– Поддержка любых серверов и носителей: HDDs, SSDs, & PCIe flash cards

– Поддержка физических и виртуальных серверов

Масштабируемая объединенная архитектура


Трансформация имеющихся ресурсов

• Объединение СХД и вычислительных ресурсов

• Масштабируемость – архитектура из тысяч серверов

• Гибкость – добавление/удаление серверов/емкости «на лету»

• Производительность –множественная параллелизация операций


8k IOPS1 TB

8k IOPS1 TB

8k IOPS1 TB

8k IOPS1 TB

8k IOPS1 TB

8k IOPS1 TB

8k IOPS1 TB

8k IOPS1 TB

8k IOPS1 TB

8k IOPS1 TB

• 8k IOPS каждого сервера• 1TB емкости каждого сервера• Отсутствие защиты данных при недоступности диска или

сервера

Пример производительности 10 x SSD’s безScaleIO…


10k IOPS1TB

10k IOPS1TB

10k IOPS1TB

10k IOPS1TB

10k IOPS1TB

10k IOPS1TB

10k IOPS1TB

10k IOPS1TB

10k IOPS1TB

10k IOPS1TB

• 80,000 IOPS• 10TB общей емкости• Защита данных при недоступности компонент

Пример производительности 10 x SSD’sScaleIO…


Ограничение IOPS/Bandwidth

Для QoS

Для Infrastructure as a Service

Расширенные возможности

Снэпшоты для резервного

копированияВыделенные

доменыПулы дисков для тиринга

Контроль производительности, емкости, и размещения данных

Безопасность путем Data

Masking

APP 1

APP 2

APP 3


ПреимуществаServer SAN

Меньший OpExУменьшение TCO Миграции данныхБольше пространства

Программная, расширяемая,объединенная архитектура

хранилища

#EMCSCALEIO


Преимущества

• Встроенные носители

• Отсутствие специализированных компонент СХД

• Экономия ресурсов энергопотребления, охлаждения и физического пространства

• Отстутствие необходимости в обновлении EOL оборудования

• Низкие расходы на администрирование

• Линейные инвестиции с возможностью прогнозирования


Области применения ScaleIO

• Платформа для Test&Dev

• Виртуализация VDI/VSI

• Кластерные распределенные web приложения

• Высокопроизводительные базы данных для сред web приложений и Scale-out сервисов


ViPREnterprise & SPs

2nd to 3rd Platform with ArraysDIY 3rd Platform with Commodity

ECS ApplianceEnterprise & SPs

3rd Platform appliance


Стоечные конфигурации– Unstructured for Object & HDFS – Mixed Workload for Block, Object, HDFS

Различная емкость для каждой стойки

Расширяемость до сотен петабайт

Конфигурации


КонфигурацииRU ECS DENSE40 GbE39 10 GbE38 10 GbE37 2u 4 node3635 2u 4 node3433

60 Disk x 6TB32313029

60 Disk x 6TB28272625

60 Disk x 6TB24232221

60 Disk x 6TB20191817

60 Disk x 6TB16151413

60 Disk x 6TB1211109

60 Disk x 6TB8765

60 Disk x 6TB4321 Not Used

RU ECS MEDIUM40 GbE39 10 GbE38 10 GbE37

Empty3635 2u 4 node3433

Blank32313029

Blank28272625

Blank24232221

Blank20191817

60 Disk x 6TB16151413

60 Disk x 6TB1211109

60 Disk x 6TB8765


RU ECS SMALL40 GbE39 10 GbE38 10 GbE37

Empty3635 2u 4 node3433

Blank32313029

Blank28272625

Blank24232221

Blank20191817

15 Disk x 6TB16151413

15 Disk x 6TB1211109

15 Disk x 6TB8765


2.9PB1.4PB360TB

RU ECS MEDIUM40 GbE39 10 GbE38 10 GbE37 2u 4 node3635 2u 4 node3433

30 Disk x 1TB32313029

30 Disk x 1TB28272625

30 Disk x 1TB24232221

30 Disk x 1TB20191817

60 Disk x 6TB16151413

60 Disk x 6TB1211109

60 Disk x 6TB8765


1.4PB Object+120TB

Unstructured (Object and HDFS) Mixed Workload (Object, HDFS, Block)RU ECS SMALL40 GbE39 10 GbE38 10 GbE37 2u 4 node3635 2u 4 node3433

30 Disk x 1TB32313029

30 Disk x 1TB28272625

30 Disk x 1TB24232221

30 Disk x 1TB20191817

15 Disk x 6TB16151413

15 Disk x 6TB1211109

15 Disk x 6TB8765


360TB Object+ 120TB

Technology

Software Defined Storage