Как хранить миллионы файлов сейчас и миллиард файлов в будущем?

Защита данных нового поколенияОсновано на технологии Acronis AnyData Engine

Александр Киров, PM

Виды систем хранения

Block Storageкак жесткий диск хранит

последовательность байт

iSCSI

Виртуализация

Базы данных

Shared Storageкак shared-папка

хранит набор файлов

NFS, CIFS/SMB

Файловая шара

Бекапы

Виртуализация

Shared hosting

Object Storageкак большая библиотека

хранит миллиарды файлов

Amazon S3, Swift

Хранилище для приложений

Статический web-контент

Хранилище для Online-сервисов

Бекапы

2015 2

Рост данных велик! Надо к нему готовиться!

облачных ЦОД

14Новый 4Tb-диск каждые 4 часа

USAUKFranceGermanyRussiaJapanSingaporeAustralia

10+Petabyte данных

2015 3

Новые данные — это объекты

IDC оценивает, что в 2013 году объектные хранилища занимали 37% рынка, отдавая большую часть рынка файловым хранилищам. К 2017 году размер рынка объектных хранилищ будет уже 21.7 миллиарда долларов

* Worldwide File- and Object-Based Storage 2013–2017 Forecast (IDC #242287) https://www.idc.com/getdoc.jsp?containerId=253055

Файловое хранилищеОбъектное хранилище

Миллиардыдолларов

0

5

10

15

20

25

30

35

40

$8.5

$21.7

$14.5 $16.3

2013 2017

Роств 2,5 раза

2015 4

Изменение в ПО диктуют новые интерфейсы

Block StorageДоступ к блочному

хранилищу ограничен

Хорош для высокой производительности и локального доступа

Строгая консистентность

Shared StorageХорош для одновременного

доступа к небольшому объему данных

Ограниченная масштабируемость

Неспособен эффективно работать с миллиардами

файлов

Object StorageМасштабируемость

на миллиарды файлов

Пользователи все больше запрашивают данные через

HTTP, чем через другие протоколы

Современный подход

Консистентность в конечном счете

2015 5

Пример: Open Xchange

Open Xchange — самый популярный почтовый сервер в мире Online-share и редактирование документов.

OX рекомендует использование объектного хранилища.

NFS становится не эффективным на десятках тысяч почтовых ящиках.

2015 6

Amazon S3 объектное хранилище

1. Высокомасштабируемое хранилище с доступом через HTTP.

2. Обеспечивает лёгкий и удобный API.

3. Объекты могут быть запрошены обычным интернет браузером.

2015 7

Пример: Slideshare.netSlideshare.net — web-сервис для хранения презентаций. Пользователи могут сохранять файлы публично или приватно.

Slideshare.net хранит загружаемые документы, презентации, видео в Amazon S3.

Slideshare.net не занимается хостингом файлов.

Slideshare.net просто предоставляет ссылки на контент, но сам контент хранится в Amazon.

Slideshare.net концентрируется на развитии портала и не заботится о 99.99 % доступности миллионов загруженных файлов с необходимой производительностью.

2015 8

Сценарий 1 из 3: Backend для приложений

История: сервис-провайдер хочет запустить почтовый сервис на Open Xchange. Сервис требует backend хранилище. Это может быть SAN, NAS или объектное хранилище.

S3 имеет большую масштабируемость и меньшую цену.

Для чего? Backend для приложений, поддерживающих S3.

Примеры Open Xchange, RushFiles, Acronis Backup, и др.

Зачем нужен S3?Для легкого масштабирования и удешевления инфраструктуры при использовании приложений, способных работать с S3.

Почему?Альтернатива в виде использования NAS дороже и хуже масштабируется.

2015 9

Сценарий 2 из 3: S3 public storage

История: интернет-магазин готовится к “Черной пятнице” и подготовил новый каталог товаров. Компания арендует хостинг и хочет пережить возросшие

потребности в период “Черной пятницы”. Существует 2 решения:1. перейти на более дорогой тариф хостинга;

2. положить каталог в объектное хранилище. S3 дешевле и лучше масштабируется.

Для чего? Хранение и раздача статического web-контента.

Примеры Хранение фотографий, видео, документов, Java-script, HTML.

Зачем нужен S3?Для хранение больших объемов данных. Для обеспечения глобального присутствия данных. Для масштабируемости и обработки больших объемов трафика.

Почему?Позволяет не заботиться о возможных нагрузках. S3 масштабируемо и может “переварить” практически любой объем данных. Легко контролировать доступ к данным.

2015 10

Применение TokenРазработчики приложений могу задавать доступ к файлам:

1. Для конкретного пользователя, передавая ему ссылку

2. С ограничением времени действия ссылки

ПользовательОграничение по времениПодпись

Пример:

http://s3.amazonaws.com/ppt-download/acronis.pptx?

Signature=vYEfaAL6GjVDmPg%2F%2FHVTMZoPKCk%3D

&Expires=1442399748&AWSAccessKeyId=AKIAIA7QTBOH2LDUZRTQ

2015 11

Сценарий 3 из 3: S3 for an ISV

История: online-игра Minecraft имеет множество текстур, которые запрашивают пользователи со всего мира. Размещение их на NAS привело бы к удорожанию

инфраструктуры и проблемам с масштабируемостью.

Для чего? Хранилище для online-сервисов.

ПримерыКомпании с online-бизнесом, такие как Minecraft, SlideShare, Netflix, социальные сети, крупные торговые площадки, и др.

Зачем нужен S3?Для публикации общедоступного контента online.Хранения данных в соответствии с политиками безопасности компании.

Почему?Предоставляет хороший API и возможность управления доступом к объектам. Существует множество библиотек для работы с S3 на многих языках программирования.

2015 12

Самые крупные S3-провайдерыНазвание Технология API

Количество объектов

Регион Базовая цена

Amazon S3 Amazon S3 Amazon S3 >2 триллионаСША, Европа,

Сингапур, Япония, Бразилия, Австралия

34-85 / TB в месяц + трафик + операции

AT&T Synaptic Storage as a Service

EMC Atmos + client/server soft

EMC REST + own clients

100 миллиардов США100-150 / TB в месяц

+ трафик

Google Cloud StorageGoogle Object

StorageGoogle REST нет данных США, Европа

54-85 / TB в месяц + трафик + операции

HP Cloud Object Storage

OpenStack Swift Swift 100 миллиардовСША, Европа,

Сингапур, Япония110-200 / TB в месяц

WABS: Windows Azure Blob Storage

Microsoft Object Storage

Microsoft REST >8 триллионовСША, Европа,

Сингапур, Япония, Бразилия, Китай

41-85 / TB в месяц + трафик + операции

Internap AgileFILES OpenStack Swift Swift 100 миллиардовСША, Европа,

Сингапур80-100 / TB в месяц + трафик + операции

Rackspace Cloud Files OpenStack Swift SwiftНесколько

миллиардовСША, Европа

75-100 / TB в месяц + трафик

SoftLayer Object Storage — “CloudLayer”

OpenStack Swift SwiftНесколько

миллиардовСША, Европа,

Сингапур100 / TB в месяц +

трафик

* According to Gartner report

2015 13

Преимущества локального объектного хранилища перед

Amazon S3Некоторые данные имеют требования по месту хранения. Например:

— В определенной стране — 152-ФЗ “О персональных данных”— Внутри компании

Объектное хранилище должно располагаться ближе к месту работы с данными:

— Низкая latency— Меньше ограничений по пропускной способности— Более дешевый трафик. Не надо платить Amazon за трафик

Позволяет сохранить деньги на NAS при использовании приложений, которые уже поддерживают S3

При политике импортозамещения очень важно сохранять контроль над хранилищем данных

2015 14

Доступные продукты для построения S3 “у себя дома”

НазваниеХранение

виртуальных машин

NFS SMB iSCSIТип объектного

хранилища

Acronis Storage Да В планах В планах Да REST S3

CleverSafe Нет Да Да Нет Swift + REST S3

CEPH + S3proxy Да Да Нет Нет REST S3

Cloudian Нет Нет Нет Нет REST S3

Scality Нет Да Да НетHTTP/REST S3, CDMI, Hadoop

Swift Нет Нет Нет Нет REST Swift

2015 15

Выводы

Рост данных велик. Необходимо к нему готовиться.

Уже сейчас перед внедрением хранилища необходимо задумываться над масштабируемостью.

Объектное хранилище с Amazon S3 интерфейсом может быть применимо к широкому спектру задач.

Объектное хранилище способно решить проблему масштабируемости.

Объектное хранилище легко построить у себя дома.

2015 16

acronis.com

twitter.com/acronisfacebook.com/acronisblog.acronis.com

Защита данных нового поколенияОсновано на технологии Acronis AnyData Engine