Опыт построения СХД на базе Windows Server для использования...

Высокопроизводительная СХД на базе Windows Server для использования в публичном облаке компании DataLineСергей Груздов

.

• Сервис-провайдер

• Собственные датацентры

• Колокейшн

• Услуги публичного облака

ВВЕДЕНИЕ• ЧТО ТАКОЕ SDS

• ПОЧЕМУ SDS• Независимость от производителя оборудования• Использование имеющегося оборудования

ПРОГРАММНО-АППАРАТНЫЕ РЕШЕНИЯ• HP P4000 (LeftHand)• EMC Evo-Rail• Nutanix• Cluster-In-Box

ПРОГРАММНЫЕ РЕШЕНИЯРешение Протоколы ROCE Резервирование

VSAN ISCSI/NFS/CIFS - RAIN

CEPH ISCSI/NFS/CIFS - RAIN

HP P4000 ISCSI/NFS/CIFS RAIN

EMC ScaleIO ISCSI/NFS/CIFS - RAIN

Starwind SAN ISCSI - RAIN

Storage Spaces ISCSI/NFS/CIFS/SMB3 + (SMB Direct) RAID

Storage Spaces Direct ISCSI/NFS/CIFS/SMB3 + (SMB Direct) RAIN

ПОСТРОЕНИЕ ПУБЛИЧНОГО ОБЛАКА• ПАРТНЕРСКАЯ ПРОГРАММА COSN

• Референсная архитектура

АРХИТЕКТУРА РЕШЕНИЯ

Управляющий кластер2 узла DELL PowerEdge R730

Сетевой кластер2 узла DELL PowerEdge R730

Вычислительный кластер14 узлов DELL PowerEdge R820

АРХИТЕКТУРА РЕШЕНИЯХранилище

2 JBOD DELL PowerVault MD3060eSSD/SATA SSD/SATA

СХД на основе Windows Storage Spaces(Scale-Out File Server)

2 узла DELL PowerEdge R730

АРХИТЕКТУРА STORAGE SPACES

Cluster Nodes

SAS JBOD

Storage Spaces Storage Pool

Storage Spaces Virtual Disks

Cluster Shared Volumes

NTFS/ReFS On-Disk File System

ОРГАНИЗАЦИЯ ХРАНЕНИЯ• Уровни хранилища

• Кэш• Виды кэшей

ОПТИМИЗАЦИЯ STORAGE TIERS И КЭШ

SSD Tier(и Write-Back кэш)

Storage Space

HDD Tier

«Горячие»данные

«Холодные»данные

СЕТЕВОЕ ВЗАИМОДЕЙСТВИЕ• Оптимизация сетевых настроек• SMB Multichannel• ROCE (Rdma Over Converged Ethernet)• DataCenter Bridging

SMВ DIRECTClientFile Storage

SMB Server SMB Client

Transport Protocol Driver

Transport Protocol Driver

NIC Driver NIC Driver

NIC

Application AppBuffer

SMBBuffer

SMBBuffer

OSBuffer

OSBuffer

DriverBuffer

DriverBuffer

AdapterBuffer NIC Adapter

Buffer

w/o RDMAFile Storage Client

SMB Server SMB Client

Transport Protocol Driver

Transport Protocol Driver

NIC Driver NIC Driver

NIC

Application AppBuffer

SMBBuffer

SMBBuffer

OSBuffer

OSBuffer

DriverBuffer

DriverBuffer

AdapterBuffer NIC Adapter

BufferRoCE

with RDMA

ПОДВОДНЫЕ КАМНИ• Прошивки• Исправление неявных проблем

• Логический/физический сектор• Существующие типы дисков

• Native 512 (512/512)• 512e (512/4096)• Native 4K (4096/4096)

• Пул с дисками разного типа

СООТНОШЕНИЕ РАЗМЕРА СЕКТОРОВ

HDD 512e (512/4096)

Volume 4K (4096/4096)

Virtual Disk 512e (512/4096)

ПОЛИТИКА RMW(Read-Modify-Write)

4K Physical Sector

512 512 512 512 512 512 512 512Считывание 4К

физического сектора с носителя в кэш.1

4K Physical Sector

512512512512512512512 512 2 Обновление 512-байтного логического сектора в кэше.

4K Physical Sector

512512512512512512512 512 3 Перезапись 4К физического сектора на носителе.

НЕДОСТАТКИ РЕШЕНИЯ• Сложность настройки

• Однопоточная дедупликация

• Отсутствие ребалансировки

• Масштабирование

ГИБРИДНОЕ SDS• Реализация

АРХИТЕКТУРА STORAGE SPACES DIRECT

Storage Spaces Storage Pool

Storage Spaces Virtual Disks

Cluster Shared Volume

Software Storage Bus

ReFS On-Disk File System

РЕЗЕРВИРОВАНИЕ ДАННЫХ

Extent A Extent B Extent C

Virtual Disk Extents

Server E

A’’

Server B

A’B

Server C

B’C

Server D

B’’C’

Server A

A C’’

ИЗМЕНЕНИЯ• Простота настройки

• Многопоточная дедупликация

• Различные сценарии

• Гибкое масштабирование

• Mutliresilence Virtual Disks

СРАВНЕНИЕ ПРОИЗВОДИТЕЛЬНОСТИРешение Чтение Запись

Storage Spaces (до) 800 Mb/s 100 Mb/s

Storage Spaces Direct 2 Gb/s 1 Gb/s

Storage Spaces (после) 3 Gb/s 1 Gb/s

ЗаключениеСергей Груздов sgzruzdov@dtln.ru egel@egel.su