Embed Size (px)
Citation preview
Москва, 13.11.2014
Дмитрий Лямин,
Директор центра решений КРОК на базе технологий Hitachi Data Systems
Hitachi FMD. Новый подход к старой задаче.
2
СТРАТЕГИИ СОЗДАНИЯ ФЛЭШ МАССИВОВ
“HYBRID” ARRAYS FLASH ONLY ARRAYS
Ограниченная
Производительность
The “WRITE CLIFF” restriction
Большая
производительность
Built for extreme IOPS / throughput
< 1 ms response times
Большая
функциональность
QOS controls, replication, auto-tiering,
multi-protocol storage, virtualization …
Ограниченная
Функциональность
Limited and incompatible feature set
3
ПОДХОД HITACHI
HYBRID ARRAY
FLASH ONLY ARRAY
Great Functionality!
Great Performance!
ВЫ НЕ
ДОЛЖНЫ
ВЫБИРАТЬ
МЕЖДУ
ПРОИЗВОДИТЕЛЬНОСТЬЮ
И
ВОЗМОЖНОСТЯМИ
4 1 2 3
БЛОЧНЫЕ МАССИВЫ HITACHI DATA SYSTEMS С
ко
ро
сть
до
ступ
а
Объем данных
HUS 100 Series
• Up to 32 GB cache
• Up to 960 HDD
• Mix SAS, nl-SAS, SSD, FMD (hus150 only)
• Up to 256 GB cache
• Up to 1152 HDD
• Mix SAS, nl-SAS, SSD, FMD
• Up to 2048 GB cache
• Up to 2304 HDD
• Mix SAS, nl-SAS, SSD, FMD HUS VM
VSP G1000/VSP
1 2 3
FLASH MODULE DRIVE
6
ОБЗОР FMD НАКОПИТЕЛЯ
X8 PCIe PHYs
PCIe Root Complex
X32 Flash PHYs
X16 Flash Controllers
ARM9
CPU
ARM9
CPU
ARM9
CPU
ARM9
CPU
DDR3
Misc. Interfaces
To/From
DDR
UART, UI2C,
Ethernet
Flash Memory interface
PCIe 2.0
Flash Chip
Flash Chip
Flash Chip
Flash Chip
Flash Chip
Flash Chip
Flash Chip
Flash Chip
Flash Chip
Flash Chip
Flash Chip
Flash Chip
Flash Chip
Flash Chip
Flash Chip
Flash Chip
Flash Chip
Flash Chip
Flash Chip
Flash Chip
SAS Target Mode Interface Controller
SAS
128 Flash memory chips
8 lanes PCIe 2.0
32 path to flash
7
НОВЫЕ МОДУЛИ ДЛЯ СИСТЕМ ХРАНЕНИЯ HITACHI
HUS 150 HUS VM VSP G1000
Поддерживается модулей
До 480 FMD на систему
До 96 FMD на систему
До 192 FMD на систему
Полки расширения До 40 полок по 12 FMD, 2 U каждая
До 8 полок по 12 FMD, 2 U каждая
До 4 шасси по 48 FMD, 8U каждая
Емкость До 1.6 ТБ До 3.2 ТБ До 3.2 ТБ
Flash Module Drives (FMD) – новые модули для систем HUS 150, HUS VM и VSP
8
ХРАНИЛИЩЕ HITACHI ACCELERATED FLASH
Емкость модуля 1.6 ТБ или 3.2 ТБ
До 8 полок расширения на систему – свыше 300 ТБ флэш-емкости
12 FMD модулей на полку расширения высотой 2U – 38.4 ТБ
9
ОБЗОР ВОЗМОЖНОСТЕЙ FMD
• Алгоритм коррекции ошибок (ECC) способен исправить до 48 бит на 1.4 кбит
• Перепроверка всех записанных данных каждые 2 дня
• Уборка мусора в фоновом режиме
• Сжатие данных
• Механизм автоматического контроля износа ячеек памяти
НЕПРЕВЗОЙДЁННАЯ НАДЕЖНОСТЬ КОРПОРАТИВНЫХ ДАННЫХ
10
УПРОЩЕННЫЙ ВИД БЛОКОВ И СТРАНИЦ
Block 0
Page 6
Page 7
Page 4
Page 5
Page 2
Page 3
Page 0
Page 1
Block 1
Page 6
Page 7
Page 4
Page 5
Page 2
Page 3
Page 0
Page 1
Block 2
Page 6
Page 7
Page 4
Page 5
Page 2
Page 3
Page 0
Page 1
Block 3
Page 6
Page 7
Page 4
Page 5
Page 2
Page 3
Page 0
Page 1
Flash Memory Chip
11
• Есть действительные, не действительные и свободные страницы в общем объеме флэш диска, расположение определяется логически контроллером диска
• Область за пределами действительных данных может использовться для записи измененных страниц
Не актуальные
(Invalid)
Свободное место Действительные (valid) данные
Данные пользователя (маркетинговый объем диска)
Overprovisioning
Общий объем флэш диска
New Invalid Free Valid Invalid
При изменении новый блок пишется в свободную область. А старая помечается негодной
OVER-PROVISIONING
New Invalid Free Valid Free
После уборки мусора, invalid области становятся свободными и доступными для записи
12
• Когда несколько блоков содержат большое количество invalid страниц, имеет смысл консолидировать их в новый блок и стереть старые блоки
• Это называется уборка мусора (Garbage Collection )
Copying valid data to Block C and
invalidating Block A, B
УБОРКА МУСОРА
Block A
Page 0 Invalid
Page 2 LBA:10
Block С
Page 0 Free
Page 1 Free
Page 2 Free
Before Garbage
Collection Page 1 Invalid
Block A, B are erased
After Garbage Collection
Block B
Page 0 Invalid
Page 2 LBA:11
Page 1 Invalid
Block A
Page 0 Invalid
Page 2 LBA:10 Invalid
Page 1 Invalid
Block С
Page 0 LBA 10
Page 1 LBA 11
Page 2 Free
Block B
Page 0 Invalid
Page 2 LBA:11 Invalid
Page 1 Invalid
Block A
Page 0 Free
Page 2 Free
Page 1 Free
Block С
Page 0 LBA 10
Page 1 LBA 11
Page 2 Free
Block B
Page 0 Free
Page 2 Free
Page 1 Free
13
УБОРКА МУСОРА
• Поскольку вы всегда пишете в новую страницу, а старая при этом не освобождается автоматически, то вам постоянно необходимо проводить уборку мусора. В FMD модуле уборка происходит постоянно, в фоновом режиме, средствами контроллера дискового модуля, без загрузки основных путей передачи данных
Output buffer
Data collection for garbage collection
New pages
New data written by user
Erased Blocks
14
VSP formatted data
Data:
All “0”
LA/
LRC
Data:
All “0”
LA/
LRC
Data:
All “0”
LA/
LRC
Chuck size (128KB)
СЖАТИЕ ДАННЫХ
• Сжатие в реальном времени последовательностей “0” или “1”, до 94%
• Длина последовательности должна быть минимум 128КБ
Inline Write Compression
Data:
All “1”
LA/
LRC
Data:
All “1”
LA/
LRC
Data:
All “1”
LA/
LRC
Written on flash
Compression data (8KB)
Ptn:
“0”
LA/
LRC
LA/
LRC
LA/
LRC
Ptn:
“1”
LA/
LRC
LA/
LRC
LA/
LRC
15
Предел износа
К
ол
иче
ство
ци
кло
в за
пи
саи
Block number
Без контроля износа
Ко
ли
чест
во ц
икл
ов
зап
иси
Block number
С контролем износа
КОНТРОЛЬ ИЗНОСА
1 2 3
ПРОИЗВОДИТЕЛЬНОСТЬ
17
A PARADIGM SHIFT IN PERFORMANCE
Traditional Disk Drives Solid State Capacity
Capacity Drives
Performance Drives
Commodity SSD
Hitachi Accelerated Flash storage
IOPS 80 150-180 5,000 100,000
Resp Time
(milliseconds)
6 2 0.2 0.2
Approximate Per-Device Performance Potential
18
ПРОИЗВОДИТЕЛЬНОСТЬ НА РЕАЛЬНЫХ ТЕСТАХ
24шт FMD
Конфигурация 1
http://www.spec.org/sfs2008/results/res2013q4/sfs2008-20130905-00230.html
Более полумиллиона IOPS на 24шт FMD дисков
http://www.spec.org/sfs2008/results/res2013q4/sfs2008-20130905-00229.html
Throughput: 602K iops Overall Response Time: 0.72 ms
128шт FMD
Конфигурация 2
Более миллиона операций в секунду при времени отклика
менее 1мс
Throughput: 1.2M Ops/Sec Overall Response Time: 0.75 ms
4100 (x8)
19
ОБЛАСТИ ПРИМЕНЕНИЯ
Заказчики • Банки • Ритейл • Промышленность • Страховые компании
Задачи • Базы данных с высоким уровнем ввода\вывода • Виртуализация рабочих мест • Построение аналитических отчетов
20
• HUS-VM – универсальный массив с блочным и файловым доступом с широчайшим набором возможностей
• Масштабируемость свыше 300 ТБ
• Гибкость при выборе конфигураций
• Высокая плотность хранения, ТБ на юнит (в сравнении с SSD)
• Меньшее энергопотребление на ТБ
• Высокая производительность
ПРЕИМУЩЕСТВА HUS VM И FMD
21
111033, Москва, ул. Волочаевская, д.5, корп.1 +7 495 974 2274, +7 495 974 2277 (факс)
[email protected] www.croc.ru
Дмитрий Лямин,
Директор центра решений КРОК на базе технологий Hitachi Data Systems
СПАСИБО ЗА ВНИМАНИЕ!
