Upload
cee-secr
View
86
Download
0
Embed Size (px)
Citation preview
XII международная конференция
CEE-SECR / РАЗРАБОТКА ПО28 - 29 октября, Москва
Евгений Анастасиев
Облачный Росомаха
О чем речь?
● Блочные СХД● Локальные и
распределенные
Слайд 1
Какие проблемы есть
● Масштабируемость● Быстродействие● Отказоустойчивость
Слайд 2
Важные термины
● Блок (чанк)● Страйп● Синдром● Empty-блок
Слайд 3
Отказоустойчивость в системах изнескольких компонент
RAID Кластер
Слайд 4
Восстановление изконтрольных сумм
● Для восстановления нужно прочитать контрольные суммы
● Меньше чтений — больше скорость восстановления
Слайд 5
LRC и Regenerating Codes
Local Reconstruction Codes
● Деление на локальные группы с контролем четности
● Мало чтений● Повышенная избыточность
Regenerating Codes
● XOR-кодирование● Минимальное количество
чтений● Нестандартный расчет
синдромов
Слайд 6
LRC
Слайд 7
LRC: проблема «колокола»
Слайд 8
LRC: проблема «колокола»
Слайд 9
Butterfly-схемаh i=∑
k
a ik i2[j] = i
2[j-1] => a
ij — black
Слайд 10
Butterfly-схема: проблема масштабирования
● Строгое ограничение по соотношению узлов и кодирующих символов
● Нужно выбирать между:• Расширением малым числом дисков• Скоростью работы • Максимальным размером кластера
Слайд 11
Butterfly-схема: проблема масштабирования
Слайд 12
Рандомизация в LRC
Слайд 13
Рандомизация: решение проблемы «колокола»
● Чтение блока с каждого диска равновероятно
● Уже на 100000 страйпов разность максимума и минимума менее 1%
● Проблемы «колокола» не возникает
Слайд 14
Применение локальных групп для масштабирования Butterfly-схемы
Слайд 15
Рандомизация в Butterfly-схеме
● Дает те же преимущества, что и в LRC
● Не только минимальное количество чтений, но и равномерное их распределение
Слайд 16
Результаты: производительность
Слайд 17
Результаты: избыточность
Слайд 18
Спасибо за внимание!