Максим Шапошников, Nutanix

Распределенная файловая система NDFS и базирующаяся

на ней Компьютерная платформа Nutanix Максим Шапошников

1990

2005

Буд

ущ

ее

Эффективность

Эволюция дата-центров

Physical transforms to virtual

Converged architecture

Services delivered via software

Commodity hardware alters economics

Google изменил все в ранних

2000

Традиционные (ранняя Yahoo, Altavista)

Сервера, коммутаторы, SAN, NAS

Модульные (Google, Amazon, Facebook)

Стандартное оборудование, Map/Reduce, NoSQL

Google File System

• Масштабируемость. Датацентры – как кубики лего.

• Производительность. Скорость ответа на запросы миллисекунды.

• Управляемость. Простые, идентичные компоненты, для легкости управления в любом масштабе.

• Отказоустойчивость. Репликация данных и замена аппаратных компонент на лету.

RAID надежен? MythBusters могли бы

возразить ;)

• RAID6 практически гарантирует потерю данных в единой рейд-группе размером >500TB менее чем за год (вероятность 99.999%)

• MTBF – маркетинг, на самом деле диски умирают партиями и не вовремя

• Современные СХД могут восстанавливаться после сбоев дисков сутками и даже неделями, подъем из бэкапа – еще дольше

• Отказ двух контроллеров в большинстве случаев – потеря данных или долговременный отказ в обслуживании

NDFS: Задачи и их решение

• Создать ФС, подобную GFS, но спроектированную для общих задач / виртуализацию

Создана NDFS, работающая «поверх» KVM, vmWare, HyperV

• Предложить распределенную ФС на недорогом, стандарном X86 оборудовании высокой плотности размещения

Поместили в 2 юнита сверхбыструю СХД + 4 «сервера»

• Предоставить разделяемый доступ к датастору для всего кластера через стандартные протоколы

NDFS способна работать через NFS, iSCSI, SMB3 • Решить проблему split-brain

Используем paxos, наиболее продвинутый алгоритм на сегодняшний день

NDFS: Задачи и их решение

• Решить множество проблем cтандартных IT инфраструктур Увеличили скорость ввода в эксплуатацию до минут, уменьшили стоимость и сложность, понизили энергопотребление, требуемое охлаждение, стойко-места

• Предоставить реальную масштабируемость – от маленьких до очень больших проектов

NDFS не имеет центральных точек отказа, использует NoSQL решения для работы с метаданными, масштабируется от 3-х узлов и не имеет теоритических лимитов расширения

• Не использовать RAID ввиду устарелости, медленности и ненадежности Используется технология «размазывания данных» (dispersed data)

Кстати, нужна ли виртуализация? («у нас много денег на железо»)

• Постоянная головная боль для всей команды – высчитывать оптимальную аппаратную конфигруацию под конкретные задачи (или тратить $$$)

• Считаем ядрами процессоров, гибайтами памяти и IOPS – сервера дешевле всего покупать одинаковые (память лишней не бывает)

• Переезд сервисов на другое «железо» - трагикомедия • Пара команд из CLI или «кликов» мышкой, ни единого разрыва (с)!

• «Мы тут чуть код улучшили в пятницу вечером» – требования к конфигурации могут кардинально измениться

• Автоматически перераспределяемая нагрузка между аппаратными серверами (вплоть до времени суток) – как в сторону уменьшения, так и увеличения ресурсов, с учетом приоритетов

• Множество точек управления, сложности развертывания ОС и ПО • Практически мнговенный деплой любых виртуальных машин и ПО, линкованный клон автоматически кэшируется

на нужных аппаратных серверах, апдейт ОС всех VM кластера за минуты, загрузка ОС на них – секунды

• Изоляция сервисов – условна, безопаснее разносить аппаратно • В пределах одного физического сервера абсолютно безопасно может находиться множество различных задач,

вплоть до смешения разработки и продакшена

Новое поколение ДЦ?

Универсальная платформа для гибридных облаков

Гибкое управление нагрузками

Общий интерфейс управления

Управление данными ориентированное на виртуальные машины

Как оно работает?

NUTANIX INC. – CONFIDENTIAL AND PROPRIETARY

Распределенная Файловая Система Nutanix является масштабируемой, децентрализованной распределенной файловой системой, изначально разработанной для целей виртуализации.

Distributed File System (NDFS) Распределенная Файловая Система

NUTANIX INC. – CONFIDENTIAL AND PROPRIETARY

Distributed File System (NDFS) Архитектура

NUTANIX INC. – CONFIDENTIAL AND PROPRIETARY

Distributed File System (NDFS) Архитектура

NUTANIX INC. – CONFIDENTIAL AND PROPRIETARY

Distributed File System (NDFS) Архитектура

NUTANIX INC. – CONFIDENTIAL AND PROPRIETARY

Distributed File System (NDFS) Архитектура

NUTANIX INC. – CONFIDENTIAL AND PROPRIETARY

Distributed File System (NDFS) Архитектура

VM VM

Гипервизор Контроллерная VM

Гипервизор Контроллерная VM

Гипервизор Контроллерная VM

DEF GHI

VM

ABC данные данные данные

Distributed File System (NDFS) Резервирование данных в кластере

VM

DEF данные

Гипервизор Контроллерная VM

Гипервизор Контроллерная VM

Гипервизор Контроллерная VM

VM

ABC данные

VM

GHI данные

VM

ABC данные

Distributed File System (NDFS) Как работает высокая доступность (HA)?

Гипервизор Контроллерная VM

Гипервизор Контроллерная VM

Гипервизор Контроллерная VM

VM

ABC данные

VM

DEF данные

VM

GHI данные

Distributed File System (NDFS) Как работает миграция VM?

cVM

Гипервизор

HDD SATA

SSD

Гостевая VM

Гостевая VM

Гостевая VM

Гостевая

VM

SATA

SSD HDD HDD HDD

NFS датастор

Холодные данные

Горячие данные

• Данные попадают на SSD • Передвигаются на более медленные диски «Куратором» • Поднимаются обратно на SSD в зависимости от количества и частоты обращений

Distributed File System (NDFS) Оптимизация размещения данных

• Данные сжимаются при записи (синхронно)

• Идеально для архивации

• Высокая производительность для

последовательных нагрузок

• Данные сжимаются после того как стали

«холодными» и мигрировали на

низкопроизводительные уровни СХД

• Осуществляется (только) когда есть свободные

вычислительные ресурсы

• Нет негативного эффекта на скорость ввода-

вывода данных

• Идеально для нагрузок со случайным доступом

Distributed File System (NDFS) Оптимизация ёмкости СХД. Сжатие.

78% Сжатия

До

Distributed File System (NDFS) Оптимизация ёмкости СХД.

NUTANIX INC. – CONFIDENTIAL AND PROPRIETARY

В едином кластере могут независимо масштабироваться процессорные

мощности и СХД

Линейное масштабирование В

ирту

ал

ьны

х м

аш

ин

Количество модулей (4 модуля на блок)

Аварийное восстановление Репликация каждой виртуальной машины

Управляем из единого интерфейса

NUTANIX INC. – CONFIDENTIAL AND PROPRIETARY

Виртуализация высокой плотности

Сервера 4x Независимых серверных модуля

8x Intel CPUs (80 ядер)

До 1TB RAM

Два 10Gbit Ethernet

4 модуля в 2U

4 независимых модуля,

совмещающих СХД и сервера

Сценарии использования

Виртуализация рабочих мест

Виртуализация серверов

Big data

Приватные облака

Hadoop

Восстановление из аварий

Непрерывность бизнеса

Удаленные офисы

Локальные сервисы в

офисах

Как сказал Альберт Эйнштейн,

«Безумие - делать одно и то же, и

каждый раз ожидать иного результата»

NUTANIX INC. – CONFIDENTIAL AND PROPRIETARY