Embed Size (px)
Citation preview
Гиперконвергентность –мягкое введение в веб-масштаб
Андрей Николаенко
0.9
Системный архитектор в IBS
О т р е ч е н и е
В с я к и й с и с т е м н ы й и н т е г р а т о р – « а к у л а к а п и т а л и з м а »
I B S – р а з р а б о т ч и к с о б с т в е н н о г о г и п е р к о н в е р г е т н о г о к о м п л е к с а
I B S – п о с т а в щ и к г и п е р к о н в е р г е т н ы х с и с т е м д р у г и х п р о и з в о д и т е л е й
С о т р у д н и к I B S , н о н е « з а с л а н е ц I B S » и н е « с п и к е р I B S »
Т о л ь к о с о б с т в е н н о е м н е н и е , и н и к а к и х « о ф и ц и а л ь н ы х м н е н и й I B S »
О б щ е с т в е н н о е
А д м и н и с т р а т о р р у с с к о г о р а з д е л а В и к и п е д и и
П р о ф е с с и о н а л ь н ы й ч л е н А с с о ц и а ц и и в ы ч и с л и т е л ь н о й т е х н и к и ( A C M )
График дня
0% 20% 40% 60% 80% 100% 120%
Гиперконвергентные системы
All-flash-массивы
Интегрированные комплексы
Системы хранения напрямую от ODM
Гибридные флэш-массивы
Корпративные сети
Внешние системы хранения
Серверы
Рынок инфраструктуры в целом
Т е х н о л о г и и - « т о л к а ч и » р о с т а м и р о в о г о р ы н к а И Т - и н ф р а с т р у к т у р ы ( р о с т в % , 2 0 1 5 г о д )
Источник: IDC, 2015
Тема часа
…нужно уметь жить и работать в гиперконвергентных условиях…
…скорее всего, это будет просто!
Но есть тонкости…
Программному обеспечению для корпоративного сектора…
План: разобрать тему доклада
Гиперконвергентность – мягкое введение в веб-масштаб
П о ч е м у и м е н н о « в е б - м а с ш т а б » ?
Ч т о т а к о е « г и п е р к о н в е р г е н т н о с т ь » ?
В ч ё м « м я г к о с т ь » ?
П о ч е м у л и ш ь « в в е д е н и е » ?
I
II
III
IV
Завидует «Энтерпрайс» «Вебу»…
П о ч е м у и м е н н о « в е б - м а с ш т а б » ?I
Г и п е р м а с ш т а б и р у е м о с т ь
М а к с и м а л ь н а я п л о т н о с т ь
Н и з к а я с т о и м о с т ь с т р о й б л о к а
З а м е н а с т р о й б л о к а к а к е с т е с т в е н н ы й п р о ц е с с
О д н о « с у п е р п р и л о ж е н и е »
Почему так не делали сразу?
П о ч е м у и м е н н о « в е б - м а с ш т а б » ?I
Королевство сайзинга
Конгломерация ландшафтов
Империя compatibility
• «Отсайзеный» программно-аппаратный комплекс для каждой информационной системы
• Все «ландшафты» в каждом комплексе!
• Sizeof(Preprod)==Sizeof(Prod)
• Строгие матрицы совместимости тиражируемых приложений, настоятельные рекомендации консультантов и интеграторов
Enterprise-установки
П о ч е м у и м е н н о « в е б - м а с ш т а б » ?I
Надёжность 9999
«Промышленные платформы»
Референции
Физическая изоляция ресурсов
Безопасность • (доходящая до паранойи)
Каждая информсистема как целостный мир
П о ч е м у и м е н н о « в е б - м а с ш т а б » ?I
Сервер приложений (×10, Prod)
Сервер приложений (×2, Preprod)
Сервер приложений (×2, Dev-Test)
Сервер СУБД (RISC, Prod)
Сервер СУБД (RISC, Preprod)
Сервер СУБД (RISC, Dev-Test)
Станция тестирования
(×2)Hi-end SAN
Флэш-массив (кэш Prod)
Mid-range SAN (Dev-Test)
Коммутатор SAN (×2)
Коммутатор 10GbE (×2)
Балансировщикнагрузки
(аппаратный)
Комплекс резервного
копирования….
×2 (катастрофоустойчивость)
×20 (количество систем)
Мышление на уровне «решений»
П о ч е м у и м е н н о « в е б - м а с ш т а б » ?I
П о д д е р ж к а н а « р е ш е н и е » и н а к а ж д ы й к о м п о н е н т
К р у п н о с о б ы т и й н ы й п о д х о д
«Событие принятия решения» «Событие поставки» …
В о д о п а д н ы й ж и з н е н н ы й ц и к л « т е м ы »
ОбоснованиеВыбор
поставщикаТехпроект Поставка Пуско-наладка Внедрение
«Перевод в пром»
…
Р а з д е л ь н ы е « т е м ы » – р а з д е л ь н а я о т в е т с т в е н н о с т ь
Когда попадают в сравнение…
П о ч е м у и м е н н о « в е б - м а с ш т а б » ?I
… и вскоре для поиска пришлось прикручивать Sphinx на x86_64!
… и вынуждены меняться
П о ч е м у и м е н н о « в е б - м а с ш т а б » ?I
Недоиспользование мощностей, тогда как «мир ушёл вперёд»
Виртуализация систем
КонтейнерыВиртуализация
сетиДедупликация и
сжатие
Исчерпание резервов экстенсивного роста
«Совместимое» развитие существующего
Освоение нового Интеграция…
Кто так назвал?
П о ч е м у и м е н н о « в е б - м а с ш т а б » ?I
А н а л и т и к G a r t n e r К э м е р о н Х э й т
Развитие мысли…
П о ч е м у и м е н н о « в е б - м а с ш т а б » ?I
Приоритеты-2015
П о ч е м у и м е н н о « в е б - м а с ш т а б » ?I
Источник: State of Hyperconverged Infrastructure, Actual Media,2015B
Гиперконвергентность – мягкое введение в веб-масштаб
Ч т о т а к о е « г и п е р к о н в е р г е н т н о с т ь » ?II
Слово-раздражитель
Ч т о т а к о е « г и п е р к о н в е р г е н т н о с т ь » ?II
Корпоративный сектор: «Приелись хитрые концепции»
«Хранилищу по Ethernet не бывать!»
«Не может россыпь быть надёжнее суперузла!»
«Виртуализация – это накладные расходы»
Веб: «Это вообще о чём?»
«Зачем слово нужно, когда это что-то банальное?»
Целевая идея: стройблок универсален!
Ч т о т а к о е « г и п е р к о н в е р г е н т н о с т ь » ?II
Управляем ….так, чтобы можно было заменить диск, карточку, узел целиком без останова
Быстрый и отзывчивый интерконнект стал недорогможно наживую мигрировать виртуальные машины …справляется с распределённым хранением
Устройства хранения для виртуальных машин раздаются из единого пула храненияВесь ввод-вывод контролируется системой управления
Берём x86_64-стройблокина каждом будем запускать виртуальные машины устройства хранения каждого – в единый пул
Стройблок отдал всё в пулы…
Ч т о т а к о е « г и п е р к о н в е р г е н т н о с т ь » ?II
Пул хранения
Том ВМ1
Том ВМ2
…
ВМ1ВМ1
Гипервизоры
……
ГипервизорыВы
числ
ит
ельн
ый
пул
Свойства-носители
Ч т о т а к о е « г и п е р к о н в е р г е н т н о с т ь » ?II
программная определяемость
самовосстановление
перебалансировка
исключение единой точки отказа
распределение нагрузки для исключения узких мест
Программная определяемость
Ч т о т а к о е « г и п е р к о н в е р г е н т н о с т ь » ?II
Гиперконвергентная система – это в первую очередь много программного обеспечения, подруженного между собой
• Во-вторую очередь – аппаратное обеспечение массового класса, но с тщательно подобранными параметрами
Программно-определяемая сеть, подруженная с гипервизором – ключевой компонент
• Виртуальная машина-контроллер или [спец-]гипервизор презентуют программно-определяемую сеть виртуальным машинам
«Программно-определяемый вычислитель»
Как оно на слом?
Ч т о т а к о е « г и п е р к о н в е р г е н т н о с т ь » ?II
Упала виртуальная машина?
Запустилась заново
Отвалился диск?
Пошла перебалансировка
Сигнал администратору
Отрубился узел?
Машины переехали на другой узел
Перебалансировкахранилища
Сигнал администратору
Главные фишки
Ч т о т а к о е « г и п е р к о н в е р г е н т н о с т ь » ?II
[максимальная] локальность на
чтение
локальные [SSD]-кэши
моментальные снимки
динамическое выделение ресурсов
(thin provisioning)
мгновенное клонирование
(cloning)
От малых до великих
Ч т о т а к о е « г и п е р к о н в е р г е н т н о с т ь » ?II
Основа широты охвата – «горизонтальный» дизайн программно-определяемой сети хранения
• 3-4 узла – уже полноценный комплекс
• Полсотни узлов – распространённые инсталляции
• Существуют инсталляции из нескольких сотен узлов
Типичный дизайн стройблока
Ч т о т а к о е « г и п е р к о н в е р г е н т н о с т ь » ?II
2 U
2× ЦПУ Xeon E5
256 ГБ ОЗУ
4× SSD (400 ГБ)
8× HDD (7200 об/мин; 1,2 ТБ)
Кто придумал?
Ч т о т а к о е « г и п е р к о н в е р г е н т н о с т ь » ?II
Стив Чемберс, 2012бывший CTO VCE [VCE = VMWare + Cisco + EMC]
«SAN не нужен»!
Положение на карте мировых ИТ
Ч т о т а к о е « г и п е р к о н в е р г е н т н о с т ь » ?II
Серверное оборудование для организаций
Серверы x86
Серверы RISC
Сети хранения
…
Интегрированные системы
Платформенные комплексы
Инфраструктурные комплексы
Гиперконвергентные комплексы
Магический квадрант
Ч т о т а к о е « г и п е р к о н в е р г е н т н о с т ь » ?II
О б л а с т ь г и п е р к о н в е р г е н ц и и
Ин
тегр
ир
ова
нн
ые
сист
емы
«Стековые» (машины баз данных,
серверы приложений…)
Конвергентные (с дисковым массивом)
Гиперкнгвергентные
Магический квадрант в динамике
Ч т о т а к о е « г и п е р к о н в е р г е н т н о с т ь » ?II
– Magic Quadrant for Integrated Systems, 2014
Источник: Gartner, 2014, 2015
Ключевые игроки
Ч т о т а к о е « г и п е р к о н в е р г е н т н о с т ь » ?II
• доля рынкаДиаметр
шара
• широта возможностей
Capabilities
• оценка стратегииStrategies
Nutanix vs SimpliVity
Ч т о т а к о е « г и п е р к о н в е р г е н т н о с т ь » ?II
N u t a n i x S i m p l i v i t y
Основание 2009 2009
Штаб-квартира Сан-Хосе (Калифорния) Уэстборо (Массачусетс)
Инвестиции $312 млн $276 млн
Запуск продукта 2011 2012
Идеология SDS глубокой проработки с идеями из Google Filesystem и MapReduce
ПЛВМ на каждом узле жмёт и дедуплицирует весь ввод-вывод
Возможности
Ч т о т а к о е « г и п е р к о н в е р г е н т н о с т ь » ?II
Источник: Simplify the Midmarket Data Center WithHyperconverged Infrastructure Solutions// Gartner, 2015
Где же гранды?
Ч т о т а к о е « г и п е р к о н в е р г е н т н о с т ь » ?II
Оригинал «мертвецов»: Кейд Мец (Wired, 2015)
Е щ ё н е в ы м е р л и !
Н о т о л ь к о с е й ч а с в ы в о д я т г и п е р к о н в е р г е т н ы еп р о д у к т ы
“В «вебе» делают то же самое!”
Ч т о т а к о е « г и п е р к о н в е р г е н т н о с т ь » ?II
Parallels aka Virtuozzo aka Odin aka Росплатформа
Virtuozzo Containers Virtuozzo Hypervisor Virtuozzo StorageАвтоматизация,
управлениеЖивые и крупные IaaS-провайдеры
Вокруг RHEV
Xen или KVM Ceph или GlusterFS «Ansible в руки» (или oVirt)
OpenStack
Openstack идёт в корпоративный сектор…
… но внедрение OpenStrack – как внедрение ERP
Гиперконвергентные комплексы поддерживают OpenStack
Несанкционная гиперконвергенция (Скала-Р)
Ч т о т а к о е « г и п е р к о н в е р г е н т н о с т ь » ?II
Средства информационной безопасности
Мониторинг (Vento, Naumen)
Резервирование (Acronis)
Полный комплект Virtuozzo
[VZ-]контейнеры ГипервизорПрограммно-
определяемая сетьУправление
Сеть 56 GbE (Mellanox)
Узлы Depo Computers
IDC Russia, 2014
Ч т о т а к о е « г и п е р к о н в е р г е н т н о с т ь » ?II
“Конвергентные платформы, в основе которых лежат совместимые и интегрированные
аппаратные средства и ПО, будут пользоваться большим спросом, чем разобщенные продукты от
многочисленных производителей. Здесь есть потенциал для развития отечественной
программной и аппаратной разработки, а также большего использования решений китайских
поставщиков”
Прогноз в мире интегрированных систем
Ч т о т а к о е « г и п е р к о н в е р г е н т н о с т ь » ?II
Цикл шума для мира технологий хранения
Ч т о т а к о е « г и п е р к о н в е р г е н т н о с т ь » ?II
Источник: Hype Cycle of Storage Technologies
// Gartner, 2015
Цикл шума для серверных технологий
Ч т о т а к о е « г и п е р к о н в е р г е н т н о с т ь » ?II
Источник: Hype Cycle of Server Technologies
// Gartner, 2015
Гиперконвергентность – мягкое введение в веб-масштаб
В ч ё м « м я г к о с т ь » ?III
“Gentle introduction” → “gentle deployment”
В ч ё м « м я г к о с т ь » ?III
«Мягкое внедрение»
Не просто «миграция», а «конверсия»!
В ч ё м « м я г к о с т ь » ?III
Нужно «всего лишь» всё виртуализировать и разместить на подготовленной сети хранения
Существуют отработанные технологии и техники переноса
Проект может быть коротким, стремительным и … даже одномоментным
Ведомство до конверсии
В ч ё м « м я г к о с т ь » ?III
Более двухсот (!) информационных систем
Микросистемы
Большие системы
Сверхбольшие системы
У каждой системы
Свой комплект «базового ПО»
Свои регламенты резервирования, восстановления
Для каждой системы
Собственные планы по модернизации
Специфические требования по
«совместимости»
Ведомство: проект конверсии
В ч ё м « м я г к о с т ь » ?III
Idéfix: комплексирование
• Проанализированы требования по базовому ПО
• Выделены блоки по СУБД, серверам приложений
• Подготовлены к раздельной инсталляции («внутренний DBaaS» и «внутренний AppSrvaaS»)
Рассчитаны потребности в мощностях
• На основании используемых мощностей оборудования
• [Но это значительная перезакладка по мощностям]
Платформа для индивидуальной проработки
• СУБД 1960-х годов, работающая только с блочным устройством
пара месяцев, обстоятельно
две недели
Ведомство: «большой взрыв»
В ч ё м « м я г к о с т ь » ?III
Переключение на DBaaS
• Переключение на действующих системах
• Проверка функционирования
Финальный план переезда
• IP, конфигурации, что «доправить»
Переезд
• Снятие образов (в основном – нахолодную)
• Запуск в новой среде
• Доконфигурирование
Мониторинг, мониторинг, мониторинг
два выходных
два выходных
две недели
Ведомство после конверсии
В ч ё м « м я г к о с т ь » ?III
Сопровождение инфраструктуры отделено от сопровождения информационных систем
Сопровождение ключевых платформ (СУБД, серверы приложений) отделено от сопровождения информационных систем
Крупные «пучки» систем направлены на «логическое комплексирование»
Переход на «частно-облачную» модель обслуживания и развития
и
Ведомство: распутываем «тёмную материю»
В ч ё м « м я г к о с т ь » ?III
Неизвестно, что делающие
узлы…
• Но возможно выполняющие какие-то нужные сервисы?
Конверсия
• Что-то стало понятно на этапе зависимостей
Отключение «непонятных»
Нашёлся один нужный (через месяц позвонил пользователь)
Через две недели после «большого взрыва»
Ведомство: будущее
В ч ё м « м я г к о с т ь » ?III
«Катастрофоустойчивость» (вторая площадка)
Внедрение VDI«Стандарт модернизации»
и соответствующий процесс
Меньше IaaS, больше PaaS (унификация по версиям СУБД и
серверов приложений)
Основные драйверы конверсии
В ч ё м « м я г к о с т ь » ?III
Источник: IDC European Storage Survey 2015, Europe (410 responses). 1Q15 (only companies using Hyperconverged)
20%
23%
26%
28%
30%
30%
33%
35%
0% 5% 10% 15% 20% 25% 30% 35% 40%
Избавление от SAN
Экономия на штате
Другой тип резервирования
Проще вписаться в бюджет
Проще сделать катастрофоустойчивость
Проще в установке
Скорость развёртывания
Масштабируемость
Проекты-паровозы конверсии
В ч ё м « м я г к о с т ь » ?III
Источник: IDC European Storage Survey 2015, Europe (410 responses). 1Q15 (only companies using Hyperconverged)
Крупные
Построение инфраструктурного
частного облака
Средние-1
Создание инфраструктуры
удалённых рабочих столов (VDI)
Средние-2
Консолидация филиальной сети
Малые
Очередная модернизация с
упрощением (простое
резервирование и «долой SAN»)
Критерии выбора и реальность эксплуатации
В ч ё м « м я г к о с т ь » ?III
Отречение: очень субъективно!
• При наличии контейнерной виртуализации – используется практически только гипервизорная
В ы с о к а я п л о т н о с т ь
• Машинам выделяются фиксированные мощности
• Thick provisioning…
П о д д е р ж к а п е р е з а к л а д к и п о Ц П У , О З У , « т о н к и е » т о м а
• N=3 всегда
П о д д е р ж к а р а з л и ч н ы х к о э ф ф и ц и е н т о в р е п л и к а ц и и
• GUI всегда
REST API системы управления и мониторинга
Типичный «зоопарк» для переноса
В ч ё м « м я г к о с т ь » ?III
Корпоративные системы
ERP (SAP, OEBS, 1C)
CRM (Sugar, Siebel…)
«Документообороот»
BI (Business Objects, Tableau)
Собственные приложения
Веб-сайт
Портал поставщиков
…
Совместная работа
Почта (Exchange, CommunigatePro)
Корпоративный портал (на Sharepoint,
на Liferay)
«IT-сервисы»
«Сетевой диск»
LDAP, Active Directory
Контроллер домена
Прокси
Серверы приложений (JBOSS, WebSphere)
СУБД (Oracle Database, PostgreSQL, MySQL)
…для самых популярных «зверей»
В ч ё м « м я г к о с т ь » ?III
«Лучшие практики» для Exchange от
поставщиков гиперконвергентных
систем
«Техники виртуализации» для
основных ERP от самих поставщиков ERP (c «сайзингами»
и SAPSами)
Шаблонизация ОС и борьба с VDI-штормами
…для тех, кто из «Красной книги»
В ч ё м « м я г к о с т ь » ?III
Тестирование на осуществимость
Проверка поддерживаемости от
поставщика
Прогон или эмуляция нагрузки
… отказ от конверсии … или отказ от экзотики
Гиперконвергентность – мягкое введение в веб-масштаб
В ч ё м « м я г к о с т ь » ?
П о ч е м у л и ш ь « в в е д е н и е » ?IV
«Крепкие орешки»
П о ч е м у л и ш ь « в в е д е н и е » ?IV
Монолитная СУБД, особенно под OLTP
Кластерные и грид-системы (особенно с
интерконнектом Bynet, Infiniband)
«Тонкая работа» с вводом-выводом (как на блочном, так и на
файловом уровне)
Платформы и приложения с
зависимостями от специфической
периферии
Нетипичные ОС CAD/CAM/CAE в VDI
Ближайшее применение гиперконвергенции
П о ч е м у л и ш ь « в в е д е н и е » ?IV
От IaaS – к PaaS, но тоже в «веб-масштабе»
• От виртуальных машин – к контейнерам на «подах»
• С подосновной микро-ОС (CoreOS, Atomic Host)
• Под управлением Kubernetes (Swarm)
• Для «непрерывной разливки приложений»
От монолитов – к микросервисам
О будущем с точки зрения оптимизации…
П о ч е м у л и ш ь « в в е д е н и е » ?IV
«Оторвём приложения от данных»
П о ч е м у л и ш ь « в в е д е н и е » ?IV
Платформа данных
• Database Appliance (old school)
• «Эко» вокруг Hadoop
• Распределённый грид данных (newSQL)
Пул данных – один, приложений много
• Никаких ETL, перегонок и трансформаций
• «Озеро данных» – все реки с данными впадают в одно озеро
Будущее приложений
П о ч е м у л и ш ь « в в е д е н и е » ?IV
побочные – в аутсорсинг вместе с процессом
тираж – в декастомизацию и в облако
корневые – в атомизацию и непрерывную разливку
Аппаратный прогресс может что-то изменить
П о ч е м у л и ш ь « в в е д е н и е » ?IV
В е р т и к а л ь н о м а с ш т а б и р у е м ы е x 8 6 ?
G P G P U
N v i d i a A M D I n t e l
1 0 0 G b E и а д а п т а ц и я I n f i n i b a n d
N V M - E x p re s s
NVMe over Fabrics
О З У п о с т о я н н о г о х р а н е н и я
3D XPoint MeRAM NRAM STT-RAM CBRAM Racetrack
Резюме
П о ч е м у л и ш ь « в в е д е н и е » ?IV
«Энтерпрайс» сознаёт потребность в «веб-масштабе»
ИТ в «Энтпрерайзе» прирастает гиперконвергентными системами
…они быстро внедряются, и весь софт на них переносится
… но могут быть тонкости, и в их отсутствии следует убеждаться
Мир не стоит на месте – скоро что-то будет новое!
Ngiyabongangokungiphendulakwakho!mailto:[email protected]:[email protected]
