Виртуальный ЦОД для корпоративных клиентов на базе VirtuozzoДмитрий Канаев, Caravan AeroДенис Лунев, Virtuozzo

Что мы делаемVPS (Virtual Private Server) +

> 6000 инстансов95% контейнеры

Плотность: 350 контейнеров/сервер

IaaS (Облачная инфраструктура) +> 2000 инстансов

50% виртуальные машиныПлотность: 200 контейнеров/сервер

VDC (Виртуальный датацентр) +++> 200 клиентов

95% виртуальные машиныПлотность: 40 ВМ/сервер

Облачный бекап (Acronis) ++> 300 ТБ под защитой

Как мы делаем

VDC – выгодный, но сложный сервис

VDC (Виртуальный датацентр) +++> 200 клиентов

95% виртуальные машиныПлотность: 40 ВМ/сервер

• Высокая производительность• Высокая доступность• Latency и IO• Произвольная ОС• Высокая плотность• SDN• Низкая стоимость внедрения и

поддержки

KVM для VDC: производительность, стабильность и высокая плотность

Что хорошего есть в QEMU/KVM?• Память VM unswappable• Дедупликация памяти (KSM)• Полноценная поддержка NUMA архитектуры• Поддержка протокола SPICE• Паравиртуализированный диск для Linux гостя• Проброс PCI устройств• Вложенная виртуализация

VM limits• QEMU/KVM• 255 VCPU• 2 TB RAM• Гибкая конфигурация,

ограниченная только возможностями шины PCI/PCIe

• PCS (Virtuozzo 6)• 32 VCPU• 128 GB RAM• 25 виртуальных дисков• 16 сетевых карт

Базовая система• Ядро - RedHat 7, 3.10

• Безопасность• Поддержка аппаратура (!)

• QEMU - RHEV, 2.1 (позднее 2.3, готовится 2.6)• Безопасность• На самом деле, это оказалось не важно

Банальные находки, потребовавшие больших усилийДьявол, как известно, в детальках

Оптимизация дисковой подсистемы• Размер кеша метаданных для QCOW2

http://www.linux-kvm.org/images/9/92/Qcow2-why-not.pdf• Оптимизация вызовов flush()• Невыровненная запись

• Дисковые буфера должны быть выровнены на страницу при работе с O_DIRECT дескрипторами

• Преаллокация при увеличении размера образа (невыровненные на блок операции записи)

Небольшое ускорение процессора• Ускорение доставки прерываний (адаптивный halt_poll_ns,

vanilla 4.3)• Отключение изменения тактовой частоты процессора• Сбор статистики

Память• Привязка к NUMA нодам и большие страницы при наличии

свободной памяти• KSM фантастически хорош на тестах при большом количестве

ВМок• KSM разрушает большие страницы• KSM работает намного лучше в режиме cross-NUMA• khugepaged - фрагментация heap-а в QEMU

Гостевая Windows• Включение эмуляции Hyper-V обязательно• Эмуляция Hyper-V дотянула до Windows 2012: SynIC (auto EOI),

SynTimers и ничего не дала• SynIC не может работать с включенным APICv (Xeon E7) • HyperV TSC page• Windows - специфичные паттерны нагрузки на APIC

CPU overcommit

RAM overcommit

Virtuozzo 7 VMs are up to

25% faster than Virtuozzo 6 VMs

Windows Guest Performance

Virtuozzo 7Virtuozzo 6

CPU overcommit

RAM overcommit

Virtuozzo 7 VMs are up to

57% faster than Virtuozzo 6 VMs

Linux Guest Performance

Virtuozzo 7Virtuozzo 6

CPU overcommit

RAM overcommit

Virtuozzo 7 VMs are up to

53% faster than Virtuozzo 6 VMs

vConsolidate Linux Performance

Virtuozzo 7Virtuozzo 6

up to

33%better performanceresults

Windows Guest Performance

Copyright © 2016 Virtuozzo. All Rights Reserved.

up to

63%greater densitycompared to CentOS 7 KVM

up 2xbetter response times

System Containers Density (Drupal CMS)

Хочешь VDC? Спроси меня как!www.virtuozzo.com@VirtuozzoIncwww.linkedin.com/company/virtuozzohttp://www.caravan.ru/aero/