Highload для начинающих, Дмитрий Обухов (Mail.ru)

HighLoadдля начинающих

HighLoad для начинающих

Dmitry E. Oboukhov

31 октября 2014

HighLoad, что это?

I Конференция?

I Высокая нагрузка?I Миф?!


I Конференция?I Высокая нагрузка?

I Миф?!


I Конференция?I Высокая нагрузка?I Миф?!

Высокая нагрузка что это?

I 53.328 ∗ 109 запросов в секунду? - средний CPU

I Более реалистично!I 1 запрос в секунду? - любой веб сервер?...

перекодирующий видеоролики? :)


I 53.328 ∗ 109 запросов в секунду?

- средний CPU









I Более реалистично!

I 1 запрос в секунду? - любой веб сервер?...перекодирующий видеоролики? :)



I Более реалистично!I 1 запрос в секунду?

- любой веб сервер?...перекодирующий видеоролики? :)









Высокая нагрузка это:

Нагрузка, с которой не справляетсяжелезо

Высокая нагрузка это:

Нагрузка, с которой не справляетсяжелезо

Когда это бывает?

Достигнуты технические ограниченияI Сеть - за рамками данного доклада

I ПамятьI CPUI Хранилище данных


Достигнуты технические ограничения

I Сеть - за рамками данного доклада



Достигнуты технические ограниченияI Сеть

- за рамками данного доклада







I Память

I CPUI Хранилище данных



I ПамятьI CPU

I Хранилище данных




Причины

I Недоиспользование железаI Трудности масштабирования

Причины

I Недоиспользование железа

I Трудности масштабирования

Причины

I Недоиспользование железаI Трудности масштабирования

Причины

Архитектурные проблемы

Недоиспользование железа

Рассмотрим типичный вебсервер.

на Perl, Python, Ruby...

Задачи одного цикла

I Чтение запроса из сети.I Парсинг запроса http.I Валидация запроса, выбор

контроллера.I Запрос(ы) к хранилищу данных.I Формирование ответа (template).I Отправка ответа клиенту.

Традиционная реализация

I один процесс на один циклI один тред на один цикл


Рассмотрим типичный вебсервер. на Perl

, Python, Ruby...







Рассмотрим типичный вебсервер. на Perl, Python

, Ruby...







Рассмотрим типичный вебсервер. на Perl, Python, Ruby

...







Рассмотрим типичный вебсервер. на Perl, Python, Ruby...









I Чтение запроса из сети.

I Парсинг запроса http.I Валидация запроса, выбор







I Чтение запроса из сети.I Парсинг запроса http.

I Валидация запроса, выборконтроллера.

I Запрос(ы) к хранилищу данных.I Формирование ответа (template).I Отправка ответа клиенту.







контроллера.

I Запрос(ы) к хранилищу данных.I Формирование ответа (template).I Отправка ответа клиенту.







контроллера.I Запрос(ы) к хранилищу данных.

I Формирование ответа (template).I Отправка ответа клиенту.







контроллера.I Запрос(ы) к хранилищу данных.I Формирование ответа (template).

I Отправка ответа клиенту.























I один процесс на один цикл

I один тред на один цикл









Начались разговоры о HighLoad?

I Увеличение числа процессов/тредов.I Увеличение числа серверов.



I Увеличение числа процессов/тредов.

I Увеличение числа серверов.



I Увеличение числа процессов/тредов.I Увеличение числа серверов.


Вернемся к рассматриваемому серверу

I Проблемы наступили при ≈100 запросах в секунду.I Увеличили число процессов в работе.

Помогло.I Новые проблемы при ≈150 запросов в секунду.I Дальнейшее увеличение числа процессов помогает слабо.



I Проблемы наступили при ≈100 запросах в секунду.

I Увеличили число процессов в работе.Помогло.

I Новые проблемы при ≈150 запросов в секунду.I Дальнейшее увеличение числа процессов помогает слабо.








Помогло.

I Новые проблемы при ≈150 запросов в секунду.I Дальнейшее увеличение числа процессов помогает слабо.




Помогло.I Новые проблемы при ≈150 запросов в секунду.

I Дальнейшее увеличение числа процессов помогает слабо.






Что делать?

I Менять архитектуру?- Мы над этим 3 года работали!

I Добавлять второй сервер?- Это тоже не просто!(бизнеслогика)

Спокойно!I Провести анализ архитектуры.I Провести измерения.I Найти слабые места.



I Менять архитектуру?

- Мы над этим 3 года работали!I Добавлять второй сервер?

- Это тоже не просто!(бизнеслогика)










I Добавлять второй сервер?

- Это тоже не просто!(бизнеслогика)






Спокойно!

I Провести анализ архитектуры.I Провести измерения.I Найти слабые места.





Спокойно!I Провести анализ архитектуры.

I Провести измерения.I Найти слабые места.





Спокойно!I Провести анализ архитектуры.I Провести измерения.

I Найти слабые места.







Измерения

Чтение запроса из сети. 15К RPSПарсинг запроса, валидация, выбор контроллера. 150К RPS/CPU

Запросы к хранилищу. 60К RPSФормирование ответа (Соединение данных с template) 100К RPS/CPU

Отправка ответа клиенту. 15К RPS


ИзмеренияЧтение запроса из сети. 15К RPS

Парсинг запроса, валидация, выбор контроллера. 150К RPS/CPUЗапросы к хранилищу. 60К RPS

Формирование ответа (Соединение данных с template) 100К RPS/CPUОтправка ответа клиенту. 15К RPS



Парсинг запроса, валидация, выбор контроллера. 150К RPS/CPU

Запросы к хранилищу. 60К RPSФормирование ответа (Соединение данных с template) 100К RPS/CPU









Формирование ответа (Соединение данных с template) 100К RPS/CPU







Итого1

115 103

+ 1150 103

+ 160 103

+ 1100 103

+ 115 103

= 6000RPS

Но, позвольте!I У нас проблемы на 150 RPS!I Тут что-то не так!


Итого1

115 103

+ 1150 103

+ 160 103

+ 1100 103

+ 115 103

= 6000RPS

Но, позвольте!

I У нас проблемы на 150 RPS!I Тут что-то не так!


Итого1

115 103

+ 1150 103

+ 160 103

+ 1100 103

+ 115 103

= 6000RPS

Но, позвольте!I У нас проблемы на 150 RPS!

I Тут что-то не так!


Итого1

115 103

+ 1150 103

+ 160 103

+ 1100 103

+ 115 103

= 6000RPS

Но, позвольте!I У нас проблемы на 150 RPS!I Тут что-то не так!


Начинаем разбираться

I Хранилище выходит на свои RPS при достаточно большом числесоединений к нему.

I Либо хранилище надо располагать локально.неприемлемо.

I То же самое и с взаимодействием с клиентом.


I Попробуем еще увеличить число процессов?I Проблемы стали больше!I Почему?!











I Либо хранилище надо располагать локально.

неприемлемо.































I Попробуем еще увеличить число процессов?

I Проблемы стали больше!I Почему?!







I Попробуем еще увеличить число процессов?I Проблемы стали больше!

I Почему?!









Резюме ситуации, еще раз

I Имеется 100500 строк кода, над которым работали несколько лет.I Этот код AS IS по результатам измерений может выдавать гораздо

больше RPS чем в реальности.I Проблемы начинаются на уровне RPS на порядок меньших, нежели

расчетные.



I Имеется 100500 строк кода, над которым работали несколько лет.

I Этот код AS IS по результатам измерений может выдавать гораздобольше RPS чем в реальности.

I Проблемы начинаются на уровне RPS на порядок меньших, нежелирасчетные.




больше RPS чем в реальности.

I Проблемы начинаются на уровне RPS на порядок меньших, нежелирасчетные.




больше RPS чем в реальности.I Проблемы начинаются на уровне RPS на порядок меньших, нежели

расчетные.


Еще раз рассмотрим цикл обработки

I Ожидание запроса (данных) от пользователя.I Парсинг запроса, валидация.I Формирование запроса (запросов) в БД.I Ожидание ответа (ответов) из БД.I Соединение данных из БД с шаблоном.I Ожидание отправки данных клиенту.

I Следующий клиент!



I Ожидание запроса (данных) от пользователя.

I Парсинг запроса, валидация.I Формирование запроса (запросов) в БД.I Ожидание ответа (ответов) из БД.I Соединение данных из БД с шаблоном.I Ожидание отправки данных клиенту.




I Ожидание запроса (данных) от пользователя.I Парсинг запроса, валидация.

I Формирование запроса (запросов) в БД.I Ожидание ответа (ответов) из БД.I Соединение данных из БД с шаблоном.I Ожидание отправки данных клиенту.




I Ожидание запроса (данных) от пользователя.I Парсинг запроса, валидация.I Формирование запроса (запросов) в БД.

I Ожидание ответа (ответов) из БД.I Соединение данных из БД с шаблоном.I Ожидание отправки данных клиенту.




I Ожидание запроса (данных) от пользователя.I Парсинг запроса, валидация.I Формирование запроса (запросов) в БД.I Ожидание ответа (ответов) из БД.

I Соединение данных из БД с шаблоном.I Ожидание отправки данных клиенту.




I Ожидание запроса (данных) от пользователя.I Парсинг запроса, валидация.I Формирование запроса (запросов) в БД.I Ожидание ответа (ответов) из БД.I Соединение данных из БД с шаблоном.

I Ожидание отправки данных клиенту.











Измеряем

Ожидание запроса (данных) от пользователя. 70 мксПарсинг запроса, валидация. 6 мкс

Формирование запроса (запросов) в БД. 1 мксОжидание ответа (ответов) из БД. 16 мкс

Соединение данных из БД с шаблоном. 10 мксОжидание отправки данных клиенту. 70 мкс


ИзмеряемОжидание запроса (данных) от пользователя. 70 мкс

Парсинг запроса, валидация. 6 мксФормирование запроса (запросов) в БД. 1 мкс

Ожидание ответа (ответов) из БД. 16 мксСоединение данных из БД с шаблоном. 10 мксОжидание отправки данных клиенту. 70 мкс



Парсинг запроса, валидация. 6 мкс

Формирование запроса (запросов) в БД. 1 мксОжидание ответа (ответов) из БД. 16 мкс









Ожидание ответа (ответов) из БД. 16 мкс





Ожидание ответа (ответов) из БД. 16 мксСоединение данных из БД с шаблоном. 10 мкс

Ожидание отправки данных клиенту. 70 мкс






ИтогоI Код выполнялся: 6+ 1+ 10 =

17 мксI Чего-либо ожидали: 70+ 16+ 70 = 156 мксI Код выполняется только 10% времени!I И при этом тормозит!


ИтогоI Код выполнялся: 6+ 1+ 10 = 17 мкс

I Чего-либо ожидали: 70+ 16+ 70 = 156 мксI Код выполняется только 10% времени!I И при этом тормозит!


ИтогоI Код выполнялся: 6+ 1+ 10 = 17 мксI Чего-либо ожидали: 70+ 16+ 70 =

156 мксI Код выполняется только 10% времени!I И при этом тормозит!


ИтогоI Код выполнялся: 6+ 1+ 10 = 17 мксI Чего-либо ожидали: 70+ 16+ 70 = 156 мкс

I Код выполняется только 10% времени!I И при этом тормозит!


ИтогоI Код выполнялся: 6+ 1+ 10 = 17 мксI Чего-либо ожидали: 70+ 16+ 70 = 156 мксI Код выполняется только 10% времени!

I И при этом тормозит!


ИтогоI Код выполнялся: 6+ 1+ 10 = 17 мксI Чего-либо ожидали: 70+ 16+ 70 = 156 мксI Код выполняется только 10% времени!I И при этом тормозит!


#include <unistd.h>

int main(int argc, char **argv) {int i;for (;;) {

usleep(70); usleep(7);usleep(16); usleep(10);usleep(70);

}}

Недоиспользование железаИтого

I Код, делающий только sleep в цикле неплохо грузит CPU- по моим измерениям - где-то 15% загрузки на CPU

I Запустив десяток таких “воркеров”, получаем примерно такую женагрузку как на проблемном сервере.

I Понятно что пример синтетический (есть вопросы к реализации usleep).

Вернемся к нашему серверу

I Каждая отдельная часть имеет хорошую производительностьдостаточную для развития проекта еще на несколько лет вперед.

I Большую часть времени (90%) наш код проводит в ожидании.I Что делать?


I Код, делающий только sleep в цикле неплохо грузит CPU

- по моим измерениям - где-то 15% загрузки на CPUI Запустив десяток таких “воркеров”, получаем примерно такую же

нагрузку как на проблемном сервере.I Понятно что пример синтетический (есть вопросы к реализации usleep).





































I Каждая отдельная часть имеет хорошую производительность

достаточную для развития проекта еще на несколько лет вперед.I Большую часть времени (90%) наш код проводит в ожидании.I Что делать?














I Большую часть времени (90%) наш код проводит в ожидании.

I Что делать?









Просто реорганизовать код

Событийно-ориентированное программирование

Компьютер — это конечный автомат. Треды для тех людей,которые не умеют программировать конечные автоматы.

Алан Кокс


Избавимся от тредов!

- и процессов.


Избавимся от тредов!- и процессов.


Машина событий

I Вся работа делается в обработчике события.- в общем случае - callback.

I Когда программе нечего делать (например она ждет события), тоуправление возвращается машине событий.в общем случае - return из callback.

I Обработчик события может генерировать другие события иустанавливать другие обработчики.


Машина событийI Вся работа делается в обработчике события.

- в общем случае - callback.I Когда программе нечего делать (например она ждет события), то

управление возвращается машине событий.в общем случае - return из callback.




- в общем случае - callback.

I Когда программе нечего делать (например она ждет события), тоуправление возвращается машине событий.в общем случае - return из callback.





управление возвращается машине событий.

в общем случае - return из callback.I Обработчик события может генерировать другие события и

устанавливать другие обработчики.











Событийно-ориентированное программированиеПерестроим наш сервер

I Ожидание запроса от пользователя.- заменится обработчиком события "пришел запрос от пользователя"

I Парсинг запроса, валидация.- не изменится

I Формирование запроса (запросов) в БД.- не изменится

I Ожидание ответа (ответов) из БД.- заменится обработчиком события "пришел ответ из БД"

I Соединение данных из БД с шаблоном.- не изменится

I Ожидание отправки данных клиенту.- заменится обработчиком события "данные пользователю отправлены"


I Ожидание запроса от пользователя.

- заменится обработчиком события "пришел запрос от пользователя"I Парсинг запроса, валидация.

- не изменитсяI Формирование запроса (запросов) в БД.

- не изменитсяI Ожидание ответа (ответов) из БД.

- заменится обработчиком события "пришел ответ из БД"I Соединение данных из БД с шаблоном.

- не изменитсяI Ожидание отправки данных клиенту.

- заменится обработчиком события "данные пользователю отправлены"










I Парсинг запроса, валидация.

- не изменитсяI Формирование запроса (запросов) в БД.















I Формирование запроса (запросов) в БД.
















I Ожидание ответа (ответов) из БД.
















I Соединение данных из БД с шаблоном.
















I Ожидание отправки данных клиенту.










Итого

I Производительность одного сервера выросла в 10 разI Одного CPU/коннекта к БД достаточно для еще нескольких лет роста

нагрузки.I Но слишком много переделок!


ИтогоI Производительность одного сервера выросла в 10 раз

I Одного CPU/коннекта к БД достаточно для еще нескольких лет ростанагрузки.

I Но слишком много переделок!


ИтогоI Производительность одного сервера выросла в 10 разI Одного CPU/коннекта к БД достаточно для еще нескольких лет роста

нагрузки.

I Но слишком много переделок!


ИтогоI Производительность одного сервера выросла в 10 разI Одного CPU/коннекта к БД достаточно для еще нескольких лет роста

нагрузки.I Но слишком много переделок!


Что затронуто изменениями

I Интерфейс с вебсервером (получение параметров запроса итп)- некритично. В крайнем случае обходится написанием "врапперов". Вбольшинстве случаев вообще незаметно.

I Интерфейс с БД.- критично. Много кода бизнеслогики поехало в callbacks. Сложнуюлогику практически невозможно реализовать. Требуется переписывание90% проекта.



I Интерфейс с вебсервером (получение параметров запроса итп)

- некритично. В крайнем случае обходится написанием "врапперов". Вбольшинстве случаев вообще незаметно.









I Интерфейс с БД.

- критично. Много кода бизнеслогики поехало в callbacks. Сложнуюлогику практически невозможно реализовать. Требуется переписывание90% проекта.






ПланировщикПоскольку планировщик OS - очень тяжелый, необходим планировщикuserspace.

I Невытесняющая многозадачностьI Простое порождение “процессов”I Простое управление

Три основных методаI Создать процесс (create, async)I Передать управление планировщику (yield, cede)I Разбудить выбранный процесс (wakeup, ready)



I Невытесняющая многозадачность

I Простое порождение “процессов”I Простое управление




I Невытесняющая многозадачностьI Простое порождение “процессов”

I Простое управлениеТри основных метода

I Создать процесс (create, async)I Передать управление планировщику (yield, cede)I Разбудить выбранный процесс (wakeup, ready)








Три основных метода

I Создать процесс (create, async)I Передать управление планировщику (yield, cede)I Разбудить выбранный процесс (wakeup, ready)




Три основных методаI Создать процесс (create, async)

I Передать управление планировщику (yield, cede)I Разбудить выбранный процесс (wakeup, ready)




Три основных методаI Создать процесс (create, async)I Передать управление планировщику (yield, cede)

I Разбудить выбранный процесс (wakeup, ready)






Интегрируем с машиной событийСтруктура кода теперь выглядит так:

I Регистрация события в машине событийI Передача управления планировщикуI Событие будит текущий процесс (файбер)I Программа продолжает работу с данными от события

ИтогоВернулись к (почти) традиционному виду программы.



I Регистрация события в машине событий

I Передача управления планировщикуI Событие будит текущий процесс (файбер)I Программа продолжает работу с данными от события




I Регистрация события в машине событийI Передача управления планировщику

I Событие будит текущий процесс (файбер)I Программа продолжает работу с данными от события




I Регистрация события в машине событийI Передача управления планировщикуI Событие будит текущий процесс (файбер)

I Программа продолжает работу с данными от события












I Добавляем машину событийI Добавляем библиотеку fibersI Переписываем интерфейс с вебсервером

- некритично, решается враппером.I Переписываем интерфейс с БД

- относительно трудоемко, но решается враппером.I Переписываем другие сетевые обращения (если есть)

- врапперыI Итого: переписываем около 5% кода.



I Добавляем машину событий

I Добавляем библиотеку fibersI Переписываем интерфейс с вебсервером






I Добавляем машину событийI Добавляем библиотеку fibers

I Переписываем интерфейс с вебсервером- некритично, решается враппером.

I Переписываем интерфейс с БД- относительно трудоемко, но решается враппером.

I Переписываем другие сетевые обращения (если есть)- врапперы

I Итого: переписываем около 5% кода.










- некритично, решается враппером.

I Переписываем интерфейс с БД- относительно трудоемко, но решается враппером.













- относительно трудоемко, но решается враппером.














- врапперы








Библиотеки и языки

I PerlCoro + AnyEvent

I Pythonfibers + twisted

I PHP5появился оператор yield, fiber


I Perl

Coro + AnyEventI Python

fibers + twistedI PHP5

появился оператор yield, fiber







I Python

fibers + twistedI PHP5









I PHP5






Что дальше?

I Используем fiber’ы/event-машины в том языке к которому привыклиI Рассматриваем существующие варианты

I Node.JS- отказались от парадигмы fibers

I Tarantool...


I Используем fiber’ы/event-машины в том языке к которому привыкли

I Рассматриваем существующие вариантыI Node.JS

- отказались от парадигмы fibersI Tarantool...




I Tarantool...



I Node.JS

- отказались от парадигмы fibersI Tarantool...




I Tarantool...




I Tarantool...

Tarantool

I Полноценный app-серверI БД на борту

- in-memory- disk

I Сокеты, диск, http-сервер, очереди

Tarantool

I Полноценный app-сервер

I БД на борту- in-memory- disk


Tarantool


- in-memory- disk


Tarantool


- in-memory

- diskI Сокеты, диск, http-сервер, очереди

Tarantool


- in-memory- disk


Tarantool


- in-memory- disk


Недостатки

I Для больших проектов одного CPU все-таки маловатоI Реализации fiber’ов для традиционных ЯП плохо масштабируются по

CPU/хостам.


I Для больших проектов одного CPU все-таки маловато

I Реализации fiber’ов для традиционных ЯП плохо масштабируются поCPU/хостам.


I Для больших проектов одного CPU все-таки маловатоI Реализации fiber’ов для традиционных ЯП плохо масштабируются по

CPU/хостам.

Перспектива

I Erlang- хорошее масштабирование по CPU и хостам- очень качественное решение- высокий порог вхождения

I Go- более низкий порог вхождения


I Erlang

- хорошее масштабирование по CPU и хостам- очень качественное решение- высокий порог вхождения



I Erlang- хорошее масштабирование по CPU и хостам

- очень качественное решение- высокий порог вхождения



I Erlang- хорошее масштабирование по CPU и хостам- очень качественное решение

- высокий порог вхожденияI Go

- более низкий порог вхождения






I Go

- более низкий порог вхождения




Internet

Highload для начинающих, Дмитрий Обухов (Mail.ru)