YaC, Москва, 1 октября 2010 года

Системный администраторВлад Селиверстов

Веб-сервер Phantom

О чем разговор?

1. То, что все знают.

2. Почему свой?

3. Как устроен?

4. Что в комплекте?

5. Что получилось?

2

То, что все знают

3

Архитектура веб-сервиса

Frontend:- HTTP-сервер

Backend:- исполняемый код- база данных- сам “сервис”

4

Что внутри?

5

Проблемы?

— Если worker-ов больше чем процессоров —возникает конкуренция за процессор.

— Worker-ы могут блокировать друг-друга.

— Если все worker-ы заблокированы, запросы накапливаются в очереди и ждут, когда освободится worker.

6

Добавим скорости

Accelerator:- “легкий” HTTP-сервер- обрабатывает быстрые запросы- обеспечивает Keep-Alive- проксирует запросы к Frontend-у

7

А что здесь внутри?

8

Все, что мы сделали — это разделили запросы к системе

на два типа.

9

Профит!

— Запросы поделились на два типа —статика и динамика.

— При правильной конфигурации статика будет отдаваться, даже если нет свободных worker-ов.

10

Что будет, если добавить в нашу систему еще один тип

запросов?

11

Например

12

Не так страшно

— Для привязки worker-процессов к процессорам можно использовать cpu_affinity или cgroups.

— При правильной конфигурации статика будет отдаваться, даже если нет свободных worker-ов.

13

А если добавить еще один тип запросов?

14

Например

15

Это работает.

16

Но это неудобно.

17

Мы решили сделать свой web-server, лишенный этих

неудобств.

18

Phantom

19

• Конечный автомат (FSM)

• EPOLL-based

• Coroutine и continuations

• Написан from scratch

• Сильно оптимизирован

Phantom

20

• Не совсем честный FSM

• Worker thread-ы можно групировать в пулы

• Пулы можно привязывать к процессорам

• Обработку разных типов запросов можно отдавать в разные пулы

• Pure C++! :)

Phantom

21

Как устроен?

22

Две основных абстракцииPhantom

— Планировщик выполнения

— Нить выполнения

23

Планировщик выполнения

24

Описание шедулеров

scheduler_t fast_scheduler = scheduler_simple_t {

threads = 1

event_buf_size = 1000

timeout_prec = 1

policy = fifo

priority = 98

}

25

Описание шедулеров

scheduler_t heavy_scheduler = scheduler_combined_t {

threads = 1

event_buf_size = 1000

timeout_prec = 1

policy = fifo

priority = 98

poolsize = 2

}

scheduler_t medium_scheduler = scheduler_combined_t {

threads = 1

event_buf_size = 1000

timeout_prec = 1

policy = fifo

priority = 98

poolsize = 2

}

26

Привязка путей к хэндлерам

host = {

"test.yandex.ru" : {

path = {

"/fast" : { handler = fast_handler }

"/medium" : { handler = medium_handler }

"/heavy" : { handler = heavy_handler }

}

}

27

Привязка хэндлеров к шедулерам

handler_t fast_handler = handler_fast_t {

scheduler = fast_scheduler

}

handler_t medium_handler = handler_medium_t {

scheduler = medium_scheduler

}

handler_t heavy_handler = handler_fast_t {

scheduler = heavy_scheduler

}

28

Профит!

29

Нить выполнения

- принять соединение- изготовить continuation- передать его протоколлеру

- распарсить запрос- переложить continuation в соответствующий scheduler- передать управление соответствующему хэндлеру

30

Что в комплекте?

31

Написав прототип, мы столкнулись с проблемой его

тестирования для дальнейшей оптимизации.

32

И ещё раньше чем мы научили phantom отвечать на запросы, мы научили его их

задавать.

33

Для этого пришлось написать отдельный модуль,

использовав уже существующий планировщик.

34

Нить выполнения

- изготовить необходимое количество continuation-ов- передать их протоколлеру

- вычитать запрос из лога- отправить запрос если пришло время- вычитать и распарсить ответ- обновить статистику

35

Инструмент для нагрузочного тестирования

Phantom

— Поддержка любых stateless-протоколов

— Равномерность создаваемой нагрузки

— Высокая производительность

— На его основе написан фреймворк для нагрузочного тестирования - Lunapark

36

Пример запроса

306 100

GET /su/ HTTP/1.1

Host: ****.yandex.ru

Accept: */*

Connection: close

Referer: http://afisha.yandex.ru/spb/events/?category=cinema&page=2

User-Agent: Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_4; ru-ru)

AppleWebKit/533.16 (KHTML, like Gecko) Version/5.0 Safari/533.16

X-Real-IP: xxx.xxx.xx.xxx

37

Немного картинок

38

50000 RPS ~ 2ms/request

39

Конфигурация с двумя scheduler-ами

40

Тяжелые запросы в одном scheduler-е

41

Легкие запросы в другом

42

Ура!Вопросы!

43

Phantom будет выложен в opensource.

44

Как только мы допишем поддержку FastCGI. :)

phantom

46

Лѐгкий веб-сервер :)

47

nginx vs phantom

48

Системный администратор

119021, Россия, Москва,

ул. Льва Толстого, 16.

+7 (495) 739-00-00

+7 (495) 739-70-70 — факс

behemot@yandex-team.ru

Влад Селиверстов