Курс высокие нагрузки: сеть (отрывок)

© Copyright 2014 Andrey Smirnov

Сетевой ввод-вывод

• Блокирующийся

• Неблокирующийся

• Асинхронный


UNIX (POSIX)• fd - файловый дескриптор

• socket()

• listen()/accept()

• read(fd, buf)

• write(fd, buf)

• close(fd)


ВнутренностиДрайвер TCP/IP

стек

ПротоколHTTP

запрос/ответ

kernel

user-space


Блокирующийся ввод-вывод

• accept(fd) - заблокируется, пока не будет нового входящего соединения

• read(fd, buf) - заблокируется, пока не прибудут данные в сокет

• write(fd, buf) - заблокируется, пока не освободится место в буфере TCP


Неблокирующийся ввод-вывод

• Любая операция завершается немедленно

• Вместо того, чтобы заблокироваться, вызов возвращает EAGAIN/EWOULDBLOCK


Опрос готовности• Нотификации:

• level-triggered (состояние)

• edge-triggered (изменение состояния)

• Механизмы:

• select(), poll()

• epoll(), kqueue()


Неблокирующий ввод-вывод

• select(fds, timeout) ⇛ ready to read/write

• do read/write until EAGAIN


Ядерный сервер

• kHTTPd

• http.sys


Сеть в User-space

• Snab Switch

• netmap


Реактор

• Design Pattern

• “Дай мне кучу сокетов, а я сделаю callback, когда они будут готовы”

• Таймер: “Вызови меня через X мс”


Что внутри

• Отсортированный по времени срабатывания список таймеров + callback

• Список файловых дескрипторов для ожидания готовности + callback

• select(fds, min(timer)) ⇛ callbacks


Многозадачность• Процесс

• Нить

• Кооперативная

• Явная

• Корутины

• Комбинированные варианты


Процессы

• Исторически первый тип многозадачности

• Полная изоляция*

• Видимость для планировщика ОС

• Сложность коммуникации


fork()

code

r/o

data

heap

code

r/o

data

heap


fork()

• Копирование файловых дескрипторов

• Копирование mmap()-областей

• …


Сервер на процессах

• Родитель делает listen()

• Родитель делает fork()

• Потомки делают accept() и обслуживают соединения


Примеры

• Apache: mod_prefork

• FastCGI

• PostgreSQL:

• SysV IPC: shm, sem


Плюсы и минусы• Простота* реализации

• Ресурсоемкость

• Возможность использования всех ядер процессоров

• Сложность обмена информацией

• Падение одного процесса не влияет на другие


Нити (ОС)• Видны планировщику

• Имеют отдельный стек и TLS

• Более легковесные, чем процесс

• Отсутствует изоляция

• Сложность написания корректных программ


Синхронизация

• Любой доступ к общим данным должен быть синхронизирован

• Атомарные операции (без синхронизации)


Блокировки

• acquire(x.lock)

• x.field++

• release(x.lock)


Deadlock

• acquire(A)

• acquire(B)

• …

• acquire(B)

• acquire(A)

• …

Thread 1 Thread 2


Deadlock

?© Copyright 2014 Andrey Smirnov

Как избежать deadlock?


Механизмы синхронизации• mutex

• semaphore

• rwlock

• spinlock

• condition variable

• …


GIL

• Один mutex на все состояние

• Простой и надежный вариант

• Низкая конкурентность исполнения


Worker


Event Loop


Примеры

• MySQL

• Apache: mpm_worker


Кооперативная многозадачность

• “Невидима” для ОС, один процесс (нить)

• “Поток” добровольно передает управление другому

• Явная: callbackи

• Неявная: green threads


Истоки

• Эффективное использование ресурсов ВС

• Пакетный режим исполнения задач

• Многопользовательские системы

• Планировщик интерактивных систем


Сегодня

• Один сервер - один вариант использования

• Сервер - не многопользовательская система

• Использование процессора минимально

• Обслуживание большого числа соединений (C10k, C100k)


JavaScript

• Явная кооперативная многозадачность

• Выполнение - в один поток

• XMLHTTPRequest ⇛ callback

• Таймеры ⇛ callback


Python/Twisted• Одна из первых реализаций кооперативной многозадачности с неблокирующим вводом-выводом

• Большое количество протоколов, драйверов

• Влияние на другие реализации

• Четкие и ясные примитивы


Deferred

• Отложенный результат

• “Я не могу дать результат сейчас, но я его помещу в Deferred, как только он будет доступен”

• 100 строк кода*


Deferred


Deferred


Влияние

• jQuery: Deferred

• Ruby: EventMachine

• Python 3: AsyncIO

• C#: Task/async/await


Green threads

• Любая блокирующая операция приводит к переключению

• Код выглядит последовательно

• Многозадачность на основе “согласия”


gevent

def print_head(url):! print('Starting %s' % url)! data = urlopen(url).read()! print('%s: %s bytes: %r' % (url, len(data), data[:50]))!!jobs = [gevent.spawn(print_head, url) for url in urls]!!gevent.wait(jobs)!


Примеры• Python: gevent, eventlet, …

• Ruby (<1.9)

• Lua

• Go*

• Erlang*


Комбинированные

• 1:1

• N:1

• M:N


Разработка надежных высоконагруженных систем

• 24, 25 и 26-‐го мая, Москва

• h4p://smira.highload.ru/

• Мастер-‐класс с практическими заданиями

http://smira.highload.ru/

Education

Курс высокие нагрузки: сеть (отрывок)