Курс высокие нагрузки: очереди (отрывок)

© Copyright 2014 Andrey Smirnov

Очереди• Выполнение вычислительных действий

• Асинхронные коммуникации

• почта

• sms

• push-нотификации

• …


Producer-Consumer


Publish-Subscribe

• Publisher ничего не знает о subscriber

• Subcriber может указать фильтр получения (маску вида user.*.signup)


beanstalkd• Producer-Consumer

• Простой протокол, нет кластеризации

• Очередь задач

• buried-задачи

• TTR


Redis• Publish-Subscribe:

• PUBLISH, SUBSCRIBE, PSUBCRIBE, …

• Producer-Consumer:

• BLPOP, LPUSH, BRPOPLPUSH, …

• Сложно реализовать надежного consumer


pgq

• Publish-Subscribe

• Реализовано средствами PostgreSQL

• Транзакционность


Kafka• Publish-Subcribe, Producer-Consumer

• Распределенные очереди, репликация

• ZooKeeper в качестве динамической конфигурации

• Хранение очередей в файловой системе (последовательный ввод-вывод)


Партиционирование очередей

• Очередь делится по ключу

• Каждая часть независима

• События внутри партиции упорядочены


Consumer Group

• Consumerы из группы имеют общий указатель чтения

• Одна группа consumer’ов: produce-consume

• Каждый consumer в своей группе: publish-subscribe


Failover• За партицией закреплен master и реплики

• Конфигурация в ZooKeeper

• Failover в случае недоступности, данные обновляются в ZooKeeper

• Клиент сам определяет, к какому узлу подсоединяться


RabbitMQ

• Erlang

• “Победившая” реализация AMQP

• Реализация AMQP 0-9-1


AMQP

• Протокол, разработанный, в частности iMatix

• Enterprise-взгляд

• “Один вариант для всех”

• Последующий отказ создателей от продолжения работы


AMQP


Direct Exchange


Fanout Exchange


Topic Exchange


AMQP

• Брокер - SPOF

• Брокер конфигурируется API-запросами

• Надежные и ненадежные очереди


Clustering

• Erlang кластер (не WAN)

• Дублируется конфигурация, но не очереди

• Клиент может подключаться к любому узлу


High Availability

• На основе cluster

• У очереди есть master и slavе’ы

• Master-slave promotion

• Возможны потери и перепосылки сообщений


Хранение очередей

• Хранение в памяти (пока возможно)

• Message Index - хранение содержимого сообщений

• Queue Index - принадлежность сообщений очереди


Зачем еще нужна очередь?

• RPC ❔

• Метрики: события

• Сбор логов


Надежность• Семантика очереди:

• producer положил в очередь, ack - ?

• consume

• at most once

• at least once


Надежность

• Брокер очередей - SPOF

• Чем строже семантика, чем хуже производительность

• Распределенность накладывает ограничения


Очередь в backend

• После выполнения запроса часть действий остается во внутренней очереди

• Корректный shutdown

• Надежность, применимость?

?© Copyright 2014 Andrey Smirnov

Где нам могут пригодиться очереди в twtr? Какой будет эта очередь?


Разработка надежных высоконагруженных систем

• 24, 25 и 26-‐го мая, Москва

• h4p://smira.highload.ru/

• Мастер-‐класс с практическими заданиями

http://smira.highload.ru/

Education

Курс высокие нагрузки: очереди (отрывок)