Фреймворк Akka и его использование в Яндексе

Akka в ЯндексJPoint 2014

Вадим Цеськоhttp://incubos.org

@incubos

18 апреля 2014 г.

Вадим Цесько (Яндекс) Akka в Яндекс 18 апреля 2014 г. 1 / 55

Введение Предыстория

Предыстория

2 года назадСм. доклад «Потоковая обработка данных с помощьюмодели акторов (Actor Model)» на ADD-3a

ahttp://addconf.ru/talk.sdf/add/add_3/talks/12823

Введение Содержание

Содержание

Actor Model на примере AkkaПроисхождениеКонцепции и APIПримеры кода

Примеры систем в ЯндексКонвейерная обработка данныхРеактивные иерархические системы

Опыт разработки и эксплуатацииПодводные камниПроблемы и некоторые решенияДополнительные тулы

Actor Model Происхождение

Происхождение

Carl Hewitt1, Peter Bishop and Richard Steiger. AUniversal Modular Actor Formalism for ArtificialIntelligence. 1973.Gul Agha. Actors: A Model of ConcurrentComputation in Distributed Systems. 1986.Изначально для описания параллельныхвычисленийПозднее в качестве основы для многочисленныхреализаций

1http://letitcrash.com/post/20964174345/carl-hewitt-explains-the-essence-of-the-actor

Actor Model Actor

Всё это акторФункционируют параллельноАсинхронно обмениваются сообщениямиПри обработке сообщения актор может

отправить конечное число сообщений другим акторамсоздать конечное число новых акторовназначить поведение для обработки следующегосообщения

Порядок доставки сообщений не специфицированАкторы имеют «адреса»

Actor Model Concurrency vs Parallelism

Concurrency vs Parallelism

Actor Model не про Parallelism, а про Concurrency2

ConcurrencyСпособность выполняться параллельно.

ParallelismДействительно параллельное выполнение.

2Rob Pike. Concurrency is not Parallelism:https://player.vimeo.com/video/49718712

Actor Model Реализации

Реализации

Языки3 с «родной» поддержкой: Erlang, Scala, ...Библиотеки для языков: Scala, Java, F#, ...

Будем рассматриватьAkka (Scala API).

3http://en.wikipedia.org/wiki/Actor_modelВадим Цесько (Яндекс) Akka в Яндекс 18 апреля 2014 г. 7 / 55

Actor Model Akka

О проекте

Jonas Boner:Java ChampionTerracotta JVM clustering, JRockit JVM,AspectWerkz AOP, Eclipse AspectJ

Ресурсы:http://akka.io/docs/http://letitcrash.com/

Код:https://github.com/akka/akkaApache V2 license

Actor Model Akka

Производительность

ВниманиеСинтетические тесты ,

Erlang R14B04 vs Akka 2.0-SNAPSHOT4:1M mps vs 2.1M mps

Akka 2.05:50M mps48-core, 128 GB, ForkJoinPool

4http://letitcrash.com/post/14783691760/akka-vs-erlang5http://letitcrash.com/post/20397701710/

50-million-messages-per-second-on-a-single-machineВадим Цесько (Яндекс) Akka в Яндекс 18 апреля 2014 г. 9 / 55

Actor Model Akka

Особенности реализации

300 байт на акторАктор: состояние, поведение, почтовый ящик,список детей, стратегия супервизораМножество акторов на множестве нитейНет гарантированной доставки, семантикаat-most-once, порядок сохраняетсяСообщения обрабатываются строго по порядкуИерархия: создаваемые акторы — дети,родитель — супервизорАктор скрыт за переносимой ActorRefПодход «Let it crash»

Actor Model Akka

Пути

Примерыakka://system/user/a/bakka.tcp://system@server.yandex.ru:2552/user/a/b

Actor Model Akka

Конструирование ссылок

Создание акторов: ActorRefProvider.actorOfПоиск акторов:ActorRefProvider.actorSelectionКаждый актор знает себя, родителя и детей

Можно делать так:1 context.actorSelection("../brother") ! msg2 context.actorSelection("/user/service") ! msg3 context.actorSelection("../*") ! msg

Actor Model Akka

Определение актора

1 class Partitioner(partitionStorage: ActorRef) extends Actor {2

3 def receive = {4 case PartitionFeed(partner, offers) =>5 partition(partner, offers)6 case msg =>7 log.error("Unsupported message received: {}", msg)8 }9

10 def partition(partner: Partner, offers: Traversable[Offer]) {11 ...12

13 partitionStorage ! UpdatePartitions(partner, partitioning)14 }15 }

Actor Model Akka

Создание актора

1 val system = ActorSystem("sharder")2

3 val partitionStorage = ...4

5 val partitioner =6 system.actorOf(7 FromConfig.props(8 Props[Partitioner](new Partitioner(partitionStorage))9 .withDispatcher("dispatcher.cpu")),

10 "partitioner")

Actor Model Akka

Конфигурация диспетчера

Конфигурация в HOCON6:1 dispatchers.cpu {2 type = Dispatcher3 executor = "fork-join-executor"4

5 fork-join-executor {6 parallelism-min = 47 parallelism-factor = 1.08 }9 }

6Human-Optimized Config Object Notation:https://github.com/typesafehub/config

Actor Model Akka

Независимая самоценная библиотека:Чистая Java без зависимостейПоддерживает Java properties и JSON supersetMerge и include из файлов, URL, classpathМощная поддержка вложенностиПоддержка duration (10 seconds) и size (512K)Конвертация типов

Actor Model Akka

Диспетчеры

DispatcherPinnedDispatcherBalancingDispatcherCallingThreadDispatcher

наfork-join-executorthread-pool-executor

Actor Model Akka

Почтовые ящики

UnboundedMailboxBoundedMailboxUnboundedPriorityMailboxBoundedPriorityMailbox

1 trait MessageQueue {2 def enqueue(receiver: ActorRef, handle: Envelope): Unit3 def dequeue(): Envelope4 def numberOfMessages: Int5 def hasMessages: Boolean6 def cleanUp(owner: ActorRef, deadLetters: MessageQueue): Unit7 }

Actor Model Akka

Пулы акторов

1 akka.actor.deployment {2 /partitioner {3 router = smallest-mailbox-pool4 nr-of-instances = 45 }6 }

1 akka.actor.deployment {2 /unifier {3 router = round-robin-pool4 resizer {5 lower-bound = 26 upper-bound = 167 }8 }9 }

Actor Model Akka

Типы роутеров

Реализации Pool и Group:RoundRobinRandomSmallestMailboxBroadcastScatterGatherFirstCompletedСамописные

Actor Model Akka

Конфигурирование из кода

1 val shardActorPaths: immutable.Seq[String] = ...2

3 val shard = system.actorOf(4 RoundRobinGroup(shardActorPaths).props(),5 "shard")

Actor Model Akka

Удалённые акторы

1 akka {2 actor {3 provider = "akka.remote.RemoteActorRefProvider"4 }5

6 remote {7 enabled-transports = ["akka.remote.netty.tcp"]8

9 netty.tcp {10 hostname = "server.yandex.ru"11 port = 255312 }13 }14 }

Actor Model Akka

Тестирование акторов

Модульное тестирование с TestActorRefИнтеграционное тестирование с ProbeПроверки с сопоставлением по шаблону

Actor Model Akka

Пример теста

1 val probe = TestProbe()2 val burstScaler = TestActorRef(new BurstScaler(probe.ref))3

4 before {5 burstScaler.underlyingActor.sent =6 burstScaler.underlyingActor.sent.empty7 }8

9 "A BurstScaler" should {10 "always forward the first message" in {11 probe.within(1 second) {12 burstScaler ! 113 probe.expectMsg(1)14 }15 }16 }

Actor Model Akka

СупервизорРешение при сбое:

1 Resume2 Restart3 Stop4 Escalate

Принятое решение (1-3) действует рекурсивноФункция Exception ⇒ DirectiveTerminated, preStart, preRestart, postStop,postRestartOneForOneStrategy и AllForOneStrategyОграничение количества перезапусков

Actor Model Akka

Супервизор по умолчанию

1 final val defaultDecider: Decider = {2 case _: ActorInitializationException => Stop3 case _: ActorKilledException => Stop4 case _: DeathPactException => Stop5 case _: Exception => Restart6 }7

8 final val defaultStrategy: SupervisorStrategy =9 OneForOneStrategy()(defaultDecider)

Системы Классификация

Классификация

Конвейерная индексацияЯндекс.{Авто, Недвижимость, Работа}etc.

Иерархическая обработка пользовательскихзапросов

Spray7

Маршрутизация и обработка кликов и показовМатчинг объявлений на подпискиetc.

7http://spray.ioВадим Цесько (Яндекс) Akka в Яндекс 18 апреля 2014 г. 27 / 55

Системы Конвейер

Конвейер

МасштабируемостьУстойчивость к сбоямОграниченные очередиBack pressureВыделенные диспетчерыДетерминированноепотребление памятиГрафики размеров очередейДекомпозиция стадийМасштабирование пуламиЗагрузка CPU 100%

Яндекс.Авто: Архитектура

Яндекс.Авто: Гиперконвейер

Яндекс.Авто: Цифры

4 ДЦ, 4 машины для индексации, 60 машиндля поиска (общие для разных сервисов)Больше 2М объявленийВремя в конвейере — до 5 минПринудительная переиндексация — каждые15 минОбъём поискового индекса — больше 2 ГБScala — 8 KLOC, Java — 210 KLOC

Инструментированные очередиMetrics8 + Graphite:

8http://metrics.codahale.com/Вадим Цесько (Яндекс) Akka в Яндекс 18 апреля 2014 г. 32 / 55

Диагностика

Интересное

Специфика

Для прореживания потока задач:BurstScalerInstrumentedUnboundedSkipClonesMailboxInstrumentedSkippingBoundedMailbox

Горизонтальное масштабирование (1)

Планировали масштабировать индексацию так:Добавляем машины-indexer’ыИспользуем RoundRobin- или Random-пул

Не работаетОдна из машин патологически тупит — сильнотормозит весь конвейер

AdaptiveBalancerИзмеряем время пропихивания данных и штрафуем нанекоторое время втупливающие ноды

Горизонтальное масштабирование (2)Обновление данных на поисковых машинах:

Несколько ДЦ + ненадёжная сеть

ЭволюцияBroadcastPoolZeroMQ (EPGM, TCP)JGroups (Multicast + Relay)

Akka-based Spanning TreeДоставляем хотя бы одной ноде в каждом ДЦНода распространяет данные внутри ДЦВсё на akka-remote + ZooKeeperТюнинг и патчинг akka-remote

Системы Иерархическая обработка

Иерархическая обработка

МасштабируемостьВысокая доступностьЕстественные подсистемыЧасто динамическаятопологияActor per requestRequest-reply

Иерархические системы

Внутренние сервисыИерархия акторов для каждого активногопользователя/подписки/визита/запросаДинамическая выгрузка/подгрузка сущностейРаспределение пользователей на бакеты (и ноды)через ZooKeeper + Curator9 (Consistent Hashing10)

9http://curator.apache.org10http://en.wikipedia.org/wiki/Consistent_hashingВадим Цесько (Яндекс) Akka в Яндекс 18 апреля 2014 г. 39 / 55

Компонент сервиса уведомлений

О чём нужно думать

НаблюдаемостьЛоггированиеАгрегатные графикиМониторинги

Поведение при перегрузкеДетектирование перегрузкиОграничение ресурсовПревентивный rejectВосстановление после перегрузкиВыравнивание нагрузки

Проблемы Deadlocks

Deadlocks

Ограниченные ресурсы:ОчередиДиспетчерыПулы нитей (в т. ч. в akka-remote)Косвенная синхронизация между акторами

Типы:ЛокальныеРаспределённые

Проблемы OOMs

Возможные причины:Перегрузка + неограниченные очередиЛогические утечки памяти (в т. ч. череззамыкания, см. ActorContext.sender)

Проблемы Logging

Logging

ActorLoggingSlf4jLogger (Logback) vs akka.loglevelПерегрузка EventBusOOM

РешениеИспользовать slf4j-api напрямуюОбёртки для наполнения MDC спецификой Akka

Проблемы Dead Letters

Dead Letters

ВниманиеВ любой непонятной ситуации сообщение пойдёт вDeadLetter

РекомендацияПодписываться на DeadLetter, логгировать,вылавливать и мониторить «интересные» сообщения

Проблемы Blocking

Blocking

Актор на время обработки сообщения берёт ниткуиз диспетчераThread starvation при блокировании в актореОсобенно «интересные» результаты наdefault-dispatcher

РекомендацияЗапускайте блокирующихся акторов на собственномвыделенном диспетчере

Проблемы Akka и JMM

Akka и JMM

Happens beforeMessage send happens before receiveActor receive happens before previous receive

Следствия:Не нужно защищать состояние актораВозможны гонки на изменяемых сообщенияхИспользуйте неизменяемые структуры данных11

11Chris Okasaki. Purely Functional Data Structures. 1999.http://www.cs.cmu.edu/~rwh/theses/okasaki.pdf

Проблемы Наблюдаемось

Наблюдаемось

Статическая топологияНикаких проблем

Динамическая топологияПока только с привлечением мозга

Проблемы Akka

Бинарная несовместимость на пустом местеAPI иногда колбасит (диспетчеры и очереди)До многих вещей не дотянуться — приходитсякопипастить и патчить

Проблемы Scala

spray-routing (shapeless) крепкий орешек дляIDEAClosures (call-by-name, laziness) — утечки памяти,гонки и гейзенбаги

Незащищённое состояние актораВ т. ч. sender()

Заключение Рассмотрели

Рассмотрели

Actor Model в реализации AkkaКонвейерные и иерархические системы на AkkaНекоторые проблемы и решения

Заключение В итоге

В итоге

Прошли путь от Akka 1.x до 2.3.x1.5 года в productionМножество граблей, но жить можноИсключительно простой и выразительныйформализмУдобно проектировать, разрабатывать итестировать

Заключение Ссылки

Ссылки«Потоковая обработка данных с помощью моделиакторов (Actor Model)» на ADD-312

Typesafe Activator13

Principles of Reactive Programming14Книги:

Jamie Allen. Effective Akka. 2013Derek Wyatt. Akka Concurrency. 2013Series: The Neophyte’s Guide to Scala15

EAI Patterns Series16

12http://addconf.ru/talk.sdf/add/add_3/talks/1282313http://typesafe.com/activator14https://class.coursera.org/reactive-001/class15http://letitcrash.com/post/64667109914/

series-the-neophytes-guide-to-scala16http://letitcrash.com/post/59190266995/

eai-patterns-series-by-vaughnvernonВадим Цесько (Яндекс) Akka в Яндекс 18 апреля 2014 г. 53 / 55

Вопросы?

http://incubos.org/contacts/@incubosvadim.tsesko@gmail.com

Alan Kay on OOP, 1967

I thought of objects being like biological cells and/orindividual computers on a network, only able tocommunicate with messages (so messaging came at thevery beginning – it took a while to see how to domessaging in a programming language efficiently enoughto be useful).OOP to me means only messaging, local retention andprotection and hiding of state-process, and extremelate-binding of all things. It can be done in Smalltalk andin LISP. There are possibly other systems in which this ispossible, but I’m not aware of them.

Фреймворк Akka и его использование в Яндексе

Technology

CodeFest 2011. Левин М. — Фреймворк для автоматизации тестирования и функционального мониторинга в Яндексе

Akka basics

Як досвід компанії перетворився на фреймворк

Фронтенд в Яндексе

Модерация рекламы на яндексе

Региональные обряды в Яндексе

Фреймворк для регрессионного тестирования на основе WebDriver

#6 "Изоморфный фреймворк Catberry.js" Денис Речкунов

Олимпиада 2012 на Яндексе

К. Шатров "Фреймворк Capistrano", DUMP-2014

Реклама на Яндексе: инструменты, форматы, возможности

Дмитрий Лукьяненко: Первый фреймворк на Selenium + TestNG

Akka: Введение

Переформулировки поисковых запросов в Яндексе

Урок 66 региональное продвижение в Яндексе

Frontendlab: Фреймворк Duranda js - Виктор Сотов

Доклад о яндексе

Eresha akka

Запускаем смарт-баннеры в Яндексе

Фреймворк автотестирования веб-сервисов своими силами