Потоковая обработка данных с помощью модели акторов (Actor Model)

Потоковая обработка данных спомощью Actor Model

Вадим Цесько[email protected]/incubos

12 мая 2012 г.

Вадим Цесько (Яндекс) Потоковая обработка на Actor Model 12 мая 2012 г. 1 / 42

Введение Система

Класс систем

Мы разрабатываемЯндекс.АвтоЯндекс.НедвижимостьЯндекс.Работа

ETL-процесс:1 Extract — загрузка внешних данных2 Transform — унификация, кластеризация, ...3 Load — построение и раскладка индекса





ETL-процесс:

1 Extract — загрузка внешних данных2 Transform — унификация, кластеризация, ...3 Load — построение и раскладка индекса





ETL-процесс:1 Extract — загрузка внешних данных

2 Transform — унификация, кластеризация, ...3 Load — построение и раскладка индекса





ETL-процесс:1 Extract — загрузка внешних данных2 Transform — унификация, кластеризация, ...

3 Load — построение и раскладка индекса





ETL-процесс:1 Extract — загрузка внешних данных2 Transform — унификация, кластеризация, ...3 Load — построение и раскладка индекса



Статистика

Данные:До 104 источниковДо 107 сущностей20% обновляется ежедневно2x рост за год

Пользователи1:Яндекс.Авто — 4.5 млн. чел.Яндекс.Недвижимость — 2 млн. чел.Яндекс.Работа — 3.3 млн. чел.

1http://stat.yandex.ruВадим Цесько (Яндекс) Потоковая обработка на Actor Model 12 мая 2012 г. 3 / 42

http://stat.yandex.ru


Статистика

Данные:До 104 источниковДо 107 сущностей20% обновляется ежедневно2x рост за год

Пользователи1:Яндекс.Авто — 4.5 млн. чел.Яндекс.Недвижимость — 2 млн. чел.Яндекс.Работа — 3.3 млн. чел.

1http://stat.yandex.ruВадим Цесько (Яндекс) Потоковая обработка на Actor Model 12 мая 2012 г. 3 / 42

http://stat.yandex.ru


Было



За кадром

Кластер поисковых машинРаскладкаБалансировка

Дополнительные процессы и данныеСтатистикаКартинкиЦеныКачествоАдминки/партнёркиИстория



Мотивация

Масштабируемость с ростом объёма данныхИнкрементальная индексация(мягкий) real-time



Мотивация

Масштабируемость с ростом объёма данных

Инкрементальная индексация(мягкий) real-time



Мотивация

Масштабируемость с ростом объёма данныхИнкрементальная индексация

(мягкий) real-time



Мотивация

Масштабируемость с ростом объёма данныхИнкрементальная индексация(мягкий) real-time



Стало


Введение Распределённые системы

Свойства must have

МасштабируемостьГибкостьУстойчивость к сбоямТестируемостьНаблюдаемость




Масштабируемость

ГибкостьУстойчивость к сбоямТестируемостьНаблюдаемость




МасштабируемостьГибкость

Устойчивость к сбоямТестируемостьНаблюдаемость




МасштабируемостьГибкостьУстойчивость к сбоям

ТестируемостьНаблюдаемость




МасштабируемостьГибкостьУстойчивость к сбоямТестируемость

Наблюдаемость






Введение Actor Model

Происхождение

Carl Hewitt, Peter Bishop and Richard Steiger. AUniversal Modular Actor Formalism for ArtificialIntelligence. 1973.

Изначально для описания параллельныхвычисленийПозднее основа для реализаций

Don’t panicАлгебры, логики, семантики и остальное оставим закадром.




Carl Hewitt, Peter Bishop and Richard Steiger. AUniversal Modular Actor Formalism for ArtificialIntelligence. 1973.Изначально для описания параллельныхвычислений

Позднее основа для реализаций





Carl Hewitt, Peter Bishop and Richard Steiger. AUniversal Modular Actor Formalism for ArtificialIntelligence. 1973.Изначально для описания параллельныхвычисленийПозднее основа для реализаций





Carl Hewitt, Peter Bishop and Richard Steiger. AUniversal Modular Actor Formalism for ArtificialIntelligence. 1973.Изначально для описания параллельныхвычисленийПозднее основа для реализаций




Что такое Actor

Всё это актор2

Функционируют параллельноАсинхронно обмениваются сообщениямиПри обработке сообщения актор может

отправить конечное число сообщений другим акторамсоздать конечное число новых акторовназначить поведение для обработки следующегосообщения

Порядок доставки сообщений не специфицированАкторы имеют «адреса»

2http://letitcrash.com/post/20964174345/carl-hewitt-explains-the-essence-of-the-actor


http://letitcrash.com/post/20964174345/carl-hewitt-explains-the-essence-of-the-actor





Функционируют параллельно

Асинхронно обмениваются сообщениямиПри обработке сообщения актор может










Функционируют параллельноАсинхронно обмениваются сообщениями

При обработке сообщения актор можетотправить конечное число сообщений другим акторамсоздать конечное число новых акторовназначить поведение для обработки следующегосообщения





















Порядок доставки сообщений не специфицирован

Акторы имеют «адреса»
















Реализации Actor Model

Языки3 с «родной» поддержкой:ErlangScala...

Библиотеки для языков:ScalaJavaF#...

Мы выбралиAkka (Scala API).

3http://en.wikipedia.org/wiki/Actor_modelВадим Цесько (Яндекс) Потоковая обработка на Actor Model 12 мая 2012 г. 11 / 42

http://en.wikipedia.org/wiki/Actor_model


Реализации Actor ModelЯзыки3 с «родной» поддержкой:

ErlangScala...







ErlangScala...







ErlangScala...





Практика Akka

О проекте

Jonas Boner:Java ChampionTerracotta JVM clustering, JRockit JVM,AspectWerkz AOP, Eclipse AspectJ

Ресурсы:http://akka.io/docs/http://letitcrash.com/

Код:https://github.com/akka/akkaApache V2 license


http://akka.io/docs/

http://letitcrash.com/

https://github.com/akka/akka


О проекте









О проекте









Производительность

ВниманиеСинтетические тесты ,

Erlang R14B04 vs Akka 2.0-SNAPSHOT4:1M mps vs 2.1M mps

Akka 2.05:50M mps48-core, 128 GB, ForkJoinPool

4http://letitcrash.com/post/14783691760/akka-vs-erlang5http://letitcrash.com/post/20397701710/

50-million-messages-per-second-on-a-single-machineВадим Цесько (Яндекс) Потоковая обработка на Actor Model 12 мая 2012 г. 13 / 42

http://letitcrash.com/post/14783691760/akka-vs-erlang

http://letitcrash.com/post/20397701710/50-million-messages-per-second-on-a-single-machine





Erlang R14B04 vs Akka 2.0-SNAPSHOT4:

1M mps vs 2.1M mpsAkka 2.05:

50M mps48-core, 128 GB, ForkJoinPool




















Akka 2.05:

50M mps48-core, 128 GB, ForkJoinPool










Akka 2.05:50M mps

48-core, 128 GB, ForkJoinPool

















Особенности реализации Actor Model

300 байт на акторАктор: состояние, поведение, почтовый ящик,список детей, стратегия супервизораМножество акторов на множестве нитейНет гарантированной доставки, семантикаat-most-once, порядок сохраняетсяСообщения обрабатываются строго по порядкуИерархия: создаваемые акторы — дети,родитель — супервизорАктор скрыт за переносимой ActorRef




300 байт на актор

Актор: состояние, поведение, почтовый ящик,список детей, стратегия супервизораМножество акторов на множестве нитейНет гарантированной доставки, семантикаat-most-once, порядок сохраняетсяСообщения обрабатываются строго по порядкуИерархия: создаваемые акторы — дети,родитель — супервизорАктор скрыт за переносимой ActorRef




300 байт на акторАктор: состояние, поведение, почтовый ящик,список детей, стратегия супервизора

Множество акторов на множестве нитейНет гарантированной доставки, семантикаat-most-once, порядок сохраняетсяСообщения обрабатываются строго по порядкуИерархия: создаваемые акторы — дети,родитель — супервизорАктор скрыт за переносимой ActorRef




300 байт на акторАктор: состояние, поведение, почтовый ящик,список детей, стратегия супервизораМножество акторов на множестве нитей

Нет гарантированной доставки, семантикаat-most-once, порядок сохраняетсяСообщения обрабатываются строго по порядкуИерархия: создаваемые акторы — дети,родитель — супервизорАктор скрыт за переносимой ActorRef




300 байт на акторАктор: состояние, поведение, почтовый ящик,список детей, стратегия супервизораМножество акторов на множестве нитейНет гарантированной доставки, семантикаat-most-once, порядок сохраняется

Сообщения обрабатываются строго по порядкуИерархия: создаваемые акторы — дети,родитель — супервизорАктор скрыт за переносимой ActorRef




300 байт на акторАктор: состояние, поведение, почтовый ящик,список детей, стратегия супервизораМножество акторов на множестве нитейНет гарантированной доставки, семантикаat-most-once, порядок сохраняетсяСообщения обрабатываются строго по порядку

Иерархия: создаваемые акторы — дети,родитель — супервизорАктор скрыт за переносимой ActorRef




300 байт на акторАктор: состояние, поведение, почтовый ящик,список детей, стратегия супервизораМножество акторов на множестве нитейНет гарантированной доставки, семантикаat-most-once, порядок сохраняетсяСообщения обрабатываются строго по порядкуИерархия: создаваемые акторы — дети,родитель — супервизор

Актор скрыт за переносимой ActorRef




300 байт на акторАктор: состояние, поведение, почтовый ящик,список детей, стратегия супервизораМножество акторов на множестве нитейНет гарантированной доставки, семантикаat-most-once, порядок сохраняетсяСообщения обрабатываются строго по порядкуИерархия: создаваемые акторы — дети,родитель — супервизорАктор скрыт за переносимой ActorRef



Ссылки

Чисто локальныеЛокальные ссылкиСсылки для маршрутизации (Router)Ссылки на удалённых акторовОсобые: PromiseActorRef, DeadLetterActorRef,EmptyLocalActorRef (DeadLetterActorRef)

Примеры путейakka://system/user/service/workerakka://[email protected]:2552/user/service



Ссылки

Чисто локальныеЛокальные ссылкиСсылки для маршрутизации (Router)Ссылки на удалённых акторовОсобые: PromiseActorRef, DeadLetterActorRef,EmptyLocalActorRef (DeadLetterActorRef)

Примеры путейakka://system/user/service/workerakka://[email protected]:2552/user/service



Конструирование ссылок

Создание акторов: ActorSystem.actorOf илиActorContext.actorOfПоиск акторов: ActorSystem.actorFor илиActorContext.actorForКаждый актор знает себя, родителя и детей

Можно делать так:1 context.actorFor("../brother") ! msg2 context.actorFor("/user/service") ! msg3 context.actorSelection("../*") ! msg



Конструирование ссылок

Создание акторов: ActorSystem.actorOf илиActorContext.actorOfПоиск акторов: ActorSystem.actorFor илиActorContext.actorForКаждый актор знает себя, родителя и детей

Можно делать так:1 context.actorFor("../brother") ! msg2 context.actorFor("/user/service") ! msg3 context.actorSelection("../*") ! msg



Именование в локальной системе



Пути

Типы путей:ЛогическийФизический

Особые пути:/user/system/deadLetters/temp/remote



Пути

Типы путей:ЛогическийФизический

Особые пути:/user/system/deadLetters/temp/remote



Удалённое развёртывание



Actor Best Practices

Не блокироватьсяНеизменяемые сообщенияНет разделяемому состоянию«Опасные» подзадачи в дочерние акторыСобытия жизненного цикла




Не блокироваться

Неизменяемые сообщенияНет разделяемому состоянию«Опасные» подзадачи в дочерние акторыСобытия жизненного цикла




Не блокироватьсяНеизменяемые сообщения

Нет разделяемому состоянию«Опасные» подзадачи в дочерние акторыСобытия жизненного цикла




Не блокироватьсяНеизменяемые сообщенияНет разделяемому состоянию

«Опасные» подзадачи в дочерние акторыСобытия жизненного цикла




Не блокироватьсяНеизменяемые сообщенияНет разделяемому состоянию«Опасные» подзадачи в дочерние акторы

События жизненного цикла




Не блокироватьсяНеизменяемые сообщенияНет разделяемому состоянию«Опасные» подзадачи в дочерние акторыСобытия жизненного цикла



Используемые фичи

ActorsLoggingSchedulerDispatchersRoutingRemotingSerializationTestingFSMFault Tolerance



Неиспользуемые фичи

Typed ActorsEvent BusFuturesDataflow ConcurrencySTMAgentsTransactorsDurable Mailboxes (file, Redis, ZooKeeper, Mongo)Akka Cluster


Практика Примеры

Определение актора1 class Partitioner(partitionStorage: ActorRef) extends Actor {2

3 lazy val log = Logging(context.system, this)4

5 def receive = {6 case PartitionFeed(partner, offers) =>7 partition(partner, offers)8 case msg =>9 log.error("Unsupported message received: {}", msg)

10 }11

12 def partition(partner: Partner, offers: Traversable[Offer]) {13 ...14

15 partitionStorage ! UpdatePartitions(partner, partitioning)16 }17 }



Создание актора

1 val system = ActorSystem("sharder")2

3 val partitionStorage = ...4

5 val partitioner = system.actorOf(Props(6 new Partitioner(7 partitionStorage8 )).withDispatcher("dispatcher.cpu")9 .withRouter(FromConfig()),

10 "partitioner")



Конфигурация диспетчераКонфигурация в HOCON6:

1 dispatcher {2 cpu {3 type = Dispatcher4 executor = "fork-join-executor"5 mailbox-capacity = 46 mailbox-push-timeout-time = 5m7

8 fork-join-executor {9 parallelism-min = 4

10 parallelism-factor = 1.011 }12 }13 }

6Human-Optimized Config Object Notation:https://github.com/typesafehub/config


https://github.com/typesafehub/config


Диспетчеры и ящики

Диспетчеры:DispatcherPinnedDispatcherBalancingDispatcherCallingThreadDispatcher

Почтовые ящики:UnboundedMailboxBoundedMailboxUnboundedPriorityMailboxBoundedPriorityMailboxDurable Mailboxes



Конфигурация маршрутизатора

1 akka.actor.deployment {2 /partitioner {3 router = smallest-mailbox4 nr-of-instances = 45 }6 }

1 akka.actor.deployment {2 /unifier {3 router = round-robin4 resizer {5 lower-bound = 26 upper-bound = 167 }8 }9 }



Маршрутизаторы

RoundRobinRouterRandomRouterSmallestMailboxRouterBroadcastRouterScatterGatherFirstCompletedRouter



Конфигурирование из кода

1 val shardActors =2 shards.map(system.actorFor(_)).toIndexedSeq3

4 val shard = system.actorOf(5 Props[PartitionReceiver]6 .withRouter(RoundRobinRouter(shardActors))7 .withDispatcher("dispatcher.shard"),8 "shard")



Распределённые акторы

1 akka {2 actor {3 provider = "akka.remote.RemoteActorRefProvider"4 }5

6 remote {7 transport = "akka.remote.netty.NettyRemoteTransport"8

9 netty {10 hostname = "server.yandex.ru"11 port = 255312 }13 }14 }



Пример теста

1 val probe = TestProbe()2 val burstScaler = TestActorRef(new BurstScaler(probe.ref))3

4 before {5 burstScaler.underlyingActor.sent =6 burstScaler.underlyingActor.sent.empty7 }8

9 "A BurstScaler" should {10 "always forward the first message" in {11 probe.within(1 second) {12 burstScaler ! 113 probe.expectMsg(1)14 }15 }16 }



Тестирование акторов

Модульное тестирование с TestActorRefИнтеграционное тестирование с ProbeПроверки с сопоставлением по шаблонуЗамедление времениДетализированные логи akka.actor.debug.*CallingThreadDispatcher




Модульное тестирование с TestActorRef

Интеграционное тестирование с ProbeПроверки с сопоставлением по шаблонуЗамедление времениДетализированные логи akka.actor.debug.*CallingThreadDispatcher




Модульное тестирование с TestActorRefИнтеграционное тестирование с Probe

Проверки с сопоставлением по шаблонуЗамедление времениДетализированные логи akka.actor.debug.*CallingThreadDispatcher




Модульное тестирование с TestActorRefИнтеграционное тестирование с ProbeПроверки с сопоставлением по шаблону

Замедление времениДетализированные логи akka.actor.debug.*CallingThreadDispatcher




Модульное тестирование с TestActorRefИнтеграционное тестирование с ProbeПроверки с сопоставлением по шаблонуЗамедление времени

Детализированные логи akka.actor.debug.*CallingThreadDispatcher




Модульное тестирование с TestActorRefИнтеграционное тестирование с ProbeПроверки с сопоставлением по шаблонуЗамедление времениДетализированные логи akka.actor.debug.*

CallingThreadDispatcher




Модульное тестирование с TestActorRefИнтеграционное тестирование с ProbeПроверки с сопоставлением по шаблонуЗамедление времениДетализированные логи akka.actor.debug.*CallingThreadDispatcher



СупервизорРешение при сбое:

1 Resume2 Restart3 Stop4 Escalate

Принятое решение (1-3) действует рекурсивноФункция Exception ⇒ DirectiveTerminated, preStart, preRestart, postStop,postRestartOneForOneStrategy и AllForOneStrategyОграничение количества перезапусков





Принятое решение (1-3) действует рекурсивно

Функция Exception ⇒ DirectiveTerminated, preStart, preRestart, postStop,postRestartOneForOneStrategy и AllForOneStrategyОграничение количества перезапусков





Принятое решение (1-3) действует рекурсивноФункция Exception ⇒ Directive

Terminated, preStart, preRestart, postStop,postRestartOneForOneStrategy и AllForOneStrategyОграничение количества перезапусков





Принятое решение (1-3) действует рекурсивноФункция Exception ⇒ DirectiveTerminated, preStart, preRestart, postStop,postRestart

OneForOneStrategy и AllForOneStrategyОграничение количества перезапусков





Принятое решение (1-3) действует рекурсивноФункция Exception ⇒ DirectiveTerminated, preStart, preRestart, postStop,postRestartOneForOneStrategy и AllForOneStrategy

Ограничение количества перезапусков





Принятое решение (1-3) действует рекурсивноФункция Exception ⇒ DirectiveTerminated, preStart, preRestart, postStop,postRestartOneForOneStrategy и AllForOneStrategyОграничение количества перезапусков



Супервизор по умолчанию

1 final val defaultStrategy: SupervisorStrategy = {2 def defaultDecider: Decider = {3 case _: ActorInitializationException => Stop4 case _: ActorKilledException => Stop5 case _: Exception => Restart6 case _ => Escalate7 }8 OneForOneStrategy()(defaultDecider)9 }




Typesafe Console для мониторинга

Graphite + statsd + statsd-over-slf4j




Typesafe Console для мониторингаGraphite + statsd + statsd-over-slf4j








Масштабируемость

ГибкостьУстойчивость к сбоямТестируемостьНаблюдаемость




МасштабируемостьГибкость

Устойчивость к сбоямТестируемостьНаблюдаемость




МасштабируемостьГибкостьУстойчивость к сбоям

ТестируемостьНаблюдаемость




МасштабируемостьГибкостьУстойчивость к сбоямТестируемость







Практика Опыт

Акторы

Храните состояние вовнеСтройте всю систему на акторахПишите асинхронный кодИзбегайте косвенного взаимодействия акторовБаги есть, но быстро чинят



Акторы

Храните состояние вовне

Стройте всю систему на акторахПишите асинхронный кодИзбегайте косвенного взаимодействия акторовБаги есть, но быстро чинят



Акторы

Храните состояние вовнеСтройте всю систему на акторах

Пишите асинхронный кодИзбегайте косвенного взаимодействия акторовБаги есть, но быстро чинят



Акторы

Храните состояние вовнеСтройте всю систему на акторахПишите асинхронный код

Избегайте косвенного взаимодействия акторовБаги есть, но быстро чинят



Акторы

Храните состояние вовнеСтройте всю систему на акторахПишите асинхронный кодИзбегайте косвенного взаимодействия акторов

Баги есть, но быстро чинят



Акторы

Храните состояние вовнеСтройте всю систему на акторахПишите асинхронный кодИзбегайте косвенного взаимодействия акторовБаги есть, но быстро чинят



Память и ящики

Неограниченные ящики ⇒ неограниченная памятьпри перегрузкеОграниченные ящики ⇒ возможные deadlock’ипри наличии циклов⇒ стройте системы без циклов ,Существует диспетчер по умолчаниюНет доступа к размеру ящика7

7http://letitcrash.com/post/17707262394/why-no-mailboxsize-in-akka-2


http://letitcrash.com/post/17707262394/why-no-mailboxsize-in-akka-2




Неограниченные ящики ⇒ неограниченная памятьпри перегрузке

Ограниченные ящики ⇒ возможные deadlock’ипри наличии циклов⇒ стройте системы без циклов ,Существует диспетчер по умолчаниюНет доступа к размеру ящика7







Неограниченные ящики ⇒ неограниченная памятьпри перегрузкеОграниченные ящики ⇒ возможные deadlock’ипри наличии циклов

⇒ стройте системы без циклов ,Существует диспетчер по умолчаниюНет доступа к размеру ящика7







Неограниченные ящики ⇒ неограниченная памятьпри перегрузкеОграниченные ящики ⇒ возможные deadlock’ипри наличии циклов⇒ стройте системы без циклов ,

Существует диспетчер по умолчаниюНет доступа к размеру ящика7







Неограниченные ящики ⇒ неограниченная памятьпри перегрузкеОграниченные ящики ⇒ возможные deadlock’ипри наличии циклов⇒ стройте системы без циклов ,Существует диспетчер по умолчанию

Нет доступа к размеру ящика7







Неограниченные ящики ⇒ неограниченная памятьпри перегрузкеОграниченные ящики ⇒ возможные deadlock’ипри наличии циклов⇒ стройте системы без циклов ,Существует диспетчер по умолчаниюНет доступа к размеру ящика7






Удалённые акторы

Remote deploy пока не работает в полной мереНа клиенте нужно иметь код удалённоразвёртываемого актора (WTF?!)Маршрутизатор smallest-mailbox не работаетдля удалённых акторов




Remote deploy пока не работает в полной мере

На клиенте нужно иметь код удалённоразвёртываемого актора (WTF?!)Маршрутизатор smallest-mailbox не работаетдля удалённых акторов




Remote deploy пока не работает в полной мереНа клиенте нужно иметь код удалённоразвёртываемого актора (WTF?!)

Маршрутизатор smallest-mailbox не работаетдля удалённых акторов




Remote deploy пока не работает в полной мереНа клиенте нужно иметь код удалённоразвёртываемого актора (WTF?!)Маршрутизатор smallest-mailbox не работаетдля удалённых акторов


Заключение Недостатки реализации

Недостатки реализации

Отсутствует явная структура системыНет статической проверки протоколовПока неполноценная реализация удалённогодеплоя и апгрейдаНет развитых средств анализапроизводительности системы




Отсутствует явная структура системы

Нет статической проверки протоколовПока неполноценная реализация удалённогодеплоя и апгрейдаНет развитых средств анализапроизводительности системы




Отсутствует явная структура системыНет статической проверки протоколов

Пока неполноценная реализация удалённогодеплоя и апгрейдаНет развитых средств анализапроизводительности системы




Отсутствует явная структура системыНет статической проверки протоколовПока неполноценная реализация удалённогодеплоя и апгрейда

Нет развитых средств анализапроизводительности системы




Отсутствует явная структура системыНет статической проверки протоколовПока неполноценная реализация удалённогодеплоя и апгрейдаНет развитых средств анализапроизводительности системы


Заключение Достоинства подхода

Достоинства подхода

Выразительное описание поведения ивзаимодействияПростое конфигурированиеГибкое управления выполнениемМасштабируется локально и распределённоРаботает ,




Выразительное описание поведения ивзаимодействия

Простое конфигурированиеГибкое управления выполнениемМасштабируется локально и распределённоРаботает ,




Выразительное описание поведения ивзаимодействияПростое конфигурирование

Гибкое управления выполнениемМасштабируется локально и распределённоРаботает ,




Выразительное описание поведения ивзаимодействияПростое конфигурированиеГибкое управления выполнением

Масштабируется локально и распределённоРаботает ,




Выразительное описание поведения ивзаимодействияПростое конфигурированиеГибкое управления выполнениемМасштабируется локально и распределённо

Работает ,




Выразительное описание поведения ивзаимодействияПростое конфигурированиеГибкое управления выполнениемМасштабируется локально и распределённоРаботает ,


Заключение Alan Kay on OOP, 1967

Alan Kay on OOP, 1967

I thought of objects being like biological cells and/orindividual computers on a network, only able tocommunicate with messages (so messaging came at thevery beginning – it took a while to see how to domessaging in a programming language efficiently enoughto be useful).OOP to me means only messaging, local retention andprotection and hiding of state-process, and extremelate-binding of all things. It can be done in Smalltalk andin LISP. There are possibly other systems in which this ispossible, but I’m not aware of them.


Technology

Потоковая обработка данных с помощью модели акторов (Actor Model)