Использование Tarantool в качестве платформы виртуализации данныхКонстантин Осипов, kostja@tarantool.orgСергей Мясников, smyasnikov@beeline.ru

Платформа Tarantool

● in-memory СУБД для высокой

нагрузки● создана в Mail.Ru в 2008-2016 гг.● технология нового поколения, на

основе последних исследований в

области обработки транзакций● полностью бесплатна (BSD)

Участники проекта

● ПАО “Вымпелком” - заказчик● ООО “ЭйТи Консалтинг” - интеграция с системами

ПАО “Вымпелком”● ООО “Мэйл.Ру” - решение “под ключ” на платформе

Tarantool

Что такое data virtualization

A solution that sits in front of

multiple data sources and

allows them to be treated as

a single JSON/SQL

database

Применение DV

● каноническое централизованное представление

данных● интегрированное управление бизнес процессами● модернизация и поддержка legacy приложений● инструмент консолидации данных при M&A –

поглощениях и слияниях

Проблемы подхода DV

● производительность, т.к. платформа не является

первоисточником данных● дополнительная нагрузка на первоисточники● требует дополнительных ресурсов – оборудование,

ПО● не заменяет другие инструменты (ETL, BI, CRM,

CSM)

Почему Вымпелком нужна DV

• растёт сложность услуг и настроек ИТ систем• необходима централизация управления услугами

в 90 регионах России• рынок требует интерактивной работы с клиентом• новым данным нет места в legacy системах

➔нельзя просто взять и всё сразу переписать с нуля

Базовые требования к решению

● проекция данных в единую логическую модель● хранение мастер-данных внутри самой системы● кэширование данных● контроль прав доступа● отказоустойчивость 3-го уровня и выше

Уникальные требования Вымпелком

● независимый жизненный цикл поставщиков и потребителей данных

✔ версионирование схемы✔ подключаемые источники данных✔ поддержка старых клиентов

● контроль нагрузок на источники данных● производительность 30 Krps на узел

Обзор рынка

● Informatica Platform● Denodo Platform● Cisco Data Virtualization/ex. Composite

software● JBOSS Teiid

… всего более 20 enterprise вендоров

(Forrester)➔ решение под конкретного заказчика на

основе open source технологий

Причины выбора поставщика

● наличие экспертизы для создания решения под заказ

● опыт производства коробочного ПО● гарантия доработок основной технологии хранения (платформы Tarantool) под нас

● наименьшая общая стоимость владения

Компоненты системы

Как мы “обманули” природу

● 3 операции над данными: чтение, запись, уведомление● версионирование схемы данных в Avro Schema● общее представление объекта из нескольких источников● любой объект – это набор независимых параметров● подключаемые источники данных● реконфигурация без downtime● внешний интерфейс REST● постраничное чтение, чтение связанных объектов● оптимистичная транзакционная семантика● справочник сервисов как БД нагрузочных профилей и профилей

доступа

Результаты

● снижение затрат на поддержку существующих систем за счёт выноса общих данных в обособленную систему

● снижение удельной стоимости 1 rps● сокращение сроков запуска продуктов

Планы

✔ единый профиль клиента✔ лента сообщений✔ контроль каналов при общении с пользователем✔ генератор параметризованных сообщений✔ однородный мониторинг бизнес-метрик