View
506
Download
5
Category
Preview:
Citation preview
Использование Tarantool в качестве платформы виртуализации данныхКонстантин Осипов, kostja@tarantool.orgСергей Мясников, smyasnikov@beeline.ru
Платформа Tarantool
● in-memory СУБД для высокой
нагрузки● создана в Mail.Ru в 2008-2016 гг.● технология нового поколения, на
основе последних исследований в
области обработки транзакций● полностью бесплатна (BSD)
Участники проекта
● ПАО “Вымпелком” - заказчик● ООО “ЭйТи Консалтинг” - интеграция с системами
ПАО “Вымпелком”● ООО “Мэйл.Ру” - решение “под ключ” на платформе
Tarantool
Что такое data virtualization
A solution that sits in front of
multiple data sources and
allows them to be treated as
a single JSON/SQL
database
Применение DV
● каноническое централизованное представление
данных● интегрированное управление бизнес процессами● модернизация и поддержка legacy приложений● инструмент консолидации данных при M&A –
поглощениях и слияниях
Проблемы подхода DV
● производительность, т.к. платформа не является
первоисточником данных● дополнительная нагрузка на первоисточники● требует дополнительных ресурсов – оборудование,
ПО● не заменяет другие инструменты (ETL, BI, CRM,
CSM)
Почему Вымпелком нужна DV
• растёт сложность услуг и настроек ИТ систем• необходима централизация управления услугами
в 90 регионах России• рынок требует интерактивной работы с клиентом• новым данным нет места в legacy системах
➔нельзя просто взять и всё сразу переписать с нуля
Базовые требования к решению
● проекция данных в единую логическую модель● хранение мастер-данных внутри самой системы● кэширование данных● контроль прав доступа● отказоустойчивость 3-го уровня и выше
Уникальные требования Вымпелком
● независимый жизненный цикл поставщиков и потребителей данных
✔ версионирование схемы✔ подключаемые источники данных✔ поддержка старых клиентов
● контроль нагрузок на источники данных● производительность 30 Krps на узел
Обзор рынка
● Informatica Platform● Denodo Platform● Cisco Data Virtualization/ex. Composite
software● JBOSS Teiid
… всего более 20 enterprise вендоров
(Forrester)➔ решение под конкретного заказчика на
основе open source технологий
Причины выбора поставщика
● наличие экспертизы для создания решения под заказ
● опыт производства коробочного ПО● гарантия доработок основной технологии хранения (платформы Tarantool) под нас
● наименьшая общая стоимость владения
Компоненты системы
Как мы “обманули” природу
● 3 операции над данными: чтение, запись, уведомление● версионирование схемы данных в Avro Schema● общее представление объекта из нескольких источников● любой объект – это набор независимых параметров● подключаемые источники данных● реконфигурация без downtime● внешний интерфейс REST● постраничное чтение, чтение связанных объектов● оптимистичная транзакционная семантика● справочник сервисов как БД нагрузочных профилей и профилей
доступа
Результаты
● снижение затрат на поддержку существующих систем за счёт выноса общих данных в обособленную систему
● снижение удельной стоимости 1 rps● сокращение сроков запуска продуктов
Планы
✔ единый профиль клиента✔ лента сообщений✔ контроль каналов при общении с пользователем✔ генератор параметризованных сообщений✔ однородный мониторинг бизнес-метрик
Recommended