Сегментируем 600 млн. пользователей в режиме реального...

Сегментируем 600 млн пользователей в режиме реального времени каждый день. HBase/Kafka на службе DMP

Маринов Артем Лидер разработки Facetz DMP Data-Centric Alliance

4

• Data Management Platform • 600 млн пользователей

Что такое Facetz DMP

• Data Management Platform • 600 млн пользователей

Что такое Facetz DMP

5.5 млрд / сутки

• Прямые установки пикселя

• Поток данных от партнеров

• Оффлайн выгрузки

DMP

Механизмы получения данных

Ключевые показатели

• Горизонтальная масштабируемость

Ключевые показатели

• Горизонтальная масштабируемость

• Оценка объема аудитории

Ключевые показатели

• Горизонтальная масштабируемость

• Оценка объема аудитории

• Удобство мониторинга и разработки

• Хорошая скорость реакции на события

Как было раньше

Как было раньше

Loader

Как мы храним данные в HBase

0674ae2-3b6f-…

ROW_KEY

a381112-2e6a-…

54947df8-0e9e-…

Как мы храним данные в HBase

0674ae2-3b6f-…

ROW_KEY

a381112-2e6a-…

54947df8-0e9e-…

family_1

family_2

FAMILY

Как мы храним данные в HBase

0674ae2-3b6f-…

ROW_KEY

a381112-2e6a-…

54947df8-0e9e-…

family_1

family_2

FAMILY COLUMN

IP

URL

SEARCH_QUERY

Как мы храним данные в HBase

0674ae2-3b6f-…

ROW_KEY

a381112-2e6a-…

54947df8-0e9e-…

family_1

family_2

FAMILY COLUMN

IP

URL

SEARCH_QUERY

ts1

VERSION / VALUE

highload.ru

ts2 upyachka.ru

ts3 buzzls.com

ts1 конференция

Как было раньше

Loader

Как было раньше

Loader

Analytic Engine

statistics

Partners

Ключевые показатели

+ Горизонтальная масштабируемость

+ Оценка объема аудитории

Ключевые показатели

+ Горизонтальная масштабируемость

+ Оценка объема аудитории

— Удобство мониторинга и разработки

— Хорошая скорость реакции на события

Ключевые показатели

+ Горизонтальная масштабируемость

+ Оценка объема аудитории

— Удобство мониторинга и разработки

— Хорошая скорость реакции на события

Ключевые показатели

+ Горизонтальная масштабируемость

+ Оценка объема аудитории

— Удобство мониторинга и разработки

— Хорошая скорость реакции на события

Чего мы хотим?

• Писать данные в HBase сразу

• Реагировать на события мгновенно

• Удобство мониторинга и разработки

Loaderbulk_load

Начинаем сегментировать сразу

• Смена workload, random read

Loaderbulk_load

Начинаем сегментировать сразу

• Смена workload, random read

• Макс. плотность хранения

Loader

Segmentator

trigger

bulk_load

Начинаем сегментировать сразу

Get: 5 Gb/s

• Смена workload, random read

• Макс. плотность хранения

• Trigger на изменение данных

Loader

Segmentator

trigger

bulk_load

Начинаем сегментировать сразу

Get: 5 Gb/s

• Смена workload, random read

• Макс. плотность хранения

• Trigger на изменение данных

• Увеличиваем нагрузку

Начинаем сегментировать сразу

Loader

Segmentator

trigger

bulk_load

/ GOOGLEPartners

Get: 5 Gb/s

• Смена workload, random read

• Макс. плотность хранения

• Trigger на изменение данных

• Увеличиваем нагрузку

Kafka — прекрасный инструмент• Topic — набор partition • Partition — файл(ы)

partition 1

partition 2

partition N

• Topic — набор partition • Partition — файл(ы)

• Producers — пишут в конец • Consumer Group — независимы

partition 1

partition 2

partition N

Producers

Kafka — прекрасный инструмент

• Topic — набор partition • Partition — файл(ы)

• Producers — пишут в конец • Consumer Group — независимы

partition 1

partition 2

partition N

ProducersGroup AA: 7

A: 5

Kafka — прекрасный инструмент

• Topic — набор partition • Partition — файл(ы)

• Producers — пишут в конец • Consumer Group — независимы

partition 1

partition 2

partition N

ProducersGroup A

Group B

A: 7

A: 5 B: 3

B: 8

Kafka — прекрасный инструмент

• Topic — набор partition • Partition — файл(ы)

• Producers — пишут в конец • Consumer Group — независимы

partition 1

partition 2

partition N

ProducersConsumer AA: 7

A: 5 B: 3

B: 8 Group A

Consumer BGroup B

Kafka — прекрасный инструмент

Независимые потребители

Loader

Segmentator

trigger

bulk_load

/ GOOGLEPartners

• Сегментирование при изменении - done

• Независимое подключение новых потребителей - done

• Нужно писать в HBase сразу

Get: 5 Gb/s

Пишем данные в реальном времени

Loader

• подготовка к random write

Stream-loaderLoader

Пишем данные в реальном времени

• подготовка к random write

• шлем все логи в Kafka

• подготовка к random write

• шлем все логи в Kafka

• не успеваем сегментироватьStream-loaderLoader

Пишем данные в реальном времени

2 часа

Самомасштабирование

SegmentatorA

B

C

D

A A A A E A A AA

D D D D B D D D D Segmentator

partitionerUID

Самомасштабирование

SegmentatorA

B

C

D

A A A A E A A AA

D D D D B D D D D Segmentator

event timestamp now

A: now

D: nowpartitioner

UID

Пропускаем бесполезные события

segmentation

skipped

Боты — зло

• Весь pipeline перед глазами

• Поменяли - видим реакцию

• Легко провести постанализ

• Алертинг - не проблема

Мониторинг изменений

• Утилизация ресурсов hadoop кластера

• Точные средства хранения статистики в потоке

• Различные оптимизации по CPU

Планы

• Kafka хороша, но есть нюансы

• Реальные данные — важны

• Мониторинг, алертинг — вот это всё

Подводя итоги

Вопросы? Ответы?

Маринов Артем

Лидер разработки Facetz DMP

Data-Centric Alliance