"Бэк-офис в Avito: миллиард объявлений на 10 серверах"...

Бэк-офис в Avito:Бэк-офис в Avito:Бэк-офис в Avito:Бэк-офис в Avito:Бэк-офис в Avito:миллиард объявлениймиллиард объявлениймиллиард объявлениймиллиард объявлениймиллиард объявлений

на 10 серверахна 10 серверахна 10 серверахна 10 серверахна 10 серверахВячеслав КрюковВячеслав КрюковВячеслав КрюковВячеслав КрюковВячеслав Крюков

SphinxSearch Meetup #2 @ AvitoSphinxSearch Meetup #2 @ AvitoSphinxSearch Meetup #2 @ AvitoSphinxSearch Meetup #2 @ AvitoSphinxSearch Meetup #2 @ Avito

Зачем нужен Backoffice?• Модерация объявлений• Управление

• пользователями• магазинами• сообщениями• контекстными объявлениями

• И много еще зачем• И для всего нужен поиск

SphinxSearch Meetup #2 @ Avito

Основное хранилище объявлений• PostgreSQL• Данные нормализованы

Что мы хотим от поиска в Backoffice?• Обрабатывать много объявленй• Высокую актуальность• Приемлемую скорость выполнения запросов• Унификацию

Sql источник и дельта индексация - классикажанра

• Делим индекс на две части Small и Main• Запоминаем метку времени последней индексации Main• Периодически переиндексируем Small от этой метки• Пока его размер приемлем

Дельта индексацияПереиндексируем Small

Дельта индексацияПереиндексируем Small, Small уже совсем и не Small

Дельта индексацияПереиндексировали Main, Small стал маленьким

Дельта индексация - известные проблемы• Small быстро пухнет• И переиндексируется с каждым разом медленнее• Мы вытаскиваем повторно из базы все больше и больше данных• Падает актуальность• И надо переиндексировать Main• Возможно, слишком часто, чем хотелось бы

Дельта индексация: почему частопереиндексировать Main плохо?

• Мы вытаскиваем все данные• Мы не запрещаем JOIN в запросах• А даже любим их• Переиндексировать Main это долго• Либо очень сложно

Дельта индексация - пытаемсяоптимизировать

• Делим индекс на три части Small, Medium, Main• Храним две метки времени индексации для Medium, Main• И периодически переиндексируем Small от первой метки• А Medium от второй• Пока их размер приемлем

Дельта индексацияПереиндексируем

Medium

Дельта индексацияПереиндексируем Small...Small...

Medium

Дельта индексацияПереиндексируем Small...Small...Medium

Medium

Дельта индексацияПереиндексируем Small...Small...Medium...Small

Medium

Дельта индексацияПереиндексируем Medium...Small...Small

Medium

Дельта индексацияПереиндексируем Medium...Small...Small...Medium

Medium

Дельта индексацияПереиндексируем Medium...Small...Small

Medium

Дельта индексацияПереиндексируем Medium...Small...Small...Main...Medium...Small

Medium

Дельта индексация: после оптимизации• Переиндексация Main происходит реже• Но она все равно нужна• Если не раз в сутки• Так раз в неделю• И даже если раз в месяц - это плохо• Хотим это делать в крайнем случае

Всякая экзотика• Апдейтим атрибуты, а в дельте только изменения текста• RT

• может упасть• Мерж индексов

• быстро работает• но фейлится в самый неподходящий момент

• Предложите свой вариант

Pipe источник индексации• Необходима собственная реализация извлечения данных• Широкие возможности: можно объеденять данные с различных серверов

БД, источников с разными форматами

TSV pipe• TSV - Tab Separated Values• Работает быстрее XML Pipe• Проще обрабатывается

TSV pipe + дельта индексацияКак это устроено

• Выделяем несколько частей-чанков• Small, Medium, Main и т.п.• Как для обычной дельта схемы• Отдельный TSV файл

• соответствующий какому-либо чанку• отсортирован по убыванию id объявления

• Выделяем самый маленький TSV чанк - Pre• Ставим его перед остальными TSV чанками• В него генерируем данные

• по времени от сохраненной метки• маленькими порциями

• Сортируем по убыванию id объявления• После генерации сохраняем новую метку

• Осуществляем последовательный мерж TSV чанков• Мерж TSV чанков по лэтенси• indexer забирает заданные TSV файлы и строит индексы• Применяем TSV KL для удаленных объявлений• Применяем Sphinx KL для приоритета актуальности младших чанков над

старшими• Большие TSV файлы жмем• Гибкие и простые блокировки

TSV pipe + дельта индексацияПрофит

• Вычитываем данные из БД только один раз• Одна метка• Манипулировать отсортированными TSV файлами просто и быстро• Можем вытаскивать данные не только из БД• А из любого др. хранилища и любом др. формате• indexer быстро обрабатывает TSV файлы• Очень полезно при смене версии Sphinx• И отсутствии обратной совместимости формата индексов

Мерж TSV чанков по лэтенсиГенерим данные в Pre

Мерж TSV чанков по лэтенсиСгенерили

После генерации Pre сохранили новую мектку

Мерж TSV чанков по лэтенсиСмержили Pre в Small

Мерж TSV чанков по лэтенсиСмержили Pre в Small, мерж занял слишком много времени

Мерж TSV чанков по лэтенсиСмержили Small в Main

Мерж TSV чанков по лэтенсиСмержили Pre в Small, мерж занял слишком много времени

Мерж TSV чанков по лэтенсиСмержили Small в Main

Блокировки при мерже Pre-SmallГенерим Pre и лочим Small, что бы потом с ним смержиться

Блокировки при мерже Pre-SmallСгенерли Pre, другая генерация Pre пока невозможна

Блокировки при мерже Pre-SmallСмержили Pre в Small

Блокировки при мерже Pre-SmallРазлочили Pre и Small, возможна следующая генерация Pre

Блокировки при мерже промежуточных TSVчанковПеред мержем Small в Main

Блокировки при мерже промежуточных TSVчанковЛочим Main, перемещаем Small в Small.tmp

Залочить Main можно, если в этот момент не был залочен Small

Small.tmp

Блокировки при мерже промежуточных TSVчанковМержим Small.tmp в Main, можем мержить Pre в Small

Small.tmp

Блокировки при мерже промежуточных TSVчанковВсе еще мержим Small.tmp в Main, Small растет

Small.tmp

Блокировки при мерже промежуточных TSVчанковПолучили новый Main, Small растет

Перегенерация MainНадо согнать все данные по цепочке TSV чанков в конец перед Main

Medium

Перегенерация MainСогнали

Medium

Перегенерация MainПереместили Medium в Medium.tmp, генерируем Main.new

Medium.tmp

Main.new

Перегенерация MainГенерируем Main.new, растет Small

Medium.tmp

Main.new

Перегенерация MainГенерируем Main.new, растет Small и готов к мержу в Medium

Medium.tmp

Main.new

Перегенерация MainГенерируем Main.new, смержили Small в Medium

Medium

Medium.tmp

Main.new

Перегенерация MainГенерируем Main.new, опять растет Small

Medium

Medium.tmp

Main.new

Перегенерация MainГенерируем Main.new, опять смержили Small в Medium

Medium

Medium.tmp

Main.new

Перегенерация MainГенерируем Main.new, растет Small

Medium

Medium.tmp

Main.new

Перегенерация MainMain.new сгенерился, опять смержили Small в Medium

Medium

Medium.tmp

Main.new

Перегенерация MainMain.new переместили в Main, Medium.tmp удалили

После перегенерации Main сохранили новую мектку

Medium

Перегенерация MainОсобый, тяжелый случай

• Останавливаем реплику• Вычитываем через Seq Scan все данные для Main• Нарезаем TSV файлы по нодам• Сохраняем новую метку

Реализация схемы TSV pipe + дельтаиндексация

• Около 3000 строк PHP• Генератор данных - TSVGeneratorBase

• AdmItems• ProItems• AdmAds• ...• Всего 9 генераторов и 70% кода

• Управление вводом/выводом - TSVResource• Обычные TSV файлы• .gz• создание TSV файла c одной строкой

• Мержер файлов - PHPMerger• Мерж предсортированных TSV файлов• Мерж с TSV KL

Реализация схемы TSV pipe + дельтаиндексацияВыделение TSV чанка в отдельную сущность

TSVChunkFirst

TSVChunkMedium

TSVChunkLast

• Первый чанк - TSVChunkFirst• process• processRange• processFull• generate• reset

• Промежуточный чанк - TSVChunkMedium, последний чанк - TSVChunkLast• process• processFull• merge• move• reset• archive

• TSVManager - cборщик цепочки чанков из экземпляров• TSVChunkFirst• TSVChunkMedium• TSVChunkLast

• Запускает обработку цепочки

Реализация схемы TSV pipe + дельтаиндексацияКонфигурация

'adm_items' => [

'nodes' => 100,

'path' => '/path/to/tsv',

'chunks' => [

'pre' => [],

'small' => [],

'medium' => ['latency' => 1000, 'throttle' => 15 * 60],

'main' => ['gzip' => 1, 'latency' => 40000, 'throttle' => 61 * 60],

'archive' => ['gzip' => 1, 'throttle' => 61 * 60, 'schedule' => ['wH' => '002']], // schedule - воскресенье 2 ночи

Архитектура поискового кластераРаспределение данных

• Нужно больше для обеспечения скорости выполнения запроса• Чем для обработки большого числа запросов• Утилизирует многоядреность

Архитектура поискового кластераРаспределение данных

• Равномерно распределяем наш миллиард объявлений по 100 нодам• 10 нод на каждом из 10 контейнерах• Можем переиграть число нод, обработав TSV файлы• Намного быстрее, чем вычитать всю базу

Архитектура поискового кластераУправление конфигурацией

• Контейнерная архитектура, LXC• Динамическая конфигурация для indexer и searchd• Конфигурация контейнеров в манфетах puppet

Архитектура поискового кластераРаздача TSV файлов по контейнерам при индексации

Cron-server, генерация TSV файлов

Search-container01 ... Search-container10

Small1 Medium1 Main1 Archive1

... Node10 Node91 ... Node100

Small100 Medium100 Main100 Archive100

Архитектура поискового кластераЗапуск indexer на контейнерах Search-container01-10

• Каждую минуту по крону• Только для тех индексов, для которых обновились TSV файлы• touch <TSV файл> - индекс будет перестроен заново• indexer срабатывает

• Small - мили сек• Medium - сек• Main - десятки сек• Archive - сотни сек

Примерные объемы данных• Индексы - десятки гб на ноду• TSV файлы - десятки гб на ноду

Архитектура поискового кластераОбъединение контейнеров в кластере

HAproxy on app's

Search-pool01...10

Search-container01 ... Search-container10

Node1 ... Node10 Node91 ... Node100

Архитектура поискового кластераКонфигурация индексов, поля и атрибуты, порядок соотв. колонкам в TSV

файле

#!/usr/bin/env bash

INDEX='items'

INDEX_CHUNKS="archive.gz main.gz medium.tsv small.tsv"

MAX_NODE_ID=100

HAS_KL=1

SOURCE_CONF="

field = title

field = description

attr_bigint = price

attr_uint = user_id

attr_uint = category_id

attr_uint = location_id

Архитектура поискового кластераКонфигурация индексов, привязка tsv файлам ноды

source s_archive_1:s_template

tsvpipe_command = ssh ... -q cron-server cat /path/to/tsv/archive_1.*gz | zcat

index archive_1:template

type = plain

source = s_archive_1

path = /home/sphinx/src/archive_1

Архитектура поискового кластераКонфигурация индексов, Sphinx KL

source s_kl_main_1:s_kl_template

xmlpipe_command = ssh ... -q cron-server /path/to/kl.sh /path/to/tsv/main_1.*gz

source s_main_1:s_template

tsvpipe_command = ssh ... -q cron-server cat /path/to/tsv/main_1.*gz | zcat

index main_1:template

type = plain

source = s_main_1

source = s_kl_main_1

path = /path/to/indexes/main_1

Архитектура поискового кластераКонфигурация индексов, сборка индекса ноды

index items_1

type = distributed

local = archive_1

local = main_1

local = medium_1

local = small_1

Архитектура поискового кластераКонфигурация индексов, сборка индекса контейнера

index items

type = distributed

agent = localhost:9314:items_1

Архитектура поискового кластераКонфигурация индексов, сборка индекса кластера

index items

type = distributed

agent = search-container01:9314:items

Оптимизации и лайфхаки• Обновите версию Sphinx• threads, thread_pool• local, dist_threads, agent, max_children• Ограничение выдачи• Обратный поиск• Универсальные поля• JSON атрибуты• Ranker может многое

Время генерации/мержа, кол-во items

Отставание Small

Отставание medium

Спасибо, вопросы ?Спасибо, вопросы ?Спасибо, вопросы ?Спасибо, вопросы ?Спасибо, вопросы ?

"Бэк-офис в Avito: миллиард объявлений на 10 серверах"...

Internet

Магазин на AVITO

Где живут Ваши объявления / Тюрин Михаил (Avito)

Как мы считали трафик на Вертике, Николай Голов (Avito)

Машинное обучение в Avito.Контекст - Андрей Остапец (Avito)

Mandriva 2011 – свободная операционная система (Владимир Крюков, Mandriva/РОСА)

Sphinx 3.0 и RT-индексы на основном поиске Avito / Андрей Смирнов, Вячеслав Крюков (Avito)

pgconf.ru 2015.avito postgresql recovery

МРТ для данных, Avito SPA meetup #2

Флеш в серверах: работа со скоростью вспышки

я ученик крюков и

Реализация восстановления после аварий / Сергей Бурладян (Avito)

МРТ для данных / Анастасия Горячева (Avito)

Решения Виртуализации на серверах IBM ......- Больше VM на одном сервере - Обработка большего количества

"Favicon на стероидах" Александр Амосов (Avito)

Зачем в Avito Аналитика?

Описание ПО управления IPMI в серверах DEPO · Все управляемые системы принадлежат группе IPMI Domain, даже

Архитектура поиска в Avito / Андрей Смирнов (Avito)

pgconf.ru 2015 avito postgresql

Avito Контекст

отечество! крюков и