Архитектура поиска в Avito / Андрей Смирнов (Avito)

Архитектура поиска в Avito

Андрей Смирнов

Группы поисковых сервисов в Avito ● Основной поиск.● Avito Контекст● Backoffice.

(800 млн объявлений)● Небольшие сервисы.

(fias, подсказки, ошибки, geo)● Технические логи. kibana

● 30 млн. объявлений● 150 млн. запросов в день● В пик 17000 запросов в секунду● 14 Гб индексов

Основной поиск

● Быстрое отображение платного контента.● Быстрый антифрод.● Время вывода сервиса в бой.

Частое обновление индексов. Зачем?

● Своя база данных.

Логическая репликация.

Останавливаем запись на время индексации.

View таблицы.● Параллельная индексация.

Сортируем категории по убыванию времени индексации.

Ускоряем индексацию.

Время индексации категорийseconds

Время индексации категорий, после «разрезания».

seconds

● Rsync – надежный, простой.● Torrent base – быстро, надежно, забивает сеть.● UFTP

Нет гарантии доставки.

* Обязательно настраивать коммутатор.

* Эксперименты с настройками.

Ускоряем деплой

Этап индексации и деплоя

Этап проверки и ротации

Оптимизация поиска

● Мониторинг.● Поиск аномалий.● Анализ медленных запросов● Подмешивание атрибутов в поиск

Эффект от размазывания кэша.

200ms

200ms

100ms

100ms

● Исправление ошибок.● Подмешиваем характеристики.● Сленг.

Помогаем продавцам

комбинезон 71

компьютер 61

запчасть 54

hakkapelliita 34

mitsubishi 28

комплект 28

hyundai 27

камбенезон камбинезон камбинизон кимбинезон

кобинезон кобминезон комбенезон комбензон

комбиезон комбиензон комбимнезон комбинедзон

комбинезан комбинезин комбинензон комбинзон

комбинизон комбинозон комбиньзон комбмнезон

комбнезон комбтнезон комибинезон коминезон

коммбинезон комьинезон конбенезон конбинезон

конбинизон

● Раскладка клавиатуры● Опечатки ● Подскажки при вводе● Лишние слова

Помогаем покупателям.

meetup Sphinxsearch

18 июня в офисе Avito

bit.ly/sphinxmeetup