Embed Size (px)
Citation preview
Поиск на своем сайте,обзор open source решений
Алексей Рагозин
Поиск на своём сайте• Искать SQLем по своей базе
o Вы наверное не слышали об альтернативах?
• Использовать поиск от / o Отличный вариант для небольших сайтов
• Установить у себя поисковый движок
elasticserach сервер
Ингредиенты поиска
Индексныйдвижок
парсерспелчекер
...
запрос
результат поиска
статистика
парсеранализатор
стемер
поисковые документы
КО
НТ
ЕН
Т /
ДО
КУ
МЕ
НТ
Ы
ПО
ИС
КО
ВЫ
Й U
I
Поисковый документ
Анализ документа:токенизаиця , стеминг, морфология, стоп-слова
Термыid:184647753295609857 author:pledbook tag:grails tag:elasticserach text:look text:use text:plugin text:grails text:website url:grails.org/plugin/... date:2012.03.27
Поисковый индексТипичная RDBMS• Инвертированный индекс• Индекс по одному полю или по композитному атрибуту• Одно значение на атрибуту (full text – много значений)• Обычно только один из индексов используется в select`е• B-Tree – эффективная вставка/изменение
Поисковый индексТипичный поисковый движок• Инвертированный индекс• Все атрибуты в одном индексе• Произвольное количество значений атрибута на документ• Поиск происходит по всем атрибута запроса одним махом• Интегрированное ранжирование• Плотный бинарный формат индекса – read only
Поисковый запрос vs. SQLSQL• cложный запросы / joins• детерминированный
запрос• возвращает данные
Поисковый запрос• “плоский” select• сложные комбинации
атрибутов• нечёткие запросы• ранжирование• возвращает метаданные
Open SourceLucene – библиотека / фреймворк - Java• Solr – всё в одном, прицел на “enterprise”• elasticsearch – простота• IndexTank – crowd sourcing
Sphinx – скорость / простота - C++
Что нужно хотеть от поиска?
• Фасетная навигация(динамическая классификация)
• Кластеризация• Автокоррекция
• Подсказки (автодополнение)
• Пространственный поиск• в т.ч. с фасетами
• “more like this”
в дополнение к качественным и релевантным результатам
ФасетыДинамический набор
категорий
Число найденных документовпо запросу и фильтру
Активный фильтры
Кластеризация
Кластеры создаются на основе текста
документов
Автокоррекция
n-gram индекс• Отдельный индекс для
коррекции
Нечёткий поиск• Работает по основному
индексу• Levinstein automata - Lucene
Подсказки
Похоже на автокоррекцию. Запрос “дописывается” на основе словаря по индексу и дополняется ключевыми словами на основе статистики.
Пространственный поиск
• Поддержка geodist – Lucene, Sphinx – зачёт• Индекс по декартовой сетке - Solr
Что индексировать?Файлы? Apache Tika – извлечение метаданных из файлов
определения типа контентаопределение языкаопределение кодовой страницыMicrosoft Office, Open Office, PDF, HTML, Unix mailbox, …
Достать тэги из mp3? - не вопрос
Что индексировать?Индекс плоский, область поиска - не всегдаКаталог продуктов• Джинсы Levis #559, индиго• Джинсы Levis #559, индиго, размер 32x32Что считать документом?
Когда индексировать?Поисковые индексы нужно перестраивать
Периодическая переиндексация всех документов• Динамические атрибуты (пример наличие на складе)
Сегментированный индекс• Позволяет изменять набор документов без перестройки
всего индекса• Требует регулярной “оптимизации” индекса
Индексные сегменты в LuceneЛогарифмическое слияние сегментов
Самые молодые сегменты можно не спешить писать на диск
#1 #1
#2
#1
#2
#3
#1
#4
#6
#5
#5
#6
#6
#7
МасштабированиеПроизводительность• Упирается в CPU• Сложные запросы могут быть очень CPU-ёмкимиРешение – несколько реплик индекса
• read-only файлы облегчают задачу
МасштабированиеОбъём индекса• Индекс должен помещаться в память• Решение – партицирование индекса
• Каждая партиция выполняет скоринг независимо• Результаты нужно агрегировать
Резюме: Lucene• Фреймворк/библиотека• Java API (нет сетевого интерфейса)• Фундамент построения поисковой системы• Встраиваемый (в т.ч. in-memory индексы)• 3.x – примитивная модель ранжирования
Резюме: Solr• Feature reach поиск из коробки• Эффективная поддержка фасетов• Кросс платформенные клиент (HTTP)• Интеграция со многими CMS• Управление распределённым индексом и репликацией• Фокус - “enterprise” приложения• ОБШИРНАЯ экосистема
Резюме: Sphinx• Простой и быстрый• Интеграция с MySQL• Интеграция со многими CMS• Базовый поисковый функционал
• DIY - фасеты, подсказки и т.п.
• Распределённый поиск (партицирование)
Резюме: elasticsearch• Управление распределённым индексом• Простой HTTP/JSON API• Нет схемы• Иcпользует Lucene, поиск, фасеты, “more like this”, …• Фокус – простота и масштабируемость
Резюме: Index tankIndex tank появился как поисковый SaaS. После покупки компании, код продукта был опубликован как open source.
• Фокус: социальный контент и crowd sourcing• Ранжирование по динамическим атрибутам
(голоса, рейтинг и т.п.)• Управление поисковым “облаком”
