Базы данных. Lucene

Поисковая библиотека LuceneКурс «Базы данных»

Андреев Герман Андреевич

Computer Science Center

18 ноября 2013 г.

Андреев Г. А. (CompSciCenter) Поисковая библиотека Lucene 18 ноября 2013 г. 1 / 59

Содержание

1 Задача поиска

2 Lucene

3 Внутреннее устройство

4 Пример использования


Задача поиска Примеры

Примеры

Пример: поиск по документу



ПримерыПример: поиск по документу



ПримерыПример: полнотекстовый поиск



ПримерыПример: параметрический поиск



Примеры

Поиск по документуХорошо изученМножество алгоритмовГотовые библиотекиМожно реализовать самому



Примеры

Поиск регулярных выражений:Хорошо изученМножество алгоритмовГотовые библиотекиСложно реализовать самому



Примеры

Полнотекстовый поиск:Очень много теорииОгромное количество алгоритмовНекоторые доступны в виде библиотек



Примеры

Различия между примерами:Количество документовФункция поискаРанжирование


Lucene Библиотека Lucene

Библиотека Lucene

Особенности:Реализована на JavaДостаточно компактна: lucene-core - 2.1 MbБогатая функциональностьВысокая скорость работыВысокая скорость индексации




Преимущества:Открытый исходный кодУдобная лицензия: Apache LicenseМного коммиттеровШироко известнаЕсть порт под .NET




История развития:Появилась в 1999: жила на SourceForgeВ 2001 переместилась в ApacheВ 2005 стала top-level проектом в рамках ApacheПретерпела 4 мажорных релизаАктивно развивается: последняя версия 4.5.1выпущена 24 октября8 релизов только за этот год


Lucene Модель данных

Модель данных

Модель данных:Основные объекты: Document, Field




Field:Пара ключ-значениеКлюч: произвольная ненулевая строкаЗначение: произвольная ненулевая строкаВ 4.0.0 версии появилась возможность хранитьтипизированные значения




Field:У каждого поля есть специальные атрибутыIndexedStoredTockenized




Indexed Field:Будет ли построен индекс по этому полюПо этим полям осуществляется поискПо этим полям можно сортировать




Stored Field:Попадет ли поле в хранильще документовНужно ли это значение при поиске




Tockenized Field:Требуется ли дополнительная обработка значения




Document:Содержит список FieldНет ограничения на повторяемость имениПри построении индекса каждому документуназначается docId


Lucene Построение индекса

Построение индекса

Directory:Абстракция над файловой системойЕсть несколько реализацийSimpleFSDirectory: простая реализацияNIOFSDirectory: реализация с использованиемNIOMMapDirectory: реализация на основе memorymapped файловRAMDirectory: все содержимое хранится в памятиВажно! Не используйте RAMDirectory длякрупных индексов




Индекс состоит из:Инвертированного индексаХранилища документов




Построение индекса:IndexWriterConfig: настройки индексацииIndexWriter: управляет созданием индексаindexWriter.addDocument(...): добавлениедокумента в индексОдновременно записывать может только одинIndexWriter




Хранилище документов:Попадают все Stored поляЧасть исходного документа в результатах поиска




Токенизация:Каждый индексируемое поле превращается впоследовательность токенов




Инвертированный индекс:Попадают все Indexed поляНа нем основан механизм поиска




ПримерПостроение документа

1 Document doc = new Document();2 Field name = new StringField("name", country.getName(),

Field.Store.YES);3 doc.add(name);4 Field population = new LongField("population",

country.getPopulation(), Field.Store.YES);5 doc.add(population);




ПримерНеиндексируемое поле

1 FieldType TYPE_NOT_INDEXED = new FieldType();2 TYPE_NOT_INDEXED.setIndexed(false);3 TYPE_NOT_INDEXED.setOmitNorms(true);4 TYPE_NOT_INDEXED.setIndexOptions(IndexOptions.DOCS_ONLY);5 TYPE_NOT_INDEXED.setTokenized(false);6 TYPE_NOT_INDEXED.freeze();7 ...8 Field currency = new Field("currency",

country.getCurrency(), TYPE_NOT_INDEXED);9 doc.add(currency);




ПримерСоздание индекса

1 Directory dir = FSDirectory.open(new File(indexPath));2 Analyzer analyzer = new

StandardAnalyzer(Version.LUCENE_40);3 IndexWriterConfig iwc = new

IndexWriterConfig(Version.LUCENE_40, analyzer);4 iwc.setOpenMode(OpenMode.CREATE);5 IndexWriter writer = new IndexWriter(dir, iwc)




ПримерДобавление документа

1 ...2 IndexWriter writer = new IndexWriter(dir, iwc);3 for (Country country: countries) {4 Document doc = new Document();5 ...6 writer.addDocument(doc);7 }8 writer.close();


Lucene Поиск по индексу

Поиск по индексу

Поиск по индексу:За чтение отвечает IndexReaderЗа поиск - IndexSearcherLucene позволяет читать из индексаодновременно с записью




Поиск по индексу:Для поиска indexSearcher.search(query, ...)Все запросы - наследники QueryВ простейшем случаеindexSearcher.search(query, n)




Поиск по индексу:TopDocs: результат поискаtotalHits: всего найденных документовscoreDocs: список docId для найденныхдокументов




Запросы:Запросы бывают разных типовTermQuery: наличие токена в документеBooleanQuery: условие на основе других QueryTermRangeQuery: диапазон текстовых токеновNumericRangeQuery: числовой диапозонНесколько других типов




Результаты поиска:За результаты отвечает CollectorЧаще всего используется TopScoreDocCollectorМожно реализовать свой Collector




Сортировка результатов:В indexSearch.search можно передать SortСодержит список полей для сортировки




Ранжирование:Альтернатива сортировкеЗадается через класс SimilarityДолжно совпадать при индексировании и поискеНужно для полнотекстового поискаVector Space Model - на основе tf-idfBM25




ПримерЧтение индекса

1 Directory dir = FSDirectory.open(new File(indexPath));2 Analyzer analyzer = new

StandardAnalyzer(Version.LUCENE_40);3 DirectoryReader reader = DirectoryReader.open(dir);4 IndexSearcher searcher = new IndexSearcher(reader);




ПримерПостроение запроса

1 BooleanQuery bq = new BooleanQuery();2 TermQuery tq = new TermQuery(new Term("name", "Russia"));3 NumericRangeQuery<Long> nrq =

NumericRangeQuery.newLongRange(4 "population", 140_000_000L, Long.MAX_VALUE, true, false);5

6 bq.add(tq, BooleanClause.Occur.MUST_NOT);7 bq.add(nrq, BooleanClause.Occur.MUST);




ПримерПоиск документов

1 TopDocs topDocs = indexSearcher.search(bq, 10);2 for (ScoreDoc scoreDoc: topDocs.scoreDocs) {3 Document foundDoc = indexSearcher.doc(scoreDoc.doc);4 }




Поиск документов:foundDoc отличается от doc


Внутреннее устройство Индекс на диске

Индекс на диске

Индекс разбит на сегментыПосле создания сегмент не меняетсяСодержит диапазон документовПериодически выполняется merge




DocId внутри сегмента уникальныПри удалении могут появится пропускиMerge удаляет пропускиMerge может изменить docId




Файлы индекса:

write.lock: лок на записьsegments.gen, segments_N: commit pointФайлы сегмента начинаются на _N.fnm: методанные полей.fdx, .fdt: Stored поля документа





.tim, .tip: словарь Term

.doc: список документов, содержащих Term

.tvx, .tvd, .tvf: Term Vector

.nvd, .nvm, .dvd, .dvm: нормы и данные дляранжирования.del: удаленные документы





Возможно включить "склеивание"файлоф.cfs, .cfe: составные файлы индекса




Новый сегмент создается в момент операции flushМожно вызвать программно, обычно вызываетсяавтоматическиНастройки:

IndexWriterConfig.setMaxBufferedDocs:IndexWriterConfig.setRAMBufferSizeMB


Внутреннее устройство Устройиство поиска

Устройиство поиска

IndexReader: содержит списко сегментовПоиск по каждому сегменту независимВыполняется последовательно по спискусегментов




Инвертированный индекс состоит из:Списка Term для каждого поляУпорядоченного списка docId для каждого Term




TermQuery порождают объект, умеющий:Проверяет есть ли нужный Term для поляНаходит соответствующему списку docId




Query порождают объект, отвечающий за:Хранение текущего найденного docIdПоиск следующего подходящего docId




BooleanQueryКомпозиция из QueryОпращивает дочернии Query по очередиДокумент найден, если все дочерние Queryпередвинулись на один и тотже docId




Большинство объектов - потоко-безопасно:IndexReaderIndexSearcherQuery: после создания можно искать изнескольких потоков


Пример использования Пример использования

Пример использования

Размер документа: 14 полейОдно из полей мультизначное: до 10 значенийВсе поля Indexed, некоторые StoredПорядка 100000 объектов




Размер индекса: несколько десятков мегабайтВремя построения: быстро




Жесткие требования по скорость работыНагрузка порядка 25 RPSНесколько тысяч найденных объектов




Первая попытка

Оказалась неудовлетворительнойПолучение документа - дорогая операция




Вторая попытка

Избавится от Stored полейВсе документы хранить в памятиLucene - только для поиска




Вторая попытка

Успех!Максимальная нагрузка - сотни RPS98% запросов - 5 ms99.5% запросов - 25 ms


Technology

Базы данных. Lucene