Антонов А.В. , Курзинер Е.С.

Корпорация «Галактика»alexa@galaktika.ru

koorz@galaktika.ru

ОПРЕДЕЛЕНИЕ ОПРЕДЕЛЕНИЕ ТЕМАТИЧЕСКИ ЗНАЧИМЫХ ТЕМАТИЧЕСКИ ЗНАЧИМЫХ ДОКУМЕНТОВ В СИСТЕМЕ ДОКУМЕНТОВ В СИСТЕМЕ

ГАЛАКТИКА-ГАЛАКТИКА-ZOOMZOOM (АВТОРУБРИКАЦИЯ)(АВТОРУБРИКАЦИЯ)

ОПРЕДЕЛЕНИЕ ОПРЕДЕЛЕНИЕ ТЕМАТИЧЕСКИ ЗНАЧИМЫХ ТЕМАТИЧЕСКИ ЗНАЧИМЫХ ДОКУМЕНТОВ В СИСТЕМЕ ДОКУМЕНТОВ В СИСТЕМЕ

ГАЛАКТИКА-ГАЛАКТИКА-ZOOMZOOM (АВТОРУБРИКАЦИЯ)(АВТОРУБРИКАЦИЯ)

Авторубрикация – автоматическая Авторубрикация – автоматическая классификация документов по заранее классификация документов по заранее

определенным рубрикамопределенным рубрикам

Подход: фильтрация на основе Подход: фильтрация на основе векторного шаблонавекторного шаблона

Информационный портрет – Информационный портрет – основа технологии основа технологии

Галактика-Галактика-ZoomZoom

Набор значимых языковых Набор значимых языковых конструкций,конструкций,

КОНТЕКСТ запрашиваемой темы.КОНТЕКСТ запрашиваемой темы.

Центральная Центральная ПрессаПресса

1.09.20041.09.20041109 док.1109 док.480 слов 480 слов статистикстатистикии

Пример выборки документов Пример выборки документов и соответствующего инфопортретаи соответствующего инфопортрета

Пример выборки документов Пример выборки документов и соответствующего инфопортретаи соответствующего инфопортрета

МетодМетод: сравнение ИП (векторов) : сравнение ИП (векторов) документа и рубрики (шаблона)документа и рубрики (шаблона)

Мера близости ИПМера близости ИП: на основе : на основе скалярного произведенияскалярного произведения

УточнениеУточнение: ручная коррекция шаблона: ручная коррекция шаблона

Автоклассификатор Галактики-Автоклассификатор Галактики-ZoomZoomАвтоклассификатор Галактики-Автоклассификатор Галактики-ZoomZoom

1.1. Получение выборки документов Получение выборки документов (вручную и/или запрос)(вручную и/или запрос)

2.2. Автоматическое построение шаблона Автоматическое построение шаблона (ИП)(ИП)

3.3. Ручная коррекция шаблонаРучная коррекция шаблона4.4. Опытная классификация на тестовом Опытная классификация на тестовом

наборенаборе5.5. Оценка классифицированных Оценка классифицированных

документовдокументов

Процедура построения шаблона Процедура построения шаблона рубрикирубрики

Процедура построения шаблона Процедура построения шаблона рубрикирубрики

ПрессаПресса

1.09.20041.09.2004Отобранные Отобранные документы документы по рубрике по рубрике Алкоголизм-Алкоголизм-Наркомания Наркомания с порогом с порогом выше 50%выше 50%

Пример выборки документов Пример выборки документов и инфопортрета рубрики Алкоголизм-и инфопортрета рубрики Алкоголизм-

НаркоманияНаркомания

Пример выборки документов Пример выборки документов и инфопортрета рубрики Алкоголизм-и инфопортрета рубрики Алкоголизм-

НаркоманияНаркомания

ПрессаПресса

1.09.20041.09.2004Отобранный Отобранный документ по документ по рубрике рубрике Алкоголизм-Алкоголизм-Наркомания Наркомания с весом 70%с весом 70%

Пример инфопортрета документа 1 Пример инфопортрета документа 1 Пример инфопортрета документа 1 Пример инфопортрета документа 1

ПрессаПресса

1.09.20041.09.2004Отобранный Отобранный документ по документ по рубрике рубрике Алкоголизм-Алкоголизм-Наркомания Наркомания с весом 65%с весом 65%

Пример инфопортрета документа 2Пример инфопортрета документа 2Пример инфопортрета документа 2Пример инфопортрета документа 2

Оценка качества Оценка качества авторубрикацииавторубрикации

Оценка качества Оценка качества авторубрикацииавторубрикации

Рубрика Отобрано документов

алкоголизм-наркомания 25

беременность 11

диета 25

ДТП 25

жилье 3

комнатные растения 25

кошки 8

пожар 16

религия 25

Из 163 документов релевантными были признаны 134 документа, то есть 83%. Из 163 документов релевантными были признаны 134 документа, то есть 83%.

1. Полнота создаваемого образа.

2. Избыточность текстового материала.

3. Статистическая достоверность и устойчивость.

4. Работа в реальном времени.

Достоинства Достоинства технологии рубрицирования технологии рубрицирования

Галактика-Галактика-ZoomZoom

• Представление шаблона рубрики в виде списка значимых слов и словосочетаний.

• Быстрый просмотр контекста.

• Соединение ручного и автоматического построения шаблона рубрики.

• Быстрая готовность шаблона.

• Отсутствие лингвистической обработки.

• Работа в реальном времени.

ПроблемыПроблемы

Уменьшение шума. Дальнейшее уменьшение ручной

работы. Учет взаимовлияния рубрик. Интеграция с точными методами

(тезаурус).– Определение границ применимости

технологии.

ОПРЕДЕЛЕНИЕ ТЕМАТИЧЕСКИ ЗНАЧИМЫХ ОПРЕДЕЛЕНИЕ ТЕМАТИЧЕСКИ ЗНАЧИМЫХ ДОКУМЕНТОВ В СИСТЕМЕ ГАЛАКТИКА-ДОКУМЕНТОВ В СИСТЕМЕ ГАЛАКТИКА-

ZOOMZOOM (АВТОРУБРИКАЦИЯ) (АВТОРУБРИКАЦИЯ)

ОПРЕДЕЛЕНИЕ ТЕМАТИЧЕСКИ ЗНАЧИМЫХ ОПРЕДЕЛЕНИЕ ТЕМАТИЧЕСКИ ЗНАЧИМЫХ ДОКУМЕНТОВ В СИСТЕМЕ ГАЛАКТИКА-ДОКУМЕНТОВ В СИСТЕМЕ ГАЛАКТИКА-

ZOOMZOOM (АВТОРУБРИКАЦИЯ) (АВТОРУБРИКАЦИЯ)

Благодарю Благодарю за вниманиеза внимание

Антонов А.В. начальник отдела поисковых систем «Галактика»e-mail: alexa@galaktika.ru;

тел. 797-6171

Демо-сайт http://zoom.galaktika.ru

Демо-сайт http://zoom.galaktika.ru