Извлечение ключевых объектов веб-страниц

Извлечение ключевых объектов веб-страниц

Михаил Обухов, Дмитрий Вихарев

Что улучшаем?

Ответы на запросы

Смотреть онлайн без СМС

Разбираем запрос

смотреть Доктор Хаус онлайн без СМС

Доктор Хаус

Объект

Контекст

Что такое объекты?• Названия– Организаций– Фильмов– Программ– Песен– Музыкальных групп– …

• Имена людей• и т.д. (именованные сущности)

Пираты карибского моря

Mail.RU

Москва

Форрест Гамп

Джонни Депп

Что такое контексты?• Остальная часть запроса• Примеры:

Купить <товар>Смотреть <фильм> онлайн бесплатно<известный человек> биографияРецепт <блюдо>

Что у нас есть

Запросы Страницы

http://www.ashmanov.com/arc/aiconf2012/15-obuhov-ai-conf2012.pptx JSD: Jensen-Shanon Divergence

Извлечение объектов из запросов

Контексты СтраницыОбъекты

Запросы

Структура сайта

Шаблоны

ФИЛЬМ

Описание: …

ФИЛЬМ- фильмы

В ролях: …

Комментарии:

http://kino.ru/movie/[\d+]/

Извлечение структуры сайта

Объекты

Страницы

Фильм <название><название> Трейлер…

Фото <название><название> ПостерОбои <название>…

Контексты

Промежуточный результатОбъект

Объект В ролях: …

• смотреть <фильм> онлайн• <фильм> без СМС• <фильм> в хорошем качестве• …

http://kino.ru/movie/[\d+]/ http://kino.ru/movie/photo/[\d+]/

• биография <актер>• <актер> фото• <актер> фильмы• …

• кадры из <фильм>• <фильм> моменты• <фильм> обои• …

http://kino.ru/people/[\d+]/

смотреть Доктор Хаус онлайн без СМС

Контекст (что хочет пользователь):1. смотреть * онлайн2. смотреть * без регистрации3. * онлайн в хорошем качестве4. …

URLы(где лежит):1. kino.ru/film/178710/2. kino.ru/film/474/3. kino.ru/film/301/4. …

Объекты(кинофильмы):1. Доктор Хаус2. Гладиатор3. Матрица4. …

Контекст50 пар [Объект – URL]

Подготовка«выдергивателей»

Интересные сайты«Выдергиватели»Интересные сайты«Выдергиватели»Интересные сайты«Выдергиватели»Интересные сайты и

«Выдергиватели»(для них)

База (будущий индекс)

Контекст50 пар [Объект – URL]

Контекст50 пар [Объект – URL]

Объект + URL

«Гладиатор»

Эталонныеобъекты

Матрица

Описание: снятый братьями Вачовски … Матрица … широко применяются в математике для компактной записи СЛАУ…

Матрица - фильмы

В ролях: …

Комментарии:

…

… Матрица …

… Матрица …

… Матрица …

… Матрица …

http://kino.ru/movie/165650/

Матрица

Описание: снятый братьями Вачовски … Матрица … широко применяются в математике для компактной записи СЛАУ…

Матрица - фильмы

В ролях: …

Комментарии:

…

… Матрица …

… Матрца …

… Матрица …

… Матрица …

<div class="g-full-col clearfix"> <div class="g-one-col g-wrapper"> <div class="b-object-summary"> <div class="b-object-header"> <p class="object-type">Фильм</p>

<h1>Матрица</h1> <p class="orig-name">The Matrix</p>

</div>

…<div><div><p></p><h1>*</h1><p></p></div>…

«Выдёргиватель»

Матрица

Описание: … Матрица …

Матрица - фильмы

В ролях: …

Комментарии:

… Матрица …

… Матрица …

Гладиатор

Описание: Гладиатор..

Гладиатор- фильмы

В ролях: …

Комментарии:

… Гладиатор…

Терминатор

Описание: …

Терминатор - фильмы

В ролях: …

Комментарии:

… Терминатор …

…<div><div><p></p><h1>*</h1><p></p></div>…

…<div><div><p></p>*<p></p></div>…

…<div><div><p></p><h1>*</h1><p></p></div>…

…<div><ul><li>*</li></ul>…

…<div><div><p></p><h1>*</h1><p></p></div>…

…<div><ul><li></li>*<li></li></ul>…

…<div><div><p></p><h1>*</h1><p></p></div>…

…<div><div><div><p></p><h1>*</h1><p></p></div></div>…

…<div><div><p></p><h1>*</h1><p></p></div>…

«Выдёргиватели»

Наиболее часто встречающиеся:

Наибольшие общие подстроки

Для: http://kino.ru/

<div><div><p></p><h1>*</h1><p></p></div>

Матрица

Описание: … Матрица …

Матрица - фильмы

В ролях: …

Комментарии:

… Матрица …

… Матрица …

Гладиатор

Описание: Гладиатор..

Гладиатор- фильмы

В ролях: …

Комментарии:

… Гладиатор…

Терминатор

Описание: …

Терминатор - фильмы

В ролях: …

Комментарии:

… Терминатор …

ФИЛЬМ

Описание: …

ФИЛЬМ- фильмы

В ролях: …

Комментарии:

<div><div><p></p><h1>*</h1><p></p></div>

<div><ul><li></li>*<li></li></ul>

Матрица

Описание: … Матрица …

Матрица - фильмы

В ролях: …

Комментарии:

… Матрица …

… Матрица …

Кеану Ривз

Описание: Кеану Ривз.

Кеану Ривз - актеры

В ролях: …

Комментарии:

… Кеану Ривз …

Терминатор

Описание: …

Терминатор - кадры

В ролях: …

Комментарии:

… Терминатор …

http://kino.ru/movie/165650/

http://kino.ru/movie/167325/

http://kino.ru/movie/168031/

http://kino.ru/movie/photo/165650/

http://kino.ru/movie/photo/167325/

http://kino.ru/movie/photo/168031/

http://kino.ru/people/287180/

http://kino.ru/people/289212/

http://kino.ru/people/289355/

http://kino.ru/movie/[\d+]/ http://kino.ru/people/[\d+]/ http://kino.ru/movie/photo/[\d+]/

Фильмы: Актеры: Кадры из фильма:

Матрица

Описание: … Матрица …

Матрица - фильмы

В ролях: …

Комментарии:

… Матрица …

… Матрица …

Матрица Матрица смотреть …

Матрица В ролях: … Матрица

Эталонныеобъекты

Контекст50 пар [Объект – URL]Контекст

50 пар [Объект – URL]

Матрица

Матрица

Комментарии:

Матрица

Подготовка«выдергивателей»

смотреть Доктор Хаус онлайн без СМС

Контекст (что хочет пользователь):смотреть * онлайн

Объект(кинофильм):Доктор Хаус

Доктор Хаус

Доктор Хаус смотреть …

Доктор Хаус

http://kino.ru/25712-doktor-khaus-5-sezon.html/

http://kino.ru/[\d+]-[\w+]-[\d+]-sezon.html/

URL

Результаты:Раздел / Кол-во страниц Kinopoisk Afisha Films.imhonetОписание фильмов/сериалов 230k 80k 80k

- Описание фильмов 45k 40k

- Описание сериалов 35k 40k

- Сезонов сериалов 12k

- Эпизодов сериалов 250k

Знаменитости 480k 112k 80k

Точность: 99.9%

СПАСИБО! ВОПРОСЫ?Михаил Обуховobuhov@corp.mail.ruДмитрий Вихаревd.vikharev@corp.mail.ru