Upload
yandex
View
604
Download
6
Embed Size (px)
DESCRIPTION
2 июля 2011, Я.Субботник в Екатеринбурге Яна Нехорошева "Как мы оцениваем качество поиска" О докладе: О службе асессоров и оценке качества поиска в Екатеринбурге. Что такое качество поиска, как его измерить? Кто такие асессоры и чем они занимаются? Как мы используем оценки? Что делает служба асессоров в Екатеринбурге? Что делать, если вы хотите стать асессором?
Citation preview
Я.Субботник, Екатеринбург, 2 июля 2011 года
Администратор группы асессоров Яна Нехорошева
Как мы оцениваем качество поиска
Качество поиска: зачем и как его измерять?
2
3
4
Что такое хороший ответ? Решает задачу пользователя
Дает конкретный ответ
Удовлетворяет все потребности по запросу
Актуальный
Чистый
5
Зачем мы оцениваем качество поиска?
— Оценить свой прогресс
— Настройка поискового алгоритма
Как мы оцениваем качество?
Асессоры
6
Асессоры
Кто такие асессоры?
Релевантность – соответствие документа запросу.
Шкала релевантности:
— Отвечает запросу
— Слабо отвечает
— Не отвечает запросу
7
nokia n8 (Москва) http://www.nokia.ru/products/phones/nokia-n8
8
Пример спама
9
[поисковик]
10
[пистолет грач] http://nashaataka.narod.ru/b55p54.html
11
Как мы используем оценки асессоров?
12
Как научить машину отличать яблоки от груш?
У Робота есть факторы: Форма; Цвет; Вкус.
У нас есть набор для обучения – N яблок и М груш.
Настройка: обучение робота отличать хорошие документы от плохих
13
Для наших наборов робот определяет факторы:
Теперь для неизвестного фрукта робот сможет по аналогии определить его тип:
14
Робот сопоставляет факторы и
оценки:
— документ1: содержит слова запроса, на него часто кликают. оценка Рел+
— документ2: ссылок на него нет, на него не кликают. Оценка Нерел.
Для любого неоцененного документа из Веба робот знает факторы:
Документ Х: Есть слова запроса; на документ кликают; на документ ссылаются. Вероятно, Документ Х Релевантен запросу
Аналогично с релевантностью:
У робота есть факторы:
— текстовые
— линковые
— пользовательские
У нас есть оценки асессоров:
— документ1: Рел+
— документ2: Нерел
15
Служба асессоров
16
Разные виды оценок
17
Документы Видео
Картинки Сниппеты
Администратор группы асессоров
Яна Нехорошева