Оценка качества поиска

1

2

Примерно так

• Зачем измерять качество?

• Разные техники– Автоматы– Асессоры– Пользователи

• Неотвеченные вопросы

3

Что здесь изображено?

4

Первый шаг: маркеры

• Конкретные сайты по конкретным запросам

• Недостатки:– Трудно составить непредвзятый набор– Навигационных запросов <15%

5

Турфирма солеанс

6

Турфирма солеанс

7

Что делать с другими запросами?

• “Тематические маркеры”– Гипотеза: по многим запросам есть

авторитетные страницы

• В реальности:– По некоторым запросам авторитетных

страниц очень много– По некоторым запросам авторитетных

страниц нет совсем

8

Поисковая система

9

Поисковая система

10

Я записался в танкисты некогда слушать секс пистолз

11

Я записался в танкисты некогда слушать секс пистолз

12

Как сравнить количественно?• Оценки экспертов

• Соответствие документа запросу

• Но не задаче пользователя

1. Сигареты Bond Street2. Струнный квартет Bond3. James Bond, агент 007

13

Как это у нас

• VITAL – однозначно на первом месте

• USEFUL – отвечает на запрос и вдобавок– Находится на авторитетном ресурсе– Содержит много еще полезного по теме

• REL+ – отвечает на запрос

• REL- – содержит что-то по теме запроса

• IRREL – не помогает пользователю

14

Официальный сайт фк зенит

15

Vasily smyslov

16

Frozen lake

17

И вот что получается:

• Левый лучше• Хоть без микроскопа и не видно

Гипотеза:• Пользователь идет сверху вниз• Останавливается если

• Нашел• Устал

18

Слышали про MatrixNet?

Вот так это выглядело год назад

19

Кто выиграл уимблдон

20

Наполеон

21

Наполеон

22

А если наполеона спросили

• 31 декабря

• 7 марта

• 30 мая

?

23

Можно спросить пользователей

• Доля некликнутых

24

Яндекс

25

Можно спросить пользователей

• Доля некликнутых

• Средняя позиция первого клика

26

Санкт Петербург

27

Еще не все вопросы отвечены

• Как пользователь выбирает поисковик?

• Что предпочесть, когда показатели разнонаправлены?

28