1

2

Примерно так

• Зачем измерять качество?

• Разные техники

– Автоматы

– Асессоры

– Пользователи

• Неотвеченные вопросы

3

Что здесь изображено?

4

Первый шаг: маркеры

• Конкретные сайты по конкретным

запросам

• Недостатки:

– Трудно составить непредвзятый набор

– Навигационных запросов <15%

5

Турфирма солеанс

6

Турфирма солеанс

7

Что делать с другими

запросами? • “Тематические маркеры”

– Гипотеза: по многим запросам есть

авторитетные страницы

• В реальности:

– По некоторым запросам авторитетных

страниц очень много

– По некоторым запросам авторитетных

страниц нет совсем

8

Поисковая система

9

Поисковая система

10

Я записался в танкисты

некогда слушать секс пистолз

11

Я записался в танкисты

некогда слушать секс пистолз

12

Как сравнить количественно?

• Оценки экспертов

• Соответствие документа запросу

• Но не задаче пользователя

1. Сигареты Bond Street 2. Струнный квартет Bond 3. James Bond, агент 007

13

Как это у нас

• VITAL – однозначно на первом месте

• USEFUL – отвечает на запрос и

вдобавок

– Находится на авторитетном ресурсе

– Содержит много еще полезного по теме

• REL+ – отвечает на запрос

• REL- – содержит что-то по теме запроса

• IRREL – не помогает пользователю

14

Официальный сайт фк зенит

15

Vasily smyslov

16

Frozen lake

17

И вот что получается:

• Левый лучше • Хоть без микроскопа и не видно

Гипотеза: • Пользователь идет сверху вниз • Останавливается если

• Нашел • Устал

18

Слышали про MatrixNet?

Вот так это выглядело год назад

19

Кто выиграл уимблдон

20

Наполеон

21

Наполеон

22

А если наполеона спросили

• 31 декабря

• 7 марта

• 30 мая

?

23

Можно спросить

пользователей • Доля некликнутых

24

Яндекс

25

Можно спросить

пользователей • Доля некликнутых

• Средняя позиция первого клика

26

Санкт Петербург

27

Еще не все вопросы отвечены

• Как пользователь выбирает поисковик?

• Что предпочесть, когда показатели

разнонаправлены?

28