1

Оценка качества поиска

2

Качество веб-поиска это...• Для вебмастера:

– Посетители на сайт.

• Для владельца: – Доходность.– Популярность.

• Для пользователя: – Счастье!– Удовлетворенность!– Достоверность!

3

Что можно учитывать?• Релевантность.

• Актуальность.

• Скорость ответа.

• Читабельность.

• Региональность и персонализация.

• Удобство и понятность.

• Привычность дизайна.

• Стабильность результатов.

• Затрачиваемое пользователем время.

4

Измерение качества• Нужно для разработки поиска:

– Сравнение.– Контроль.– Обучение.– Развитие.

• Что можно использовать:– Наблюдения за пользователями.– Поведение посетителей.– Оценки поисковой выдачи.

5

Непосредственное наблюдение• Подготовка:

– Отбираются пользователи.– Исследования дома, в офисе или в лаборатории.– Даются задания.

• В процессе:– Опрос.– Слежение за взглядом.– Движения мышки.

• Недостатки: – Дорого и долго.– Искусственно.– Недостоверно.

6

Поведенческие характеристики• Клики

– Их много!– Годятся только частотные запросы.– Но: эротика, ниши, «секты».

• За пределами поисковой выдачи– Время.– Путь.

• Сплит-тестирование– Важна интерпретация.– Нужны гипотезы.

• Общие недостатки:– Нужно выкатывать в «бой»– Время на сбор статистики.

7

Оценка запросов• Берём репрезентативную выборку запросов и...

• Про что этот запрос?

• Что оцениваем:– Всю выдачу?– Каждый документ?– Факты?..

• Как оцениваем:– Бинарно?– Что такое «хорошо» и «отлично»?

• Кто оценивает?

• Кроме того:– Перепроверка.– Устаревание оценок.– Требуются десятки тысяч запросов!

8

Почувствуй себя асессором!• [audi a6 максимальная скорость] 250 км/ч? 237?

231?

• [как приготовить шашлык] киви?!

• [но все же толст для жениха] ... слон!

• [как лечить пневмонию дома] антибиотики?

• [как отобрать автомобиль у мужа]

• [что такое априористская концепция канта]

• [теория струн на основе сил инерции]

• [можно ли использовать 62 счет в рознице]

• [где находится икра] клуб в Москве?

9

Спасибо за внимание!

Вопросы?