52

Обзор доклада

  • Upload
    ingrid

  • View
    61

  • Download
    0

Embed Size (px)

DESCRIPTION

Страницы: 1 из 51 Следующая. Некоторые факты о том, что пользователи ленивы Маркерный метод как это было и почему это было плохо Поведенческие метрики какие бывают метрики доказать, что работает графики поведения Плохие запросы плохие и трудные запросы Сплит-тестирование - PowerPoint PPT Presentation

Citation preview

Page 1: Обзор доклада
Page 2: Обзор доклада

Обзор доклада

• Некоторые факты • о том, что пользователи ленивы

• Маркерный метод• как это было и почему это было плохо

• Поведенческие метрики• какие бывают метрики

• доказать, что работает

• графики поведения

• Плохие запросы• плохие и трудные запросы

• Сплит-тестирование• тестирование новых фич

Страницы: 1 из 51 Следующая

Page 3: Обзор доклада

• Анализ выдачи до первого клика – 20 секунд• Анализ первого результата – 60 секунд

Факты о поведении пользователей

(1tm) 20 cек анализ до 1-го клика

(tmr) 60 сек анализпервого результата

Страницы: 2 из 51 Следующая

Page 4: Обзор доклада

Метрика Число кликов

Доля сессий

С0 0 кликов 30%

С1 1 клик 35%

С2 2 клика 15%

Факты о поведении пользователей

Распределение по кликам

(c0) 0 кликов(c1) 1 клик

(c2) 2 клика

3 и больше

Страницы: 3 из 51 Следующая

Page 5: Обзор доклада

Посетители не ходят вглубь

Факты о поведении пользователей

первая страница

(kpg) доля следующих страниц

Страницы: 4 из 51 Следующая

Page 6: Обзор доклада

Факты о поведении пользователей

98% не просматривается

2% просматривается

Посетители не просматривают основную часть доступных документов

Страницы: 5 из 51 Следующая

Page 7: Обзор доклада

Факты о поведении пользователей

первый результат

второй результат

третий результат

от 4-го до 15-го

Трафик падает очень быстро

При условии одного клика второму результату достаётся намного меньше, чем первому

Страницы: 6 из 51 Следующая

Page 8: Обзор доклада

• При одном клике второму результату достаётся в 4 раза меньше трафика, чем первому

• Правильный ответ с плохой аннотацией снижает трафик в десятки раз

• Посетители не прокручивают страницу браузера вниз

Факты о поведении пользователей

Пользователи ленивы, это нельзя исправить, под это нужно подстраиваться

Страницы: 7 из 51 Следующая

Page 9: Обзор доклада

• Скорость выдачи, полнота индекса, скорость обновления индекса, надежность, опечатки, подсказки…

• Релевантность (правильный ответ желателен на 1-2 месте + хорошая аннотация)

Маркеры оценивают релевантность результатов

Качество поиска в широком смысле

Страницы: 8 из 51 Следующая

Page 10: Обзор доклада

• Некоторые факты • о том, что пользователи ленивы

• Маркерный метод• как это было и почему это было плохо

• Поведенческие метрики• какие бывают метрики

• доказать, что работает

• графики поведения

• Плохие запросы• плохие и трудные запросы

• Сплит-тестирование• тестирование новых фич

Обзор доклада

Страницы: 9 из 51 Следующая

Page 11: Обзор доклада

Мы вводим в поиск много запросов и считаем сумму правильных ответов

Примеры маркеров для тестирования поиска

• Запрос «xxx» сайт «yyy» на 1 стр., хорошо (+1)• Запрос «xxx» сайт «yyy» на 1 месте, хорошо, (+10)• Запрос «xxx», в выдаче есть фраза «zzz», хорошо

(+3)

Что такое маркерный метод

Страницы: 10 из 51 Следующая

Page 12: Обзор доклада

Эксперты между собой часто имеют разногласия по поводу сайта на первой позиции

Например, запрос «лучший unix редактор»

Посетители могут иметь мнение, отличное от мнения экспертов

Разногласия между экспертами

Страницы: 11 из 51 Следующая

Page 13: Обзор доклада

Как найти людей, которые способны оценивать сложные запросы?

• snmp applet• kafka svejk krusovice• лучшее из оформления парилок• java diagram drawing software

И как пригласить их поработать оценщиками в поиске?

Сложные запросы

Страницы: 12 из 51 Следующая

Page 14: Обзор доклада

Сложные запросы – это сленг

• Пользователи поисковика разговаривают на своём сленге

• Эксперты оценщики их не понимают• Сложность запросов увеличивается

Маркерный метод не может охватить сложные запросы, это дорого и неэффективно

Сложные запросы

Страницы: 13 из 51 Следующая

Page 15: Обзор доклада

• Не обеспечивает полноты• Не видит персонализации• Не видит географической оптимизации• Разногласия между экспертами• Плохая точность• Сайты иногда умирают: требуется регулярная

проверка на актуальность

Проблемы маркерного метода

Страницы: 14 из 51 Следующая

Page 16: Обзор доклада

Проблемы маркерного метода

Страницы: 15 из 51 Следующая

Проблемы маркерного метода вынуждают нас искать новые способы измерять качество поиска

Интересные возможности предоставляют поведенческие технологии

Page 17: Обзор доклада

Метрики для метрик

Критерии оценки метрик:• Как много нужно данных/времени/ресурсов• Точность (можно ли увидеть 1 процент улучшений)

Прежде чем искать новые метрики качества, нам нужно решить, как мы будем их сравнивать

Страницы: 16 из 51 Следующая

Page 18: Обзор доклада

Обзор доклада

• Некоторые факты • о том, что пользователи ленивы

• Маркерный метод• как это было и почему это было плохо

• Поведенческие метрики• какие бывают метрики

• доказать, что работает

• графики поведения

• Плохие запросы• плохие и трудные запросы

• Сплит-тестирование• тестирование новых фич

Страницы: 17 из 51 Следующая

Page 19: Обзор доклада

• Чем меньше 1tm (время до первого клика) – тем лучше

• Если tmr меньше 15 секунд – это плохо

Поведение – метрика качества

Время на анализ поисковой выдачи и сайтов свидетельствует об удовлетворенности

(tmr) 60 сек анализпервого результата

(1tm) 20 cек анализ до 1-го клика

Страницы: 18 из 51 Следующая

Page 20: Обзор доклада

• Клики: c0,с1,ds, click-entropy• Время: 1tm, tmr,oldtime• Глубина поиска: c1t1, kpg• Лояльность, возвращаемость: kret

Поведенческие метрики

Их довольно много:

Метрики – статистические коэффициенты на основе логов действий пользователей

Страницы: 19 из 51 Следующая

Page 21: Обзор доклада

Зависимость поведенческих метрик

Эти зависимости довольно сложные

Страницы: 20 из 51 Следующая

Page 22: Обзор доклада

Доказать, что работает

Качество поиска – ненаблюдаемый явно параметр

Страницы: 21 из 51 Следующая

Page 23: Обзор доклада

Доказать, что работает: эксперимент

Улучшим качество и посмотрим, какие метрики изменились

Страницы: 22 из 51 Следующая

Page 24: Обзор доклада

Доказать, что работает: эксперимент

Ухудшим качество на небольшой части аудитории, какие метрики изменились в обратную сторону?

Страницы: 23 из 51 Следующая

Page 25: Обзор доклада

• Мозговой штурм – придумываем метрики

• Выбираем 1/128 аудитории для опытов

• Повторяем эксперимент несколько раз

• Оставляем только те метрики, которые зависят от

качества

Метрики – найти и отфильтровать

Остаются только статистически значимые метрики

Страницы: 24 из 51 Следующая

Page 26: Обзор доклада

с1t1 – одна из хороших метрик

с1t1 – доля первого результата при одном кликеСреднее значение c1t1 – 0.4 x 0.35 = 14%

(с1) 1 клик (с0) 0 кликов

(с2) 2 клика

3 клика и больше

(t1) первый результат

от 4-го до 15-го

(t2) второй результат

(t3) третий результат

Страницы: 25 из 51 Следующая

Page 27: Обзор доклада

Удовлетворенность с1t1

Для двухсловных и трехсловных запросов удовлетворенность поиском увеличивается в течение всего 2009 года

0,05

0,07

0,09

0,11

0,13

0,15

0,17

0,19

0,21

0,23

0,25

01.1

2.20

08

01.0

1.20

09

01.0

2.20

09

01.0

3.20

09

01.0

4.20

09

01.0

5.20

09

01.0

6.20

09

01.0

7.20

09

01.0

8.20

09

01.0

9.20

09

01.1

0.20

09

01.1

1.20

09

двухсловныетрёхсловные

Страницы: 26 из 51 Следующая

Page 28: Обзор доклада

• Чем более редкие запросы, тем выше сложность запросов• Чем выше сложность запросов, тем хуже

удовлетворенность поиском

c1t1 – корзины запросов

Страницы: 27 из 51 Следующая

0

0,1

0,2

0,3

01.06.2009 01.07.2009 01.08.2009 01.09.2009

удовлетворенность для 10 тыс. самых частотных запросов

удовлетворенность для 100 тыс. самых частотных запросов

удовлетворенность для 1 млн. самых частотных запросов

Page 29: Обзор доклада

0,26

0,265

0,27

0,275

0,28

0,285

0,29

0,295

0,3

Mon Tue Wed Thu Fri Sat Sun

Удовлетворенность c1t1

Удовлетворенность c1t1 – день недели

Максимум удовлетворенности наблюдается в понедельник

Страницы: 28 из 51 Следующая

Page 30: Обзор доклада

0,1

0,11

0,12

0,13

0,14

0,15

0,16

0,17

0,18

0:00

2:00

4:00

6:00

8:00

10:0

0

12:0

0

14:0

0

16:0

0

18:0

0

20:0

0

22:0

0

Удовлетворенность c1t1

Удовлетворенность c1t1 – время суток

Максимум в 8-9 утра, минимум в 3 ночи

Страницы: 29 из 51 Следующая

Page 31: Обзор доклада

• Качество поиска – свойство алгоритмов, оборудования

• Сложность запросов – свойство посетителей

• Удовлетворенность посетителей - Качество поиска / Сложность запросов

Качество, сложность и удовлетворенность

Метрики показывают удовлетворенность поиском, а не качество поиска. Мы вводим модель, которая их связывает.

Наша простая модель не учитывает усталость посетителей, воздействие рекламы и другие эффекты

Страницы: 30 из 51 Следующая

Page 32: Обзор доклада

0,05

0,07

0,09

0,11

0,13

0,15

0,17

0,19

0,21

0,23

18.1

2.08

18.0

1.09

18.0

2.09

18.0

3.09

18.0

4.09

18.0

5.09

18.0

6.09

18.0

7.09

18.0

8.09

18.0

9.09

18.1

0.09

трёхсловные

двухсловные

Удовлетворенность – усредняем по неделям

Сложность запроса меняется в течение недели, поэтому усредняем по неделям

Страницы: 31 из 51 Следующая

Page 33: Обзор доклада

Сложность запросов

Сложность запросов растет

Чтобы удовлетворять посетителей, поиск вынужден непрерывно мониторить поведенческие метрики

Ежедневно находить сложные (плохие) запросы и улучшать их

Страницы: 32 из 51 Следующая

Page 34: Обзор доклада

Обзор доклада

• Некоторые факты • о том, что пользователи ленивы

• Маркерный метод• как это было и почему это было плохо

• Поведенческие метрики• какие бывают метрики

• доказать, что работает

• графики поведения

• Плохие запросы• плохие и трудные запросы

• Сплит-тестирование• тестирование новых фич

Страницы: 33 из 51 Следующая

Page 35: Обзор доклада

Плохие запросы c0

Доля нулевых кликов. Среднее значение для c0 – 30%

(c0) 0 кликов (c1) 1 клик

(c2) 2 клика

3 и больше

запрос частотность C0 %/100

как отпраздновать хеллоуин 43309 0.76

поиск в интернете 8659 0.93

фото 4386 0.62

скачать бесплатно 2663 0.76

Страницы: 34 из 51 Следующая

Page 36: Обзор доклада

Плохие запросы c1

Доля одного клика. Среднее значение для c1 – 35%

(c1) 1 клик(c0) 0 кликов

(c2) 2 клика

3 и больше

запрос частотность c1 %/100

поиск в интернете 8659 0.089

официальный сайт 643 0.090

быть 282 0.000

руководство по эксплуатации 200 0.08

всё для вас 174 0.097

Страницы: 35 из 51 Следующая

Page 37: Обзор доклада

Плохие запросы с1t1

с1t1 – доля первого результата при одном кликеСреднее значение c1t1 – 0.4 x 0.35 = 14%

(с1) 1 клик

(с0) 0 кликов

(с2) 2 клика

3 клика и больше

(t1) первый результат

от 4-го до 15-го

(t2) второй результат

(t3) третий результат

Страницы: 36 из 51 Следующая

Page 38: Обзор доклада

Плохие запросы с1t1

запрос частотность c1t1 %/100

поиск в интернете 8659 0.022

хеллоуин 3851 0.038

скачать бесплатно 2663 0.039

интернет магазин 2056 0.049

скачать 1676 0.040

василий лыкшин 1441 0.049

Страницы: 37 из 51 Следующая

Page 39: Обзор доклада

Плохие запросы acp

Среднее место кликов по результатам поиска (acp) – 3.3

запрос частотность acp

эротика 10027 4.78

игры 8998 3.83

поздравления с днём рождения 8952 5.77

фильмы онлайн 5393 4.4

скачать фильмы бесплатно 3812 4.56

музыка скачать бесплатно 3251 3.41

Страницы: 38 из 51 Следующая

Page 40: Обзор доклада

Плохие запросы ts

ts – доля, где среднее время просмотра результатов меньше 20 секунд

запрос частотность ts %/100

карта европы 303 0.39

поделки из спичек 85 0.41

миит официальный сайт 65 0.44

стихи тютчева 48 0.41

кристен стюарт фото 41 0.36

симметрия в природе 38 0.36

Страницы: 39 из 51 Следующая

Page 41: Обзор доклада

Списки трудных запросов

Не для всех запросов удаётся повысить удовлетворенность

запрос частотность

фото 2725

рассказы 2278

скачать бесплатно 2034

девушки 976

тесты 764

Страницы: 40 из 51 Следующая

Page 42: Обзор доклада

Обзор доклада

• Некоторые факты • о том, что пользователи ленивы

• Маркерный метод• как это было и почему это было плохо

• Поведенческие метрики• какие бывают метрики

• доказать, что работает

• графики поведения

• Плохие запросы• плохие и трудные запросы

• Сплит-тестирование• тестирование новых фич

Страницы: 41 из 51 Следующая

Page 43: Обзор доклада

Тестирование новых фич

Внедрение подсказок и опечаток в июле 2009 г.

Как изменилось качество поиска, удовлетворенность посетителей и сложность запросов?

Страницы: 42 из 51 Следующая

Page 44: Обзор доклада

Июль 2009 – внедрение подсказок и опечаток

Вспомним, что качество можно оценить через сложность и удовлетворенность

При постоянном качестве поиска и увеличении сложности запросов удовлетворенность падает

Удовлетворенность = качество/сложность запросовКачество = сложность запросов * удовлетворенность

Страницы: 43 из 51 Следующая

Page 45: Обзор доклада

Двухсловных запросов стало больше однословных, запросы стали более сложными

0,15

0,2

0,25

0,3

0,35

01.06

.200

9

08.06

.200

9

15.06

.200

9

22.06

.200

9

29.06

.200

9

06.07

.200

9

13.07

.200

9

20.07

.200

9

27.07

.200

9

03.08

.200

9

10.08

.200

9

17.08

.200

9

24.08

.200

9

31.08

.200

9

однословныедвухсловныетрёхсловные

Июль 2009 – внедрение подсказок и опечаток

Страницы: 44 из 51 Следующая

Page 46: Обзор доклада

Несмотря на увеличение сложности запросов, удовлетворенность также увеличилась

0,05

0,07

0,09

0,11

0,13

0,15

0,17

0,19

0,21

0,23

01.0

6.20

09

15.0

6.20

09

29.0

6.20

09

13.0

7.20

09

27.0

7.20

09

10.0

8.20

09

24.0

8.20

09

c1t1 двухсловныеc1t1 трёхсловные

Июль 2009 – внедрение подсказок и опечаток

Страницы: 45 из 51 Следующая

Page 47: Обзор доклада

Обычный графический способУдовлетворенность примерно увеличилась на 20-40%

Нам мешает множество возмущаемых факторов

Сплит-системаУдовлетворенность увеличилась на 27.7%Точность улучшается в сотни раз

Июль 2009 – внедрение подсказок и опечаток

Страницы: 46 из 51 Следующая

Page 48: Обзор доклада

• Выбрать критерий качества f(c1t1, acp, c0, c1, kpg,…)

• Запустить новую функциональность на 1/128 аудитории

• Проверить, что наша новая поведенческая релевантность улучшилась относительно оставшихся 127/128

• Увеличить аудиторию до 1/64, 1/32…127/128

Сплит-система: внедряем новые фишки

Последовательное увеличение аудитории новой фишки

Страницы: 47 из 51 Следующая

Page 49: Обзор доклада

• Эффект1: у разных посетителей – разная выдача поиска

• Эффект2: мы можем увидеть улучшения в 1 процент, потратив всего несколько дней

• Эффект3: мы можем одновременно тестировать десятки фишек

• Эффект4: это бесплатно!

Сплит-система: внедряем новые фишки

Страницы: 48 из 51 Следующая

Page 50: Обзор доклада

• Запущены опечатки и подсказки в поисковой строке

• Новое оборудование, скорость поиска

• Новый дата-центр для повышения надежности

• На части аудитории тестируются новые фишки и алгоритмы

• Удовлетворенность увеличилась на 60%

Итоги на ноябрь 2009 года

Страницы: 49 из 51 Следующая

Page 51: Обзор доклада

Советы оптимизаторам

• Оптимизируйте только редкие и многословные запросы, где пользователи неудовлетворены первыми результатами

• Бойтесь нецелевой аудитории

Страницы: 50 из 51 Следующая

Page 52: Обзор доклада