Upload
ingrid
View
61
Download
0
Embed Size (px)
DESCRIPTION
Страницы: 1 из 51 Следующая. Некоторые факты о том, что пользователи ленивы Маркерный метод как это было и почему это было плохо Поведенческие метрики какие бывают метрики доказать, что работает графики поведения Плохие запросы плохие и трудные запросы Сплит-тестирование - PowerPoint PPT Presentation
Citation preview
Обзор доклада
• Некоторые факты • о том, что пользователи ленивы
• Маркерный метод• как это было и почему это было плохо
• Поведенческие метрики• какие бывают метрики
• доказать, что работает
• графики поведения
• Плохие запросы• плохие и трудные запросы
• Сплит-тестирование• тестирование новых фич
Страницы: 1 из 51 Следующая
• Анализ выдачи до первого клика – 20 секунд• Анализ первого результата – 60 секунд
Факты о поведении пользователей
(1tm) 20 cек анализ до 1-го клика
(tmr) 60 сек анализпервого результата
Страницы: 2 из 51 Следующая
Метрика Число кликов
Доля сессий
С0 0 кликов 30%
С1 1 клик 35%
С2 2 клика 15%
Факты о поведении пользователей
Распределение по кликам
(c0) 0 кликов(c1) 1 клик
(c2) 2 клика
3 и больше
Страницы: 3 из 51 Следующая
Посетители не ходят вглубь
Факты о поведении пользователей
первая страница
(kpg) доля следующих страниц
Страницы: 4 из 51 Следующая
Факты о поведении пользователей
98% не просматривается
2% просматривается
Посетители не просматривают основную часть доступных документов
Страницы: 5 из 51 Следующая
Факты о поведении пользователей
первый результат
второй результат
третий результат
от 4-го до 15-го
Трафик падает очень быстро
При условии одного клика второму результату достаётся намного меньше, чем первому
Страницы: 6 из 51 Следующая
• При одном клике второму результату достаётся в 4 раза меньше трафика, чем первому
• Правильный ответ с плохой аннотацией снижает трафик в десятки раз
• Посетители не прокручивают страницу браузера вниз
Факты о поведении пользователей
Пользователи ленивы, это нельзя исправить, под это нужно подстраиваться
Страницы: 7 из 51 Следующая
• Скорость выдачи, полнота индекса, скорость обновления индекса, надежность, опечатки, подсказки…
• Релевантность (правильный ответ желателен на 1-2 месте + хорошая аннотация)
Маркеры оценивают релевантность результатов
Качество поиска в широком смысле
Страницы: 8 из 51 Следующая
• Некоторые факты • о том, что пользователи ленивы
• Маркерный метод• как это было и почему это было плохо
• Поведенческие метрики• какие бывают метрики
• доказать, что работает
• графики поведения
• Плохие запросы• плохие и трудные запросы
• Сплит-тестирование• тестирование новых фич
Обзор доклада
Страницы: 9 из 51 Следующая
Мы вводим в поиск много запросов и считаем сумму правильных ответов
Примеры маркеров для тестирования поиска
• Запрос «xxx» сайт «yyy» на 1 стр., хорошо (+1)• Запрос «xxx» сайт «yyy» на 1 месте, хорошо, (+10)• Запрос «xxx», в выдаче есть фраза «zzz», хорошо
(+3)
Что такое маркерный метод
Страницы: 10 из 51 Следующая
Эксперты между собой часто имеют разногласия по поводу сайта на первой позиции
Например, запрос «лучший unix редактор»
Посетители могут иметь мнение, отличное от мнения экспертов
Разногласия между экспертами
Страницы: 11 из 51 Следующая
Как найти людей, которые способны оценивать сложные запросы?
• snmp applet• kafka svejk krusovice• лучшее из оформления парилок• java diagram drawing software
И как пригласить их поработать оценщиками в поиске?
Сложные запросы
Страницы: 12 из 51 Следующая
Сложные запросы – это сленг
• Пользователи поисковика разговаривают на своём сленге
• Эксперты оценщики их не понимают• Сложность запросов увеличивается
Маркерный метод не может охватить сложные запросы, это дорого и неэффективно
Сложные запросы
Страницы: 13 из 51 Следующая
• Не обеспечивает полноты• Не видит персонализации• Не видит географической оптимизации• Разногласия между экспертами• Плохая точность• Сайты иногда умирают: требуется регулярная
проверка на актуальность
Проблемы маркерного метода
Страницы: 14 из 51 Следующая
Проблемы маркерного метода
Страницы: 15 из 51 Следующая
Проблемы маркерного метода вынуждают нас искать новые способы измерять качество поиска
Интересные возможности предоставляют поведенческие технологии
Метрики для метрик
Критерии оценки метрик:• Как много нужно данных/времени/ресурсов• Точность (можно ли увидеть 1 процент улучшений)
Прежде чем искать новые метрики качества, нам нужно решить, как мы будем их сравнивать
Страницы: 16 из 51 Следующая
Обзор доклада
• Некоторые факты • о том, что пользователи ленивы
• Маркерный метод• как это было и почему это было плохо
• Поведенческие метрики• какие бывают метрики
• доказать, что работает
• графики поведения
• Плохие запросы• плохие и трудные запросы
• Сплит-тестирование• тестирование новых фич
Страницы: 17 из 51 Следующая
• Чем меньше 1tm (время до первого клика) – тем лучше
• Если tmr меньше 15 секунд – это плохо
Поведение – метрика качества
Время на анализ поисковой выдачи и сайтов свидетельствует об удовлетворенности
(tmr) 60 сек анализпервого результата
(1tm) 20 cек анализ до 1-го клика
Страницы: 18 из 51 Следующая
• Клики: c0,с1,ds, click-entropy• Время: 1tm, tmr,oldtime• Глубина поиска: c1t1, kpg• Лояльность, возвращаемость: kret
Поведенческие метрики
Их довольно много:
Метрики – статистические коэффициенты на основе логов действий пользователей
Страницы: 19 из 51 Следующая
Зависимость поведенческих метрик
Эти зависимости довольно сложные
Страницы: 20 из 51 Следующая
Доказать, что работает
Качество поиска – ненаблюдаемый явно параметр
Страницы: 21 из 51 Следующая
Доказать, что работает: эксперимент
Улучшим качество и посмотрим, какие метрики изменились
Страницы: 22 из 51 Следующая
Доказать, что работает: эксперимент
Ухудшим качество на небольшой части аудитории, какие метрики изменились в обратную сторону?
Страницы: 23 из 51 Следующая
• Мозговой штурм – придумываем метрики
• Выбираем 1/128 аудитории для опытов
• Повторяем эксперимент несколько раз
• Оставляем только те метрики, которые зависят от
качества
Метрики – найти и отфильтровать
Остаются только статистически значимые метрики
Страницы: 24 из 51 Следующая
с1t1 – одна из хороших метрик
с1t1 – доля первого результата при одном кликеСреднее значение c1t1 – 0.4 x 0.35 = 14%
(с1) 1 клик (с0) 0 кликов
(с2) 2 клика
3 клика и больше
(t1) первый результат
от 4-го до 15-го
(t2) второй результат
(t3) третий результат
Страницы: 25 из 51 Следующая
Удовлетворенность с1t1
Для двухсловных и трехсловных запросов удовлетворенность поиском увеличивается в течение всего 2009 года
0,05
0,07
0,09
0,11
0,13
0,15
0,17
0,19
0,21
0,23
0,25
01.1
2.20
08
01.0
1.20
09
01.0
2.20
09
01.0
3.20
09
01.0
4.20
09
01.0
5.20
09
01.0
6.20
09
01.0
7.20
09
01.0
8.20
09
01.0
9.20
09
01.1
0.20
09
01.1
1.20
09
двухсловныетрёхсловные
Страницы: 26 из 51 Следующая
• Чем более редкие запросы, тем выше сложность запросов• Чем выше сложность запросов, тем хуже
удовлетворенность поиском
c1t1 – корзины запросов
Страницы: 27 из 51 Следующая
0
0,1
0,2
0,3
01.06.2009 01.07.2009 01.08.2009 01.09.2009
удовлетворенность для 10 тыс. самых частотных запросов
удовлетворенность для 100 тыс. самых частотных запросов
удовлетворенность для 1 млн. самых частотных запросов
0,26
0,265
0,27
0,275
0,28
0,285
0,29
0,295
0,3
Mon Tue Wed Thu Fri Sat Sun
Удовлетворенность c1t1
Удовлетворенность c1t1 – день недели
Максимум удовлетворенности наблюдается в понедельник
Страницы: 28 из 51 Следующая
0,1
0,11
0,12
0,13
0,14
0,15
0,16
0,17
0,18
0:00
2:00
4:00
6:00
8:00
10:0
0
12:0
0
14:0
0
16:0
0
18:0
0
20:0
0
22:0
0
Удовлетворенность c1t1
Удовлетворенность c1t1 – время суток
Максимум в 8-9 утра, минимум в 3 ночи
Страницы: 29 из 51 Следующая
• Качество поиска – свойство алгоритмов, оборудования
• Сложность запросов – свойство посетителей
• Удовлетворенность посетителей - Качество поиска / Сложность запросов
Качество, сложность и удовлетворенность
Метрики показывают удовлетворенность поиском, а не качество поиска. Мы вводим модель, которая их связывает.
Наша простая модель не учитывает усталость посетителей, воздействие рекламы и другие эффекты
Страницы: 30 из 51 Следующая
0,05
0,07
0,09
0,11
0,13
0,15
0,17
0,19
0,21
0,23
18.1
2.08
18.0
1.09
18.0
2.09
18.0
3.09
18.0
4.09
18.0
5.09
18.0
6.09
18.0
7.09
18.0
8.09
18.0
9.09
18.1
0.09
трёхсловные
двухсловные
Удовлетворенность – усредняем по неделям
Сложность запроса меняется в течение недели, поэтому усредняем по неделям
Страницы: 31 из 51 Следующая
Сложность запросов
Сложность запросов растет
Чтобы удовлетворять посетителей, поиск вынужден непрерывно мониторить поведенческие метрики
Ежедневно находить сложные (плохие) запросы и улучшать их
Страницы: 32 из 51 Следующая
Обзор доклада
• Некоторые факты • о том, что пользователи ленивы
• Маркерный метод• как это было и почему это было плохо
• Поведенческие метрики• какие бывают метрики
• доказать, что работает
• графики поведения
• Плохие запросы• плохие и трудные запросы
• Сплит-тестирование• тестирование новых фич
Страницы: 33 из 51 Следующая
Плохие запросы c0
Доля нулевых кликов. Среднее значение для c0 – 30%
(c0) 0 кликов (c1) 1 клик
(c2) 2 клика
3 и больше
запрос частотность C0 %/100
как отпраздновать хеллоуин 43309 0.76
поиск в интернете 8659 0.93
фото 4386 0.62
скачать бесплатно 2663 0.76
Страницы: 34 из 51 Следующая
Плохие запросы c1
Доля одного клика. Среднее значение для c1 – 35%
(c1) 1 клик(c0) 0 кликов
(c2) 2 клика
3 и больше
запрос частотность c1 %/100
поиск в интернете 8659 0.089
официальный сайт 643 0.090
быть 282 0.000
руководство по эксплуатации 200 0.08
всё для вас 174 0.097
Страницы: 35 из 51 Следующая
Плохие запросы с1t1
с1t1 – доля первого результата при одном кликеСреднее значение c1t1 – 0.4 x 0.35 = 14%
(с1) 1 клик
(с0) 0 кликов
(с2) 2 клика
3 клика и больше
(t1) первый результат
от 4-го до 15-го
(t2) второй результат
(t3) третий результат
Страницы: 36 из 51 Следующая
Плохие запросы с1t1
запрос частотность c1t1 %/100
поиск в интернете 8659 0.022
хеллоуин 3851 0.038
скачать бесплатно 2663 0.039
интернет магазин 2056 0.049
скачать 1676 0.040
василий лыкшин 1441 0.049
Страницы: 37 из 51 Следующая
Плохие запросы acp
Среднее место кликов по результатам поиска (acp) – 3.3
запрос частотность acp
эротика 10027 4.78
игры 8998 3.83
поздравления с днём рождения 8952 5.77
фильмы онлайн 5393 4.4
скачать фильмы бесплатно 3812 4.56
музыка скачать бесплатно 3251 3.41
Страницы: 38 из 51 Следующая
Плохие запросы ts
ts – доля, где среднее время просмотра результатов меньше 20 секунд
запрос частотность ts %/100
карта европы 303 0.39
поделки из спичек 85 0.41
миит официальный сайт 65 0.44
стихи тютчева 48 0.41
кристен стюарт фото 41 0.36
симметрия в природе 38 0.36
Страницы: 39 из 51 Следующая
Списки трудных запросов
Не для всех запросов удаётся повысить удовлетворенность
запрос частотность
фото 2725
рассказы 2278
скачать бесплатно 2034
девушки 976
тесты 764
Страницы: 40 из 51 Следующая
Обзор доклада
• Некоторые факты • о том, что пользователи ленивы
• Маркерный метод• как это было и почему это было плохо
• Поведенческие метрики• какие бывают метрики
• доказать, что работает
• графики поведения
• Плохие запросы• плохие и трудные запросы
• Сплит-тестирование• тестирование новых фич
Страницы: 41 из 51 Следующая
Тестирование новых фич
Внедрение подсказок и опечаток в июле 2009 г.
Как изменилось качество поиска, удовлетворенность посетителей и сложность запросов?
Страницы: 42 из 51 Следующая
Июль 2009 – внедрение подсказок и опечаток
Вспомним, что качество можно оценить через сложность и удовлетворенность
При постоянном качестве поиска и увеличении сложности запросов удовлетворенность падает
Удовлетворенность = качество/сложность запросовКачество = сложность запросов * удовлетворенность
Страницы: 43 из 51 Следующая
Двухсловных запросов стало больше однословных, запросы стали более сложными
0,15
0,2
0,25
0,3
0,35
01.06
.200
9
08.06
.200
9
15.06
.200
9
22.06
.200
9
29.06
.200
9
06.07
.200
9
13.07
.200
9
20.07
.200
9
27.07
.200
9
03.08
.200
9
10.08
.200
9
17.08
.200
9
24.08
.200
9
31.08
.200
9
однословныедвухсловныетрёхсловные
Июль 2009 – внедрение подсказок и опечаток
Страницы: 44 из 51 Следующая
Несмотря на увеличение сложности запросов, удовлетворенность также увеличилась
0,05
0,07
0,09
0,11
0,13
0,15
0,17
0,19
0,21
0,23
01.0
6.20
09
15.0
6.20
09
29.0
6.20
09
13.0
7.20
09
27.0
7.20
09
10.0
8.20
09
24.0
8.20
09
c1t1 двухсловныеc1t1 трёхсловные
Июль 2009 – внедрение подсказок и опечаток
Страницы: 45 из 51 Следующая
Обычный графический способУдовлетворенность примерно увеличилась на 20-40%
Нам мешает множество возмущаемых факторов
Сплит-системаУдовлетворенность увеличилась на 27.7%Точность улучшается в сотни раз
Июль 2009 – внедрение подсказок и опечаток
Страницы: 46 из 51 Следующая
• Выбрать критерий качества f(c1t1, acp, c0, c1, kpg,…)
• Запустить новую функциональность на 1/128 аудитории
• Проверить, что наша новая поведенческая релевантность улучшилась относительно оставшихся 127/128
• Увеличить аудиторию до 1/64, 1/32…127/128
Сплит-система: внедряем новые фишки
Последовательное увеличение аудитории новой фишки
Страницы: 47 из 51 Следующая
• Эффект1: у разных посетителей – разная выдача поиска
• Эффект2: мы можем увидеть улучшения в 1 процент, потратив всего несколько дней
• Эффект3: мы можем одновременно тестировать десятки фишек
• Эффект4: это бесплатно!
Сплит-система: внедряем новые фишки
Страницы: 48 из 51 Следующая
• Запущены опечатки и подсказки в поисковой строке
• Новое оборудование, скорость поиска
• Новый дата-центр для повышения надежности
• На части аудитории тестируются новые фишки и алгоритмы
• Удовлетворенность увеличилась на 60%
Итоги на ноябрь 2009 года
Страницы: 49 из 51 Следующая
Советы оптимизаторам
• Оптимизируйте только редкие и многословные запросы, где пользователи неудовлетворены первыми результатами
• Бойтесь нецелевой аудитории
Страницы: 50 из 51 Следующая