View
327
Download
0
Category
Preview:
Citation preview
ПЛАН
• Базовая статистика
• Основные вопросы про А/Б
• Советы по проведению тестов
• Разбор А/Б тестов каждой команды
Состояние борща на самом деле
Свеж Протух
Оценка Пистонского
Думает что свеж ВерноТравится протухшим борщом.
Ошибка II рода
Думает что протухВыбрасывает свежий борщ.Ошибка I рода
Верно
На самом деле скругление call-to-action кнопок прибыль
Не увеличивает Увеличивает
Что показывает А/Б тест
Не увеличивает ВерноПропустили победу.
Ошибка II рода
УвеличиваетУвидели победу там, где ее нет.Ошибка I рода
Верно
Ошибка I рода - это шанс подтвердить неверную гипотезу. Принято брать значение в максимум 5%.
Статистическая значимость = 100% - (ошибка I рода)
Ошибка I рода - это шанс подтвердить неверную гипотезу. Принято брать значение в максимум 5%.
Статистическая значимость = 100% - (ошибка I рода)
Чем больше разница в вариантах или чем дольше сохраняется разница в вариантах, тем больше мы уверены, что это не погрешность, и тем выше стат. значимость
Самая критическая и распространенная ошибка в A/B-тестировании — останавливать тест, как только становится заметно, что один из вариантов побеждает с существенным отрывом.
Увеличит ли прибыль скругление call-to-action кнопок
Не увеличивает Увеличивает
Что показывает А/Б тест
Не увеличивает ВерноПропустили победу.
Ошибка II рода
УвеличиваетУведели победу там, где ее нет.Ошибка I рода
Верно
Ошибка II рода - это шанс не заметить верную гипотезу. Принято брать значение в 10% - 20%.
Статистическая мощность = 100% - (ошибка II рода)
Recommended