Embed Size (px)
DESCRIPTION
Prezentacja przedstawiana przez Mateusza Ogonowskiego i Pawła Ogonowskiego na konferencji E-commerce Standard 2013. Dowiecie się z niej, na jakie aspekty wyników testów A/B powinniśmy szczególnie uważać, żeby uniknąć błędnych interpretacji.
Citation preview
testy A/B Podstępne
Mateusz Ogonowski
Powered by
Paweł Ogonowski
Projekt optymalizacji
Współczynnik konwersji
Liczba konwersji
Liczba odwiedzin 100%
Współczynnik konwersji Przychód Liczba
odwiedzin Średnia wartość zamówienia
Większy < > współczynnik
konwersji
Większy przychód
Większy < > współczynnik
konwersji
Większy przychód
0,01 2 000 PLN 1000 200 PLN
0,02 4 000 PLN 1000 200 PLN
Współczynnik konwersji Przychód Liczba
odwiedzin Średnia wartość zamówienia
Success fee
Testy A/B
Wersja A
Wersja B
100 osób za 10 PLN
100 osób za 10 PLN
1% 3%
vs
Oryginał Alternatywa
+21,4%
?Akceptacja
Dziurawa
5!aspektów
Konwersja 1
Cel
Konwersja
Współczynnik konwersji
Konwersja
100
50
20
10
2
100
50
20
10
2
100
70 +40%
100
50
20
10
2
100
70 +40%
28
10
2
Konwersja
Opłacone zamówienia
2Zamówienia
telefoniczne
vs
Oryginał Alternatywa
Konwersja
Opłacone zamówienia telefoniczne
Opłacone zamówienia internetowe
ufności 3Poziom
95!%
ufności Poziom
1 ale małe
konwersji Liczba 4
100 3
1 dzień 100 6
A B +100%
100 3
1 dzień 100 6
10 dzień
A B +100%
1000 30
1000 60
+100%
100 3
1 dzień 100 6
10 dzień
A B +100%
1000 30
1000 60
+100%
10 dzień 1000 57
1000 60
+5,3%
dni 10 14 –
Większy < > współczynnik
konwersji
Mniejszy przychód
Współczynnik konwersji Przychód Liczba
odwiedzin Średnia wartość zamówienia
Średnia wartość zamówienia 5
Większy < > współczynnik
konwersji
0,01 2 000 PLN 1000 200 PLN
0,02 1 000 PLN 1000 50 PLN
Mniejszy przychód
Test średniej wartości zamówienia
Akceptacja ?
?
Optymalizacja współczynnika konwersji
Konwersja 1
2Zamówienia
telefoniczne
ufności 3Poziom
konwersji Liczba 4
Średnia wartość zamówienia 5
dociekliwi Bądźcie
