Upload
optimics-sro
View
3.724
Download
1
Embed Size (px)
Citation preview
Jak nastartovat program optimalizace webu
Jiří Brázda
10. 11. 2010
… a jak to určitě nedělat
Jak nastartovat program optimalizace webu | www.optimics.cz 2
Kritika A/B testování
Testujeme náhodné věci, nikoliv hypotézy
Testujeme na všech návštěvnících, nikoliv na konkrétních segmentech návštěvníků
Testujeme věci, které nemají reálnou hodnotu pro zákazníka ani pro business
Jak nastartovat program optimalizace webu | www.optimics.cz 3
První test často nepřinese nic zásadního a testování je organizací na další období zamítnuto jako neefektivní metoda.
Jak ještě zvětšíte a zvýrazníte tlačítka?
A když bude celý web jedno velké tlačítko, pomůže to businessu?
Jak nastartovat program optimalizace webu | www.optimics.cz 4
Jak nastartovat program optimalizace webu | www.optimics.cz 5
Jak nastartovat program optimalizace webu | www.optimics.cz 6
Doporučené čtení
Kritika procesu online testování a segmentace– http://semphonic.blogs.com/semangel/2010/10/testing-and-web-analytics-
thoughts-from-x-change.html
Kritika přístupu k multivariantnímu testování– http://semphonic.blogs.com/semangel/2010/10/multivariate-testing-
thoughts-from-x-change.html
Kritika testování věcí s „krátkým poločasem rozpadu“– http://blog.minethatdata.com/2010/08/testing-half-life.html
Gartner/Omniture/Experian: Organizační připravenost na testování a optimalizaci– http://www.omniture.com/offer/760
DELL: Jak to dělají v DELLu– http://www.managinganalytics.net/2010/10/08/from-good-to-great-our-
keynote-presentation-in-emetrics/
Jak nastartovat program optimalizace webu | www.optimics.cz 7
5 věcí, které jsme udělali špatně
Případová studie Kentico
www.optimics.cz/reference/pripadova-studie-kentico
Jak nastartovat program optimalizace webu | www.optimics.cz 9
1) Něco jsme implementovali bez testu
Často u nové zakázky hned vidíme mnoho věcí, u kterých jsme můžeme téměř s 100% jistotou tvrdit, že povedou ke zlepšení
Implementovali jsme mnoho změn napřímo v krátkém čase (na celý projekt jsme měli asi měsíc – do WebExpo 2009)
Zlepšení (lift) jsme mohli odvozovat pouze ze změny dlouhodobého trendu
Jak nastartovat program optimalizace webu | www.optimics.cz 10
2) Připravili jsme obrovský MV test
Původně jsme chtěli testovat mnohem více elementů na homepage
V Google Website Optimizer (full factorialmodel) by ten test běžel snad 200 dnů
Test jsme protomuseli ořezat
Jak nastartovat program optimalizace webu | www.optimics.cz 11
3) Testovali jsme bezvýznamné věci
Udělali jsme mnoho změn mimo test, které přinesli fantastický výsledek– Větší fokus na trial + schování free verze
– Mnohem méně komplikací při registraci
– Více prostoru pro produktové benefity a nezávislé hodnocení
Zpětně si myslím, že testování barvy tlačítka není podstatné (jiná barva nepřináší žádnou dodatečnou hodnotu nebo užitek)
Jak nastartovat program optimalizace webu | www.optimics.cz 12
Co tedy testovat?
Jeden ukázkový framework:
Jak nastartovat program optimalizace webu | www.optimics.cz 13
Př. Jak zhoršit(!) noviny?
Jak nastartovat program optimalizace webu | www.optimics.cz 14
4) Hodnotili jsme jen jedinou metriku
Zvýšili jsme počet leadů z webu, ale zvýšili jsme zisk? Můžeme jen hádat, protože nevíme, které leady vedou k uzavření obchodu
Zvyšování prodeje lze často docílit poměrně snadno (např. doprava zdarma nebo Slevomat), ale má to dva háčky:– zvýšení je často jen dočasné
– nevíme, zda taková akce povede k vyšší ziskovosti na zákazníka v dlouhém období, tj. zda nový zákazník bude opakovaně nakupovat
Jak nastartovat program optimalizace webu | www.optimics.cz 15
5) Jednalo se o jednorázovou akci
Neměli jsme připravený žádný dlouhodobý plán rozvoje, další hypotézy, které bychom chtěli testovat
Neměli jsme tak alokované zdroje u klienta, priorita testování klesala pod prioritu operativy, rozvoje produktu a dalších
Bez dlouhodobého plánu snadno ztratíte vlastní směr a podporu organizace – zejména když první test nepřinese zvýšení o 2500%
Jak nastartovat program optimalizace webu | www.optimics.cz 16
Doporučení
Připravte si plán na min. 6 měsíců (budget, zdroje, očekávání)
Připravte si hypotézy, které chcete testovat, testujte věci, které mají přínos pro zákazníka
Prioritizujte, postupujte v iteracích, dokumentujte každý test
Začněte v malém, učte se z výsledků předchozích testů
Vyhodnocujte změny v dlouhém období, zejména se zaměřte na hodnotu a ziskovost zákazníka
Jak nastartovat program optimalizace webu | www.optimics.cz 17