Jak nastartovat program optimalizace webu

transcript

Jiří Brázda

10. 11. 2010

… a jak to určitě nedělat

Jak nastartovat program optimalizace webu | www.optimics.cz 2

Kritika A/B testování

Testujeme náhodné věci, nikoliv hypotézy

Testujeme na všech návštěvnících, nikoliv na konkrétních segmentech návštěvníků

Testujeme věci, které nemají reálnou hodnotu pro zákazníka ani pro business

První test často nepřinese nic zásadního a testování je organizací na další období zamítnuto jako neefektivní metoda.

Jak ještě zvětšíte a zvýrazníte tlačítka?

A když bude celý web jedno velké tlačítko, pomůže to businessu?

Doporučené čtení

Kritika procesu online testování a segmentace– http://semphonic.blogs.com/semangel/2010/10/testing-and-web-analytics-

thoughts-from-x-change.html

Kritika přístupu k multivariantnímu testování– http://semphonic.blogs.com/semangel/2010/10/multivariate-testing-

thoughts-from-x-change.html

Kritika testování věcí s „krátkým poločasem rozpadu“– http://blog.minethatdata.com/2010/08/testing-half-life.html

Gartner/Omniture/Experian: Organizační připravenost na testování a optimalizaci– http://www.omniture.com/offer/760

DELL: Jak to dělají v DELLu– http://www.managinganalytics.net/2010/10/08/from-good-to-great-our-

keynote-presentation-in-emetrics/

5 věcí, které jsme udělali špatně

Případová studie Kentico

www.optimics.cz/reference/pripadova-studie-kentico

1) Něco jsme implementovali bez testu

Často u nové zakázky hned vidíme mnoho věcí, u kterých jsme můžeme téměř s 100% jistotou tvrdit, že povedou ke zlepšení

Implementovali jsme mnoho změn napřímo v krátkém čase (na celý projekt jsme měli asi měsíc – do WebExpo 2009)

Zlepšení (lift) jsme mohli odvozovat pouze ze změny dlouhodobého trendu

2) Připravili jsme obrovský MV test

Původně jsme chtěli testovat mnohem více elementů na homepage

V Google Website Optimizer (full factorialmodel) by ten test běžel snad 200 dnů

Test jsme protomuseli ořezat

3) Testovali jsme bezvýznamné věci

Udělali jsme mnoho změn mimo test, které přinesli fantastický výsledek– Větší fokus na trial + schování free verze

– Mnohem méně komplikací při registraci

– Více prostoru pro produktové benefity a nezávislé hodnocení

Zpětně si myslím, že testování barvy tlačítka není podstatné (jiná barva nepřináší žádnou dodatečnou hodnotu nebo užitek)

Co tedy testovat?

Jeden ukázkový framework:

Př. Jak zhoršit(!) noviny?

4) Hodnotili jsme jen jedinou metriku

Zvýšili jsme počet leadů z webu, ale zvýšili jsme zisk? Můžeme jen hádat, protože nevíme, které leady vedou k uzavření obchodu

Zvyšování prodeje lze často docílit poměrně snadno (např. doprava zdarma nebo Slevomat), ale má to dva háčky:– zvýšení je často jen dočasné

– nevíme, zda taková akce povede k vyšší ziskovosti na zákazníka v dlouhém období, tj. zda nový zákazník bude opakovaně nakupovat

5) Jednalo se o jednorázovou akci

Neměli jsme připravený žádný dlouhodobý plán rozvoje, další hypotézy, které bychom chtěli testovat

Neměli jsme tak alokované zdroje u klienta, priorita testování klesala pod prioritu operativy, rozvoje produktu a dalších

Bez dlouhodobého plánu snadno ztratíte vlastní směr a podporu organizace – zejména když první test nepřinese zvýšení o 2500%

Doporučení

Připravte si plán na min. 6 měsíců (budget, zdroje, očekávání)

Připravte si hypotézy, které chcete testovat, testujte věci, které mají přínos pro zákazníka

Prioritizujte, postupujte v iteracích, dokumentujte každý test

Začněte v malém, učte se z výsledků předchozích testů

Vyhodnocujte změny v dlouhém období, zejména se zaměřte na hodnotu a ziskovost zákazníka

twitter.com/jiribrazda

jiri.brazda@optimics.cz

(+420) 602 345 620

Jak nastartovat program optimalizace webu

Technology