Chyby při A/B testování, které jsme udělali za vás

transcript

Michal Mrskoč

CHYBY V AB TESTECH,KTERÉ JSME UDĚLALI ZA VÁS

Poměr mezi průběžnými náklady na placené přivádění návštěvníků (PPC)

a investicemi pro zlepšování obchodní výkonosti webu (CRO: UX + SEO + copy)

Zdroj: Bryan Eisenberg 2012 a H1.cz 2015

100 : 1

DLOUHODOBÝMI CÍLI PROCESU CRO JE PŘEDEVŠÍM:

• Zvyšování počtu konverzí (objednávky, newsletter, registrace, wishlist…)

• Snižování Bounce rate (míra okamžitého opuštění webu)

• Zlepšování přirozené nalezitelnosti stránek (SEO)

• Snižování investic do reklamy

• Posilování značky a vztahu se zákazníkem

AB TESTOVÁNÍ

CHYBY V AB TESTOVÁNÍ

• Chyby ideové a principiální

• Chyby technické

• Chyby vyhodnocování

• Chyba kardinální a nepochopitelná

CHYBY IDEOVÉ A PRINCIPIÁLNÍ

• Netestování

• Neochota riskovat neúspěch

• Netestování

• Testování zbytečných a malicherných věcí

• Netestování

• Testování zbytečných a malicherných věcí

• Test bez jasně formulované hypotézy a odpovídajících KPI

CHYBY TECHNICKÉ

• Kolize scriptů

• Špatná distribuce verzí

• Blikání a zpožděné překreslování

• Neexistující nebo špatné propojení na Google Analytics

CHYBY VYHODNOCOVÁNÍ

• Důvěra pouze v jeden nástroj

• Nevhodný počet účastníků testu

• Nevhodné KPI a příliš úzký pohled na výsledky

A: Nic B: Bestseller C: Personalizovaná nabídka dle chování návštěvníka

Varianta Celkový obrat Prům. hodnota objednávky Transakční poměr

A: none - - -

B: bestsellers - 10,69 % - 4,43 % - 5,36 %

C: Persoo + 16,08 % + 15,94 % + 2,68 %

Po prvním měsíci jsme variantu Bestsellers vypnuli.

Varianta Celkový obrat Prům. hodnota objednávky Transakční poměr

A: none - - -

B: bestsellers - 10,69 % - 4,43 % - 5,36 %

C: Persoo + 16,08 % + 15,94 % + 2,68 %

Po prvním měsíci jsme variantu Bestsellers vypnuli.

OBRAT: + 12,57 %

Průměrná hodnota objednávky:

+ 7,39 %

Transakční poměr:+ 4,25 %

Průměrný počet druhů zboží v košíku:

+ 12,25 %

Rozdíl Personalizované nabídky za dva měsíce AB testu.

• Nevhodné KPI a příliš úzký pohled na výsledky

• Souběžné testy

CHYBA KARDINÁLNÍ

• Neimplementace ukončených testů resp. jejich vítězných variant

DĚKUJI ZA POZORNOST

Michal Mrskočmichal@picards.cz

725 960 766

@m_a_s_c_h_a

Chyby při A/B testování, které jsme udělali za vás

Internet