Jak zařídit, aby vašeA/B testy přinášely výsledky

Martin Snížek22.2.2012

Jak zařídit, aby vaše A/B testy přinášely výsledky | www.optimics.cz 2

Co je optimalizace výkonnosti

Web

SEO, PPC

Affiliate

E-mailing

Bannery

Offline

Optimalizace

obchodní výkonnosti

Jak zařídit, aby vaše A/B testy přinášely výsledky | www.optimics.cz 3

Traffic

A

B

B

Konverze

2 nebo více variant proti sobě

Hodnotící kritéria: Konverzní poměr Průměrná hodnota

objednávky

Jak zařídit, aby vaše A/B testy přinášely výsledky | www.optimics.cz 4

Expedia.com

A B

Roční zisk:+ 12 mil. USD

Zdroj: http://www.conversionvoodoo.com/blog/2011/11/expedia-deletes-one-field-from-their-registration-process-increases-profit-12m/

Jak zařídit, aby vaše A/B testy přinášely výsledky | www.optimics.cz 5

Mall.cz

Jak zařídit, aby vaše A/B testy přinášely výsledky | www.optimics.cz 6

Mall.cz

Jak zařídit, aby vaše A/B testy přinášely výsledky | www.optimics.cz 7

Mall.cz

Konverzní poměr: +15 %Přínos přepočtený na 1 rok: cca 300 mil. Kč

Jak zařídit, aby vaše A/B testy přinášely výsledky | www.optimics.cz 8

Hypoteční banka

Rekapitulace údajů o hypotéce shrnuta

do menší a přehlednější tabulky.

Informační box o závaznosti nabídky a slevě při online vyřízení.

Pouze nezbytně nutné kontaktní údaje pro vyplnění.

8

Jak zařídit, aby vaše A/B testy přinášely výsledky | www.optimics.cz 9

Hypoteční banka

Registrace: +67 %Řádově desítky hypoték za rok navíc

Jak zařídit, aby vaše A/B testy přinášely výsledky | www.optimics.cz 10

SEOmoz.org

Zdroj: http://www.conversion-rate-experts.com/seomoz-case-study/

Jak zařídit, aby vaše A/B testy přinášely výsledky | www.optimics.cz 11

SEOmoz.orgVarianta B navíc:+ přehledná tabulka verzí

+ questions & answers

+ větší loga hlavních klientů

+ videoprezentace ve stránce

+ snížení požadavků na členství ($ 1 za 30denní členství)

+ Quick Start Guide

Prodej služeb: + 52 %

+ 1 milion dolarů ročně

Zdroj: http://www.conversion-rate-experts.com/seomoz-case-study/

Jak zařídit, aby vaše A/B testy přinášely výsledky | www.optimics.cz 12

BuyaKilt.com

Obrat: + 76 %Konverzní poměr: + 26 %

Jak zařídit, aby vaše A/B testy přinášely výsledky | www.optimics.cz 13

Děláte A/B testování takto?

1. Změny s vlivem na zákazníka– Zaměřte se na analytiku a výzkum.– Nevěnujte takovou pozornost best practices, UX

a grafice webu.

2. Prioritizace změn3. Měření změn4. Opakování a systematizace

Jak zařídit, aby vaše A/B testy přinášely výsledky | www.optimics.cz 14

Jak vypadá úspěšné A/B testování

1. Změny s vlivem na zákazníka– Zaměřte se na analytiku a výzkum.– Nevěnujte takovou pozornost best practices, UX

a grafice webu.

2. Prioritizace změn3. Měření změn4. Opakování a systematizace

Jak zařídit, aby vaše A/B testy přinášely výsledky | www.optimics.cz 15

Cílem je zmenšit propast

Zdroj: http://experiencematters.wordpress.com/2008/05/04/your-customers-as-martians/

Jak zařídit, aby vaše A/B testy přinášely výsledky | www.optimics.cz 16

Kvalitativní výzkum

1. Všichni návštěvníci nebo vzorek2. Určitý segment návštěvníků3. V momentu uvažování4. Při odchodu (on exit)

Návštěvníci webu

1. Stávající2. Bývalí3. Rozhodující se (leady)4. Ti, kteří si vybrali konkurenci

Zákazníci firmy

1. Individuální rozhovory (lab/terén)2. Focus group3. Crowd sourcing

Respondenti

• Blockery a námitky• Uvažování o nabídce a

produktu příležitosti• Nákupní cyklus• Vnímané benefity

• Proč se rozhodli pro konkurenci

• Proč už nejsou zákazníky• Proč se rozhodli pro nás

• Co by změnili v nabídce

• Segmentace a spokojenost návštěvníků

• Naše výhody z jejich pohledu

• Spokojenost• Co by udělali

nového

Jak zařídit, aby vaše A/B testy přinášely výsledky | www.optimics.cz 17

Jak zařídit, aby vaše A/B testy přinášely výsledky | www.optimics.cz 18

Ultimátní vzorec přesvědčivosti, který stačí následovat:

Perceived Value − Perceived Risk =

Purchasing Decision

Zdroj: http://visualwebsiteoptimizer.com/split-testing-blog/ultimate-sales-formula/

Jak zařídit, aby vaše A/B testy přinášely výsledky | www.optimics.cz 19

Jak vypadá úspěšné A/B testování

1. Změny s vlivem na zákazníka– Zaměřte se na analytiku a výzkum.– Nevěnujte takovou pozornost best practices, UX

a grafice webu.

2. Prioritizace změn3. Měření změn4. Opakování a systematizace

Jak zařídit, aby vaše A/B testy přinášely výsledky | www.optimics.cz 20

Prioritizace

1. Jaký přínos může mít tato změna?– Jakou šanci má tato změna zdvojnásobit obrat?

2. Jak náročné je provést danou změnu?– náklady + čas

3. Už podobný nápad někdy předtím fungoval?

Přínos = 1-5 bodů (5 = nejvyšší přínos)Náročnost = 1-5 bodů (5 = nejsnazší)Score = přínos + náročnost

Jak zařídit, aby vaše A/B testy přinášely výsledky | www.optimics.cz 21

Jak vypadá úspěšné A/B testování

1. Změny s vlivem na zákazníka– Zaměřte se na analytiku a výzkum.– Nevěnujte takovou pozornost best practices, UX

a grafice webu.

2. Prioritizace změn3. Měření změn4. Opakování a systematizace

Jak zařídit, aby vaše A/B testy přinášely výsledky | www.optimics.cz 22

„In a battle with CEO's wife, statistics will always lose.“

Jak zařídit, aby vaše A/B testy přinášely výsledky | www.optimics.cz 23

Jak vypadá úspěšné A/B testování

1. Změny s vlivem na zákazníka– Zaměřte se na analytiku a výzkum.– Nevěnujte takovou pozornost best practices, UX

a grafice webu.

2. Prioritizace změn3. Měření změn4. Opakování a systematizace

Jak zařídit, aby vaše A/B testy přinášely výsledky | www.optimics.cz 24

Optimalizace je iterativní

Největší význam má, když se provádí delší dobu

S každým dalším testem se hodně naučíte, a budete tak přicházet na stále lepší změny– Test book

Budujete know-how ohledně svých online zákazníků

Jak zařídit, aby vaše A/B testy přinášely výsledky | www.optimics.cz 25

Highrise

Zdroj: http://37signals.com/svn/posts/2991-behind-the-scenes-ab-testing-part-3-final

Jak zařídit, aby vaše A/B testy přinášely výsledky | www.optimics.cz 26

Highrise

Zdroj: http://37signals.com/svn/posts/2991-behind-the-scenes-ab-testing-part-3-final

Jak zařídit, aby vaše A/B testy přinášely výsledky | www.optimics.cz 27

Highrise

Zdroj: http://37signals.com/svn/posts/2991-behind-the-scenes-ab-testing-part-3-final

Jak zařídit, aby vaše A/B testy přinášely výsledky | www.optimics.cz 28

Highrise

Zdroj: http://37signals.com/svn/posts/2991-behind-the-scenes-ab-testing-part-3-final

Jak zařídit, aby vaše A/B testy přinášely výsledky | www.optimics.cz 29

Díky za pozornost!

Blog & newsletter Optimics– www.optimics.cz/blog

Zajímavé články a studie– www.optimics.cz/c/csob-pojistovna-pripadova-studie– www.optimics.cz/c/ab-testovani-kompletni-pruvodce– www.optimics.cz/c/kalkulacka-zvysovani-vykonnosti-webu

Twitter– twitter.com/optimics

Školení:Optimalizace výkonnosti webu a A/B testování– webexpo.cz/academy/kurzy/optimalizace-vykonnosti-webu-a-ab-testovani