Jak udělat A/B test

A/B test je nejrychlejší způsob, jak zjistit, že váš nejlepší nápad nefunguje. Problém je, že většina testů v malých firmách skončí rozhodnutím na základě dvanácti konverzí, což už není měření, ale hádání.

Kdy má test smysl a kdy je to ztráta času

Aby A/B test dával odpověď, potřebujete zhruba sto konverzí na variantu. Při konverzním poměru dvě procenta to znamená 5 000 návštěv na variantu, tedy 10 000 celkem. Když má web 800 návštěv měsíčně, na test to nestačí a poběžel by víc než rok. Za tu dobu se stihne změnit nabídka, ceny i sezona.

U malé návštěvnosti fungují jiné nástroje. Nahrávky relací, pět rozhovorů se zákazníky nebo prostá výměna celé stránky za lepší verzi. Rozdíl mezi špatnou a dobrou stránkou bývá tak velký, že ho poznáte i bez statistiky, protože se počet poptávek zdvojnásobí a to je vidět i v obyčejné tabulce.

Test taky nemá smysl, dokud neumíte konverzi spolehlivě měřit. Když se odeslání formuláře nezaznamená pokaždé, měříte šum a rozhodujete podle náhody. Nejdřív měření, potom testování, nikdy naopak. Nasazení měření přes Pixel a CAPI stojí 6 900 Kč a je to podmínka, ne doplněk k testům.

Co testovat nejdřív: pořadí podle dopadu

Barva tlačítka je ikona A/B testů a zároveň nejhorší možný začátek. Rozdíly, které se dají naměřit na malém webu, přicházejí ze změn, které mění to, co člověk čte a co po něm chcete. Nabídka, nadpis, cena a délka formuláře, přesně v tomhle pořadí. Barvy řešte, až vám dojdou důležité věci.

• Nabídka: co konkrétně člověk dostane, když odešle poptávku
• Hlavní nadpis: konkrétní slib místo popisu firmy
• Cena uvedená na stránce proti ceně na vyžádání
• Formulář o třech polích proti formuláři o sedmi
• Reference a čísla nad ohybem proti důkazům až v patičce
• Telefon jako hlavní akce proti formuláři, u řemesel to bývá zásadní

Kolik dat potřebujete: konkrétní čísla

Velikost vzorku závisí na výchozím konverzním poměru a na tom, jak velké zlepšení chcete rozeznat. Čím menší rozdíl hledáte, tím víc dat potřebujete, a roste to rychle. Zlepšení o desetinu procenta neodhalíte nikdy, zlepšení o polovinu poznáte poměrně rychle. Proto testujte odvážné změny, ne kosmetické úpravy o pár pixelů.

Čísla v tabulce berte jako minimum, ne jako cíl. Když vám vyjde, že potřebujete 12 000 návštěv na variantu a měsíčně jich máte 2 000 dohromady, odpověď zní, že se místo testu má rovnou přestavět celá stránka. Testování je nástroj pro doladění, ne pro záchranu stránky, která nefunguje.

Jak dlouho test nechat běžet

Minimum jsou dva plné týdny, i kdyby se vzorek nasbíral rychleji. Chování v pondělí a v neděli se liší, u služeb pro firmy je víkend skoro mrtvý. Když test ukončíte ve čtvrtek po třech dnech, měříte den v týdnu, ne variantu. Vždycky nechte doběhnout celé týdny, ať máte stejný počet víkendů.

Maximum je zhruba šest týdnů. Nad tuhle hranici se hromadí lidé, kteří mezitím smazali soubory cookie, přišli z jiného zařízení nebo viděli obě varianty. Data se rozmazávají a rozhodnutí ztrácí cenu. Když za šest týdnů nemáte dost dat, test nebyl reálný už při zadání a měl se dělat jinak.

Nekoukejte na průběžné výsledky a nezastavujte test v okamžiku, kdy vede vaše oblíbená varianta. První dny skáčou čísla o desítky procent a rozhodnutí udělané třetí den je z velké části náhoda. Napište si datum konce do kalendáře a do té doby se na report nedívejte víc než jednou týdně.

Vyhodnocení bez sebeklamu

Test má tři možné výsledky: B vyhrálo, B prohrálo, rozdíl není průkazný. Poslední varianta je nejčastější a je to plnohodnotná informace. Znamená, že jste testovali věc, na které zákazníkovi nezáleží, a příště se má sáhnout jinam. Není to neúspěch, je to ušetřený čas, který byste jinak investovali do detailu.

Dívejte se na konverzi, ne na proklik. Varianta, která přivede o třetinu víc lidí do formuláře a stejný počet odeslaných poptávek, nezlepšila vůbec nic. U e-shopu porovnávejte tržbu na návštěvu, protože varianta může zvednout počet objednávek a zároveň srazit průměrnou hodnotu košíku. Pak vyděláte míň při větší práci.

Výsledek si zapisujte i s datem, obrázkem obou variant a počtem konverzí. Za rok budete mít vlastní seznam toho, co u vašich zákazníků funguje, a to je cennější než jakýkoli článek s obecnými radami. Sdílená pravda z cizího oboru u vás platit nemusí, vlastní zápis platí přesně pro vaše publikum.

Šest chyb, které test znehodnotí

Většina neplatných testů padne na jedné ze dvou věcí: příliš málo dat, nebo změna prostředí uprostřed testu. Když v půlce zapnete kampaň s jiným publikem, srovnáváte dvě různé skupiny lidí a výsledek nepatří variantě, ale kampani. Během testu proto nesahejte na ceny, rozpočty ani na cílení reklamy.

Poslední bod v seznamu je nejdražší a nejčastější. Nastavte si připomínku na den, kdy test skončí, a vítěznou variantu nasaďte jako jedinou. Test, který běží dál po vyhodnocení, stojí přesně tolik, kolik dělá rozdíl mezi variantami, jen to nikde neuvidíte jako výdaj a nikdo si toho nevšimne.

• Ukončení testu ve chvíli, kdy jedna varianta zrovna vede
• Souběžná změna cen, kampaní nebo příchod sezony uprostřed testu
• Různé varianty pro stejného člověka při návratu z jiného zařízení
• Testování na stránce, kterou vidí pár desítek lidí denně
• Měření prokliku místo skutečné poptávky nebo objednávky
• Zapomenuté vypnutí, kdy horší varianta běží dál celé měsíce

Časté otázky

Jaký nástroj na A/B testy použít, když mám malý web?

Bezplatné řešení od Googlu skončilo, takže zbývají placené nástroje nebo vlastní jednoduchá varianta. Pro test dvou vstupních stránek stačí dvě adresy a rozdělení návštěv v reklamním systému, kde nastavíte dvě sady se stejným rozpočtem. Není to elegantní, ale na rozhodnutí to bohatě stačí a nic navíc neplatíte.

Můžu testovat i placené kampaně stejným způsobem?

Ano a bývá to rychlejší, protože si sami řídíte objem návštěv. Držte se pravidla jedné změny, tedy jiný text při stejném obrázku a stejném publiku. Vyhodnocujte podle ceny za poptávku, ne podle prokliku, jinak vyhraje kreativa, která přitáhne lidi mimo cílovou skupinu a zakázky z toho nebudou.

Vyplatí se A/B testy zadat externě?

Do zhruba 3 000 návštěv měsíčně spíš ne, tam se vyplatí rovnou přestavět stránku a změřit rozdíl před a po. Nad tuto hranici dává smysl testování jako součást měsíčního režimu. U mě je to program Růst od 14 900 Kč měsíčně, kde se testuje průběžně a výsledky se zapisují.