Na Posters.cz jsem testoval, zda nám vyskakovací okno s nabídkou doplňkových produktů (klasický upsell) zvýší obrat. Zároveň to bylo poprvé co jsme implementovali nové API pro Google Content Experiments a nechali logiku rozřazení návštěvníkům k jednotlivým variantám na straně Google Analytics. Na ověření, že změna na webu přináší skutečně to co jsme zamýšleli jsou A/B testy ideální. Udělat ve vyhodnocení testů chybu přitom není nic těžkého.

Upsell okno

Předmět testu – upsell okno

K plakátům na Posters.cz nabízíme i rámečky a plastové lišty pro zavěšení na zeď.  Testovali jsme nový prvek. Vyskakovací okno, které se objeví na stránce košíku, pokud návštěvník vloží do košíku plakát (zatím bez lišty nebo rámu). Cílem bylo ověřit,  jestli nám prvek vydělá více peněz. Toho jsme se pokoušeli dobrat pomocí metriky obrat resp. průměrná cena objednávky. Test jsem spustil přes Content Experiments. O rozřazení variant se staral Content Experiments. Tento přístup šel snadno aplikovat, protože o zobrazení upsell okna se stará JavaScript funkce (stejně jako o volání API Content Experiments) a ta okno buď zobrazila anebo ne.  Jak spustit test přes API je popsáno v úvodním  článku A/B testování přes Google Analytics Content Experiments.

Co měřit?

V původním nastavení experimentu jsem nastavil jako metriku podle které bude test vyhodnocen tržby. Vypadalo to logicky. Testujeme na 100% uživatelů kteří budou rovnoměrně rozděleni mezi kontrolní a testovací verzi. Pokud se ukáže, že při stejném počtu konverzí jsou tržby testovací verze vyšší (vyšší průměrná hodnota objednávky) máme vyhráno. Přitom jsem předpokládal, že konverzní poměr (dokončené objednávky) by se měnit neměl.

Do testu jsme zahrnuli pouze uživatele co něco vložili do košíku. Kód pro přiřazení varianty pomocí CX API jsme vložili až na stránku košíku. O měření transakcí a obratu se staral již existující GA kód (ze stránky s rekapitulací objednávky). Jak je ale vidět z grafu, po měsíci testování jsme se nedostali ke statisticky významnému výsledku. Průměrná hodnota objednávky byla dokonce větší u kontrolní verze (upsell okno se nezobrazilo).  Pokud by bylo vše nastaveno správně (technicky) a správně by byly postaveny i hypotézy testu, znamenalo by to, že vyskakovací okno reaguje úplně odlišně než bylo zamýšleno. Výsledky bych interpretoval tak, že okno je naopak obtěžují element, který návštěvníky odrazuje od dokončení nákupu a navíc snižuje průměrnou hodnotu objednávky. Anebo by mohla být někde chyba.Graf - původní experiment

Test znovu a lépe

Při opakování testu zůstaly hypotézy i varianty stejné. Změnil jsem ale cíle podle kterých byl test vyhodnocen. Pro test jsem připravil speciální událost v Google Analytics. Bylo nutné zasáhnout do kódu, možná by bylo možné realizovat i přes Tag Manager. Událost „Objednávka s rámováním“ se zavolá, pokud uživatel dokončí objednávku (v šabloně je hned vedle kódu pro započítání e-commerce transakce) a přitom je mezi objednanými položkami alespoň jedna z těch které nabízíme v upsell oknu (rámování, rámeček nebo lišta).

Při tomto nastavení jsme tedy neměřili přímo hodnotu objednávky. Změřili jsme ale jestli funkce dělá to co jsme u ní předpokládali. Jestli si zákazník dokoupí k plakátu rámeček anebo lištu. V čem si myslím, že byla chyba původního nastavení?

  • Do testu jsme zařadili všechny návštěvníky co si něco dali do košíku. Zapomněl jsem ale na to, že existují i produkty kde se upsell okno nezobrazí tak jako tak. Např. u hrnečku se rámování dokoupit nedá a tahle množina výsledek zbytečně zkreslovala. 
  • Průměrná hodnota objednávky je značně zkreslená velkým rozdílem v cenách jednotlivých položek. V nabídce máme fototapety (ke kterým se rámování a lišty nenabízí) ale jejich cena je řádově cca 5x vyšší než cena jednoho plakátu.

U nově nakonfigurovaného testu jsme dostali výsledky po 14 dnech. CX vybral vítěznou variantu a tu necháváme spuštěnou pro všechny návštěvníky. Na hladině významnosti 99% jsem prokázal, že funkce upsell okno zvyšuje počty prodejů rámečků a lišt k plakátům a to téměř o 100%. Konverzní poměr kontrolní verze byl 2,9%, konverzní poměr nové verze 5,78%. Konverze zde není klasické dokončení objednávky ale pouze takové dokončení, kde je mezi položkami rámeček anebo lišta. Počítáno od vložení do košíku.  V naší ukázce jsou jednotlivé varianty pojmenovány nevhodně. Varianta „zobrazeno“ je nastavena jako kontrolní a varianta „skryto“ jako testovací. V reálu je to samozřejmě obráceně. Na výsledek testu to nemá vliv, ale je to ošklivější při prezentaci. Místo aby nám CX krásně ukázal, že testovací varianta je lepší a výsledek vysvítil zeleně, je to obráceně a testovací je červená a ukazuje zhoršení. Graf - nový experiment

Poučení na závěr

A/B testování se dá realizovat poměrně jednoduše. Na tomto i jiných projektech jsem si ale vyzkoušel, že chyb se dá udělat velmi mnoho a je poměrně těžké je odhalit. A/B testy jsou ideální pro měření tam, kde je konverze blízko testovanému prvku. Krásně proto vycházejí testy typu:

  • Krátký vs. dlouhý formulář – měříme jeho odeslání
  • Úvodní banner na stránce – měříme na přímých vstupech bounce rate nebo jiné zaujetí návštěvníka
  • Landing page pro 1 konkrétní produkt a 2 různé hlavní fotografie – měříme proklik na detail apod.

Platí zlaté pravidlo – testujeme pouze jednu změnu na webu a všechny ostatní prvky musí zůstat stejné. Jinak se vliv změny může snadno ztratit v záplavě jiných faktorů. Toho je  obtížné dosáhnou tam, kde testy probíhají dlouho.  Proto je velmi problematické měřit změnu typu změna stylu výpisu zboží v katalogu a jako konverzní cíl nastavit dokončení transakce.

  • Dokončení objednávky je od testované změny daleko. V cestě stojí výběr dopravy, platba, registrace a to vše ovlivňuje zda ke konverzi dojde anebo ne.
  • Změna může dobře fungovat u kategorie televizí ale v kategorii síťové prvky může mít efekt nulový nebo opačný
  • Pokud nepoužijete segmenty, zamotají se dohromady uživatelé s vyšší tendencí ke konverzi (například se slevovým kupónem) se zbytkem a není zaručeno, že jsou varianty mezi rozřazeni rovnoměrně.
  • Do hry vstupují další elementy jako cena, dostupnost odběrného místa apod.

S tím vším se musíte poprat. Jde to, ale je to složitější. Doporučuji tedy pracovat hlavně s jednoduchými dílčími a/b testy kde je riziko chyby menší a pravidelně monitorovat výkon webu jako celku, aby bylo podchyceno, že i přes dílčí vítězství se globální cíle nezhoršují.

U nás jsme ověřili, že vyskakovací okno zvyšuje počet dokoupeného příslušenství. Na vašem webu to ale klidně může být jinak.

David vede ve 3sixty e-commerce projekty a hledá cesty jak by mohly být ještě úspěšnější.

Tagged with:
 

Napsat komentář

Vaše emailová adresa nebude zveřejněna. Vyžadované informace jsou označeny *