A/B tesztelés a gyakorlatban: mit teszteljen egy webshop, és mit ne

Az A/B tesztelés úgy hangzik, mint a profi webshopok titkos fegyvere: két változat, adatok, tudományos döntés. A valóság egy kis webshopnál sokszor kiábrándítóbb. Ha nincs elég forgalmad és elég vásárlásod, a teszt egyszerűen nem fog értelmezhető eredményt adni — csak egy számot, amit könnyű félreolvasni. Ebben a cikkben őszintén végigvesszük, mikor van értelme tesztelni, mit érdemes tesztelni, és mit csinálj helyette, ha (még) nincs rá forgalmad.

A kellemetlen igazság: kis forgalomnál a teszt gyakran semmit nem mond

Egy A/B teszt arról szól, hogy a két változat közötti különbség valódi-e, vagy csak a véletlen műve. Ehhez sok döntésre — konkrétan sok vásárlásra — van szükség mindkét oldalon. Ha egy változatra egy hónap alatt csak néhány tucat vásárlás jut, a két oldal közötti eltérés jó eséllyel puszta zaj.

Feltételezett példa: tegyük fel, havonta 3 000 látogatód van és ebből 30 vásárlás. Ha ezt kettéosztod, változatonként kb. 15 vásárlás jut. Ha az „A” oldalon 13, a „B” oldalon 17 rendelés jön, az első ránézésre 30%-os javulásnak tűnik — valójában ekkora mintán ez bőven belefér a véletlenbe. Ha ugyanezt a tesztet a következő hónapban megismételnéd, könnyen fordítva jöhetne ki.

15 éve menedzselek webshopokat, és rengeteg olyan „nyertes” változatot láttam, amit egy kéthetes, kis mintás teszt alapján élesítettek, aztán fél év múlva senki nem értette, miért nem javult semmi. A teszt nem hazudott — csak nem mondott semmit, és ezt senki nem vette észre.

Mit csinálj helyette, ha nincs elég forgalmad

Kis forgalomnál a legtöbb pénzt nem a teszteléssel, hanem a nyilvánvaló hibák javításával lehet hozni. Ezekhez nem kell statisztika, mert nem két jó megoldás közül választasz, hanem egy hibát szüntetsz meg.

• Elakadások a pénztárban: kötelező regisztráció, felesleges mezők, váratlanul felbukkanó szállítási díj az utolsó lépésben.
• Hiányzó információ a termékoldalon: méret, anyag, szállítási idő, visszaküldési feltételek — amit a vevő nem talál meg, arra nem is fog rákérdezni, egyszerűen elmegy.
• Mobilos hibák: túl kicsi gombok, el nem görgethető felugrók, lassan betöltő képek.
• Bizalmi rések: nem látszó elérhetőség, hiányzó vélemények, nem egyértelmű cégadatok.

Ezek felderítéséhez a látogatói felvételek, hőtérképek és a vásárlási tölcsér lépcsőnkénti elemzése sokkal többet ad egy kis boltnak, mint egy elindított teszt. Ha ezt a gondolkodást szélesebb keretben szeretnéd látni, a konverzióoptimalizálásról szóló átfogó útmutatóban lépésről lépésre végigvesszük, hol érdemes kezdeni.

Mikor van értelme A/B tesztelni

Akkor érdemes tesztelni, ha egyszerre teljesül három feltétel:

• Elég forgalom és elég konverzió. Nem a látogatók, hanem a vásárlások száma a szűk keresztmetszet. Ha változatonként nem gyűlik össze belátható időn belül számottevő mennyiségű rendelés, a teszt nem fog dönteni helyetted.
• Egyetlen, előre kimondott mérőszám. Mielőtt elindítod, írd le, mi alapján döntesz — nem utólag választod ki azt a számot, ami épp jól mutat.
• Valódi kérdés. Két változat, amelyek közül tényleg nem tudod, melyik a jobb. Ha az egyik nyilvánvalóan hibás, nem tesztelni kell, hanem javítani.

Mit teszteljen az, akinek van rá forgalma

Ha a forgalmad megengedi a tesztelést, a legnagyobb hiba, ha apróságokra pazarlod. A gombszín, a betűtípus vagy egy szó cseréje ritkán okoz akkora különbséget, amit egy átlagos webshop forgalma kimutatna. Teszteld a nagy, üzletileg súlyos elemeket:

• Az ajánlatot: ingyenes szállítás küszöbe, csomagajánlat, ajándék a rendelés mellé.
• Az ár kommunikációját: hogyan jelenik meg az ár, a kedvezmény, a részletfizetés lehetősége.
• A pénztár lépéseit: egyoldalas vagy többlépéses checkout, vendégvásárlás kiemelése.
• A termékoldal felépítését: mi kerül a hajtás fölé, hol vannak a vélemények, milyen sorrendben jön az információ.

Ezeknél a változtatásoknál nagyobb az esély, hogy a különbség elég nagy ahhoz, hogy a teszted ki is tudja mutatni — de ez sem garancia, hiszen előre senki nem tudja, melyik változat nyer.

A fixed-horizon elv: döntsd el előre, mikor nézel rá

A teszteléses hibák egyik leggyakoribb forrása a „kukkolás”: minden reggel ránézel az eredményre, és amint az egyik változat előre áll, leállítod a tesztet és kihirdeted a győztest. Ez szinte garantálja, hogy a véletlen ingadozásokat fogod nyertesnek tekinteni.

A megoldás egyszerű, csak fegyelem kell hozzá:

• Előre rögzítsd a futamidőt — legalább egy, inkább két teljes hetet, hogy a hét különböző napjai és a fizetési ciklusok is benne legyenek.
• Előre rögzítsd a döntési szabályt — mekkora különbségnél és milyen minimális mintánál léptetsz élesbe egy változatot.
• A futamidő alatt ne nyúlj hozzá. Ne állítsd le korán, és ne hosszabbítsd meg csak azért, mert „még nem az jött ki, amit szerettél volna”.

Mit mérj: bevétel, sőt fedezet látogatónként

A konverzióarány önmagában félrevezető lehet. Egy agresszív kedvezmény szinte biztosan növeli a vásárlások arányát — miközben a kosárérték és az árrés csökkenhet, és a végén kevesebb pénzed marad.

Ezért a fő mérőszám legyen inkább a látogatónkénti bevétel, ideális esetben a látogatónkénti fedezet: mennyi pénz marad egy átlagos látogatón a költségek után. Ez egyszerre veszi figyelembe a konverziót, a kosárértéket és azt, hogy mennyit adtál oda kedvezményben.

Ugyanez az elv érvényes az e-mail-tesztekre is: ott sem a megnyitási arány a végső kérdés, hanem a bevétel. Ha hírlevelekben is tesztelnél, nézd meg az e-mailes A/B tesztek méréséről szóló cikket — ugyanazok a csapdák, csak más környezetben.

A következő lépés

Mielőtt bármilyen tesztet elindítanál, nézd meg őszintén: van-e elég vásárlásod ahhoz, hogy a teszt dönthessen? Ha nincs, a legjobb befektetés a nyilvánvaló hibák felkutatása és kijavítása. Ha van, válassz egy nagy, üzletileg fontos elemet, rögzítsd előre a futamidőt és a döntési szabályt, és fedezetben mérj.

Ha szeretnéd tudni, hol akad el a te webshopodban a vásárlás, és melyek azok a hibák, amiket tesztelés nélkül, azonnal érdemes kijavítani, kérj egy webshop auditot. A végén konkrét, prioritás szerint rendezett teendőlistát kapsz — nem általános tanácsokat.