A/B teszt és mérés az e-mail marketingben — profit-szemmel

Van egy szám, amit szinte minden webshoptulajdonos fejből tud: a megnyitási arány. És van egy másik, amit szinte senki nem tud megmondani: mennyi fedezet maradt a legutóbbi hírlevél után. Ez a kettő nem ugyanaz a történet. Ha az elsőt optimalizálod, simán előfordulhat, hogy közben a másodikat rontod — és hónapokig nem veszed észre.

15 éve dolgozom webshopokkal, és a mérés környékén mindig ugyanaz a jelenet ismétlődik: a riport szép, a bankszámla nem. Ebben a részben végigmegyünk azon, mit érdemes tesztelni, mekkora listán van ennek egyáltalán értelme, melyik három számot nézd havonta — és mikor jobb, ha egyáltalán nem tesztelsz.

A megnyitási arány hazudik

A lánc, ami tényleg számít, négylépcsős: megnyitás → kattintás → bevétel → fedezet. Minden lépcsőn veszít az előző szám az értékéből.

• Megnyitás: a leggyengébb jel. Az Apple levelezője adatvédelmi okból előre betölti a képeket, így a megnyitások egy részét nem ember, hanem gép generálja. Egy „megnyitás-győztes” tárgymező tehát akár azt is jelentheti, hogy több robotot vonzottál.
• Kattintás: már valódi szándék, de még nem pénz. Kattinthat úgy is valaki, hogy soha nem vásárol.
• Bevétel: itt kezd érdekes lenni — ez az, ameddig a legtöbb e-mail rendszer riportja elmegy.
• Fedezet: ezt egyetlen e-mail rendszer sem tudja, mert nem ismeri a beszerzési áraidat, a szállítási önköltséged és a visszárudat. Márpedig a vállalkozásod ebből él, nem a bevételből.

Ez pontosan ugyanaz a csapda, mint a hirdetéseknél: egy jól kinéző arányszám mögött nyugodtan elfér egy veszteséges kampány. Erről részletesen írtam a ROAS csapdájáról szóló cikkben — az ottani logika egy az egyben áll az e-mailre is.

A gyakorlati következtetés egyszerű: a győztes-metrikát előre döntsd el, és soha ne a megnyitás legyen.

Mit tesztelj először?

A tesztelés nem ingyenes: időbe kerül, és minden teszt alatt a listád egy részét szándékosan nem a legjobb változatoddal szólítod meg. Ezért érdemes sorrendet tartani, és a legolcsóbb tanulásokkal kezdeni.

• 1. Tárgymező. A legolcsóbb teszt: egy sor szöveg, nulla kreatív munka. Itt tanulod meg, mire reagál a saját közönséged — kérdésre, konkrét termékre vagy a haszonra.
• 2. Időzítés. Ugyanaz a levél, két különböző napszakban vagy napon. Szintén nulla plusz munka, mégis mozdíthatja a kattintást.
• 3. Ajánlat. Ez mozgatja a legtöbbet a bevételen — és ezt a legnehezebb tisztán tesztelni, mert a kedvezmény a fedezetedet is átírja. Ha ajánlatot tesztelsz, kötelező mellé fedezetet számolni: egy 20%-os kuponnal simán nyerhetsz bevételt úgy, hogy közben veszítesz pénzt.
• 4. Dizájn. Utoljára. Itt a legnagyobb a munka, és általában a legkisebb a hozam. A gombszín-tesztek látványosak, de ritkán változtatnak a hónap végi számokon.

Egy szabály mindegyik fölött áll: egyszerre egy dolgot változtass. Ha egyszerre írod át a tárgymezőt és a kedvezményt, a végén nem fogod tudni, melyik hozta az eredményt — csak azt, hogy valami történt.

A minta-méret probléma kis listánál — őszintén

Itt jön a rész, amit a legtöbb e-mail marketinges cikk elhallgat: néhány száz címen a legtöbb A/B teszt eredménye nem jelent semmit. Nem azért, mert rosszul csináltad, hanem mert a matematika nem engedi.

Feltételezett példa, kizárólag a nagyságrend érzékeltetésére: tegyük fel, hogy a jelenlegi kattintási arányod 3% körül mozog, és azt szeretnéd megbízhatóan kimutatni, hogy az új változat 4%-ot hoz. Egy ekkora, egy százalékpontos különbség biztos kimutatásához csoportonként nagyságrendileg több ezer címre van szükség. Ez nem vélemény kérdése: minél kisebb a különbség, amit keresel, annál nagyobb minta kell hozzá.

Mit jelent ez a gyakorlatban, ha 800 feliratkozód van?

• Ne vonj le következtetést egyetlen futásból. Ha ugyanaz a változat háromszor egymás után nyer, az már jelent valamit. Egyszer nyerni szerencse is lehet.
• Ne hajszold a néhány százalékos különbségeket. Kis listán csak a durva eltérések látszanak ki a zajból: más ajánlat, más célcsoport, más termékkategória.
• Inkább szegmentálj, mint tesztelj. Kis listán sokkal többet hoz, ha a jó vevőidnek mást küldesz, mint az alvóknak — erről szól az RFM-szegmentálás rész.

A/B teszt a theMarketerben

Hivatalos theMarketer-partner vagyok — ha a linkemen keresztül fizetsz elő, jutalékot kapok, az árad ettől nem magasabb. Pont ezért írok elv-szinten: a konkrét menüpontok verzióról verzióra változhatnak, a pontos képet mindig a saját fiókodban látod.

A rendszer kínál A/B tesztelést, valamint jelentés- és analitika-felületet, és mivel a webshopod adataira épül (a Shoprenter és az UNAS natívan integrált), a riportjai nem állnak meg a kattintásnál. Az elvek viszont bármelyik felületen ugyanazok:

• Egy változó, két csoport, véletlenszerű felosztás. Ha te választod ki kézzel, ki melyik csoportba kerül, a teszt már el is romlott.
• A győztes-metrikát a teszt indítása előtt írd le magadnak. Ha utólag választod ki, melyik számot nézed, garantáltan azt fogod győztesnek látni, amelyik éppen jól áll.
• Adj neki elég időt. A hétvégi és a hétköznapi vásárlói viselkedés más — a fél napos teszt fél igazságot ad.
• A fedezetet külön számold. Ezt egyetlen e-mail rendszer sem tudja megmondani helyetted, mert nem ismeri a beszerzési áraidat.

A 3 szám, amit havonta nézz

Nem kell dashboardot építened. Havonta három szám elég ahhoz, hogy tudd, jó irányba mész-e.

• Nettó lista-növekedés. Új feliratkozók mínusz leiratkozók. Ha ez tartósan negatív, minden más mérés mindegy: fogy alattad a közönség.
• Automatizmus-bevétel. Mennyit hoztak azok a levelek, amik emberi munka nélkül mentek ki: üdvözlő sorozat, elhagyott kosár, vásárlás utáni levelek. Ez a csatorna kamatos kamata — ennek kellene hónapról hónapra nőnie.
• Leiratkozási arány. A türelem-számlád. Ha megugrik, túl sokat vagy rosszat küldesz — az SMS és push résznél is ez a fék.

Negyedévente pedig csináld meg egyszer a fedezet-ellenőrzést: vedd az e-mailhez köthető rendeléseket, vond le a termékköltséget, a szállítást és a kiadott kedvezményt. Ha ez a szám kisebb, mint amennyit a rendszerre és a saját munkádra költesz, akkor nem a tárgymezővel van baj.

Mikor ne tesztelj?

• Ha még nincs meg a három alap-automatizmus. Az üdvözlő sorozat, az elhagyott kosár és a vásárlás utáni levelek hozzák először a pénzt. A tesztelés csak finomít azon, ami már működik.
• Ha kicsi a listád. Előbb növeld, aztán mérj. Feliratkozó-gyűjtésre fordított egy óra kis listánál többet ér, mint tíz A/B teszt.
• Ha szezonális csúcson vagy. Black Friday héten ne kísérletezz: akkor a bevált változatot küldd, és tesztelj a nyugodt hetekben.
• Ha nem tudod előre, mit kezdenél az eredménnyel. Ha a győztes tudás semmin nem változtat a következő levélben, a teszt csak elment idő.

A következő részben az árazás és a megtérülés-matek jön: mennyibe kerül a rendszer, és mekkora bevételnél térül meg. Ez a cikk egyébként a theMarketer teljes útmutató kiegészítő anyaga — ha most ismerkedsz a rendszerrel, ott érdemes kezdened.

Ha ki szeretnéd próbálni: a theMarketer eszköz-oldalamon megtalálod a partneri kedvezménykódot és a bekötés lépéseit. Ha pedig inkább azt szeretnéd, hogy valaki végigvigye veled a mérést a megnyitástól a fedezetig, az e-mail tanácsadásnál pontosan ezt csinálom — a te adataidon, a te termékköltségeiddel.