Testen met e-mails is heel eenvoudig. E-mail is namelijk goed meetbaar en geeft snel duidelijkheid. Een bekend Engelstalig gezegde luidt “Assumption is the mother of all fuck-ups”. Vrij vertaald: “Als je op aannames stuurt gaat het altijd mis”. Door tests uit te voeren in je e-mails hoef je niet meer uit te gaan van aannames. Zo kan het testen in e-mail je onder meer helpen met:
- Beslissen welk idee of welke variant het beste werkt;
- Met feiten onderbouwen van je argumenten in een discussie over de campagne;
- Ontdekken waar je ontvangers blij van worden. En waar ze niet blij van worden.
Je kunt zo nieuwe ideeën of belangrijke beslissingen onderbouwen met een test onder je eigen doelgroep. Met name het stukje ‘onder je eigen doelgroep’ is ook heel belangrijk in deze zin. Het kan namelijk zo zijn dat iets wat voor de ene doelgroep heel goed werkt, voor de andere doelgroep juist helemaal niet werkt.
Hoe werkt een A/B-test
Een A/B-test, ook wel split-test genoemd, is eigenlijk heel simpel uit te leggen. Je legt je doelgroep twee versies van een e-mail voor en laat de ene helft de eerste versie gebruiken gebruiken en de andere helft de andere versie. De versie die het best presteert is de winnaar van de A/B-test. De meeste e-mailmarketing programma’s bieden ook een A/B-test module die je eenvoudig kunt inzetten.
Bijvoorbeeld: je vraag je af welke kleur knop je moet gebruiken voor een bepaalde campagne. Je hebt nu een oranje knop en twijfelt of een groene knop niet beter zou zijn. Je kunt dan je doelgroep verdelen in twee gelijke stukken en de ene helft de oranje knop laten zien zoals je die al had (de controle versie) en de andere helft de groene knop tonen (de variant). Als de oranje button zoals in onderstaand voorbeeld 4% conversie haalt, en de groene variant 7% conversie, wint de groene versie de A/B-test. Je kunt dus voortaan beter een groene knop gebruiken.
Trek na het testen niet te snel conclusies
Het is wat kort door de bocht om na bovenstaand resultaat meteen te zeggen: “Voortaan werken we met groene knoppen!”. Als bovenstaande doelgroep uit 20 ontvangers bestaat zegt het niet zoveel. Als bovenstaande doelgroep uit een miljoen ontvangers bestaat, zegt het veel meer. Om zeker te weten dat je uitslag geen toeval is, kun je de test meerdere keren herhalen. Als de uitslag telkens hetzelfde is wordt het al een stuk zekerder. Nog beter is als je de kans op toeval helemaal uitsluit door het berekenen van de significantie.
Bereken de significantie van de uitslag
Met significantie bereken je de kans dat bij een volgende keer wederom dezelfde van de twee varianten zal winnen. Pas als je uitkomst significant is kun je er redelijk vanuit gaan dat bij dezelfde test de volgende keer hetzelfde resultaat zal worden gehaald. Dan kun je dus met veel meer zekerheid zeggen dat het verstandig is voortaan groene knoppen te gebruiken. Het berekenen van statistische significatie gaat flink de wiskundige berekeningen in en daar moet je van houden. Gelukkig is er ook een makkelijke oplossing. Die heb ik namelijk voor je gemaakt. Gebruik deze tool naar wens om de significantie van je testuitslag te berekenen.
Komt er geen significant resultaat uit je test? Misschien is het verschil tussen de controleversie en de variant dan ook wel te minimaal en zal de verandering geen groot effect hebben op je campagne. Als je doelgroepen te klein zijn om significantie te berekenen zou je ook de kennis die je hebt opgedaan met de herhalingen gebruiken als onderbouwing. Dan heb je weliswaar geen significant resultaat maar kun je wel een aanname doen die gebaseerd is op meerdere malen proberen.
De ‘slimme’ A/B-test
Er zijn nog heel veel andere testmogelijkheden om te gebruiken. In e-mailmarketing wordt ook wel eens gebruik gemaakt van een ‘slimme A/B-test’. Daarin wordt een klein deel van de doelgroep de beide versies gestuurd en de rest van de doelgroep gaat in de wacht. Na een in te stellen periode kijkt je e-mailprogramma naar welke van de beide versies het dan het best gedaan heeft, en verstuurt deze naar het resterende deel van de doelgroep.
Deze variant heeft niet mijn voorkeur omdat de meeste e-mailprogramma’s geen significantie gebruiken om te bepalen welke versie dan heeft gewonnen. Bedenk bijvoorbeeld dat versie A 10.000 kliks heeft gehad, en versie B 10.001 kliks. De meeste e-mailprogramma’s zeggen dan dat versie B de beste is, terwijl dit helemaal niet significant is. Je neemt dan een risico om het restant misschien wel niet de beste versie te sturen.
De multivariaat test
De multivariaat test werkt eigenlijk precies hetzelfde als A/B-testen. Het enige verschil is dat er meerdere varianten tegelijkertijd worden getest. Mocht je bijvoorbeeld de kleur van een button willen bepalen en kiezen uit vijf opties, dan kun je daar een multivariaat test voor gebruiken. Je hebt hiervoor wel een grote doelgroep nodig, omdat het aantal ontvangers dat een bepaalde versie te zien krijgt afhankelijk van je aantal te testen versies veel kleiner wordt dan bij een A/B-test.
