A/B-tests ontwerpen en uitvoeren op uw e-mailontwerpen

Belangrijk

Dit artikel is alleen van toepassing op uitgaande marketing.

Gebruik e-mail A/B-testen om erachter te komen welke van twee vergelijkbare ontwerpen waarschijnlijk het meest succesvol is en stuur het winnende ontwerp vervolgens automatisch naar de resterende doelgroep. U begint met het maken van een controle-ontwerp (de 'A'-versie), en vervolgens gebruikt u dat als de basis voor het maken van een 'B'-versie van het ontwerp waarin u een klein deel ervan hebt gewijzigd (zoals het onderwerp of een afbeelding). Voer ten slotte de test uit als onderdeel van een klantreis.

Tijdens de reis wordt de hele test automatisch uitgevoerd. Het begint met het verzenden van versie A naar een klein deel van uw segment (bijvoorbeeld 10% van de contactpersonen, willekeurig geselecteerd) terwijl u ook versie B naar een ander deel van het segment verzendt (meestal ook 10%). Er wordt zo lang gewacht als u kiest (bijvoorbeeld 24 uur) en vervolgens worden de resultaten van de interactie geanalyseerd en wordt een winnaar gekozen op basis van uw geselecteerde criteria (zoals meest geopende). De reis stuurt vervolgens automatisch het winnende ontwerp naar de rest van het segment (de resterende 80%).

Een marketing-e-mail maken voor A/B-tests

Als u een A/B-test wilt instellen, begint u met het maken van uw controle-ontwerp (dit is de A-versie) en maakt u vervolgens de B-versie waarin slechts een klein deel van het ontwerp is gewijzigd. Elke A/B-test staat slechts één type wijziging toe (zoals koptekst, hoofdtekst of volledige inhoud).

Notitie

U kunt slechts één nieuwe A/B-test definiëren voor hetzelfde ontwerp. U moet wachten tot uw A/B-test is uitgevoerd voordat u een nieuwe test maakt.

A- en B-ontwerpen instellen voor een bericht:

1. Maak uw oorspronkelijke ontwerp (controle) zoals gebruikelijk, zoals beschreven in Een nieuwe e-mail maken en de inhoud ervan ontwerpen. Perfectioneer het ontwerp zoveel mogelijk en controleer het op fouten om te controleren of het live kan gaan.

2. Wanneer u uw A-ontwerp hebt voltooid, voert u een van de volgende handelingen uit:

   • Selecteer de A/B-testknop in de rechterbovenhoek van de e-maileditor om het deelvenster A/B-test te openen.
   • Als u nog geen test voor deze e-mail hebt gedefinieerd, selecteert u de knop Test toevoegen in het deelvenster A/B-test.
   • Als u al een test hebt gedefinieerd, kunt u de versies A en B wijzigen door tussen de versies te schakelen.

   

3. De parameters van de nieuwe test worden weergegeven. Ga als volgt te werk:

   • Stel Testtype in op een van de volgende opties: - Koptekst (onderwerp, afzender): hiermee kunt u een ander onderwerp of een andere afzender kiezen voor de B-versie van uw ontwerp. Ontvangers zullen dit zien als de naam van de afzender van het bericht. Dit verandert niet het werkelijke afzendadres, dat hetzelfde blijft voor beide versies. - Hoofdgedeelte: hiermee kunt u of meer ontwerpelementen in de hoofdtekst van de e-mail selecteren en vervolgens de instellingen, inhoud of vormgeving van die elementen in de B-versie van het ontwerp wijzigen. - Volledige inhoud: hiermee kunt u een ander onderwerp, een andere afzender en een of meer ontwerpelementen in de hoofdtekst van de e-mail selecteren en vervolgens de instellingen, inhoud of vormgeving van die elementen in de B-versie van het ontwerp wijzigen.
   • Voer een Testtitel in om de test te identificeren. Deze titel wordt weergegeven in het deelvenster A/B-test en de klantreis-e-mailtegel wanneer u kiest welke test moet worden uitgevoerd voor die reis

   

   Belangrijk

   U kunt slechts één nieuwe A/B-test tegelijk definiëren voor het bericht. Het is mogelijk om pas een nieuwe test toe te voegen nadat de vorige test is uitgevoerd.

   Notitie

   U kunt elke test slechts één keer uitvoeren, op één e-mailtegel in één reis. Zodra u een reis configureert om een test uit te voeren, kunt u die test niet selecteren voor andere e-mailtegels of reizen. Als u meerdere tests op één ontwerp wilt uitvoeren, voegt u een nieuwe test toe aan het deelvenster A/B-test zodra de vorige is uitgevoerd. Als u een A/B-test uit het bericht wilt verwijderen, selecteert u de prullenbakknop.

4. Er wordt nu een nieuwe test van het geselecteerde type toegevoegd aan de sectie Nieuw van het deelvenster A/B-test. Let op het volgende:

   • U kunt slechts één nieuwe test op een bepaald moment actief uitvoeren.
   • De sectie Actief van het deelvenster A/B-test toont zowel de momenteel uitgevoerde A/B-test als alle eerdere A/B-testen voor het bericht.
   • Selecteer een test in het deelvenster A/B-test om met die test te werken. Wanneer een test wordt geselecteerd, wordt deze uitgevouwen om de knoppen Versie A en Versie B weergegeven.
   • U kunt het type of de titel van de test wijzigen. De testtitel wordt weergegeven in de klantreis-e-mailtegel wanneer u kiest welke test moet worden uitgevoerd voor die reis.
   • Voor headertests tonen de parameters gestuurd door de door u geselecteerde test (onderwerp en naam bij Van) een pictogram A of een pictogram B om aan te geven wat u test en welke versie wordt weergegeven (en bewerkbaar is). Het pictogram wordt aangepast aan de versieknop die u hebt geselecteerd ( Versie A of Versie B ).
   • Voor tekst-tests toont elk element dat wordt getest een gekleurd kader eromheen (indien geselecteerd) dat overeenkomt met de kleur van de versieknop die u hebt geselecteerd (blauw voor versie A of roze voor versie B). Zie de volgende stap voor meer informatie over hoe u dit instelt.

   

5. Selecteer een test in het deelvenster A/B-test en selecteer vervolgens de knop Versie B. Voer een van de volgende procedures uit, afhankelijk van het type test dat u maakt:

   • Voor kopteksttests moeten de velden Onderwerp en Naam van afzender nu een pictogram B weergeven. Voer hier een nieuw onderwerp of Naam van afzender in.
   • Voor teksttests kunt u een element aan de test toevoegen door dit te selecteren op het canvas om het te markeren en vervolgens de knop A/B selecteren op het tabblad boven aan het gemarkeerde frame. Dit is een wisselknop, zodat u deze opnieuw kunt selecteren om een element uit de test te verwijderen.De knop heeft een witte achtergrond voor elementen die worden getest en toont een donkerblauwe achtergrond voor elementen die voor elke versie hetzelfde zijn. Voor geteste elementen geeft de framekleur de versie aan: lichtblauw voor versie A en donkerroze voor versie B. U kunt zoveel elementen toevoegen als u wilt, maar meestal is het een goed idee om slechts een paar elementen (of één element) tegelijk te testen.

   

6. Wijzig nu het ontwerp van de items die u hebt ingeschakeld voor testen. Voor tests op koptekst bewerkt u de juiste veldtekst. Voor tekst-tests kunt u de tekstinhoud bewerken voor tekstelementen of instellingen op het tabblad Eigenschap voor andere typen ontwerpelementen. U kunt heen en weer schakelen tussen versies met de knoppen Versie A en Versie B en doorgaan met het bewerken van elke versie terwijl deze wordt weergegeven.

   Notitie

   Zelfs nadat u A/B-testen hebt ingeschakeld, kunt u nog steeds delen van uw bericht bewerken die geen deel uitmaken van een test. Wanneer u dit doet, zijn uw bewerkingen van invloed op alle versies (de A-versie en alle B-versies), ongeacht welke test en versieknop op dat moment zijn geselecteerd. Maar als u een instelling bewerkt die is ingeschakeld voor testen, bewerkt u alleen de versie die is geselecteerd met de knoppen Versie A en Versie B. Vergeet niet dat de A-versie hetzelfde is voor alle tests, maar de B-versie is uniek voor elke test.

   Wees voorzichtig bij het toevoegen van nieuwe ontwerpelementen aan een bericht dat al een tekst-test heeft ingesteld. Zorg er nadat u dit hebt gedaan altijd voor dat uw nieuwe elementen volledig zijn gedefinieerd met de juiste inhoud en instellingen voor elke versie van elke test.

7. Wanneer u klaar bent met het instellen van uw ontwerpen en een nieuwe A/B-test, selecteert u Live gaan om uw bericht beschikbaar te maken voor gebruik met een klantreis.

Voorbereiden om uw test uit te voeren vanuit een klantreis

Wanneer uw e-mail klaar is om te testen, gebruikt u een klantreis om deze te verzenden. U kunt A/B-test-e-mails opnemen in elk type reis, ongeacht de complexiteit, en inclusief reizen die u in een productiecampagne gebruikt. De strategie is het verzenden van elk ontwerp naar een klein gedeelte van het volledige segment dat wordt getarget door de reis, wachten om te zien hoe deze ontvangers reageren op elke versie van het bericht en vervolgens het best presterende bericht verzenden naar de rest van het segment. U kunt kiezen wat de winnende voorwaarden zijn (de meeste klikken of het meeste geopend) en ook hoe lang de test moet worden uitgevoerd.

Belangrijk

Als u betrouwbare testresultaten wilt produceren, moet u altijd elke versie (A en B) naar een minimum van 100 ontvangers sturen voordat het systeem een winnaar kan kiezen. Een standaard aanbevolen Setup gebruikt een segment van 1000 leden (of meer), met een testdistributie die versie A naar 10% van het segment verzendt, versie B naar een andere 10% verzendt en vervolgens het winnende ontwerp naar de resterende 80% verzendt.

Het is mogelijk om een A/B-test uit te voeren met slechts één of enkele ontvangers voor elke versie, maar dit kan vaak resulteren in een ongelijke of niet-willekeurige distributie van versies en onbetrouwbare eindresultaten. We raden u aan dit alleen te doen tijdens het experimenteren met de functie.

Een A/B-test toevoegen aan een reis:

1. Stel uw reis zoals gebruikelijk in en zorg ervoor dat u een of meer e-mailtegels opneemt waar u uw A/B-test-e-mails kunt plaatsen.

2. Selecteer een e-mailtegel die wordt opgenomen in uw reispijplijn en open het tabblad Eigenschappen in het zijpaneel om te beginnen met het configureren van de tegel.

3. Selecteer In het veld Marketing-e-mail in het deelvenster Eigenschappen het e-mailbericht dat u hebt ingesteld voor A/B-tests. Houd er rekening mee dat wanneer een bericht waarvoor een A/B-test is ontworpen, de tegel de pictogrammen A en B weergeeft in de hoek. Deze worden nu grijs weergegeven omdat u de test voor deze tegel nog niet hebt ingesteld (ze worden blauw als u de test hebt ingeschakeld).

   

4. Schuif omlaag in het deelvenster Eigenschappen totdat u de schakelaar A/B-tests ziet en selecteer deze om de test in te schakelen. Hiermee opent u de A/B-testinstellingen.

   

   Notitie

   Als u een e-mailbericht met A- en B-ontwerpen selecteert, maar geen A/B-testen voor de tegel inschakelt, wordt versie A naar alle geadresseerden verzonden.

5. Maak de volgende instellingen om de test in te stellen:

   • A/B-test kiezen: uw geselecteerde e-mailontwerp moet ten minste één test hebben ingesteld die niet is gebruikt, maar het kunnen er meer zijn. Selecteer de naam van de test die u voor deze tegel wilt uitvoeren. U kunt maximaal één test tegelijk uitvoeren.
   • A/B-distributie: stel de schuifregelaar in om te kiezen hoeveel contactpersonen (als percentage van het totale aantal contactpersonen in het doelsegment) u in de test wilt opnemen. De helft van de testdoelgroep ontvangt versie A en de andere helft ontvangt versie B. Alle testcontactpersonen en de versies die ieder ontvangt, worden willekeurig geselecteerd.
   • Winnend metrisch gegeven: kies of u het winnende ontwerp wilt bepalen op basis van de klikfrequentie (hoe vaak een ontvanger op een koppeling in het bericht heeft geklikt) of op de openfrequentie (hoe vaak een ontvanger het bericht heeft geopend). In elk geval is de winnaar de versie die de meeste klikken of geopende e-mails heeft opgeleverd als een percentage van het totale aantal keren dat de versie is verzonden.
   • Testduur: gebruik deze instellingen om vast te stellen hoe lang de test moet worden uitgevoerd. Voor de beste resultaten raden we aan elke test uit te voeren voor ten minste 24 uur of langer indien mogelijk, vooral als u een wereldwijd publiek hebt (ter compensatie van tijdzones). Aan het einde van deze tijd zal het systeem de resultaten analyseren en het winnende ontwerp naar de resterende contacten in het segment sturen. Contactpersonen die het 'verliezende' ontwerp hebben ontvangen, krijgen niet alsnog het winnende toegestuurd.
   • Als de resultaten meerduidig zijn, verzendt u: kies wat er moet gebeuren als de test geen duidelijke winnaar oplevert. In dit geval kunt u ervoor kiezen om versie A, versie B of een willekeurige 50/50-splitsing van beide versies naar alle resterende contactpersonen te verzenden.

   Notitie

   De winnaar wordt geselecteerd op behulp van een nulhypothese. Voor grote sets met minimaal 1.000 contacten moet het betrouwbaarheidsniveau voor de winnende variant minimaal 95% zijn. In kleinere sets hoeft het betrouwbaarheidsniveau slechts 80% te zijn. Als de varianten verschillen door een relatief klein aantal contacten, zullen de testresultaten waarschijnlijk als onduidelijk worden beschouwd.

   Met andere woorden, de winnaar van een A/B-test is niet automatisch de variant met meer contacten. In plaats daarvan is de winnaar de variant die een statistisch significant resultaat laat zien.

6. Voltooi het instellen van uw reis zoals gebruikelijk en ga dan live.

De levenscyclus van uw A/B-tests bewaken

Elke test die voor een bepaald e-mailbericht is gedefinieerd, kan slechts eenmaal worden uitgevoerd. Zodra een test begint te worden verwerkt door een klantreis, of is verwerkt, kunt u deze niet meer gebruiken met andere klantreis. Als gevolg hiervan kunt u soms proberen een A/B-test in te stellen voor een e-mailtegel in een klantreis en merken dat u de tekst die u wilt uitvoeren, niet kunt selecteren. In dit geval kunt u gewoon een andere test toevoegen.

Als u de uitvoeringsstatus van elke A/B-test wilt weergeven die in een e-mailbericht is gedefinieerd, opent u het bericht en vouwt u het deelvenster A/B-test uit. Elke test die beschikbaar is voor het bericht, wordt vermeld onder de volgende koppen. Elke kop bevat een knop voor uitvouwen/samenvouwen om de tests in elke categorie te kunnen weergeven of verbergen.

• Concept: dit zijn tests die nog niet zijn uitgevoerd, zodat u nog steeds de instellingen ervan kunt bewerken en ze kunt kiezen bij het configureren van een e-mailtegel voor een klantreis.
• Gepland: dit zijn tests die al zijn ingesteld om te worden uitgevoerd door een klantreis, maar die reis is nog niet is gestart. De instellingen ervan zijn vergrendeld en u kunt ze niet uitvoeren in een andere klantreis.
• In uitvoering: dit zijn tests die momenteel worden uitgevoerd. De instellingen ervan zijn vergrendeld en u kunt ze niet uitvoeren in een andere klantreis.
• Voltooid: dit zijn tests die zijn voltooid en niet opnieuw kunnen worden gebruikt. Als u de resultaten wilt weergeven, gaat u naar de klantreis waar u de test hebt uitgevoerd.

Uw resultaten inspecteren

U kunt de voortgang en resultaten van uw A/B-tests op elk gewenst moment controleren door de e-mailtegels van uw klantreis te onderzoeken. Hiervoor doet u het volgende:

1. Open de klantreis.

2. Selecteer de e-mailtegel waar u een A/B-test uitvoert.

3. Schuif omlaag naar de onderkant van het deelvenster Gegevens voor de geselecteerde e-mailtegel. Hier ziet u een scherm met de naam van de test, het percentage contactpersonen waarnaar u elke versie hebt verzonden (inclusief de winnende versie), hoeveel tijd er nog over is in de test en welk ontwerp tot winnaar is verklaard (mits de test is voltooid).

   

4. Selecteer hier de koppeling Details weergeven om nog meer informatie over de testresultaten te krijgen. Hiermee opent u een dialoogvenster waarin KPI's voor elk ontwerp uit de test worden weergegeven. Raadpleeg Verklarende woordenlijst voor inzichten voor meer informatie over e-mail-KPI's en hoe u deze interpreteert.

   

U kunt de resultaten van een A/B-test bekijken door het bericht zelf te openen. Hier kunt u het deelvenster A/B-test openen, de categorie Voltooid van tests uitvouwen en de knop Inzichten testen voor de test die u wilt zien.

A-versie vervangen door de B-versie nadat een test is voltooid

Ongeacht de resultaten van een A/B-test blijft versie A de standaardversie van het bericht. Toekomstige tests worden uitgevoerd op basis van versie A en bij alle reizen waarin geen A/B-test wordt uitgevoerd, wordt versie A naar iedereen verzonden. Daarom, en vooral als versie B een test wint, kunt u overwegen om van die B-versie de nieuwe A-versie te maken.

Let op

Wanneer u versie A vervangt door versie B, wordt versie A definitief verwijderd en vervangen door versie B van de geselecteerde test. U kunt dit niet ongedaan maken.

Versie A vervangen door versie B van een geselecteerde test:

1. Open het bericht waarin de A/B-test is voltooid.

2. Vouw het deelvenster A/B-test uit om de lijst met tests te bekijken.

3. Vouw de categorie Voltooid uit in het deelvenster A/B-test.

4. Selecteer de test waarbij de B-versie de test is waarvan u de nieuwe A-versie wilt maken en selecteer de knop Vervangen door versie B.

   

5. U wordt gevraagd de actie te bevestigen. Als u zeker weet dat u wilt doorgaan, bevestigt u en slaat u het bericht op.