A/B-tests in Dynamics 365 Customer Insights - Journeys

Customer Insights - Journeys maakt gebruik van krachtige A/B-tests om uw op triggers gebaseerde klantreizen te onderzoeken, zodat u inzicht krijgt in hoe u uw klanten het best kunt bereiken.

Met A/B-tests kunt u meten welk kanaal of welke strategie voor inhoudsberichten tot meer succes leidt. Elke test vergelijkt een controlegroep van gebruikers (versie A) met een variant (versie B). De controlegroep krijgt een standaardervaring. De variantgroep krijgt een andere ervaring of een ander bericht. Door de resultaten van de groepen te vergelijken, kunt u bepalen welke het meest effectief is.

Voorbeeld 1: Een A/B-test maken voor op triggers gebaseerde reizen

Laten we ons voorstellen dat u twee verschillende e-mails wilt testen op een op triggers gebaseerd traject dat wordt geactiveerd wanneer iemand een aankoop voltooit.

1. Maak zoals gewoonlijk uw eerste inhoud in de e-maileditor. Perfectioneer de inhoud en controleer deze op fouten om er zeker van te zijn dat deze in gebruik kan worden genomen.

2. Wanneer uw inhoud er klaar voor is, gaat u naar Customer Insights - Journeys>Interactie>Reizen en selecteert u een bestaande reis of maakt u een nieuwe.

3. Nadat u een reis hebt geselecteerd, selecteert u het plusteken (+) om een element toe te voegen en gaat u als volgt te werk:

   • Selecteer Testen welke variatie beter presteert.
   • Selecteer de kanalen die u wilt testen. In dit voorbeeld gaat u twee e-mails testen: selecteer er een voor versie A en een voor versie B en selecteer vervolgens Test maken.

4. Wanneer u de A/B-testtegel selecteert, wordt het zijvenster geopend.

   

   Het deelvenster bevat de volgende parameters:

   • Weergavenaam: voer een naam in om uw test te identificeren. Deze naam wordt weergegeven in het A/B-testpaneel en in de klantreisanalyse wanneer u bekijkt welke tests worden uitgevoerd.
   • Versies: kies de inhoud voor het kanaal dat u in stap één hebt voorbereid (in dit geval de twee e-mails die u wilt testen). U kunt dit doen via een vervolgkeuzelijst door de onderliggende tegels in de functie voor het maken van reizen te selecteren of door een selectie te maken in het zijvenster.
   • Initiële doelgroep: Dit is de doelgroep die u zou willen tegenhouden voor de A/B-test voordat u de resultaten krijgt. Deze optie is alleen beschikbaar voor op segmenten gebaseerde reizen, aangezien u al een totaal aantal klanten hebt die u helpen beslissen hoeveel u wilt tegenhouden. Op triggers gebaseerde reizen hebben deze optie niet, aangezien klanten binnenkomen wanneer ze een actie voltooien. Hierdoor is het totale aantal klanten dat de reis ingaat onbekend.
   • Experimentdistributie: Kies de gewenste doelgroepdistributie. De schuifregelaar staat automatisch op 50-50, maar u kunt de schuifregelaar instellen op de gewenste verdeling. Een versie kan minimaal 10 procent maximaal 90 procent ontvangen. Versie A is traditioneel uw controlegroep en versie B is uw variant.
   • Winnend metrisch gegeven: u kunt de winnende voorwaarde voor uw test instellen door een winnende statistiek te kiezen: de versie waarvoor het reisdoel het vaakst wordt gehaald, de versie met de meeste klikken of de versie met de meeste openingen. In dit geval wilt u uw openingspercentages verhogen, dus u kiest de optie openingspercentage.
   • Deze test eindigt: u kunt ook kiezen tussen het automatisch beëindigen van de test of de beëindiging op een specifieke datum en tijd. De test automatisch een winnaar laten bepalen wanneer de resultaten statistisch significant zijn. Dit betekent dat zodra er met 80-95 procent betrouwbaarheid een duidelijke winnaar is bepaald, de winnende versie naar de rest van uw doelgroep wordt verzonden. De verliezende versie wordt verwijderd. Als u statistische significantie kiest als optie om de A/B-test te beëindigen, maar er is na 30 dagen geen duidelijke winnaar, dan stuurt het systeem automatisch de standaardversie.
   • Standaardversie: kies ten slotte een standaardversie voor het geval de test niet slaagt. In gevallen waarin geen winnaar is bepaald door de opgegeven deadline via de datum en tijd, wordt de standaardversie automatisch verzonden.

5. De A/B-test zou er als volgt uit moeten zien tegen de tijd dat u alles configureert en klaar bent om de reis te publiceren:

   

Voorbeeld 2: Een A/B-test maken voor op segmenten gebaseerde reizen

Laten we ons voorstellen dat u een reis wilt maken om nieuwe leden te verwelkomen die zich deze maand bij uw loyaliteitsprogramma hebben aangesloten. U wilt uw openingspercentage verhogen door twee verschillende onderwerpregels te testen.

U voltooit stap één tot en met drie in het eerste voorbeeld, maar u zult merken dat het zijvenster er anders uitziet. Dit komt omdat u bij op segmenten gebaseerde trajecten om te beginnen een totaal aantal klanten hebt; hiermee kunt u twee soorten A/B-tests maken.

1. A/B-test zonder controlegroep: deze A/B-test gedraagt ​​zich vergelijkbaar met op triggers gebaseerde trajecten waarbij klanten de test doorlopen terwijl ze zich aandienen, totdat er een winnaar wordt bepaald.

   

2. A/B-test met een controlegroep: hiermee kunt u het systeem precies vertellen op hoeveel klanten u wilt testen. Als uw segment bijvoorbeeld 100 loyaliteitsleden heeft, wilt u eerst testen op 20 procent of 20 leden, waarbij elke versie respectievelijk 10 leden krijgt. Na de A/B-test ontvangen de overige 80 leden de winnende versie. U kunt de initiële doelgroep en de distributie altijd naar wens aanpassen.

   

Voor dit voorbeeld doen we een A/B-test met een controlegroep. Alle andere instellingen zijn hetzelfde als in voorbeeld één.

De levenscyclus van uw A/B-tests bewaken

Nadat u uw reis heeft gepubliceerd, kunt u deze openen om de levenscyclus van uw tests bij te houden.

• Concept: deze tests zijn nog niet uitgevoerd, dus u kunt de instellingen nog steeds bewerken.
• In uitvoering: dit zijn tests die momenteel worden uitgevoerd. De instellingen zijn vergrendeld en u kunt geen significante wijzigingen aanbrengen.
• Gestopt: deze tests worden gestopt en de marketeer kan kiezen welke versie hij wil verzenden.
• Beëindigd: dit zijn tests die zijn voltooid omdat een statistisch significante winnaar is gevonden of omdat de ingestelde datum en tijd voor beëindiging is bereikt. Beëindigde tests kunnen niet opnieuw worden gebruikt.

Uw resultaten begrijpen

Er zijn drie mogelijke A/B-testresultaten:

• Test afgesloten met een duidelijke winnaar: uit de test is gebleken dat de ene versie beter presteert dan de andere. De winnende versie heeft een winnaarsbadge en wordt verspreid naar de nieuwe klanten die de reis doorlopen.
• Test was meerduidig: uit de test kwam geen duidelijke winnaar tussen versie A en B naar voren. In dit geval wordt de standaardversie verzonden naar nieuwe klanten die de reis doorlopen.
• De test is gestopt: dit betekent dat u of een van uw collega's de test heeft gestopt voordat deze kon worden afgesloten. In dit geval wordt de door u of uw collega opgegeven versie verzonden naar nieuwe klanten die de reis doorlopen.

Veelgestelde vragen

1. Waarom geeft mijn A/B-test geen uitsluitsel wanneer de ene versie duidelijk beter lijkt te presteren dan de andere?
   • Voor een grote doelgroep met minimaal 1000 klanten moet het betrouwbaarheidsniveau voor de winnende variant minimaal 95 procent zijn. Met een kleinere doelgroep kan het betrouwbaarheidsniveau zo laag zijn als 80 procent. Als u een lager betrouwbaarheidsniveau goed vindt of als u test op een doelgroep die kleiner is dan 1000, hebt u altijd de mogelijkheid om de test voortijdig te beëindigen en de versie te sturen waarmee u het gelukkigst bent.
2. Kan ik een A/B-test laten doen met meer dan twee versies?
   • Op dit moment niet.
3. Waarom zie ik de controlegroepoptie voor op segmenten gebaseerde reizen niet?
   • Als u een kenmerkvertakking of een tegel plaatst die het totale aantal van het segment verandert, verdwijnt de controlegroepoptie omdat het systeem niet weet hoeveel klanten het moet tegenhouden totdat de test is voltooid.
4. Waarom eindigt mijn test onverwachts?
   • Als u ervoor kiest om de test met statistische significantie te beëindigen, probeert het systeem binnen de eerste 30 dagen vanaf het moment dat u de reis publiceert een winnaar te kiezen. Als geen enkele versie tot winnaar wordt uitgeroepen, eindigt de test en wordt de standaardversie naar de resterende doelgroep gestuurd.