A/B-test i Dynamics 365 Customer Insights - Journeys

Customer Insights - Journeys bruger effektive A/B-test til at undersøge dine udløserbaserede kundekampagneforløb, så du kan få indsigt i, hvordan du bedst når ud til dine kunder.

Ved at bruge A/B-test kan du måle, hvilken kanal eller indholdsmeddelelsesstrategi der giver større succes. Hver test sammenligner en kontrolgruppe af brugere (version A) med en variant (version B). Kontrolgruppen får en standardoplevelse. Variantgruppen får en anden oplevelse eller meddelelse. Ved at sammenligne resultaterne af grupperne kan du bestemme, hvilken der er den mest effektive.

Eksempel 1: Oprettelse af en A/B-test for udløserbaserede udløsere

Forestil dig, at du vil teste to forskellige mails på en udløserbaseret hændelse, der aktiveres, når en person gennemfører et køb.

1. Opret dit oprindelige indhold i maileditoren som normalt. Gør indholdet perfekt, og sørg for at tjekke det for fejl for at sikre, at mailen kan udsendes.

2. Når dit indhold er klar, skal du gå til Customer Insights - Journeys>Engagement>Kampagneforløb og vælge et eksisterende kampagneforløb eller oprette et nyt.

3. Når du har valgt et kampagneforløb, skal du vælge plustegnet (+) for at tilføje et element og derefter gøre følgende:

   • Vælg Test, hvilken afvigelse der fungerer bedre.
   • Vælg de kanaler, du vil teste. I dette eksempel vil du teste to mails: vælg én for version A og én for version B, og vælg derefter Opret test.

4. Når du vælger A/B-testfelt, åbnes sideruden.

   

   Ruden indeholder følgende parametre:

   • Visningsnavn: For at identificere testen skal du angive et navn. Dette navn vises i A/B-testpanelet og i kundekampagneforløbsanalyser, når du ser på, hvilke test der kører.
   • Versioner: Vælg indholdet til den kanal, du har forberedt i trin 1 (i dette tilfælde de to mails, du vil teste). Du kan gøre dette via en rulleliste ved enten at vælge de underordnede felter i kampagneforløbsbyggeren eller ved at foretage et valg på sidepanelet.
   • Første publikum: Dette er den publikum gruppe, du vil holde tilbage fra A/B-testen, før du får resultaterne. Denne indstilling er kun tilgængelig for segmentbaserede brugere, da du allerede har et samlet antal kunder, der kan hjælpe dig med at beslutte, hvor mange du vil holde tilbage. Udløserbaserede brugere har ikke denne indstilling, når kunderne angiver dem, når de fuldfører en handling. Det samlede antal kunder, der kommer ind i kundekampagnen, er derfor ukendt.
   • Eksperimentere fordeling: Vælg den målgruppefordeling, du vil bruge. Skyderen er automatisk på 50-50, men du kan indstille skyderen til den ønskede fordeling. Det mindste, en version kan modtage, er 10 %, og maksimum er 90 %. Husk, at version A traditionelt set er din kontrolgruppe, og version B er din variant.
   • Vindende metrik: Du kan indstille vinderbetingelsen for din test ved at vælge en vindende metrik: Den version, hvor flest hændelser for kampagneforløbets mål er nået, flest klik eller flest åbninger. I dette tilfælde vil du øge dine åbne priser, så du kan vælge indstillingen for åben hastighed.
   • Denne test slutter: Du kan også vælge mellem at afslutte testen automatisk eller på en bestemt dato og et bestemt klokkeslæt. Lad testen afgøre, om der automatisk er en vinder, når resultaterne er statistiske. Det betyder, at når der er fundet en klar vinder, med 80-95 procent tillid, sender systemet den vindende version til resten af din målgruppe. Den tabende version kasseres. Hvis du vælger statistiske oplysninger som en mulighed for at afslutte A/B-testen, men der ikke er en klar vinder efter 30 dage, sendes standardversionen automatisk.
   • Standardversion: Til sidst skal du vælge en standardversion i tilfælde af, at testen ikke afsluttes korrekt. I de tilfælde, hvor en vinder ikke er blevet bestemt inden den deadline, der er angivet på dato og klokkeslæt, sendes standardversionen automatisk.

5. A/B-testen skal se sådan ud, når du konfigurerer det hele, og du er klar til at udgive opslaget:

   

Eksempel 2: Oprettelse af en A/B-test for segmentbaserede udløsere

Forestil dig, at du vil oprette et velkomstprogram, hvor du byder nye medlemmer velkommen, der er tilmeldt dit loyalitetsprogram i denne måned. Du vil forøge åbningshastigheden ved at teste to forskellige emnelinjer.

Du fuldfører trin 1-3 i det første eksempel, men du vil se, at sideruden ser anderledes ud. Det skyldes, at med segmentbaserede kundeforløb har du et samlet antal kunder til at begynde med; Det giver dig mulighed for at oprette to typer A/B-test.

1. A/B-test uden kontrolgruppe: Denne A/B-test fungerer på samme måde som udløserbaserede tragte, hvor kunderne tragter gennem testen, når de kommer, til en vinder er fundet.

   

2. A/B-test med en kontrolgruppe: Det giver dig mulighed for at fortælle systemet nøjagtigt, hvor mange kunder du vil teste på. Segmentet har f.eks. 100 loyalitetsmedlemmer, og derefter vil du først teste for 20 procent eller 20 medlemmer, hvor hver version modtager henholdsvis 10 medlemmer. Efter A/B-testen modtager de resterende 80 medlemmer den vindende version. Du kan altid justere den første målgruppe og distributionen til dine præferencer.

   

I dette eksempel skal vi bruge A/B-test med en kontrolgruppe. Alle de andre indstillinger er de samme som i eksempel 1.

Overvåg livscyklussen for dine A/B-test

Når du har udgivet testen, kan du åbne den for at spore testens livscyklus.

• Kladde: Disse test er ikke blevet kørt endnu, så du kan stadig redigere indstillingerne.
• Igangværende: Disse test er ved at blive kørt. Indstillingerne er låst, og du kan ikke foretage væsentlige ændringer.
• Standset: Disse test standses, og marketingmedarbejderen kan vælge, hvilken version der skal sendes.
• Afsluttet: Disse tests blev afsluttet ved at finde en statistisk signifikant vinder eller ved timeout, når den er planlagt til at slutte på en bestemt dato og et bestemt tidspunkt. Afsluttede test kan ikke genbruges.

Forstå dine resultater

Der er tre mulige udfald af A/B-testresultater:

• Test afsluttet med en klar vinder: Testen konkluderede, at den ene version klarer sig bedre end den anden. Den vindende version har et "vinder"-badge og distribueres til alle nye kunder, der går gennem kampagneforløbet.
• Testen var ikke afgørende: Testen konkluderede, at modtagerne er lige så tilbøjelige til at engagere sig i version A som i version B. I dette tilfælde sendes standardversionen til alle nye kunder, der går gennem kampagneforløbet.
• Testen blev stoppet: Dette betyder, at du eller en af dine kolleger stoppede testen, før den kunne afsluttes. I dette tilfælde sendes den version, der er angivet af dig eller din kollega, til alle nye kunder, der går gennem rejsen.

OFTE STILLEDE SPØRGSMÅL

1. Hvorfor er min A/B-testaflæsning ikke entydig, når det klart lader til, at én version klarer sig bedre end en anden?
   • Hvis en stor publikum med mindst 1.000 kunder, skal tillidsniveauet for den vindende version være mindst 95 procent. I en publikum kan sikkerhedsniveauet være helt nede på 80 procent. Hvis du har det bedre med mindre sikkerhed, eller du tester på en publikum, der er mindre end 1.000, har du altid mulighed for at afslutte testen tidligt og sende den version, du er mest tilfreds med.
2. Kan jeg få en A/B-test med mere end to versioner?
   • Ikke i øjeblikket.
3. Hvorfor kan jeg ikke se kontrolelementgruppeindstillingen for segmentbaserede opdelinger?
   • Hvis du har sat en attributgren eller et felt, der ændrer det samlede antal i segmentet, forsvinder indstillingen for kontrolgruppen, fordi systemet ikke ved, hvor mange kunder der skal holdes tilbage, før testen er fuldført.
4. Hvorfor slutter min test uventet?
   • Hvis du vælger at afslutte testen med statistiske oplysninger, forsøger systemet at få en vinder inden for de første 30 dage fra det tidspunkt, hvor testen udgives. Hvis der ikke angives en vinder, slutter testen, og standardversionen sendes til den resterende målgruppe.