Design og kør A/B-test på dine maildesigns

Vigtigt!

Denne artikel gælder kun for udgående marketing.

Brug e-mail A/B-testen til at finde ud af, hvilke af to lignende design der sandsynligvis er det mest velegnede, og send derefter automatisk det vindende design til den resterende del af publikum. Du starter med at oprette et kontroldesign ("A"-versionen) og bruger det derefter som udgangspunkt til at oprette en "B"-version af designet, hvor du har ændret en lille del af det (f.eks. som et emne eller et billede). Kør til sidst testen som en del af et kundekampagneforløb.

Forløbet kører automatisk hele test. Den starter med at sende version A til en lille del af dit segment (f.eks. 10 % af kontaktpersonerne, som er tilfældigt udvalgt), samtidig med at du også sender version B til en anden del af segmentet (typisk 10 %). Den venter i en af dig defineret periode (f.eks. 24 timer) og analyserer derefter interaktionsresultaterne og vælger en vinder baseret på de valgte kriterier (f.eks. de mest åbnede). Forløbet sender derefter det vindende design til resten af segmentet (de resterende 80 %) automatisk.

Opret en marketingmail til A/B-test

Hvis du vil konfigurere en A/B-test, skal du starte med at oprette dit kontroldesign (dette vil være A-versionen) og derefter oprette en B-version, hvor en lille del af designet er ændret. Hver A/B-test tillader kun én type ændring (f.eks. sidehoved, brødtekst eller komplet indhold).

Bemærk

Du kan kun definere én ny A/B-test for det samme design. Du skal vente, indtil A/B-testen er udført, før du opretter en ny test.

Sådan konfigureres A- og B-designs til en meddelelse:

1. Opret dit første (kontrol)design, som du plejer, som beskrevet i Opret en ny e-mail og design indholdet. Gør designet så perfekt som muligt, og sørg for at tjekke det for fejl for at sikre, at mailen kan udsendes.

2. Når du er færdig med A-designet, kan du benytte en af følgende fremgangsmåder:

   • Vælg knappen A/B-test i øverste højre hjørne i e-mail-editoren for at åbne A/B-testpanelet.
   • Hvis du endnu ikke har defineret en test for denne mail, skal du vælge knappen Tilføj test i A/B-testpanelet.
   • Hvis du allerede har defineret en test, kan du ændre versionerne A og B ved at skifte mellem versionerne.

   

3. Parametrene for den nye test vises. Gør følgende:

   • Indstil Testtype til en af følgende: - Overskrift (emne, afsender af e-mail): Giver dig mulighed for at vælge et andet emne eller et andet afsendernavn for B-versionen af designet. Modtagerne får vist afsendernavnet som navnet på afsenderen af meddelelsen. Dette ændrer ikke den faktiske afsenderadresse, som forbliver den samme i begge versioner. - Brødtekst: Du kan vælge et eller flere designelementer i mailbrødteksten og derefter ændre elementernes indstillinger, indhold eller udseende i B-versionen af designet. - Komplet indhold: Du kan vælge forskellige emner, afsendernavne og et eller flere designelementer i mailbrødteksten og derefter ændre elementernes indstillinger, indhold eller udseende i B-versionen af designet.
   • Angiv en Testtitel for at identificere testen. Denne titel vises i panelet A/B-test og i kundekampagneforløbets mailfelt, når du vælger, hvilken test der skal køres for dette kampagneforløb.

   

   Vigtigt

   Du kan kun definere én ny A/B-test for den samme meddelelse ad gangen. Det er kun muligt at tilføje en ny test, når den forrige test er udført.

   Bemærk

   Du kan køre hver enkelt test én gang, på ét mailfelt, på ét forløb. Så snart du konfigurerer et kampagneforløb til kørsel af en test, kan du ikke vælge den pågældende test for andre mailfelter eller kampagneforløb. Hvis du vil køre flere test på et enkelt design, skal du tilføje en ny test til panelet A/B-test, når den tidligere test er udført. Hvis du vil fjerne en A/B-test fra meddelelsen, skal du vælge skraldespandsknappen.

4. En ny test af den valgte type tilføjes nu til afsnittet Ny i panelet A/B-test. Bemærk følgende:

   • Du kan kun have én ny test aktiveret på et givent tidspunkt.
   • I afsnittet Aktiv i panelet A/B-test vises både de aktuelle A/B-test og alle de tidligere A/B-test for meddelelsen.
   • Vælg en test fra panelet A/B-test for at arbejde med den pågældende test. Når en test er valgt, udvides den til at vise knapperne Version A og Version B for at arbejde med den pågældende test.
   • Du kan ændre typen eller titlen på testen. Testtitlen vises i mailfeltet med kundekampagneforløbet, når du vælger, hvilken test der skal køres for dette kampagneforløb.
   • For headertests, viser parametre, der styres af din valgte test (emne og "Fra" navn), enten et A-ikon eller et B-ikon for at angive, hvad du tester, og hvilken version der vises (og redigeres). Ikonet ændres, så det svarer til den versionsknap, du har valgt ( Version A eller Version B ).
   • I forbindelse med test af brødtekst viser hvert element, der testes, en farvet ramme omkring det (når det er markeret), der svarer til farven på den knap, du har valgt (blå for Version A eller lyserød for Version B). Se det næste trin for at få mere at vide om, hvordan du konfigurerer det.

   

5. Vælg en test fra panelet A/B-test, og tryk derefter på knappen Version B. Gør et af følgende, afhængigt af hvilken type test, du laver:

   • I forbindelse med test af overskrift bør feltet Emne og Fra navn nu vise ikonet B. Angiv et nyt emne eller afsendernavn her.
   • Hvis du vil føje et element til testen af brødtekst, skal du vælge det på lærredet for at markere det og derefter vælge knappen A/B på fanen øverst i den fremhævede ramme. Dette er en til-/fra-knap, så du kan vælge den igen for at fjerne et element fra testen. Den viser en hvid baggrund for de elementer, der afprøves, og en mørkeblå baggrund for elementer, der er identiske for de enkelte versioner. I forbindelse med testede elementer angiver rammefarven versionen: lyseblå for version A og mørk lyserød for version B. Du kan tilføje så mange elementer, der skal testes, men det er som regel bedst kun at teste nogle få elementer (eller ét element) ad gangen.

   

6. Nu skal du ændre designet af de elementer, du har angivet skal testes. I forbindelse med test af overskrifter kan du redigere teksten i det relevante felt, og i relation til test af brødtekst kan du redigere tekstindhold for tekstelementer eller indstillingerne for fanen Egenskaber for andre typer af designelementer. Du kan skifte frem og tilbage mellem versionerne ved at anvende knapperne Version A og Version B og fortsætte med at redigere hver enkelt version, mens den vises.

   Bemærk

   Selv om du har aktiveret en A/B-test, kan du stadig redigere de dele af meddelelsen, der ikke er en del af nogen test. Når du gør det, har ændringerne indvirkning på alle versioner (A-versionen og alle B-versioner), uanset hvilken test og versionsknap, du har valgt. Men hvis du redigerer en indstilling, der er angivet til at skulle testes, redigerer du kun den valgte version ved at anvende knapperne Version A og Version B. Husk, at A-versionen er den samme for alle test, men at B-versionen er unik for hver test.

   Vær forsigtig, når du føjer nye designelementer til en meddelelse, hvor der allerede er konfigureret en brødtekst test. Når du har gjort dette, skal du altid sørge for, at de nye elementer er fuldt defineret med det korrekte indhold og de enkelte indstillinger for hver enkelt version af testen.

7. Når du er færdig med at oprette dine designs og en ny A/B-test, skal du vælge Gå live for at gøre din meddelelse tilgængelig til brug sammen med et kundekampagneforløb.

Forbered for at udføre din test fra et kundekampagneforløb

Når din mail er klar til test, kan du sende den ved hjælp af et kundekampagneforløb. Du kan inkludere A/B-tests af mails i enhver type forløb, uanset kompleksiteten, og inkludere forløb, som du bruger i en produktionskampagne. Strategien er at sende hvert design til en lille del af hele segmentet, der målrettes mod i forløbet, vente og se, hvordan modtagerne reagerer på de enkelte versioner af meddelelsen, og derefter sende den meddelelse, der klarer sig bedst, til resten af segmentet. Du kan vælge, hvad betingelserne er for at vinde (flest klik eller flest åbninger), og hvor længe testen skal køres.

Vigtigt

Hvis du vil opnå pålidelige testresultater, skal du altid sende de enkelte versioner (A og B) til minimum 100 modtagere, før du lader systemet vælge en vinder. En typisk anbefalet konfiguration benytter et 1.000-medlemssegment (eller større) med en testfordeling, der sender version A til 10 % af segmentet, version B til en anden 10 %, og derefter sender det vindende design til de resterende 80 %.

Det er muligt at køre en A/B-test med kun én eller få modtagere for hver version, men det kan ofte resultere i en ulige eller ikke-tilfældig distribution af versionerne og upålidelige slutresultater. Vi anbefaler, at du kun gør dette, når du eksperimenterer med funktionen.

Sådan føjer du en A/B-test til et forløb:

1. Konfigurer dit forløb som normalt, og sørg for at inkludere ét eller flere mailfelter, hvor du kan placere dine A/B-tests af mails.

2. Vælg et mailfelt for at inkludere den i pipelinen for dit kampagneforløb, og åbn fanen Egenskaber på sidepanelet for at begynde at konfigurere feltet.

3. I feltet Marketingmail på panelet Egenskaber skal du vælge den mail, du har konfigureret til A/B-test. Bemærk, at når der er designet en A/B-test for en meddelelse, vises ikonerne A og B i hjørnet af feltet. Ikonerne vises indtil videre i grå, fordi du ikke har konfigureret testen for dette felt endnu (de bliver blå, når du har aktiveret testen).

   

4. Rul ned på panelet Egenskaber, indtil du ser skifteren for A/B-test, og tryk derefter på den for at slå testen til. Indstillingerne for A/B-test åbnes nu.

   

   Bemærk

   Hvis du vælger en mail, der har et A- og et B-design, men ikke aktiverer A/B-testen for feltet, sendes version A til alle modtagere.

5. Vælg de følgende indstillinger for at konfigurere testen:

   • Vælg A/B-test: Dit valgte maildesign skal have konfigureret mindst én test, som ikke er blevet kørt, men det kan være flere. Vælg navnet på den test, du vil køre på dette felt. Du kan højst køre én test ad gangen.
   • A/B-fordeling: Angiv ved hjælp af skyderen, hvor mange kontakter (som en procentdel af det samlede antal kontakter i målsegmentet) du vil gerne vil medtage i testen. Halvdelen af testmodtagerne vil modtage version A, og den anden halvdel modtager version B. Alle testkontaktpersoner, og de versioner, hver enkelt modtager, vælges tilfældigt.
   • Vindende metrik: Vælg, om du vil bestemme det vindende design ud fra klikraten (hvor ofte en modtager klikker på et link i meddelelsen) eller åbningsraten (hvor ofte en modtager har åbnet meddelelsen). I hvert enkelt tilfælde er vinderen den version, der har genereret flest klik eller åbninger i forhold til det samlede antal gange, versionen blev sendt.
   • Testvarighed: Brug disse indstillinger til at fastlægge, hvor længe testen skal køre. For at opnå de bedste resultater anbefaler vi at køre hver test i mindst 24 timer eller længere, hvis der er mulighed for det. Især hvis din målgruppe er verdensomspændende (for at kompensere for tidszoner). I slutningen af denne periode analyserer systemet resultaterne og sender det vindende design til de resterende kontakter i målgruppen. De kontakter, der modtog det "tabende" design, får ikke tilsendt mailen igen i det vindende design.
   • Hvis resultaterne ikke giver nogen konklusion, skal du sende: Vælg, hvad du vil gøre, hvis testen ikke viser en klar vinder. I dette tilfælde kan du vælge at sende version A, version B eller en vilkårlig 50/50-fordeling af begge versioner til alle de tilbageværende kontakter.

   Bemærk

   Vinder vælges ved hjælp af en null-hypotese. For store sæt med mindst 1.000 kontakter skal tillidsniveauet for den vindende version være mindst 95 %. I mindre sæt kan tillidsniveauet være helt nede på 80 %. Hvis varianterne adskiller sig med et lille antal kontakter, vil testresultaterne sandsynligvis blive fundet ufyldestgørende.

   Med andre ord er vinder af en A/B-test ikke automatisk den alternative version med flere kontakter. I stedet er vinder den version, der viser et statistisk betydeligt resultat.

6. Afslut forløbet som sædvanlig, og gå derefter live.

Overvåg livscyklussen for dine A/B-test

Alle test, der er defineret for en bestemt e-mail-meddelelse, kan kun køres én gang. Så snart en test begynder at blive behandlet af et kundekampagneforløb eller er blevet behandlet, kan du ikke bruge den igen med andre kundekampagneforløb. Derfor kan du til tider prøve at konfigurere en A/B-test for et e-mail-felt i en kundekampagneforløb og vil blive overrasket, når du ikke kan vælge den test, du vil køre. I så fald kan du blot tilføje endnu en test.

Hvis du vil have vist kørselsstatus for hver A/B-test, der er defineret i en e-mail-meddelelse, skal du åbne meddelelsen og udvide panelet A/B-test. Hver test, der er tilgængelig for meddelelsen, vises under en af følgende overskrifter. De enkelte overskrifter indeholder knappen Udvid/skjul til visning eller skjulning af testene i de enkelte kategorier.

• Kladde: Disse angiver test, der ikke er kørt endnu, så du kan stadig redigere deres indstillinger og vælge dem, når du konfigurerer et e-mail-felt til en kundekampagneforløb.
• Planlagt: Det er test, der allerede er indstillet til at blive kørt af et kundekampagneforløb, men forløbet er endnu ikke startet. Deres indstillinger er låst, og du kan ikke køre dem i andre kundekampagneforløb.
• Igangværende: Disse test er ved at blive kørt i øjeblikket. Deres indstillinger er låst, og du kan ikke køre dem i andre kundekampagneforløb.
• Udført: Disse test er fuldført og kan ikke bruges igen. For at se resultaterne skal du gå til det kundekampagneforløb, hvor du har kørt testen.

Inspicer dine testresultater

Du kan til enhver tid tjekke fremgangen og resultaterne af dine A/B-tests ved at undersøge mailfelterne for dit kundekampagneforløb. Sådan gør du:

1. Åbn kundekampagneforløbet.

2. Vælg det mailfelt, hvor du kører en A/B-test.

3. Rul ned til bunden af panelet Data for det valgte mailfelt. Her kan du se en visning af navnet på testen, procentdelen af kontaktpersoner, som du har sendt de enkelte versioner til (herunder den vindende version), hvor lang tid der er tilbage af testen, og hvilket design der blev udnævnt til vinder (forudsat at testen er fuldført).

   

4. Vælg linket Vis detaljer her for at få endnu flere oplysninger om testresultaterne. Der åbnes en dialogboks, der viser hvor nøgletal vises for hvert design i testen. Du kan finde flere oplysninger om nøgletal for mails, og hvordan du fortolker dem, i indsigtsordlisten.

   

Du kan også se resultaterne af en A/B-test ved at åbne selve meddelelsen. Herfra skal du åbne panelet A/B-test, udvide Udført-kategorien for test og vælge knappen Test indsigt for den test, du vil have vist.

Erstatte A-versionen med B-versionen, når en test er fuldført

Uanset resultaterne af en A/B-test er version A stadig standardversionen af meddelelsen. Fremtidige test vil fortsætte med at teste version A, og alle forløb, der ikke kører en A/B-test, sender version A til alle. Derfor, og især hvis version B vinder en test, kan det være en god ide at sørge for, at B-versionen bliver den nye A-version fremover.

Advarsel

Når du erstatter version A med version B, slettes version A permanent, og den erstattes med version B fra den valgte test. Dette kan ikke fortrydes.

Sådan erstattes version A med version B fra en valgt test:

1. Åbn den meddelelse, hvor A/B-testen er fuldført.

2. Udvid panelet A/B-test for at få vist listen over test.

3. Udvid Udført-kategorien af testene i panelet A/B-test.

4. Vælg den test, hvor B-versionen er den, du vil gøre til den nye A-version, og vælg knappen Erstat med version B.

   

5. Du bliver bedt om at bekræfte handlingen. Hvis du er sikker på, at du vil fortsætte, skal du bekræfte og derefter gemme meddelelsen.