A/B testy v Dynamics 365 Customer Insights - Journeys

Customer Insights - Journeys používa výkonné A/B testy na skúmanie vašich ciest zákazníkov na základe spúšťača, čo vám umožňuje získať prehľad o tom, ako najlepšie osloviť svojich zákazníkov.

Pomocou testov A/B môžete merať, ktorý kanál alebo stratégia odosielania správ s obsahom vedie k vyššiemu úspechu. Každý test porovnáva kontrolnú skupinu používateľov (verzia A) s alternatívnou (verzia B). Kontrolná skupina dostane predvolené prostredie. Alternatívna skupina dostane iné prostredie alebo správu. Porovnaním výsledkov skupín môžete určiť, ktorá je najúčinnejšia.

Príklad 1: Vytvorenie A/B testu pre cesty založené na spúšťači

Predstavme si, že chcete otestovať dva rôzne e-maily na ceste založenej na spúšťači, ktorá sa aktivuje, keď niekto dokončí nákup.

1. Vytvorte svoj počiatočný obsah v editore e-mailov ako obvykle. Vylepšite obsah a nezabudnite ho skontrolovať, či neobsahuje chyby, aby sa zaistilo, že bude fungovať.

2. Keď je váš obsah pripravený, prejdite na Customer Insights - Journeys>Zapojenie>Cesty a vyberte existujúcu cestu alebo vytvorte novú.

3. Po výbere cesty vyberte znamienko plus (+) na pridanie prvku a potom postupujte takto:

   • Vyberte Otestovať, ktorá variácia má lepšiu výkonnosť.
   • Vyberte kanály, ktoré chcete otestovať. V tomto príklade chcete otestovať dva e-maily: vyberte jeden pre verziu A a jeden pre verziu B a potom vyberte Vytvoriť test.

4. Keď vyberiete dlaždicu testu A/B, otvorí sa bočný panel.

   

   Panel obsahuje nasledujúce parametre:

   • Zobrazovaný názov: Ak chcete identifikovať svoj test, zadajte preň názov. Tento názov sa zobrazuje na paneli testov A/B a v analýze činnosť zákazníka, keď sa pozeráte na to, ktoré testy prebiehajú.
   • Verzie: Vyberte obsah pre kanál, ktorý ste pripravili v prvom kroku (v tomto prípade dva e-maily, ktoré chcete otestovať). Môžete to urobiť prostredníctvom rozbaľovacieho zoznamu buď výberom podradených dlaždíc v zostavovači činnosti, alebo výberom na bočnom paneli.
   • Počiatočné publikum: Toto je skupina publika, ktorú by ste chceli odložiť od A/B testu, kým získate výsledky. Táto možnosť je k dispozícii iba pre cesty založené na segmentoch, pretože už máte celkový počet zákazníkov, ktorí vám pomôžu rozhodnúť sa, koľko si chcete zadržať. Cesty založené na spúšťači túto možnosť nemajú, pretože zákazníci vstupujú po dokončení akcie. Celkový počet zákazníkov, ktorí vstupujú na cestu, teda nie je známy.
   • Distribúcia experimentu: Vyberte požadovanú distribúciu publika. Jazdec je automaticky na 50-50, ale jazdec môžete nastaviť na požadované rozdelenie. Minimum, ktoré môže verzia prijať, je 10 percent a maximum je 90 percent. Pamätajte, že tradične je verzia A vašou kontrolnou skupinou a verzia B je alternatívnou skupinou.
   • Víťazná metrika: Víťaznú podmienku pre svoj test môžete nastaviť výberom víťaznej metriky: Verzia s najväčším počtom dosiahnutých udalostí cieľa cesty, najväčším počtom kliknutí alebo najvyšším počtom otvorení. V tomto prípade chcete zvýšiť svoje otvorené sadzby, takže si vyberiete možnosť otvoreného kurzu.
   • Tento test sa končí: Môžete si tiež vybrať medzi automatickým ukončením testu alebo ukončením v konkrétny dátum a čas. Nechať test určiť víťaza automaticky, keď výsledky dosiahnu štatistickú významnosť. To znamená, že keď sa s 80-95 percentami istoty určí jasný víťaz, systém odošle víťaznú verziu zvyšku vášho publika. Stratená verzia sa zahodí. Ak si ako možnosť ukončenia A/B testu vyberiete štatistickú významnosť, ale po 30 dňoch nie je jasný víťaz, systém automaticky odošle predvolenú verziu.
   • Predvolená verzia: Nakoniec vyberte predvolenú verziu pre prípad, že test neskončí úspešne. V prípadoch, keď víťaz nebol určený do termínu určeného prostredníctvom dátumu a času, automaticky sa odošle predvolená verzia.

5. Keď všetko nakonfigurujete a budete pripravení zverejniť cestu, A/B test by mal vyzerať takto:

   

Príklad 2: Vytvorenie A/B testu pre cesty založené na segmentoch

Predstavme si, že chcete vytvoriť cestu na privítanie nových členov, ktorí sa tento mesiac pripojili k vášmu vernostnému programu. Chcete zvýšiť mieru otvorenia testovaním dvoch rôznych predmetov.

Dokončíte kroky jeden až tri uvedené v prvom príklade, ale všimnete si, že bočný panel vyzerá inak. Je to preto, že pri cestách na základe segmentov máte na začiatok celkový počet zákazníkov. to vám umožňuje vytvoriť dva typy A/B testov.

1. A/B test bez kontrolnej skupiny: Tento A/B test sa správa podobne ako cesty založené na spúšťačoch, pri ktorých zákazníci prechádzajú testom tak, ako prichádzajú, až kým nie je určený víťaz.

   

2. A/B test s kontrolnou skupinou: Umožňuje vám presne povedať systému, na koľkých zákazníkoch chcete testovať. Napríklad váš segment má 100 vernostných členov, potom chcete najprv otestovať 20 percent alebo 20 členov, pričom každá verzia získa 10 členov. Po A/B teste získa zvyšných 80 členov víťaznú verziu. Počiatočné publikum a distribúciu môžete vždy upraviť podľa svojich predstáv.

   

V tomto príklade ideme s A/B testom s kontrolnou skupinou. Všetky ostatné nastavenia sú rovnaké ako v prvom príklade.

Monitorujte životný cyklus testov A/B

Po zverejnení svojej cesty ju môžete otvoriť a sledovať životný cyklus svojich testov.

• Koncept: Tieto testy ešte neboli spustené, takže stále môžete upravovať nastavenia.
• Prebieha: Tieto testy práve prebiehajú. Nastavenia sú zamknuté a nemôžete vykonať významné zmeny.
• Zastavené: Tieto testy sú zastavené a obchodník si môže vybrať, ktorú verziu odošle.
• Ukončený : Tieto testy boli dokončené nájdením štatisticky významného víťaza alebo časovým limitom, keď sa malo skončiť v stanovený dátum a čas. Ukončené testy nie je možné znova použiť.

Pochopte svoje výsledky

Existujú tri možné výsledky A/B testu:

• Test skončil s jasným víťazom : Test dospel k záveru, že jedna verzia funguje lepšie ako druhá. Víťazná verzia má odznak „víťaza“ a je distribuovaná každému novému zákazníkovi, ktorý prešiel lievikom počas činnosti.
• Test nebol presvedčivý : Test dospel k záveru, že príjemcovia pravdepodobne interagujú s verziou A ako s verziou B. V tomto prípade sa predvolená verzia odošle všetkým novým zákazníkom, ktorí cestujú.
• Test bol zastavený: Znamená to, že vy alebo niektorý z vašich spolupracovníkov ste test zastavili skôr, ako sa mohol ukončiť. V tomto prípade sa verzia určená vami alebo vaším spolupracovníkom odošle každému novému zákazníkovi, ktorý prešiel lievikom počas činnosti.

Najčastejšie otázky

1. Prečo je môj test A/B nepresvedčivý, keď sa zdá, že jedna verzia má lepšiu výkonnosť ako iná?
   • V prípade veľkého publika s aspoň 1 000 zákazníkmi musí byť úroveň spoľahlivosti pre víťazný variant aspoň 95 percent. V menšom súbore publika môže byť úroveň spoľahlivosti až 80 percent. Ak ste v poriadku s menšou úrovňou spoľahlivosti alebo testujete na publiku menšom ako 1 000, vždy máte možnosť ukončiť test skôr a odoslať verziu, s ktorou ste najspokojnejší.
2. Môžem mať A/B test s viac ako dvoma verziami?
   • Nie teraz.
3. Prečo sa mi nezobrazuje možnosť kontrolnej skupiny pre cesty založené na segmentoch?
   • Ak umiestnite vetvu atribútu alebo akúkoľvek dlaždicu, ktorá zmení celkový počet segmentu, možnosť kontrolnej skupiny zmizne, pretože systém nebude vedieť, koľko zákazníkov má zadržať, kým sa test nedokončí.
4. Prečo sa môj test neočakávane končí?
   • Ak sa rozhodnete ukončiť test so štatistickou významnosťou, systém sa pokúsi získať víťaza počas prvých 30 dní od zverejnenia cesty. Ak žiadna verzia nebude vyhlásená za víťaznú, test sa skončí a zvyšnému publiku sa odošle predvolená verzia.