A/B tesztek Dynamics 365 Customer Insights - Journeys

Customer Insights - Journeys hatékony A/B teszteket használ az eseményindító-alapú ügyfélutak vizsgálatára, lehetővé téve, hogy betekintést nyerjen abba, hogyan érheti el legjobban ügyfeleit.

Az A/B tesztekkel megmérheti, hogy melyik csatorna vagy tartalom üzenetküldési stratégiája lesz sikeresebb. Minden teszt esetében a felhasználók kontrollcsoportjának (A verzió) és egy változatnak (B verzió) az összehasonlítása történik. A kontrollcsoport használja az alapértelmezett környezetet. A változatként szolgáló csoport eltérő környezetet vagy üzenetet kap. A csoportok eredményeinek összehasonlításával meghatározhatja, hogy melyik megoldás a leghatékonyabb.

1. példa: A/B teszt létrehozása eseményindító-alapú utakhoz

Tegyük fel, hogy két különböző e-mailt szeretne tesztelni egy eseményindító-alapú úton, amely akkor aktiválódik, amikor valaki befejez egy vásárlást.

1. Hozza létre a kezdeti tartalmat az e-mail szerkesztőben, a szokásos módon. Tökéletesítse a tartalmat, és keresse meg az esetleges hibákat, hogy a tartalom közzétehető legyen.

2. Ha a tartalom készen áll, lépjen az Engagement Customer Insights - Journeys>Journeys>oldalra , és válasszon ki egy meglévő utazást, vagy hozzon létre egy újat.

3. Miután kiválasztott egy utazást, válassza a pluszjelet (+) egy elem hozzáadásához, majd tegye a következőket:

   • Válassza a Test melyik változat teljesít jobban.
   • Válassza ki a tesztelni kívánt csatornákat. Ebben a példában két e-mailt szeretne tesztelni: válasszon egyet az A verzióhoz és egyet a B verzióhoz, majd válassza a Teszt létrehozása lehetőséget.

4. Amikor kiválasztja az A/B teszt csempét, megnyílik az oldalsó panel.

   

   A panel a következő paramétereket tartalmazza:

   • megjelenítendő név: A teszt azonosításához adjon nevet neki. Ez a név jelenik meg az A/B tesztpanelen és a ügyfélút elemzésben, amikor megnézi, hogy mely tesztek futnak.
   • Verziók: Válassza ki az egyikben előkészített csatorna tartalmát (ebben az esetben a tesztelni kívánt két e-mail lépés t). Ezt egy legördülő menüben teheti meg, vagy az alárendelt csempéket utazásépítőben történő kiválasztásával, vagy az oldalsó panelen történő kiválasztással.
   • Kezdeti célközönség: Ez az célközönség csoport, amelyet vissza szeretne tartani az A/B teszttől, mielőtt megkapja az eredményeket. Ez a lehetőség csak szegmensalapú utazások esetén érhető el, mivel már rendelkezik az ügyfelek teljes számával, amely segít eldönteni, hogy hány ügyfelet szeretne visszatartani. Az eseményindító-alapú utak nem rendelkeznek ezzel a lehetőséggel, amikor az ügyfelek belépnek egy művelet végrehajtásakor. Mint ilyen, az utazásba belépő ügyfelek teljes száma ismeretlen.
   • Kísérlet terjesztése: Válassza ki a kívánt célközönség terjesztést. A csúszka automatikusan 50-50-re van állítva; a csúszka a kívánt eloszlásra állítható. Az egyes verziókhoz tartozó minimális érték 10%, a maximális érték pedig 90%. Ne feledje, hogy hagyományosan az A verzió a kontrollcsoport, a B verzió pedig az eredeti változata.
   • Nyerő mutató: A teszt nyerő feltételét a nyertes mutató kiválasztásával állíthatja be: Az a verzió, amelyben a legtöbb utazásicél-esemény érhető el, a legtöbb kattintás vagy a legtöbb megnyitás érhető el. Ebben az esetben növelni szeretné a megnyitási arányt, ezért a megnyitási arány opciót kell választania.
   • A teszt véget ér: Azt is választhatja, hogy automatikusan vagy egy adott napon és időpontban fejezi-e be a tesztet. Hagyja, hogy a teszt automatikusan meghatározza a győztest, amikor az eredmények statisztikai szignifikanciát érnek el. Ez azt jelenti, hogy az egyértelmű győztes meghatározása után a rendszer elküldi a nyertes verziót a célközönség többi részének. A vesztes verzió elvetésre kerül. Ha a statisztikai szignifikanciát választja az A/B teszt befejezésének lehetőségeként, de 30 nap elteltével nincs egyértelmű győztes, a rendszer automatikusan elküldi az alapértelmezett verziót.
   • Alapértelmezett verzió: Végül válasszon egy alapértelmezett verziót arra az esetre, ha a teszt nem fejeződik be sikeresen. Abban az esetben, ha a nyertest nem határozták meg a dátumon és az időpontban megadott határidőig, a rendszer automatikusan elküldi az alapértelmezett verziót.

5. Az A/B-tesztnek így kell kinéznie, mire mindent konfigurál, és készen áll az ügyfélút közzétételére:

   

2. példa: A/B teszt létrehozása szegmensalapú utakhoz

Képzeljük el, hogy szeretne létrehozni egy utazást, hogy üdvözölje azokat az új tagokat, akik ebben a hónapban csatlakoztak hűségprogramjához. Két különböző tárgysor tesztelésével szeretné növelni a megnyitási arányt.

Az első példában ismertetett elsőtől harmadik lépésig kell végrehajtania, de észre fogja venni, hogy az oldalsó panel másképp néz ki. Ennek az az oka, hogy a szegmensalapú utak esetében először is összesen hány ügyféllel kell rendelkeznie; ez lehetővé teszi kétféle A/B teszt létrehozását.

1. A/B teszt kontrollcsoport nélkül: Ez az A/B teszt hasonlóan viselkedik, mint a triggeralapú utazások, ahol az ügyfelek a győztes meghatározásáig végigvezetik a tesztet.

   

2. A/B teszt kontrollcsoporttal: Ez lehetővé teszi, hogy pontosan megmondja a rendszernek, hány ügyfélen szeretne tesztelni. Például a szegmens 100 hűségtaggal rendelkezik, akkor először 20 vagy 20 tagon szeretne tesztelni, ahol minden verzió 10 tagot kap. Az A/B teszt után a fennmaradó 80 tag megkapja a nyertes verziót. A kezdeti célközönség és az elosztást mindig tetszés szerint állíthatja be.

   

Ebben a példában A/B tesztet végzünk egy kontrollcsoporttal. Az összes többi beállítás ugyanaz, mint az első példában.

Az A/B tesztek életciklusának ellenőrzése

Miután közzétette az ügyfélutat, megnyithatja a tesztek életciklusának nyomon követéséhez.

• Vázlat: Ezek a tesztek még nem futottak, így továbbra is szerkesztheti a beállításokat.
• Folyamatban: Ezek a tesztek jelenleg futnak. A beállítások zárolva vannak, és nem hajthatók végre jelentős módosítások.
• Leállítva: A tézistesztek leállnak, és a marketingszakember kiválaszthatja, hogy melyik verziót küldje.
• Befejezve: Ezeket a teszteket egy statisztikailag szignifikáns győztes megtalálásával vagy időtúllépéssel fejeztük be, amikor a tervek szerint egy meghatározott napon és időpontban fejeződött be. A befejezett tesztek nem használhatók fel újra.

Az eredmények megértése

Az A/B teszteknek három lehetséges eredménye van:

• A teszt egyértelmű győztessel zárult: A teszt arra a következtetésre jutott, hogy az egyik verzió jobban teljesít, mint a másik. A győztes változat megkapja a „győztes” jelvényt, és a rendszer használni fogja az úton áthaladó ügyfelek között.
• A teszt nem volt meggyőző: A teszt arra a következtetésre jutott, hogy a címzettek ugyanolyan valószínűséggel lépnek kapcsolatba az A verzióval, mint a B verzióval. Ebben az esetben a rendszer az alapértelmezett verziót küldi el minden olyan új ügyfélnek, aki végigvezeti az ügyfélutat.
• A teszt leállt: Ez azt jelenti, hogy Ön vagy egyik munkatársa leállította a tesztet, mielőtt az befejeződhetett volna. Ebben az esetben az Ön vagy a munkatársa által megadott verziót küldjük el minden olyan új ügyfélnek, aki áthalad az úton.

GYIK

1. Kaphatok A/B tesztet kettőnél több verzióval?
   • Jelenleg nem.
2. Miért nem látom a kontrollcsoport lehetőséget a szegmensalapú utakhoz?
   • Ha attribútumágat vagy bármilyen csempét helyez el, amely megváltoztatja a szegmens teljes számát, a vezérlőcsoport beállítás eltűnik, mert a rendszer nem fogja tudni, hogy hány ügyfelet tartson vissza a teszt befejezéséig.
3. Miért ér véget váratlanul a tesztem?
   • Ha úgy dönt, hogy statisztikai szignifikanciával fejezi be a tesztet, a rendszer az utazás közzétételétől számított 30 napon belül megpróbál győztest szerezni. Ha egyik verzió sem lesz győztesnek nyilvánítva, a teszt véget ér, és az alapértelmezett verziót küldi el a fennmaradó célközönség.