A/B testovi u Dynamics 365 Customer Insights - Journeys

Customer Insights - Journeys koristi moćne A/B testove za ispitivanje vaših korisničkih putovanja temeljenih na okidačima, omogućujući vam da steknete uvid u to kako najbolje doći do svojih kupaca.

Pomoću A/B testova možete izmjeriti koji kanal ili strategija slanja sadržaja vodi do većeg uspjeha. Svaki test uspoređuje kontrolnu skupinu korisnika (verzija A) s varijantom (verzija B). Kontrolna skupina dobiva zadano iskustvo. Varijantna grupa dobiva drugačije iskustvo ili poruku. Usporedbom rezultata grupa možete odrediti koja je najučinkovitija.

Primjer 1.: Izrada A/B testa za putovanja temeljena na okidačima

Zamislimo da želite testirati dvije različite e-poruke na putovanju temeljenom na okidaču koje se aktivira kada netko dovrši kupnju.

1. Izradite početni sadržaj u uređivaču e-pošte, kao i obično. Usavršite sadržaj i provjerite ima li pogrešaka kako biste bili sigurni da može ići uživo.

2. Kada je vaš sadržaj spreman, idite na Customer Insights - Journeys>>Engagement Journeys i odaberite postojeći put ili izradite novi.

3. Nakon što odaberete put, odaberite znak plus (+) da biste dodali element, a zatim učinite sljedeće:

   • Odaberite Testirajte koja varijacija ima bolju izvedbu.
   • Odaberite kanale koje želite testirati. U ovom primjeru želite testirati dvije poruke e-pošte: odaberite jednu za verziju A i jednu za verziju B, a zatim odaberite Stvori test.

4. Kada odaberete pločicu A/B test, otvara se bočno okno.

   

   Okno sadrži sljedeće parametre:

   • zaslonsko ime: da biste identificirali svoj test, unesite njegov naziv. Taj se naziv prikazuje na ploči A/B testiranja i u analitici put klijenta kada gledate koji se testovi izvode.
   • Verzije: odaberite sadržaj za kanal koji ste pripremili u prvom koraku (u ovom slučaju dvije poruke e-pošte koje želite testirati). To možete učiniti putem padajućeg popisa ili odabirom podređenih pločica u graditelju puta ili odabirom na bočnom panelu.
   • Početna publika: Ovo je grupa publika koju biste željeli zadržati od A/B testa prije nego što dobijete rezultate. Ta je opcija dostupna samo za putovanja temeljena na segmentima jer već imate ukupan broj korisnika koji će vam pomoći da odlučite koliko ih želite zadržati. Putovi temeljeni na okidačima nemaju tu mogućnost jer klijenti unose kada dovrše radnju. Kao takav, ukupan broj kupaca koji ulaze u putovanje nije poznat.
   • Distribucija eksperimenta: odaberite željenu distribuciju publika. Klizač je automatski na 50-50, ali klizač možete postaviti na željenu distribuciju. Minimum koji verzija može dobiti je 10 %, a maksimum 90 %. Zapamtite da je tradicionalno verzija A vaša kontrolna grupa, a verzija B je vaša varijanta.
   • Pobjednički mjerni podatak: možete postaviti pobjednički uvjet za svoj test odabirom pobjedničkog mjernog podaka: verzija s najviše ostvarenih događaja cilja putovanja, najviše klikova ili najviše otvaranja. U tom slučaju želite povećati stope otvaranja pa ćete odabrati opciju stope otvaranja.
   • Ovaj test završava: Također možete birati između automatskog završetka testa ili na određeni datum i vrijeme. Neka test automatski odredi pobjednika kada rezultati dosegnu statističku značajnost. To znači da nakon što se odredi jasan pobjednik, sustav šalje pobjedničku verziju ostatku vaše publike. Gubitnička verzija se odbacuje. Ako odaberete statističku značajnost kao opciju za završetak A/B testa, ali nakon 30 dana nema jasnog pobjednika, sustav automatski šalje zadanu verziju.
   • Zadana verzija: Na kraju, odaberite zadanu verziju u slučaju da test ne završi uspješno. U slučajevima kada pobjednik nije određen do roka navedenog u datumu i vremenu, automatski se šalje zadana verzija.

5. A/B test trebao bi izgledati ovako dok sve konfigurirate i budete spremni za objavljivanje putovanja:

   

Primjer 2.: Izrada A/B testa za putovanja temeljena na segmentima

Zamislimo da želite stvoriti putovanje za dobrodošlicu novim članovima koji su se pridružili vašem programu vjernosti ovog mjeseca. Želite povećati stopu otvaranja testiranjem dva različita predmeta.

Dovršit ćete korake od jednog do tri opisane u prvom primjeru, ali primijetit ćete da bočno okno izgleda drugačije. To je zato što s putovanjima temeljenim na segmentima imate ukupan broj kupaca za početak; to vam omogućuje stvaranje dvije vrste A/B testova.

1. A/B test bez kontrolne skupine: Ovaj A/B test ponaša se slično putovanjima temeljenim na okidačima gdje kupci prolaze kroz test dok dolaze dok se ne odredi pobjednik.

   

2. A/B test s kontrolnom skupinom: To vam omogućuje da sustavu točno kažete na koliko kupaca želite testirati. Na primjer, vaš segment ima 100 članova vjernosti, a zatim prvo želite testirati na 20 posto ili 20 članova, gdje će svaka verzija dobiti 10 članova. Nakon A/B testa, preostalih 80 članova dobit će pobjedničku verziju. Uvijek možete prilagoditi početnu publiku i distribuciju prema svojim željama.

   

Za ovaj primjer idemo s A/B testom s kontrolnom skupinom. Sve ostale postavke su iste kao u prvom primjeru.

Praćenje životnog ciklusa A/B testova

Nakon što objavite putovanje, možete ga otvoriti da biste pratili životni ciklus testova.

• Skica: ti testovi još nisu pokrenuti, tako da i dalje možete uređivati postavke.
• U tijeku: Ovi se testovi trenutno provode. Postavke su zaključane i ne možete napraviti značajne promjene.
• Zaustavljeno: Ovi testovi su zaustavljeni i marketinški stručnjak može odabrati koju će verziju poslati.
• Završeno: Ovi testovi su dovršeni pronalaskom statistički značajnog pobjednika ili istekom vremena kada je planirano da završe na određeni datum i vrijeme. Završeni testovi ne mogu se ponovno upotrijebiti.

Razumijavanje rezultata

Postoje tri moguća ishoda rezultata A/B testa:

• Test je završio s jasnim pobjednikom: Test je zaključio da jedna verzija ima bolju izvedbu od druge. Pobjednička verzija ima značku „pobjednika” i distribuira se svim novim klijentima koji se kanaliziraju kroz put.
• Test nije bio konačan: Test je zaključio da je jednako vjerojatno da će primatelji surađivati s verzijom A kao i s verzijom B. U tom se slučaju zadana verzija šalje svim novim klijentima koji prolaze kroz put.
• Test je zaustavljen: To znači da ste vi ili netko od vaših suradnika zaustavili test prije nego što je mogao završiti. U tom slučaju verzija koju ste naveli vi ili vaš suradnik šalje se svim novim klijentima koji se kanaliziraju kroz put.

Najčešće postavljana pitanja

1. Mogu li imati A/B test s više od dvije verzije?
   • Trenutno ne.
2. Zašto ne vidim mogućnost kontrolne grupe za putovanja temeljena na segmentima?
   • Ako stavite granu atributa ili bilo koju pločicu koja će promijeniti ukupan broj segment, mogućnost kontrolne grupe nestaje jer sustav neće znati koliko kupaca zadržati dok se test ne dovrši.
3. Zašto moj test neočekivano završava?
   • Ako ste odlučili završiti test sa statističkom značajnošću, sustav pokušava dobiti pobjednika u prvih 30 dana od trenutka kada objavite putovanje. Ako nijedna verzija nije proglašena pobjednikom, test završava i zadana verzija šalje se preostaloj publici.