A/B-testit Dynamics 365 Customer Insights - Journeysissa

Customer Insights - Journeys käyttää tehokkaita A/B-testejä käynnistinpohjaisiin asiakassiirtymiin, joiden avulla voit saada tietoja siitä, miten voit parhaiten tavoittaa asiakkaasi.

A/B-testien avulla voit mitata, mikä kanava- tai sisältöviestistrategia johtaa suurempaan menestykseen. Jokaisessa testissä verrataan käyttäjien vertailuryhmää (versio A) varianttiin (versio B). Vertailuryhmä saa oletuskokemuksen. Varianttiryhmä saa erilaisen käyttökokemuksen tai viestin. Vertailemalla ryhmien tuloksia voit todeta, mikä on tehokkain.

Esimerkki 1: A/B-testin luominen käynnistinpohjaisille siirtymille

Otetaan esimerkiksi, että haluat testata kaksi eri sähköpostiviestiä käynnistinpohjaisessa siirtymässä, joka aktivoituu, kun joku suorittaa ostoksen loppuun.

1. Luo alkuperäinen sisältösi sähköpostieditorissa, kuten yleensä. Muokkaa sisältö mahdollisimman täydelliseksi ja muista tarkistaa se virheiden varalta niin, että se voidaan ottaa käyttöön.

2. Kun sisältösi on valmis, siirry kohtaan Customer Insights - Journeys>Yhteydenotto>Siirtymät ja valitse olemassa oleva siirtymä tai luo uusi.

3. Kun olet valinnut siirtymän, lisää elementti valitsemalla plusmerkki (+) ja tee sitten seuraavaa:

   • Valitse Testaa, mikä variaatio toimii parhaiten.
   • Valitse testattavat kanavat. Tässä esimerkissä testataan kaksi sähköpostiviestiä: valitse yksi versiolle A ja toinen versiolle B ja valitse sitten Luo testi.

4. Kun valitset A/B-testin ruudun, sivupaneeli avautuu.

   

   Paneeli sisältää seuraavat parametrit:

   • Näyttönimi: Syötä testille nimi tunnistamista varten. Nimi näkyy A/B-testipaneelissa ja asiakassiirtymä-analytiikassa, kun tarkastelet, mitä testejä suoritetaan.
   • Versiot: Valitse vaiheessa 1 valmistellun kanavan sisältö (tässä tapauksessa kaksi testattavaa sähköpostiviestiä). Voit tehdä tämän avattavan valikon kautta joko valitsemalla siirtymänmuodostimen aliruudut tai valitsemalla sivupaneelista.
   • Alkuperäinen kohdeyleisö: Tämä on se yleisöryhmä, jonka haluat pitää A/B-testin ulkopuolella ennen sen tulosten saamista. Tämä valinta on käytettävissä vain segmenttiperusteisissa siirtymissä, koska sinulla on jo asiakkaiden kokonaismäärä, jonka perusteella voit päättää, kuinka monta heistä haluat pitää ulkopuolella. Käynnistinpohjaisissa siirtymissä ei ole tätä vaihtoehtoa, koska asiakkaat tulevat siihen, kun he suorittavat toiminnon loppuun. Siten siirtymän aloittavien asiakkaiden kokonaismäärä on tuntematon.
   • Kokeilun jakelu: Valitse haluamasi yleisöjakauma. Liukusäädin on automaattisesti kohdassa 50-50, mutta voit asettaa liukusäätimen haluamaasi jakaumaan. Vähimmäismäärä versiolle on 10 % ja enimmäismäärä 90 %. Muista, että perinteisesti versio A on vertailuryhmäsi ja versio B on varianttisi.
   • Voittava mittari: Voit määrittää testin voittoehdon valitsemalla voittajamittarin: Versio, joka on saavuttanut eniten siirtymän tavoitetapahtumia, eniten napsautuksia tai eniten avauksia. Tässä tapauksessa haluat lisätä avausmääriä, joten valitset avausmäärävaihtoehdon.
   • Tämä testi päättyy: Voit myös valita, haluatko lopettaa testin automaattisesti vai tiettynä päivänä ja tiettynä aikana. Testin annetaan määrittää voittaja automaattisesti, kun tulokset saavuttavat tilastollisen merkityksellisyyden. Tämä tarkoittaa, että kun selkeä voittaja on määritetty 80–95 prosentin varmuudella, järjestelmä lähettää voittavan version muulle yleisölle. Hävitty versio hylätään. Jos valitset tilastollisen merkityksellisyyden vaihtoehdoksi A/B-testin lopettamiselle, mutta selkeää voittajaa ei ole löytynyt 30 päivän kuluttua, järjestelmä lähettää automaattisesti oletusversion.
   • Oletusversio: Valitse lopuksi oletusversio, jos testi ei pääty onnistuneesti. Jos voittajaa ei ole määritetty määräpäivään ja -aikaan mennessä, oletusversio lähetetään automaattisesti.

5. A/B-testin pitäisi näyttää tältä, kun olet määrittänyt kaiken ja olet valmis julkaisemaan siirtymän:

   

Esimerkki 2: A/B-testin luominen segmenttipohjaisille siirtymille

Otetaan esimerkiksi, että haluat luoda siirtymän kanta-asiakkuusohjelmaasi tässä kuussa liittyneiden uusien jäsenten tervetulleeksi toivottamista varten. Haluat lisätä avausmäärää testaamalla kahta eri aiheriviä.

Suoritat ensimmäisen esimerkin vaiheet 1–3, mutta huomaat, että sivupaneeli näyttää erilaiselta. Tämä johtuu siitä, että segmenttipohjaisissa siirtymissä asiakkaiden kokonaismäärä on tiedossa alusta asti, minkä ansiosta voit luoda kahdenlaisia A/B-testejä.

1. A/B-testi ilman vertailuryhmää: Tämä A/B-testi toimii samalla tavalla kuin käynnistinpohjaiset siirtymät, joissa asiakkaat ohjataan testin läpi saapuessaan, kunnes voittaja on selvillä.

   

2. A/B-testi vertailuryhmällä: Tässä voit kertoa järjestelmälle tarkasti, kuinka monella asiakkaalla haluat teetättää testin. Jos segmentissä esimerkiksi on 100 kanta-asiakasta, voit ensin teettää testin 20 prosentilla tai 20 jäsenellä siten, että kumpikin versio testataan 10 jäsenellä. A/B-testin jälkeen jäljellä olevat 80 jäsentä saavat voittavan version. Voit aina muuttaa ensimmäistä yleisöä ja jakaumaa mielesi mukaisesti.

   

Tässä esimerkissä valitsemme A/B-testin vertailuryhmällä. Kaikki muut asetukset ovat samat kuin esimerkissä.

A/B-testien elinkaaren seuranta

Kun olet julkaissut siirtymän, voit avata sen seurataksesi testiesi elinkaarta.

• Luonnos: Näitä testejä ei ole vielä suoritettu, joten voit vielä muokata niiden asetuksia.
• Käynnissä: Näitä testejä suoritetaan parhaillaan. Asetukset on lukittu, etkä voi tehdä merkittäviä muutoksia.
• Pysäytetty: Nämä testit lopetetaan ja markkinoija voi valita lähetettävän version.
• Päättynyt: Nämä testit ovat päättyneet tilastollisesti merkityksellisen voittajan löytymiseen tai määritetyn päättymispäivän ja -ajan saavuttamiseen. Päättyneitä testejä ei voi käyttää uudelleen.

Tulosten ymmärtäminen

A/B-testeillä on kolme mahdollista tulosta:

• Testi päättyi selvän voittajan selviämiseen: Testissä todettiin, että yksi versio toimii paremmin kuin toinen. Voittaneella versiolla on "voittaja"-merkki, ja se jaetaan kaikille uusille asiakkaille, jotka käyvät siirtymän läpi.
• Testin tulos on epävarma: Testissä todettiin, että vastaanottajat sitoutuvat yhtä todennäköisesti version A kohdalla kuin version B kohdalla. Tässä tapauksessa oletusversio lähetetään kaikille uusille asiakkaille, jotka käyvät siirtymän läpi.
• Testi keskeytettiin: Tämä tarkoittaa, että sinä tai joku työtovereistasi keskeytti testin ennen kuin se voitiin saattaa loppuun. Tässä tapauksessa sinun tai työtoverisi määrittämä versio lähetetään kaikille uusille asiakkaille, jotka käyvät siirtymän läpi.

Usein kysytyt kysymykset

1. Miksi A/B-testini tulos on epäselvä, vaikka yksi versio vaikuttaa toimivan selkeästi toista paremmin?
   • Kun kohdeyleisönä on vähintään 1 000 asiakasta, voittavan version varmuustason on oltava vähintään 95 prosenttia. Pienemmän kohdeyleisön kohdalla varmuustaso voi olla jopa vain 80 prosenttia. Jos pienempi varmuustaso sopii sinulle tai testin kohdeyleisönä on alle 1 000 asiakasta, voit aina lopettaa testin aikaisin ja lähettää version, johon olet eniten tyytyväinen.
2. Voiko A/B-testissä käyttää useampaa kuin kahta versiota?
   • Ei tällä hetkellä.
3. Miksi en näe vertailuryhmävaihtoehtoa segmenttipohjaisten siirtymien osalta?
   • Jos käytät määritehaaraa tai mitä tahansa ruutua, joka muuttaa segmentin kokonaismäärää, vertailuryhmävaihtoehto ei ole käytettävissä, koska järjestelmä ei tiedä, kuinka monta asiakasta sen on pidettävä ulkopuolella ennen testin valmistumista.
4. Miksi testini päättyy odottamattomasti?
   • Jos valitset testin päättämisen tilastolliseen merkityksellisyyteen, järjestelmä yrittää selvittää voittajan ensimmäisen 30 päivän kuluessa siitä, kun julkaiset siirtymän. Jos mitään versiota ei julisteta voittajaksi, testi päättyy ja oletusversio lähetetään jäljellä olevalle yleisölle.