Test A/B in Dynamics 365 Customer Insights - Journeys

Customer Insights - Journeys utilizza test A/B avanzati per esaminare i percorsi del cliente basati su trigger, consentendo di ottenere informazioni su come contattare meglio i tuoi clienti.

Utilizzando i test A/B, puoi misurare quale canale o strategia di messaggistica di contenuto porta a un maggiore successo. Ogni test confronta un gruppo di controllo di utenti (versione A) con una variante (versione B). Il gruppo di controllo riceve un'esperienza predefinita. Il gruppo variante riceve un'esperienza o un messaggio diverso. Confrontando i risultati dei gruppi, è possibile determinare qual è il più efficace.

Esempio 1: creazione di un test A/B per percorsi basati su trigger

Immaginiamo di voler testare due diverse e-mail in un percorso basato su trigger che viene attivato quando qualcuno completa un acquisto.

1. Crea il tuo contenuto iniziale nell'editor e-mail, come di solito. Perfeziona il contenuto e assicurati di controllare la presenza di errori in modo che possa passare allo stato Live.

2. Quando il contenuto è pronto, vai a Customer Insights - Journeys>Interazione>Percorsi e seleziona un percorso esistente o creane uno nuovo.

3. Dopo aver selezionato un percorso, seleziona il segno più (+) per aggiungere l'elemento, quindi procedi come segue:

   • Seleziona Verifica quale variazione si comporta meglio.
   • Seleziona i canali che desideri testare. In questo esempio, vuoi testare due e-mail: selezionane una per la versione A e una per la versione B, quindi seleziona Crea test.

4. Quando selezioni il riquadro Test A/B, si apre il riquadro laterale.

   

   Il riquadro contiene i parametri seguenti:

   • Nome visualizzato: per identificare il tuo test, inserisci un nome per esso. Questo nome viene visualizzato nel pannello del test A/B e nell'analisi del percorso del cliente quando guardi quali test sono in esecuzione.
   • Versioni: seleziona i contenuti per il canale che hai preparato nel passaggio uno (in questo caso, le due e-mail che desideri testare). Puoi farlo tramite un elenco a discesa selezionando i riquadri figlio nello strumento di creazione del percorso o effettuando una selezione nel pannello laterale.
   • Gruppo di destinatari iniziale: questo è il gruppo destinatari che vorresti trattenere dal test A/B prima di ottenere i risultati. Questa opzione è disponibile solo per i percorsi basati su segmenti poiché hai già un numero totale di clienti per aiutarti a decidere quanti ne desideri trattenere. I percorsi basati su trigger non hanno questa opzione quando i clienti accedono quando completano un'azione. Pertanto, il numero totale di clienti che entrano nel percorso è sconosciuto.
   • Distribuzione esperimento: scegli la distribuzione gruppo di destinatari desiderata. Il dispositivo di scorrimento è automaticamente su 50-50, ma puoi impostarlo sulla distribuzione desiderata. Il minimo che una versione può ricevere è il 10% e il massimo è il 90%. Ricorda che, tradizionalmente, la versione A è il tuo gruppo di controllo e la versione B è la tua variante.
   • Metrica vincente: puoi impostare la condizione vincente per il tuo test scegliendo una metrica vincente: la versione con il maggior numero di eventi obiettivo del percorso raggiunti, il maggior numero di clic o il maggior numero di aperture. In questo caso, vuoi aumentare i tuoi tassi di apertura, quindi sceglierai l'opzione frequenza di apertura.
   • Questo test finisce: puoi anche scegliere di terminare il test automaticamente o in una data e ora specifiche. Lasciare che il test determini automaticamente un vincitore quando i risultati raggiungono la significatività statistica. Questo significa che ,una volta determinato un chiaro vincitore con un'attendibilità dell'80-95%, il sistema invia la versione vincente al resto del gruppo di destinatari. La versione perdente viene rimossa. Se scegli la significatività statistica come opzione per terminare il test A/B ma non c'è un chiaro vincitore dopo 30 giorni, il sistema invia automaticamente la versione predefinita.
   • Versione predefinita: infine, scegli una versione predefinita, se il test non dovesse terminare con successo. Nei casi in cui non sia stato determinato un vincitore entro la scadenza specificata attraverso la data e l'ora, la versione predefinita viene inviata automaticamente.

5. Il test A/B dovrebbe apparire così quando configuri tutto e sei pronto per pubblicare il percorso:

   

Esempio 2: creazione di un test A/B per percorsi basati su segmento

Immaginiamo di voler creare un percorso per accogliere i nuovi membri che hanno aderito al tuo programma fedeltà questo mese. Vuoi aumentare la tua frequenza di apertura testando due diverse righe dell'oggetto.

Completi passaggi da uno a tre descritti nel primo esempio, ma noti che il riquadro laterale ha un aspetto diverso. Questo perché con i percorsi basati sui segmenti, hai un numero totale di clienti per cominciare; questo ti permette di creare due tipi di test A/B.

1. Test A/B senza gruppo di controllo: questo test A/B si comporta in modo simile ai percorsi basati su trigger in cui i clienti seguono il test man mano che arrivano fino a quando non viene determinato un vincitore.

   

2. Test A/B con un gruppo di controllo: questo ti permette di dire al sistema esattamente quanti clienti vuoi testare. Ad esempio, il tuo segmento ha 100 membri fedeltà, quindi desideri prima testare il 20 percento o 20 membri e ciascuna versione riceverà rispettivamente 10 membri. Dopo il test A/B, i restanti 80 membri riceveranno la versione vincente. Puoi sempre regolare a tuo piacimento il gruppo di destinatari iniziale e la distribuzione.

   

Per questo esempio, eseguiamo il test A/B con un gruppo di controllo. Tutte le altre impostazioni sono le stesse dell'esempio uno.

Controllare il ciclo di vita dei test A/B

Dopo aver pubblicato il percorso, puoi aprirlo per tenere traccia del ciclo di vita dei tuoi test.

• Bozza: questi test non sono ancora stati eseguiti, quindi puoi ancora modificare le impostazioni.
• In corso: questi sono i test eseguiti al momento. Le impostazioni sono bloccate e non è possibile apportare modifiche significative.
• Interrotto: questi test vengono interrotti e il responsabile del marketing può scegliere quale versione inviare.
• Terminato: si tratta di test che sono stati completati trovando un vincitore statisticamente significativo o con un timeout quando pianificato per terminare in una data e ora prestabilite. I test terminati non possono essere riutilizzati.

Comprendere i tuoi risultati

Ci sono tre possibili esiti dei risultati del test A/B:

• Test concluso con un netto vincitore: il test ha concluso che una versione ha prestazioni migliori dell'altra. La versione vincente ha un badge "vincitore" e viene distribuita a tutti i nuovi clienti che seguono il percorso.
• Il test non è stato conclusivo: il test ha concluso che i destinatari hanno la stessa probabilità di interagire con la versione A come con la versione B. In questo caso, la versione predefinita viene inviata a tutti i nuovi clienti che attraversano il percorso.
• Il test è stato interrotto: significa che tu o uno dei tuoi colleghi avete interrotto il test prima che potesse concludersi. In questo caso, la versione specificata da te o dal tuo collega viene inviata a tutti i nuovi clienti che seguono il percorso.

Domande frequenti

1. Perché la lettura del mio test A/B è inconcludente quando una versione sembra chiaramente funzionare meglio di un'altra?
   • Per un set destinatari di grandi dimensioni con almeno 1.000 clienti, il livello di attendibilità per la variante vincente deve essere almeno del 95%. In un set destinatari più piccolo, il livello di affidabilità può arrivare fino all'80%. Se per te va bene un livello di affidabilità inferiore o stai testando un gruppo di destinatari inferiore a 1.000, hai sempre la possibilità di terminare il test in anticipo e inviare la versione con cui sei più soddisfatto.
2. Esiste un test A/B con più di due versioni?
   • Al momento no.
3. Perché non vedo l'opzione del gruppo di controllo per i percorsi basati su segmenti?
   • Se inserisci un ramo di attributo o qualsiasi riquadro che cambia il numero totale del segmento, l'opzione del gruppo di controllo scompare perché il sistema non sa quanti clienti trattenere fino al completamento del test.
4. Perché il mio test termina inaspettatamente?
   • Se hai scelto di terminare il test con significatività statistica, il sistema cerca di ottenere un vincitore entro i primi 30 giorni dalla pubblicazione del percorso. Se nessuna versione viene dichiarata vincitrice, il test termina e la versione predefinita viene inviata al restante gruppo di destinatari.