Test A/B in Dynamics 365 Customer Insights - Journeys

Articolo
02/12/2025

Customer Insights - Journeys utilizza potenti test A/B per esaminare i percorsi dei clienti basati su trigger, consentendoti di ottenere informazioni dettagliate sul modo migliore per raggiungere i tuoi clienti.

Utilizzando i test A/B, puoi misurare quale canale o strategia di messaggistica di contenuto porta a un maggiore successo. Ogni test confronta un gruppo di controllo di utenti (versione A) con una variante (versione B). Il gruppo di controllo riceve un'esperienza predefinita. Il gruppo variante riceve un'esperienza o un messaggio diverso. Confrontando i risultati dei gruppi, è possibile determinare qual è il più efficace.

I test A/B richiedono un pubblico di dimensioni significative per essere efficaci. L'esecuzione di test su gruppi di destinatari inferiori a 1.000 può produrre risultati imprevisti, ad esempio distribuzioni disuguali nelle varianti. L'esecuzione di test su gruppi estremamente piccoli produce quasi sempre distribuzioni sproporzionate. Ad esempio, se il tuo pubblico ha solo dieci membri, è possibile che uno vada alla variante A mentre nove vadano alla variante B. Si tratta di un comportamento previsto quando le dimensioni del segmento di pubblico sono così piccole che il modello statistico non dispone di dati sufficienti per raggiungere la distribuzione richiesta.

Esempio 1: creazione di un test A/B per percorsi basati su trigger

Immagina di voler testare due diversi messaggi e-mail in un percorso basato su trigger che si attiva quando un utente completa un acquisto.

Crea il tuo contenuto iniziale nell'editor e-mail, come di solito. Perfeziona il contenuto e controlla che non ci siano errori per assicurarti che possa essere pubblicato.
Quando il contenuto è pronto, vai a Customer Insights - Journeys>Interazione>Percorsi e seleziona un percorso esistente o creane uno nuovo.
Dopo aver selezionato un percorso, seleziona il segno più (+) per aggiungere un elemento, quindi segui questi passaggi:
- Seleziona Verifica quale variazione si comporta meglio.

Seleziona i canali che desideri testare. In questo esempio, vuoi testare due e-mail: selezionane una per la versione A e una per la versione B, quindi seleziona Crea test.

Quando selezioni il riquadro Test A/B, si apre il riquadro laterale.

Il riquadro contiene i parametri seguenti:

Nome visualizzato: per identificare il tuo test, inserisci un nome per esso. Questo nome viene visualizzato nel pannello del test A/B e nell'analisi del percorso del cliente quando si esaminano i test in esecuzione.
Versioni: scegli il contenuto per il canale che hai preparato nel primo passaggio (in questo caso, le due e-mail che desideri testare). Puoi farlo tramite un elenco a discesa selezionando i riquadri figlio nello strumento di creazione del percorso o effettuando una selezione nel pannello laterale.
Gruppo di destinatari iniziale: questo è il gruppo di destinatari iniziale che vuoi trattenere dal test A/B prima di ottenere i risultati. Questa opzione è disponibile solo per i percorsi basati su segmenti, poiché hai già un numero totale di clienti che ti aiuta a decidere quanti vuoi trattenere. I percorsi basati su trigger non hanno questa opzione quando i clienti accedono quando completano un'azione. Pertanto, il numero totale di clienti che entrano nel percorso è sconosciuto.
Distribuzione dell'esperimento: scegli la distribuzione del gruppo di destinatari che desideri. Il dispositivo di scorrimento è automaticamente su 50-50, ma puoi impostarlo sulla distribuzione desiderata. Il minimo che una versione può ricevere è il 10% e il massimo è il 90%. Ricorda che, tradizionalmente, la versione A è il tuo gruppo di controllo e la versione B è la tua variante.
Metrica vincente: imposta la condizione vincente per il test scegliendo una metrica vincente, ovvero la versione con il maggior numero di eventi obiettivo del percorso raggiunti, il maggior numero di clic o il maggior numero di aperture. In questo caso, vuoi aumentare i tuoi tassi di apertura, quindi sceglierai l'opzione frequenza di apertura.
Questo test termina: scegli se terminare il test automaticamente o in una data e un'ora specifiche. Lasciare che il test determini un vincitore si verifica automaticamente quando i risultati raggiungono la significatività statistica. Ciò significa che una volta determinato un chiaro vincitore, il sistema invia la versione vincente al resto del pubblico. La versione perdente viene rimossa. Se scegli la significatività statistica come opzione per terminare il test A/B ma non c'è un chiaro vincitore dopo 30 giorni, il sistema invia automaticamente la versione predefinita. Se si termina il test in anticipo, possono essere necessarie fino a quattro ore per rilasciare il gruppo di controllo.
Versione predefinita: infine, scegli una versione predefinita, se il test non dovesse terminare con successo. Se un vincitore non viene determinato entro la scadenza specificata attraverso la data e l'ora, viene inviata automaticamente la versione predefinita.

Il test A/B dovrebbe essere simile al seguente quando configuri tutto e sei pronto per pubblicare il percorso:

Esempio 2: creazione di un test A/B per percorsi basati su segmento

Immagina di voler creare un percorso per dare il benvenuto ai nuovi membri che hanno aderito al tuo programma fedeltà questo mese. Vuoi aumentare la tua frequenza di apertura testando due diverse righe dell'oggetto.

Completi passaggi da uno a tre descritti nel primo esempio, ma noti che il riquadro laterale ha un aspetto diverso. Questo perché con i percorsi basati sui segmenti, hai un numero totale di clienti per cominciare; questo ti permette di creare due tipi di test A/B.

Test A/B senza gruppo di controllo: questo test A/B si comporta in modo simile ai percorsi basati su trigger, in cui i clienti eseguono il test man mano che arrivano fino a quando non viene determinato un vincitore.
Test A/B con un gruppo di controllo: consente di comunicare al sistema esattamente il numero di clienti che si desidera testare. Ad esempio, se il tuo segmento ha 100 membri fedeltà, potresti prima eseguire il test sul 20% o su 20 membri in cui ogni versione riceve 10 membri. Dopo il test A/B, i restanti 80 membri ricevono la versione vincitrice. Puoi sempre regolare a tuo piacimento il gruppo di destinatari iniziale e la distribuzione.

Per questo esempio, stiamo usando un test A/B con un gruppo di controllo. Tutte le altre impostazioni sono le stesse dell'esempio uno.

Controllare il ciclo di vita dei test A/B

Dopo aver pubblicato il percorso, puoi aprirlo per tenere traccia del ciclo di vita dei tuoi test.

Bozza: questi test non sono ancora stati eseguiti, quindi puoi ancora modificare le impostazioni.
In corso: questi sono i test eseguiti al momento. Le impostazioni sono bloccate e non è possibile apportare modifiche significative.
Interrotto: questi test vengono interrotti e l'esperto di marketing può scegliere quale versione inviare.
Terminato: si tratta di test che sono stati completati trovando un vincitore statisticamente significativo o con un timeout quando pianificato per terminare in una data e ora prestabilite. I test terminati non possono essere riutilizzati.

Comprendere i tuoi risultati

Ci sono tre possibili esiti dei risultati del test A/B:

Test concluso con un netto vincitore: il test ha concluso che una versione ha prestazioni migliori dell'altra. La versione vincente ha un badge "vincitore" e viene distribuita a tutti i nuovi clienti che seguono il percorso.
Il test non è stato conclusivo: il test ha concluso che i destinatari hanno la stessa probabilità di interagire con la versione A come con la versione B. In questo caso, la versione predefinita viene inviata a tutti i nuovi clienti che attraversano il percorso.
Il test è stato interrotto: significa che tu o uno dei tuoi colleghi avete interrotto il test prima che potesse concludersi. In questo caso, la versione specificata da te o dal tuo collega viene inviata a tutti i nuovi clienti che seguono il percorso.

Domande frequenti

Esiste un test A/B con più di due versioni?
- No, non per il momento.
Perché non vedo l'opzione del gruppo di controllo per i percorsi basati su segmenti?
- Se inserisci un ramo di attributi o un riquadro che modifica il numero totale del segmento, l'opzione del gruppo di controllo scompare perché il sistema non sa quanti clienti trattenere fino al completamento del test.
Perché il mio test termina inaspettatamente?
- Se scegli di terminare il test con la significatività statistica, il sistema cerca di ottenere un vincitore entro i primi 30 giorni dalla pubblicazione del percorso. Se nessuna versione viene dichiarata vincitrice, il test termina e la versione predefinita viene inviata al restante gruppo di destinatari.

Condividi tramite