Progettare ed eseguire test A/B sulle progettazioni di messaggi e-mail

Importante

Questo articolo si applica solo al marketing in uscita.

Utilizza il test A/B (e-mail) per scoprire quale tra due progettazioni simili può produrre i risultati migliori e quindi inviare in modo automatico la progettazione vincente al restante gruppo di destinatari. Puoi iniziare creando una progettazione di controllo (la versione "A") e quindi utilizzarla come base per creare una versione "B" della progettazione in cui è stata modificata una piccola parte (ad esempio l'oggetto o un'immagine). Infine, esegui il test come parte di un percorso del cliente.

Il percorso esegue automaticamente il test completo. Inizia inviando la versione A a una parte ridotta del segmento (ad esempio il 10% dei contatti, selezionati in modo casuale) inviando allo stesso tempo anche la versione B a un'altra parte del segmento (generalmente sempre il 10%). Aspetta un periodo di tempo specificato (ad esempio 24 ore), quindi analizza i risultati delle interazioni e sceglie un vincitore sulla base dei criteri selezionati (ad esempio, il più aperto). Il percorso quindi invia automaticamente la progettazione vincente al resto del segmento (il restante 80%).

Creare un messaggio di marketing per il test A/B

Per configurare un test A/B, inizia con la creazione della progettazione di controllo (questa sarà la versione A) e quindi crea una versione B in cui è stata modificata solo una piccola parte della progettazione. Ogni test A/B consente un solo tipo di modifica (come intestazione, corpo, o contenuto completo).

Nota

È possibile definire un solo nuovo test A/B per lo stesso progetto. È necessario attendere l'esecuzione del test A/B prima di creare un nuovo test.

Per configurare le progettazioni A e B per un messaggio:

1. Crea la progettazione iniziale (di controllo) come di consueto, come descritto in Creare un nuovo messaggio e-mail e progettarne il contenuto. Perfeziona la progettazione il più possibile e assicurati di controllare la presenza di errori in modo che possa passare allo stato Live.

2. Quando la progettazione di A viene completata, effettuare una delle operazioni seguenti:

   • Seleziona il pulsante Test A/B nell'angolo in alto a destra dell'editor di posta elettronica per aprire il pannello Test A/B.
   • Se non hai ancora definito un test per questo messaggio e-mail, seleziona il pulsante Aggiungi test nel pannello Test A/B.
   • Se hai già definito un test, puoi modificare le versioni A e B passando da una versione all'altra.

   

3. Vengono visualizzati i parametri del nuovo test. Effettua le operazioni seguenti:

   • Imposta Tipo di test su uno dei seguenti valori: Intestazione (oggetto, mittente)-: consente di scegliere un altro argomento o diverso mittente per la versione B della progettazione. I destinatari lo vedranno come il nome del mittente del messaggio. Non verrà modificato l'indirizzo effettivo del mittente che rimarrà lo stesso per entrambe le versioni. - Corpo: consente di selezionare uno o più elementi di progettazione nel corpo del messaggio e quindi modificare le impostazioni, il contenuto o l'aspetto di tali elementi nella versione B della progettazione. - Contenuto completo: consente di selezionare un altro argomento, mittente o uno o più elementi di progettazione nel corpo del messaggio e quindi modificare le impostazioni, il contenuto o l'aspetto di tali elementi nella versione B della progettazione.
   • Immetti un valore per Titolo test per identificare il test. Tale titolo viene visualizzato nel pannello Test A/B del percorso del cliente quando stai scegliendo quale test eseguire per tale percorso.

   

   Importante

   È possibile definire un solo nuovo test A/B alla volta per il messaggio. È possibile aggiungere un nuovo test solo dopo che il test precedente è stato eseguito.

   Nota

   Puoi eseguire ogni test una sola volta, su un unico riquadro e-mail e in un unico percorso. Non appena configuri un percorso per l'esecuzione di un test, non sarai in grado di selezionare tale test per un altro riquadro o percorso. Se desideri eseguire diversi test su un singolo progetto, aggiungi un nuovo test al pannello Test A/B una volta eseguito il precedente. Per rimuovere un test A/B dal messaggio, seleziona il pulsante del cestino.

4. Un nuovo test del tipo che hai selezionato viene ora aggiunto alla sezione Nuovo del pannello Test A/B. Tieni presente quanto segue:

   • Puoi avere solo un nuovo test attivo e in esecuzione in un dato momento.
   • La sezione Attivo del pannello Test A/B mostra sia il test A/B attualmente in esecuzione sia tutti i test A/B già eseguiti per il messaggio.
   • Seleziona un test dal pannello Test A/B per utilizzare tale test. Quando viene selezionato un test, viene espanso per mostrare i pulsanti Versione A e Versione B per utilizzare tale test.
   • È possibile modificare il tipo o il titolo del test. Il titolo del test viene visualizzato nel riquadro e-mail del percorso del cliente quando stai scegliendo quale test eseguire per tale percorso.
   • Per i test delle intestazioni, i parametri controllati dai test selezionati (oggetto e nome "Mittente") visualizzano un'icona A icon o B per indicare cosa viene testato e la versione visualizzata (e modificabile). L'icona cambia per corrispondere al pulsante di versione selezionato (Versione A o Versione B).
   • Per i test del corpo, ogni elemento testato è circondato da una cornice colorata (quando è selezionato) che corrisponde al colore del pulsante di versione selezionato (blu per la Versione A o rosa per la Versione B). Vedi il passaggio successivo per informazioni dettagliate su come configurare questo elemento.

   

5. Seleziona un test dal pannello Test A/B, quindi seleziona il pulsante Versione B. Esegui una delle operazioni riportate di seguito, a seconda del tipo di test che stai effettuando:

   • Per i test sull'intestazione, i campi Oggetto e Nome mittente ora dovrebbero mostrare un'icona B. Immetti un nuovo oggetto qui o il nome del mittente qui.
   • Per i test relativi al corpo del messaggio, aggiungi un elemento al test selezionandolo nel canvas per evidenziarlo quindi seleziona il pulsante A/B nella scheda nella parte superiore della cornice evidenziata. Questo pulsante è un interruttore, quindi puoi selezionarlo nuovamente per rimuovere un elemento dal test: mostra uno sfondo bianco per gli elementi testati e uno sfondo blu scuro per gli elementi comuni a ogni versione. Per gli elementi testati, il colore del frame indica la versione: blu chiaro per la versione A e rosa scuro per la versione B. Puoi aggiungere il numero desiderato di elementi che vuoi testare, ma in genere è meglio testare solo alcuni elementi (o un elemento) alla volta.

   

6. Ora modifica la progettazione degli elementi abilitati per il test. Per i test per l'intestazione, modifica il testo dei campi appropriati; per i test per il corpo, puoi modificare il contenuto di testo per gli elementi di testo o le impostazioni della scheda Proprietà per altri tipi di elementi di progettazione. Puoi passare da una versione all'altra utilizzando i pulsanti Versione A e Versione B e continuare a modificare ogni versione durante la visualizzazione.

   Nota

   Anche dopo aver abilitato il test A/B, puoi comunque modificare le parti del messaggio che non sono incluse in nessun test. Quando esegui le modifiche, queste avranno impatto su tutte le versioni (la versione A e tutte le versioni B), indipendentemente dal test e dal pulsante di versione attualmente selezionati. Al contrario, se modifichi un'impostazione abilitata per il test, modifichi solo la versione selezionata utilizzando i pulsanti Versione A e Versione B. Ricorda che la versione A sarà la stessa per tutti i test, ma la versione B è univoca per ogni test.

   Fai attenzione quando aggiungi nuovi elementi di progettazione a un messaggio per il quale è già impostato un test per il corpo. Dopo aver eseguito questa operazione, verifica sempre che i nuovi elementi siano definiti in modo completo con il contenuto e le impostazioni corrette per ogni versione di ogni test.

7. Al termine della configurazione delle progettazioni e di un nuovo test A/B seleziona Passa allo stato Live per rendere il messaggio disponibile per l'uso con un percorso del cliente.

Preparare l'esecuzione del test da un percorso del cliente

Quando il messaggio e-mail è pronto per il test, utilizza un percorso del cliente per inviarlo. Puoi includere i messaggi e-mail del test A/B in qualsiasi tipo di percorso, indipendentemente dalla complessità e inclusi i percorso che stai utilizzando in una campagna di produzione. La strategia consiste nell'inviare ogni progettazione a una piccola parte del segmento di destinazione del percorso, attendere per vedere in che modo tali destinatari reagiscono a ogni versione del messaggio e quindi inviare il messaggio con le migliori prestazioni al resto del segmento. Puoi scegliere quali sono le condizioni di successo (i messaggi con più clic o quelli più aprti) nonché la durata di esecuzione del test.

Importante

Per ottenere risultati affidabili dal test, devi sempre inviare ogni versione (A e B) ad almeno 100 destinatari prima di consentire al sistema di scegliere un vincitore. Una configurazione tipica consigliata utilizza un segmento di 1000 membri (o più), con una distribuzione del test che invia la versione A al 10% del segmento, la versione B a un altro 10% e quindi invia la progettazione vincente al restante 80%.

È possibile eseguire un test A/B anche con uno o pochi destinatari per ogni versione, ma questo può spesso provocare una distribuzione delle versioni variabile o non casuale e risultati finali non affidabili. È consigliabile farlo solo quando si eseguono delle prove della funzionalità.

Per aggiungere un test A/B a un percorso:

1. Configura il tuo percorso come di consueto e assicurati di includere uno o più riquadri e-mail quando posizioni i messaggi e-mail del test A/B.

2. Seleziona un riquadro e-mail da includere nella pipeline del percorso e apri la scheda Proprietà nel pannello laterale per iniziare a configurare il riquadro.

3. Nel campo Messaggio e-mail di marketing nel Pannello Proprietà, seleziona il messaggio e-mail configurato per il test A/B. Tieni presente che quando un messaggio ha un test A/B progettato per esso, il riquadro presenta le icone A e B nell'angolo. Ora sono visualizzate in grigio perché non hai ancora configurato il test per questo riquadro (diventeranno blu dopo aver abilitato il test).

   

4. Scorri verso il basso nel pannello Proprietà finché non viene visualizzato l'interruttore Test A/B e quindi selezionalo per attivare il test. Si aprono le impostazioni del test A/B.

   

   Nota

   Se selezioni un messaggio email con progettazioni A e B ma non abiliti il test A/B per il riquadro, la versione A verrà inviata a tutti i destinatari.

5. Effettua le seguenti impostazioni per configurare il test:

   • Scegli test A/B: la progettazione e-mail selezionata deve avere almeno una configurazione di test che non è stata utilizzata, ma potrebbero essere di più. Seleziona il nome del test che desideri eseguire su questo riquadro. Puoi eseguire al massimo un test alla volta.
   • Distribuzione A/B: imposta il dispositivo di scorrimento per scegliere il numero di contatti (come percentuale del numero totale di contatti nel segmento di destinazione) che desideri includere nel test. Metà del gruppo di destinatari del test riceverà la versione A e l'altra metà la versione B. Tutti i contatti del test e le versioni che ognuno riceverà sono selezionati in modo casuale.
   • Metrica vincente: scegli se decidere la progettazione vincente in base alla frequenza di clic (la frequenza di volte in cui un destinatario ha fatto clic su un collegamento nel messaggio) o il tasso di apertura (la frequenza con cui un destinatario ha aperto il messaggio). In ogni caso, il vincitore è la versione che ha prodotto il maggior numero di clic o apertura in proporzione rispetto al numero totale di volte in cui la versione è stata inviata.
   • Durata test: utilizza queste impostazioni per stabilire la durata di esecuzione del test. Per conseguire i migliori risultati possibili, è consigliabile eseguire ogni test per almeno 24 ore o, se possibile, per un periodo più lungo, in particolare se stai puntanto a un gruppo di destinatari internazionale (per compensare i fusi orari). Nella fine di questo tempo, il sistema analizzerà i risultati e invierà la progettazione vincente ai contatti rimanenti nel segmento. Ai contatti che hanno ricevuto la progettazione "perdente" non verrà inviato di nuovo il messaggio e-mail vincente.
   • Se i risultati sono insufficienti, invia: scegli cosa fare se il test non produce un vincitore chiaro. In questo caso, puoi scegliere di inviare la versione A, la versione B o una suddivisione 50/50 casuale di entrambe le versioni a tutti i contatti rimanenti.

   Nota

   Il vincitore viene selezionato utilizzando un'ipotesi Null. Per set di grandi dimensioni con almeno 1.000 contatti, il livello di attendibilità per la variante vincente deve essere almeno del 95%. In set più piccoli, il livello di attendibilità può arrivare fino all'80%. Se le varianti differiscono per un numero relativamente piccolo di contatti, i risultati del test saranno probabilmente considerati inconcludenti.

   In altre parole, il vincitore di un test A/B non è automaticamente la variante con più contatti. Vince invece la variante che mostra un risultato statisticamente rilevante.

6. Completa la configurazione del percorso come di consueto e passa allo stato Live.

Controllare il ciclo di vita dei test A/B

Ogni test definito per un determinato messaggio e-mail può essere eseguito una sola volta. Non appena un test inizia a essere elaborato da un percorso del cliente, o è stato elaborato, non potrà più essere usato con un altro percorso del cliente. Pertanto, potresti provare a configurare un test A/B per un riquadro e-mail in un percorso del cliente e restare sorpreso quando non riesci a selezionare il test che vuoi eseguire. In questo caso, puoi semplicemente aggiungere un altro test.

Per visualizzare lo stato di esecuzione di ogni test A/B definito in un messaggio e-mail, apri il messaggio ed espandi il pannello Test A/B. Ogni test disponibile per il messaggio viene elencato sotto una delle intestazioni seguenti. Ogni intestazione include un pulsante espandi/comprimi per visualizzare o nascondere i test in ogni categoria.

• Bozza: questi sono i test che non sono ancora stati eseguiti, quindi puoi modificarne le impostazioni e selezionarli durante la configurazione di un riquadro e-mail per un percorso del cliente.
• Pianificato: si tratta di test già configurati per essere eseguiti da un percorso del cliente, ma il percorso non è stato ancora avviato. Le relative impostazioni sono bloccate e non puoi eseguirli in un altro percorso del cliente.
• In corso: questi sono i test eseguiti al momento. Le relative impostazioni sono bloccate e non puoi eseguirli in un altro percorso del cliente.
• Terminato: si tratti di test completati e che non possono essere riutilizzati. Per visualizzare i risultati, vai al percorso del cliente dove è stato eseguito il test.

Esaminare i risultati del test

Puoi controllare lo stato e i risultati dei test A/B in qualsiasi momento esaminando i riquadri e-mail del percorso del cliente. A tale scopo:

1. Apri il percorso del cliente.

2. Seleziona il riquadro e-mail in cui stai eseguendo un test A/B.

3. Scorri verso il basso nella parte inferiore del pannello Dati per selezionare il riquadro e-mail. Di seguito vedrai una schermata che mostra il nome del test, la percentuale dei contatti a cui hai inviato ogni versione (inclusa la versione vincente), il tempo rimanente del test e quale progettazione è stata dichiarata vincente (purché il test sia stato completato).

   

4. Seleziona il collegamento Visualizza dettagli in questo punto per ottenere maggiori informazioni sui risultati del test. Viene aperta una finestra di dialogo che mostra i KPI per ogni progettazione dal test. Per ulteriori informazioni sui KPI dei messaggi e-mail e su come interpretarli, vedi il glossario di Informazioni dettagliate.

   

Puoi inoltre visualizzare i risultati di un test A/B aprendo il messaggio stesso. Da qui, apri il pannello Test A/B, espandi la categoria Terminato di test e seleziona il pulsante Informazioni dettagliate sui test per il test che desideri visualizzare.

Sostituire la versione A con la versione B al termine di un test

Indipendentemente dai risultati di un test A/B, la versione A rimarrà la versione standard del messaggio. I test futuri continueranno ad essere eseguiti sulla versione A e tutti i percorsi che non eseguono un test A/B invieranno la versione A a tutti. Pertanto, e sopratutto se la versione B supera un test, si potrebbe valutare la possibilità di convertire la versione B nella nuova versione A da qui in avanti.

Attenzione

Quando sostituisci la versione A con la versione B, la versione A viene definitivamente eliminata e sostituita con la versione B dal test selezionato. Questa azione non può essere annullata.

Per sostituire la versione A con la versione B da un test selezionato:

1. Apri il messaggio di cui è stato completato il test A/B.

2. Espandi il pannello Test A/B per visualizzare l'elenco di test.

3. Espandi la categoria Terminato di test nel pannello Test A/B.

4. Seleziona il test in cui la versione B è quella che desideri convertire nella nuova versione A e seleziona il pulsante Sostituisci con la versione B.

   

5. Ti verrà chiesto di confermare l'azione. Se sei sicuro di continuare, conferma e salva il messaggio.