Estruturar e executar testes A/B nas suas estruturas de e-mail

Importante

Este artigo só se aplica ao marketing de saída.

Utilize os testes A/B de e-mail para identicar qual de duas estruturas semelhantes terá mais probabilidade de êxito e, em seguida, envie automaticamente a estrutura vencedora à audiência restante. Comece por criar uma estrutura de controlo (a versão "A") e, em seguida, utilize-a como a base para criar uma versão "B" da estrutura no qual tenha modificado uma pequena parte (tal como o assunto ou uma imagem). Por fim, execute o teste como parte de um percurso do cliente.

O percurso executa automaticamente todo o teste. Começa por enviar a versão A para uma pequena parte do segmento (por exemplo, 10% dos contactos selecionados aleatoriamente) e, ao mesmo tempo, envia a versão B para outra parte do segmento (normalmente, também 10%). Aguarda um período de tempo que escolher (por exemplo, 24 horas) e, em seguida, analisa os resultados da interação e escolhe um vencedor com base nos critérios selecionados (tal como, os mais abertos). Em seguida, o percurso envia automaticamente a estrutura vencedora para o resto do segmento (os restantes 80%).

Criar um e-mail de marketing para testes A/B

Para configurar um teste A/B, comece por criar a sua estrutura de controlo (que será a versão A) e, em seguida, a versão B em que apenas uma pequena parte da estrutura foi alterada. Cada teste A/B permite apenas um tipo de alteração (como cabeçalho, corpo ou conteúdo completo).

Nota

Apenas pode definir um novo teste A/B para a mesma estrutura. Tem de aguardar até que o seu teste A/B tenha sido executado antes de criar um novo teste.

Para configurar as estruturas A e B para uma mensagem:

1. Crie a sua estrutura (de controlo) inicial normalmente, conforme descrito em Criar uma nova mensagem de e-mail e estruturar o respetivo conteúdo. Aperfeiçoe a estrutura o máximo possível e certifique-se de que verifica se tem erros para assegurar se pode passar a live.

2. Quando a estrutura A estiver concluída, efetue um dos seguintes procedimentos:

   • Selecione o botão de teste A/B no canto superior direito do editor de e-mail para abrir o painel de teste A/B.
   • Se ainda não tiver definido qualquer teste para este e-mail, selecione Adicionar teste A/B no painel de teste A/B.
   • Se já definiu um teste, pode modificar as versões A e B alternando entre as mesmas.

   

3. Os parâmetros do novo teste são apresentados. Efetue o seguinte procedimento:

   • Defina o Tipo de teste para um dos seguintes: Cabeçalho (assunto, remetente do e-mail): permite-lhe escolher um assunto diferente ou um nome "De" diferente para a versão B da sua estrutura. Os destinatários verão o nome "De" como o nome do remetente da mensagem. Isto não altera o endereço "De" real, que permanecerá o mesmo para ambas as versões. - Corpo: permite-lhe selecionar um ou mais elementos da estrutura no corpo do e-mail e, em seguida, alterar as definições, o conteúdo ou o aspeto desses elementos na versão B da estrutura. - Conteúdo completo: permite-lhe selecionar um assunto diferente, o nome "De" e um mais elementos da estrutura no corpo do e-mail e, em seguida, alterar as definições, o conteúdo ou o aspeto desses elementos na versão B da estrutura.
   • Introduza um Título do teste para identificar o teste. Este título é apresentado no painel Teste A/B e no mosaico de e-mail do percurso do cliente quando estiver a escolher o teste a executar para esse percurso.

   

   Importante

   Apenas pode definir um novo teste A/B para a mensagem de cada vez. Só é possível adicionar um novo teste depois de ter sido executado o teste anterior.

   Nota

   Pode executar cada teste apenas uma vez, num único mosaico de e-mail num único percurso. Assim que configurar um percurso para executar um teste, não conseguirá selecionar esse teste para qualquer outro mosaico de e-mail ou percurso. Se pretender executar vários testes numa única estruturaq, adicione um novo teste ao painel Teste A/B, assim que o anterior tenha sido executado. Para remover um teste A/B da mensagem, selecione o botão do caixote do lixo.

4. Agora, é adicionado um novo teste do tipo selecionado à secção Novo do painel Teste A/B. Tenha em atenção o seguinte:

   • Só pode ter um novo teste ativamente operacional em qualquer altura.
   • A secção Ativo do painel Teste A/B mostra tanto o teste A/B atualmente em execução como todos os testes A/B anteriores para a mensagem.
   • Selecione um teste no painel Teste A/B para trabalhar com esse teste. Quando um teste é selecionado, é expandido para mostrar os botões Versão A e Versão B para trabalhar com esse teste.
   • Pode alterar o tipo ou o título do teste. O título do teste é apresentado no mosaico de e-mail do percurso do cliente quando estiver a escolher o teste a executar para esse percurso.
   • Para testes de cabeçalho, os parâmetros a serem controlados pelo seu teste selecionado (assunto e nome "De") mostram um ícone A ou um ícone B para indicar que está a testar e que versão está a ser mostrada (e editável). O ícone é alterado para corresponder ao botão de versão selecionado (Versão A ou Versão B).
   • Para testes de corpo, cada elemento a testar mostra uma moldura colorida à sua volta (quando selecionado) que corresponde à cor do botão de versão selecionado (azul para a Versão A ou rosa para a Versão B). Consulte o passo seguinte para obter detalhes sobre como fazer a configuração.

   

5. Selecione um teste no painel Teste A/B e, em seguida, selecione o botão Versão B. Efetue um dos seguintes procedimentos, consoante o tipo de teste que está a executar:

   • Para testes de cabeçalho, os campos Assunto e Nome do remetente devem agora mostrar um ícone B. Introduza um novo assunto aqui ou nome "De" aqui.
   • Para testes de corpo, adicione um elemento selecionando-o na tela para o realçar e, em seguida, selecione o botão A/B no separador na parte superior da moldura realçada. Trata-se de um botão de alternar, pelo que pode ser selecionado novamente para remover um elemento do teste. Apresenta um fundo branco para os elementos que estão a ser testados e mostra um fundo azul escuro para os elementos que são iguais para cada versão. Para os elementos testados, a cor da moldura indica a versão: azul claro para A versão A e rosa escuro para a versão B. Pode adicionar quantos elementos pretender ao teste. No entanto, normalmente é melhor testar apenas alguns elementos (ou um elemento) de cada vez.

   

6. Agora, altere a estrutura dos itens que ativou para o teste. Para testes de cabeçalho, edite o texto dos campos adequados; para testes de corpo, pode editar o conteúdo de texto para elementos de texto ou as definições do separador Propriedade para outros tipos de elementos de estrutura. Pode alternar entre as versões utilizando os botões Versão A e Versão B e continuar a editar cada versão enquanto esta estiver a ser apresentada.

   Nota

   Mesmo depois de ter ativado os testes A/B, pode continuar a editar partes da sua mensagem não incluídas em nenhum dos testes. Quando o fizer, as suas edições afetarão todas as versões (a versão A e todas as versões B), independentemente do botão de teste e versão atualmente selecionado. No entanto, se editar uma definição ativada para teste, só está a editar a versão selecionada através dos botões Versão A e Versão B. Lembre-se de que a versão A é igual para todos os testes, mas a versão B é exclusiva de cada teste.

   Tenha cuidado ao adicionar novos elementos de estrutura a uma mensagem que já tenha um teste de corpo configurado. Depois de o fazer, certifique-se sempre de que os novos elementos estão totalmente definidos com o conteúdo e as definições corretas para cada uma das versões de cada teste.

7. Quando tiver terminado a configuração das suas estruturas e de um novo teste A/B, selecione Passar a live para disponibilizar a sua mensagem para utilização com um percurso do cliente.

Preparar a execução do teste a partir de um percurso do cliente

Quando o e-mail estiver pronto a ser testado, utilize um percurso do cliente para o enviar. Pode incluir e-mails de teste A/B em qualquer tipo de percurso, independentemente da complexidade, incluindo percursos que esteja a utilizar numa campanha de produção. A estratégia é enviar cada estrutura para uma pequena parte do segmento completo para o qual o percurso é direcionado, aguardar para perceber a forma como esses destinatários reagem a cada versão da mensagem e, em seguida, enviar a mensagem com o melhor desempenho para o resto do segmento. Pode escolher as condições vencedoras (mais cliques ou mais aberturas) e também o tempo durante o qual o teste deve ser executado.

Importante

Para produzir resultados de testes fiáveis, deve sempre enviar cada versão (A e B) para um mínimo de 100 destinatários antes de permitir que o sistema escolha um vencedor. Uma configuração recomendada típica utilizaria um segmento de 1000 membros (ou mais), com uma distribuição de teste que envia a versão a 10% do segmento, a versão B para outros 10%, e, em seguida, envia a estrutura vencedora para os restantes 80%.

É possível executar um teste A/B com apenas um ou alguns destinatários para cada versão, mas tal poderá resultar numa distribuição não uniforme ou não aleatória das versões e em resultados finais não fiáveis. Recomendamos que só o faça quando estiver a experimentar a funcionalidade.

Para adicionar um teste de A/B a um percurso:

1. Configure o percurso conforme é hábito e certifique-se de que inclui um ou mais mosaicos de e-mail onde pode colocar os seus e-mails de teste A/B.

2. Selecione um mosaico de e-mail a incluir no pipeline de percursos e abra o separador Propriedades no painel lateral para começar a configurar o mosaico.

3. No campo Mensagem de e-mail de marketing no painel Propriedades, selecione a mensagem de e-mail que configurou para os testes A/B. Tenha em atenção que quando uma mensagem que tem um teste A/B estruturado para a mesma, o mosaico apresenta os ícones A e B no respetivo canto. Por agora, estes são mostrados a cinzento porque ainda não configurou o teste para este mosaico (passarão a azul depois de ativar o teste).

   

4. Desloque-se para baixo para o painel Propriedades até ver o seletor Testes A/B e, em seguida, selecione-o para ativar o teste. Deste modo, abre as definições do teste A/B.

   

   Nota

   Se selecionar uma mensagem de e-mail com as estruturas A e B, mas não ativar os testes A/B para o mosaico, a versão A será enviada para todos os destinatários.

5. Efetue as seguintes definições para configurar o teste:

   • Escolher teste A/B: a estrutura de e-mail selecionada tem de ter, pelo menos, um teste configurado que não tenha sido utilizado, mas pode ter mais. Selecione o nome do teste que pretende executar neste mosaico. Pode executar no máximo um teste de cada vez.
   • Distribuição A/B: defina o controlo de deslize para escolher o número de contactos (como uma percentagem do número total de contactos no segmento alvo) que pretende incluir no teste. Metade da audiência de teste irá receber a versão A e a outra metade irá receber a versão B. Todos os contactos de teste e as versões que cada um recebe são selecionados aleatoriamente.
   • Métrica prevalecente: escolha se deve decidir a estrutura prevalecente com base na taxa de cliques (com que frequência um destinatário clicou numa ligação na mensagem) ou na taxa de aberturas (com que frequência um destinatário abriu a mensagem). Em cada caso, prevalece a versão que produziu a maior parte dos cliques ou aberturas como uma proporção do número total de vezes que a versão foi enviada.
   • Duração do teste: utilize estas definições para definir a duração de execução do teste. Para obter os melhores resultados, recomendamos que execute cada teste durante pelo menos 24 horas se possível, especialmente se direcionado para uma audiência mundial (para compensar os fusos horários). No fim deste período, o sistema irá analisar os resultados e enviará a estrutura prevalecente para os contactos restantes no segmento. Os contactos que receberam a estrutura "perdedora" não receberão a prevalecente.
   • Se os resultados forem inconclusivos, enviar: escolha o que deve ser feito se o teste não produzir uma versão prevalecente clara. Neste caso, pode optar por enviar a versão A, a versão B ou uma divisão aleatória 50/50 de ambas as versões para todos os contactos restantes.

   Nota

   O vencedor é selecionado utilizando uma hipótese nula. Para grandes conjuntos com, pelo menos, 1.000 contactos, o nível de confiança para a variante vencedora precisa de ser de, pelo menos, 95%. Em conjuntos mais pequenos, o nível de confiança pode ser tão baixo como 80%. Se as variantes diferirem por um número relativamente reduzido de contactos, os resultados dos testes serão provavelmente considerados inconclusivos.

   Por outras palavras, o vencedor de um teste A/B não é automaticamente a variante com mais contactos. Em vez disso, o vencedor é a variante que mostra um resultado estatisticamente significativo.

6. Conclua a configuração do percurso como é hábito e passe-o a live.

Monitorizar o ciclo de vida dos testes A/B

Cada teste definido para uma determinada mensagem de e-mail só pode ser executado uma vez. Assim que um teste começar a ser processado por um percurso do cliente ou tiver sido processado, não conseguirá utilizá-lo novamente com outros percurso do cliente. Como resultado, poderá, por vezes, tentar configurar um teste A/B para um mosaico de e-mail num percurso do cliente e ficar surpreso quando não conseguir selecionar o teste que pretende executar. Neste caso, basta adicionar outro teste.

Para ver o estado de execução de cada teste A/B definido numa mensagem de e-mail, abra a mensagem e expanda o painel Teste A/B. Cada teste disponível para a mensagem está listado abaixo de um dos cabeçalhos seguintes. Cada cabeçalho inclui um botão expandir/fechar para mostrar ou ocultar os testes em cada categoria.

• Rascunho: são testes que ainda não foram executados, pelo que pode ainda editar as respetivas definições e escolhê-los ao configurar um mosaico de e-mail para um percurso do cliente.
• Agendado: estes são testes que já estão configurados para serem executados por um percurso do cliente, mas que esse percurso ainda não foi iniciado. As respetivas definições estão bloqueadas e não é pode executá-las noutro percurso do cliente.
• Em curso: são testes que estão a ser executados. As respetivas definições estão bloqueadas e não é pode executá-las noutro percurso do cliente.
• Concluído: estes são testes que estão concluídos e não podem ser utilizados novamente. Para ver os resultados, aceda ao percurso do cliente onde executou o teste.

Inspecionar os resultados do teste

Pode verificar o progresso e os resultados dos testes A/B em qualquer altura examinando os mosaicos de e-mail do seu percurso do cliente. Para tal:

1. Abra o percurso do cliente.

2. Selecione o mosaico de e-mail em que está a executar um teste A/B.

3. Desloque-se para baixo até ao painel Dados para o mosaico de e-mail selecionado. Aqui, verá uma apresentação que mostra o nome do teste, a percentagem de contactos para os quais enviou cada versão (incluindo a versão vencedora), a quantidade de tempo que resta no teste e que estrutura foi declarada vencedora (desde que o teste tenha terminado).

   

4. Selecione a ligação Ver detalhes aqui para obter ainda mais informações sobre os resultados do teste. Deste modo, abre um diálogo que mostra os KPIs de cada estrutura a partir do teste. Para obter mais informações sobre os KPIs de e-mail e como os interpretar, consulte o Glossário de informações.

   

Também pode ver os resultados de um teste A/B abrindo a mensagem propriamente dita. A partir daqui, abra o painel Teste A/B, expanda a categoria de testes Concluído e selecione o botão Informações do teste para testar o que pretende ver.

Substituir a versão A pela versão B após um teste ser concluído

Independentemente dos resultados de um teste A/B, a versão A permanecerá a versão padrão da mensagem. O teste futuro continuará a testar a versão A e todos os percursos que não executarem um teste A/B irão enviar a versão A para todos. Por conseguinte, e especialmente se a versão B vencer um teste, poderá considerar a possibilidade de, no futuro, tornar a versão B na nova versão A.

Atenção

Quando substitui a versão A pela versão B, A versão A é eliminada permanentemente e substituída pela versão B do teste selecionado. Não é possível anular esta ação.

Para substituir a versão A pela versão B de um teste selecionado:

1. Abra a mensagem em que o teste a/B foi concluído.

2. Expanda o painel Teste A/B para ver a lista de teste.

3. Expanda a categoria Concluído de testes no painel Teste A/B.

4. Selecione o teste com a versão B que pretende tornar na nova versão A e selecione o botão Substituir pela versão B.

   

5. Ser-lhe-á pedido que confirme a ação. Se tiver a certeza de que pretende continuar, confirme e, em seguida, guarde a mensagem.