Criar e executar testes A/B em seus designs de email

Importante

Este artigo aplica-se somente ao marketing de saída.

Use testes A/B de email para descobrir qual dos dois designs semelhantes provavelmente será mais bem-sucedido e envie o design vencedor ao público-alvo restante automaticamente. Você começa criando um design de controle (a versão "A") e usa-o como base para criar uma versão "B", em que modificou uma pequena parte dele (por exemplo, o assunto ou uma imagem). Finalmente, execute o teste como parte de um jornada do cliente.

A jornada executa o teste inteiro automaticamente. Começa enviando a versão A para uma pequena parte do seu segmento (por exemplo, 10% dos contatos, selecionados aleatoriamente) e também enviando a versão B para outra parte do segmento (em geral também 10%). Aguarda um período da sua escolha (por exemplo, 24 horas), analisa os resultados da interação e escolhe um vencedor com base nos critérios selecionados (como os mais abertos). A jornada envia o design vencedor para o restante do segmento (os 80% restantes) automaticamente.

Criar um email de marketing para teste de A/B

Para configurar um teste de A/B comece criando o design de controle (será a versão A) e, depois, a versão B onde apenas uma pequena parte do design foi alterada. Cada teste A/B permite apenas um tipo de alteração (como cabeçalho, corpo, ou conteúdo completo).

Nota

Você pode definir apenas um novo teste A/B para o mesmo design. Aguarde até que o teste A/B seja executado antes de criar um novo teste.

Para configurar designs A e B de uma mensagem:

1. Crie o design (controle) inicial como de costume, conforme descrito em Criar um novo email e seu conteúdo. Aperfeiçoe o design, o máximo possível, e certifique-se de verificar se há erros para garantir que ele possa ser ativado.

2. Quando seu design A for finalizado, execute um destes procedimentos:

   • Selecione o botão de teste A/B no canto superior direito do editor de email para abrir o painel de teste A/B.
   • Se você ainda não tiver definido um teste para este email, selecione o botão Adicionar teste no painel de teste A/B.
   • Se você já definiu um teste, poderá modificar as versões A e B alternando entre elas.

   

3. Os parâmetros do novo teste são exibidos. Faça o seguinte:

   • Defina o Tipo de teste como um dos seguintes: - Cabeçalho (assunto, email de): permite escolher um assunto diferente ou outro nome "De" para a versão B do design. Os destinatários verão isso como o nome "De" do remetente da mensagem. Isso não alterará o endereço "De" real, que permanecerá o mesmo para as duas versões. - Corpo: permite selecionar um ou mais elementos de design no corpo do email e, em seguida, alterar as configurações, o conteúdo ou a aparência desses elementos na versão B do design. - Conteúdo completo: permite selecionar outro assunto, o nome "De" e um ou mais elementos de design no corpo do email e, depois, alterar as configurações, o conteúdo ou a aparência desses elementos na versão B do design.
   • Insira um Título do teste para identificar o teste. Esse título é exibido no painel Teste A/B e no bloco de email da jornada do cliente quando você escolhe o teste para ser executado para essa jornada.

   

   Importante

   Você pode definir apenas um novo teste A/B para a mensagem de cada vez. É possível adicionar um novo teste somente após a execução do teste anterior.

   Nota

   Você pode executar cada teste apenas uma vez, em um único bloco de email, em uma única jornada. Assim que você configurar uma jornada para executar um teste, você não poderá selecionar esse teste para nenhum outro bloco de email ou jornada. Se desejar executar vários testes em um único design, adicione um novo teste ao painel Teste A/B quando o anterior tiver sido executado. Para remover um teste A/B da mensagem, selecione o botão da lixeira.

4. Um novo teste do tipo selecionado agora está adicionado à seção Novo do painel Teste A/B. Observe o seguinte:

   • Você só pode ter um novo teste em execução de cada vez.
   • A seção Ativo seção do painel Teste A/B mostra o teste A/B em execução no momento e todos os testes A/B anteriores da mensagem.
   • Selecione um teste do painel Teste A/B para trabalhar com esse teste. Quando um teste é selecionado, ele é expandido para mostrar os botões Versão A e Versão B para trabalhar com esse teste.
   • Você pode alterar o tipo ou título do teste. O título do teste é exibido no bloco de email da jornada do cliente quando você está escolhendo qual teste executar para essa jornada.
   • Para testes de cabeçalho, os parâmetros controlados pelo teste selecionado (assunto e nome "De") mostram um ícone A ou um ícone B para indicar o que você está testando e qual versão está sendo mostrada (e editável). O ícone é alterado para corresponder ao botão da versão selecionada ( Versão A ou Versão B ).
   • Para testes de corpo, cada elemento sendo testado apresenta um quadro colorido ao redor (quando selecionado) que corresponde à cor do botão da versão que você selecionou (azul para Versão A ou rosa para Versão B). Consulte a próxima etapa para obter detalhes sobre como configurar isso.

   

5. Selecione um teste do painel Teste A/B e, em seguida, selecione o botão Versão B. Siga um destes procedimentos, dependendo do tipo de teste que você está realizando:

   • Para testes de cabeçalho, agora os campos Assunto e Nome de remetente devem mostrar um ícone B. Insira um novo assunto aqui ou o nome "De" aqui.
   • Para testes de corpo, adicione um elemento ao teste, selecionando-o na tela para destacá-lo e, em seguida, selecione o botão A/B na guia na parte superior do quadro destacado. Trata-se de um botão de alternância, para que você possa selecioná-lo novamente para remover um elemento do teste — ele mostra um fundo branco para elementos sendo testados e mostra um fundo azul escuro para elementos iguais para cada versão. Para elementos testados, a cor do quadro indica a versão: azul claro para a versão A e rosa escuro para a versão B. Você pode adicionar quantos elementos desejar para o teste, mas geralmente é melhor testar apenas alguns elementos (ou um elemento) de cada vez.

   

6. Agora altere o design dos itens habilitados para teste. Para testes de cabeçalho, edite o texto dos campos apropriados; para testes de corpo, você pode editar o conteúdo do texto para elementos de texto ou configurações da guia Propriedade para outros tipos de elementos de design. Você pode alternar entre versões usando os botões Versão A e Versão B e continuar a editar cada versão enquanto ela estiver sendo exibida.

   Nota

   Mesmo após a habilitação do teste A/B, você ainda pode editar partes da sua mensagem que não fazem parte de nenhum teste. Ao fazer isso, suas edições afetam todas as versões (a versão A e todas as versões B), independentemente de qual botão de teste e versão esteja selecionado no momento. Contudo, se você editar uma configuração habilitada para teste, editará apenas a versão selecionada usando os botões Versão A e Versão B. Lembre-se de que a versão A é a mesma para todos os testes, mas a versão B é exclusiva para cada teste.

   Tenha cuidado ao adicionar novos elementos de design a uma mensagem que já tenha um teste de corpo configurado. Após fazer isso, sempre verifique se seus novos elementos estão totalmente definidos com o conteúdo e as configurações corretos para cada versão de cada teste.

7. Quando terminar de configurar seus designs e um novo teste A/B, selecione Ativar para disponibilizar a mensagem para o uso por uma jornada do cliente.

Prepare-se para executar um teste da viagem do cliente

Quando seu email estiver pronto para teste, use uma jornada do cliente para enviá-lo. Você pode incluir emails de teste A/B em qualquer tipo de jornada, independentemente da complexidade e incluir as jornadas que você está usando em uma campanha de produção. A estratégia é enviar cada design para uma pequena parte do segmento completo que está sendo segmentado pela jornada, aguardar para ver como esses destinatários reagem a cada versão da mensagem e enviar a mensagem com melhor desempenho para o restante do segmento. Você pode escolher quais são as condições vencedoras (a maioria dos cliques ou a maioria das aberturas) e também por quanto tempo deve ser realizado o teste.

Importante

Para produzir resultados de teste confiáveis, sempre envie cada versão (A e B) para um mínimo de 100 destinatários antes de permitir que o sistema escolha um vencedor. Uma instalação típica recomendada usaria um segmento de 1.000 membros (ou mais), com uma distribuição de teste que envia a versão A para 10% do segmento, a versão B para outros 10% e envia o design vencedor para os 80% restantes.

É possível executar um teste A/B com apenas um ou alguns destinatários para cada versão, mas isso geralmente pode resultar em uma distribuição desigual ou não aleatória de versões e em resultados finais não confiáveis. Recomendamos que você faça isso apenas ao experimentar o recurso.

Para adicionar um teste A/B a uma jornada:

1. Configure sua jornada como de costume e inclua um ou mais blocos de email nos quais você pode colocar seus emails de teste A/B.

2. Selecione um bloco de email para incluir no seu pipeline da jornada e abra a guia Propriedades no painel lateral para iniciar a configuração do bloco.

3. No campo Mensagem de email de marketing no painel Propriedades, selecione a mensagem de email configurada para teste A/B. Note que, quando uma mensagem tem um teste A/B criado para ela, o bloco mostra os ícones A e B no canto. Eles são mostrados em cinza por enquanto, porque você ainda não configurou o teste para esse bloco (eles ficarão azuis depois que você ativar o teste).

   

4. Role para baixo no painel Propriedades até visualizar a alternância Teste A/B e selecione para ativar o teste. Serão abertas as configurações do teste A/B.

   

   Observação

   Se você selecionar uma mensagem de email que tem os designs A e B, mas não ativar o teste A/B para o bloco, então a versão A será enviada a todos os destinatários.

5. Estabeleça as seguintes definições para configurar o teste:

   • Escolher teste A/B: seu design de email selecionado deve ter pelo menos uma configuração de teste que não tenha sido usada, mas pode ter mais. Selecione o nome do teste que você deseja executar neste bloco. Você pode executar no máximo um teste de cada vez.
   • Distribuição A/B: defina o controle deslizante para escolher quantos contatos (como uma porcentagem do número total de contatos no segmento de destino) você gostaria de incluir no teste. Metade do público-alvo do teste receberá a versão A e a outra metade receberá a versão B. Todos os contatos do teste e as versões que cada um recebe são selecionados aleatoriamente.
   • Métrica vencedora: Escolha se deseja decidir o design vencedor com base na taxa de cliques (com que frequência um destinatário clicou em um link na mensagem) ou na taxa de abertura (com que frequência um destinatário abriu a mensagem). Em cada caso, o vencedor é a versão que produziu a maioria dos cliques ou abre como uma proporção do número total de vezes que a versão foi enviada.
   • Duração do teste: Use essas configurações para estabelecer em quanto tempo o teste deverá ser executado. Para obter melhores resultados, recomendamos executar cada teste por pelo menos 24 horas ou mais, se possível, especialmente se você estiver segmentando um público mundial (para compensar os fusos horários). Ao final desse período, o sistema analisará os resultados e enviará o design vencedor para os demais contatos do segmento. Os contatos que receberam o design "perdedor" não reenviarão o vencedor.
   • Se os resultados forem inconclusivos, envie: Escolha o que fazer se o teste não produzir um vencedor claro. Nesse caso, você pode optar por enviar a versão A, versão B ou uma divisão 50/50 aleatória de ambas as versões para todos os contatos restantes.

   Nota

   O vencedor é selecionado usando uma hipótese nula. Para grandes conjuntos com pelo menos 1.000 contatos, o nível de confiança para a variante vencedora deve ser de pelo menos 95%. Em conjuntos menores, o nível de confiança pode ser tão baixo quanto 80%. Se as variantes diferirem por um número relativamente pequeno de contatos, os resultados do teste provavelmente serão considerados inconclusivos.

   Em outras palavras, o vencedor de um teste A/B não é automaticamente a variante com mais contatos. Em vez disso, o vencedor é a variante que mostra um resultado estatisticamente significativo.

6. Termine de configurar sua jornada como de costume e continue.

Monitore o ciclo de vida de seus testes A/B

Cada teste definido para uma determinada mensagem de email pode ser executado apenas uma vez. Assim que um teste começar a ser processado por uma jornada do cliente ou tiver sido processado, você não poderá usá-lo novamente em qualquer outra jornada do cliente. Como resultado, às vezes você pode tentar configurar um teste A/B para um bloco de email em uma jornada do cliente e se surpreender quando não puder selecionar o teste que deseja executar. Nesse caso, você pode apenas adicionar outro teste.

Para visualizar o status de execução de cada teste A/B definido em uma mensagem de email, abra a mensagem e expanda o painel Teste A/B. Cada teste disponível para a mensagem é listado em um dos seguintes títulos: Cada título tem um botão expandir/recolher para mostrar ou ocultar os testes em cada categoria.

• Rascunho: como esses testes ainda não foram executados, você ainda pode editar as configurações e selecioná-las ao configurar um bloco de email para uma jornada do cliente.
• Agendado: Estes são os testes que não estão configurados para serem executados por uma jornada do cliente, mas a jornada ainda não começou. Suas configurações estão bloqueadas e você não pode executá-las em nenhuma outra jornada do cliente.
• Em andamento: são os testes que estão sendo executados no momento. Suas configurações estão bloqueadas e você não pode executá-las em nenhuma outra jornada do cliente.
• Concluído: Estes são os testes que foram concluídos e não podem ser usados novamente. Para visualizar os resultados, acesse a jornada do cliente em que você executou o teste.

Inspecione os resultados do teste

Você pode verificar o andamento e os resultados dos testes A/B a qualquer momento, examinando os blocos de email de sua jornada do cliente. Para fazer isso:

1. Abra a jornada do cliente.

2. Selecione o bloco de email onde você está executando um teste A/B.

3. Role para baixo até a parte inferior do painel Dados do bloco de email selecionado. Aqui você verá uma exibição que mostra o nome do teste, a porcentagem de contatos para os quais você enviou cada versão (incluindo a versão vencedora), quanto tempo resta no teste e qual design foi declarado vencedor (desde que o teste tenha sido concluído).

   

4. Selecione o link Exibir detalhes aqui para obter mais informações sobre os resultados do teste. Será mostrada uma caixa de diálogo que mostra KPIs para cada design do teste. Para obter mais informações sobre KPIs de email e como interpretá-los, consulte o Glossário de insights.

   

Você também pode ver os resultados do teste A/B abrindo a própria mensagem. Deste ponto, abra o painel Teste A/B, expanda a categoria Concluído dos testes e selecione o botão Insights do teste para obter o teste que deseja ver.

Substitua a versão A pela versão B após a conclusão de um teste

Independentemente dos resultados de um teste A/B, a versão A permanecerá a versão padrão da mensagem. O teste futuro continuará sendo testado na versão A e todas as jornadas que não executam um teste A/B enviarão a versão A para todos. Portanto, e especialmente se a versão B ganhar um teste, considere tornar essa versão B a nova versão A daqui para frente.

Cuidado

Quando você substitui a versão A pela versão B, a versão A é excluída permanentemente e substituída pela versão B do teste selecionado. Não é possível desfazer essa ação.

Para substituir a versão A pela versão B de um teste selecionado:

1. Abra a mensagem onde o teste A / B terminou.

2. Expanda o painel Teste A/B para ver a lista de testes.

3. Expanda a categoria Concluído dos testes no painel Teste A/B.

4. Selecione o teste no qual a versão B é a única que você deseja criar na nova versão A e selecione o botão Substituir pela versão B.

   

5. Será solicitado que você confirme a ação. Se tiver certeza se desejar continuar, confirme e salve sua mensagem.