Executar experimentos de app com teste A/B

  • Artigo

Você pode usar o Partner Center para definir variáveis remotas que podem ser recuperadas em tempo de execução de seus aplicativos de Plataforma Universal do Windows (UWP) e testar variações desses valores com seus usuários para identificar os valores mais eficazes para impulsionar o comportamento desejado do usuário. O aplicativo pode usar variáveis remotas para configurar experiências de aplicativo, como compras realizadas em aplicativo, fluxo de assinaturas, legendas e veiculações de anúncios.

A meta do teste A/B deve ser identificar uma variação dos valores variáveis remotos que deve resultar em taxas de conversão melhores (por exemplo, mais compras realizadas em aplicativo), oferecendo uma experiência de aplicativo mais atraente. Depois de identificar uma variação bem-sucedida, você poderá encerrar imediatamente o experimento e habilitar essa variação para todo o público do usuário do Partner Center, sem precisar republicar seu aplicativo.

Criar e executar um teste A/B

Para criar e executar um teste A/B, siga estas etapas:

  1. Crie um projeto e defina variáveis remotas no Partner Center. Este projeto contém as variáveis e os valores de variáveis padrão para os experimentos.
  2. Codifique seu aplicativo para experimentação. Use uma API no Microsoft Store Services SDK para obter valores de variáveis remotas do projeto criado no Partner Center, usar esses dados para modificar o comportamento do recurso que você está testando e enviar eventos de exibição e conversão para o Partner Center.
  3. Defina seu experimento no Partner Center . Crie um experimento no projeto que defina as metas exclusivas e as variações para o teste A/B.
  4. Execute e gerencie seu experimento no quadro de cinzas do Partner Center. Ative seu experimento e use o Partner Center para examinar os resultados do experimento e concluir o experimento.

Para obter um guia passo a passo que demonstra o processo de ponta a ponta, consulte Criar e executar seu primeiro experimento com testes A/B.

Requisitos

O teste A/B no Partner Center tem suporte apenas para aplicativos UWP.

Antes de poder executar experimentos com testes A/B, você deve configurar seu computador de desenvolvimento:

  • Siga as instruções aqui para configurar seu computador de desenvolvimento para o desenvolvimento da UWP.
  • Instale o Microsoft Store Services SDK. Além da API para experimentos, esse SDK também fornece APIs para outros recursos, como a exibição de anúncios e o direcionamento dos seus clientes ao Hub de Feedback para coletar comentários sobre o seu aplicativo.

Práticas recomendadas

Para obter os resultados mais úteis, convém seguir estas recomendações ao executar experimentos com testes A/B:

  • Considere executar experimentos com apenas duas variações, com uma distribuição aleatória dividida em 50/50 para atribuições de variação.
  • Execute experimentos por pelo menos de 2 a 4 semanas para coletar dados suficientes que são estatisticamente significativos e acionáveis.

Termo Definição
Project Uma coleção de variáveis remotas com valores padrão que o aplicativo pode acessar usando o Microsoft Store Services SDK. Um projeto também pode conter um ou mais experimentos que compartilham as mesmas variáveis remotas.
Experimento Um conjunto de parâmetros que definem um teste A/B que os usuários receberão. Os experimentos são definidos no escopo de um projeto, e cada experimento consiste em:

  • Um evento de exibição que indica quando o usuário começa a exibir uma variação que faz parte do seu experimento.
  • Uma ou mais metas com eventos de conversão, que indicam quando um objetivo foi atingido.
  • Uma ou mais variações, que definem os dados variáveis usados pelo seu experimento. A variação control usa os valores variáveis padrão definidos no projeto para o experimento. Além da variação de controle, experimentos normalmente têm pelo menos uma variação adicional com valores variáveis exclusivos do experimento.
Project ID Uma ID exclusiva que associa seu aplicativo a um projeto em sua conta do Partner Center. Você deve usar essa ID para se conectar ao serviço de teste A/B no código do aplicativo para receber dados de variação e eventos de exibição de relatório e conversão no Partner Center. Para obter mais informações, veja Codificar seu aplicativo para experimentação.

Cada projeto e todos os experimentos no projeto estão associados exatamente a uma ID de projeto. Você pode usar IDs de projeto para ajudar a diferenciar entre conjuntos de experimentos distintos. Por exemplo, você pode ter um conjunto de experimentos liberado para os testadores de sua organização e outro conjunto de experimentos liberado somente para usuários externos do seu aplicativo. Um aplicativo poderá referenciar várias IDs de projeto se implementar vários experimentos.
Variação Uma coleção de uma ou mais variáveis que você está testando em seu experimento. Cada experimento deve ter pelo menos uma variável e duas variações (incluindo o controle). Um experimento pode ter até cinco variações.
Variável Um valor que o aplicativo usa para inicializar uma propriedade ou algum outro valor no aplicativo. Durante um experimento, o valor da variável muda de variação para variação. Depois que você termina um experimento, é atribuído à variável o valor da variação que você optar por liberar para todos os usuários de seu aplicativo. As variáveis podem ter os seguintes tipos: cadeia de caracteres, booliano, duplo e inteiro.
Exibir evento Uma cadeia de caracteres arbitrária que representa uma atividade quando o usuário começa a exibir uma variação que faz parte do seu experimento. Normalmente, esse é o nome de um evento no seu código. O código do aplicativo enviará essa cadeia de caracteres de evento de exibição para o Partner Center quando o usuário começar a exibir uma variação. Para obter mais informações, veja Codificar seu aplicativo para experimentação.
Evento de conversão Uma cadeia de caracteres arbitrária que representa um objetivo de uma meta de um experimento. Normalmente, esse é o nome de um evento no seu código. O código do aplicativo enviará essa cadeia de caracteres de evento de conversão para o Partner Center quando o usuário atingir um objetivo. Para obter mais informações, veja Codificar seu aplicativo para experimentação.