Experimentação (versão prévia)

A experimentação é o processo de testar sistematicamente hipóteses ou alterações para melhorar a experiência do usuário ou a funcionalidade de software. Essa definição também vale para a maioria dos campos científicos, incluindo a tecnologia, em que todos os experimentos têm quatro etapas comuns:

• Desenvolvendo uma hipótese para documentar a finalidade deste experimento,
• Estruturando um método de realização do experimento, incluindo a instalação, o que é medido e como,
• Observação dos resultados medidos pelas métricas definidas na etapa anterior,
• Tirando uma conclusão sobre se a hipótese foi validada ou invalidada.

Confira este vídeo para obter uma demonstração rápida da Experimentação na Configuração de Aplicativos, destacando o caso de uso de otimização da experiência do usuário para turbinar suas métricas de negócios.

Experimentação na Configuração de Aplicativos do Azure (versão prévia)

Na Configuração de Aplicativos do Azure, o recurso de experimentação permite que os desenvolvedores testem facilmente diferentes variantes de um recurso e monitorem o impacto no nível do recurso. Depois de configurados, os usuários podem analisar novos recursos, comparar diferentes variantes de um recurso e avaliar prontamente as métricas relevantes para novas alterações de produto. Essa funcionalidade capacita as equipes de desenvolvimento com insights mensuráveis, facilitando implantações de produtos mais rápidas e seguras. A Microsoft faz parceria com o Split Software para fornecer o recurso de experimentação na Configuração de Aplicativos do Azure. O Workspace de Experimentação dividida (versão prévia) é um recurso ISV nativo do Azure para a integração entre a Microsoft e o Split Software.

Fluxo de dados de alto nível para experimentação no Azure.

Para iniciar uma experimentação, primeiro você precisa identificar o recurso e suas variações nas quais deseja experimentar. Em seguida, estão as métricas que formam a base da avaliação do recurso. Para começar seu primeiro experimento no Azure, siga as etapas descritas neste tutorial.

Conceitos relacionados à experimentação

• Variant Feature Flags: represente diferentes versões ou configurações de um recurso. Em um experimento, os sinalizadores de recursos variantes são comparados em relevância com as métricas em que você está interessado e o tráfego alocado para o público-alvo do aplicativo.

• Telemetria: Telemetria são os dados das variações de um recurso e das métricas relacionadas para avaliar o recurso. Para a instalação no Azure, os dados de avaliação/atribuição do sinalizador de recurso fluem para o provedor de telemetria. O Application Insights é o provedor de telemetria para a configuração de experimentação. Os dados das métricas definidas também fluem para a mesma instância do Application Insights.

• Teste A/B: o teste A/B, também conhecido como teste dividido, é um método padrão do setor para avaliar o impacto de possíveis alterações em uma pilha de tecnologia.

• Tamanho da amostragem: o tamanho da amostra de usuários em experimento é o tamanho da amostra. É o número de eventos enviados para qualquer variação do recurso em que você está experimentando.

• Tamanho mínimo de amostragem: é o número mínimo de eventos necessários por variação do recurso para que o experimento mostre resultados estatisticamente significativos. Quanto maior o tamanho da amostra, melhor a significância estatística dos resultados do experimento.

Considere o exemplo a seguir: você deseja ver se os clientes do seu site de comércio eletrônico são mais propensos a clicar no botão de check-out se ele for amarelo na cor (variante A) ou azul na cor (variante B). Para configurar essa comparação, é provável que você divida o tráfego entre as duas variantes do sinalizador de recurso e use o número de cliques como uma métrica para medir seu desempenho. É improvável que todos os seus recursos sejam tão simples de medir e avaliar imediatamente, e é aí que a experimentação entra. A execução de um experimento envolve a configuração de uma linha do tempo para esse processo de comparação do desempenho de cada variante relevante às métricas em que você está interessado. Os termos "Teste A/B" e "experimentação" geralmente são usados de forma intercambiável, em que a experimentação é essencialmente um teste A/B estendido em que você está testando sistematicamente hipóteses.

Configurando seu experimento

Antes de começar, considere as seguintes perguntas em seu estágio de descoberta de hipóteses: Quais perguntas você está tentando responder executando um experimento? Em que você deve executar um experimento? Por quê? Por onde você começa? Quais são algumas estratégias a seguir de acordo com suas necessidades comerciais? Este experimento ajudará você a fazer melhorias imediatas no desempenho do seu aplicativo ou em sua empresa?

Identifique o que você espera alcançar executando um experimento antes de uma versão completa, você deve documentar seu plano neste estágio. Quais são as variações do recurso ou funcionalidade em que você deseja experimentar? Em quais métricas você está interessado? Quais eventos de interação do usuário ou do sistema podem ser usados para capturar dados para alimentar essas métricas de medida?

Seu experimento é tão bom quanto os dados coletados para ele. Antes de iniciar o experimento, você deve determinar em qual variante pretende usar como o controle (variante da linha de base) e em qual você pretende ver as alterações (variante de comparação).

Tirando uma conclusão do experimento

Tirar uma conclusão (ou várias conclusões, se necessário) é o estágio final do ciclo de experimentação. Você pode verificar os resultados do experimento, que mostram o resultado e o impacto da variante de comparação em relação à variante de controle. Os resultados também mostram sua significância estatística. A medida statsig depende dos dados de telemetria e do tamanho da amostra.

Os resultados ajudam você a concluir os aprendizados e os resultados em itens acionáveis que você pode implementar imediatamente na produção. No entanto, a experimentação é um processo contínuo. Inicie novos experimentos para melhorar continuamente seu produto.

Cenários para usar experimentação

• Aplicativos inteligentes (por exemplo, recursos baseados em IA) Aceleram a adoção da IA Geral (IA Gen) e otimizam os modelos de IA e os casos de uso por meio de experimentação rápida. Use a Experimentação para iterar rapidamente em modelos de IA, testar diferentes cenários e determinar abordagens eficazes. Ele ajuda a aprimorar a agilidade na adaptação de soluções de IA às necessidades de usuário em evolução e às tendências de mercado e a facilitar a compreensão das abordagens mais eficazes para o dimensionamento de iniciativas de IA.

• CI, CD e experimentação contínua (distribuições graduais de recursos e atualizações de versão) Garanta transições perfeitas e mantenha ou melhore as principais métricas com cada atualização de versão ao gerenciar versões de recursos. Utilize a experimentação para distribuir gradualmente novos recursos para subconjuntos de usuários usando sinalizadores de recursos, monitorar métricas de desempenho e coletar comentários sobre melhorias iterativas. É benéfico reduzir o risco de introduzir bugs ou problemas de desempenho em toda a base de usuários. Ele permite a tomada de decisões controlada por dados durante as distribuições de versão e o gerenciamento de sinalizadores de recursos, levando a uma melhor qualidade do produto e à satisfação do usuário.

• Otimização da experiência do usuário (teste de interface do usuário A/B) Otimizar as métricas de negócios comparando diferentes variações de interface do usuário e determinando o design mais eficaz. Realize testes A/B usando experimentação para testar elementos de interface do usuário, medir interações do usuário e analisar métricas de desempenho. O melhor retorno aqui é a melhor experiência do usuário implementando alterações de interface do usuário com base em evidências empíricas.

• Experiências de personalização e direcionamento Entregar conteúdo personalizado e experiências personalizadas adaptadas às preferências e comportamentos do usuário. Use a experimentação para testar o conteúdo personalizado, medir o engajamento e iterar em estratégias de personalização. Os resultados são o aumento do envolvimento do usuário, das taxas de conversão e da fidelidade do cliente por meio de experiências relevantes e personalizadas. Esses resultados, por sua vez, impulsionam o crescimento da receita e a retenção do cliente direcionando o público-alvo com mensagens e ofertas personalizadas.

• Experimentos de otimização de desempenho ;elhorar o desempenho do aplicativo e fornecer uma experiência eficiente do usuário por meio de experimentos de otimização de desempenho. Realize experimentos para testar aprimoramentos de desempenho, medir as principais métricas e implementar otimizações bem-sucedidas. Aqui, a experimentação aprimora a escalabilidade, a confiabilidade e a capacidade de resposta do aplicativo por meio de melhorias proativas de desempenho. Ele otimiza a utilização de recursos e os custos de infraestrutura implementando otimizações eficientes.

Operações de teste

• Criar experimento: o experimento pode ser criado em um sinalizador de recurso variante que emite telemetria. Depois que um experimento é criado, uma versão do experimento também é criada com o experimento. As edições adicionais no sinalizador de recurso resultam na criação de uma nova versão do experimento para esse experimento.

• Experimento arquivo: Arquivar um experimento o coloca em um estado arquivado. Enquanto um experimento é arquivado, nenhum cálculo é executado no experimento. Você sempre pode restaurar o experimento mais tarde para retomar os cálculos e voltar ao estado ativo.

• Recuperar experimento: a recuperação de um experimento coloca um experimento arquivado em um estado ativo e os cálculos são retomados para o experimento.

• Excluir experimento: a exclusão de um experimento exclui o experimento em Split e todos os seus dados relacionados. É uma operação irreversível, portanto, não há restauração após a exclusão.

• Verificar os resultados do experimento: verificar os resultados de um experimento ativo permite que você veja como cada variante do experimento está sendo executado.

Requisitos de acesso para operações de teste

As seções a seguir detalham as funções necessárias para executar operações relacionadas a experimentos com a ID do Microsoft Entra.

Configurar experimentação

Para configurar a experimentação com os recursos necessários, incluindo o Workspace de Experimentação dividida, a função proprietário da assinatura do Azure ou a combinação de funções de Colaborador de Assinatura e Administrador de Acesso do Usuário é necessária.

Criar ou atualizar experimento

Para criar, atualizar, arquivar ou excluir um experimento, você precisaria da função Proprietário de Dados de Configuração de Aplicativo no repositório de Configuração de Aplicativos. Ele também requer a função de ExperimentationDataOwner no aplicativo Enterprise gerenciando o acesso de dados ao workspace de experimentação dividida conectado.

Ler os resultados do experimento

Para verificar experimentos, suas versões e resultados, você precisaria da função Leitor de Dados de Configuração de Aplicativo no repositório de Configuração de Aplicativos. Ele também requer a função de um ExperimentationDataReader ou de um ExperimentationDataOwner no aplicativo Enterprise gerenciando o acesso de dados ao workspace de experimentação de divisão conectado.

Considerações e limites de cobrança

A Configuração de Aplicativos não cobra especificamente por experimentos. A experimentação é fornecida por meio de uma integração com Espaço de Trabalho de Experimentação Dividida (versão prévia). Verifique o plano de preços para a Experimentação Dividida para a Configuração de Aplicativos do Azure.

O tamanho mínimo de exemplo necessário para experimentação de divisão é 30 por variante. Um experimento é necessário para ter o tamanho mínimo da amostra para obter os resultados do experimento ou os resultados mostram "Nenhum dado" no resultado.

Próximas etapas

Executar experimentos com sinalizadores de recursos variantes

Início rápido da Experimentação dividida