Analise o seu ciclo de aprendizagem com uma avaliação offline

Importante

A partir de 20 de setembro de 2023, você não poderá criar novos recursos do Personalizador. O serviço de Personalizador será aposentado no dia 1º de outubro de 2026.

Saiba como criar uma avaliação offline e interpretar os resultados.

As Avaliações Offline permitem medir a eficácia do Personalizador em comparação com o comportamento padrão do seu aplicativo durante um período de dados registrados (históricos) e avaliar o desempenho de outras definições de configuração de modelo para o seu modelo.

Quando você cria uma avaliação offline, a opção de descoberta de otimização executará avaliações offline em uma variedade de valores de política de aprendizagem para encontrar uma que possa melhorar o desempenho do seu modelo. Você também pode fornecer políticas adicionais para avaliar na avaliação offline.

Leia sobre Avaliações Offline para saber mais.

Pré-requisitos

• Um recurso do Personalizador configurado
• O recurso do Personalizador deve ter uma quantidade representativa de dados registrados - como uma figura de ballpark, recomendamos pelo menos 50.000 eventos em seus logs para resultados de avaliação significativos. Opcionalmente, você também pode ter exportado anteriormente arquivos de política de aprendizagem que deseja testar e comparar nesta avaliação.

Executar uma avaliação offline

1. No portal do Azure, localize seu recurso do Personalizador.

2. No portal do Azure, vá para a seção Avaliações e selecione Criar avaliação.

3. Preencha as opções na janela Criar uma avaliação :

   • Um nome de avaliação.
   • Data de início e fim - são datas que especificam o intervalo de dados a utilizar na avaliação. Esses dados devem estar presentes nos logs, conforme especificado no valor Data Retention (Retenção de dados).
   • Defina a descoberta de otimização como sim, se desejar que o Personalizador tente encontrar políticas de aprendizagem mais ideais.
   • Adicionar configurações de aprendizagem - carregue um arquivo de política de aprendizagem se desejar avaliar uma política personalizada ou exportada anteriormente.l

   

4. Inicie a Avaliação selecionando Iniciar avaliação.

Rever os resultados da avaliação

As avaliações podem levar muito tempo para serem executadas, dependendo da quantidade de dados a processar, do número de políticas de aprendizagem a serem comparadas e se uma otimização foi solicitada.

1. Uma vez concluída, pode selecionar a avaliação a partir da lista de avaliações e, em seguida, selecionar Comparar a pontuação da sua candidatura com outras potenciais definições de aprendizagem. Selecione este recurso quando quiser ver o desempenho da sua política de aprendizagem atual em comparação com uma nova política.

2. Em seguida, analise o desempenho das políticas de aprendizagem.

   

Você verá várias políticas de aprendizagem no gráfico, juntamente com sua recompensa média estimada, intervalos de confiança e opções para baixar ou aplicar uma política específica.

• "Online" - Política atual do Personalizador
• "Linha de base1" - A política de linha de base do seu aplicativo
• "BaselineRand" - Uma política de tomar ações aleatoriamente
• "Inter-len#" ou "Hyper#" - Políticas criadas pela descoberta de otimização.

Selecione Aplicar para aplicar a política que melhor melhora o modelo para seus dados.

Próximos passos

• Saiba mais sobre como funcionam as avaliações offline.