Avaliar as importâncias do recurso

Importante

A partir de 20 de setembro de 2023, você não poderá criar novos recursos do Personalizador. O serviço Personalizador está sendo desativado em 1º de outubro de 2026. Recomendamos migrar para o software livre microsoft/learning-loop.

Você pode avaliar a importância de cada recurso para o modelo de machine learning do Personalizador realizando uma avaliação de recursos nos dados de log históricos. As avaliações de recursos são úteis para:

• Entender quais recursos são mais ou menos importantes para o modelo.
• Debater recursos extras que podem ser benéficos para o aprendizado, derivando inspiração de quais recursos são atualmente importantes no modelo.
• Identifique recursos potencialmente não importantes ou não úteis que devem ser considerados para análise ou remoção adicionais.
• Solucione problemas comuns e erros que podem ocorrer ao projetar recursos e enviá-los ao Personalizador. Por exemplo, usar GUIDs, timestamps ou outros recursos que geralmente são esparsos pode ser problemático. Saiba mais sobre a melhoria dos recursos.

O que é uma avaliação de funcionalidade?

As avaliações de recursos são realizadas por meio do treinamento e da execução de uma cópia da configuração do modelo atual em dados de log historicamente coletados em um período de tempo especificado. Os recursos são ignorados um de cada vez para medir a diferença no desempenho do modelo com e sem cada recurso. Como as avaliações de recursos são executadas em dados históricos, não há garantia de que esses padrões serão observados em dados futuros. No entanto, esses insights ainda poderão ser relevantes para dados futuros se os dados registrados capturarem variabilidade suficiente ou propriedades não estacionárias dos dados. O desempenho do modelo atual não é afetado pela execução de uma avaliação de características.

A pontuação da importância do recurso é uma medida do impacto relativo do recurso na recompensa durante o período de avaliação. As pontuações de importância do recurso são um número entre 0 (menos importante) e 100 (mais importante) e são mostradas na avaliação do recurso. Como a avaliação é executada durante um período específico, as importâncias do recurso podem mudar à medida que dados adicionais são enviados ao Personalizador e conforme os usuários, cenários e dados mudam ao longo do tempo.

Criação de uma avaliação de funcionalidade

Para obter pontuações da importância do recurso, você deve criar uma avaliação de recurso durante um período de dados registrados para gerar um relatório que contenha as pontuações da importância do recurso. Este relatório pode ser exibido no portal do Azure. Para criar uma avaliação do recurso:

1. Acesse o Azure portal site
2. Selecione o recurso do Personalizador
3. Selecione a seção Monitorar no painel de navegação lateral
4. Selecione a guia Recursos
5. Selecione "Criar relatório" e uma nova tela deve aparecer
6. Escolha um nome para o seu relatório
7. Escolha os horários de início e término para o período de avaliação
8. Selecione "Criar relatório"

Em seguida, o nome do relatório deve aparecer na tabela de relatórios abaixo. A criação de uma avaliação de funcionalidades é um processo de longa duração, em que o tempo necessário para a conclusão depende do volume de dados enviados ao Personalizador durante o período de avaliação. Enquanto o relatório estiver sendo gerado, a coluna Status indicará "Em execução" para sua avaliação e será atualizada para "Êxito" após a conclusão. Verifique periodicamente para ver se a avaliação foi concluída.

Você pode executar várias avaliações de funcionalidades sobre diferentes períodos de tempo nos quais seu recurso do Personalizador possui dados de log. Verifique se o período de retenção de dados está definido por tempo suficiente para permitir avaliações em dados mais antigos.

Interpretação das pontuações de importância das características

Recursos com uma pontuação de importância alta

Os recursos com pontuações de maior importância foram mais influentes para o modelo durante o período de avaliação em comparação com outros recursos. Recursos importantes podem fornecer inspiração para a criação de recursos adicionais a serem incluídos no modelo. Por exemplo, se você concluir que os recursos de contexto "IsWeekend" ou "IsWeekday" são muito importantes para as compras de supermercado, pode ser que os feriados ou fins de semana prolongados também sejam fatores importantes e, portanto, talvez você queira pensar em adicionar os recursos que capturem essas informações.

Recursos com uma pontuação de baixa importância

Características com pontuações de baixa importância são bons candidatos para análises futuras. Nem todos os recursos de baixa pontuação são necessariamente ruins ou não úteis, pois pontuações baixas podem ocorrer por diversos motivos. A lista abaixo pode ajudá-lo a começar a analisar por que os recursos podem ter pontuações baixas:

• O recurso era raramente observado nos dados durante o período de avaliação.

  • Se o número de ocorrências desse recurso for baixo em comparação com outros recursos, isso poderá indicar que o recurso não estava presente com frequência suficiente para o modelo determinar se ele é valioso ou não.

• Os valores da característica não apresentavam muita diversidade ou variação.

  • Se o número de valores exclusivos para esse recurso for menor do que o esperado, isso poderá indicar que o recurso não variou muito durante o período de avaliação e não fornecerá insights significativos.

• Os valores do recurso eram muito barulhentos (aleatórios) ou muito distintos e forneceram pouco valor.

  • Verifique o Número de valores exclusivos na avaliação do recurso. Se o número de valores exclusivos para esse recurso for maior do que o esperado ou alto em comparação com outros recursos, isso poderá indicar que o recurso ficou muito barulhento durante o período de avaliação.

• Há um problema de dados ou formatação.

  • Verifique se os recursos estão formatados e foram enviados ao Personalizador da maneira esperada.

• O recurso pode não ser valioso para modelar o aprendizado e o desempenho se a pontuação do recurso for baixa e os motivos acima não se aplicarem.

  • Considere remover o recurso, pois ele não está ajudando o modelo a maximizar a recompensa média.

A remoção dos recursos com pontuações de baixa importância pode ajudar a acelerar o treinamento do modelo, reduzindo a quantidade de dados necessários para aprender. Ele também pode melhorar potencialmente o desempenho do modelo. No entanto, isso não é garantido e análises adicionais podem ser necessárias. Saiba mais sobre como criar recursos de contexto e ação.

Problemas comuns e etapas para melhorar as funcionalidades

• Envio de recursos com alta cardinalidade. Características com alta cardinalidade são aquelas que têm muitos valores distintos que provavelmente não se repetirão em muitos eventos. Por exemplo, as informações pessoais de uma pessoa específica (como nome, número de telefone, números de cartão de crédito, endereço IP) não devem ser usadas com o Personalizador.

• Envio de IDs de usuário Com um grande número de usuários, é improvável que essas informações sejam relevantes para o aprendizado do Personalizador a fim de maximizar a pontuação média de recompensa. O envio das IDs de usuário (mesmo que não sejam informações pessoais) provavelmente adicionará mais ruído ao modelo e não será recomendado.

• Os recursos são muito esparsos. Os valores são distintos e raramente ocorrem muitas vezes. Carimbos de data/hora que incluem o segundo podem ser muito esparsos. Ele pode se tornar mais denso (e, portanto, eficaz) agrupando os horários em "manhã", "meio-dia" ou "tarde", por exemplo.

As informações de localização normalmente também se beneficiam da criação de classificações mais amplas. Por exemplo, uma coordenada latitude/longitude como Lat: 47.67402° N, Long: 122.12154° O é excessivamente precisa e força o modelo a aprender a latitude e a longitude como dimensões distintas. Quando você está tentando personalizar com base nas informações de localização, é recomendável agrupar essas informações em setores maiores. Uma forma fácil de fazer isso é escolher uma precisão de arredondamento apropriada para os números de latitude/longitude e combinar a latitude e a longitude em "áreas", tornando-as uma cadeia de caracteres. Por exemplo, uma boa maneira de representar Lat: 47.67402° N, Long: 122.12154° O em regiões com alguns quilômetros de largura seria "location":"34.3, 12.1".

• Expandir conjuntos de recursos com informações extrapoladas Você também pode obter mais recursos pensando em atributos inexplorados que podem ser derivados das informações que você já tem. Por exemplo, em uma personalização de lista de filmes fictícia, é possível que um fim de semana em comparação a um dia útil provoque comportamentos diferentes nos usuários? A hora pode ser expandida para ter um atributo "fim de semana" ou "dia útil". Os feriados culturais nacionais/regionais atraem a atenção para determinados tipos de filme? Por exemplo, um atributo "Dia das Bruxas" é útil em locais em que ele é relevante. É possível que o clima chuvoso tenha impacto significativo na escolha de um filme para muitas pessoas? Com a hora e o local, um serviço de meteorologia pode fornecer essas informações, e você pode adicioná-lo como um recurso extra.

Próximas etapas

Analise os desempenhos da política com uma avaliação offline com o Personalizador.