Eventos
Poderosos Devs Conferência e Hack Juntos
12 de fev., 23 - 28 de fev., 23
Participe da conferência online e do hackathon de 2 semanas para explorar a criação de soluções poderosas com o Power Platform.
Registrar agoraNão há mais suporte para esse navegador.
Atualize o Microsoft Edge para aproveitar os recursos, o suporte técnico e as atualizações de segurança mais recentes.
Após cada treinamento, o AI Builder usa o conjunto de dados de teste para avaliar a qualidade e a adequação do novo modelo. Uma página de resumo do modelo mostra o resultado do treinamento dele. Esses resultados são expressos como uma classificação de desempenho de A, B, C ou D.
Depois de cada treinamento, o AI Builder mostra uma classificação para ajudar você a avaliar a precisão do seu modelo. Decidir se o modelo está pronto para publicação é uma escolha que você precisará fazer de acordo com as suas necessidades e circunstâncias exclusivas. O AI Builder fornece as classificações de desempenho a seguir para ajudar você a fazer esse julgamento.
Classificação | Diretrizes |
---|---|
A | Ainda pode ser possível aprimorar o modelo, mas essa é a melhor classificação que você poderá obter. |
B | O modelo está correto em muitos casos. Ele pode ser aprimorado? Isso dependerá de suas circunstâncias, seus dados e seus requisitos exclusivos. |
C | O modelo está fazendo um pouco mais do que uma previsão aleatória. Isso pode ser aceitável para alguns aplicativos, mas na maioria dos casos, esse é um modelo que você continuará ajustando e aprimorando. |
D | Algo está errado. Seu modelo apresenta desempenho pior em comparação a uma previsão aleatória executando um (modelo subajustado). Ou está tendo um desempenho tão bom (em ou perto de 100%) que provavelmente você tem uma coluna de dados que está diretamente correlacionada ao (modelo sobreajustado) de resultado. |
Se você está prevendo 2 ou mais resultados, as taxas de precisão reais que correspondem às classificações acima podem variar de acordo com a distribuição dos dados históricos. A diferença se dá pelo fato de que a melhoria relativa à taxa de linha de base é alterada quando você move essa linha de base.
Digamos que seu modelo preveja se uma remessa será recebida no prazo. Se a taxa histórica de pontualidade for de80%, uma pontuação de desempenho igual a 92 corresponderá a uma classificação B. Porém, se a taxa histórica de pontualidade for de apenas50%, 92 corresponderá a uma classificação A. Isso ocorre porque 92% é uma melhoria muito significativa em relação a50% do que em relação a80%, e você espera que uma previsão aleatória esteja próxima desses percentuais.
Este exemplo mostra os intervalos de precisão para cada classificação quando os dados históricos contêm taxas de pontualidade diferentes para uma previsão binária.
Classificação | Intervalo de precisão para a taxa histórica de pontualidade de 25% | Intervalo de precisão para a taxa histórica de pontualidade de 50% | Intervalo de precisão para a taxa histórica de pontualidade de 80% | Intervalo de precisão para a taxa histórica de pontualidade de 95% |
---|---|---|---|---|
A | 92,5 – <99,3% | 90 - 98% | 93 – <99% | 98,1 – <99,8% |
B | 81,3 – <92,5% | 75 – <90% | 84 – <93% | 95,3 – <98,1% |
C | 66,3 – <81,3% | 55 – <75% | 71 – <84% | 91,5 – <95,3% |
D | <66,3% ou ≥99,3% | <55% ou ≥98% | <71% ou ≥99% | <91,5% ou ≥99,8% |
As taxas de precisão que correspondem a cada série também podem variar quando você está prevendo mais de 2 resultados. Digamos que seu modelo preveja mais de duas opções para entrega: antecipado, no prazo ou atrasado.
Os intervalos de precisão para cada série mudam quando as taxas históricas de pontualidade são alteradas.
Classificação | Antecipado (33,3%) | Antecipado (20%) | Antecipado (10%) |
---|---|---|---|
No prazo (33,3%) | No prazo (40%) | No prazo (80%) | |
Atrasado (33,4%) | Atrasado (40%) | Atrasado (10%) | |
A | 86,7 – <98,7% | 87,2 – <98,7% | 93,2 – <99,3% |
B | 66,7 – <86,7% | 68,0 – <87,2% | 83,0 – <93,2% |
C | 40,0 – <66,7% | 42,4 – <68,0% | 69,4 – <83,0% |
D | 33,3 – <40,0% | 36,0 – <42,4% | 66,0 – <69,4% |
Para previsão numérica, o AI Builder usa a medida estatística R-quadrado para calcular o grau de precisão de seus modelos. A tabela a seguir mostra as classificações que correspondem a cada classificação:
Classificação | R ao quadrado |
---|---|
A | 85% - <99% |
N | 60% - <85% |
C | 10% - <60% |
D | ≥99% ou <10% |
Para obter detalhes sobre o treinamento, selecione Ver detalhes na caixa de classificação do modelo. Na guia Desempenho, as seguintes informações estão disponíveis:
Observação
Para obter informações sobre recursos adicionais planejados para essa área, confira Planos de lançamento.
O AI Builder calcula a pontuação de precisão do seu modelo com base no resultado de previsão do conjunto de dados de teste. Antes do treinamento, o AI Builder separa seu conjunto de dados em dados de treinamento separados e conjuntos de dados de teste. E após o treinamento, o AI Builder aplica seu modelo de IA ao conjunto de dados de teste e, em seguida, calcula sua pontuação de precisão. Por exemplo: se seu conjunto de dados de teste tiver 200 linhas e o AI Builder prevê corretamente 192 delas, o AI Builder mostra uma pontuação de precisão de 96%.
Para obter mais informações, confira Avaliar o modelo.
Para previsão numérica, o AI Builder calcula uma pontuação r-quadrado após cada treinamento. Essa pontuação mede a "qualidade do ajuste" do seu modelo e é usada para determinar a classificação de desempenho do seu modelo.
Digamos que você esteja prevendo o número de dias para cumprir, enviar e entregar um pedido. O modelo prevê um conjunto de números. O valor de R ao quadrado é baseado nas distâncias entre os valores previstos e os valores reais em seus dados de treinamento. Isso é expresso como um número entre 0 e 100%, com valores mais altos indicando que o valor previsto está mais próximo do valor real. Normalmente, uma pontuação mais alta significa um melhor desempenho do modelo. Lembre-se, no entanto, que pontuações perfeitas ou quase perfeitas (modelos de sobreajustados) geralmente são indícios de um problema com seus dados de treinamento.
Na guia Resumo, as seguintes informações de desempenho estão disponíveis:
Depois de ter treinado e avaliado seu modelo, é hora de ajustar seu modelo para melhorar o desempenho. Aqui estão algumas coisas que você pode tentar para ajudar a melhorar a potência preditiva do seu modelo.
Após cada treinamento, uma lista dos principais influenciadores será exibida na página de detalhes do modelo. Cada coluna usada no treinamento tem uma pontuação para representar sua influência no treinamento. Essas pontuações combinam-se para serem iguais a 100%.
Isso ajuda a mostrar se seu modelo é treinado conforme o esperado. Por exemplo, se você deseja prever a intenção dos compradores online e espera que Idade, Produto seja a coluna mais influente, você deve ver isso na lista de colunas mais influentes na página de detalhes do modelo. Caso contrário, isso poderá indicar que o resultado do treinamento não é o esperado. Nesse caso, você pode desmarcar as colunas irrelevantes ou enganosas e treinar o modelo novamente ou verificar os problemas de treinamento para ver mais detalhes.
O requisito mínimo para dados de treinamento é de 50 linhas, mas isso não significa que as linhas de dados de 50 treinarão um modelo altamente preditivo. Tente fornecer 1.000 ou mais linhas de dados, rotulados corretamente, com uma distribuição realista entre opções.
Por exemplo, se você estiver usando rótulos de duas opções de Sim ou Não, e a maioria das suas linhas de dados só tiver um Sim nesta coluna, será difícil para seu modelo aprender com esses dados. Tente ter uma distribuição de opções em seus dados que reflitam aproximadamente a distribuição das opções que você pode esperar ver. Por exemplo, se você estiver examinando colunas de dados para cat_owner e dog_owner, use uma distribuição de dados de cerca de 50%. Se você estiver examinando transações fraudulentas, use uma distribuição mais desbalanceada, talvez 95% e 5%. Procure os padrões do setor para esse tipo de informação se não souber o que esperar.
Por exemplo, se desejar prever quais clientes têm mais probabilidade de voltar e comprar seus produtos. Você pode adicionar mais colunas para que os dados de treinamento fiquem mais avançados. Por exemplo:
Você já pode ter muitos dados de treinamento rotulados corretamente, com diversas colunas de dados. Então, por que o modelo ainda não tem um bom desempenho? Pode ser que você esteja selecionando colunas que levam a uma tendência indesejada. Verifique se todas as colunas selecionadas são relevantes para influenciar o que você deseja prever. Desmarque colunas irrelevantes ou enganosas.
Eventos
Poderosos Devs Conferência e Hack Juntos
12 de fev., 23 - 28 de fev., 23
Participe da conferência online e do hackathon de 2 semanas para explorar a criação de soluções poderosas com o Power Platform.
Registrar agoraTreinamento
Módulo
Introdução à previsão do AI Builder - Training
Descubra o modelo de previsão do AI Builder e seus diferentes padrões de resultados.
Certificação
Microsoft Certified: Azure Data Scientist Associate - Certifications
Gerenciar a ingestão e a preparação de dados, o treinamento e a implantação de modelos e o monitoramento da solução de machine learning com Python, Azure Machine Learning e MLflow.