Avaliar o modelo de predição de pagamento inicial do cliente

Isto artigo explica como avaliar um modelo de previsão depois de ativar o Finance Insights e, em seguida, gerar e treinar seu primeiro modelo. Isto artigo aborda modelos de previsão de pagamentos de clientes. Descreve os passos que podem ser executados para compreender o modelo de predição de pagamento do cliente e avaliar a sua eficácia.

Obter detalhes sobre o modelo

Na página Finance Insights parameters em Microsoft Dynamics 365 Finance, um ligação Improve model accuracy aparece ao lado da pontuação de precisão.

Esta ligação leva-o para o AI Builder, onde poderá saber mais sobre o modelo atual e também executar passos para o melhorar. A ilustração a seguir mostra a página que é aberta.

A página que é aberta mostra as seguintes informações:

• Na secção Performance , o grau de desempenho do modelo fornece uma perspetiva sobre a qualidade do modelo. Para obter mais informações sobre esta classificação, consulte Desempenho do modelo de previsão na documentação AI Builder .

• A secção Most influential data mostra a importância de diferentes tipos de dados de entrada para o seu modelo. É possível avaliar esta lista e as percentagens correspondentes para determinar se as informações são consistentes com o que sabe sobre a sua empresa e o mercado.

  

• Na secção Desempenho , seleccione Ver detalhes para obter mais informações sobre a classificação e outras considerações. Na ilustração a seguir, os detalhes mostram que o modelo utiliza menos informações do que o recomendado. Portanto, o sistema gerou uma mensagem de aviso.

  

Mais detalhes

Embora a precisão seja um bom ponto de partida para avaliar um modelo, e o nível de desempenho forneça a perspetiva, o AI Builder fornece métricas mais detalhadas que pode utilizar para a sua avaliação. Para transferir os detalhes, na secção Desempenho , seleccione o botão de reticências (...) junto ao botão Utilizar modelo e, em seguida, seleccione Transferir métricas detalhadas.

A ilustração a seguir mostra o formato no qual pode transferir os dados.

Para uma análise mais profunda dos resultados, um bom ponto de partida é rever a métrica "Matriz de Confusão". Por exemplo, estes são os dados mostrados para esta métrica na ilustração anterior.

{"name": "Confusion Matrix", "value": {"schema_type": "confusion_matrix", "schema_version": "1.0.0", "data": {"class_labels": ["0", "1", "2"], "matrix": [[71, 9, 21], [5, 0, 27], [2, 0, 45]]}}, "type": "dictionaryNumericalList", "isGlobalScore": false}

Pode expandir estes dados da maneira a seguir.

	Previsto Dentro do Prazo	Previsto para Tarde	Previsto para Muito Tarde
Pagamento Dentro do Prazo	71	0	21
Pagamento atrasado real	5	0	27
Pagamento muito atrasado real	2	0	45

A matriz de confusão mostra os resultados de um conjunto de teste aleatoriamente selecionado do processo de preparação. Como estas faturas fechadas não foram utilizadas para formar o modelo, são casos de teste bons para o modelo. Além disso, como o estado real da fatura é conhecido, o desempenho do modelo também pode ser visto.

A primeira coisa a ser procurada é o valor real mais comum. Embora este valor não possa ser perfeitamente alinhado com o conjunto de dados geral, é uma aproximação razoável. Neste caso, Pagamento atempado real ocorre em 92 das 171 facturas totais e é o valor real mais comum. Portanto, é uma boa linha de base para o seu modelo. Se acabou de adivinhar que todas as faturas estarão dentro do prazo, estará a corrigir 92 de 171 vezes (ou seja, 54% do tempo).

É importante que entenda quão equilibrado o seu conjunto de dados está. Neste caso, 92 de 171 faturas foram pagas dentro do prazo, 32 foram pagas atrasadas e 47 foram pagas muito atrasadas. Estes valores indicam um conjunto de dados razoavelmente equilibrado, pois há resultados não triviais em cada classificação. Uma situação em que um dos estados tem poucos resultados pode ser desafiador para um modelo de machine learning.

A precisão do modelo indica o número de predições corretas para o conjunto de dados de teste. Estas predições corretas são os valores que são mostrados em negrito no exemplo anterior. Neste caso, os valores produzem uma exatidão calculada de 67,8 por cento (= [71 + 0 + 45] ÷ 171). Este valor representa uma melhoria de 14% sobre a estimativa da linha de base de 54% e é um indicador da qualidade do modelo.

Se olhar mais atentamente na matriz de confusão, perceberá que o modelo faz um bom trabalho de previsão de pagamentos de faturas dentro do prazo e muito atrasadas. No entanto, há algum problema sobre todas as 32 faturas que foram realmente pagas atrasadas (mas não muito atrasadas). Este resultado sugere que são necessárias explorações e melhorias adicionais do modelo.

Um número que representa o desempenho do modelo melhor que a precisão é a pontuação da Macro F1. Esta pontuação considera os resultados de cada estado de classificação (dentro do prazo, atrasado e muito atrasado). Por exemplo, estes são os dados mostrados para a métrica "F1 Macro" na ilustração anterior.

{"name": "F1 Macro", "value": 0.4927170868347339, "type": "percentage", "isGlobalScore": false}

Neste caso, a pontuação de Macro F1 de aproximadamente 49,3% indica que o modelo não fornece previsões eficazes em cada estado, apesar de uma pontuação de predição geral que parece razoavelmente alta.

Melhorar o modelo

Depois de compreender melhor os resultados do seu primeiro modelo, talvez queira melhorar o modelo adicionando ou removendo colunas de funcionalidades ou filtrando quaisquer partes do conjunto de dados que não suportam predições precisas. Feche AI Builder, e depois use o ligação Improve model no Dynamics 365 Finance para reiniciar o processo AI Builder . Pode testar características diferentes sem afetar o modelo publicado. O modelo publicado só é afetado quando se selecciona Publicar. Lembre-se de que um único modelo é utilizado para sua instância do Dynamics 365 Finance. Portanto, deve analisar cuidadosamente qualquer novo modelo antes de publicá-lo.

Para obter mais informações

Para mais informações sobre como avaliar modelos de previsão, Resultados de modelos de aprendizagem automática