Desempenho do modelo de predição
Depois de cada treino o AI Builder utiliza o conjunto de dados de teste para avaliar a qualidade e a adequação do novo modelo. Uma página de resumo para o seu modelo mostra o resultado da preparação do modelo. Estes resultados são expressos como uma nota de desempenho de A, B, C ou D.
Medir desempenho
Nível de desempenho
Depois de cada formação, o AI Builder mostra um nível para ajudá-lo a avaliar a precisão do seu modelo. A decisão sobre se o seu modelo está pronto para publicação é uma que tem de tomar com base nas suas necessidades e circunstâncias únicas. O AI Builder fornece os seguintes níveis de desempenho para ajudá-lo a tomar essa decisão.
Como interpretar cada grau
| Nível | Orientação |
|---|---|
| A | Ainda pode melhorar o modelo, mas este é o melhor grau que pode obter. |
| B | O modelo está correto em muitas dos casos. Pode ser melhorado? Depende das suas circunstâncias, dados e requisitos únicos. |
| C | O modelo é um pouco melhor do que uma estimativa aleatória. Pode ser aceitável para algumas aplicações, mas na maioria dos casos, este é um modelo que pode continuar a ajustar e melhorar. |
| D | Ocorreu um problema. O seu modelo está a ter um desempenho pior do que esperávamos que um palpite aleatório executasse (modelo desajustado). Ou, está a ter um desempenho tão bom (a, ou a cerca de, 100%) que provavelmente tem uma coluna de dados que está diretamente correlacionada com o resultado (modelo demasiado justo). |
- Mais informações sobre modelos desajustados
- Mais informações sobre modelos com excesso de ajuste
O intervalo de precisão varia consoante os seus dados
Se estiver a prever 2 ou mais resultados, as taxas de precisão reais que correspondem aos graus acima podem variar consoante a distribuição de dados dos seus dados históricos. A diferença explica o facto de a melhoria em relação à taxa da linha de base ser alterada quando move essa linha de base.
Suponhamos que o seu modelo prevê se um envio chegará a tempo. Se a taxa de pontualidade histórica for 80porcento, uma classificação de desempenho de 92% pode corresponder a um grau B. No entanto, se a taxa de pontualidade histórica for apenas 50porcento, 92% pode corresponder a um grau A. Isso é porque 92% é uma melhoria muito superior a 50porcento do que a 80porcento e seria de esperar que uma estimativa aleatória estivesse próxima dessas percentagens.
Exemplo de dados históricos binários
Este exemplo mostra os intervalos de precisão para cada grau quando os dados históricos contêm diferentes taxas de pontualidade para uma predição binária.
| Nível | Intervalo de precisão para taxa de pontualidade histórica de 25% | Intervalo de precisão para taxa de pontualidade histórica de 50% | Intervalo de precisão para taxa de pontualidade histórica de 80% | Intervalo de precisão para taxa de pontualidade histórica de 95% |
|---|---|---|---|---|
| A | 92,5 – <99,3% | 90 – 98% | 93 – <99% | 98,1 – <99,8% |
| B | 81,3 – <92,5% | 75 – <90% | 84 – <93% | 95,3 – <98,1% |
| C | 66,3 – <81,3% | 55 – <75% | 71 – <84% | 91,5 – <95,3% |
| D | <66,3% ou ≥99,3% | <55% ou ≥98% | <71% ou ≥99% | <91,5% ou ≥99,8% |
Exemplo de dados históricos de resultados múltiplos
As taxas de exatidão que correspondem a cada classificação também podem variar quando está a prever mais de 2 resultados. Digamos que o seu modelo prevê mais do que duas opções de entrega: cedo, no prazo ou atrasada.
Os intervalos de precisão para cada classificação são alterados quando as taxas do histórico de no prazo são alteradas.
| Nível | Cedo (33,3%) | Cedo (20%) | Cedo (10%) |
|---|---|---|---|
| No prazo (33,3%) | No prazo (40%) | No prazo (80%) | |
| Atrasado (33,4%) | Atrasado (40%) | Atrasado (10%) | |
| A | 86,7 – <98,7% | 87,2 – <98,7% | 93,2 – <99,3% |
| B | 66,7 – <86,7% | 68 – <87,2% | 83 – <93,2% |
| C | 40 – <66,7% | 42,4 – <68% | 69,4 – <83% |
| D | 33,3 – <40% | 36 – <42,4% | 66 – <69,4% |
Exemplo de predição numérica
Para predições numéricas, o AI Builder utiliza a medida estatística R ao quadrado para calcular o nível de precisão dos seus modelos. A tabela a seguir mostra as notas que correspondem a cada grau:
| Nível | R ao quadrado |
|---|---|
| A | 85% - <99% |
| B | 60% - <85% |
| C | 10% - <60% |
| D | ≥99% ou <10% |
Detalhes de desempenho
Para ver os detalhes de preparação, selecione Ver detalhes na caixa de grau do modelo. No separador Desempenho estão disponíveis as seguintes informações:
Nota
Para obter informações sobre funcionalidades adicionais planeadas para esta área, veja os planos de versão.
- Classificação da precisão
- R ao quadrado
Classificação da precisão
O AI Builder calcula a classificação da precisão do seu modelo com base no resultado da predição relativamente ao conjunto de dados de teste. Antes da preparação, o AI Builder divide o seu conjunto de dados em dados de preparação e conjuntos de dados de teste separados. Após a preparação, o AI Builder aplica o seu modelo de IA ao conjunto de dados de teste e calcula a sua classificação da precisão. Por exemplo: se o seu conjunto de dados de teste tiver 200 linhas, e o AI Builder prever corretamente 192 delas, o AI Builder mostra uma classificação de precisão de 96 por cento.
Para obter mais informações, veja Avaliar o modelo.
R ao quadrado
Para predições numéricas, o AI Builder calcula uma classificação de R ao quadrado após cada formação. Esta classificação mede a "adequação de ajuste" do seu modelo e é utilizada para determinar o nível de desempenho do seu modelo.
Suponhamos que está a prever o número de dias para concluir, enviar e entregar uma encomenda. O modelo prevê um conjunto de números. O valor de R ao quadrado é baseado nas distâncias entre valores previstos e valores reais nos seus dados de preparação. Isto é expresso como um número entre 0 e 100%, com valores mais elevados a indicar que o valor previsto está mais próximo do valor real. Normalmente, uma classificação superior significa um desempenho superior do modelo. No entanto, não se esqueça de que classificações perfeitas ou quase perfeitas (modelos de sobreajuste) são normalmente indicadores de um problema com os dados de preparação.
No separador Resumo estão disponíveis as seguintes informações de desempenho:
- Data da preparação
- Origem de dados
- Resultado histórico
- Lista de tabelas utilizada para a predição.
Melhore o desempenho do seu modelo de predição
Depois de treinar e avaliar seu modelo, poderá ajustá-lo de forma a melhorar seu desempenho. Eis algumas coisas que pode tentar fazer para melhorar o poder preditivo do seu modelo.
Rever erros e problemas
- Se houver erros depois de terminar a preparação, corrija-os e prepare novamente o modelo.
- Se não houver erros, verifique os detalhes da preparação. Tente corrigir o máximo de problemas possível e prepare novamente o modelo.
Rever os principais influenciadores
Após cada preparação, é apresentada uma lista dos principais influenciadores na página de detalhes do modelo. Cada coluna utilizada no treino tem uma pontuação para representar a sua influência sobre o treino. O total destas pontuações corresponde a 100 porcento.
Isto ajuda a mostrar se o seu modelo é treinado conforme esperado. Por exemplo, se pretender prever a intenção de compradores online e estiver à espera que a coluna Idade, Produto seja o mais influente, deverá ver na lista de colunas mais influentes na página de detalhes do modelo. Caso contrário, poderá indicar que o resultado do treino não é o esperado. Neste caso, pode desselecionar as colunas irrelevantes ou enganosos, e retreinar o modelo ou verificar os problemas da sua preparação para ver mais detalhes.
Adicionar mais dados
Embora o requisito mínimo para os dados de preparação seja de 50 linhas, isso não significa que 50 linhas de dados sejam suficientes para treinar um modelo altamente preditivo. Tente fornecer 1.000 ou mais dados de linha, etiquetados corretamente, com uma distribuição de opções realista.
Verificar a distribuição dos seus dados
Por exemplo, se estiver a utilizar etiquetas de duas opções, Sim ou Não, e a maioria das suas linhas de dados só tiver um Sim nesta coluna, será difícil para o seu modelo aprender a partir destes dados. Tente ter uma distribuição das opções nos seus dados que reflita aproximadamente a distribuição de opções que espera encontrar na realidade. Por exemplo, se estiver a ver as colunas de dados para cat_owner e dog_owner, utilize uma distribuição de dados próxima de 50%. Se estiver a lidar com transações fraudulentas, utilize uma distribuição mais desequilibrada, por exemplo de 95% para 5%. Consulte os padrões da indústria para obter este tipo de informação, se não souber o que esperar.
Adicionar mais colunas
Por exemplo, quer prever que clientes apresentam maior probabilidade de regressar e comprar os seus produtos. Pode adicionar mais colunas para tornar os dados de preparação mais avançados. Por exemplo:
- Como avaliam o produto?
- Com que frequência utilizam o produto?
- São clientes existentes?
Limite os colunas selecionadas às informações relevantes
Poderá já ter muitos dados de preparação etiquetados corretamente, com várias colunas de dados. Nesse caso, porque é que o modelo ainda não está a funcionar bem? É possível que esteja a selecionar colunas que criem um desvio indesejado. Certifique-se de que todas as colunas selecionadas são relevantes para influenciar aquilo que pretende prever. Desselecione as colunas irrelevantes ou enganosas.
Valide os dados
- Certifique-se de que as colunas de dados não têm uma taxa elevada de valores em falta (superior a 99por cento). Preencha os valores em falta com um dados predefinidos ou remova a coluna de dados de preparação do modelo.
- Se uma coluna de dados tiver uma correlação elevada com um resultado de predição, remova a coluna de dados da preparação do modelo.