Ver a precisão e o desempenho de modelos pontuação preditiva

Saber quão preciso é um modelo de pontuação preditiva ajuda-o a decidir se o modelo está pronto para utilização ou se necessita de ser ajustado para precisão mais elevada. Ajuda também a ajuda a convencer a sua equipa de liderança da empresa e os vendedores a adotarem o modelo para resultados de negócio melhorados.

As métricas descritas neste artigo aplicam-se à classificação de oportunidade e classificação de oportunidade potencial.

Requisitos de licença e de função

Tipo de requisito	Tem de ter
Licença	Dynamics 365 Sales Premium ou Dynamics 365 Sales Enterprise Mais informações: Preços do Dynamics 365 Sales
Direitos de acesso	Administrador de Sistema Mais informações: Direitos de acesso predefinidos para Sales

Fatores que influenciam a precisão

Um modelo de pontuação preditiva calcula a probabilidade de uma oportunidade ou uma oportunidade potencial resultará numa venda. A precisão do modelo depende dos seguintes fatores:

• A qualidade e o montante dos dados disponíveis para preparação do modelo
• O fluxo de processo empresarial e filtros que seleciona
• As fases e os atributos que seleciona, se o modelo utilizar a modelação por fases

O modelo é preparado utilizando 80% das oportunidades ou oportunidades potenciais fechadas na preparação do conjunto de dados. É validado utilizando os 20% restantes como um conjunto de dados de teste, que consiste dos registos mais recentes. A precisão do modelo é calculada utilizando o conjunto de dados de teste validado com base em parâmetros, tais como verdadeiros positivos, falsos positivos, entre outros.

Ver as métricas de precisão e de desempenho

1. Aceda à Área de alteração no canto inferior esquerdo da aplicação Hub de Vendas e selecione Definições do Sales Insights.

2. No mapa do site, em Modelos preditivos, selecione Pontuação de oportunidade ou Pontuação de oportunidade potencial.

3. Na lista Selecionar modelo, selecione um modelo.

4. Selecione o separador Desempenho.

   

O separador Desempenho apresenta as seguintes métricas. Se não vir quaisquer métricas no separador Desempenho, edite e retreine um modelo de classificação de oportunidades.

• Desempenho do Modelo: especifica se o modelo está pronto para publicar com base nos seguintes parâmetros:

  • Precisão: a frequência com que o modelo faz previsões corretas, seja positivas ou negativas. Esta métrica é mais útil quando a conjunto de dados é equilibrado e o custo de falsos positivos e falsos negativos é o mesmo. A pontuação de precisão é calculada utilizando a seguinte fórmula:

    Precisão = (TP + TN) / (Número total de oportunidades ou oportunidades potenciais classificadas) *100

  • Revocação: a frequência com que o modelo previu um resultado positivo corretamente comparado com os positivos reais. Uma classificação de revocação baixa significa que o modelo está a prever menos verdadeiros positivos. A classificação de revocação é calculada utilizando a seguinte fórmula:

    Revocação = TP / (TP + FN) * 100

  • Taxa de conversão: a percentagem de oportunidades ou oportunidades potenciais que foram qualificadas ou ganhas por dados históricos, ou a probabilidade de uma oportunidade ou oportunidade potencial ser convertida. O modelo utiliza este valor para determinar como um atributo influenciará a pontuação preditiva. A taxa de conversão é calculada utilizando a seguinte fórmula:

    Taxa de conversão = (TP + FN) / (Número total de oportunidades ou oportunidades potenciais classificadas) *100

• Matriz de confusão: indica quão bem o modelo previu os resultados quando foi testado em relação aos dados históricos. A matriz apresenta o número de verdadeiros positivos, verdadeiros negativos, falsos positivos e falsos negativos.

  Métrico	Previsto	Valor Real
  Verdadeiro positivo (TP)	Sim	Sim
  Verdadeiro negativo (TN)	No	No
  Falso positivo (FP)	Sim	No
  Falso negativo (FN)	No	Sim

• Área sob a curva (AUC): a classificação da área sob a curva (AUC) do modelo. A classificação AUC determina a probabilidade de um modelo classificar uma instância positiva escolhida aleatoriamente (uma oportunidade ou oportunidade potencial qualificadas) acima de uma negativa escolhida aleatoriamente (uma oportunidade ou oportunidade potencial desqualificada). Um modelo com um AUC mais elevado é melhor a prever verdadeiros positivos e verdadeiros negativos.

• Pontuação F1: a pontuação F1 calculada com base na precisão do modelo e classificações de revocação. A pontuação F1 permite-lhe determinar a qualidade do modelo, mesmo quando os dados estão em desequilíbrio.

• Limiar: o limiar no qual a oportunidade ou oportunidade potencial é considerada como qualificada ou ganha. Por exemplo, se o limiar for 45, as oportunidades com uma classificação superior a 45 serão previstas como ganhas. O limiar é selecionado para otimizar a pontuação F1.

Exemplo: métricas de desempenho do modelo

Vejamos os resultados da predição para um conjunto de dados de amostra de 1.000 oportunidades:

Dados	Número de oportunidades
Verdadeiro positivo	650
Falso positivo	200
Verdadeiro negativo	100
Falso negativo	65

O modelo previu que 850 oportunidades (TP+FP) para seriam ganhas; no entanto, apenas 650 oportunidades (TP) foram realmente ganhas. Do mesmo modo, o modelo previu que 150 (TN + FN) oportunidades seriam perdidas, mas apenas 100 (TN) oportunidades foram realmente perdidas.

A tabela seguinte mostra as métricas para os dados.

Métrico	Pontuação
Precisão	(650 + 100) / 1.000 = 75%
Recuperar	650 / (650 + 50) = 92%
Taxa de conversão	(650 + 50) / 1.000 = 70%

Melhorar o desempenho do modelo

Se o modelo não estiver pronto para ser publicado ou não estiver com um bom desempenho, experimente os passos seguintes para melhorar as classificações.

• Reveja os atributos que ele utiliza.
• Ver informações de atributos para compreender a sua influência na predição global do modelo.
• Ignorar os valores vazios para atributos que têm uma percentagem superior de valores vazios e que podem estar a contribuir para falsos positivos ou falsos negativos.
• Inclua campos inteligentes para ajudar um modelo de pontuação de oportunidades potenciais a distinguir fatores que melhoram ou prejudicam a classificação.
• Utilize a modelação por fases num modelo de classificação de oportunidades para escolher atributos a aplicar a cada fase do processo empresarial.
• Refinar os critérios de filtragem, o período de tempo para dados de preparação ou outras configurações do modelo. Por exemplo, se tiver escolhido dois anos como o período de tempo para dados de preparação e existirem demasiados registos de teste ou incorretos durante esse período, escolha um período de tempo mais curto, tal como seis meses ou um ano, quando a qualidade dos dados é melhor.

Não consegue encontrar as opções na sua aplicação?

Existem três possibilidades:

• Você não tem a licença ou função necessária. Verifique a secção Requisitos de licença e função na parte superior desta página.
• O seu administrador não ativou a funcionalidade.
• A sua organização está a utilizar uma aplicação personalizada. Contacte o seu administrador para saber os passos exatos. Os passos descritos neste artigo são específicos das aplicações Hub de Vendas e Sales Professional de origem.

Informações relacionadas

Configurar a pontuação de oportunidades potenciais preditiva
Configurar a pontuação de oportunidades preditiva