Referência de codificação preditiva (versão prévia)

Este artigo descreve os principais conceitos e métricas da ferramenta de codificação preditiva em Descoberta Eletrônica do Microsoft Purview (Premium). As seções do artigo são listadas em ordem alfabética.

Dica

Se você não for um cliente E5, use a avaliação de soluções do Microsoft Purview de 90 dias para explorar como recursos adicionais do Purview podem ajudar sua organização a gerenciar as necessidades de segurança e conformidade de dados. Comece agora no hub de avaliações portal de conformidade do Microsoft Purview. Saiba mais sobre os termos de inscrição e avaliação.

Nível de confiança

O nível de confiança é uma configuração avançada quando você cria um modelo de codificação preditiva. Ele define que as métricas de desempenho do modelo (por exemplo, riqueza, precisão e recall) estão dentro de um intervalo especificado (que determinou a margem de erro definida para o modelo) que representa os valores verdadeiros das pontuações de previsão que o modelo atribui aos itens no conjunto de revisão. Os valores para o nível de confiança e a margem de erro também ajudam a determinar quantos itens estão incluídos no conjunto de controle. O valor padrão para o nível de confiança é de 0,95% ou 95%.

Conjunto de controle

Um conjunto de controle é usado durante o processo de treinamento de um modelo de codificação preditiva. O conjunto de controle é avaliar as pontuações de previsão que o modelo atribui a itens com a rotulagem que você executa durante as rodadas de treinamento. O tamanho do conjunto de controle é baseado no número de itens no conjunto de revisão e no nível de confiança e na margem de erro que são definidos ao criar o modelo. Os itens no conjunto de controle nunca são alterados e não são identificáveis aos usuários. O número total de itens no conjunto de controle é exibido na página de sobrevoo para uma rodada de treinamento.

Matriz de confusão do conjunto de controle

Depois de concluir uma rodada de treinamento, o modelo atribui uma pontuação de previsão aos 10 itens no conjunto de controle que você rotulou durante a rodada de treinamento. O modelo compara a pontuação de previsão desses 10 itens com o rótulo real atribuído ao item durante a rodada de treinamento. Com base nessa comparação, o modelo identifica as seguintes classificações para avaliar o desempenho de previsão do modelo:

---

Rótulo	O item de previsões do modelo é relevante	O item de previsões de modelo não é relevante
Item de rótulos do revisor como relevante	Verdadeiro positivo	Falso positivo
Item de rótulos do revisor como não relevante	Falso negativo	Verdadeiro negativo

Com base nessas comparações, o modelo deriva valores para as métricas de pontuação F, precisão e recall e a margem de erro para cada uma delas. O número de cada um dos tipos de confusão da matriz é exibido na página de sobrevoo para uma rodada de treinamento.

Pontuação F

A pontuação F é uma média ponderada das pontuações para as métricas de precisão e recall. O intervalo de pontuações para essa métrica é de 0 a 1. Uma pontuação mais próxima de 1 indica que o modelo detectará com mais precisão itens relevantes. A métrica de pontuação F é exibida no modelo dashboard e na página de sobrevoo para cada rodada de treinamento.

Margem de erro

A margem de erro é uma configuração avançada quando você cria um modo de codificação preditiva. Ele especifica o grau de erro nas métricas de desempenho (por exemplo, riqueza, precisão e recall) derivado da amostragem aleatória de itens em seu conjunto de controle. Uma margem de erro menor requer um conjunto de controle maior para garantir que as métricas de desempenho do modelo fiquem dentro de um intervalo menor. Os valores para a margem de erro e o nível de confiança também ajudam a determinar quantos itens estão incluídos no conjunto de controle. O valor padrão para a margem de erro é 0,05% ou 5%.

Estabilidade do modelo

A estabilidade do modelo indica a capacidade do modelo de prever com precisão se um documento em um conjunto de revisão é relevante ou não relevante. Quando um modelo é instável, talvez seja necessário executar mais rodadas de treinamento para incluir a estabilidade do modelo. Quando o modelo está estável, talvez não seja necessário executar mais rodadas de treinamento. O modelo dashboard indica o estado atual da estabilidade do modelo. Quando um modelo está estável, as métricas de desempenho atingiram um nível que corresponde às configurações para o nível de confiança e a margem de erro.

Taxa de revogação

A taxa de revogação é o percentual de itens no conjunto de revisão em que a pontuação de previsão foi alterada entre as rodadas de treinamento. Um modelo é considerado estável quando a taxa de revogação é inferior a 5%. A métrica de taxa de revogação é exibida no modelo dashboard e na página de sobrevoo para cada rodada de treinamento. A taxa de anulação da primeira rodada de treinamento é zero porque não há uma pontuação de previsão anterior para reverter.

Precisão

A métrica de precisão mede a proporção de itens relevantes entre os itens previstos pelo modelo. Isso significa que os itens no conjunto de controle em que o rótulo é relevante pelo revisor e previstos como relevantes pelo modelo. O intervalo de pontuações para essa métrica é de 0 a 1. Uma pontuação mais próxima de 1 indica que o modelo identificará menos itens não relevantes. A métrica de precisão é exibida no modelo dashboard e na página de sobrevoo para cada rodada de treinamento.

Pontuação de previsão

Essa é a pontuação que um modelo atribui a cada documento em um conjunto de revisão. A pontuação é baseada na relevância do documento em comparação com o aprendizado do modelo com as rodadas de treinamento. Em geral, itens com pontuações de previsão entre 0 e 0,5 são considerados não relevantes e itens com pontuações de previsão entre 0,5 e 1 são considerados relevantes. A pontuação de previsão está contida em um campo de metadados de documento. Você pode usar um filtro de previsão para exibir os itens em um conjunto de revisão que se enquadram em um intervalo de previsão especificado.

Lembrar

A métrica de recall mede a proporção de itens que o modelo previu serem relevantes entre os itens relevantes. Isso significa que itens relevantes no conjunto de controle previsto pelo modelo também foram rotulados como relevantes pelo revisor. O intervalo de pontuações para essa métrica é de 0 a 1. Uma pontuação mais próxima de 1 indica que o modelo identificará uma parte maior de itens relevantes. A métrica de recall é exibida no modelo dashboard e na página de sobrevoo para cada rodada de treinamento.

Conjuntos de revisão

Um conjunto de revisão fornece o escopo de um modelo de codificação preditiva. Quando você cria um novo modelo para o conjunto de revisão, os itens para o conjunto de controle e os conjuntos de treinamento são selecionados no conjunto de revisão. Quando o modelo atribui pontuações de previsão, ele atribui essas pontuações aos itens na revisão. Você precisa adicionar todos os itens ao conjunto de revisão antes de criar um modelo de codificação preditiva. Se você adicionar itens depois de criar um modelo, esses itens não receberão uma pontuação de previsão.

Riqueza

A métrica de riqueza mede o percentual de itens de conjunto de revisão que o modelo prevê como relevantes. O intervalo de pontuações para essa métrica é de 0 a 1. A métrica de riqueza é exibida no modelo dashboard.

Itens amostrados

O termo itens amostrados é uma referência a exemplo aleatório de itens em um conjunto de revisão (que contém texto) selecionados e associados ao conjunto de controle ao criar um modelo de codificação preditiva. Um exemplo aleatório de itens também é selecionado para cada rodada de treinamento. Os itens selecionados para o conjunto de controle de um modelo nunca são incluídos em um conjunto de treinamento para esse mesmo modelo. O inverso também é verdadeiro: os itens de conjunto de treinamento nunca são incluídos no conjunto de controle.

Conjunto de treinamento

O modelo seleciona aleatoriamente itens no conjunto de revisão e os adiciona a um conjunto de treinamento. Durante uma rodada de treinamento, os itens do conjunto de treinamento (além de itens do conjunto de controle) são apresentados a você para que você possa rotular cada um como "relevante" ou "não relevante". Esse processo de rotulagem ou "treinamento" ajuda o modelo a aprender a prever quais itens na revisão são relevantes ou não relevantes. Cada vez que você executa uma rodada de treinamento, o modelo seleciona mais itens da revisão e os adiciona ao conjunto de treinamento para essa rodada de treinamento. Os itens do conjunto de controle nunca são selecionados para um conjunto de treinamento.