Conversation Authoring Trained Model - Get Model Evaluation Summary

Referência

Serviço:: Azure AI Services

Versão da API:: 2023-04-01

Obtém o resumo de avaliação de um modelo treinado. O resumo inclui medidas de desempenho de alto nível do modelo, por exemplo, F1, Precisão, Recall etc.

GET {Endpoint}/language/authoring/analyze-conversations/projects/{projectName}/models/{trainedModelLabel}/evaluation/summary-result?api-version=2023-04-01

Parâmetros de URI

Nome	Em	Obrigatório	Tipo	Description
Endpoint	path	True	string	Ponto de extremidade dos Serviços Cognitivos com suporte, por exemplo, https://.api.cognitiveservices.azure.com.
projectName	path	True	string maxLength: 100	O nome do projeto a ser usado.
trainedModelLabel	path	True	string	O rótulo de modelo treinado.
api-version	query	True	string minLength: 1	A versão da API a ser usada para esta operação.

Respostas

Nome	Tipo	Description
200 OK	AnalyzeConversationAuthoringEvaluationSummary	A solicitação foi bem-sucedida.
Other Status Codes	Azure.Core.Foundations.ErrorResponse	Uma resposta de erro inesperada. Cabeçalhos x-ms-error-code: string

Nome

Tipo

Description

200 OK

AnalyzeConversationAuthoringEvaluationSummary

A solicitação foi bem-sucedida.

Other Status Codes

Azure.Core.Foundations.ErrorResponse

Uma resposta de erro inesperada.

Cabeçalhos

x-ms-error-code: string

Segurança

Ocp-Apim-Subscription-Key

Tipo: apiKey
Em: header

OAuth2Auth

Tipo: oauth2
Flow: accessCode
URL de Autorização: https://login.microsoftonline.com/common/oauth2/authorize
URL do Token: https://login.microsoftonline.com/common/oauth2/token

Escopos

Nome	Description
https://cognitiveservices.azure.com/.default

Exemplos

Successful Get Model Evaluation Summary

Solicitação de exemplo

HTTP

GET {Endpoint}/language/authoring/analyze-conversations/projects/EmailApp/models/model1/evaluation/summary-result?api-version=2023-04-01

Resposta de exemplo

Código de status:: 200

{
  "entitiesEvaluation": {
    "confusionMatrix": {
      "Attachment": {
        "Attachment": {
          "normalizedValue": 100,
          "rawValue": 3
        }
      },
      "Category": {
        "Category": {
          "normalizedValue": 91.666664,
          "rawValue": 11
        },
        "$none": {
          "normalizedValue": 8.333333,
          "rawValue": 1
        }
      },
      "ContactName": {
        "ContactName": {
          "normalizedValue": 91.666664,
          "rawValue": 22
        },
        "SenderName": {
          "normalizedValue": 4.1666665,
          "rawValue": 1
        },
        "$none": {
          "normalizedValue": 4.1666665,
          "rawValue": 1
        }
      },
      "Date": {
        "Date": {
          "normalizedValue": 100,
          "rawValue": 2
        }
      },
      "EmailSubject": {
        "EmailSubject": {
          "normalizedValue": 93.33333,
          "rawValue": 9.333334
        },
        "$none": {
          "normalizedValue": 6.6666665,
          "rawValue": 0.6666667
        }
      },
      "FromRelationshipName": {
        "FromRelationshipName": {
          "normalizedValue": 100,
          "rawValue": 1
        }
      },
      "Line": {
        "Line": {
          "normalizedValue": 100,
          "rawValue": 2
        }
      },
      "Message": {
        "Message": {
          "normalizedValue": 81.2063,
          "rawValue": 6.496504
        },
        "EmailSubject": {
          "normalizedValue": 7.43007,
          "rawValue": 0.5944056
        },
        "$none": {
          "normalizedValue": 9.120047,
          "rawValue": 0.7296037
        },
        "Date": {
          "normalizedValue": 2.2435899,
          "rawValue": 0.17948718
        }
      },
      "OrderReference": {
        "OrderReference": {
          "normalizedValue": 100,
          "rawValue": 17
        }
      },
      "PositionReference": {
        "$none": {
          "normalizedValue": 100,
          "rawValue": 1
        }
      },
      "RelationshipName": {
        "RelationshipName": {
          "normalizedValue": 66.666664,
          "rawValue": 2
        },
        "$none": {
          "normalizedValue": 33.333332,
          "rawValue": 1
        }
      },
      "SearchTexts": {
        "SearchTexts": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "SenderName": {
        "SenderName": {
          "normalizedValue": 88.888885,
          "rawValue": 8
        },
        "ContactName": {
          "normalizedValue": 11.111111,
          "rawValue": 1
        }
      },
      "Time": {
        "$none": {
          "normalizedValue": 100,
          "rawValue": 2
        }
      },
      "$none": {
        "$none": {
          "normalizedValue": 99.739265,
          "rawValue": 162.575
        },
        "Category": {
          "normalizedValue": 0.2607362,
          "rawValue": 0.425
        }
      }
    },
    "entities": {
      "ContactName": {
        "f1": 0.9361702799797058,
        "precision": 0.95652174949646,
        "recall": 0.9166666865348816,
        "truePositiveCount": 22,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 2
      },
      "Category": {
        "f1": 0.8799999952316284,
        "precision": 0.8461538553237915,
        "recall": 0.9166666865348816,
        "truePositiveCount": 11,
        "trueNegativeCount": 0,
        "falsePositiveCount": 2,
        "falseNegativeCount": 1
      },
      "SenderName": {
        "f1": 0.8888888955116272,
        "precision": 0.8888888955116272,
        "recall": 0.8888888955116272,
        "truePositiveCount": 8,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 1
      },
      "EmailSubject": {
        "f1": 0.8181817531585693,
        "precision": 0.75,
        "recall": 0.8999999761581421,
        "truePositiveCount": 9,
        "trueNegativeCount": 0,
        "falsePositiveCount": 3,
        "falseNegativeCount": 1
      },
      "Message": {
        "f1": 0.75,
        "precision": 0.75,
        "recall": 0.75,
        "truePositiveCount": 6,
        "trueNegativeCount": 0,
        "falsePositiveCount": 2,
        "falseNegativeCount": 2
      },
      "Date": {
        "f1": 0.800000011920929,
        "precision": 0.6666666865348816,
        "recall": 1,
        "truePositiveCount": 2,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 0
      },
      "OrderReference": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 17,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "SearchTexts": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Attachment": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "RelationshipName": {
        "f1": 0.800000011920929,
        "precision": 1,
        "recall": 0.6666666865348816,
        "truePositiveCount": 2,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 1
      },
      "Line": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 2,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Time": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositiveCount": 0,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 2
      },
      "FromRelationshipName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 1,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "PositionReference": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositiveCount": 0,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 1
      }
    },
    "microF1": 0.8923077,
    "microPrecision": 0.8969072,
    "microRecall": 0.8877551,
    "macroF1": 0.7766601,
    "macroPrecision": 0.7755879,
    "macroRecall": 0.78849214
  },
  "intentsEvaluation": {
    "confusionMatrix": {
      "AddFlag": {
        "AddFlag": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "AddMore": {
        "AddMore": {
          "normalizedValue": 100,
          "rawValue": 17
        }
      },
      "Cancel": {
        "Cancel": {
          "normalizedValue": 100,
          "rawValue": 9
        }
      },
      "CheckMessages": {
        "CheckMessages": {
          "normalizedValue": 100,
          "rawValue": 9
        }
      },
      "Confirm": {
        "Confirm": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Delete": {
        "Delete": {
          "normalizedValue": 100,
          "rawValue": 5
        }
      },
      "Forward": {
        "Forward": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "None": {
        "None": {
          "normalizedValue": 100,
          "rawValue": 1
        }
      },
      "QueryLastText": {
        "QueryLastText": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "ReadAloud": {
        "ReadAloud": {
          "normalizedValue": 100,
          "rawValue": 16
        }
      },
      "Reply": {
        "Reply": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "SearchMessages": {
        "SearchMessages": {
          "normalizedValue": 100,
          "rawValue": 9
        }
      },
      "SendEmail": {
        "SendEmail": {
          "normalizedValue": 100,
          "rawValue": 20
        }
      },
      "ShowNext": {
        "ShowNext": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "ShowPrevious": {
        "ShowPrevious": {
          "normalizedValue": 100,
          "rawValue": 3
        }
      }
    },
    "intents": {
      "AddMore": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 17,
        "trueNegativeCount": 104,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Cancel": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 9,
        "trueNegativeCount": 112,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "SendEmail": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 20,
        "trueNegativeCount": 101,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "CheckMessages": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 9,
        "trueNegativeCount": 112,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "AddFlag": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Reply": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "ReadAloud": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 16,
        "trueNegativeCount": 105,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "QueryLastText": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "SearchMessages": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 9,
        "trueNegativeCount": 112,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Delete": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 5,
        "trueNegativeCount": 116,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Forward": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Confirm": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 117,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "ShowNext": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 117,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "ShowPrevious": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 3,
        "trueNegativeCount": 118,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "None": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 1,
        "trueNegativeCount": 120,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      }
    },
    "microF1": 1,
    "microPrecision": 1,
    "microRecall": 1,
    "macroF1": 1,
    "macroPrecision": 1,
    "macroRecall": 1
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 80,
    "testingSplitPercentage": 20
  }
}

Definições

Nome	Description
AnalyzeConversationAuthoringEntitiesEvaluationSummary	Representa o resumo do resultado da avaliação para as entidades do projeto.
AnalyzeConversationAuthoringEntityEvaluationSummary	Representa o resultado da avaliação de uma entidade.
AnalyzeConversationAuthoringEvaluationOptions	Representa as opções usadas na execução da avaliação.
AnalyzeConversationAuthoringEvaluationSummary	Representa o resumo do resultado da avaliação.
AnalyzeConversationAuthoringIntentEvaluationSummary	O resumo da avaliação de uma intenção.
AnalyzeConversationAuthoringIntentsEvaluationSummary	Representa o resumo da avaliação das intenções do projeto.
Azure.Core.Foundations.Error	O objeto de erro.
Azure.Core.Foundations.ErrorResponse	Uma resposta que contém detalhes do erro.
Azure.Core.Foundations.InnerError	Um objeto que contém informações mais específicas sobre o erro. De acordo com as diretrizes da API do Microsoft One - https://github.com/microsoft/api-guidelines/blob/vNext/azure/Guidelines.md#handling-errors.
EvaluationKind

AnalyzeConversationAuthoringEntitiesEvaluationSummary

Objeto

Representa o resumo do resultado da avaliação para as entidades do projeto.

Nome	Tipo	Description
confusionMatrix	object	Representa a matriz de confusão entre duas entidades (as duas entidades podem ser as mesmas). A matriz está entre a entidade rotulada e a entidade que foi prevista.
entities	<string, AnalyzeConversationAuthoringEntityEvaluationSummary>	Representa o resumo da avaliação de entidades.
macroF1	number (float)	Representa a macro F1. O valor esperado é um float entre 0 e 1, inclusive.
macroPrecision	number (float)	Representa a precisão da macro. O valor esperado é um float entre 0 e 1, inclusive.
macroRecall	number (float)	Representa o recall de macro. O valor esperado é um float entre 0 e 1, inclusive.
microF1	number (float)	Representa o micro F1. O valor esperado é um float entre 0 e 1, inclusive.
microPrecision	number (float)	Representa a micro precisão. O valor esperado é um float entre 0 e 1, inclusive.
microRecall	number (float)	Representa o micro recall. O valor esperado é um float entre 0 e 1, inclusive.

AnalyzeConversationAuthoringEntityEvaluationSummary

Objeto

Representa o resultado da avaliação de uma entidade.

Nome	Tipo	Description
f1	number (double)	Representa a pontuação F1 do modelo
falseNegativeCount	integer (int32)	Representa a contagem de falsos negativos
falsePositiveCount	integer (int32)	Representa a contagem de falsos positivos
precision	number (double)	Representa a precisão do modelo
recall	number (double)	Representa a precisão do modelo
trueNegativeCount	integer (int32)	Representa a contagem de verdadeiros negativos
truePositiveCount	integer (int32)	Representa a contagem de verdadeiros positivos

AnalyzeConversationAuthoringEvaluationOptions

Objeto

Representa as opções usadas na execução da avaliação.

Nome	Tipo	Description
kind	EvaluationKind	Representa o tipo de avaliação. Por padrão, o tipo de avaliação é definido como porcentagem.
testingSplitPercentage	integer (int32)	Representa a porcentagem de divisão do conjunto de dados de teste. Necessário apenas caso o tipo de avaliação seja percentual.
trainingSplitPercentage	integer (int32)	Representa a porcentagem de divisão do conjunto de dados de treinamento. Necessário apenas caso o tipo de avaliação seja percentual.

AnalyzeConversationAuthoringEvaluationSummary

Objeto

Representa o resumo do resultado da avaliação.

Nome	Tipo	Description
entitiesEvaluation	AnalyzeConversationAuthoringEntitiesEvaluationSummary	Contém os dados relacionados à avaliação de entidades.
evaluationOptions	AnalyzeConversationAuthoringEvaluationOptions	As opções usadas durante a execução da avaliação.
intentsEvaluation	AnalyzeConversationAuthoringIntentsEvaluationSummary	Contém os dados relacionados à avaliação de intenções.

AnalyzeConversationAuthoringIntentEvaluationSummary

Objeto

O resumo da avaliação de uma intenção.

Nome	Tipo	Description
f1	number (double)	Representa a precisão do modelo
falseNegativeCount	integer (int32)	Representa a contagem de falsos negativos
falsePositiveCount	integer (int32)	Representa a contagem de falsos positivos
precision	number (double)	Representa o recall do modelo
recall	number (double)	Representa a pontuação F1 do modelo
trueNegativeCount	integer (int32)	Representa a contagem de verdadeiros negativos
truePositiveCount	integer (int32)	Representa a contagem de verdadeiros positivos

AnalyzeConversationAuthoringIntentsEvaluationSummary

Objeto

Representa o resumo da avaliação das intenções do projeto.

Nome	Tipo	Description
confusionMatrix	object	Representa a matriz de confusão entre duas intenções (as duas intenções podem ser as mesmas). A matriz está entre a intenção que foi rotulada e a intenção que foi prevista.
intents	<string, AnalyzeConversationAuthoringIntentEvaluationSummary>	Representa o resumo da avaliação de intenções.
macroF1	number (float)	Representa a macro F1. O valor esperado é um float entre 0 e 1, inclusive.
macroPrecision	number (float)	Representa a precisão da macro. O valor esperado é um float entre 0 e 1, inclusive.
macroRecall	number (float)	Representa o recall de macro. O valor esperado é um float entre 0 e 1, inclusive.
microF1	number (float)	Representa o micro F1. O valor esperado é um float entre 0 e 1, inclusive.
microPrecision	number (float)	Representa a micro precisão. O valor esperado é um float entre 0 e 1, inclusive.
microRecall	number (float)	Representa o micro recall. O valor esperado é um float entre 0 e 1, inclusive.

Azure.Core.Foundations.Error

Objeto

O objeto de erro.

Nome	Tipo	Description
code	string	Um de um conjunto definido pelo servidor de códigos de erro.
details	Azure.Core.Foundations.Error[]	Uma matriz de detalhes sobre erros específicos que levaram a esse erro relatado.
innererror	Azure.Core.Foundations.InnerError	Um objeto que contém informações mais específicas do que o objeto atual sobre o erro.
message	string	Uma representação legível pelo ser humano do erro.
target	string	O destino do erro.

Azure.Core.Foundations.ErrorResponse

Objeto

Uma resposta que contém detalhes do erro.

Nome	Tipo	Description
error	Azure.Core.Foundations.Error	O objeto de erro.

Azure.Core.Foundations.InnerError

Objeto

Um objeto que contém informações mais específicas sobre o erro. De acordo com as diretrizes da API do Microsoft One - https://github.com/microsoft/api-guidelines/blob/vNext/azure/Guidelines.md#handling-errors.

Nome	Tipo	Description
code	string	Um de um conjunto definido pelo servidor de códigos de erro.
innererror	Azure.Core.Foundations.InnerError	Erro interno.

EvaluationKind

Enumeração

Valor	Description
manual	Divida os dados de acordo com o conjunto de dados escolhido para cada exemplo nos dados.
percentage	Divida os dados em conjuntos de treinamento e teste de acordo com os percentuais definidos pelo usuário.

Compartilhar via

Conversation Authoring Trained Model - Get Model Evaluation Summary

Parâmetros de URI

Respostas

Segurança

Ocp-Apim-Subscription-Key

OAuth2Auth

Escopos

Exemplos

Successful Get Model Evaluation Summary

Solicitação de exemplo

Resposta de exemplo

Definições

AnalyzeConversationAuthoringEntitiesEvaluationSummary

AnalyzeConversationAuthoringEntityEvaluationSummary

AnalyzeConversationAuthoringEvaluationOptions

AnalyzeConversationAuthoringEvaluationSummary

AnalyzeConversationAuthoringIntentEvaluationSummary

AnalyzeConversationAuthoringIntentsEvaluationSummary

Azure.Core.Foundations.Error

Azure.Core.Foundations.ErrorResponse

Azure.Core.Foundations.InnerError

EvaluationKind