Conversational Analysis Authoring - Get Model Evaluation Summary

Référence

Service:: Azure AI Services

Version d'API:: 2023-04-01

Obtient le résumé d’évaluation d’un modèle entraîné. Le résumé comprend des mesures de performances de haut niveau du modèle, par exemple, F1, Précision, Rappel, etc.

GET {Endpoint}/language/authoring/analyze-conversations/projects/{projectName}/models/{trainedModelLabel}/evaluation/summary-result?api-version=2023-04-01

Paramètres URI

Nom	Dans	Obligatoire	Type	Description
Endpoint	path	True	string
projectName	path	True	string	Nom du projet à utiliser.
trainedModelLabel	path	True	string	Étiquette de modèle entraînée.
api-version	query	True	string	Version de l’API à utiliser pour cette opération.

Réponses

Nom	Type	Description
200 OK	ConversationalAnalysisAuthoringEvaluationSummary	La demande a réussi.
Other Status Codes	ErrorResponse	Réponse d’erreur inattendue.

Sécurité

Ocp-Apim-Subscription-Key

Type: apiKey
Dans: header

OAuth2Auth

Type: oauth2
Flux: accessCode
URL d’autorisation: https://login.microsoftonline.com/common/oauth2/authorize
URL du jeton: https://login.microsoftonline.com/common/oauth2/token

Étendues

Nom	Description
https://cognitiveservices.azure.com/.default

Exemples

Successful Get Model Evaluation Summary

Exemple de requête

HTTP

GET {Endpoint}/language/authoring/analyze-conversations/projects/EmailApp/models/model1/evaluation/summary-result?api-version=2023-04-01

Exemple de réponse

Code d’état:: 200

{
  "entitiesEvaluation": {
    "confusionMatrix": {
      "Attachment": {
        "Attachment": {
          "normalizedValue": 100,
          "rawValue": 3
        }
      },
      "Category": {
        "Category": {
          "normalizedValue": 91.666664,
          "rawValue": 11
        },
        "$none": {
          "normalizedValue": 8.333333,
          "rawValue": 1
        }
      },
      "ContactName": {
        "ContactName": {
          "normalizedValue": 91.666664,
          "rawValue": 22
        },
        "SenderName": {
          "normalizedValue": 4.1666665,
          "rawValue": 1
        },
        "$none": {
          "normalizedValue": 4.1666665,
          "rawValue": 1
        }
      },
      "Date": {
        "Date": {
          "normalizedValue": 100,
          "rawValue": 2
        }
      },
      "EmailSubject": {
        "EmailSubject": {
          "normalizedValue": 93.33333,
          "rawValue": 9.333334
        },
        "$none": {
          "normalizedValue": 6.6666665,
          "rawValue": 0.6666667
        }
      },
      "FromRelationshipName": {
        "FromRelationshipName": {
          "normalizedValue": 100,
          "rawValue": 1
        }
      },
      "Line": {
        "Line": {
          "normalizedValue": 100,
          "rawValue": 2
        }
      },
      "Message": {
        "Message": {
          "normalizedValue": 81.2063,
          "rawValue": 6.496504
        },
        "EmailSubject": {
          "normalizedValue": 7.43007,
          "rawValue": 0.5944056
        },
        "$none": {
          "normalizedValue": 9.120047,
          "rawValue": 0.7296037
        },
        "Date": {
          "normalizedValue": 2.2435899,
          "rawValue": 0.17948718
        }
      },
      "OrderReference": {
        "OrderReference": {
          "normalizedValue": 100,
          "rawValue": 17
        }
      },
      "PositionReference": {
        "$none": {
          "normalizedValue": 100,
          "rawValue": 1
        }
      },
      "RelationshipName": {
        "RelationshipName": {
          "normalizedValue": 66.666664,
          "rawValue": 2
        },
        "$none": {
          "normalizedValue": 33.333332,
          "rawValue": 1
        }
      },
      "SearchTexts": {
        "SearchTexts": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "SenderName": {
        "SenderName": {
          "normalizedValue": 88.888885,
          "rawValue": 8
        },
        "ContactName": {
          "normalizedValue": 11.111111,
          "rawValue": 1
        }
      },
      "Time": {
        "$none": {
          "normalizedValue": 100,
          "rawValue": 2
        }
      },
      "$none": {
        "$none": {
          "normalizedValue": 99.739265,
          "rawValue": 162.575
        },
        "Category": {
          "normalizedValue": 0.2607362,
          "rawValue": 0.425
        }
      }
    },
    "entities": {
      "ContactName": {
        "f1": 0.9361702799797058,
        "precision": 0.95652174949646,
        "recall": 0.9166666865348816,
        "truePositiveCount": 22,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 2
      },
      "Category": {
        "f1": 0.8799999952316284,
        "precision": 0.8461538553237915,
        "recall": 0.9166666865348816,
        "truePositiveCount": 11,
        "trueNegativeCount": 0,
        "falsePositiveCount": 2,
        "falseNegativeCount": 1
      },
      "SenderName": {
        "f1": 0.8888888955116272,
        "precision": 0.8888888955116272,
        "recall": 0.8888888955116272,
        "truePositiveCount": 8,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 1
      },
      "EmailSubject": {
        "f1": 0.8181817531585693,
        "precision": 0.75,
        "recall": 0.8999999761581421,
        "truePositiveCount": 9,
        "trueNegativeCount": 0,
        "falsePositiveCount": 3,
        "falseNegativeCount": 1
      },
      "Message": {
        "f1": 0.75,
        "precision": 0.75,
        "recall": 0.75,
        "truePositiveCount": 6,
        "trueNegativeCount": 0,
        "falsePositiveCount": 2,
        "falseNegativeCount": 2
      },
      "Date": {
        "f1": 0.800000011920929,
        "precision": 0.6666666865348816,
        "recall": 1,
        "truePositiveCount": 2,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 0
      },
      "OrderReference": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 17,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "SearchTexts": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Attachment": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "RelationshipName": {
        "f1": 0.800000011920929,
        "precision": 1,
        "recall": 0.6666666865348816,
        "truePositiveCount": 2,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 1
      },
      "Line": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 2,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Time": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositiveCount": 0,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 2
      },
      "FromRelationshipName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 1,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "PositionReference": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositiveCount": 0,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 1
      }
    },
    "microF1": 0.8923077,
    "microPrecision": 0.8969072,
    "microRecall": 0.8877551,
    "macroF1": 0.7766601,
    "macroPrecision": 0.7755879,
    "macroRecall": 0.78849214
  },
  "intentsEvaluation": {
    "confusionMatrix": {
      "AddFlag": {
        "AddFlag": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "AddMore": {
        "AddMore": {
          "normalizedValue": 100,
          "rawValue": 17
        }
      },
      "Cancel": {
        "Cancel": {
          "normalizedValue": 100,
          "rawValue": 9
        }
      },
      "CheckMessages": {
        "CheckMessages": {
          "normalizedValue": 100,
          "rawValue": 9
        }
      },
      "Confirm": {
        "Confirm": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Delete": {
        "Delete": {
          "normalizedValue": 100,
          "rawValue": 5
        }
      },
      "Forward": {
        "Forward": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "None": {
        "None": {
          "normalizedValue": 100,
          "rawValue": 1
        }
      },
      "QueryLastText": {
        "QueryLastText": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "ReadAloud": {
        "ReadAloud": {
          "normalizedValue": 100,
          "rawValue": 16
        }
      },
      "Reply": {
        "Reply": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "SearchMessages": {
        "SearchMessages": {
          "normalizedValue": 100,
          "rawValue": 9
        }
      },
      "SendEmail": {
        "SendEmail": {
          "normalizedValue": 100,
          "rawValue": 20
        }
      },
      "ShowNext": {
        "ShowNext": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "ShowPrevious": {
        "ShowPrevious": {
          "normalizedValue": 100,
          "rawValue": 3
        }
      }
    },
    "intents": {
      "AddMore": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 17,
        "trueNegativeCount": 104,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Cancel": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 9,
        "trueNegativeCount": 112,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "SendEmail": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 20,
        "trueNegativeCount": 101,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "CheckMessages": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 9,
        "trueNegativeCount": 112,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "AddFlag": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Reply": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "ReadAloud": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 16,
        "trueNegativeCount": 105,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "QueryLastText": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "SearchMessages": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 9,
        "trueNegativeCount": 112,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Delete": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 5,
        "trueNegativeCount": 116,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Forward": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Confirm": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 117,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "ShowNext": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 117,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "ShowPrevious": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 3,
        "trueNegativeCount": 118,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "None": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 1,
        "trueNegativeCount": 120,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      }
    },
    "microF1": 1,
    "microPrecision": 1,
    "microRecall": 1,
    "macroF1": 1,
    "macroPrecision": 1,
    "macroRecall": 1
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 80,
    "testingSplitPercentage": 20
  }
}

Définitions

Nom	Description
ConversationalAnalysisAuthoringEntitiesEvaluationSummary	Représente le résumé des résultats d’évaluation pour les entités du projet.
ConversationalAnalysisAuthoringEntityEvaluationSummary	Représente le résultat d’évaluation d’une entité.
ConversationalAnalysisAuthoringEvaluationOptions	Représente les options utilisées pour exécuter l’évaluation.
ConversationalAnalysisAuthoringEvaluationSummary	Représente le résumé des résultats de l’évaluation.
ConversationalAnalysisAuthoringIntentEvaluationSummary	Résumé de l’évaluation d’une intention.
ConversationalAnalysisAuthoringIntentsEvaluationSummary	Représente le résumé de l’évaluation des intentions du projet.
Error	Objet d’erreur.
ErrorCode	Code d’erreur lisible par l’homme.
ErrorResponse	Réponse d’erreur.
EvaluationKind
InnerErrorCode	Code d’erreur lisible par l’homme.
InnerErrorModel	Objet contenant des informations plus spécifiques sur l’erreur. Conformément aux instructions de l’API Microsoft One - https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.

ConversationalAnalysisAuthoringEntitiesEvaluationSummary

Représente le résumé des résultats d’évaluation pour les entités du projet.

Nom	Type	Description
confusionMatrix	object	Représente la matrice de confusion entre deux entités (les deux entités peuvent être identiques). La matrice est comprise entre l’entité étiquetée et l’entité qui a été prédite.
entities	<string, ConversationalAnalysisAuthoringEntityEvaluationSummary>	Représente le résumé de l’évaluation des entités.
macroF1	number	Représente la macro F1. La valeur attendue est un float compris entre 0 et 1 inclus.
macroPrecision	number	Représente la précision de la macro. La valeur attendue est un float compris entre 0 et 1 inclus.
macroRecall	number	Représente le rappel de macro. La valeur attendue est un float compris entre 0 et 1 inclus.
microF1	number	Représente le micro F1. La valeur attendue est un float compris entre 0 et 1 inclus.
microPrecision	number	Représente la micro précision. La valeur attendue est un float compris entre 0 et 1 inclus.
microRecall	number	Représente le micro-rappel. La valeur attendue est un float compris entre 0 et 1 inclus.

ConversationalAnalysisAuthoringEntityEvaluationSummary

Représente le résultat d’évaluation d’une entité.

Nom	Type	Description
f1	number	Représente la précision du modèle
falseNegativeCount	integer	Représente le nombre de faux négatifs
falsePositiveCount	integer	Représente le nombre de faux positifs
precision	number	Représente le rappel du modèle
recall	number	Représente le score F1 du modèle
trueNegativeCount	integer	Représente le nombre de vrais négatifs
truePositiveCount	integer	Représente le nombre de vrais positifs

ConversationalAnalysisAuthoringEvaluationOptions

Représente les options utilisées pour exécuter l’évaluation.

Nom	Type	Description
kind	EvaluationKind	Représente le type d’évaluation. Par défaut, le type d’évaluation est défini sur pourcentage.
testingSplitPercentage	integer	Représente le pourcentage de fractionnement du jeu de données de test. Uniquement nécessaire au cas où le type d’évaluation était pourcentage.
trainingSplitPercentage	integer	Représente le pourcentage de fractionnement du jeu de données d’entraînement. Uniquement nécessaire au cas où le type d’évaluation était pourcentage.

ConversationalAnalysisAuthoringEvaluationSummary

Représente le résumé des résultats de l’évaluation.

Nom	Type	Description
entitiesEvaluation	ConversationalAnalysisAuthoringEntitiesEvaluationSummary	Contient les données relatives à l’évaluation des entités.
evaluationOptions	ConversationalAnalysisAuthoringEvaluationOptions	Options utilisées lors de l’exécution de l’évaluation.
intentsEvaluation	ConversationalAnalysisAuthoringIntentsEvaluationSummary	Contient les données relatives à l’évaluation des intentions.

ConversationalAnalysisAuthoringIntentEvaluationSummary

Résumé de l’évaluation d’une intention.

Nom	Type	Description
f1	number	Représente la précision du modèle
falseNegativeCount	integer	Représente le nombre de faux négatifs
falsePositiveCount	integer	Représente le nombre de faux positifs
precision	number	Représente le rappel du modèle
recall	number	Représente le score F1 du modèle
trueNegativeCount	integer	Représente le nombre de vrais négatifs
truePositiveCount	integer	Représente le nombre de vrais positifs

ConversationalAnalysisAuthoringIntentsEvaluationSummary

Représente le résumé de l’évaluation des intentions du projet.

Nom	Type	Description
confusionMatrix	object	Représente la matrice de confusion entre deux intentions (les deux intentions peuvent être identiques). La matrice est comprise entre l’intention étiquetée et l’intention prédite.
intents	<string, ConversationalAnalysisAuthoringIntentEvaluationSummary>	Représente le résumé de l’évaluation des intentions.
macroF1	number	Représente la macro F1. La valeur attendue est un float compris entre 0 et 1 inclus.
macroPrecision	number	Représente la précision de la macro. La valeur attendue est un float compris entre 0 et 1 inclus.
macroRecall	number	Représente le rappel de macro. La valeur attendue est un float compris entre 0 et 1 inclus.
microF1	number	Représente le micro F1. La valeur attendue est un float compris entre 0 et 1 inclus.
microPrecision	number	Représente la micro précision. La valeur attendue est un float compris entre 0 et 1 inclus.
microRecall	number	Représente le micro-rappel. La valeur attendue est un float compris entre 0 et 1 inclus.

Error

Objet d’erreur.

Nom	Type	Description
code	ErrorCode	Un ensemble de codes d’erreur définis par le serveur.
details	Error[]	Tableau de détails sur des erreurs spécifiques qui ont conduit à cette erreur signalée.
innererror	InnerErrorModel	Objet contenant des informations plus spécifiques que l’objet actuel sur l’erreur.
message	string	Représentation lisible par l’homme de l’erreur.
target	string	Cible de l’erreur.

ErrorCode

Code d’erreur lisible par l’homme.

Nom	Type	Description
AzureCognitiveSearchIndexLimitReached	string
AzureCognitiveSearchIndexNotFound	string
AzureCognitiveSearchNotFound	string
AzureCognitiveSearchThrottling	string
Conflict	string
Forbidden	string
InternalServerError	string
InvalidArgument	string
InvalidRequest	string
NotFound	string
OperationNotFound	string
ProjectNotFound	string
QuotaExceeded	string
ServiceUnavailable	string
Timeout	string
TooManyRequests	string
Unauthorized	string
Warning	string

ErrorResponse

Réponse d’erreur.

Nom	Type	Description
error	Error	Objet d’erreur.

EvaluationKind

Nom	Type	Description
manual	string	Fractionnez les données en fonction du jeu de données choisi pour chaque exemple dans les données.
percentage	string	Fractionnez les données en jeux d’entraînement et de test en pourcentages définis par l’utilisateur.

InnerErrorCode