Conversational Analysis Authoring - Get Model Evaluation Summary

Referentie

Service:: Azure AI Services

API-versie:: 2023-04-01

Hiermee haalt u de evaluatiesamenvatting van een getraind model op. De samenvatting bevat prestatiemetingen op hoog niveau van het model, bijvoorbeeld F1, Precisie, Recall, enzovoort.

GET {Endpoint}/language/authoring/analyze-conversations/projects/{projectName}/models/{trainedModelLabel}/evaluation/summary-result?api-version=2023-04-01

URI-parameters

Name	In	Vereist	Type	Description
Endpoint	path	True	string	Ondersteund Cognitive Services-eindpunt (bijvoorbeeld https://.api.cognitiveservices.azure.com).
projectName	path	True	string	De naam van het project dat moet worden gebruikt.
trainedModelLabel	path	True	string	Het label van het getrainde model.
api-version	query	True	string	Client-API-versie.

Antwoorden

Name	Type	Description
200 OK	ConversationalAnalysisAuthoringEvaluationSummary	Lijst met alle evaluatieresultaten.
Other Status Codes	ErrorResponse	Foutreactie.

Beveiliging

AADToken

Dit zijn de Azure Active Directory OAuth2-stromen . Wanneer het is gekoppeld aan op rollen gebaseerd toegangsbeheer van Azure, kan het worden gebruikt om de toegang tot Azure Maps REST API's te beheren. Op rollen gebaseerd toegangsbeheer van Azure wordt gebruikt om toegang tot een of meer Azure Maps resourceaccount of subresources aan te wijzen. Elke gebruiker, groep of service-principal kan toegang krijgen via een ingebouwde rol of een aangepaste rol die bestaat uit een of meer machtigingen voor Azure Maps REST API's.

Voor het implementeren van scenario's raden we u aan verificatieconcepten te bekijken. Samengevat biedt deze beveiligingsdefinitie een oplossing voor het modelleren van toepassingen via objecten die toegangsbeheer kunnen hebben voor specifieke API's en bereiken.

Notities

Voor deze beveiligingsdefinitie is het gebruik van de x-ms-client-id header vereist om aan te geven tot welke Azure Maps resource de toepassing toegang aanvraagt. Dit kan worden verkregen via de Kaarten-beheer-API.

De Authorization URL is specifiek voor het azure-exemplaar van de openbare cloud. Onafhankelijke clouds hebben unieke autorisatie-URL's en Azure Active Directory-configuraties. * Op rollen gebaseerd toegangsbeheer van Azure wordt geconfigureerd vanuit het Azure-beheervlak via Azure Portal, PowerShell, CLI, Azure SDK's of REST API's. * Gebruik van de Azure Maps Web SDK maakt configuratie van een toepassing mogelijk voor meerdere gebruiksvoorbeelden.

Momenteel ondersteunt Azure Active Directory v1.0 of v2.0 werk, school en gasten, maar geen persoonlijke accounts.

Type: oauth2
Stroom: implicit
Autorisatie-URL: https://login.microsoftonline.com/common/oauth2/authorize

Bereiken

Name	Description
https://cognitiveservices.azure.com/.default	https://cognitiveservices.azure.com/.default

Ocp-Apim-Subscription-Key

Een abonnementssleutel voor een taalserviceresource.

Type: apiKey
In: header

Voorbeelden

Successful Get Model Evaluation Summary

Voorbeeldaanvraag

HTTP

GET {Endpoint}/language/authoring/analyze-conversations/projects/EmailApp/models/model1/evaluation/summary-result?api-version=2023-04-01

Voorbeeldrespons

Statuscode:: 200

{
  "entitiesEvaluation": {
    "confusionMatrix": {
      "Attachment": {
        "Attachment": {
          "normalizedValue": 100,
          "rawValue": 3
        }
      },
      "Category": {
        "Category": {
          "normalizedValue": 91.666664,
          "rawValue": 11
        },
        "$none": {
          "normalizedValue": 8.333333,
          "rawValue": 1
        }
      },
      "ContactName": {
        "ContactName": {
          "normalizedValue": 91.666664,
          "rawValue": 22
        },
        "SenderName": {
          "normalizedValue": 4.1666665,
          "rawValue": 1
        },
        "$none": {
          "normalizedValue": 4.1666665,
          "rawValue": 1
        }
      },
      "Date": {
        "Date": {
          "normalizedValue": 100,
          "rawValue": 2
        }
      },
      "EmailSubject": {
        "EmailSubject": {
          "normalizedValue": 93.33333,
          "rawValue": 9.333334
        },
        "$none": {
          "normalizedValue": 6.6666665,
          "rawValue": 0.6666667
        }
      },
      "FromRelationshipName": {
        "FromRelationshipName": {
          "normalizedValue": 100,
          "rawValue": 1
        }
      },
      "Line": {
        "Line": {
          "normalizedValue": 100,
          "rawValue": 2
        }
      },
      "Message": {
        "Message": {
          "normalizedValue": 81.2063,
          "rawValue": 6.496504
        },
        "EmailSubject": {
          "normalizedValue": 7.43007,
          "rawValue": 0.5944056
        },
        "$none": {
          "normalizedValue": 9.120047,
          "rawValue": 0.7296037
        },
        "Date": {
          "normalizedValue": 2.2435899,
          "rawValue": 0.17948718
        }
      },
      "OrderReference": {
        "OrderReference": {
          "normalizedValue": 100,
          "rawValue": 17
        }
      },
      "PositionReference": {
        "$none": {
          "normalizedValue": 100,
          "rawValue": 1
        }
      },
      "RelationshipName": {
        "RelationshipName": {
          "normalizedValue": 66.666664,
          "rawValue": 2
        },
        "$none": {
          "normalizedValue": 33.333332,
          "rawValue": 1
        }
      },
      "SearchTexts": {
        "SearchTexts": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "SenderName": {
        "SenderName": {
          "normalizedValue": 88.888885,
          "rawValue": 8
        },
        "ContactName": {
          "normalizedValue": 11.111111,
          "rawValue": 1
        }
      },
      "Time": {
        "$none": {
          "normalizedValue": 100,
          "rawValue": 2
        }
      },
      "$none": {
        "$none": {
          "normalizedValue": 99.739265,
          "rawValue": 162.575
        },
        "Category": {
          "normalizedValue": 0.2607362,
          "rawValue": 0.425
        }
      }
    },
    "entities": {
      "ContactName": {
        "f1": 0.9361702799797058,
        "precision": 0.95652174949646,
        "recall": 0.9166666865348816,
        "truePositiveCount": 22,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 2
      },
      "Category": {
        "f1": 0.8799999952316284,
        "precision": 0.8461538553237915,
        "recall": 0.9166666865348816,
        "truePositiveCount": 11,
        "trueNegativeCount": 0,
        "falsePositiveCount": 2,
        "falseNegativeCount": 1
      },
      "SenderName": {
        "f1": 0.8888888955116272,
        "precision": 0.8888888955116272,
        "recall": 0.8888888955116272,
        "truePositiveCount": 8,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 1
      },
      "EmailSubject": {
        "f1": 0.8181817531585693,
        "precision": 0.75,
        "recall": 0.8999999761581421,
        "truePositiveCount": 9,
        "trueNegativeCount": 0,
        "falsePositiveCount": 3,
        "falseNegativeCount": 1
      },
      "Message": {
        "f1": 0.75,
        "precision": 0.75,
        "recall": 0.75,
        "truePositiveCount": 6,
        "trueNegativeCount": 0,
        "falsePositiveCount": 2,
        "falseNegativeCount": 2
      },
      "Date": {
        "f1": 0.800000011920929,
        "precision": 0.6666666865348816,
        "recall": 1,
        "truePositiveCount": 2,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 0
      },
      "OrderReference": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 17,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "SearchTexts": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Attachment": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "RelationshipName": {
        "f1": 0.800000011920929,
        "precision": 1,
        "recall": 0.6666666865348816,
        "truePositiveCount": 2,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 1
      },
      "Line": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 2,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Time": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositiveCount": 0,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 2
      },
      "FromRelationshipName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 1,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "PositionReference": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositiveCount": 0,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 1
      }
    },
    "microF1": 0.8923077,
    "microPrecision": 0.8969072,
    "microRecall": 0.8877551,
    "macroF1": 0.7766601,
    "macroPrecision": 0.7755879,
    "macroRecall": 0.78849214
  },
  "intentsEvaluation": {
    "confusionMatrix": {
      "AddFlag": {
        "AddFlag": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "AddMore": {
        "AddMore": {
          "normalizedValue": 100,
          "rawValue": 17
        }
      },
      "Cancel": {
        "Cancel": {
          "normalizedValue": 100,
          "rawValue": 9
        }
      },
      "CheckMessages": {
        "CheckMessages": {
          "normalizedValue": 100,
          "rawValue": 9
        }
      },
      "Confirm": {
        "Confirm": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Delete": {
        "Delete": {
          "normalizedValue": 100,
          "rawValue": 5
        }
      },
      "Forward": {
        "Forward": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "None": {
        "None": {
          "normalizedValue": 100,
          "rawValue": 1
        }
      },
      "QueryLastText": {
        "QueryLastText": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "ReadAloud": {
        "ReadAloud": {
          "normalizedValue": 100,
          "rawValue": 16
        }
      },
      "Reply": {
        "Reply": {
          "normalizedValue": 100,
          "rawValue": 6
        }
      },
      "SearchMessages": {
        "SearchMessages": {
          "normalizedValue": 100,
          "rawValue": 9
        }
      },
      "SendEmail": {
        "SendEmail": {
          "normalizedValue": 100,
          "rawValue": 20
        }
      },
      "ShowNext": {
        "ShowNext": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "ShowPrevious": {
        "ShowPrevious": {
          "normalizedValue": 100,
          "rawValue": 3
        }
      }
    },
    "intents": {
      "AddMore": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 17,
        "trueNegativeCount": 104,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Cancel": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 9,
        "trueNegativeCount": 112,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "SendEmail": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 20,
        "trueNegativeCount": 101,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "CheckMessages": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 9,
        "trueNegativeCount": 112,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "AddFlag": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Reply": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "ReadAloud": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 16,
        "trueNegativeCount": 105,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "QueryLastText": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "SearchMessages": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 9,
        "trueNegativeCount": 112,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Delete": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 5,
        "trueNegativeCount": 116,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Forward": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 6,
        "trueNegativeCount": 115,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Confirm": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 117,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "ShowNext": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 117,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "ShowPrevious": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 3,
        "trueNegativeCount": 118,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "None": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 1,
        "trueNegativeCount": 120,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      }
    },
    "microF1": 1,
    "microPrecision": 1,
    "microRecall": 1,
    "macroF1": 1,
    "macroPrecision": 1,
    "macroRecall": 1
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 80,
    "testingSplitPercentage": 20
  }
}

Definities

Name	Description
ConversationalAnalysisAuthoringEntitiesEvaluationSummary	Vertegenwoordigt de samenvatting van de evaluatieresultaten voor de entiteiten van het project.
ConversationalAnalysisAuthoringEntityEvaluationSummary	Vertegenwoordigt het evaluatieresultaat voor een entiteit.
ConversationalAnalysisAuthoringEvaluationOptions	Vertegenwoordigt de opties die worden gebruikt om de evaluatie uit te voeren.
ConversationalAnalysisAuthoringEvaluationSummary	Vertegenwoordigt de samenvatting van het evaluatieresultaat.
ConversationalAnalysisAuthoringIntentEvaluationSummary	De evaluatiesamenvatting voor een intentie.
ConversationalAnalysisAuthoringIntentsEvaluationSummary	Vertegenwoordigt de evaluatiesamenvatting voor de intenties van het project.
Error	Het foutobject.
ErrorCode	Door mensen leesbare foutcode.
ErrorResponse	Foutreactie.
EvaluationKind	Vertegenwoordigt het type evaluatie. Het type evaluatie is standaard ingesteld op percentage.
InnerErrorCode	Door mensen leesbare foutcode.
InnerErrorModel	Een object met specifiekere informatie over de fout. Volgens de richtlijnen voor Microsoft One API: https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.

ConversationalAnalysisAuthoringEntitiesEvaluationSummary

Vertegenwoordigt de samenvatting van de evaluatieresultaten voor de entiteiten van het project.

Name	Type	Description
confusionMatrix	object	Vertegenwoordigt de verwarringsmatrix tussen twee entiteiten (de twee entiteiten kunnen hetzelfde zijn). De matrix bevindt zich tussen de entiteit die is gelabeld en de entiteit die is voorspeld.
entities	<string, ConversationalAnalysisAuthoringEntityEvaluationSummary>	Vertegenwoordigt het evaluatieoverzicht van entiteiten.
macroF1	number	Vertegenwoordigt de macro F1
macroPrecision	number	Vertegenwoordigt de macroprecisie
macroRecall	number	Vertegenwoordigt het terughalen van macro's
microF1	number	Vertegenwoordigt de micro-F1
microPrecision	number	Vertegenwoordigt de microprecisie
microRecall	number	Vertegenwoordigt de micro-terugroepactie

ConversationalAnalysisAuthoringEntityEvaluationSummary

Vertegenwoordigt het evaluatieresultaat voor een entiteit.

Name	Type	Description
f1	number	Vertegenwoordigt de modelprecisie
falseNegativeCount	integer	Vertegenwoordigt het aantal fout-negatieven
falsePositiveCount	integer	Vertegenwoordigt het aantal fout-positieven
precision	number	Vertegenwoordigt de terugroepactie van het model
recall	number	Vertegenwoordigt de F1-score van het model
trueNegativeCount	integer	Vertegenwoordigt het aantal true negative
truePositiveCount	integer	Vertegenwoordigt het aantal terecht-positieven

ConversationalAnalysisAuthoringEvaluationOptions

Vertegenwoordigt de opties die worden gebruikt om de evaluatie uit te voeren.

Name	Type	Description
kind	EvaluationKind	Vertegenwoordigt het type evaluatie. Het type evaluatie is standaard ingesteld op percentage.
testingSplitPercentage	integer	Vertegenwoordigt het gesplitste percentage van de testgegevensset. Alleen nodig als het type evaluatie percentage is.
trainingSplitPercentage	integer	Vertegenwoordigt het gesplitste percentage van de trainingsgegevensset. Alleen nodig als het type evaluatie percentage is.

ConversationalAnalysisAuthoringEvaluationSummary

Vertegenwoordigt de samenvatting van het evaluatieresultaat.

Name	Type	Description
entitiesEvaluation	ConversationalAnalysisAuthoringEntitiesEvaluationSummary	Bevat de gegevens met betrekking tot de evaluatie van entiteiten.
evaluationOptions	ConversationalAnalysisAuthoringEvaluationOptions	De opties die zijn gebruikt tijdens het uitvoeren van de evaluatie.
intentsEvaluation	ConversationalAnalysisAuthoringIntentsEvaluationSummary	Bevat de gegevens met betrekking tot intents-evaluatie.

ConversationalAnalysisAuthoringIntentEvaluationSummary

De evaluatiesamenvatting voor een intentie.

Name	Type	Description
f1	number	Vertegenwoordigt de modelprecisie
falseNegativeCount	integer	Vertegenwoordigt het aantal fout-negatieven
falsePositiveCount	integer	Vertegenwoordigt het aantal fout-positieven
precision	number	Vertegenwoordigt de terugroepactie van het model
recall	number	Vertegenwoordigt de F1-score van het model
trueNegativeCount	integer	Vertegenwoordigt het aantal true negative
truePositiveCount	integer	Vertegenwoordigt het aantal terecht-positieven

ConversationalAnalysisAuthoringIntentsEvaluationSummary

Vertegenwoordigt de evaluatiesamenvatting voor de intenties van het project.

Name	Type	Description
confusionMatrix	object	Vertegenwoordigt de verwarringsmatrix tussen twee intenties (de twee intenties kunnen hetzelfde zijn). De matrix bevindt zich tussen de intentie die is gelabeld en de intentie die is voorspeld.
intents	<string, ConversationalAnalysisAuthoringIntentEvaluationSummary>	Vertegenwoordigt het evaluatieoverzicht van intenties.
macroF1	number	Vertegenwoordigt de macro F1
macroPrecision	number	Vertegenwoordigt de macroprecisie
macroRecall	number	Vertegenwoordigt het terughalen van macro's
microF1	number	Vertegenwoordigt de micro-F1
microPrecision	number	Vertegenwoordigt de microprecisie
microRecall	number	Vertegenwoordigt de micro-terugroepactie

Error

Het foutobject.

Name	Type	Description
code	ErrorCode	Een van een door de server gedefinieerde set foutcodes.
details	Error[]	Een matrix met details over specifieke fouten die tot deze gerapporteerde fout hebben geleid.
innererror	InnerErrorModel	Een object met specifiekere informatie dan het huidige object over de fout.
message	string	Een door mensen leesbare weergave van de fout.
target	string	Het doel van de fout.

ErrorCode

Door mensen leesbare foutcode.

Name	Type	Description
AzureCognitiveSearchIndexLimitReached	string
AzureCognitiveSearchIndexNotFound	string
AzureCognitiveSearchNotFound	string
AzureCognitiveSearchThrottling	string
Conflict	string
Forbidden	string
InternalServerError	string
InvalidArgument	string
InvalidRequest	string
NotFound	string
OperationNotFound	string
ProjectNotFound	string
QuotaExceeded	string
ServiceUnavailable	string
Timeout	string
TooManyRequests	string
Unauthorized	string
Warning	string

ErrorResponse

Foutreactie.

Name	Type	Description
error	Error	Het foutobject.

EvaluationKind

Vertegenwoordigt het type evaluatie. Het type evaluatie is standaard ingesteld op percentage.

Name	Type	Description
manual	string	Splits de gegevens op basis van de gekozen gegevensset voor elk voorbeeld in de gegevens.
percentage	string	Splits de gegevens in trainings- en testsets op basis van door de gebruiker gedefinieerde percentages.

InnerErrorCode