Text Analysis Authoring - Get Model Evaluation Summary

Referenz

Service:: Cognitive Services - Language

API Version:: 2023-04-01

Ruft die Auswertungszusammenfassung eines trainierten Modells ab. Die Zusammenfassung enthält Leistungsmessungen auf hoher Ebene des Modells, z. B. F1, Genauigkeit, Abruf usw.

GET {Endpoint}/language/authoring/analyze-text/projects/{projectName}/models/{trainedModelLabel}/evaluation/summary-result?api-version=2023-04-01

URI-Parameter

Name	In	Erforderlich	Typ	Beschreibung
Endpoint	path	True	string	Unterstützter Cognitive Services-Endpunkt (z. B. https://.api.cognitiveservices.azure.com).
projectName	path	True	string	Der Name des zu verwendenden Projekts.
trainedModelLabel	path	True	string	Die trainierte Modellbezeichnung.
api-version	query	True	string	Client-API-Version.

Antworten

Name	Typ	Beschreibung
200 OK	TextAnalysisAuthoringEvaluationSummary: TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary	Liste aller Auswertungsergebnisse.
Other Status Codes	ErrorResponse	Fehlerantwort.

Sicherheit

AADToken

Dies sind die Azure Active Directory OAuth2 Flows. Wenn sie mit der rollenbasierten Zugriffssteuerung in Azure gekoppelt ist, kann sie verwendet werden, um den Zugriff auf Azure Maps REST-APIs zu steuern. Rollenbasierte Zugriffssteuerungen in Azure werden verwendet, um den Zugriff auf ein oder mehrere Azure Maps Ressourcenkonto oder Unterressourcen festzulegen. Jedem Benutzer, jeder Gruppe oder jedem Dienstprinzipal kann Zugriff über eine integrierte Rolle oder eine benutzerdefinierte Rolle gewährt werden, die aus einer oder mehreren Berechtigungen für Azure Maps REST-APIs besteht.

Zum Implementieren von Szenarien empfiehlt es sich, Authentifizierungskonzepte anzuzeigen. Zusammenfassend bietet diese Sicherheitsdefinition eine Lösung zum Modellieren von Anwendungen über Objekte, die auf bestimmte APIs und Bereiche zugreifen können.

Hinweise

Diese Sicherheitsdefinition erfordert die Verwendung des x-ms-client-id Headers, um anzugeben, auf welche Azure Maps Ressource die Anwendung Zugriff anfordert. Dies kann über die Kartenverwaltungs-API abgerufen werden.

Der Authorization URL ist spezifisch für die öffentliche Azure-Cloud-instance. Sovereign Clouds verfügen über eindeutige Autorisierungs-URLs und Azure Active Directory-Konfigurationen. * Die rollenbasierte Zugriffssteuerung in Azure wird über die Azure-Verwaltungsebene über Azure-Portal, PowerShell, CLI, Azure SDKs oder REST-APIs konfiguriert. * Die Verwendung des Azure Maps Web SDK ermöglicht die konfigurationsbasierte Einrichtung einer Anwendung für mehrere Anwendungsfälle.

Derzeit unterstützt Azure Active Directory v1.0 oder v2.0 Work, School und Guests, aber keine persönlichen Konten.

Type: oauth2
Flow: implicit
Authorization URL: https://login.microsoftonline.com/common/oauth2/authorize

Scopes

Name	Beschreibung
https://cognitiveservices.azure.com/.default	https://cognitiveservices.azure.com/.default

Ocp-Apim-Subscription-Key

Ein Abonnementschlüssel für eine Sprachdienstressource.

Type: apiKey
In: header

Beispiele

Successful Get Model Evaluation Summary

Sample Request

HTTP

GET {Endpoint}/language/authoring/analyze-text/projects/LoanAgreements/models/model2/evaluation/summary-result?api-version=2023-04-01

Sample Response

Status code:: 200

{
  "projectKind": "CustomEntityRecognition",
  "customEntityRecognitionEvaluation": {
    "confusionMatrix": {
      "BorrowerAddress": {
        "BorrowerAddress": {
          "normalizedValue": 86.206894,
          "rawValue": 3.4482758
        },
        "$none": {
          "normalizedValue": 13.793103,
          "rawValue": 0.55172414
        }
      },
      "BorrowerCity": {
        "BorrowerCity": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "BorrowerName": {
        "BorrowerName": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "BorrowerState": {
        "BorrowerState": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Date": {
        "Date": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Interest": {
        "Interest": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderAddress": {
        "LenderAddress": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderCity": {
        "LenderCity": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderName": {
        "LenderName": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderState": {
        "LenderState": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LoanAmountNumbers": {
        "LoanAmountNumbers": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LoanAmountWords": {
        "LoanAmountWords": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "$none": {
        "$none": {
          "normalizedValue": 99.81485,
          "rawValue": 51.90372
        },
        "BorrowerAddress": {
          "normalizedValue": 0.18315019,
          "rawValue": 0.0952381
        },
        "Interest": {
          "normalizedValue": 0.002005294,
          "rawValue": 0.0010427529
        }
      }
    },
    "entities": {
      "Date": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerAddress": {
        "f1": 0.6666666865348816,
        "precision": 0.6000000238418579,
        "recall": 0.75,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 2,
        "falseNegativeCount": 1
      },
      "BorrowerCity": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerState": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderAddress": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderCity": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderState": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LoanAmountWords": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LoanAmountNumbers": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Interest": {
        "f1": 0.75,
        "precision": 0.75,
        "recall": 0.75,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 1
      }
    },
    "microF1": 0.94845366,
    "microPrecision": 0.93877554,
    "microRecall": 0.9583333,
    "macroF1": 0.9513889,
    "macroPrecision": 0.9458334,
    "macroRecall": 0.9583333
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 80,
    "testingSplitPercentage": 20
  }
}

Definitionen

Name	Beschreibung
Error	Das Fehlerobjekt.
ErrorCode	Für Menschen lesbarer Fehlercode.
ErrorResponse	Fehlerantwort.
EvaluationKind	Stellt die Auswertungsart dar. Standardmäßig ist die Auswertungsart auf Prozentsatz festgelegt.
InnerErrorCode	Für Menschen lesbarer Fehlercode.
InnerErrorModel	Ein Objekt, das spezifischere Informationen zum Fehler enthält. Gemäß den Microsoft One-API-Richtlinien: https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.
ProjectKind	Die Projektart.
TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary	Stellt die Auswertungszusammenfassung für ein projekt zur Erkennung benutzerdefinierter Entitäten dar.
TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary	Stellt die Auswertungszusammenfassung für ein benutzerdefiniertes Klassifizierungsprojekt mit mehreren Bezeichnungen dar.
TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary	Stellt die Auswertungszusammenfassung für ein benutzerdefiniertes Einbezeichnungsklassifizierungsprojekt dar.
TextAnalysisAuthoringEntityEvaluationSummary	Stellt die Auswertungszusammenfassung für eine Entität dar.
TextAnalysisAuthoringEntityRecognitionEvaluationSummary	Stellt die Auswertungszusammenfassung für ein projekt zur Erkennung benutzerdefinierter Entitäten dar.
TextAnalysisAuthoringEvaluationOptions	Stellt die Optionen dar, die beim Ausführen der Auswertung verwendet werden.
TextAnalysisAuthoringMultiLabelClassEvaluationSummary	Stellt die Auswertungszusammenfassung einer Klasse in einem Klassifizierungsprojekt mit mehreren Bezeichnungen dar.
TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary	Stellt die Auswertungszusammenfassung für ein Klassifizierungsprojekt mit mehreren Bezeichnungen dar.
TextAnalysisAuthoringSingleLabelClassEvaluationSummary	Stellt die Auswertungszusammenfassung für eine Klasse in einem Klassifizierungsprojekt mit einzeler Bezeichnung dar.
TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary	Stellt die Auswertungszusammenfassung für ein benutzerdefiniertes Einbezeichnungsklassifizierungsprojekt dar.

Error

Das Fehlerobjekt.

Name	Typ	Beschreibung
code	ErrorCode	Einer der vom Server definierten Fehlercodes.
details	Error[]	Ein Array von Details zu bestimmten Fehlern, die zu diesem gemeldeten Fehler geführt haben.
innererror	InnerErrorModel	Ein Objekt, das spezifischere Informationen enthält als das aktuelle Objekt über den Fehler.
message	string	Eine für Menschen lesbare Darstellung des Fehlers.
target	string	Das Ziel des Fehlers.

ErrorCode

Für Menschen lesbarer Fehlercode.

Name	Typ	Beschreibung
AzureCognitiveSearchIndexLimitReached	string
AzureCognitiveSearchIndexNotFound	string
AzureCognitiveSearchNotFound	string
AzureCognitiveSearchThrottling	string
Conflict	string
Forbidden	string
InternalServerError	string
InvalidArgument	string
InvalidRequest	string
NotFound	string
OperationNotFound	string
ProjectNotFound	string
QuotaExceeded	string
ServiceUnavailable	string
Timeout	string
TooManyRequests	string
Unauthorized	string
Warning	string

ErrorResponse

Fehlerantwort.

Name	Typ	Beschreibung
error	Error	Das Fehlerobjekt.

EvaluationKind

Stellt die Auswertungsart dar. Standardmäßig ist die Auswertungsart auf Prozentsatz festgelegt.

Name	Typ	Beschreibung
manual	string	Teilen Sie die Daten nach dem ausgewählten Dataset für jedes Beispiel in den Daten auf.
percentage	string	Teilen Sie die Daten nach benutzerdefinierten Prozentsätzen in Trainings- und Testsätze auf.

InnerErrorCode

Für Menschen lesbarer Fehlercode.

Name	Typ	Beschreibung
AzureCognitiveSearchNotFound	string
AzureCognitiveSearchThrottling	string
EmptyRequest	string
ExtractionFailure	string
InvalidCountryHint	string
InvalidDocument	string
InvalidDocumentBatch	string
InvalidParameterValue	string
InvalidRequest	string
InvalidRequestBodyFormat	string
KnowledgeBaseNotFound	string
MissingInputDocuments	string
ModelVersionIncorrect	string
UnsupportedLanguageCode	string

InnerErrorModel

Ein Objekt, das spezifischere Informationen zum Fehler enthält. Gemäß den Microsoft One-API-Richtlinien: https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.

Name	Typ	Beschreibung
code	InnerErrorCode	Einer der vom Server definierten Fehlercodes.
details	object	Fehlerdetails.
innererror	InnerErrorModel	Ein Objekt, das spezifischere Informationen enthält als das aktuelle Objekt über den Fehler.
message	string	Fehlermeldung.
target	string	Fehlerziel.

ProjectKind

Die Projektart.

Name	Typ	Beschreibung
CustomEntityRecognition	string	Zum Erstellen eines Extraktionsmodells zum Identifizieren Ihrer Domänenkategorien mithilfe Ihrer eigenen Daten.
CustomMultiLabelClassification	string	Zum Erstellen eines Klassifizierungsmodells zum Klassifizieren von Text mithilfe Ihrer eigenen Daten. Jede Datei kann eine oder mehrere Bezeichnungen aufweisen. Beispielsweise wird Datei 1 als A, B und C klassifiziert, und Datei 2 wird als B und C klassifiziert.
CustomSingleLabelClassification	string	Zum Erstellen eines Klassifizierungsmodells zum Klassifizieren von Text mithilfe Ihrer eigenen Daten. Jede Datei hat nur eine Bezeichnung. Beispielsweise wird Datei 1 als A und Datei 2 als B klassifiziert.

TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary

Stellt die Auswertungszusammenfassung für ein projekt zur Erkennung benutzerdefinierter Entitäten dar.

Name	Typ	Beschreibung
customEntityRecognitionEvaluation	TextAnalysisAuthoringEntityRecognitionEvaluationSummary	Enthält die Daten im Zusammenhang mit der Extraktionsauswertung.
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	Stellt die Optionen dar, die beim Ausführen der Auswertung verwendet werden.
projectKind	string: CustomEntityRecognition	Stellt den Projekttyp dar, für den die Auswertung ausgeführt wurde.

TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary

Stellt die Auswertungszusammenfassung für ein benutzerdefiniertes Klassifizierungsprojekt mit mehreren Bezeichnungen dar.

Name	Typ	Beschreibung
customMultiLabelClassificationEvaluation	TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary	Enthält die Daten im Zusammenhang mit der Auswertung der Klassifizierung mit mehreren Bezeichnungen.
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	Stellt die Optionen dar, die beim Ausführen der Auswertung verwendet werden.
projectKind	string: CustomMultiLabelClassification	Stellt den Projekttyp dar, für den die Auswertung ausgeführt wurde.

TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary

Stellt die Auswertungszusammenfassung für ein benutzerdefiniertes Einbezeichnungsklassifizierungsprojekt dar.

Name	Typ	Beschreibung
customSingleLabelClassificationEvaluation	TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary	Enthält die Daten im Zusammenhang mit der Klassifizierungsauswertung für einzelne Bezeichnungen.
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	Stellt die Optionen dar, die beim Ausführen der Auswertung verwendet werden.
projectKind	string: CustomSingleLabelClassification	Stellt den Projekttyp dar, für den die Auswertung ausgeführt wurde.

TextAnalysisAuthoringEntityEvaluationSummary

Stellt die Auswertungszusammenfassung für eine Entität dar.

Name	Typ	Beschreibung
f1	number	Stellt die Modellgenauigkeit dar.
falseNegativeCount	integer	Stellt die Anzahl falsch negativer Werte dar.
falsePositiveCount	integer	Stellt die Anzahl falsch positiver Werte dar.
precision	number	Stellt den Modellrückruf dar.
recall	number	Stellt die F1-Bewertung des Modells dar.
trueNegativeCount	integer	Stellt die Anzahl der tatsächlich negativen Werte dar.
truePositiveCount	integer	Stellt die Anzahl der tatsächlich positiven Werte dar.

TextAnalysisAuthoringEntityRecognitionEvaluationSummary