Text Analysis Authoring - Get Model Evaluation Summary

Referentie

Service:: Azure AI Services

API-versie:: 2023-04-01

Hiermee haalt u de evaluatiesamenvatting van een getraind model op. De samenvatting bevat prestatiemetingen op hoog niveau van het model, bijvoorbeeld F1, Precisie, Recall, enzovoort.

GET {Endpoint}/language/authoring/analyze-text/projects/{projectName}/models/{trainedModelLabel}/evaluation/summary-result?api-version=2023-04-01

URI-parameters

Name	In	Vereist	Type	Description
Endpoint	path	True	string	Ondersteund Cognitive Services-eindpunt (bijvoorbeeld https://.api.cognitiveservices.azure.com).
projectName	path	True	string	De naam van het project dat moet worden gebruikt.
trainedModelLabel	path	True	string	Het label van het getrainde model.
api-version	query	True	string	Client-API-versie.

Antwoorden

Name	Type	Description
200 OK	TextAnalysisAuthoringEvaluationSummary: TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary	Lijst met alle evaluatieresultaten.
Other Status Codes	ErrorResponse	Foutreactie.

Beveiliging

AADToken

Dit zijn de Azure Active Directory OAuth2-stromen . Wanneer het is gekoppeld aan op rollen gebaseerd toegangsbeheer van Azure, kan het worden gebruikt om de toegang tot Azure Maps REST API's te beheren. Op rollen gebaseerd toegangsbeheer van Azure wordt gebruikt om toegang tot een of meer Azure Maps resourceaccount of subresources aan te wijzen. Elke gebruiker, groep of service-principal kan toegang krijgen via een ingebouwde rol of een aangepaste rol die bestaat uit een of meer machtigingen voor Azure Maps REST API's.

Voor het implementeren van scenario's raden we u aan verificatieconcepten te bekijken. Samengevat biedt deze beveiligingsdefinitie een oplossing voor het modelleren van toepassingen via objecten die toegangsbeheer kunnen hebben voor specifieke API's en bereiken.

Notities

Voor deze beveiligingsdefinitie is het gebruik van de x-ms-client-id header vereist om aan te geven tot welke Azure Maps resource de toepassing toegang aanvraagt. Dit kan worden verkregen via de Kaarten-beheer-API.

De Authorization URL is specifiek voor het azure-exemplaar van de openbare cloud. Onafhankelijke clouds hebben unieke autorisatie-URL's en Azure Active Directory-configuraties. * Op rollen gebaseerd toegangsbeheer van Azure wordt geconfigureerd vanuit het Azure-beheervlak via Azure Portal, PowerShell, CLI, Azure SDK's of REST API's. * Gebruik van de Azure Maps Web SDK maakt configuratie van een toepassing mogelijk voor meerdere gebruiksvoorbeelden.

Momenteel ondersteunt Azure Active Directory v1.0 of v2.0 werk, school en gasten, maar geen persoonlijke accounts.

Type: oauth2
Stroom: implicit
Autorisatie-URL: https://login.microsoftonline.com/common/oauth2/authorize

Bereiken

Name	Description
https://cognitiveservices.azure.com/.default	https://cognitiveservices.azure.com/.default

Ocp-Apim-Subscription-Key

Een abonnementssleutel voor een taalserviceresource.

Type: apiKey
In: header

Voorbeelden

Successful Get Model Evaluation Summary

Voorbeeldaanvraag

HTTP

GET {Endpoint}/language/authoring/analyze-text/projects/LoanAgreements/models/model2/evaluation/summary-result?api-version=2023-04-01

Voorbeeldrespons

Statuscode:: 200

{
  "projectKind": "CustomEntityRecognition",
  "customEntityRecognitionEvaluation": {
    "confusionMatrix": {
      "BorrowerAddress": {
        "BorrowerAddress": {
          "normalizedValue": 86.206894,
          "rawValue": 3.4482758
        },
        "$none": {
          "normalizedValue": 13.793103,
          "rawValue": 0.55172414
        }
      },
      "BorrowerCity": {
        "BorrowerCity": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "BorrowerName": {
        "BorrowerName": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "BorrowerState": {
        "BorrowerState": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Date": {
        "Date": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Interest": {
        "Interest": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderAddress": {
        "LenderAddress": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderCity": {
        "LenderCity": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderName": {
        "LenderName": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderState": {
        "LenderState": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LoanAmountNumbers": {
        "LoanAmountNumbers": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LoanAmountWords": {
        "LoanAmountWords": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "$none": {
        "$none": {
          "normalizedValue": 99.81485,
          "rawValue": 51.90372
        },
        "BorrowerAddress": {
          "normalizedValue": 0.18315019,
          "rawValue": 0.0952381
        },
        "Interest": {
          "normalizedValue": 0.002005294,
          "rawValue": 0.0010427529
        }
      }
    },
    "entities": {
      "Date": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerAddress": {
        "f1": 0.6666666865348816,
        "precision": 0.6000000238418579,
        "recall": 0.75,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 2,
        "falseNegativeCount": 1
      },
      "BorrowerCity": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerState": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderAddress": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderCity": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderState": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LoanAmountWords": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LoanAmountNumbers": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Interest": {
        "f1": 0.75,
        "precision": 0.75,
        "recall": 0.75,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 1
      }
    },
    "microF1": 0.94845366,
    "microPrecision": 0.93877554,
    "microRecall": 0.9583333,
    "macroF1": 0.9513889,
    "macroPrecision": 0.9458334,
    "macroRecall": 0.9583333
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 80,
    "testingSplitPercentage": 20
  }
}

Definities

Name	Description
Error	Het foutobject.
ErrorCode	Door mensen leesbare foutcode.
ErrorResponse	Foutreactie.
EvaluationKind	Vertegenwoordigt het type evaluatie. Het type evaluatie is standaard ingesteld op percentage.
InnerErrorCode	Door mensen leesbare foutcode.
InnerErrorModel	Een object met specifiekere informatie over de fout. Volgens de Richtlijnen voor Microsoft One API: https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.
ProjectKind	Het project soort.
TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary	Vertegenwoordigt de evaluatiesamenvatting voor een aangepast entiteitsherkenningsproject.
TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary	Vertegenwoordigt de evaluatiesamenvatting voor een aangepast classificatieproject met meerdere labels.
TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary	Vertegenwoordigt de evaluatiesamenvatting voor een aangepast classificatieproject met één label.
TextAnalysisAuthoringEntityEvaluationSummary	Vertegenwoordigt de evaluatiesamenvatting voor een entiteit.
TextAnalysisAuthoringEntityRecognitionEvaluationSummary	Vertegenwoordigt de evaluatiesamenvatting voor een aangepast entiteitsherkenningsproject.
TextAnalysisAuthoringEvaluationOptions	Vertegenwoordigt de opties die worden gebruikt om de evaluatie uit te voeren.
TextAnalysisAuthoringMultiLabelClassEvaluationSummary	Vertegenwoordigt de evaluatiesamenvatting van een klasse in een classificatieproject met meerdere labels.
TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary	Vertegenwoordigt de evaluatiesamenvatting voor een classificatieproject met meerdere labels.
TextAnalysisAuthoringSingleLabelClassEvaluationSummary	Vertegenwoordigt de evaluatiesamenvatting voor een klasse in een classificatieproject met één label.
TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary	Vertegenwoordigt de evaluatiesamenvatting voor een aangepast classificatieproject met één label.

Error

Het foutobject.

Name	Type	Description
code	ErrorCode	Een van een door de server gedefinieerde set foutcodes.
details	Error[]	Een matrix met details over specifieke fouten die tot deze gerapporteerde fout hebben geleid.
innererror	InnerErrorModel	Een object met specifiekere informatie dan het huidige object over de fout.
message	string	Een door mensen leesbare weergave van de fout.
target	string	Het doel van de fout.

ErrorCode

Door mensen leesbare foutcode.

Name	Type	Description
AzureCognitiveSearchIndexLimitReached	string
AzureCognitiveSearchIndexNotFound	string
AzureCognitiveSearchNotFound	string
AzureCognitiveSearchThrottling	string
Conflict	string
Forbidden	string
InternalServerError	string
InvalidArgument	string
InvalidRequest	string
NotFound	string
OperationNotFound	string
ProjectNotFound	string
QuotaExceeded	string
ServiceUnavailable	string
Timeout	string
TooManyRequests	string
Unauthorized	string
Warning	string

ErrorResponse

Foutreactie.

Name	Type	Description
error	Error	Het foutobject.

EvaluationKind

Vertegenwoordigt het type evaluatie. Het type evaluatie is standaard ingesteld op percentage.

Name	Type	Description
manual	string	Splits de gegevens op basis van de gekozen gegevensset voor elk voorbeeld in de gegevens.
percentage	string	Splits de gegevens in trainings- en testsets op basis van door de gebruiker gedefinieerde percentages.

InnerErrorCode

Door mensen leesbare foutcode.

Name	Type	Description
AzureCognitiveSearchNotFound	string
AzureCognitiveSearchThrottling	string
EmptyRequest	string
ExtractionFailure	string
InvalidCountryHint	string
InvalidDocument	string
InvalidDocumentBatch	string
InvalidParameterValue	string
InvalidRequest	string
InvalidRequestBodyFormat	string
KnowledgeBaseNotFound	string
MissingInputDocuments	string
ModelVersionIncorrect	string
UnsupportedLanguageCode	string

InnerErrorModel

Een object met specifiekere informatie over de fout. Volgens de Richtlijnen voor Microsoft One API: https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.

Name	Type	Description
code	InnerErrorCode	Een van een door de server gedefinieerde set foutcodes.
details	object	Foutdetails.
innererror	InnerErrorModel	Een object met specifiekere informatie dan het huidige object over de fout.
message	string	Foutbericht.
target	string	Foutdoel.

ProjectKind

Het project soort.

Name	Type	Description
CustomEntityRecognition	string	Voor het bouwen van een extractiemodel om uw domeincategorieën te identificeren met behulp van uw eigen gegevens.
CustomMultiLabelClassification	string	Voor het bouwen van een classificatiemodel om tekst te classificeren met behulp van uw eigen gegevens. Elk bestand kan een of meer labels hebben. Bestand 1 is bijvoorbeeld geclassificeerd als A, B en C en bestand 2 is geclassificeerd als B en C.
CustomSingleLabelClassification	string	Voor het bouwen van een classificatiemodel om tekst te classificeren met behulp van uw eigen gegevens. Elk bestand heeft slechts één label. Bestand 1 is bijvoorbeeld geclassificeerd als A en bestand 2 als B.

TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary

Vertegenwoordigt de evaluatiesamenvatting voor een aangepast entiteitsherkenningsproject.

Name	Type	Description
customEntityRecognitionEvaluation	TextAnalysisAuthoringEntityRecognitionEvaluationSummary	Bevat de gegevens met betrekking tot de extractie-evaluatie.
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	Vertegenwoordigt de opties die worden gebruikt om de evaluatie uit te voeren.
projectKind	string: CustomEntityRecognition	Vertegenwoordigt het projecttype waarop de evaluatie is uitgevoerd.

TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary

Vertegenwoordigt de evaluatiesamenvatting voor een aangepast classificatieproject met meerdere labels.

Name	Type	Description
customMultiLabelClassificationEvaluation	TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary	Bevat de gegevens met betrekking tot classificatie-evaluatie met meerdere labels.
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	Vertegenwoordigt de opties die worden gebruikt om de evaluatie uit te voeren.
projectKind	string: CustomMultiLabelClassification	Vertegenwoordigt het projecttype waarop de evaluatie is uitgevoerd.

TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary

Vertegenwoordigt de evaluatiesamenvatting voor een aangepast classificatieproject met één label.

Name	Type	Description
customSingleLabelClassificationEvaluation	TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary	Bevat de gegevens met betrekking tot de evaluatie van classificatie met één label.
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	Vertegenwoordigt de opties die worden gebruikt om de evaluatie uit te voeren.
projectKind	string: CustomSingleLabelClassification	Vertegenwoordigt het projecttype waarop de evaluatie is uitgevoerd.

TextAnalysisAuthoringEntityEvaluationSummary

Vertegenwoordigt de evaluatiesamenvatting voor een entiteit.

Name	Type	Description
f1	number	Vertegenwoordigt de modelprecisie
falseNegativeCount	integer	Vertegenwoordigt het aantal fout-negatieven
falsePositiveCount	integer	Vertegenwoordigt het aantal fout-positieven
precision	number	Vertegenwoordigt het terughalen van het model
recall	number	Vertegenwoordigt de F1-score van het model
trueNegativeCount	integer	Vertegenwoordigt het aantal terecht-negatieven
truePositiveCount	integer	Vertegenwoordigt het aantal terecht-positieven

TextAnalysisAuthoringEntityRecognitionEvaluationSummary