Text Analysis Authoring - Get Model Evaluation Summary

Riferimento

Servizio:: Azure AI Services

Versione API:: 2023-04-01

Ottiene il riepilogo della valutazione di un modello sottoposto a training. Il riepilogo include misurazioni elevate delle prestazioni del modello, ad esempio F1, Precisione, Richiamo e così via.

GET {Endpoint}/language/authoring/analyze-text/projects/{projectName}/models/{trainedModelLabel}/evaluation/summary-result?api-version=2023-04-01

Parametri dell'URI

Nome	In	Necessario	Tipo	Descrizione
Endpoint	path	True	string	Endpoint servizi cognitivi supportati (ad esempio, https://.api.cognitiveservices.azure.com).
projectName	path	True	string	Nome del progetto da usare.
trainedModelLabel	path	True	string	Etichetta del modello con training.
api-version	query	True	string	Versione API client.

Risposte

Nome	Tipo	Descrizione
200 OK	TextAnalysisAuthoringEvaluationSummary: TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary	Elenco di tutti i risultati della valutazione.
Other Status Codes	ErrorResponse	Risposta di errore.

Sicurezza

AADToken

Si tratta dei flussi OAuth2 di Azure Active Directory . Quando è associato al controllo degli accessi in base al ruolo di Azure, può essere usato per controllare l'accesso alle API REST Mappe di Azure. I controlli di accesso basati sul ruolo di Azure vengono usati per designare l'accesso a uno o più Mappe di Azure account delle risorse o alle sotto-risorse. Qualsiasi utente, gruppo o entità servizio può essere concesso l'accesso tramite un ruolo predefinito o un ruolo personalizzato composto da una o più autorizzazioni per Mappe di Azure API REST.

Per implementare scenari, è consigliabile visualizzare i concetti di autenticazione. In riepilogo, questa definizione di sicurezza offre una soluzione per la modellazione di applicazioni tramite oggetti in grado di controllare l'accesso in API e ambiti specifici.

Note

Questa definizione di sicurezza richiede l'uso dell'intestazione x-ms-client-id per indicare quale Mappe di Azure risorsa a cui l'applicazione richiede l'accesso. Questa operazione può essere acquisita dall'API di gestione mappe.

L'oggetto Authorization URL è specifico dell'istanza del cloud pubblico di Azure. I cloud sovrani dispongono di URL di autorizzazione univoci e configurazioni di Azure Active Directory. * Il controllo degli accessi in base al ruolo di Azure viene configurato dal piano di gestione di Azure tramite portale di Azure, PowerShell, interfaccia della riga di comando, SDK di Azure o API REST. * L'utilizzo dell'SDK Web Mappe di Azure consente la configurazione basata sulla configurazione di un'applicazione per più casi d'uso.

Attualmente, Azure Active Directory v1.0 o v2.0 supporta Work, School e Guest, ma non supporta gli account Personali.

Tipo: oauth2
Flow: implicit
URL di autorizzazione: https://login.microsoftonline.com/common/oauth2/authorize

Ambiti

Nome	Descrizione
https://cognitiveservices.azure.com/.default	https://cognitiveservices.azure.com/.default

Ocp-Apim-Subscription-Key

Chiave di sottoscrizione per una risorsa del servizio lingua.

Tipo: apiKey
In: header

Esempio

Successful Get Model Evaluation Summary

Esempio di richiesta

HTTP

GET {Endpoint}/language/authoring/analyze-text/projects/LoanAgreements/models/model2/evaluation/summary-result?api-version=2023-04-01

Risposta di esempio

Codice di stato:: 200

{
  "projectKind": "CustomEntityRecognition",
  "customEntityRecognitionEvaluation": {
    "confusionMatrix": {
      "BorrowerAddress": {
        "BorrowerAddress": {
          "normalizedValue": 86.206894,
          "rawValue": 3.4482758
        },
        "$none": {
          "normalizedValue": 13.793103,
          "rawValue": 0.55172414
        }
      },
      "BorrowerCity": {
        "BorrowerCity": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "BorrowerName": {
        "BorrowerName": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "BorrowerState": {
        "BorrowerState": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Date": {
        "Date": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Interest": {
        "Interest": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderAddress": {
        "LenderAddress": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderCity": {
        "LenderCity": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderName": {
        "LenderName": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderState": {
        "LenderState": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LoanAmountNumbers": {
        "LoanAmountNumbers": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LoanAmountWords": {
        "LoanAmountWords": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "$none": {
        "$none": {
          "normalizedValue": 99.81485,
          "rawValue": 51.90372
        },
        "BorrowerAddress": {
          "normalizedValue": 0.18315019,
          "rawValue": 0.0952381
        },
        "Interest": {
          "normalizedValue": 0.002005294,
          "rawValue": 0.0010427529
        }
      }
    },
    "entities": {
      "Date": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerAddress": {
        "f1": 0.6666666865348816,
        "precision": 0.6000000238418579,
        "recall": 0.75,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 2,
        "falseNegativeCount": 1
      },
      "BorrowerCity": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerState": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderAddress": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderCity": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderState": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LoanAmountWords": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LoanAmountNumbers": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Interest": {
        "f1": 0.75,
        "precision": 0.75,
        "recall": 0.75,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 1
      }
    },
    "microF1": 0.94845366,
    "microPrecision": 0.93877554,
    "microRecall": 0.9583333,
    "macroF1": 0.9513889,
    "macroPrecision": 0.9458334,
    "macroRecall": 0.9583333
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 80,
    "testingSplitPercentage": 20
  }
}

Definizioni

Nome	Descrizione
Error	Oggetto error.
ErrorCode	Codice di errore leggibile.
ErrorResponse	Risposta di errore.
EvaluationKind	Rappresenta il tipo di valutazione. Per impostazione predefinita, il tipo di valutazione è impostato su percentage.
InnerErrorCode	Codice di errore leggibile dall'utente.
InnerErrorModel	Oggetto contenente informazioni più specifiche sull'errore. In base alle linee guida dell'API Microsoft One - https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.
ProjectKind	Tipo di progetto.
TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary	Rappresenta il riepilogo della valutazione per un progetto di riconoscimento di entità personalizzato.
TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary	Rappresenta il riepilogo della valutazione per un progetto di classificazione con più etichette personalizzato.
TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary	Rappresenta il riepilogo della valutazione per un progetto di classificazione con etichetta singola personalizzato.
TextAnalysisAuthoringEntityEvaluationSummary	Rappresenta il riepilogo della valutazione per un'entità.
TextAnalysisAuthoringEntityRecognitionEvaluationSummary	Rappresenta il riepilogo della valutazione per un progetto di riconoscimento di entità personalizzato.
TextAnalysisAuthoringEvaluationOptions	Rappresenta le opzioni utilizzate per l'esecuzione della valutazione.
TextAnalysisAuthoringMultiLabelClassEvaluationSummary	Rappresenta il riepilogo della valutazione di una classe in un progetto di classificazione con più etichette.
TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary	Rappresenta il riepilogo della valutazione per un progetto di classificazione con più etichette.
TextAnalysisAuthoringSingleLabelClassEvaluationSummary	Rappresenta il riepilogo della valutazione per una classe in un progetto di classificazione con etichetta singola.
TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary	Rappresenta il riepilogo della valutazione per un progetto di classificazione con etichetta singola personalizzato.

Error

Oggetto error.

Nome	Tipo	Descrizione
code	ErrorCode	Uno dei set definiti dal server di codici di errore.
details	Error[]	Matrice di dettagli sugli errori specifici che hanno causato questo errore segnalato.
innererror	InnerErrorModel	Oggetto contenente informazioni più specifiche dell'oggetto corrente sull'errore.
message	string	Rappresentazione leggibile dell'errore.
target	string	Destinazione dell'errore.

ErrorCode

Codice di errore leggibile.

Nome	Tipo	Descrizione
AzureCognitiveSearchIndexLimitReached	string
AzureCognitiveSearchIndexNotFound	string
AzureCognitiveSearchNotFound	string
AzureCognitiveSearchThrottling	string
Conflict	string
Forbidden	string
InternalServerError	string
InvalidArgument	string
InvalidRequest	string
NotFound	string
OperationNotFound	string
ProjectNotFound	string
QuotaExceeded	string
ServiceUnavailable	string
Timeout	string
TooManyRequests	string
Unauthorized	string
Warning	string

ErrorResponse

Risposta di errore.

Nome	Tipo	Descrizione
error	Error	Oggetto error.

EvaluationKind

Rappresenta il tipo di valutazione. Per impostazione predefinita, il tipo di valutazione è impostato su percentage.

Nome	Tipo	Descrizione
manual	string	Suddividere i dati in base al set di dati scelto per ogni esempio nei dati.
percentage	string	Suddividere i dati in set di training e test in base alle percentuali definite dall'utente.

InnerErrorCode

Codice di errore leggibile dall'utente.

Nome	Tipo	Descrizione
AzureCognitiveSearchNotFound	string
AzureCognitiveSearchThrottling	string
EmptyRequest	string
ExtractionFailure	string
InvalidCountryHint	string
InvalidDocument	string
InvalidDocumentBatch	string
InvalidParameterValue	string
InvalidRequest	string
InvalidRequestBodyFormat	string
KnowledgeBaseNotFound	string
MissingInputDocuments	string
ModelVersionIncorrect	string
UnsupportedLanguageCode	string

InnerErrorModel

Oggetto contenente informazioni più specifiche sull'errore. In base alle linee guida dell'API Microsoft One - https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.

Nome	Tipo	Descrizione
code	InnerErrorCode	Uno dei set definiti dal server di codici di errore.
details	object	Dettagli errore.
innererror	InnerErrorModel	Oggetto contenente informazioni più specifiche dell'oggetto corrente sull'errore.
message	string	Messaggio di errore.
target	string	Destinazione degli errori.

ProjectKind

Tipo di progetto.

Nome	Tipo	Descrizione
CustomEntityRecognition	string	Per creare un modello di estrazione per identificare le categorie di dominio usando i propri dati.
CustomMultiLabelClassification	string	Per la compilazione di un modello di classificazione per classificare il testo usando i propri dati. Ogni file può avere una o più etichette. Ad esempio, il file 1 viene classificato come A, B e C e il file 2 viene classificato come B e C.
CustomSingleLabelClassification	string	Per la compilazione di un modello di classificazione per classificare il testo usando i propri dati. Ogni file avrà una sola etichetta. Ad esempio, il file 1 viene classificato come A e il file 2 viene classificato come B.

TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary

Rappresenta il riepilogo della valutazione per un progetto di riconoscimento di entità personalizzato.

Nome	Tipo	Descrizione
customEntityRecognitionEvaluation	TextAnalysisAuthoringEntityRecognitionEvaluationSummary	Contiene i dati correlati alla valutazione dell'estrazione.
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	Rappresenta le opzioni utilizzate per l'esecuzione della valutazione.
projectKind	string: CustomEntityRecognition	Rappresenta il tipo di progetto su cui è stata eseguita la valutazione.

TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary

Rappresenta il riepilogo della valutazione per un progetto di classificazione con più etichette personalizzato.

Nome	Tipo	Descrizione
customMultiLabelClassificationEvaluation	TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary	Contiene i dati correlati alla valutazione della classificazione con più etichette.
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	Rappresenta le opzioni utilizzate per l'esecuzione della valutazione.
projectKind	string: CustomMultiLabelClassification	Rappresenta il tipo di progetto su cui è stata eseguita la valutazione.

TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary

Rappresenta il riepilogo della valutazione per un progetto di classificazione con etichetta singola personalizzato.

Nome	Tipo	Descrizione
customSingleLabelClassificationEvaluation	TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary	Contiene i dati correlati alla valutazione della classificazione a etichetta singola.
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	Rappresenta le opzioni utilizzate per l'esecuzione della valutazione.
projectKind	string: CustomSingleLabelClassification	Rappresenta il tipo di progetto su cui è stata eseguita la valutazione.

TextAnalysisAuthoringEntityEvaluationSummary

Rappresenta il riepilogo della valutazione per un'entità.

Nome	Tipo	Descrizione
f1	number	Rappresenta la precisione del modello
falseNegativeCount	integer	Rappresenta il conteggio dei falsi negativi
falsePositiveCount	integer	Rappresenta il conteggio dei falsi positivi
precision	number	Rappresenta il richiamo del modello
recall	number	Rappresenta il punteggio F1 del modello
trueNegativeCount	integer	Rappresenta il conteggio di veri negativi
truePositiveCount	integer	Rappresenta il conteggio dei veri positivi

TextAnalysisAuthoringEntityRecognitionEvaluationSummary