Text Analysis Authoring - Get Model Evaluation Summary
Ottiene il riepilogo della valutazione di un modello sottoposto a training. Il riepilogo include misurazioni elevate delle prestazioni del modello, ad esempio F1, Precisione, Richiamo e così via.
GET {Endpoint}/language/authoring/analyze-text/projects/{projectName}/models/{trainedModelLabel}/evaluation/summary-result?api-version=2023-04-01
Parametri dell'URI
Nome | In | Necessario | Tipo | Descrizione |
---|---|---|---|---|
Endpoint
|
path | True |
string |
Endpoint servizi cognitivi supportati (ad esempio, https://.api.cognitiveservices.azure.com). |
project
|
path | True |
string |
Nome del progetto da usare. |
trained
|
path | True |
string |
Etichetta del modello con training. |
api-version
|
query | True |
string |
Versione API client. |
Risposte
Nome | Tipo | Descrizione |
---|---|---|
200 OK | TextAnalysisAuthoringEvaluationSummary: |
Elenco di tutti i risultati della valutazione. |
Other Status Codes |
Risposta di errore. |
Sicurezza
AADToken
Si tratta dei flussi OAuth2 di Azure Active Directory . Quando è associato al controllo degli accessi in base al ruolo di Azure, può essere usato per controllare l'accesso alle API REST Mappe di Azure. I controlli di accesso basati sul ruolo di Azure vengono usati per designare l'accesso a uno o più Mappe di Azure account delle risorse o alle sotto-risorse. Qualsiasi utente, gruppo o entità servizio può essere concesso l'accesso tramite un ruolo predefinito o un ruolo personalizzato composto da una o più autorizzazioni per Mappe di Azure API REST.
Per implementare scenari, è consigliabile visualizzare i concetti di autenticazione. In riepilogo, questa definizione di sicurezza offre una soluzione per la modellazione di applicazioni tramite oggetti in grado di controllare l'accesso in API e ambiti specifici.
Note
- Questa definizione di sicurezza richiede l'uso dell'intestazione
x-ms-client-id
per indicare quale Mappe di Azure risorsa a cui l'applicazione richiede l'accesso. Questa operazione può essere acquisita dall'API di gestione mappe.
L'oggetto Authorization URL
è specifico dell'istanza del cloud pubblico di Azure. I cloud sovrani dispongono di URL di autorizzazione univoci e configurazioni di Azure Active Directory.
* Il controllo degli accessi in base al ruolo di Azure viene configurato dal piano di gestione di Azure tramite portale di Azure, PowerShell, interfaccia della riga di comando, SDK di Azure o API REST.
* L'utilizzo dell'SDK Web Mappe di Azure consente la configurazione basata sulla configurazione di un'applicazione per più casi d'uso.
- Attualmente, Azure Active Directory v1.0 o v2.0 supporta Work, School e Guest, ma non supporta gli account Personali.
Tipo:
oauth2
Flow:
implicit
URL di autorizzazione:
https://login.microsoftonline.com/common/oauth2/authorize
Ambiti
Nome | Descrizione |
---|---|
https://cognitiveservices.azure.com/.default | https://cognitiveservices.azure.com/.default |
Ocp-Apim-Subscription-Key
Chiave di sottoscrizione per una risorsa del servizio lingua.
Tipo:
apiKey
In:
header
Esempio
Successful Get Model Evaluation Summary
Esempio di richiesta
GET {Endpoint}/language/authoring/analyze-text/projects/LoanAgreements/models/model2/evaluation/summary-result?api-version=2023-04-01
Risposta di esempio
{
"projectKind": "CustomEntityRecognition",
"customEntityRecognitionEvaluation": {
"confusionMatrix": {
"BorrowerAddress": {
"BorrowerAddress": {
"normalizedValue": 86.206894,
"rawValue": 3.4482758
},
"$none": {
"normalizedValue": 13.793103,
"rawValue": 0.55172414
}
},
"BorrowerCity": {
"BorrowerCity": {
"normalizedValue": 100,
"rawValue": 4
}
},
"BorrowerName": {
"BorrowerName": {
"normalizedValue": 100,
"rawValue": 4
}
},
"BorrowerState": {
"BorrowerState": {
"normalizedValue": 100,
"rawValue": 4
}
},
"Date": {
"Date": {
"normalizedValue": 100,
"rawValue": 4
}
},
"Interest": {
"Interest": {
"normalizedValue": 100,
"rawValue": 4
}
},
"LenderAddress": {
"LenderAddress": {
"normalizedValue": 100,
"rawValue": 4
}
},
"LenderCity": {
"LenderCity": {
"normalizedValue": 100,
"rawValue": 4
}
},
"LenderName": {
"LenderName": {
"normalizedValue": 100,
"rawValue": 4
}
},
"LenderState": {
"LenderState": {
"normalizedValue": 100,
"rawValue": 4
}
},
"LoanAmountNumbers": {
"LoanAmountNumbers": {
"normalizedValue": 100,
"rawValue": 4
}
},
"LoanAmountWords": {
"LoanAmountWords": {
"normalizedValue": 100,
"rawValue": 4
}
},
"$none": {
"$none": {
"normalizedValue": 99.81485,
"rawValue": 51.90372
},
"BorrowerAddress": {
"normalizedValue": 0.18315019,
"rawValue": 0.0952381
},
"Interest": {
"normalizedValue": 0.002005294,
"rawValue": 0.0010427529
}
}
},
"entities": {
"Date": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 4,
"trueNegativeCount": 0,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"BorrowerName": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 4,
"trueNegativeCount": 0,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"BorrowerAddress": {
"f1": 0.6666666865348816,
"precision": 0.6000000238418579,
"recall": 0.75,
"truePositiveCount": 3,
"trueNegativeCount": 0,
"falsePositiveCount": 2,
"falseNegativeCount": 1
},
"BorrowerCity": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 4,
"trueNegativeCount": 0,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"BorrowerState": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 4,
"trueNegativeCount": 0,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"LenderName": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 4,
"trueNegativeCount": 0,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"LenderAddress": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 4,
"trueNegativeCount": 0,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"LenderCity": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 4,
"trueNegativeCount": 0,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"LenderState": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 4,
"trueNegativeCount": 0,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"LoanAmountWords": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 4,
"trueNegativeCount": 0,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"LoanAmountNumbers": {
"f1": 1,
"precision": 1,
"recall": 1,
"truePositiveCount": 4,
"trueNegativeCount": 0,
"falsePositiveCount": 0,
"falseNegativeCount": 0
},
"Interest": {
"f1": 0.75,
"precision": 0.75,
"recall": 0.75,
"truePositiveCount": 3,
"trueNegativeCount": 0,
"falsePositiveCount": 1,
"falseNegativeCount": 1
}
},
"microF1": 0.94845366,
"microPrecision": 0.93877554,
"microRecall": 0.9583333,
"macroF1": 0.9513889,
"macroPrecision": 0.9458334,
"macroRecall": 0.9583333
},
"evaluationOptions": {
"kind": "percentage",
"trainingSplitPercentage": 80,
"testingSplitPercentage": 20
}
}
Definizioni
Nome | Descrizione |
---|---|
Error |
Oggetto error. |
Error |
Codice di errore leggibile. |
Error |
Risposta di errore. |
Evaluation |
Rappresenta il tipo di valutazione. Per impostazione predefinita, il tipo di valutazione è impostato su percentage. |
Inner |
Codice di errore leggibile dall'utente. |
Inner |
Oggetto contenente informazioni più specifiche sull'errore. In base alle linee guida dell'API Microsoft One - https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses. |
Project |
Tipo di progetto. |
Text |
Rappresenta il riepilogo della valutazione per un progetto di riconoscimento di entità personalizzato. |
Text |
Rappresenta il riepilogo della valutazione per un progetto di classificazione con più etichette personalizzato. |
Text |
Rappresenta il riepilogo della valutazione per un progetto di classificazione con etichetta singola personalizzato. |
Text |
Rappresenta il riepilogo della valutazione per un'entità. |
Text |
Rappresenta il riepilogo della valutazione per un progetto di riconoscimento di entità personalizzato. |
Text |
Rappresenta le opzioni utilizzate per l'esecuzione della valutazione. |
Text |
Rappresenta il riepilogo della valutazione di una classe in un progetto di classificazione con più etichette. |
Text |
Rappresenta il riepilogo della valutazione per un progetto di classificazione con più etichette. |
Text |
Rappresenta il riepilogo della valutazione per una classe in un progetto di classificazione con etichetta singola. |
Text |
Rappresenta il riepilogo della valutazione per un progetto di classificazione con etichetta singola personalizzato. |
Error
Oggetto error.
Nome | Tipo | Descrizione |
---|---|---|
code |
Uno dei set definiti dal server di codici di errore. |
|
details |
Error[] |
Matrice di dettagli sugli errori specifici che hanno causato questo errore segnalato. |
innererror |
Oggetto contenente informazioni più specifiche dell'oggetto corrente sull'errore. |
|
message |
string |
Rappresentazione leggibile dell'errore. |
target |
string |
Destinazione dell'errore. |
ErrorCode
Codice di errore leggibile.
Nome | Tipo | Descrizione |
---|---|---|
AzureCognitiveSearchIndexLimitReached |
string |
|
AzureCognitiveSearchIndexNotFound |
string |
|
AzureCognitiveSearchNotFound |
string |
|
AzureCognitiveSearchThrottling |
string |
|
Conflict |
string |
|
Forbidden |
string |
|
InternalServerError |
string |
|
InvalidArgument |
string |
|
InvalidRequest |
string |
|
NotFound |
string |
|
OperationNotFound |
string |
|
ProjectNotFound |
string |
|
QuotaExceeded |
string |
|
ServiceUnavailable |
string |
|
Timeout |
string |
|
TooManyRequests |
string |
|
Unauthorized |
string |
|
Warning |
string |
ErrorResponse
Risposta di errore.
Nome | Tipo | Descrizione |
---|---|---|
error |
Oggetto error. |
EvaluationKind
Rappresenta il tipo di valutazione. Per impostazione predefinita, il tipo di valutazione è impostato su percentage.
Nome | Tipo | Descrizione |
---|---|---|
manual |
string |
Suddividere i dati in base al set di dati scelto per ogni esempio nei dati. |
percentage |
string |
Suddividere i dati in set di training e test in base alle percentuali definite dall'utente. |
InnerErrorCode
Codice di errore leggibile dall'utente.
Nome | Tipo | Descrizione |
---|---|---|
AzureCognitiveSearchNotFound |
string |
|
AzureCognitiveSearchThrottling |
string |
|
EmptyRequest |
string |
|
ExtractionFailure |
string |
|
InvalidCountryHint |
string |
|
InvalidDocument |
string |
|
InvalidDocumentBatch |
string |
|
InvalidParameterValue |
string |
|
InvalidRequest |
string |
|
InvalidRequestBodyFormat |
string |
|
KnowledgeBaseNotFound |
string |
|
MissingInputDocuments |
string |
|
ModelVersionIncorrect |
string |
|
UnsupportedLanguageCode |
string |
InnerErrorModel
Oggetto contenente informazioni più specifiche sull'errore. In base alle linee guida dell'API Microsoft One - https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.
Nome | Tipo | Descrizione |
---|---|---|
code |
Uno dei set definiti dal server di codici di errore. |
|
details |
object |
Dettagli errore. |
innererror |
Oggetto contenente informazioni più specifiche dell'oggetto corrente sull'errore. |
|
message |
string |
Messaggio di errore. |
target |
string |
Destinazione degli errori. |
ProjectKind
Tipo di progetto.
Nome | Tipo | Descrizione |
---|---|---|
CustomEntityRecognition |
string |
Per creare un modello di estrazione per identificare le categorie di dominio usando i propri dati. |
CustomMultiLabelClassification |
string |
Per la compilazione di un modello di classificazione per classificare il testo usando i propri dati. Ogni file può avere una o più etichette. Ad esempio, il file 1 viene classificato come A, B e C e il file 2 viene classificato come B e C. |
CustomSingleLabelClassification |
string |
Per la compilazione di un modello di classificazione per classificare il testo usando i propri dati. Ogni file avrà una sola etichetta. Ad esempio, il file 1 viene classificato come A e il file 2 viene classificato come B. |
TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary
Rappresenta il riepilogo della valutazione per un progetto di riconoscimento di entità personalizzato.
Nome | Tipo | Descrizione |
---|---|---|
customEntityRecognitionEvaluation |
Contiene i dati correlati alla valutazione dell'estrazione. |
|
evaluationOptions |
Rappresenta le opzioni utilizzate per l'esecuzione della valutazione. |
|
projectKind |
string:
Custom |
Rappresenta il tipo di progetto su cui è stata eseguita la valutazione. |
TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary
Rappresenta il riepilogo della valutazione per un progetto di classificazione con più etichette personalizzato.
Nome | Tipo | Descrizione |
---|---|---|
customMultiLabelClassificationEvaluation |
Text |
Contiene i dati correlati alla valutazione della classificazione con più etichette. |
evaluationOptions |
Rappresenta le opzioni utilizzate per l'esecuzione della valutazione. |
|
projectKind |
string:
Custom |
Rappresenta il tipo di progetto su cui è stata eseguita la valutazione. |
TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary
Rappresenta il riepilogo della valutazione per un progetto di classificazione con etichetta singola personalizzato.
Nome | Tipo | Descrizione |
---|---|---|
customSingleLabelClassificationEvaluation |
Text |
Contiene i dati correlati alla valutazione della classificazione a etichetta singola. |
evaluationOptions |
Rappresenta le opzioni utilizzate per l'esecuzione della valutazione. |
|
projectKind |
string:
Custom |
Rappresenta il tipo di progetto su cui è stata eseguita la valutazione. |
TextAnalysisAuthoringEntityEvaluationSummary
Rappresenta il riepilogo della valutazione per un'entità.
Nome | Tipo | Descrizione |
---|---|---|
f1 |
number |
Rappresenta la precisione del modello |
falseNegativeCount |
integer |
Rappresenta il conteggio dei falsi negativi |
falsePositiveCount |
integer |
Rappresenta il conteggio dei falsi positivi |
precision |
number |
Rappresenta il richiamo del modello |
recall |
number |
Rappresenta il punteggio F1 del modello |
trueNegativeCount |
integer |
Rappresenta il conteggio di veri negativi |
truePositiveCount |
integer |
Rappresenta il conteggio dei veri positivi |
TextAnalysisAuthoringEntityRecognitionEvaluationSummary
Rappresenta il riepilogo della valutazione per un progetto di riconoscimento di entità personalizzato.
Nome | Tipo | Descrizione |
---|---|---|
confusionMatrix |
object |
Rappresenta la matrice di confusione tra due entità (le due entità possono essere uguali). La matrice è tra l'entità etichettata e l'entità stimata. |
entities |
Rappresenta la valutazione delle entità |
|
macroF1 |
number |
Rappresenta la macro F1 |
macroPrecision |
number |
Rappresenta la precisione della macro |
macroRecall |
number |
Rappresenta il richiamo della macro |
microF1 |
number |
Rappresenta il micro F1 |
microPrecision |
number |
Rappresenta la micro precisione |
microRecall |
number |
Rappresenta il micro richiamo |
TextAnalysisAuthoringEvaluationOptions
Rappresenta le opzioni utilizzate per l'esecuzione della valutazione.
Nome | Tipo | Descrizione |
---|---|---|
kind |
Rappresenta il tipo di valutazione. Per impostazione predefinita, il tipo di valutazione è impostato su percentage. |
|
testingSplitPercentage |
integer |
Rappresenta la percentuale di divisione del set di dati di test. È necessario solo nel caso in cui il tipo di valutazione sia percentuale. |
trainingSplitPercentage |
integer |
Rappresenta la percentuale di divisione del set di dati di training. È necessario solo nel caso in cui il tipo di valutazione sia percentuale. |
TextAnalysisAuthoringMultiLabelClassEvaluationSummary
Rappresenta il riepilogo della valutazione di una classe in un progetto di classificazione con più etichette.
Nome | Tipo | Descrizione |
---|---|---|
f1 |
number |
Rappresenta la precisione del modello |
falseNegativeCount |
integer |
Rappresenta il conteggio dei falsi negativi |
falsePositiveCount |
integer |
Rappresenta il conteggio dei falsi positivi |
precision |
number |
Rappresenta il richiamo del modello |
recall |
number |
Rappresenta il punteggio F1 del modello |
trueNegativeCount |
integer |
Rappresenta il conteggio di veri negativi |
truePositiveCount |
integer |
Rappresenta il conteggio dei veri positivi |
TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary
Rappresenta il riepilogo della valutazione per un progetto di classificazione con più etichette.
Nome | Tipo | Descrizione |
---|---|---|
classes |
<string,
Text |
Rappresenta la valutazione delle classi |
macroF1 |
number |
Rappresenta la macro F1 |
macroPrecision |
number |
Rappresenta la precisione della macro |
macroRecall |
number |
Rappresenta il richiamo della macro |
microF1 |
number |
Rappresenta il micro F1 |
microPrecision |
number |
Rappresenta la micro precisione |
microRecall |
number |
Rappresenta il micro richiamo |
TextAnalysisAuthoringSingleLabelClassEvaluationSummary
Rappresenta il riepilogo della valutazione per una classe in un progetto di classificazione con etichetta singola.
Nome | Tipo | Descrizione |
---|---|---|
f1 |
number |
Rappresenta la precisione del modello |
falseNegativeCount |
integer |
Rappresenta il conteggio dei falsi negativi |
falsePositiveCount |
integer |
Rappresenta il conteggio dei falsi positivi |
precision |
number |
Rappresenta il richiamo del modello |
recall |
number |
Rappresenta il punteggio F1 del modello |
trueNegativeCount |
integer |
Rappresenta il conteggio di veri negativi |
truePositiveCount |
integer |
Rappresenta il conteggio dei veri positivi |
TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary
Rappresenta il riepilogo della valutazione per un progetto di classificazione con etichetta singola personalizzato.
Nome | Tipo | Descrizione |
---|---|---|
classes |
<string,
Text |
Rappresenta la valutazione delle classi |
confusionMatrix |
object |
Rappresenta la matrice di confusione tra due classi (le due classi possono essere uguali). La matrice è tra la classe etichettata e la classe stimata. |
macroF1 |
number |
Rappresenta la macro F1 |
macroPrecision |
number |
Rappresenta la precisione della macro |
macroRecall |
number |
Rappresenta il richiamo della macro |
microF1 |
number |
Rappresenta il micro F1 |
microPrecision |
number |
Rappresenta la micro precisione |
microRecall |
number |
Rappresenta il micro richiamo |