Text Analysis Authoring - Get Model Evaluation Summary

Referencia

Szolgáltatás:: Azure AI Services

API-verzió:: 2022-05-01

Lekéri egy betanított modell kiértékelési összegzését. Az összegzés tartalmazza a modell magas szintű teljesítményméréseit, például F1, Pontosság, Visszahívás stb.

GET {Endpoint}/language/authoring/analyze-text/projects/{projectName}/models/{trainedModelLabel}/evaluation/summary-result?api-version=2022-05-01

URI-paraméterek

Name	In	Kötelező	Típus	Description
Endpoint	path	True	string	Támogatott Cognitive Services-végpont (például https://.api.cognitiveservices.azure.com).
projectName	path	True	string maxLength: 100	A használni kívánt projekt neve.
trainedModelLabel	path	True	string	A betanított modell címkéje.
api-version	query	True	string	Ügyfél API-verziója.

Kérelem fejléce

Name	Kötelező	Típus	Description
Ocp-Apim-Subscription-Key	True	string	Egy language service-erőforrás előfizetési kulcsa.

Válaszok

Name	Típus	Description
200 OK	TextAnalysisAuthoringEvaluationSummary: TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary	Az összes kiértékelési eredmény listája.
Other Status Codes	ErrorResponse	Hibaválasz.

Biztonság

Ocp-Apim-Subscription-Key

Egy language service-erőforrás előfizetési kulcsa.

Típus: apiKey
In: header

Példák

Successful Get Model Evaluation Summary

Mintakérelem

HTTP

GET {Endpoint}/language/authoring/analyze-text/projects/LoanAgreements/models/model2/evaluation/summary-result?api-version=2022-05-01

Mintaválasz

Állapotkód:: 200

{
  "projectKind": "CustomEntityRecognition",
  "customEntityRecognitionEvaluation": {
    "confusionMatrix": {
      "BorrowerAddress": {
        "BorrowerAddress": {
          "normalizedValue": 86.206894,
          "rawValue": 3.4482758
        },
        "$none": {
          "normalizedValue": 13.793103,
          "rawValue": 0.55172414
        }
      },
      "BorrowerCity": {
        "BorrowerCity": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "BorrowerName": {
        "BorrowerName": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "BorrowerState": {
        "BorrowerState": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Date": {
        "Date": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Interest": {
        "Interest": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderAddress": {
        "LenderAddress": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderCity": {
        "LenderCity": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderName": {
        "LenderName": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderState": {
        "LenderState": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LoanAmountNumbers": {
        "LoanAmountNumbers": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LoanAmountWords": {
        "LoanAmountWords": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "$none": {
        "$none": {
          "normalizedValue": 99.81485,
          "rawValue": 51.90372
        },
        "BorrowerAddress": {
          "normalizedValue": 0.18315019,
          "rawValue": 0.0952381
        },
        "Interest": {
          "normalizedValue": 0.002005294,
          "rawValue": 0.0010427529
        }
      }
    },
    "entities": {
      "Date": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerAddress": {
        "f1": 0.6666666865348816,
        "precision": 0.6000000238418579,
        "recall": 0.75,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 2,
        "falseNegativeCount": 1
      },
      "BorrowerCity": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerState": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderAddress": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderCity": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderState": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LoanAmountWords": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LoanAmountNumbers": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Interest": {
        "f1": 0.75,
        "precision": 0.75,
        "recall": 0.75,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 1
      }
    },
    "microF1": 0.94845366,
    "microPrecision": 0.93877554,
    "microRecall": 0.9583333,
    "macroF1": 0.9513889,
    "macroPrecision": 0.9458334,
    "macroRecall": 0.9583333
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 80,
    "testingSplitPercentage": 20
  }
}

Definíciók

Name	Description
Error	A hibaobjektum.
ErrorCode	Ember által olvasható hibakód.
ErrorResponse	Hibaválasz.
EvaluationKind	A kiértékelési típust jelöli. Alapértelmezés szerint a kiértékelési típus százalékos értékre van állítva.
InnerErrorCode	Ember által olvasható hibakód.
InnerErrorModel	Egy objektum, amely részletesebb információkat tartalmaz a hibáról. A Microsoft One API irányelvei szerint – https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.
ProjectKind	A projekt típusa.
TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary	Egyéni entitásfelismerő projekt kiértékelési összegzését jelöli.
TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary	Egy egyéni többcímkés besorolási projekt kiértékelési összegzését jelöli.
TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary	Egy egyéni egycímkés besorolási projekt kiértékelési összegzését jelöli.
TextAnalysisAuthoringEntityEvaluationSummary	Egy entitás kiértékelési összegzését jelöli.
TextAnalysisAuthoringEntityRecognitionEvaluationSummary	Egyéni entitásfelismerő projekt kiértékelési összegzését jelöli.
TextAnalysisAuthoringEvaluationOptions	A kiértékelés futtatásához használt beállításokat jelöli.
TextAnalysisAuthoringMultiLabelClassEvaluationSummary	Egy osztály kiértékelési összegzését jelöli egy többcímkés besorolási projektben.
TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary	Egy többcímkés besorolási projekt kiértékelési összegzését jelöli.
TextAnalysisAuthoringSingleLabelClassEvaluationSummary	Egy egycímkés besorolási projekt osztályainak kiértékelési összegzését jelöli.
TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary	Egy egyéni egycímkés besorolási projekt kiértékelési összegzését jelöli.

Error

Objektum

A hibaobjektum.

Name	Típus	Description
code	ErrorCode	A kiszolgáló által definiált hibakódok egyike.
details	Error[]	A jelentett hibához vezető konkrét hibák részleteinek tömbje.
innererror	InnerErrorModel	Egy objektum, amely az aktuális objektumnál pontosabb információt tartalmaz a hibáról.
message	string	A hiba ember által olvasható ábrázolása.
target	string	A hiba célja.

ErrorCode

Enumerálás

Ember által olvasható hibakód.

Érték	Description
AzureCognitiveSearchIndexLimitReached
AzureCognitiveSearchIndexNotFound
AzureCognitiveSearchNotFound
AzureCognitiveSearchThrottling
Conflict
Forbidden
InternalServerError
InvalidArgument
InvalidRequest
NotFound
OperationNotFound
ProjectNotFound
QuotaExceeded
ServiceUnavailable
Timeout
TooManyRequests
Unauthorized
Warning

ErrorResponse

Objektum

Hibaválasz.

Name	Típus	Description
error	Error	A hibaobjektum.

EvaluationKind

Enumerálás

A kiértékelési típust jelöli. Alapértelmezés szerint a kiértékelési típus százalékos értékre van állítva.

Érték	Description
manual	Ossza fel az adatokat a választott adatkészlet szerint az adatok minden példájához.
percentage	Ossza fel az adatokat betanítási és tesztelési csoportokra a felhasználó által meghatározott százalékok szerint.

InnerErrorCode

Enumerálás

Ember által olvasható hibakód.

Érték	Description
AzureCognitiveSearchNotFound
AzureCognitiveSearchThrottling
EmptyRequest
ExtractionFailure
InvalidCountryHint
InvalidDocument
InvalidDocumentBatch
InvalidParameterValue
InvalidRequest
InvalidRequestBodyFormat
KnowledgeBaseNotFound
MissingInputDocuments
ModelVersionIncorrect
UnsupportedLanguageCode

InnerErrorModel

Objektum

Egy objektum, amely részletesebb információkat tartalmaz a hibáról. A Microsoft One API irányelvei szerint – https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.

Name	Típus	Description
code	InnerErrorCode	A kiszolgáló által definiált hibakódok egyike.
details	object	Hiba részletei.
innererror	InnerErrorModel	Egy objektum, amely az aktuális objektumnál pontosabb információt tartalmaz a hibáról.
message	string	Hibaüzenet.
target	string	Hibacél.

ProjectKind

Enumerálás

A projekt típusa.

Érték	Description
CustomEntityRecognition	Kinyerési modell létrehozásához a saját adataival azonosíthatja a tartománykategóriákat.
CustomMultiLabelClassification	Besorolási modell létrehozása a szöveg saját adatokkal történő besorolásához. Minden fájl egy vagy több címkét tartalmazhat. Az 1. fájl például A, B és C, a 2. fájl pedig B és C besorolású.
CustomSingleLabelClassification	Besorolási modell létrehozása a szöveg saját adatokkal történő besorolásához. Minden fájlnak csak egy címkéje lesz. Az 1. fájl például A, a 2. fájl pedig B besorolású.

TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary

Objektum

Egyéni entitásfelismerő projekt kiértékelési összegzését jelöli.

Name	Típus	Description
customEntityRecognitionEvaluation	TextAnalysisAuthoringEntityRecognitionEvaluationSummary	A kinyerési kiértékeléssel kapcsolatos adatokat tartalmazza.
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	A kiértékelés futtatásához használt beállításokat jelöli.
projectKind	string: CustomEntityRecognition	Azt a projekttípust jelöli, amelyen a kiértékelés futott.

TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary

Objektum

Egy egyéni többcímkés besorolási projekt kiértékelési összegzését jelöli.

Name	Típus	Description
customMultiLabelClassificationEvaluation	TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary	A többcímke-besorolás kiértékeléséhez kapcsolódó adatokat tartalmazza.
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	A kiértékelés futtatásához használt beállításokat jelöli.
projectKind	string: CustomMultiLabelClassification	Azt a projekttípust jelöli, amelyen a kiértékelés futott.

TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary

Objektum

Egy egyéni egycímkés besorolási projekt kiértékelési összegzését jelöli.

Name	Típus	Description
customSingleLabelClassificationEvaluation	TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary	Az egycímkés besorolás kiértékeléséhez kapcsolódó adatokat tartalmazza.
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	A kiértékelés futtatásához használt beállításokat jelöli.
projectKind	string: CustomSingleLabelClassification	Azt a projekttípust jelöli, amelyen a kiértékelés futott.

TextAnalysisAuthoringEntityEvaluationSummary

Objektum

Egy entitás kiértékelési összegzését jelöli.

Name	Típus	Description
f1	number (double)	A modell pontosságát jelöli
falseNegativeCount	integer (int32)	A hamis negatívok számát jelöli
falsePositiveCount	integer (int32)	A hamis pozitív értékek számát jelöli
precision	number (double)	A modell visszahívását jelöli
recall	number (double)	A modell F1 pontszámát jelöli
trueNegativeCount	integer (int32)	A valódi negatívok számát jelöli
truePositiveCount	integer (int32)	A valódi pozitív értékek számát jelöli

TextAnalysisAuthoringEntityRecognitionEvaluationSummary

Objektum

Egyéni entitásfelismerő projekt kiértékelési összegzését jelöli.

Name	Típus	Description
confusionMatrix	object	Két entitás közötti keveredési mátrixot jelöli (a két entitás lehet ugyanaz). A mátrix a címkézett entitás és az előrejelzett entitás között van.
entities	<string, TextAnalysisAuthoringEntityEvaluationSummary>	Az entitások kiértékelését jelöli
macroF1	number (float)	Az F1 makrót jelöli
macroPrecision	number (float)	A makró pontosságát jelöli
macroRecall	number (float)	A makróvisszahívást jelöli
microF1	number (float)	A mikro F1-et jelöli
microPrecision	number (float)	A mikro pontosságot jelöli
microRecall	number (float)	A mikrovisszahívást jelöli

TextAnalysisAuthoringEvaluationOptions

Objektum

A kiértékelés futtatásához használt beállításokat jelöli.

Name	Típus	Description
kind	EvaluationKind	A kiértékelési típust jelöli. Alapértelmezés szerint a kiértékelési típus százalékos értékre van állítva.
testingSplitPercentage	integer (int32)	A tesztelési adathalmaz felosztási százalékos arányát jelöli. Csak akkor van szükség, ha a kiértékelési típus százalékos.
trainingSplitPercentage	integer (int32)	A betanítási adathalmaz felosztási százalékos arányát jelöli. Csak akkor van szükség, ha a kiértékelési típus százalékos.

TextAnalysisAuthoringMultiLabelClassEvaluationSummary

Objektum

Egy osztály kiértékelési összegzését jelöli egy többcímkés besorolási projektben.

Name	Típus	Description
f1	number (double)	A modell pontosságát jelöli
falseNegativeCount	integer (int32)	A hamis negatívok számát jelöli
falsePositiveCount	integer (int32)	A hamis pozitív értékek számát jelöli
precision	number (double)	A modell visszahívását jelöli
recall	number (double)	A modell F1 pontszámát jelöli
trueNegativeCount	integer (int32)	A valódi negatívok számát jelöli
truePositiveCount	integer (int32)	A valódi pozitív értékek számát jelöli

TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary

Objektum

Egy többcímkés besorolási projekt kiértékelési összegzését jelöli.

Name	Típus	Description
classes	<string, TextAnalysisAuthoringMultiLabelClassEvaluationSummary>	Az osztályok kiértékelését jelöli
macroF1	number (float)	Az F1 makrót jelöli
macroPrecision	number (float)	A makró pontosságát jelöli
macroRecall	number (float)	A makróvisszahívást jelöli
microF1	number (float)	A mikro F1-et jelöli
microPrecision	number (float)	A mikro pontosságot jelöli
microRecall	number (float)	A mikrovisszahívást jelöli

TextAnalysisAuthoringSingleLabelClassEvaluationSummary

Objektum

Egy egycímkés besorolási projekt osztályainak kiértékelési összegzését jelöli.

Name	Típus	Description
f1	number (double)	A modell pontosságát jelöli
falseNegativeCount	integer (int32)	A hamis negatívok számát jelöli
falsePositiveCount	integer (int32)	A hamis pozitív értékek számát jelöli
precision	number (double)	A modell visszahívását jelöli
recall	number (double)	A modell F1 pontszámát jelöli
trueNegativeCount	integer (int32)	A valódi negatívok számát jelöli
truePositiveCount	integer (int32)	A valódi pozitív értékek számát jelöli

TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary

Objektum

Egy egyéni egycímkés besorolási projekt kiértékelési összegzését jelöli.

Name	Típus	Description
classes	<string, TextAnalysisAuthoringSingleLabelClassEvaluationSummary>	Az osztályok kiértékelését jelöli
confusionMatrix	object	Két osztály közötti keveredési mátrixot jelöli (a két osztály lehet ugyanaz). A mátrix a címkézett osztály és az előrejelzett osztály között van.
macroF1	number (float)	Az F1 makrót jelöli
macroPrecision	number (float)	A makró pontosságát jelöli
macroRecall	number (float)	A makróvisszahívást jelöli
microF1	number (float)	A mikro F1-et jelöli
microPrecision	number (float)	A mikro pontosságot jelöli
microRecall	number (float)	A mikrovisszahívást jelöli

Megosztás a következőn keresztül:

Text Analysis Authoring - Get Model Evaluation Summary

URI-paraméterek

Kérelem fejléce

Válaszok

Biztonság

Ocp-Apim-Subscription-Key

Példák

Successful Get Model Evaluation Summary

Mintakérelem

Mintaválasz

Definíciók

Error

ErrorCode

ErrorResponse

EvaluationKind

InnerErrorCode

InnerErrorModel

ProjectKind

TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary

TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary

TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary

TextAnalysisAuthoringEntityEvaluationSummary

TextAnalysisAuthoringEntityRecognitionEvaluationSummary

TextAnalysisAuthoringEvaluationOptions

TextAnalysisAuthoringMultiLabelClassEvaluationSummary

TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary

TextAnalysisAuthoringSingleLabelClassEvaluationSummary

TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary