Text Analysis Authoring - Get Model Evaluation Summary

Referencia

Szolgáltatás:: Azure AI Services

API-verzió:: 2023-04-01

Lekéri egy betanított modell kiértékelési összegzését. Az összefoglalás a modell magas szintű teljesítményméréseit tartalmazza, például F1, Pontosság, Visszahívás stb.

GET {Endpoint}/language/authoring/analyze-text/projects/{projectName}/models/{trainedModelLabel}/evaluation/summary-result?api-version=2023-04-01

URI-paraméterek

Name	In	Kötelező	Típus	Description
Endpoint	path	True	string	Támogatott Cognitive Services-végpont (pl. https://.api.cognitiveservices.azure.com).
projectName	path	True	string	A használni kívánt projekt neve.
trainedModelLabel	path	True	string	A betanított modell címkéje.
api-version	query	True	string	Ügyfél API-verziója.

Válaszok

Name	Típus	Description
200 OK	TextAnalysisAuthoringEvaluationSummary: TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary	Az összes kiértékelési eredmény listája.
Other Status Codes	ErrorResponse	Hibaválasz.

Biztonság

AADToken

Ezek az Azure Active Directory OAuth2-folyamatok . Az Azure-beli szerepköralapú hozzáférés-vezérléssel párosítva szabályozható a Azure Maps REST API-khoz való hozzáférés. Az Azure szerepköralapú hozzáférés-vezérlői egy vagy több Azure Maps erőforrásfiókhoz vagy alerőforrásokhoz való hozzáférés kijelölésére szolgálnak. Bármely felhasználó, csoport vagy szolgáltatásnév hozzáférést kaphat egy beépített szerepkörrel vagy egy vagy több, a REST API-khoz Azure Maps engedélyekkel rendelkező egyéni szerepkörrel.

A forgatókönyvek implementálásához javasoljuk, hogy tekintse meg a hitelesítési fogalmakat. Összefoglalva, ez a biztonsági definíció megoldást nyújt az alkalmazások modellezésére olyan objektumokon keresztül, amelyek hozzáférés-vezérlésre képesek adott API-kon és hatókörökön.

Jegyzetek

Ez a biztonsági definíció a fejléc használatával x-ms-client-id jelzi, hogy az alkalmazás melyik Azure Maps erőforráshoz kér hozzáférést. Ez a Térképek felügyeleti API-ból szerezhető be.

Ez Authorization URL az Azure nyilvános felhőpéldányára jellemző. A szuverén felhők egyedi engedélyezési URL-címekkel és Azure Active Directory-konfigurációkkal rendelkeznek. * Az Azure szerepköralapú hozzáférés-vezérlés az Azure felügyeleti síkjáról van konfigurálva Azure Portal, PowerShell, CLI, Azure SDK-k vagy REST API-k használatával. * A Azure Maps Web SDK használata lehetővé teszi egy alkalmazás konfigurációalapú beállítását több használati esetben.

Jelenleg az Azure Active Directory 1.0-s vagy 2.0-s verziója támogatja a Munkahelyi, iskolai és vendégfelhasználói verziót, de nem támogatja a személyes fiókokat.

Típus: oauth2
Folyamat: implicit
Engedélyezési URL: https://login.microsoftonline.com/common/oauth2/authorize

Hatókörök

Name	Description
https://cognitiveservices.azure.com/.default	https://cognitiveservices.azure.com/.default

Ocp-Apim-Subscription-Key

Egy language service-erőforrás előfizetési kulcsa.

Típus: apiKey
In: header

Példák

Successful Get Model Evaluation Summary

Mintakérelem

HTTP

GET {Endpoint}/language/authoring/analyze-text/projects/LoanAgreements/models/model2/evaluation/summary-result?api-version=2023-04-01

Mintaválasz

Állapotkód:: 200

{
  "projectKind": "CustomEntityRecognition",
  "customEntityRecognitionEvaluation": {
    "confusionMatrix": {
      "BorrowerAddress": {
        "BorrowerAddress": {
          "normalizedValue": 86.206894,
          "rawValue": 3.4482758
        },
        "$none": {
          "normalizedValue": 13.793103,
          "rawValue": 0.55172414
        }
      },
      "BorrowerCity": {
        "BorrowerCity": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "BorrowerName": {
        "BorrowerName": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "BorrowerState": {
        "BorrowerState": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Date": {
        "Date": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Interest": {
        "Interest": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderAddress": {
        "LenderAddress": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderCity": {
        "LenderCity": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderName": {
        "LenderName": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderState": {
        "LenderState": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LoanAmountNumbers": {
        "LoanAmountNumbers": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LoanAmountWords": {
        "LoanAmountWords": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "$none": {
        "$none": {
          "normalizedValue": 99.81485,
          "rawValue": 51.90372
        },
        "BorrowerAddress": {
          "normalizedValue": 0.18315019,
          "rawValue": 0.0952381
        },
        "Interest": {
          "normalizedValue": 0.002005294,
          "rawValue": 0.0010427529
        }
      }
    },
    "entities": {
      "Date": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerAddress": {
        "f1": 0.6666666865348816,
        "precision": 0.6000000238418579,
        "recall": 0.75,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 2,
        "falseNegativeCount": 1
      },
      "BorrowerCity": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerState": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderAddress": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderCity": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderState": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LoanAmountWords": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LoanAmountNumbers": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Interest": {
        "f1": 0.75,
        "precision": 0.75,
        "recall": 0.75,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 1
      }
    },
    "microF1": 0.94845366,
    "microPrecision": 0.93877554,
    "microRecall": 0.9583333,
    "macroF1": 0.9513889,
    "macroPrecision": 0.9458334,
    "macroRecall": 0.9583333
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 80,
    "testingSplitPercentage": 20
  }
}

Definíciók

Name	Description
Error	A hibaobjektum.
ErrorCode	Emberi olvasásra alkalmas hibakód.
ErrorResponse	Hibaválasz.
EvaluationKind	A kiértékelési típust jelöli. Alapértelmezés szerint a kiértékelési típus százalékos értékre van állítva.
InnerErrorCode	Emberi olvasásra alkalmas hibakód.
InnerErrorModel	Egy objektum, amely pontosabb információkat tartalmaz a hibáról. A Microsoft One API irányelveinek megfelelően : https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.
ProjectKind	A projekt típusa.
TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary	Egy egyéni entitásfelismerő projekt kiértékelési összegzését jelöli.
TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary	Egyéni többcímke-besorolási projekt kiértékelési összegzését jelöli.
TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary	Egy egyéni egycímke-besorolási projekt kiértékelési összegzését jelöli.
TextAnalysisAuthoringEntityEvaluationSummary	Egy entitás kiértékelési összegzését jelöli.
TextAnalysisAuthoringEntityRecognitionEvaluationSummary	Egy egyéni entitásfelismerő projekt kiértékelési összegzését jelöli.
TextAnalysisAuthoringEvaluationOptions	A kiértékelés futtatásához használt beállításokat jelöli.
TextAnalysisAuthoringMultiLabelClassEvaluationSummary	Egy osztály kiértékelési összegzését jelöli egy többcímkés besorolási projektben.
TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary	Egy többcímkés besorolási projekt kiértékelési összegzését jelöli.
TextAnalysisAuthoringSingleLabelClassEvaluationSummary	Egy egycímkés besorolási projekt osztályának kiértékelési összegzését jelöli.
TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary	Egy egyéni egycímke-besorolási projekt kiértékelési összegzését jelöli.

Error

A hibaobjektum.

Name	Típus	Description
code	ErrorCode	A kiszolgáló által definiált hibakódok egyike.
details	Error[]	A jelentett hibához vezető konkrét hibák részleteinek tömbje.
innererror	InnerErrorModel	Egy objektum, amely az aktuális objektumnál pontosabb információt tartalmaz a hibáról.
message	string	A hiba emberi olvasásra alkalmas ábrázolása.
target	string	A hiba célja.

ErrorCode

Emberi olvasásra alkalmas hibakód.

Name	Típus	Description
AzureCognitiveSearchIndexLimitReached	string
AzureCognitiveSearchIndexNotFound	string
AzureCognitiveSearchNotFound	string
AzureCognitiveSearchThrottling	string
Conflict	string
Forbidden	string
InternalServerError	string
InvalidArgument	string
InvalidRequest	string
NotFound	string
OperationNotFound	string
ProjectNotFound	string
QuotaExceeded	string
ServiceUnavailable	string
Timeout	string
TooManyRequests	string
Unauthorized	string
Warning	string

ErrorResponse

Hibaválasz.

Name	Típus	Description
error	Error	A hibaobjektum.

EvaluationKind

A kiértékelési típust jelöli. Alapértelmezés szerint a kiértékelési típus százalékos értékre van állítva.

Name	Típus	Description
manual	string	Ossza fel az adatokat a kiválasztott adatkészlet szerint az adatok minden példájához.
percentage	string	Ossza fel az adatokat betanítási és tesztelési készletekre a felhasználó által meghatározott százalékos értékek szerint.

InnerErrorCode

Emberi olvasásra alkalmas hibakód.

Name	Típus	Description
AzureCognitiveSearchNotFound	string
AzureCognitiveSearchThrottling	string
EmptyRequest	string
ExtractionFailure	string
InvalidCountryHint	string
InvalidDocument	string
InvalidDocumentBatch	string
InvalidParameterValue	string
InvalidRequest	string
InvalidRequestBodyFormat	string
KnowledgeBaseNotFound	string
MissingInputDocuments	string
ModelVersionIncorrect	string
UnsupportedLanguageCode	string

InnerErrorModel

Egy objektum, amely pontosabb információkat tartalmaz a hibáról. A Microsoft One API irányelveinek megfelelően : https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.

Name	Típus	Description
code	InnerErrorCode	A kiszolgáló által definiált hibakódok egyike.
details	object	Hiba részletei.
innererror	InnerErrorModel	Egy objektum, amely az aktuális objektumnál pontosabb információt tartalmaz a hibáról.
message	string	Hibaüzenet.
target	string	Hibacél.

ProjectKind

A projekt típusa.

Name	Típus	Description
CustomEntityRecognition	string	Kinyerési modell létrehozásához a tartománykategóriák saját adatokkal történő azonosításához.
CustomMultiLabelClassification	string	Besorolási modell létrehozásához a szöveg saját adatokkal történő besorolásához. Minden fájl egy vagy több címkét tartalmazhat. Az 1. fájl például A, B és C, a 2. fájl pedig B és C besorolású.
CustomSingleLabelClassification	string	Besorolási modell létrehozásához a szöveg saját adatokkal történő besorolásához. Minden fájlnak csak egy címkéje lesz. Az 1. fájl például A, a 2. fájl pedig B.

TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary

Egy egyéni entitásfelismerő projekt kiértékelési összegzését jelöli.

Name	Típus	Description
customEntityRecognitionEvaluation	TextAnalysisAuthoringEntityRecognitionEvaluationSummary	A kinyerési kiértékeléssel kapcsolatos adatokat tartalmazza.
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	A kiértékelés futtatásához használt beállításokat jelöli.
projectKind	string: CustomEntityRecognition	Azt a projekttípust jelöli, amelyen a kiértékelés futott.

TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary

Egyéni többcímke-besorolási projekt kiértékelési összegzését jelöli.

Name	Típus	Description
customMultiLabelClassificationEvaluation	TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary	A többcímke-besorolás kiértékeléséhez kapcsolódó adatokat tartalmazza.
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	A kiértékelés futtatásához használt beállításokat jelöli.
projectKind	string: CustomMultiLabelClassification	Azt a projekttípust jelöli, amelyen a kiértékelés futott.

TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary

Egy egyéni egycímke-besorolási projekt kiértékelési összegzését jelöli.

Name	Típus	Description
customSingleLabelClassificationEvaluation	TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary	Az egycímkés besorolás kiértékeléséhez kapcsolódó adatokat tartalmazza.
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	A kiértékelés futtatásához használt beállításokat jelöli.
projectKind	string: CustomSingleLabelClassification	Azt a projekttípust jelöli, amelyen a kiértékelés futott.

TextAnalysisAuthoringEntityEvaluationSummary

Egy entitás kiértékelési összegzését jelöli.

Name	Típus	Description
f1	number	A modell pontosságát jelöli
falseNegativeCount	integer	A hamis negatívok számát jelöli
falsePositiveCount	integer	A hamis pozitívok számát jelöli
precision	number	A modell visszahívását jelöli
recall	number	A modell F1 pontszámát jelöli
trueNegativeCount	integer	A valódi negatívok számát jelöli
truePositiveCount	integer	A valódi pozitívok számát jelöli

TextAnalysisAuthoringEntityRecognitionEvaluationSummary