Megosztás a következőn keresztül:


Text Analysis Authoring - Get Model Evaluation Summary

Lekéri egy betanított modell kiértékelési összegzését. Az összefoglalás a modell magas szintű teljesítményméréseit tartalmazza, például F1, Pontosság, Visszahívás stb.

GET {Endpoint}/language/authoring/analyze-text/projects/{projectName}/models/{trainedModelLabel}/evaluation/summary-result?api-version=2023-04-01

URI-paraméterek

Name In Kötelező Típus Description
Endpoint
path True

string

Támogatott Cognitive Services-végpont (pl. https://.api.cognitiveservices.azure.com).

projectName
path True

string

A használni kívánt projekt neve.

trainedModelLabel
path True

string

A betanított modell címkéje.

api-version
query True

string

Ügyfél API-verziója.

Válaszok

Name Típus Description
200 OK TextAnalysisAuthoringEvaluationSummary:

Az összes kiértékelési eredmény listája.

Other Status Codes

ErrorResponse

Hibaválasz.

Biztonság

AADToken

Ezek az Azure Active Directory OAuth2-folyamatok . Az Azure-beli szerepköralapú hozzáférés-vezérléssel párosítva szabályozható a Azure Maps REST API-khoz való hozzáférés. Az Azure szerepköralapú hozzáférés-vezérlői egy vagy több Azure Maps erőforrásfiókhoz vagy alerőforrásokhoz való hozzáférés kijelölésére szolgálnak. Bármely felhasználó, csoport vagy szolgáltatásnév hozzáférést kaphat egy beépített szerepkörrel vagy egy vagy több, a REST API-khoz Azure Maps engedélyekkel rendelkező egyéni szerepkörrel.

A forgatókönyvek implementálásához javasoljuk, hogy tekintse meg a hitelesítési fogalmakat. Összefoglalva, ez a biztonsági definíció megoldást nyújt az alkalmazások modellezésére olyan objektumokon keresztül, amelyek hozzáférés-vezérlésre képesek adott API-kon és hatókörökön.

Jegyzetek

  • Ez a biztonsági definíció a fejléc használatával x-ms-client-id jelzi, hogy az alkalmazás melyik Azure Maps erőforráshoz kér hozzáférést. Ez a Térképek felügyeleti API-ból szerezhető be.

Ez Authorization URL az Azure nyilvános felhőpéldányára jellemző. A szuverén felhők egyedi engedélyezési URL-címekkel és Azure Active Directory-konfigurációkkal rendelkeznek. * Az Azure szerepköralapú hozzáférés-vezérlés az Azure felügyeleti síkjáról van konfigurálva Azure Portal, PowerShell, CLI, Azure SDK-k vagy REST API-k használatával. * A Azure Maps Web SDK használata lehetővé teszi egy alkalmazás konfigurációalapú beállítását több használati esetben.

  • Jelenleg az Azure Active Directory 1.0-s vagy 2.0-s verziója támogatja a Munkahelyi, iskolai és vendégfelhasználói verziót, de nem támogatja a személyes fiókokat.

Típus: oauth2
Folyamat: implicit
Engedélyezési URL: https://login.microsoftonline.com/common/oauth2/authorize

Hatókörök

Name Description
https://cognitiveservices.azure.com/.default https://cognitiveservices.azure.com/.default

Ocp-Apim-Subscription-Key

Egy language service-erőforrás előfizetési kulcsa.

Típus: apiKey
In: header

Példák

Successful Get Model Evaluation Summary

Mintakérelem

GET {Endpoint}/language/authoring/analyze-text/projects/LoanAgreements/models/model2/evaluation/summary-result?api-version=2023-04-01

Mintaválasz

{
  "projectKind": "CustomEntityRecognition",
  "customEntityRecognitionEvaluation": {
    "confusionMatrix": {
      "BorrowerAddress": {
        "BorrowerAddress": {
          "normalizedValue": 86.206894,
          "rawValue": 3.4482758
        },
        "$none": {
          "normalizedValue": 13.793103,
          "rawValue": 0.55172414
        }
      },
      "BorrowerCity": {
        "BorrowerCity": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "BorrowerName": {
        "BorrowerName": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "BorrowerState": {
        "BorrowerState": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Date": {
        "Date": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Interest": {
        "Interest": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderAddress": {
        "LenderAddress": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderCity": {
        "LenderCity": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderName": {
        "LenderName": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderState": {
        "LenderState": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LoanAmountNumbers": {
        "LoanAmountNumbers": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LoanAmountWords": {
        "LoanAmountWords": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "$none": {
        "$none": {
          "normalizedValue": 99.81485,
          "rawValue": 51.90372
        },
        "BorrowerAddress": {
          "normalizedValue": 0.18315019,
          "rawValue": 0.0952381
        },
        "Interest": {
          "normalizedValue": 0.002005294,
          "rawValue": 0.0010427529
        }
      }
    },
    "entities": {
      "Date": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerAddress": {
        "f1": 0.6666666865348816,
        "precision": 0.6000000238418579,
        "recall": 0.75,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 2,
        "falseNegativeCount": 1
      },
      "BorrowerCity": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerState": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderAddress": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderCity": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderState": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LoanAmountWords": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LoanAmountNumbers": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Interest": {
        "f1": 0.75,
        "precision": 0.75,
        "recall": 0.75,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 1
      }
    },
    "microF1": 0.94845366,
    "microPrecision": 0.93877554,
    "microRecall": 0.9583333,
    "macroF1": 0.9513889,
    "macroPrecision": 0.9458334,
    "macroRecall": 0.9583333
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 80,
    "testingSplitPercentage": 20
  }
}

Definíciók

Name Description
Error

A hibaobjektum.

ErrorCode

Emberi olvasásra alkalmas hibakód.

ErrorResponse

Hibaválasz.

EvaluationKind

A kiértékelési típust jelöli. Alapértelmezés szerint a kiértékelési típus százalékos értékre van állítva.

InnerErrorCode

Emberi olvasásra alkalmas hibakód.

InnerErrorModel

Egy objektum, amely pontosabb információkat tartalmaz a hibáról. A Microsoft One API irányelveinek megfelelően : https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.

ProjectKind

A projekt típusa.

TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary

Egy egyéni entitásfelismerő projekt kiértékelési összegzését jelöli.

TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary

Egyéni többcímke-besorolási projekt kiértékelési összegzését jelöli.

TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary

Egy egyéni egycímke-besorolási projekt kiértékelési összegzését jelöli.

TextAnalysisAuthoringEntityEvaluationSummary

Egy entitás kiértékelési összegzését jelöli.

TextAnalysisAuthoringEntityRecognitionEvaluationSummary

Egy egyéni entitásfelismerő projekt kiértékelési összegzését jelöli.

TextAnalysisAuthoringEvaluationOptions

A kiértékelés futtatásához használt beállításokat jelöli.

TextAnalysisAuthoringMultiLabelClassEvaluationSummary

Egy osztály kiértékelési összegzését jelöli egy többcímkés besorolási projektben.

TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary

Egy többcímkés besorolási projekt kiértékelési összegzését jelöli.

TextAnalysisAuthoringSingleLabelClassEvaluationSummary

Egy egycímkés besorolási projekt osztályának kiértékelési összegzését jelöli.

TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary

Egy egyéni egycímke-besorolási projekt kiértékelési összegzését jelöli.

Error

A hibaobjektum.

Name Típus Description
code

ErrorCode

A kiszolgáló által definiált hibakódok egyike.

details

Error[]

A jelentett hibához vezető konkrét hibák részleteinek tömbje.

innererror

InnerErrorModel

Egy objektum, amely az aktuális objektumnál pontosabb információt tartalmaz a hibáról.

message

string

A hiba emberi olvasásra alkalmas ábrázolása.

target

string

A hiba célja.

ErrorCode

Emberi olvasásra alkalmas hibakód.

Name Típus Description
AzureCognitiveSearchIndexLimitReached

string

AzureCognitiveSearchIndexNotFound

string

AzureCognitiveSearchNotFound

string

AzureCognitiveSearchThrottling

string

Conflict

string

Forbidden

string

InternalServerError

string

InvalidArgument

string

InvalidRequest

string

NotFound

string

OperationNotFound

string

ProjectNotFound

string

QuotaExceeded

string

ServiceUnavailable

string

Timeout

string

TooManyRequests

string

Unauthorized

string

Warning

string

ErrorResponse

Hibaválasz.

Name Típus Description
error

Error

A hibaobjektum.

EvaluationKind

A kiértékelési típust jelöli. Alapértelmezés szerint a kiértékelési típus százalékos értékre van állítva.

Name Típus Description
manual

string

Ossza fel az adatokat a kiválasztott adatkészlet szerint az adatok minden példájához.

percentage

string

Ossza fel az adatokat betanítási és tesztelési készletekre a felhasználó által meghatározott százalékos értékek szerint.

InnerErrorCode

Emberi olvasásra alkalmas hibakód.

Name Típus Description
AzureCognitiveSearchNotFound

string

AzureCognitiveSearchThrottling

string

EmptyRequest

string

ExtractionFailure

string

InvalidCountryHint

string

InvalidDocument

string

InvalidDocumentBatch

string

InvalidParameterValue

string

InvalidRequest

string

InvalidRequestBodyFormat

string

KnowledgeBaseNotFound

string

MissingInputDocuments

string

ModelVersionIncorrect

string

UnsupportedLanguageCode

string

InnerErrorModel

Egy objektum, amely pontosabb információkat tartalmaz a hibáról. A Microsoft One API irányelveinek megfelelően : https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.

Name Típus Description
code

InnerErrorCode

A kiszolgáló által definiált hibakódok egyike.

details

object

Hiba részletei.

innererror

InnerErrorModel

Egy objektum, amely az aktuális objektumnál pontosabb információt tartalmaz a hibáról.

message

string

Hibaüzenet.

target

string

Hibacél.

ProjectKind

A projekt típusa.

Name Típus Description
CustomEntityRecognition

string

Kinyerési modell létrehozásához a tartománykategóriák saját adatokkal történő azonosításához.

CustomMultiLabelClassification

string

Besorolási modell létrehozásához a szöveg saját adatokkal történő besorolásához. Minden fájl egy vagy több címkét tartalmazhat. Az 1. fájl például A, B és C, a 2. fájl pedig B és C besorolású.

CustomSingleLabelClassification

string

Besorolási modell létrehozásához a szöveg saját adatokkal történő besorolásához. Minden fájlnak csak egy címkéje lesz. Az 1. fájl például A, a 2. fájl pedig B.

TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary

Egy egyéni entitásfelismerő projekt kiértékelési összegzését jelöli.

Name Típus Description
customEntityRecognitionEvaluation

TextAnalysisAuthoringEntityRecognitionEvaluationSummary

A kinyerési kiértékeléssel kapcsolatos adatokat tartalmazza.

evaluationOptions

TextAnalysisAuthoringEvaluationOptions

A kiértékelés futtatásához használt beállításokat jelöli.

projectKind string:

CustomEntityRecognition

Azt a projekttípust jelöli, amelyen a kiértékelés futott.

TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary

Egyéni többcímke-besorolási projekt kiértékelési összegzését jelöli.

Name Típus Description
customMultiLabelClassificationEvaluation

TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary

A többcímke-besorolás kiértékeléséhez kapcsolódó adatokat tartalmazza.

evaluationOptions

TextAnalysisAuthoringEvaluationOptions

A kiértékelés futtatásához használt beállításokat jelöli.

projectKind string:

CustomMultiLabelClassification

Azt a projekttípust jelöli, amelyen a kiértékelés futott.

TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary

Egy egyéni egycímke-besorolási projekt kiértékelési összegzését jelöli.

Name Típus Description
customSingleLabelClassificationEvaluation

TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary

Az egycímkés besorolás kiértékeléséhez kapcsolódó adatokat tartalmazza.

evaluationOptions

TextAnalysisAuthoringEvaluationOptions

A kiértékelés futtatásához használt beállításokat jelöli.

projectKind string:

CustomSingleLabelClassification

Azt a projekttípust jelöli, amelyen a kiértékelés futott.

TextAnalysisAuthoringEntityEvaluationSummary

Egy entitás kiértékelési összegzését jelöli.

Name Típus Description
f1

number

A modell pontosságát jelöli

falseNegativeCount

integer

A hamis negatívok számát jelöli

falsePositiveCount

integer

A hamis pozitívok számát jelöli

precision

number

A modell visszahívását jelöli

recall

number

A modell F1 pontszámát jelöli

trueNegativeCount

integer

A valódi negatívok számát jelöli

truePositiveCount

integer

A valódi pozitívok számát jelöli

TextAnalysisAuthoringEntityRecognitionEvaluationSummary

Egy egyéni entitásfelismerő projekt kiértékelési összegzését jelöli.

Name Típus Description
confusionMatrix

object

Két entitás közötti keveredési mátrixot jelöli (a két entitás lehet ugyanaz). A mátrix a címkézett entitás és az előrejelzett entitás között van.

entities

<string,  TextAnalysisAuthoringEntityEvaluationSummary>

Az entitások kiértékelését jelöli

macroF1

number

Az F1 makrót jelöli

macroPrecision

number

A makró pontosságát jelöli

macroRecall

number

A makróvisszahívást jelöli

microF1

number

A mikro F1-et jelöli

microPrecision

number

Mikropontosság

microRecall

number

A mikrovisszahívást jelöli

TextAnalysisAuthoringEvaluationOptions

A kiértékelés futtatásához használt beállításokat jelöli.

Name Típus Description
kind

EvaluationKind

A kiértékelési típust jelöli. Alapértelmezés szerint a kiértékelési típus százalékos értékre van állítva.

testingSplitPercentage

integer

A tesztelési adathalmaz felosztási százalékos arányát jelöli. Csak akkor szükséges, ha a kiértékelési típus százalékos.

trainingSplitPercentage

integer

A betanítási adathalmaz felosztási százalékos arányát jelöli. Csak akkor szükséges, ha a kiértékelési típus százalékos.

TextAnalysisAuthoringMultiLabelClassEvaluationSummary

Egy osztály kiértékelési összegzését jelöli egy többcímkés besorolási projektben.

Name Típus Description
f1

number

A modell pontosságát jelöli

falseNegativeCount

integer

A hamis negatívok számát jelöli

falsePositiveCount

integer

A hamis pozitívok számát jelöli

precision

number

A modell visszahívását jelöli

recall

number

A modell F1 pontszámát jelöli

trueNegativeCount

integer

A valódi negatívok számát jelöli

truePositiveCount

integer

A valódi pozitívok számát jelöli

TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary

Egy többcímkés besorolási projekt kiértékelési összegzését jelöli.

Name Típus Description
classes

<string,  TextAnalysisAuthoringMultiLabelClassEvaluationSummary>

Az osztályok kiértékelését jelöli

macroF1

number

Az F1 makrót jelöli

macroPrecision

number

A makró pontosságát jelöli

macroRecall

number

A makróvisszahívást jelöli

microF1

number

A mikro F1-et jelöli

microPrecision

number

Mikropontosság

microRecall

number

A mikrovisszahívást jelöli

TextAnalysisAuthoringSingleLabelClassEvaluationSummary

Egy egycímkés besorolási projekt osztályának kiértékelési összegzését jelöli.

Name Típus Description
f1

number

A modell pontosságát jelöli

falseNegativeCount

integer

A hamis negatívok számát jelöli

falsePositiveCount

integer

A hamis pozitívok számát jelöli

precision

number

A modell visszahívását jelöli

recall

number

A modell F1 pontszámát jelöli

trueNegativeCount

integer

A valódi negatívok számát jelöli

truePositiveCount

integer

A valódi pozitívok számát jelöli

TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary

Egy egyéni egycímke-besorolási projekt kiértékelési összegzését jelöli.

Name Típus Description
classes

<string,  TextAnalysisAuthoringSingleLabelClassEvaluationSummary>

Az osztályok kiértékelését jelöli

confusionMatrix

object

A két osztály közötti keveredési mátrixot jelöli (a két osztály lehet ugyanaz). A mátrix a címkézett osztály és az előrejelzett osztály között van.

macroF1

number

Az F1 makrót jelöli

macroPrecision

number

A makró pontosságát jelöli

macroRecall

number

A makróvisszahívást jelöli

microF1

number

A mikro F1-et jelöli

microPrecision

number

Mikropontosság

microRecall

number

A mikrovisszahívást jelöli