Text Analysis Authoring - Get Model Evaluation Summary

Usługa:

Azure AI Services

Wersja interfejsu API:

2023-04-01

Pobiera podsumowanie oceny wytrenowanego modelu. Podsumowanie zawiera pomiary wydajności wysokiego poziomu modelu, np. F1, Precyzja, Kompletność itp.

GET {Endpoint}/language/authoring/analyze-text/projects/{projectName}/models/{trainedModelLabel}/evaluation/summary-result?api-version=2023-04-01

Parametry identyfikatora URI

Nazwa	W	Wymagane	Typ	Opis
Endpoint	path	True	string	Obsługiwany punkt końcowy usług Cognitive Services (np. https://.api.cognitiveservices.azure.com).
projectName	path	True	string	Nazwa projektu do użycia.
trainedModelLabel	path	True	string	Wytrenowana etykieta modelu.
api-version	query	True	string	Wersja interfejsu API klienta.

Odpowiedzi

Nazwa	Typ	Opis
200 OK	TextAnalysisAuthoringEvaluationSummary: TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary	Lista wszystkich wyników oceny.
Other Status Codes	ErrorResponse	Odpowiedź na błąd.

Zabezpieczenia

AADToken

Są to przepływy protokołu OAuth2 usługi Azure Active Directory . W połączeniu z kontrolą dostępu opartą na rolach platformy Azure może służyć do kontrolowania dostępu do interfejsów API REST Azure Maps. Mechanizmy kontroli dostępu opartej na rolach platformy Azure służą do wyznaczania dostępu do co najmniej jednego konta zasobów Azure Maps lub zasobów podrzędnych. Każdy użytkownik, grupa lub jednostka usługi może mieć dostęp za pośrednictwem wbudowanej roli lub roli niestandardowej składającej się z co najmniej jednego uprawnienia do Azure Maps interfejsów API REST.

Aby zaimplementować scenariusze, zalecamy wyświetlenie pojęć dotyczących uwierzytelniania. Podsumowując, ta definicja zabezpieczeń udostępnia rozwiązanie do modelowania aplikacji za pośrednictwem obiektów, które mogą kontrolować dostęp do określonych interfejsów API i zakresów.

Uwagi

• Ta definicja zabezpieczeń wymaga użycia nagłówkax-ms-client-id, aby wskazać, do którego zasobu Azure Maps aplikacja żąda dostępu. Można to uzyskać za pomocą interfejsu API zarządzania mapami.

Element Authorization URL jest specyficzny dla wystąpienia chmury publicznej platformy Azure. Suwerenne chmury mają unikatowe adresy URL autoryzacji i konfiguracje usługi Azure Active Directory. * Kontrola dostępu oparta na rolach platformy Azure jest konfigurowana z płaszczyzny zarządzania platformy Azure za pośrednictwem Azure Portal, programu PowerShell, interfejsu wiersza polecenia, zestawów SDK platformy Azure lub interfejsów API REST. * Użycie zestawu AZURE MAPS Web SDK umożliwia konfigurację opartą na konfiguracji aplikacji w wielu przypadkach użycia.

• Obecnie usługa Azure Active Directory w wersji 1.0 lub 2.0 obsługuje konta służbowe, szkolne i gości, ale nie obsługują kont osobistych.

Typ: oauth2
Flow: implicit
Adres URL autoryzacji: https://login.microsoftonline.com/common/oauth2/authorize

Zakresy

Nazwa	Opis
https://cognitiveservices.azure.com/.default	https://cognitiveservices.azure.com/.default

Ocp-Apim-Subscription-Key

Klucz subskrypcji zasobu usługi językowej.

Typ: apiKey
W: header

Przykłady

Successful Get Model Evaluation Summary

Przykładowe żądanie

HTTP

GET {Endpoint}/language/authoring/analyze-text/projects/LoanAgreements/models/model2/evaluation/summary-result?api-version=2023-04-01

Przykładowa odpowiedź

Kod stanu:

200

{
  "projectKind": "CustomEntityRecognition",
  "customEntityRecognitionEvaluation": {
    "confusionMatrix": {
      "BorrowerAddress": {
        "BorrowerAddress": {
          "normalizedValue": 86.206894,
          "rawValue": 3.4482758
        },
        "$none": {
          "normalizedValue": 13.793103,
          "rawValue": 0.55172414
        }
      },
      "BorrowerCity": {
        "BorrowerCity": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "BorrowerName": {
        "BorrowerName": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "BorrowerState": {
        "BorrowerState": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Date": {
        "Date": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Interest": {
        "Interest": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderAddress": {
        "LenderAddress": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderCity": {
        "LenderCity": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderName": {
        "LenderName": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderState": {
        "LenderState": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LoanAmountNumbers": {
        "LoanAmountNumbers": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LoanAmountWords": {
        "LoanAmountWords": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "$none": {
        "$none": {
          "normalizedValue": 99.81485,
          "rawValue": 51.90372
        },
        "BorrowerAddress": {
          "normalizedValue": 0.18315019,
          "rawValue": 0.0952381
        },
        "Interest": {
          "normalizedValue": 0.002005294,
          "rawValue": 0.0010427529
        }
      }
    },
    "entities": {
      "Date": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerAddress": {
        "f1": 0.6666666865348816,
        "precision": 0.6000000238418579,
        "recall": 0.75,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 2,
        "falseNegativeCount": 1
      },
      "BorrowerCity": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerState": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderAddress": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderCity": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderState": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LoanAmountWords": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LoanAmountNumbers": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Interest": {
        "f1": 0.75,
        "precision": 0.75,
        "recall": 0.75,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 1
      }
    },
    "microF1": 0.94845366,
    "microPrecision": 0.93877554,
    "microRecall": 0.9583333,
    "macroF1": 0.9513889,
    "macroPrecision": 0.9458334,
    "macroRecall": 0.9583333
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 80,
    "testingSplitPercentage": 20
  }
}

Definicje

Nazwa	Opis
Error	Obiekt error.
ErrorCode	Kod błędu czytelny dla człowieka.
ErrorResponse	Odpowiedź na błąd.
EvaluationKind	Reprezentuje rodzaj oceny. Domyślnie typ oceny jest ustawiony na wartość procentową.
InnerErrorCode	Kod błędu czytelny dla człowieka.
InnerErrorModel	Obiekt zawierający bardziej szczegółowe informacje o błędzie. Zgodnie z wytycznymi interfejsu MICROSOFT One API — https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.
ProjectKind	Rodzaj projektu.
TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary	Reprezentuje podsumowanie oceny dla niestandardowego projektu rozpoznawania jednostek.
TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary	Przedstawia podsumowanie oceny dla niestandardowego projektu klasyfikacji z wieloma etykietami.
TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary	Przedstawia podsumowanie oceny dla niestandardowego projektu klasyfikacji z pojedynczą etykietą.
TextAnalysisAuthoringEntityEvaluationSummary	Reprezentuje podsumowanie oceny dla jednostki.
TextAnalysisAuthoringEntityRecognitionEvaluationSummary	Reprezentuje podsumowanie oceny dla niestandardowego projektu rozpoznawania jednostek.
TextAnalysisAuthoringEvaluationOptions	Reprezentuje opcje używane do uruchamiania oceny.
TextAnalysisAuthoringMultiLabelClassEvaluationSummary	Przedstawia podsumowanie oceny klasy w projekcie klasyfikacji z wieloma etykietami.
TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary	Przedstawia podsumowanie oceny dla projektu klasyfikacji z wieloma etykietami.
TextAnalysisAuthoringSingleLabelClassEvaluationSummary	Reprezentuje podsumowanie oceny dla klasy w projekcie klasyfikacji z jedną etykietą.
TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary	Przedstawia podsumowanie oceny dla niestandardowego projektu klasyfikacji z pojedynczą etykietą.

Error

Obiekt error.

Nazwa	Typ	Opis
code	ErrorCode	Jeden z zdefiniowanych przez serwer zestaw kodów błędów.
details	Error[]	Tablica szczegółów dotyczących określonych błędów, które doprowadziły do tego zgłoszonego błędu.
innererror	InnerErrorModel	Obiekt zawierający bardziej szczegółowe informacje niż bieżący obiekt o błędzie.
message	string	Czytelna dla człowieka reprezentacja błędu.
target	string	Element docelowy błędu.

ErrorCode

Kod błędu czytelny dla człowieka.

Nazwa	Typ	Opis
AzureCognitiveSearchIndexLimitReached	string
AzureCognitiveSearchIndexNotFound	string
AzureCognitiveSearchNotFound	string
AzureCognitiveSearchThrottling	string
Conflict	string
Forbidden	string
InternalServerError	string
InvalidArgument	string
InvalidRequest	string
NotFound	string
OperationNotFound	string
ProjectNotFound	string
QuotaExceeded	string
ServiceUnavailable	string
Timeout	string
TooManyRequests	string
Unauthorized	string
Warning	string

ErrorResponse

Odpowiedź na błąd.

Nazwa	Typ	Opis
error	Error	Obiekt error.

EvaluationKind

Reprezentuje rodzaj oceny. Domyślnie typ oceny jest ustawiony na wartość procentową.

Nazwa	Typ	Opis
manual	string	Podziel dane zgodnie z wybranym zestawem danych dla każdego przykładu w danych.
percentage	string	Podziel dane na zestawy treningowe i testowe zgodnie z wartościami procentowymi zdefiniowanymi przez użytkownika.

InnerErrorCode

Kod błędu czytelny dla człowieka.

Nazwa	Typ	Opis
AzureCognitiveSearchNotFound	string
AzureCognitiveSearchThrottling	string
EmptyRequest	string
ExtractionFailure	string
InvalidCountryHint	string
InvalidDocument	string
InvalidDocumentBatch	string
InvalidParameterValue	string
InvalidRequest	string
InvalidRequestBodyFormat	string
KnowledgeBaseNotFound	string
MissingInputDocuments	string
ModelVersionIncorrect	string
UnsupportedLanguageCode	string

InnerErrorModel

Obiekt zawierający bardziej szczegółowe informacje o błędzie. Zgodnie z wytycznymi interfejsu MICROSOFT One API — https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.

Nazwa	Typ	Opis
code	InnerErrorCode	Jeden z zdefiniowanych przez serwer zestaw kodów błędów.
details	object	Szczegóły błędu.
innererror	InnerErrorModel	Obiekt zawierający bardziej szczegółowe informacje niż bieżący obiekt o błędzie.
message	string	Komunikat o błędzie.
target	string	Błąd docelowy.

ProjectKind

Rodzaj projektu.

Nazwa	Typ	Opis
CustomEntityRecognition	string	Tworzenie modelu wyodrębniania w celu zidentyfikowania kategorii domeny przy użyciu własnych danych.
CustomMultiLabelClassification	string	Tworzenie modelu klasyfikacji w celu klasyfikowania tekstu przy użyciu własnych danych. Każdy plik może mieć jedną lub wiele etykiet. Na przykład plik 1 jest klasyfikowany jako A, B i C, a plik 2 jest klasyfikowany jako B i C.
CustomSingleLabelClassification	string	Tworzenie modelu klasyfikacji w celu klasyfikowania tekstu przy użyciu własnych danych. Każdy plik będzie miał tylko jedną etykietę. Na przykład plik 1 jest klasyfikowany jako A, a plik 2 jest klasyfikowany jako B.

TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary

Reprezentuje podsumowanie oceny dla niestandardowego projektu rozpoznawania jednostek.

Nazwa	Typ	Opis
customEntityRecognitionEvaluation	TextAnalysisAuthoringEntityRecognitionEvaluationSummary	Zawiera dane związane z oceną wyodrębniania.
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	Reprezentuje opcje używane do uruchamiania oceny.
projectKind	string: CustomEntityRecognition	Reprezentuje typ projektu, dla którego uruchomiono ocenę.

TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary

Przedstawia podsumowanie oceny dla niestandardowego projektu klasyfikacji z wieloma etykietami.

Nazwa	Typ	Opis
customMultiLabelClassificationEvaluation	TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary	Zawiera dane związane z oceną klasyfikacji z wieloma etykietami.
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	Reprezentuje opcje używane do uruchamiania oceny.
projectKind	string: CustomMultiLabelClassification	Reprezentuje typ projektu, dla którego uruchomiono ocenę.

TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary

Przedstawia podsumowanie oceny dla niestandardowego projektu klasyfikacji z pojedynczą etykietą.

Nazwa	Typ	Opis
customSingleLabelClassificationEvaluation	TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary	Zawiera dane związane z oceną klasyfikacji z pojedynczą etykietą.
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	Reprezentuje opcje używane do uruchamiania oceny.
projectKind	string: CustomSingleLabelClassification	Reprezentuje typ projektu, dla którego uruchomiono ocenę.

TextAnalysisAuthoringEntityEvaluationSummary

Reprezentuje podsumowanie oceny dla jednostki.

Nazwa	Typ	Opis
f1	number	Reprezentuje precyzję modelu
falseNegativeCount	integer	Reprezentuje liczbę wyników fałszywie ujemnych
falsePositiveCount	integer	Reprezentuje liczbę wyników fałszywie dodatnich
precision	number	Reprezentuje kompletność modelu
recall	number	Reprezentuje wynik modelu F1
trueNegativeCount	integer	Reprezentuje liczbę wartości prawdziwie ujemnych
truePositiveCount	integer	Reprezentuje liczbę wyników prawdziwie dodatnich

TextAnalysisAuthoringEntityRecognitionEvaluationSummary

Reprezentuje podsumowanie oceny dla niestandardowego projektu rozpoznawania jednostek.

Nazwa	Typ	Opis
confusionMatrix	object	Reprezentuje macierz pomyłek między dwiema jednostkami (dwie jednostki mogą być takie same). Macierz znajduje się między jednostką, która została oznaczona i przewidywaną jednostką.
entities	<string,  TextAnalysisAuthoringEntityEvaluationSummary>	Reprezentuje ocenę jednostek
macroF1	number	Reprezentuje makro F1
macroPrecision	number	Reprezentuje precyzję makra
macroRecall	number	Reprezentuje odwołanie makra
microF1	number	Reprezentuje mikro F1
microPrecision	number	Reprezentuje mikro precyzję
microRecall	number	Reprezentuje mikrowoływanie

TextAnalysisAuthoringEvaluationOptions

Reprezentuje opcje używane do uruchamiania oceny.

Nazwa	Typ	Opis
kind	EvaluationKind	Reprezentuje rodzaj oceny. Domyślnie typ oceny jest ustawiony na wartość procentową.
testingSplitPercentage	integer	Reprezentuje procent podziału zestawu danych testowych. Wymagany tylko w przypadku, gdy rodzaj oceny jest wartością procentową.
trainingSplitPercentage	integer	Reprezentuje procent podziału zestawu danych trenowania. Wymagany tylko w przypadku, gdy rodzaj oceny jest wartością procentową.

TextAnalysisAuthoringMultiLabelClassEvaluationSummary

Przedstawia podsumowanie oceny klasy w projekcie klasyfikacji z wieloma etykietami.

Nazwa	Typ	Opis
f1	number	Reprezentuje precyzję modelu
falseNegativeCount	integer	Reprezentuje liczbę wyników fałszywie ujemnych
falsePositiveCount	integer	Reprezentuje liczbę wyników fałszywie dodatnich
precision	number	Reprezentuje kompletność modelu
recall	number	Reprezentuje wynik modelu F1
trueNegativeCount	integer	Reprezentuje liczbę wartości prawdziwie ujemnych
truePositiveCount	integer	Reprezentuje liczbę wyników prawdziwie dodatnich

TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary

Przedstawia podsumowanie oceny dla projektu klasyfikacji z wieloma etykietami.

Nazwa	Typ	Opis
classes	<string,  TextAnalysisAuthoringMultiLabelClassEvaluationSummary>	Reprezentuje ocenę klas
macroF1	number	Reprezentuje makro F1
macroPrecision	number	Reprezentuje precyzję makra
macroRecall	number	Reprezentuje odwołanie makra
microF1	number	Reprezentuje mikro F1
microPrecision	number	Reprezentuje mikro precyzję
microRecall	number	Reprezentuje mikrowoływanie

TextAnalysisAuthoringSingleLabelClassEvaluationSummary

Reprezentuje podsumowanie oceny dla klasy w projekcie klasyfikacji z jedną etykietą.

Nazwa	Typ	Opis
f1	number	Reprezentuje precyzję modelu
falseNegativeCount	integer	Reprezentuje liczbę fałszywie ujemnych
falsePositiveCount	integer	Reprezentuje liczbę wyników fałszywie dodatnich
precision	number	Reprezentuje kompletność modelu
recall	number	Reprezentuje wynik modelu F1
trueNegativeCount	integer	Reprezentuje liczbę wartości prawdziwie ujemnych
truePositiveCount	integer	Reprezentuje liczbę wyników prawdziwie dodatnich

TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary

Przedstawia podsumowanie oceny dla niestandardowego projektu klasyfikacji z pojedynczą etykietą.

Nazwa	Typ	Opis
classes	<string,  TextAnalysisAuthoringSingleLabelClassEvaluationSummary>	Reprezentuje ocenę klas
confusionMatrix	object	Reprezentuje macierz pomyłek między dwiema klasami (dwie klasy mogą być takie same). Macierz znajduje się między klasą, która została oznaczona i przewidywaną klasą.
macroF1	number	Reprezentuje makro F1
macroPrecision	number	Reprezentuje precyzję makra
macroRecall	number	Reprezentuje odwołanie makra
microF1	number	Reprezentuje mikro F1
microPrecision	number	Reprezentuje mikro precyzję
microRecall	number	Reprezentuje mikrowoływanie