Text Analysis Authoring - Get Model Evaluation Summary

Referência

Service:: Cognitive Services - Language

API Version:: 2023-04-01

Obtém o resumo de avaliação de um modelo preparado. O resumo inclui medições de desempenho de alto nível do modelo, por exemplo, F1, Precisão, Revocação, etc.

GET {Endpoint}/language/authoring/analyze-text/projects/{projectName}/models/{trainedModelLabel}/evaluation/summary-result?api-version=2023-04-01

Parâmetros do URI

Name	Em	Necessário	Tipo	Description
Endpoint	path	True	string	Ponto final dos Serviços Cognitivos suportado (por exemplo, https://.api.cognitiveservices.azure.com).
projectName	path	True	string	O nome do projeto a utilizar.
trainedModelLabel	path	True	string	A etiqueta do modelo preparado.
api-version	query	True	string	Versão da API de Cliente.

Respostas

Name	Tipo	Description
200 OK	TextAnalysisAuthoringEvaluationSummary: TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary	Lista de todos os resultados da avaliação.
Other Status Codes	ErrorResponse	Resposta de erro.

Segurança

AADToken

Estes são os Fluxos OAuth2 do Azure Active Directory . Quando emparelhado com o controlo de acesso baseado em funções do Azure, pode ser utilizado para controlar o acesso às APIs REST Azure Maps. Os controlos de acesso baseados em funções do Azure são utilizados para designar o acesso a uma ou mais Azure Maps conta de recursos ou sub-recursos. Qualquer utilizador, grupo ou principal de serviço pode ter acesso através de uma função incorporada ou de uma função personalizada composta por uma ou mais permissões para Azure Maps APIs REST.

Para implementar cenários, recomendamos que veja os conceitos de autenticação. Em resumo, esta definição de segurança fornece uma solução para modelar aplicações através de objetos com capacidade de controlo de acesso em APIs e âmbitos específicos.

Notas

Esta definição de segurança requer a utilização do x-ms-client-id cabeçalho para indicar a que Azure Maps recurso a que a aplicação está a pedir acesso. Isto pode ser adquirido na API de gestão de Mapas.

O Authorization URL é específico da instância da cloud pública do Azure. As clouds soberanas têm URLs de Autorização exclusivos e configurações do Azure Active Directory. * O controlo de acesso baseado em funções do Azure está configurado a partir do plano de gestão do Azure através de portal do Azure, PowerShell, CLI, SDKs do Azure ou APIs REST. * A utilização do SDK Web Azure Maps permite a configuração baseada na configuração de uma aplicação para vários casos de utilização.

Atualmente, o Azure Active Directory v1.0 ou v2.0 suporta Trabalho, Escola e Convidados, mas não suporta contas pessoais.

Type: oauth2
Flow: implicit
Authorization URL: https://login.microsoftonline.com/common/oauth2/authorize

Scopes

Name	Description
https://cognitiveservices.azure.com/.default	https://cognitiveservices.azure.com/.default

Ocp-Apim-Subscription-Key

Uma chave de subscrição para um recurso do Serviço de idiomas.

Type: apiKey
In: header

Exemplos

Successful Get Model Evaluation Summary

Sample Request

HTTP

GET {Endpoint}/language/authoring/analyze-text/projects/LoanAgreements/models/model2/evaluation/summary-result?api-version=2023-04-01

Sample Response

Status code:: 200

{
  "projectKind": "CustomEntityRecognition",
  "customEntityRecognitionEvaluation": {
    "confusionMatrix": {
      "BorrowerAddress": {
        "BorrowerAddress": {
          "normalizedValue": 86.206894,
          "rawValue": 3.4482758
        },
        "$none": {
          "normalizedValue": 13.793103,
          "rawValue": 0.55172414
        }
      },
      "BorrowerCity": {
        "BorrowerCity": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "BorrowerName": {
        "BorrowerName": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "BorrowerState": {
        "BorrowerState": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Date": {
        "Date": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Interest": {
        "Interest": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderAddress": {
        "LenderAddress": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderCity": {
        "LenderCity": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderName": {
        "LenderName": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderState": {
        "LenderState": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LoanAmountNumbers": {
        "LoanAmountNumbers": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LoanAmountWords": {
        "LoanAmountWords": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "$none": {
        "$none": {
          "normalizedValue": 99.81485,
          "rawValue": 51.90372
        },
        "BorrowerAddress": {
          "normalizedValue": 0.18315019,
          "rawValue": 0.0952381
        },
        "Interest": {
          "normalizedValue": 0.002005294,
          "rawValue": 0.0010427529
        }
      }
    },
    "entities": {
      "Date": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerAddress": {
        "f1": 0.6666666865348816,
        "precision": 0.6000000238418579,
        "recall": 0.75,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 2,
        "falseNegativeCount": 1
      },
      "BorrowerCity": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerState": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderAddress": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderCity": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderState": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LoanAmountWords": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LoanAmountNumbers": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Interest": {
        "f1": 0.75,
        "precision": 0.75,
        "recall": 0.75,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 1
      }
    },
    "microF1": 0.94845366,
    "microPrecision": 0.93877554,
    "microRecall": 0.9583333,
    "macroF1": 0.9513889,
    "macroPrecision": 0.9458334,
    "macroRecall": 0.9583333
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 80,
    "testingSplitPercentage": 20
  }
}

Definições

Name	Description
Error	O objeto de erro.
ErrorCode	Código de erro legível por humanos.
ErrorResponse	Resposta de erro.
EvaluationKind	Representa o tipo de avaliação. Por predefinição, o tipo de avaliação está definido como percentagem.
InnerErrorCode	Código de erro legível por humanos.
InnerErrorModel	Um objeto que contém informações mais específicas sobre o erro. De acordo com as diretrizes da Microsoft One API – https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.
ProjectKind	O tipo de projeto.
TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary	Representa o resumo de avaliação de um projeto de reconhecimento de entidades personalizado.
TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary	Representa o resumo de avaliação de um projeto de classificação de várias etiquetas personalizado.
TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary	Representa o resumo de avaliação de um projeto de classificação de etiqueta única personalizado.
TextAnalysisAuthoringEntityEvaluationSummary	Representa o resumo de avaliação de uma entidade.
TextAnalysisAuthoringEntityRecognitionEvaluationSummary	Representa o resumo de avaliação de um projeto de reconhecimento de entidades personalizado.
TextAnalysisAuthoringEvaluationOptions	Representa as opções utilizadas para executar a avaliação.
TextAnalysisAuthoringMultiLabelClassEvaluationSummary	Representa o resumo de avaliação de uma classe num projeto de classificação com várias etiquetas.
TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary	Representa o resumo de avaliação de um projeto de classificação com várias etiquetas.
TextAnalysisAuthoringSingleLabelClassEvaluationSummary	Representa o resumo de avaliação de uma classe num projeto de classificação de etiqueta única.
TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary	Representa o resumo de avaliação de um projeto de classificação de etiqueta única personalizado.

Error

O objeto de erro.

Name	Tipo	Description
code	ErrorCode	Um dos conjuntos de códigos de erro definidos pelo servidor.
details	Error[]	Uma matriz de detalhes sobre erros específicos que levaram a este erro reportado.
innererror	InnerErrorModel	Um objeto que contém informações mais específicas do que o objeto atual sobre o erro.
message	string	Uma representação legível por humanos do erro.
target	string	O destino do erro.

ErrorCode

Código de erro legível por humanos.

Name	Tipo	Description
AzureCognitiveSearchIndexLimitReached	string
AzureCognitiveSearchIndexNotFound	string
AzureCognitiveSearchNotFound	string
AzureCognitiveSearchThrottling	string
Conflict	string
Forbidden	string
InternalServerError	string
InvalidArgument	string
InvalidRequest	string
NotFound	string
OperationNotFound	string
ProjectNotFound	string
QuotaExceeded	string
ServiceUnavailable	string
Timeout	string
TooManyRequests	string
Unauthorized	string
Warning	string

ErrorResponse

Resposta de erro.

Name	Tipo	Description
error	Error	O objeto de erro.

EvaluationKind

Representa o tipo de avaliação. Por predefinição, o tipo de avaliação está definido como percentagem.

Name	Tipo	Description
manual	string	Divida os dados de acordo com o conjunto de dados escolhido para cada exemplo nos dados.
percentage	string	Divida os dados em conjuntos de preparação e teste de acordo com percentagens definidas pelo utilizador.

InnerErrorCode

Código de erro legível por humanos.

Name	Tipo	Description
AzureCognitiveSearchNotFound	string
AzureCognitiveSearchThrottling	string
EmptyRequest	string
ExtractionFailure	string
InvalidCountryHint	string
InvalidDocument	string
InvalidDocumentBatch	string
InvalidParameterValue	string
InvalidRequest	string
InvalidRequestBodyFormat	string
KnowledgeBaseNotFound	string
MissingInputDocuments	string
ModelVersionIncorrect	string
UnsupportedLanguageCode	string

InnerErrorModel

Um objeto que contém informações mais específicas sobre o erro. De acordo com as diretrizes da Microsoft One API – https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.

Name	Tipo	Description
code	InnerErrorCode	Um dos conjuntos de códigos de erro definidos pelo servidor.
details	object	Detalhes do erro.
innererror	InnerErrorModel	Um objeto que contém informações mais específicas do que o objeto atual sobre o erro.
message	string	Mensagem de erro.
target	string	Destino do erro.

ProjectKind

O tipo de projeto.

Name	Tipo	Description
CustomEntityRecognition	string	Para criar um modelo de extração para identificar as categorias de domínio com os seus próprios dados.
CustomMultiLabelClassification	string	Para criar um modelo de classificação para classificar texto com os seus próprios dados. Cada ficheiro pode ter uma ou muitas etiquetas. Por exemplo, o ficheiro 1 é classificado como A, B e C e o ficheiro 2 é classificado como B e C.
CustomSingleLabelClassification	string	Para criar um modelo de classificação para classificar texto com os seus próprios dados. Cada ficheiro terá apenas uma etiqueta. Por exemplo, o ficheiro 1 é classificado como A e o ficheiro 2 é classificado como B.

TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary

Representa o resumo de avaliação de um projeto de reconhecimento de entidades personalizado.

Name	Tipo	Description
customEntityRecognitionEvaluation	TextAnalysisAuthoringEntityRecognitionEvaluationSummary	Contém os dados relacionados com a avaliação de extração.
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	Representa as opções utilizadas para executar a avaliação.
projectKind	string: CustomEntityRecognition	Representa o tipo de projeto em que a avaliação foi executada.

TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary

Representa o resumo de avaliação de um projeto de classificação de várias etiquetas personalizado.

Name	Tipo	Description
customMultiLabelClassificationEvaluation	TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary	Contém os dados relacionados com a avaliação de classificação de várias etiquetas.
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	Representa as opções utilizadas para executar a avaliação.
projectKind	string: CustomMultiLabelClassification	Representa o tipo de projeto em que a avaliação foi executada.

TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary

Representa o resumo de avaliação de um projeto de classificação de etiqueta única personalizado.

Name	Tipo	Description
customSingleLabelClassificationEvaluation	TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary	Contém os dados relacionados com a avaliação de classificação de etiqueta única.
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	Representa as opções utilizadas para executar a avaliação.
projectKind	string: CustomSingleLabelClassification	Representa o tipo de projeto em que a avaliação foi executada.

TextAnalysisAuthoringEntityEvaluationSummary

Representa o resumo de avaliação de uma entidade.

Name	Tipo	Description
f1	number	Representa a precisão do modelo
falseNegativeCount	integer	Representa a contagem de falsos negativos
falsePositiveCount	integer	Representa a contagem de falsos positivos
precision	number	Representa a recuperação do modelo
recall	number	Representa a classificação F1 do modelo
trueNegativeCount	integer	Representa a contagem de verdadeiros negativos
truePositiveCount	integer	Representa a contagem de verdadeiros positivos

TextAnalysisAuthoringEntityRecognitionEvaluationSummary