Text Analysis Authoring - Get Model Evaluation Summary

서비스:

Azure AI Services

API 버전:

2023-04-01

학습된 모델의 평가 요약을 가져옵니다. 요약에는 모델의 높은 수준의 성능 측정(예: F1, 정밀도, 재현율 등)이 포함됩니다.

GET {Endpoint}/language/authoring/analyze-text/projects/{projectName}/models/{trainedModelLabel}/evaluation/summary-result?api-version=2023-04-01

URI 매개 변수

Name	In(다음 안에)	필수	형식	Description
Endpoint	path	True	string	지원되는 Cognitive Services 엔드포인트(예: https://.api.cognitiveservices.azure.com).
projectName	path	True	string	사용할 프로젝트의 이름입니다.
trainedModelLabel	path	True	string	학습된 모델 레이블입니다.
api-version	query	True	string	클라이언트 API 버전입니다.

응답

Name	형식	Description
200 OK	TextAnalysisAuthoringEvaluationSummary: TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary	모든 평가 결과 목록입니다.
Other Status Codes	ErrorResponse	오류 응답입니다.

보안

AADToken

Azure Active Directory OAuth2 흐름입니다. Azure 역할 기반 액세스 제어와 쌍을 이루는 경우 Azure Maps REST API에 대한 액세스를 제어하는 데 사용할 수 있습니다. Azure 역할 기반 액세스 제어는 하나 이상의 Azure Maps 리소스 계정 또는 하위 리소스에 대한 액세스를 지정하는 데 사용됩니다. 모든 사용자, 그룹 또는 서비스 주체는 기본 제공 역할 또는 REST API를 Azure Maps 하나 이상의 권한으로 구성된 사용자 지정 역할을 통해 액세스 권한을 부여할 수 있습니다.

시나리오를 구현하려면 인증 개념을 보는 것이 좋습니다. 요약하자면, 이 보안 정의는 특정 API 및 범위에 대한 액세스 제어가 가능한 개체를 통해 애플리케이션을 모델링하기 위한 솔루션을 제공합니다.

참고

• 이 보안 정의에서는 헤더를 사용하여 애플리케이션이 x-ms-client-id 액세스를 요청하는 Azure Maps 리소스를 나타내야 합니다. 이는 Maps 관리 API에서 가져올 수 있습니다.

Authorization URL 은 Azure 퍼블릭 클라우드 instance 관련됩니다. 소버린 클라우드에는 고유한 권한 부여 URL 및 Azure Active Directory 구성이 있습니다. * Azure 역할 기반 액세스 제어는 Azure Portal, PowerShell, CLI, Azure SDK 또는 REST API를 통해 Azure 관리 평면에서 구성됩니다. * Azure Maps 웹 SDK를 사용하면 여러 사용 사례에 대한 애플리케이션의 구성 기반 설정을 허용합니다.

• 현재 Azure Active Directory v1.0 또는 v2.0 은 회사, 학교 및 게스트를 지원하지만 개인 계정은 지원하지 않습니다.

형식: oauth2
Flow: implicit
권한 부여 URL: https://login.microsoftonline.com/common/oauth2/authorize

범위

Name	Description
https://cognitiveservices.azure.com/.default	https://cognitiveservices.azure.com/.default

Ocp-Apim-Subscription-Key

언어 서비스 리소스에 대한 구독 키입니다.

형식: apiKey
In(다음 안에): header

예제

Successful Get Model Evaluation Summary

샘플 요청

HTTP

GET {Endpoint}/language/authoring/analyze-text/projects/LoanAgreements/models/model2/evaluation/summary-result?api-version=2023-04-01

샘플 응답

상태 코드:

200

{
  "projectKind": "CustomEntityRecognition",
  "customEntityRecognitionEvaluation": {
    "confusionMatrix": {
      "BorrowerAddress": {
        "BorrowerAddress": {
          "normalizedValue": 86.206894,
          "rawValue": 3.4482758
        },
        "$none": {
          "normalizedValue": 13.793103,
          "rawValue": 0.55172414
        }
      },
      "BorrowerCity": {
        "BorrowerCity": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "BorrowerName": {
        "BorrowerName": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "BorrowerState": {
        "BorrowerState": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Date": {
        "Date": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Interest": {
        "Interest": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderAddress": {
        "LenderAddress": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderCity": {
        "LenderCity": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderName": {
        "LenderName": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderState": {
        "LenderState": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LoanAmountNumbers": {
        "LoanAmountNumbers": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LoanAmountWords": {
        "LoanAmountWords": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "$none": {
        "$none": {
          "normalizedValue": 99.81485,
          "rawValue": 51.90372
        },
        "BorrowerAddress": {
          "normalizedValue": 0.18315019,
          "rawValue": 0.0952381
        },
        "Interest": {
          "normalizedValue": 0.002005294,
          "rawValue": 0.0010427529
        }
      }
    },
    "entities": {
      "Date": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerAddress": {
        "f1": 0.6666666865348816,
        "precision": 0.6000000238418579,
        "recall": 0.75,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 2,
        "falseNegativeCount": 1
      },
      "BorrowerCity": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerState": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderAddress": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderCity": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderState": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LoanAmountWords": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LoanAmountNumbers": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Interest": {
        "f1": 0.75,
        "precision": 0.75,
        "recall": 0.75,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 1
      }
    },
    "microF1": 0.94845366,
    "microPrecision": 0.93877554,
    "microRecall": 0.9583333,
    "macroF1": 0.9513889,
    "macroPrecision": 0.9458334,
    "macroRecall": 0.9583333
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 80,
    "testingSplitPercentage": 20
  }
}

정의

Name	Description
Error	Error 개체.
ErrorCode	사람이 읽을 수 있는 오류 코드입니다.
ErrorResponse	오류 응답입니다.
EvaluationKind	평가 종류를 나타냅니다. 기본적으로 평가 종류는 백분율로 설정됩니다.
InnerErrorCode	사람이 읽을 수 있는 오류 코드입니다.
InnerErrorModel	오류에 대한 보다 구체적인 정보를 포함하는 개체입니다. Microsoft One API 지침에 따라 - https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.
ProjectKind	프로젝트 종류입니다.
TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary	사용자 지정 엔터티 인식 프로젝트에 대한 평가 요약을 나타냅니다.
TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary	사용자 지정 다중 레이블 분류 프로젝트에 대한 평가 요약을 나타냅니다.
TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary	사용자 지정 단일 레이블 분류 프로젝트에 대한 평가 요약을 나타냅니다.
TextAnalysisAuthoringEntityEvaluationSummary	엔터티에 대한 평가 요약을 나타냅니다.
TextAnalysisAuthoringEntityRecognitionEvaluationSummary	사용자 지정 엔터티 인식 프로젝트에 대한 평가 요약을 나타냅니다.
TextAnalysisAuthoringEvaluationOptions	평가를 실행하는 데 사용되는 옵션을 나타냅니다.
TextAnalysisAuthoringMultiLabelClassEvaluationSummary	다중 레이블 분류 프로젝트에서 클래스의 평가 요약을 나타냅니다.
TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary	다중 레이블 분류 프로젝트에 대한 평가 요약을 나타냅니다.
TextAnalysisAuthoringSingleLabelClassEvaluationSummary	단일 레이블 분류 프로젝트의 클래스에 대한 평가 요약을 나타냅니다.
TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary	사용자 지정 단일 레이블 분류 프로젝트에 대한 평가 요약을 나타냅니다.

Error

Error 개체.

Name	형식	Description
code	ErrorCode	서버 정의 오류 코드 집합 중 하나입니다.
details	Error[]	이 보고된 오류로 이어진 특정 오류에 대한 세부 정보 배열입니다.
innererror	InnerErrorModel	오류에 대한 현재 개체보다 더 구체적인 정보를 포함하는 개체입니다.
message	string	사람이 읽을 수 있는 오류 표현입니다.
target	string	오류의 대상입니다.

ErrorCode

사람이 읽을 수 있는 오류 코드입니다.

Name	형식	Description
AzureCognitiveSearchIndexLimitReached	string
AzureCognitiveSearchIndexNotFound	string
AzureCognitiveSearchNotFound	string
AzureCognitiveSearchThrottling	string
Conflict	string
Forbidden	string
InternalServerError	string
InvalidArgument	string
InvalidRequest	string
NotFound	string
OperationNotFound	string
ProjectNotFound	string
QuotaExceeded	string
ServiceUnavailable	string
Timeout	string
TooManyRequests	string
Unauthorized	string
Warning	string

ErrorResponse

오류 응답입니다.

Name	형식	Description
error	Error	Error 개체.

EvaluationKind

평가 종류를 나타냅니다. 기본적으로 평가 종류는 백분율로 설정됩니다.

Name	형식	Description
manual	string	데이터의 모든 예제에 대해 선택한 데이터 세트에 따라 데이터를 분할합니다.
percentage	string	사용자 정의 백분율에 따라 데이터를 학습 및 테스트 집합으로 분할합니다.

InnerErrorCode

사람이 읽을 수 있는 오류 코드입니다.

Name	형식	Description
AzureCognitiveSearchNotFound	string
AzureCognitiveSearchThrottling	string
EmptyRequest	string
ExtractionFailure	string
InvalidCountryHint	string
InvalidDocument	string
InvalidDocumentBatch	string
InvalidParameterValue	string
InvalidRequest	string
InvalidRequestBodyFormat	string
KnowledgeBaseNotFound	string
MissingInputDocuments	string
ModelVersionIncorrect	string
UnsupportedLanguageCode	string

InnerErrorModel

오류에 대한 보다 구체적인 정보를 포함하는 개체입니다. Microsoft One API 지침에 따라 - https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses.

Name	형식	Description
code	InnerErrorCode	서버 정의 오류 코드 집합 중 하나입니다.
details	object	오류 세부 정보입니다.
innererror	InnerErrorModel	오류에 대한 현재 개체보다 더 구체적인 정보를 포함하는 개체입니다.
message	string	오류 메시지입니다.
target	string	오류 대상입니다.

ProjectKind

프로젝트 종류입니다.

Name	형식	Description
CustomEntityRecognition	string	사용자 고유의 데이터를 사용하여 도메인 범주를 식별하는 추출 모델을 빌드합니다.
CustomMultiLabelClassification	string	사용자 고유의 데이터를 사용하여 텍스트를 분류하는 분류 모델을 빌드합니다. 각 파일에는 하나 이상의 레이블이 있을 수 있습니다. 예를 들어 파일 1은 A, B 및 C로 분류되고 파일 2는 B 및 C로 분류됩니다.
CustomSingleLabelClassification	string	사용자 고유의 데이터를 사용하여 텍스트를 분류하는 분류 모델을 빌드합니다. 각 파일에는 레이블이 하나만 있습니다. 예를 들어 파일 1은 A로 분류되고 파일 2는 B로 분류됩니다.

TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary

사용자 지정 엔터티 인식 프로젝트에 대한 평가 요약을 나타냅니다.

Name	형식	Description
customEntityRecognitionEvaluation	TextAnalysisAuthoringEntityRecognitionEvaluationSummary	추출 평가와 관련된 데이터를 포함합니다.
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	평가를 실행하는 데 사용되는 옵션을 나타냅니다.
projectKind	string: CustomEntityRecognition	평가가 실행된 프로젝트 형식을 나타냅니다.

TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary

사용자 지정 다중 레이블 분류 프로젝트에 대한 평가 요약을 나타냅니다.

Name	형식	Description
customMultiLabelClassificationEvaluation	TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary	다중 레이블 분류 평가와 관련된 데이터를 포함합니다.
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	평가를 실행하는 데 사용되는 옵션을 나타냅니다.
projectKind	string: CustomMultiLabelClassification	평가가 실행된 프로젝트 형식을 나타냅니다.

TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary

사용자 지정 단일 레이블 분류 프로젝트에 대한 평가 요약을 나타냅니다.

Name	형식	Description
customSingleLabelClassificationEvaluation	TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary	단일 레이블 분류 평가와 관련된 데이터를 포함합니다.
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	평가를 실행하는 데 사용되는 옵션을 나타냅니다.
projectKind	string: CustomSingleLabelClassification	평가가 실행된 프로젝트 형식을 나타냅니다.

TextAnalysisAuthoringEntityEvaluationSummary

엔터티에 대한 평가 요약을 나타냅니다.

Name	형식	Description
f1	number	모델 전체 자릿수를 나타냅니다.
falseNegativeCount	integer	가음성 수를 나타냅니다.
falsePositiveCount	integer	가양성 수를 나타냅니다.
precision	number	모델 회수를 나타냅니다.
recall	number	모델 F1 점수를 나타냅니다.
trueNegativeCount	integer	참 음수의 수를 나타냅니다.
truePositiveCount	integer	진양성 수를 나타냅니다.

TextAnalysisAuthoringEntityRecognitionEvaluationSummary

사용자 지정 엔터티 인식 프로젝트에 대한 평가 요약을 나타냅니다.

Name	형식	Description
confusionMatrix	object	두 엔터티 간의 혼동 행렬을 나타냅니다(두 엔터티는 같을 수 있습니다). 행렬은 레이블이 지정된 엔터티와 예측된 엔터티 사이에 있습니다.
entities	<string,  TextAnalysisAuthoringEntityEvaluationSummary>	엔터티 평가를 나타냅니다.
macroF1	number	매크로 F1을 나타냅니다.
macroPrecision	number	매크로 전체 자릿수를 나타냅니다.
macroRecall	number	매크로 회수를 나타냅니다.
microF1	number	마이크로 F1을 나타냅니다.
microPrecision	number	마이크로 정밀도를 나타냅니다.
microRecall	number	마이크로 회수를 나타냅니다.

TextAnalysisAuthoringEvaluationOptions

평가를 실행하는 데 사용되는 옵션을 나타냅니다.

Name	형식	Description
kind	EvaluationKind	평가 종류를 나타냅니다. 기본적으로 평가 종류는 백분율로 설정됩니다.
testingSplitPercentage	integer	테스트 데이터 세트 분할 비율을 나타냅니다. 평가 종류가 백분율인 경우에만 필요합니다.
trainingSplitPercentage	integer	학습 데이터 세트 분할 비율을 나타냅니다. 평가 종류가 백분율인 경우에만 필요합니다.

TextAnalysisAuthoringMultiLabelClassEvaluationSummary

다중 레이블 분류 프로젝트에서 클래스의 평가 요약을 나타냅니다.

Name	형식	Description
f1	number	모델 전체 자릿수를 나타냅니다.
falseNegativeCount	integer	가음성 수를 나타냅니다.
falsePositiveCount	integer	가양성 수를 나타냅니다.
precision	number	모델 회수를 나타냅니다.
recall	number	모델 F1 점수를 나타냅니다.
trueNegativeCount	integer	참 음수의 수를 나타냅니다.
truePositiveCount	integer	진양성 수를 나타냅니다.

TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary

다중 레이블 분류 프로젝트에 대한 평가 요약을 나타냅니다.

Name	형식	Description
classes	<string,  TextAnalysisAuthoringMultiLabelClassEvaluationSummary>	클래스 평가를 나타냅니다.
macroF1	number	매크로 F1을 나타냅니다.
macroPrecision	number	매크로 전체 자릿수를 나타냅니다.
macroRecall	number	매크로 회수를 나타냅니다.
microF1	number	마이크로 F1을 나타냅니다.
microPrecision	number	마이크로 정밀도를 나타냅니다.
microRecall	number	마이크로 회수를 나타냅니다.

TextAnalysisAuthoringSingleLabelClassEvaluationSummary

단일 레이블 분류 프로젝트의 클래스에 대한 평가 요약을 나타냅니다.

Name	형식	Description
f1	number	모델 전체 자릿수를 나타냅니다.
falseNegativeCount	integer	가음성 수를 나타냅니다.
falsePositiveCount	integer	가양성 수를 나타냅니다.
precision	number	모델 회수를 나타냅니다.
recall	number	모델 F1 점수를 나타냅니다.
trueNegativeCount	integer	참 음수의 수를 나타냅니다.
truePositiveCount	integer	진양성 수를 나타냅니다.

TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary

사용자 지정 단일 레이블 분류 프로젝트에 대한 평가 요약을 나타냅니다.

Name	형식	Description
classes	<string,  TextAnalysisAuthoringSingleLabelClassEvaluationSummary>	클래스 평가를 나타냅니다.
confusionMatrix	object	두 클래스 간의 혼동 행렬을 나타냅니다(두 클래스는 같을 수 있습니다). 행렬은 레이블이 지정된 클래스와 예측된 클래스 사이에 있습니다.
macroF1	number	매크로 F1을 나타냅니다.
macroPrecision	number	매크로 전체 자릿수를 나타냅니다.
macroRecall	number	매크로 회수를 나타냅니다.
microF1	number	마이크로 F1을 나타냅니다.
microPrecision	number	마이크로 정밀도를 나타냅니다.
microRecall	number	마이크로 회수를 나타냅니다.