Text Analysis Authoring - Get Model Evaluation Summary

Service:

Cognitive Services - Language

API Version:

2023-04-01

トレーニング済みモデルの評価の概要を取得します。 概要には、F 値、適合率、再現率など、モデルの高レベルのパフォーマンス測定が含まれます。

GET {Endpoint}/language/authoring/analyze-text/projects/{projectName}/models/{trainedModelLabel}/evaluation/summary-result?api-version=2023-04-01

URI パラメーター

名前	/	必須	型	説明
Endpoint	path	True	string	サポートされている Cognitive Services エンドポイント (例: https://.api.cognitiveservices.azure.com).
projectName	path	True	string	使用するプロジェクトの名前。
trainedModelLabel	path	True	string	トレーニング済みのモデル ラベル。
api-version	query	True	string	クライアント API バージョン。

応答

名前	型	説明
200 OK	TextAnalysisAuthoringEvaluationSummary: TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary	すべての評価結果の一覧。
Other Status Codes	ErrorResponse	エラー応答。

セキュリティ

AADToken

これらは Azure Active Directory OAuth2 フローです。 Azure ロールベースのアクセス制御と組み合わせて使用すると、Azure Maps REST API へのアクセスを制御できます。 Azure ロールベースのアクセス制御は、1 つ以上のAzure Mapsリソース アカウントまたはサブリソースへのアクセスを指定するために使用されます。 REST API をAzure Mapsするための 1 つ以上のアクセス許可で構成される組み込みロールまたはカスタム ロールを使用して、ユーザー、グループ、またはサービス プリンシパルにアクセス権を付与できます。

シナリオを実装するには、 認証の概念を表示することをお勧めします。 要約すると、このセキュリティ定義は、特定の API とスコープに対するアクセス制御が可能なオブジェクトを使用してアプリケーションをモデル化するためのソリューションを提供します。

メモ

• このセキュリティ定義では、 ヘッダーを使用して、x-ms-client-idアプリケーションがアクセスを要求しているリソースAzure Maps示す必要があります。 これは、 Maps 管理 API から取得できます。

は Authorization URL 、Azure パブリック クラウド インスタンスに固有です。 ソブリン クラウドには、一意の承認 URL と Azure Active Directory 構成があります。 * Azure ロールベースのアクセス制御は、Azure portal、PowerShell、CLI、Azure SDK、または REST API を介して Azure 管理プレーンから構成されます。 * Azure Maps Web SDK を使用すると、複数のユース ケースに対してアプリケーションを構成ベースで設定できます。

• 現在、Azure Active Directory v1.0 または v2.0 では、職場、学校、ゲストはサポートされていますが、個人用アカウントはサポートされていません。

Type: oauth2
Flow: implicit
Authorization URL: https://login.microsoftonline.com/common/oauth2/authorize

Scopes

名前	説明
https://cognitiveservices.azure.com/.default	https://cognitiveservices.azure.com/.default

Ocp-Apim-Subscription-Key

言語サービス リソースのサブスクリプション キー。

Type: apiKey
In: header

例

Successful Get Model Evaluation Summary

Sample Request

HTTP

GET {Endpoint}/language/authoring/analyze-text/projects/LoanAgreements/models/model2/evaluation/summary-result?api-version=2023-04-01

Sample Response

Status code:

200

{
  "projectKind": "CustomEntityRecognition",
  "customEntityRecognitionEvaluation": {
    "confusionMatrix": {
      "BorrowerAddress": {
        "BorrowerAddress": {
          "normalizedValue": 86.206894,
          "rawValue": 3.4482758
        },
        "$none": {
          "normalizedValue": 13.793103,
          "rawValue": 0.55172414
        }
      },
      "BorrowerCity": {
        "BorrowerCity": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "BorrowerName": {
        "BorrowerName": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "BorrowerState": {
        "BorrowerState": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Date": {
        "Date": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "Interest": {
        "Interest": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderAddress": {
        "LenderAddress": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderCity": {
        "LenderCity": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderName": {
        "LenderName": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LenderState": {
        "LenderState": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LoanAmountNumbers": {
        "LoanAmountNumbers": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "LoanAmountWords": {
        "LoanAmountWords": {
          "normalizedValue": 100,
          "rawValue": 4
        }
      },
      "$none": {
        "$none": {
          "normalizedValue": 99.81485,
          "rawValue": 51.90372
        },
        "BorrowerAddress": {
          "normalizedValue": 0.18315019,
          "rawValue": 0.0952381
        },
        "Interest": {
          "normalizedValue": 0.002005294,
          "rawValue": 0.0010427529
        }
      }
    },
    "entities": {
      "Date": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerAddress": {
        "f1": 0.6666666865348816,
        "precision": 0.6000000238418579,
        "recall": 0.75,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 2,
        "falseNegativeCount": 1
      },
      "BorrowerCity": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "BorrowerState": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderName": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderAddress": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderCity": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LenderState": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LoanAmountWords": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "LoanAmountNumbers": {
        "f1": 1,
        "precision": 1,
        "recall": 1,
        "truePositiveCount": 4,
        "trueNegativeCount": 0,
        "falsePositiveCount": 0,
        "falseNegativeCount": 0
      },
      "Interest": {
        "f1": 0.75,
        "precision": 0.75,
        "recall": 0.75,
        "truePositiveCount": 3,
        "trueNegativeCount": 0,
        "falsePositiveCount": 1,
        "falseNegativeCount": 1
      }
    },
    "microF1": 0.94845366,
    "microPrecision": 0.93877554,
    "microRecall": 0.9583333,
    "macroF1": 0.9513889,
    "macroPrecision": 0.9458334,
    "macroRecall": 0.9583333
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 80,
    "testingSplitPercentage": 20
  }
}

定義

名前	説明
Error	error オブジェクト。
ErrorCode	人間が判読できるエラー コード。
ErrorResponse	エラー応答。
EvaluationKind	評価の種類を表します。 既定では、評価の種類は percentage に設定されています。
InnerErrorCode	人間が判読できるエラー コード。
InnerErrorModel	エラーに関するより具体的な情報を含むオブジェクト。 Microsoft One API のガイドラインに従って - https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses。
ProjectKind	プロジェクトの種類。
TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary	カスタム エンティティ認識プロジェクトの評価の概要を表します。
TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary	カスタムマルチラベル分類プロジェクトの評価の概要を表します。
TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary	カスタムの単一ラベル分類プロジェクトの評価の概要を表します。
TextAnalysisAuthoringEntityEvaluationSummary	エンティティの評価の概要を表します。
TextAnalysisAuthoringEntityRecognitionEvaluationSummary	カスタム エンティティ認識プロジェクトの評価の概要を表します。
TextAnalysisAuthoringEvaluationOptions	評価の実行に使用されるオプションを表します。
TextAnalysisAuthoringMultiLabelClassEvaluationSummary	複数ラベル分類プロジェクトのクラスの評価の概要を表します。
TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary	複数ラベル分類プロジェクトの評価の概要を表します。
TextAnalysisAuthoringSingleLabelClassEvaluationSummary	単一ラベル分類プロジェクトのクラスの評価の概要を表します。
TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary	カスタムの単一ラベル分類プロジェクトの評価の概要を表します。

Error

error オブジェクト。

名前	型	説明
code	ErrorCode	サーバー定義のエラー コードのセットの 1 つ。
details	Error[]	この報告されたエラーの原因となった特定のエラーに関する詳細の配列。
innererror	InnerErrorModel	エラーに関する現在のオブジェクトよりも具体的な情報を含む オブジェクト。
message	string	エラーの人間が判読できる表現。
target	string	エラーのターゲット。

ErrorCode

人間が判読できるエラー コード。

名前	型	説明
AzureCognitiveSearchIndexLimitReached	string
AzureCognitiveSearchIndexNotFound	string
AzureCognitiveSearchNotFound	string
AzureCognitiveSearchThrottling	string
Conflict	string
Forbidden	string
InternalServerError	string
InvalidArgument	string
InvalidRequest	string
NotFound	string
OperationNotFound	string
ProjectNotFound	string
QuotaExceeded	string
ServiceUnavailable	string
Timeout	string
TooManyRequests	string
Unauthorized	string
Warning	string

ErrorResponse

エラー応答。

名前	型	説明
error	Error	error オブジェクト。

EvaluationKind

評価の種類を表します。 既定では、評価の種類は percentage に設定されています。

名前	型	説明
manual	string	データ内のすべての例について、選択したデータセットに従ってデータを分割します。
percentage	string	ユーザー定義のパーセンテージに従って、データをトレーニング セットとテスト セットに分割します。

InnerErrorCode

人間が判読できるエラー コード。

名前	型	説明
AzureCognitiveSearchNotFound	string
AzureCognitiveSearchThrottling	string
EmptyRequest	string
ExtractionFailure	string
InvalidCountryHint	string
InvalidDocument	string
InvalidDocumentBatch	string
InvalidParameterValue	string
InvalidRequest	string
InvalidRequestBodyFormat	string
KnowledgeBaseNotFound	string
MissingInputDocuments	string
ModelVersionIncorrect	string
UnsupportedLanguageCode	string

InnerErrorModel

エラーに関するより具体的な情報を含むオブジェクト。 Microsoft One API のガイドラインに従って - https://github.com/Microsoft/api-guidelines/blob/vNext/Guidelines.md#7102-error-condition-responses。

名前	型	説明
code	InnerErrorCode	サーバー定義のエラー コードのセットの 1 つ。
details	object	エラーの詳細。
innererror	InnerErrorModel	エラーに関する現在のオブジェクトよりも具体的な情報を含む オブジェクト。
message	string	エラー メッセージ。
target	string	エラー ターゲット。

ProjectKind

プロジェクトの種類。

名前	型	説明
CustomEntityRecognition	string	独自のデータを使用してドメイン カテゴリを識別する抽出モデルを構築する場合。
CustomMultiLabelClassification	string	独自のデータを使用してテキストを分類する分類モデルを構築する場合。 各ファイルには、1 つまたは複数のラベルを含めることができます。 たとえば、ファイル 1 は A、B、C に分類され、ファイル 2 は B と C に分類されます。
CustomSingleLabelClassification	string	独自のデータを使用してテキストを分類する分類モデルを構築する場合。 各ファイルのラベルは 1 つだけです。 たとえば、ファイル 1 は A として分類され、ファイル 2 は B として分類されます。

TextAnalysisAuthoringCustomEntityRecognitionEvaluationSummary

カスタム エンティティ認識プロジェクトの評価の概要を表します。

名前	型	説明
customEntityRecognitionEvaluation	TextAnalysisAuthoringEntityRecognitionEvaluationSummary	抽出評価に関連するデータが含まれます。
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	評価の実行に使用されるオプションを表します。
projectKind	string: CustomEntityRecognition	評価が実行されたプロジェクトの種類を表します。

TextAnalysisAuthoringCustomMultiLabelClassificationEvaluationSummary

カスタムマルチラベル分類プロジェクトの評価の概要を表します。

名前	型	説明
customMultiLabelClassificationEvaluation	TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary	複数ラベル分類の評価に関連するデータが含まれます。
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	評価の実行に使用されるオプションを表します。
projectKind	string: CustomMultiLabelClassification	評価が実行されたプロジェクトの種類を表します。

TextAnalysisAuthoringCustomSingleLabelClassificationEvaluationSummary

カスタムの単一ラベル分類プロジェクトの評価の概要を表します。

名前	型	説明
customSingleLabelClassificationEvaluation	TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary	単一ラベル分類評価に関連するデータが含まれます。
evaluationOptions	TextAnalysisAuthoringEvaluationOptions	評価の実行に使用されるオプションを表します。
projectKind	string: CustomSingleLabelClassification	評価が実行されたプロジェクトの種類を表します。

TextAnalysisAuthoringEntityEvaluationSummary

エンティティの評価の概要を表します。

名前	型	説明
f1	number	モデルの精度を表します
falseNegativeCount	integer	偽陰性の数を表します
falsePositiveCount	integer	誤検知の数を表します
precision	number	モデルの再現率を表します
recall	number	モデル F1 スコアを表します
trueNegativeCount	integer	真負の数を表します
truePositiveCount	integer	真陽性の数を表します

TextAnalysisAuthoringEntityRecognitionEvaluationSummary

カスタム エンティティ認識プロジェクトの評価の概要を表します。

名前	型	説明
confusionMatrix	object	2 つのエンティティ間の混同行列を表します (2 つのエンティティは同じにすることができます)。 マトリックスは、ラベル付けされたエンティティと予測されたエンティティの間にあります。
entities	<string,  TextAnalysisAuthoringEntityEvaluationSummary>	エンティティの評価を表します
macroF1	number	マクロ F1 を表します
macroPrecision	number	マクロの有効桁数を表します
macroRecall	number	マクロの再現率を表します
microF1	number	マイクロ F1 を表します
microPrecision	number	マイクロ精度を表します
microRecall	number	マイクロリコールを表します

TextAnalysisAuthoringEvaluationOptions

評価の実行に使用されるオプションを表します。

名前	型	説明
kind	EvaluationKind	評価の種類を表します。 既定では、評価の種類は percentage に設定されています。
testingSplitPercentage	integer	テスト データセットの分割率を表します。 評価の種類がパーセンテージの場合にのみ必要です。
trainingSplitPercentage	integer	トレーニング データセットの分割率を表します。 評価の種類がパーセンテージの場合にのみ必要です。

TextAnalysisAuthoringMultiLabelClassEvaluationSummary

複数ラベル分類プロジェクトのクラスの評価の概要を表します。

名前	型	説明
f1	number	モデルの精度を表します
falseNegativeCount	integer	偽陰性の数を表します
falsePositiveCount	integer	誤検知の数を表します
precision	number	モデルの再現率を表します
recall	number	モデル F1 スコアを表します
trueNegativeCount	integer	真負の数を表します
truePositiveCount	integer	真陽性の数を表します

TextAnalysisAuthoringMultiLabelClassificationEvaluationSummary

複数ラベル分類プロジェクトの評価の概要を表します。

名前	型	説明
classes	<string,  TextAnalysisAuthoringMultiLabelClassEvaluationSummary>	クラスの評価を表します
macroF1	number	マクロ F1 を表します
macroPrecision	number	マクロの有効桁数を表します
macroRecall	number	マクロの再現率を表します
microF1	number	マイクロ F1 を表します
microPrecision	number	マイクロ精度を表します
microRecall	number	マイクロリコールを表します

TextAnalysisAuthoringSingleLabelClassEvaluationSummary

単一ラベル分類プロジェクトのクラスの評価の概要を表します。

名前	型	説明
f1	number	モデルの精度を表します
falseNegativeCount	integer	偽陰性の数を表します
falsePositiveCount	integer	誤検知の数を表します
precision	number	モデルの再現率を表します
recall	number	モデル F1 スコアを表します
trueNegativeCount	integer	真負の数を表します
truePositiveCount	integer	真陽性の数を表します

TextAnalysisAuthoringSingleLabelClassificationEvaluationSummary

カスタムの単一ラベル分類プロジェクトの評価の概要を表します。

名前	型	説明
classes	<string,  TextAnalysisAuthoringSingleLabelClassEvaluationSummary>	クラスの評価を表します
confusionMatrix	object	2 つのクラス間の混同行列を表します (2 つのクラスは同じにすることができます)。 マトリックスは、ラベル付けされたクラスと予測されたクラスの間にあります。
macroF1	number	マクロ F1 を表します
macroPrecision	number	マクロの有効桁数を表します
macroRecall	number	マクロの再現率を表します
microF1	number	マイクロ F1 を表します
microPrecision	number	マイクロ精度を表します
microRecall	number	マイクロリコールを表します