カスタム NER モデルの評価と詳細を表示する

モデルのトレーニングが完了したら、モデルのパフォーマンスを表示し、テスト セットのドキュメントに対して抽出されたエンティティを確認できます。

注意

[トレーニング データからテスト セットを自動的に分割する] オプションを使用すると、テスト セットがデータからランダムに選択されるため、新しいモデルをトレーニングするたびにモデル評価の結果が異なる可能性があります。 モデルをトレーニングするたびに同じテスト セットで評価が計算されるようにするには、トレーニング ジョブを開始するときに [トレーニング データとテスト データの手動分割を使用する] オプションを使用し、データにラベルを付けるときにテスト ドキュメントを定義してください。

前提条件

モデルの評価を表示する前に、次のものが必要です。

• 構成済みの Azure Blob Storage アカウントで正常に作成されたプロジェクト
• ストレージ アカウントにアップロードされたテキスト データ。
• ラベルの付いたデータ
• 正常にトレーニングされたモデル

詳細については、「プロジェクト開発ライフサイクル」を参照してください。

モデルの詳細

Language Studio

1. Language Studio でプロジェクトのページに移動します。

2. 画面の左側にあるメニューから [モデルのパフォーマンス] を選びます。

3. このページでは、正常にトレーニングされたモデル、各モデルの F1 スコア、およびモデルの有効期限のみを表示できます。 モデル名を選択すると、そのパフォーマンスに関する詳細を確認できます。

Note

テスト セットでラベル付けも予測もされていないエンティティは、結果の一部として表示されません。

概要

• このタブでは、F1 スコア、精度、リコール、トレーニング ジョブの日付と時刻、トレーニング時間の合計、このトレーニング ジョブに含まれるトレーニングおよびテスト ドキュメントの数など、モデルの詳細を表示できます。

  

• また、モデルを改善する方法に関するガイダンスも表示されます。 [詳細の表示] をクリックすると、サイド パネルが開き、モデルを改善する方法に関するガイダンスが表示されます。 この例では、BorrowerAddress エンティティと BorrowerName エンティティが $none エンティティと混同されています。 混同されたエンティティをクリックすると、[データのラベル付け] ページに移動し、より多くのデータに正しいエンティティのラベルを付けられます。

  

  モデルのパフォーマンスの概念におけるモデル ガイダンスと混同行列の詳細について説明します。

エンティティ型のパフォーマンス

• これは、テスト中にモデルがどのように動作したかのスナップショットです。 ここでのメトリックは静的であり、モデルに関連付けられているため、もう一度トレーニングするまで更新されません。

• 各エンティティの精度、リコール、F1 スコア、トレーニングの数とテスト ラベルを確認できます。

  

テスト セットの詳細

• ここでは、テスト セットに含まれるドキュメントと、各ドキュメントの結果エンティティ型が表示されます。 [不一致のみを表示] トグルを使用すると、不一致のドキュメントのみを表示したり、トグルを選択解除してテスト セット内のすべてのドキュメントを表示したりできます。

• ドキュメントごとに、ラベル付きテキスト、それぞれのラベル付きエンティティ型、および予測に使用されたエンティティを表示できます。 また、真陽性、擬陽性、擬陰性のどちらであるかを確認できます。

  

データセットの分散

このスナップショットは、エンティティがトレーニング セットとテスト セット間でどのように分散されるかを示しています。 このデータは静的であり、モデルに関連付けられているため、もう一度トレーニングするまで更新されません。

• データセットの分散は、グラフまたはテーブル ビューで表示できます。

グラフ ビュー

• ラベルが少なくとも 1 つのドキュメント: このビューは、各エンティティについて、トレーニング セットとテスト セット全体でこのエンティティの出現回数を表示します。

• ドキュメント全体のインスタンスの合計数: このビューには、エンティティごとに、トレーニングおよびテスト セット全体のラベル付きの出現回数が表示されます。

  

テーブル ビュー

各エンティティについて、トレーニング セット内のエンティティごとのタグ、トレーニング セット内のタグ付きドキュメント、テスト セット内のエンティティごとのタグ、テスト セット内のタグ付きドキュメント、エンティティごとのタグの合計、タグ付けされたドキュメントの合計を表示できます。

混同行列

混同行列は、分類モデルのパフォーマンスの評価に使用される N x N 行列であり、N はターゲット エンティティの数です。 この行列では、実際のターゲット値と機械学習モデルによって予測された値を比較して、抽出モデルのパフォーマンスと発生しているエラーの種類を示します。

混同行列は、正規化または生のカウント ビューで表示できます。

• すべての値: すべてのエンティティの混同行列が表示されます。

• エラーのみ: エラーがあるエンティティの混同行列のみが表示されます。

• 一致のみ: 正しい予測があるエンティティの混同行列のみが表示されます。

REST API

トレーニング済みのモデル評価の概要を取得するには、次の URL、ヘッダー、JSON 本文を使用して GET 要求を送信します。

要求 URL

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{trainedModelLabel}/evaluation/summary-result?api-version={API-VERSION}

プレースホルダー	値	例
{ENDPOINT}	API 要求を認証するためのエンドポイント。	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	プロジェクトの名前。 この値は、大文字と小文字が区別されます。	myProject
{trainedModelLabel}	トレーニング済みモデルの名前。 この値は、大文字と小文字が区別されます。	Model1
{API-VERSION}	呼び出している API のバージョン。 使用可能な他の API バージョンの詳細については、モデルのライフサイクルに関するページを参照してください。	2022-05-01

ヘッダー

要求を認証するには、次のヘッダーを使います。

Key	値
Ocp-Apim-Subscription-Key	リソースへのキー。 API 要求の認証に使われます。

応答本文

要求を送信すると、次の応答を受け取ります。

{
  "projectKind": "CustomEntityRecognition",
  "customEntityRecognitionEvaluation": {
    "confusionMatrix": {
      "additionalProp1": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      },
      "additionalProp2": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      },
      "additionalProp3": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      }
    },
    "entities": {
      "additionalProp1": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      },
      "additionalProp2": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      },
      "additionalProp3": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      }
    },
    "microF1": 0,
    "microPrecision": 0,
    "microRecall": 0,
    "macroF1": 0,
    "macroPrecision": 0,
    "macroRecall": 0
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 0,
    "testingSplitPercentage": 0
  }
}

モデル データの読み込みまたはエクスポート

Language Studio

モデル データを読み込むには:

1. モデル評価ページで任意のモデルを選択します。

2. [モデル データの読み込み] ボタンを選択します。

3. 表示されるウィンドウで、キャプチャする必要がある未保存の変更がないことを確認し、[データの読み込み] を選択します。

4. モデル データのプロジェクトへの読み込みが完了するまで待ちます。 完了すると、[Schema design] (スキーマ デザイン) ページにリダイレクトされます。

モデル データをエクスポートするには:

1. モデル評価ページで任意のモデルを選択します。

2. [モデル データのエクスポート] ボタンを選択します。 モデルの JSON スナップショットがローカルにダウンロードされるまで待ちます。

REST API

モデル データを読み込む

モデル データをプロジェクトに読み込むには、次の URL、ヘッダー、JSON 本文を使って POST 要求を作成します。

要求 URL

API 要求を作るときは、次の URL を使います。 次のプレースホルダーの値を実際の値に置き換えてください。

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{MODEL-NAME}:load-snapshot?stringIndexType=Utf16CodeUnit&api-version={API-VERSION}

プレースホルダー	値	例
{ENDPOINT}	API 要求を認証するためのエンドポイント。	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	プロジェクトの名前。 この値は、大文字と小文字が区別されます。	EmailApp
{API-VERSION}	呼び出している API のバージョン。	2022-10-01-preview
{MODEL-NAME}	モデルの名前。 この値は、大文字と小文字が区別されます。	v1

ヘッダー

要求を認証するには、次のヘッダーを使います。

Key	値
Ocp-Apim-Subscription-Key	リソースへのキー。 API 要求の認証に使われます。

API 要求を送信すると、成功を示す 202 応答が返されます。 応答ヘッダーで、operation-location の値を抽出します。 それは次のように書式設定されています。

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{MODEL-NAME}/jobs/{JOB-ID}?api-version={API-VERSION}

この操作は非同期であるため、JOB-ID を使って要求が識別されます。 この URL を使用し、同じ認証方法を使用して、モデル データの読み込みの状態を取得します。

モデル データをエクスポートする

モデル データをエクスポートするには、次の URL、ヘッダー、JSON 本文を使って POST 要求を作成します。

要求 URL

API 要求を作るときは、次の URL を使います。 次のプレースホルダーの値を実際の値に置き換えてください。

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/:export?stringIndexType=Utf16CodeUnit&api-version={API-VERSION}&trainedModelLabel={MODEL-NAME}

プレースホルダー	値	例
{ENDPOINT}	API 要求を認証するためのエンドポイント。	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	プロジェクトの名前。 この値は、大文字と小文字が区別されます。	EmailApp
{API-VERSION}	呼び出している API のバージョン。	2022-10-01-preview
{MODEL-NAME}	モデルの名前。 この値は、大文字と小文字が区別されます。	v1

ヘッダー

要求を認証するには、次のヘッダーを使います。

Key	値
Ocp-Apim-Subscription-Key	リソースへのキー。 API 要求の認証に使われます。

API 要求を送信すると、成功を示す 202 応答が返されます。 応答ヘッダーで、operation-location の値を抽出します。 それは次のように書式設定されています。

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/jobs/{JOB-ID}?api-version={API-VERSION}

この操作は非同期であるため、JOB-ID を使って要求が識別されます。 同じ認証方法を使用し、エクスポートされたプロジェクトの JSON をこの URL を使用して取得します。

モデルを削除する

Language Studio

Language Studio 内からモデルを削除するには:

1. 左側のメニューから [モデルのパフォーマンス] を選びます。

2. 削除するモデル名を選び、上部のメニューから [削除] を選択します。

3. 表示されたウィンドウで [OK] を選択してモデルを削除します。

REST API

トレーニング済みのモデルを削除するには、次の URL、ヘッダー、JSON 本文を使って DELETE 要求を作成します。

要求 URL

{Endpoint}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{trainedModelLabel}?api-version={API-VERSION}

プレースホルダー	値	例
{ENDPOINT}	API 要求を認証するためのエンドポイント。	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	プロジェクトの名前。 この値は、大文字と小文字が区別されます。	myProject
{trainedModelLabel}	モデルの名前。 この値は、大文字と小文字が区別されます。	model1
{API-VERSION}	呼び出している API のバージョン。 ここで参照される値は、リリース済みの最新バージョン用です。 使用可能な他の API バージョンの詳細については、モデルのライフサイクルに関するページを参照してください。	2022-05-01

ヘッダー

要求を認証するには、次のヘッダーを使います。

Key	値
Ocp-Apim-Subscription-Key	リソースへのキー。 API 要求の認証に使われます。

API 要求を送信すると、成功を示す 204 応答を受け取ります。これは、トレーニング済みのモデルが削除されたことを意味します。

次のステップ

• モデルをデプロイする
• 評価で使用されるメトリックについて学習してください。