増分分類子のトレーニング

[アーティクル]
05/23/2024

このコンテンツの適用対象: v4.0 (プレビュー)

Azure AI Document Intelligence は、クラウドベースの Azure AI サービスで、インテリジェントなドキュメント処理ソリューションの構築を可能とします。 Document Intelligence API は、画像、PDF、その他のドキュメントファイルを分析して、さまざまなコンテンツ、レイアウト、スタイル、セマンティック要素を抽出および検出します。

ドキュメントインテリジェンスカスタム分類モデルは、レイアウト機能と言語機能を組み合わせて、アプリケーション内で処理するドキュメントを正確に検出して識別するディープラーニングモデル型です。カスタム分類モデルは、入力ファイル内の各ページを分類してその中のドキュメントを識別し、入力ファイル内の複数のドキュメントまたは 1 つのドキュメントの複数のインスタンスを識別することもできます。

ドキュメントインテリジェンスドキュメント分類子は、ファイル内の既知のドキュメントの種類を識別します。ドキュメントの種類が複数ある入力ファイルを処理する場合、またはドキュメントの種類がわからない場合は、分類子を使用してドキュメントを識別します。分類子は、既存のクラスの新しいテンプレートを追加するとき、認識用に新しいドキュメントの種類を追加するとき、または分類子の信頼度が低い場合に定期的に更新する必要があります。一部のシナリオでは、分類子のトレーニングに使用された元のドキュメントセットを使用できなくなりました。増分トレーニングを使用すると、ラベル付けされた新しいサンプルだけで分類子を更新できるようになりました。

Note

増分トレーニングは、ドキュメント分類子モデルにのみ適用され、カスタムモデルには適用されません。

増分トレーニングは、カスタム分類子の品質を向上させる場合に便利です。既存のクラスに新しいトレーニングサンプルを追加すると、既存のドキュメントの種類に対するモデルの信頼性が向上します。たとえば、既存のフォームの新しいバージョンが追加された場合や、新しいドキュメントの種類がある場合、アプリケーションは有効な入力として新しいドキュメントの種類のサポートを開始します。

増分トレーニングの概要

増分トレーニングでは、新しい API エンドポイントは導入されません。
documentClassifiers:build 要求ペイロードは、増分トレーニングをサポートするように変更されます。
増分トレーニングにより、既存の分類子をそのまま使用して新しい分類子モデルが作成されます。
新しい分類子には、古い分類子のすべてのドキュメントサンプルと型と、新しく提供されたサンプルが含まれています。新しくトレーニングされた分類子を使用するには、アプリケーションが更新されていることを確認する必要があります。

Note

分類子のコピー操作は現在使用できません。

増分分類子のビルド要求を作成する

増分分類子のビルド要求は、分類ドキュメントのビルド要求に似ていますが、新しい baseClassifierId プロパティが含まれています。 baseClassifierId は、拡張する既存の分類子に設定されます。また、サンプルセット内の各種ドキュメントに docTypes を指定する必要があります。 baseClassifier に存在する docType を指定することで、要求で提供されたサンプルが、基本分類子のトレーニング時に提供されたサンプルに追加されます。増分トレーニングで追加された新しい docType 値は、新しい分類子にのみ追加されます。サンプルを指定するプロセスは変更されません。詳細については、分類子モデルのトレーニングに関する記事を参照してください。

サンプルの POST 要求

増分ドキュメント分類子を構築するためのサンプル POST 要求

POST {your-endpoint}/documentintelligence/documentClassifiers:build?api-version=2024-02-29-preview

{
  "classifierId": "myAdaptedClassifier",
  "description": "Classifier description",
  "baseClassifierId": "myOriginalClassifier",
  "docTypes": {
    "formA": {
      "azureBlobSource": {
        "containerUrl": "https://myStorageAccount.blob.core.windows.net/myContainer?mySasToken",
        "prefix": "formADocs/"
      }
    },
    "formB": {
      "azureBlobFileListSource": {
        "containerUrl": "https://myStorageAccount.blob.core.windows.net/myContainer?mySasToken",
        "fileList": "formB.jsonl"
      }
    }
  }
}

POST 応答

すべてのドキュメントインテリジェンス API は非同期であり、返された操作の場所をポーリングすると、ビルド操作の状態が提供されます。分類子のトレーニングは高速で、分類子は 1 - 2 分で使用できます。

"正常に完了した場合":

成功した POST メソッドから 202 OK 応答コードが返され、サービスによって要求が作成されたことが示されます。
翻訳されたドキュメントがターゲットコンテナーに配置されます。
POST 要求は、Operation-Locationを含む応答ヘッダーも返します。このヘッダーの値には resultId が含まれており、クエリを実行して非同期操作の状態を取得し、同じリソースサブスクリプションキーで GET 要求を使用して結果を取得できます。

サンプルの GET 要求

増分ドキュメント分類子の結果を取得するためのサンプル GET 要求

GET {your-endpoint}/documentintelligence/documentClassifiers/{classifierId}/analyzeResults/{resultId}?api-version=2024-02-29-preview


{
  "classifierId": "myAdaptedClassifier",
  "description": "Classifier description",
  "createdDateTime": "2022-07-30T00:00:00Z",
  "expirationDateTime": "2023-01-01T00:00:00Z",
  "apiVersion": "2024-02-29-preview",

  "baseClassifierId": "myOriginalClassifier",

  "docTypes": {
    "formA": {
      "azureBlobSource": {
        "containerUrl": "https://myStorageAccount.blob.core.windows.net/myContainer",
        "prefix": "formADocs/"
      }
    },
    "formB": {
      "azureBlobFileListSource": {
        "containerUrl": "https://myStorageAccount.blob.core.windows.net/myContainer",
        "fileList": "formB.jsonl"
      }
    }
  }
}

GET 応答

増分トレーニングされた分類子からの GET 応答は、標準の分類子 GET 応答とは異なります。増分トレーニングされた分類子は、サポートされているすべてのドキュメントの種類を返すわけではありません。増分トレーニング手順で追加または更新されたドキュメントの種類と、拡張基本分類子が返されます。ドキュメントの種類の完全な一覧を取得するには、基本分類子を一覧表示する必要があります。基本分類子を削除しても、増分トレーニングされた分類子の使用には影響しません。

制限

増分トレーニングは、基本分類子と増分トレーニング済み分類子の両方が同じ API バージョンでトレーニングされている場合にのみ機能します。その結果、増分トレーニングされた分類子は、基本分類子と同じモデルライフサイクルを持ちます。
増分分類子のトレーニングデータセットサイズの制限は、他の分類子モデルの場合と同じです。該当する制限の完全な一覧については、サービスの制限を参照してください。

次のステップ

ドキュメント分類に関する詳細情報

次の方法で共有