Azure AI Content Understanding は、広範なデータ セットの正確で正確な分析を容易にするために設計された革新的なジェネレーティブ AI サービスです。 このサービスは、ドキュメント、画像、ビデオ、オーディオなど、さまざまなコンテンツ モダリティを処理し、ユーザー指定の出力形式に変換します。
このドキュメントでは、データ処理と分析の要件に Content Understanding を効果的に利用するためのガイダンスとベスト プラクティスについて説明します。
フィールドの説明を使用して出力をガイドする
スキーマを定義するときは、フィールドの詳細な説明を提供することが不可欠です。 明確で簡潔な説明により、モデルは正しい情報に焦点を当て、出力の精度が向上します。
例 1
請求書から日付を抽出する場合は、フィールドに
Date名前を付けるだけでなく、次のような説明を入力します。The date when the invoice was issued, typically found at the top right corner of the document.
例 2
請求書から
Customer Nameを抽出するとします。 説明に次の内容が表示される場合があります。The name of the customer or client to whom this invoice is addressed, usually located near the billing address. It should be the name of the business or person, but not the entire mailing address.
フィールドの説明を編集して間違いを修正する
システムの出力が期待を満たしていない場合は、最初にフィールドの説明を絞り込んで更新します。 コンテキストを明確にし、必要な内容をより明確にすることで、あいまいさが軽減され、精度が向上します。
例 3
Shipping dateフィールドが一貫性のないまたは正確でない抽出を生成した場合、多くはDispatch Dateラベルの後に発生することがありますので、より正確なものに更新してください。The date when the products were shipped, typically found below the item list. It may also be labeled something similar like Delivery Date or Dispatch Date. Dates should typically have a format like 1/23/2024 or 01-04-2025.この追加のコンテキストにより、モデルはドキュメント内の適切な場所に移動します。
特定の出力に分類フィールドを使用する
伝票タイプ、製品カテゴリ、ステータスなどの一連の定義済みオプションから選択する必要がある場合は、分類フィールドを使用します。 オプションがあいまいな場合は、各オプションについて明確な説明を提供して、モデルがデータを正確に分類できるようにします。
例 4
- ドキュメントを
Invoice、Claim、またはReportとして分類する必要がある場合は、これらの単語をカテゴリ名として分類フィールドを作成します。
例 5
製品イメージを処理するときは、
AlcoholicDrinks、SoftDrinks、Snacks、DairyProductsなどのカテゴリに割り当てる必要がある場合があります。 一部の項目は似ているように見える可能性があるため、近い呼び出しケースに正確な定義を指定すると役立ちます。 例えば次が挙げられます。Alcoholic Drinks:ビール、ワイン、スピリッツなど、アルコールを含む飲料。 このカテゴリは、ソフトドリンクやその他の非アルコール飲料を除く。Soft Drinks:炭酸無アルコール飲料(ソーダ、スパークリングウォーターなど)。 このカテゴリには、ジュースやアルコール飲料は含まれません。
各カテゴリを明確に定義することで、誤分類を最小限に抑えながら、システムによって製品が正しく分類されるようにします。
信頼度スコアを使用して、人間のレビューが必要なタイミングを判断する
信頼度スコアは、人間のレビュー担当者が関与するタイミングを決定するのに役立ちます。 お客様は、しきい値を使用して信頼度スコアを解釈し、より多くのレビューが必要な結果を決定し、エラーのリスクを最小限に抑えることができます。
例 6
請求書レビューのユース ケースの場合、
TotalInvoiceAmountのような抽出されたキー フィールドに信頼度スコアが 0.80 以下の場合は、そのドキュメントを手動レビューにルーティングします。 これは、必要に応じて、請求書の合計や法的明細書などの重要なフィールドを人間が検証するのに役立ちます。フィールドの種類に基づいて、さまざまな信頼度しきい値を設定できます。 たとえば、重要度が低い
Commentsフィールドには低いしきい値を設定し、ContractTerminationDateには高いしきい値を設定して間違いを防ぎます。
オーディオとビデオの言語選択を縮小してエラーを減らす
オーディオとビデオのコンテンツを操作する場合、文字起こし用に狭い言語セットを選択すると、エラーが減る可能性があります。 含める言語が多いほど、どの言語が話されているかをシステムが推測する必要があり、誤認識が増加する可能性があります。
例 7
- コンテンツに英語とスペイン語のみが含まれていることが確実な場合は、これら 2 つの言語のみに文字起こしを構成すると、品質が向上します。 ただし、コンテンツに誤って他の言語が含まれている場合、このような構成は実際には全体的な品質を低下させる可能性があります。
トランスクリプト、ドキュメント テキスト、話者データ: フィールドは必須ではありません
既定では、音声トランスクリプト、 OCRによって抽出されたドキュメント テキスト、ビデオ キー フレームなどのコンテンツ抽出情報にアナライザー出力から直接アクセスして、即時のレビューやカスタム処理を行うことができます。 これらの項目のスキーマにフィールドを定義する必要はありません。 フィールドは、トランスクリプトの要約、エンティティの識別、 OCRからの特定の項目の抽出など、より多くの処理が必要な場合に使用できます。 各フィールドは、必要なコンテンツを抽出または生成するようにシステムに指示できます。
分類子カテゴリの名前と説明
分類子と分割の精度を向上させるには、コンテキストを使用して適切なカテゴリ名と説明を指定することが重要です。
例 8
カテゴリ名については、一般的なタイトル (年次財務報告、SEC フォーム 10-K など) を必ず使用してください。
カテゴリの説明については、1 つのカテゴリを別のカテゴリと区別するコンテキストを必ず指定してください。
- セマンティック定義: 例:
receipts for expense reporting - 主要なコンテンツ: カテゴリを一意に識別できるコンテンツ (古い税フォームと区別するための税フォームの
2025など) - 一般的なレイアウト:
two-column formや塗りつぶし/未入力のチェック ボックスなど、他のレイアウトと区別できるレイアウト
- セマンティック定義: 例: