Note
このページでは、新しいバージョンの情報抽出について説明します。 以前のバージョンの詳細については、「情報抽出の使用 (レガシ)」を参照してください。
情報抽出は、定義されたスキーマを使用して、非構造化ドキュメントとテキストをキーの構造化された分析情報に変換します。 これにより、非構造化テキスト、PDF、画像、またはテーブルに埋め込まれた情報を、分析、レポート、またはダウンストリームのエージェントとアプリケーションに直接使用できます。
情報抽出の例を次に示します。
- 契約から法的当事者と条件を抽出する。
- 請求書から明細と支払条件を抽出する。
- 医療記録やメモから重要な詳細を引き出します。
情報抽出は、AI 関数の ai_extract上に構築されます。 情報抽出には、抽出用に定義されたスキーマを使用して関数をカスタマイズおよび最適化するためのビジュアル UI があります。
情報抽出では 、既定のストレージ を使用して、一時的なデータ変換、モデル チェックポイント、および各エージェントを機能させる内部メタデータを格納します。 エージェントを削除すると、Databricks はエージェントに関連付けられているすべてのデータを既定のストレージから削除します。
Requirements
- 次を含むワークスペース:
- サーバーレス コンピューティングが有効になっている。 サーバーレス コンピューティング要件を参照してください。
- Unity カタログが有効になっている。 「Unity Catalog のワークスペースを有効にする」を参照してください。
- 0 以外の予算を持つ サーバーレス使用ポリシー へのアクセス。
- この関数は、一部のリージョンでのみ使用できます。 AI 関数の可用性に関するページを参照してください。
-
セキュリティとコンプライアンスの強化アドオンを使用するワークスペースの場合は、
- 適切な
ai_extractについては、 の地域サポートを参照してください。 - ワークスペースで有効にする方法については、「Azure Databricksプレビューの管理」を参照してください。
- 適切な
-
ai_extractSQL 関数を使用する機能。 - 情報を抽出する非構造化データ。 データは、Unity カタログのボリュームまたはテーブルに含まれている必要があります。
- エージェントをビルドするには、Unity カタログ ボリュームに少なくとも 1 つのファイル、またはテーブルに 1 行以上のファイルが必要です。
情報抽出エージェントを作成する
ワークスペースの左側のナビゲーション ウィンドウにあるエージェント。
エージェントの作成>情報抽出をクリックします。
ステップ 1. 情報を抽出するデータを選択する
[ データの開始] ページで 、情報を抽出するファイルまたはデータを選択します。 次のいずれかの操作を実行できます。
- 1 つ以上のファイルをアップロード領域にドラッグ アンド ドロップするか、クリックしてアップロードするファイルを参照します。
- [ ボリュームの選択 ] をクリックして、サポートされているファイルの種類の Unity カタログ ボリュームを選択します。
- [ テーブルの選択 ] をクリックして、テキスト データを含む Unity カタログ テーブルを選択します。
テーブルを選択する場合は、抽出するデータを含む列を選択します。 続行する前に、STRING や VARIANT など、サポートされている型の列を選択する必要があります。 テーブルにサポートされている列がない場合は、別のテーブルを選択します。
[ エージェントの作成] をクリックします。 このボタンは、有効なデータ ソースを選択し、テーブルでサポートされている列を選択した後でのみ有効になります。
ステップ 2. 抽出スキーマの構成と調整
情報抽出によってデータが処理されたら、ドキュメントから抽出するデータを構成して絞り込みます。
[構成] で抽出スキーマを定義します。 これにはいくつかの方法があります。
- 抽出する情報を記述する自然言語を入力し、[スキーマの 生成] をクリックします。 情報抽出では、フィールド名と定義を含む JSON スキーマが自動的に生成されます。 必要に応じて、これらの説明を編集します。
- または、[ または、手動で定義 ] をクリックしてスキーマを手動で定義します。
- [ フィールドの追加] をクリックします。
- フィールド名、種類、説明を入力します。
- [Confirm](確認) をクリックします。
- 抽出するフィールドごとに繰り返します。
- [ 保存して抽出を実行] をクリックします。
- JSON をクリックして JSON スキーマを直接編集することもできます。 完了したら、[ 変更の適用] をクリックします。
スキーマを更新して [保存して抽出を実行] をクリックするたびに、情報抽出によって抽出エージェントが更新され、抽出が実行され、各入力の結果が表示されます。
左側に、解析されたドキュメントとエージェントによる抽出を確認します。 抽出結果を 2 つの方法で反復処理します。 まず、1 つ以上の入力に対して自然言語でフィードバックを入力します。Save and run extraction をクリックすると、その内容に基づいて説明文が自動的に調整されます。 次に、スキーマの説明を手動で変更します。これは、[ 保存] をクリックして抽出を実行したときに有効になります。
バージョンを使用して、以前の構成を比較または元に戻します。 [ バージョン] をクリックし、[ 比較 ] をクリックして、以前のバージョンのスキーマ定義を現在のバージョンと比較します。 [ 復元 ] をクリックして以前のバージョンを復元します。
手順 3. 抽出エージェントを使用する
エージェントのパフォーマンスに満足したら、エージェントを使用して情報を抽出します。
右上の [ エージェントの使用 ] をクリックします。 次のいずれかを選択可能です。
-
SQL で実行 し、エージェントを使用してすべてのデータから情報を抽出します。 これにより、
ai_extractを使用して、定義されたスキーマを使用してボリュームまたはテーブルから情報を抽出する SQL クエリが開きます。 SQL クエリでのai_extractの使用の詳細については、「ai_extract関数」を参照してください。 - Spark 宣言型パイプラインを作成 して、スケジュールされた間隔で実行される ETL パイプラインをデプロイし、新しいデータでエージェントを呼び出します。 これにより、抽出されたデータでストリーミング テーブルを更新する Lakeflow Spark 宣言パイプラインが作成されます。 新しいデータが到着したときに実行されるようにパイプラインのスケジュールを構成できます。 Lakeflow Spark 宣言パイプラインの詳細については、「 Lakeflow Spark 宣言型パイプライン」を参照してください。
Limitations
- 制限事項を参照してください
- 情報抽出エージェントには、128k トークンの最大コンテキスト長があります。
- ユニオンスキーマ型はサポートされていません。