Important
この機能は ベータ版です。 ワークスペース管理者は、[ プレビュー] ページからこの機能へのアクセスを制御できます。 Manage Azure Databricks プレビューを参照してください。
FILE型は文書、画像、音声などの非構造化ファイルを表します。 組み込みのSQL関数は、 FILE 参照としてファイルを作成、コピー、読み取りします。
このページでは、これらの関数を、例えば一般的な操作の例をまとめています。
- Unityカタログのボリュームにファイルをリストアップし、
list_filesFILE参照として記載します。 - ファイルバージョンを識別するために使われる
sizeやchecksumなどのファイルメタデータを読み取ること。 - メタデータでファイルをフィルタリングします。
-
ai_parse_documentで文書内容を解析します。
型の参照については、 FILE 型を参照してください。
概念的な概要については、 FILE type および非構造化データを参照してください。
Requirements
- これらの例は
samples.sec.contractsデータセットを使用しており、これはすべてのワークスペースでデフォルトで利用可能なSEC提出契約PDFのコレクションです。 自分のファイルを使うには、パスをそれらを含むUnity Catalogボリュームに向けてください。
例示
リストファイルとキャプチャ参照
パス上のファイルをリストし、 FILE 参照をテーブルに保存するには、 list_files テーブル値関数を使用します。
CREATE TABLE documents AS
SELECT path, size, modification_time, file
FROM list_files('/Volumes/samples/sec/contracts/');
ファイルのメタデータを読み取る
FILE値のuri、size、content_type、checksumフィールドを読むには、ドット表記を用いてください。
SELECT file.uri, file.size, file.content_type, file.checksum
FROM documents;
メタデータによるファイルフィルタリング
パスやサイズなどのファイルメタデータを使って行をフィルタリングするには:
SELECT file.uri
FROM documents
WHERE file.uri ILIKE '%.pdf'
AND file.size > 100000;
文書内容を解析してください
文書から構造化コンテンツを抽出するには、関数にFILE値を渡ai_parse_document:
SELECT file.uri, ai_parse_document(file) AS parsed
FROM documents
WHERE file.uri ILIKE '%.pdf';
ノートブックの例
以下のノートブックは、 samples.sec.contracts データセットに対して前述のすべての例を解析しています。