Unityカタログでは、ドキュメント、画像、音声、ビデオなどの非構造化ファイルと構造化データの両方を保存、管理、処理できます。
概要
端から端までの例を試して、ピースがどのようにつながっているかを見てみましょう。
| ガイド | 説明 |
|---|---|
| FILE 関数 quickstart |
FILE列のテーブルを作成し、FILE関数を使ってファイルを扱います。 |
| 非構造化データチュートリアル | Unityカタログボリュームを使って非構造化ファイルの保存、クエリ、処理、共有が可能です。 |
ファイルを保存して参照する
ファイルの保存方法や参照方法を、パスでアクセスするかテーブル内の値としてアクセスするかで選べます。
| Approach | 説明 |
|---|---|
| Unity カタログ ボリューム | 非表ファイル用のストレージを管理します。 ファイルをパスごとにアップロード、整理、アクセスできます。 |
| ファイル形式 | 参照ファイルとそのメタデータをテーブルのファーストクラス値として管理し、参照する行へのアクセスによって管理されます。 型定義については、 FILE型参照を参照してください。 |
| バイナリデータソース | ファイルの生のバイトを BINARY 列に保存します。 |
| 画像データソース | 画像ファイルをデータフレームに読み込みます。 |
プロセスファイル
ファイルをUnityカタログに保存した後、コンテンツを抽出し、カスタムコードを実行し、パイプラインを構築します。
| Task | 説明 |
|---|---|
| 文書構文解析 |
ai_parse_documentや他のAI機能を使って文書から構造化されたコンテンツを抽出します。 |
| UDF付きのプロセスファイル | ファイルのメタデータやバイトを読み取り、UDFで自分のコードを使って新しいファイルを生成します。 |
| ファイルをファイル参照として取り込む |
FILE参照としてテーブルにファイルを読み込みます。 |
| ファイルパイプラインを構築する | パイプラインでファイルをエンドツーエンドに処理します。 |
| ボリューム内のファイルを検索 | ファイルをボリュームとしてインデックスし、ユーザーやエージェントが検索できるようにします。 |
ファイルを管理
Unity Catalogで誰がファイルにアクセスし、ライフサイクルを管理できるかを管理できます。
| Capability | 説明 |
|---|---|
| ボリュームアクセス制御 | ボリュームに権限を与え、パスごとに誰がファイルの読み書きをできるかを制御します。 |
| ファイル管理ライフサイクル | Azure Databricksにテーブルが参照するファイルのストレージとライフサイクルを管理させましょう。 |
| ファイル列の行フィルター | ファイルへのアクセスを制限するには、参照する行に行フィルターをかけて制限します。 |