使用非結構化資料

在 Unity 目錄中儲存、管理及處理非結構化檔案,如文件、圖片、音訊和影片,以及結構化資料。

開始

試著用一個端對端的範例,看看各個部分如何拼湊起來。

Guide 說明
FILE 函式快速啟動 建立一個有 FILE 欄位的資料表,並用 FILE 函式處理檔案。
非結構化資料教學 使用 Unity 目錄卷儲存、查詢、處理及分享非結構化檔案。

儲存與參考檔案

選擇如何儲存和參考檔案,取決於你是透過路徑存取,還是以資料表中的值存取。

Approach 說明
Unity 目錄磁碟區 管理非表格檔案的儲存空間。 依路徑上傳、整理及存取磁碟區中的檔案。
檔案類型 參考檔案及其元資料作為資料表中的一級值,受參考列的存取權所控制。 關於型別定義,請參見 FILE 型別參考
二進位資料來源 將檔案的原始位元組存於欄位 BINARY 中。
影像資料來源 將影像檔案讀取到 DataFrame。

程序檔案

在你把檔案存到 Unity 目錄後,擷取內容、執行自訂程式碼並建立管線。

任務 說明
解析文件 利用 AI 功能從文件ai_parse_document中擷取結構化內容。
帶有 UDF 的程序檔案 讀取檔案元資料和位元組,並用你自己的 UDF 程式碼產生新檔案。
將檔案匯入為 FILE 參考 將檔案載入至表格中,作為 FILE 參照。
建立檔案管線 在管線中端到端處理檔案。
搜尋磁碟區中的檔案 將檔案索引成卷,讓使用者和客服人員都能搜尋。

檔案治理

控制誰能存取檔案並管理 Unity Catalog 的生命週期。

能力 說明
磁碟區存取控制 授權磁碟區權限,以控制誰能依路徑讀寫檔案。
檔案管理生命週期 讓 Azure Databricks 管理資料表所參考檔案的儲存與生命週期。
FILE 欄位的列篩選器 透過對參考檔案的列施加列過濾器來限制存取。