智慧文件處理(IDP)將非結構化內容——如 PDF、DOCX 檔案、圖片和簡報——轉換成結構化且豐富的資料,驅動下游代理、應用程式和分析工具。
Azure Databricks 提供五種運行 IDP 的方法,全部都建立在相同的研究開發的 AI 功能上:
- Agent Bricks UI:無程式碼、視覺化的體驗,用於解析、擷取及分類文件。 用它來測試範例文件、精煉結構或標籤,並在擴展前視覺化驗證結果。
- SQL AI 函式:直接在 Lakehouse 上執行智慧文件處理功能。 使用它們來大規模處理文件、將各個階段串接起來,並在 Lakeflow 管線中建置受治理的正式生產級管線。
- REST API:從應用程式、服務和自動化工作流程中呼叫相同的 AI 函式。
-
非同步 API (Beta):對 Unity Catalog 磁碟區檔案中的多個輸入非同步執行
ai_parse_document、ai_extract或ai_classify,並取得位於磁碟區中檔案內的結果。 對於ai_parse_document,輸入也可以是磁碟區目錄。 請參閱 非同步 API 參考資料。 -
Lakeflow Jobs 中的 AI 功能任務(測試版):在工作中新增
ai_parse_document、ai_extract或ai_classify任務,以按時程處理新文件及變更文件,無需撰寫 SQL。 請參見 AI 功能的工作任務。
智慧文件處理能力
| 功能 | Agent Bricks 使用者介面 | SQL 函式 | REST API | 非同步 API (測試版) |
|---|---|---|---|---|
| 將 PDF、DOCX、圖片和 PPT 轉換成結構化文字、表格和圖表描述。 | 文件解析 | ai_parse_document |
AI 解析文件 | 非同步 API |
| 用你定義的架構,從文件或純文字中拉取結構化欄位。 | 資訊提取 | ai_extract |
AI 萃取 | 非同步 API |
| 為文件或文字指派預先定義的分類,支援最多 500+ 個標籤。 | 分類 | ai_classify |
AI 分類 | 非同步 API |
| 將解析後的文件轉換為語意區塊,供檢索增強生成(RAG)及 AI 搜尋索引使用。 |
ai_prep_search (測試版) |
常見使用案例
Azure Databricks 上的 IDP 支援多種下游應用程式:
- 檢索增強生成(RAG):解析與結構化文件,以提升分塊、檢索品質及 LLM 應用中有根據的回應能力。
- 知識萃取與分析:提取關鍵欄位與元資料,以支援文件資料的搜尋、報告與商業智慧。
- 代理驅動工作流程:路由、分類並豐富文件,以支援自動化決策與任務執行。
- 文件理解與分類:依類型、主題或內容組織大型文件語料庫,以便後續處理。
運作原理
Azure Databricks 讓智慧文件處理成為 Lakehouse 上統一的端到端工作流程。 擷取、解析、豐富化及下游分析皆建置於單一平台,因此每個階段無縫協同運作,無需複雜的整合或資料流動。
擷取並協調流程
使用 Lakeflow 管線來匯入原始文件(例如 PDF、圖片和 DOCX 檔案),並協調管線。 由於匯入與編排在 Lakehouse 中原生整合,文件直接流入後續處理,無需需要額外的基礎設施。
解析文件(青銅層)
應用
ai_parse_document將原始檔案轉換成結構化表示。 這建立了標準化的青銅層,能捕捉文字、表格/圖片描述及文件結構,為所有後續使用情境提供一致的基礎。擷取與分類
使用
ai_extract並ai_classify豐富解析文件,加入結構化欄位與元資料。 這些函式直接運作於解析後的輸出,讓你能提取關鍵資訊、分類文件,並在不需額外轉換步驟的情況下透過工作流程進行導向。準備檢索(RAG)
應用
ai_prep_search(Beta)將解析後的文件轉換為充滿文件層級上下文(如標題、章節標題及頁面參考)的語意區塊。 輸出以 AI 搜尋索引格式化,為 RAG 與檢索工作負載提供一致的基礎。分析並落地執行
利用額外的 AI 功能或其他工具(AI/BI 儀表板、應用程式、AI 搜尋)進行下游分析、檢索(RAG)及代理驅動工作流程。 由於所有資料都保留在 Lakehouse,結構化文件資料可立即用於搜尋、儀表板及應用程式。