文件處理模型
重要
- Document Intelligence 公開預覽版本提供早期存取作用中開發的功能。
- 根據使用者意見反應,功能、方法和流程在正式發行 (GA) 前可能有所變更。
- Document Intelligence 用戶端連結庫的公開預覽版本預設為 REST API 版本 2024-02-29-preview。
- 公開預覽版本 2024-02-29-preview 目前僅適用於下列 Azure 區域:
- 美國東部
- 美國西部 2
- 西歐
此內容適用於:v4.0 (預覽) | 舊版:v3.1 (GA)v3.0 (GA)v2.1 (GA)
此內容適用於:v2.1 | 最新版本:v4.0(預覽)
Azure AI 文件智慧支援各種不同的模型,可讓您將智慧型文件處理新增至應用程式和流程中。 您可以使用預先建置的領域特定模型,或定型專為特定商務需求和使用案例量身打造的自定義模型。 檔智慧可以搭配 REST API 或 Python、C#、Java 和 JavaScript 用戶端連結庫使用。
模型概觀
下表顯示每個目前預覽和穩定 API 的可用模型:
模型類型 | 模型 | • 2024-02-29-preview • 2023-10-31-preview |
2023-07-31 (GA) | 2022-08-31 (GA) | v2.1 (GA) |
---|---|---|---|---|---|
文件分析模型 | 讀取 | ✔️ | ✔️ | ✔️ | n/a |
文件分析模型 | 版面配置 | ✔️ | ✔️ | ✔️ | ✔️ |
文件分析模型 | 一般文件 | 已移至版面配置** | ✔️ | ✔️ | n/a |
預建模型 | 合約 | ✔️ | ✔️ | n/a | n/a |
預建模型 | Health insurance card | ✔️ | ✔️ | ✔️ | n/a |
預建模型 | 身分證明文件 | ✔️ | ✔️ | ✔️ | ✔️ |
預建模型 | 發票 | ✔️ | ✔️ | ✔️ | ✔️ |
預建模型 | 收據 | ✔️ | ✔️ | ✔️ | ✔️ |
預建模型 | 美國 1040 稅金* | ✔️ | ✔️ | n/a | n/a |
預建模型 | 美國 1098 稅金* | ✔️ | n/a | n/a | n/a |
預建模型 | 美國 1099 稅金* | ✔️ | n/a | n/a | n/a |
預建模型 | 美國 W2 稅金 | ✔️ | ✔️ | ✔️ | n/a |
預建模型 | 美國抵押貸款 1003 URLA | ✔️ | n/a | n/a | n/a |
預建模型 | 美國抵押貸款 1008 摘要 | ✔️ | n/a | n/a | n/a |
預建模型 | 美國抵押貸款收盤披露 | ✔️ | n/a | n/a | n/a |
預建模型 | 結婚證 | ✔️ | n/a | n/a | n/a |
預建模型 | 信用卡 | ✔️ | n/a | n/a | n/a |
預建模型 | 名片 | 已取代 | ✔️ | ✔️ | ✔️ |
自訂分類模型 | 自訂分類器 | ✔️ | ✔️ | n/a | n/a |
自定義擷取模型 | 自訂神經 | ✔️ | ✔️ | ✔️ | n/a |
Customextraction 模型 | 自訂範本 | ✔️ | ✔️ | ✔️ | ✔️ |
自定義擷取模型 | 自訂撰寫 | ✔️ | ✔️ | ✔️ | ✔️ |
所有模型 | 附加元件功能 | ✔️ | ✔️ | n/a | n/a |
* - 包含子模型。 如需支持的變化和子類型,請參閱模型特定資訊。
附加元件功能 | 附加元件/免費 | • 2024-02-29-preview &bullet [2023-10-31-preview](/rest/api/aiservices/operation-groups?view=rest-aiservices-2024-02-29-preview&preserve-view=true |
2023-07-31 (GA) |
2022-08-31 (GA) |
v2.1 (GA) |
---|---|---|---|---|---|
字型屬性擷取 | 附加元件 | ✔️ | ✔️ | n/a | n/a |
公式擷取 | 附加元件 | ✔️ | ✔️ | n/a | n/a |
高解析度擷取 | 附加元件 | ✔️ | ✔️ | n/a | n/a |
條碼擷取 | 免費 | ✔️ | ✔️ | n/a | n/a |
語言偵測 | 免費 | ✔️ | ✔️ | n/a | n/a |
索引鍵值組 | 免費 | ✔️ | n/a | n/a | n/a |
查詢欄位 | 附加元件* | ✔️ | n/a | n/a | n/a |
模型分析功能
Model ID | 內容擷 | 查詢欄位 | 段落 | 段落角色 | 選取標記 | 資料表 | 索引鍵/值組 | 語言 | 條碼 | 檔分析 | 公式* | 樣式字型* | 高解析度* |
---|---|---|---|---|---|---|---|---|---|---|---|---|---|
prebuilt-read | ✓ | O | O | O | O | O | |||||||
prebuilt-layout | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | O | O | O | O | O | ||
prebuilt-document | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | O | O | O | O | O | |
prebuilt-businessCard | ✓ | ✓ | ✓ | ||||||||||
預先建置合約 | ✓ | ✓ | ✓ | ✓ | O | O | ✓ | O | O | O | |||
prebuilt-healthInsuranceCard.us | ✓ | ✓ | O | O | ✓ | O | O | O | |||||
prebuilt-idDocument | ✓ | ✓ | O | O | ✓ | O | O | O | |||||
prebuilt-invoice | ✓ | ✓ | ✓ | ✓ | O | O | O | ✓ | O | O | O | ||
prebuilt-receipt | ✓ | ✓ | O | O | ✓ | O | O | O | |||||
prebuilt-marriageCertificate.us | ✓ | ✓ | O | O | ✓ | O | O | O | |||||
prebuilt-creditCard | ✓ | ✓ | O | O | ✓ | O | O | O | |||||
prebuilt-mortgage.us.1003 | ✓ | ✓ | O | O | ✓ | O | O | O | |||||
prebuilt-mortgage.us.1008 | ✓ | ✓ | O | O | ✓ | O | O | O | |||||
prebuilt-mortgage.us.closingDisclosure | ✓ | ✓ | O | O | ✓ | O | O | O | |||||
prebuilt-tax.us.w2 | ✓ | ✓ | ✓ | O | O | ✓ | O | O | O | ||||
prebuilt-tax.us.1098 | ✓ | ✓ | ✓ | O | O | ✓ | O | O | O | ||||
prebuilt-tax.us.1098E | ✓ | ✓ | ✓ | O | O | ✓ | O | O | O | ||||
prebuilt-tax.us.1098T | ✓ | ✓ | ✓ | O | O | ✓ | O | O | O | ||||
prebuilt-tax.us.1099(變化) | ✓ | ✓ | ✓ | O | O | ✓ | O | O | O | ||||
prebuilt-tax.us.1040(變化) | ✓ | ✓ | O | O | ✓ | O | O | O | |||||
{ customModelName } | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | O | O | ✓ | O | O | O |
✓ - 已啟用
O - 選擇性
* - 進階版 功能會產生額外費用
附加元件* - 查詢欄位的價格與其他附加元件功能不同。 如需詳細資料,請參閱定價。
模型 | 說明 |
---|---|
文件分析模型 | |
讀取 OCR | 擷取列印和手寫文字,包括字組、位置和偵測到的語言。 |
版面配置分析 | 擷取文字和文件版面配置元素,例如資料表、選取標記、標題、區段標題等。 |
預建模型 | |
Health insurance card | 從美國健康保險卡擷取保險公司、成員、處方、組號和其他重要資訊,將醫療保健程序自動化。 |
美國稅務檔模型 | 處理美國稅務表格,以擷取員工、僱主、工資和其他資訊。 |
美國抵押貸款檔模型 | 處理美國抵押貸款表格,以提取借款人貸款和財產資訊。 |
合約 | 擷取合約和合作對象詳細數據。 |
發票 | 自動化發票。 |
收據 | 從收據擷取收據資料。 |
身分識別文件 (ID) | 從美國駕照和國際護照擷取身分識別 (ID) 欄位。 |
名片 | 掃描名片,將重要欄位和資料擷取到您的應用程式。 |
自訂模型 | |
自訂模型 (概觀) | 從您企業專屬的表單和文件擷取資料。 自訂模型會針對相異資料與使用案例進行訓練。 |
自訂擷取模型 | • 自定義範本模型 會使用版面配置提示從檔擷取值,並適合從具有已定義可視化範本的高度結構化檔擷取欄位。 • 自定義類神經模型 會在各種文件類型上定型,以從結構化、半結構化和非結構化檔擷取字段。 |
自訂分類模型 | 自定義 分類模型 可以分類輸入檔中的每個頁面,以識別內的檔,也可以識別輸入檔內單一檔或多個文件實例。 |
組成模型 | 將數個自訂模型結合成單一模型,以自動化處理各種檔案類型與單一組成模型。 |
對於名片模型以外的所有模型,文件智慧現在支援附加元件功能,以允許更複雜的分析。 您可以根據文件擷取的情節,啟用和停用這些選用功能。 有七項附加元件功能可供 2023-07-31
(GA) 和更新版本的 API 版本使用:
ocrHighResolution
formulas
styleFont
barcodes
languages
keyValuePairs
(2024-02-29-preview, 2023-10-31-preview)queryFields
(2024-02-29-preview, 2023-10-31-preview)Not available with the US.Tax models
模型詳細資料
本節說明您可以從每個模型預期的輸出。 請注意,您可以使用附加元件功能來擴充大部分模型的輸出。
讀取 OCR
讀取 API 會分析並擷取行、字組、位置、偵測的語言,以及手寫樣式 (如果有偵測到)。
使用 Document Intelligence Studio 處理的範例文件:
版面配置分析
版面配置分析模型會分析和擷取文字、資料表、選取標記和其他結構元素,例如標題、區段標題、頁首、頁尾等。
使用 Document Intelligence Studio 處理的範例文件:
Health insurance card
健保卡模型結合功能強大的光學字元辨識 (OCR) 功能,以及深度學習模型,以便分析和擷取健保卡中的關鍵資訊。
使用 Document Intelligence Studio 處理的美國保健卡範例:
美國稅務檔
美國稅務檔模型會從選取的稅務檔群組中分析並擷取關鍵欄位和明細專案。 API 支援分析各種格式和品質的英文美國稅務檔,包括手機擷取的影像、掃描的檔和數位 PDF。 目前支援下列模型:
模型 | 描述 | ModelID |
---|---|---|
美國稅務 W-2 | 擷取可課稅的報酬詳細資料。 | prebuilt-tax.us.W-2 |
美國稅金 1040 | 擷取抵押貸款利息詳細數據。 | prebuilt-tax.us.1040(變化) |
美國稅金 1098 | 擷取抵押貸款利息詳細數據。 | prebuilt-tax.us.1098(變化) |
美國稅金 1099 | 從僱主以外的來源那裡獲得的收入。 | prebuilt-tax.us.1099(變化) |
使用 Document Intelligence Studio 處理的 W-2 範例文件:
美國抵押貸款檔
美國抵押貸款檔模型會分析並擷取主要欄位,包括借款人、貸款和財產資訊,從一組選取的抵押貸款檔。 API 支援分析各種格式和品質的英文美國抵押貸款檔,包括手機擷取的影像、掃描的檔和數位 PDF。 目前支援下列模型:
模型 | 描述 | ModelID |
---|---|---|
1003 最終使用者許可協定 (EULA) | 擷取貸款、借款人、物業詳細數據。 | prebuilt-mortgage.us.1003 |
1008 摘要檔 | 擷取借款人、賣方、財產、抵押貸款和承銷細節。 | prebuilt-mortgage.us.1008 |
關閉洩漏 | 擷取收盤、交易成本和貸款詳細數據。 | prebuilt-mortgage.us.closingDisclosure |
結婚證 | 擷取聯合貸款申請人的婚姻資訊詳細數據。 | prebuilt-marriageCertificate |
美國稅務 W-2 | 擷取收入驗證的應納稅補償詳細數據。 | prebuilt-tax.us.W-2 |
使用 Document Intelligence Studio 處理的關閉披露文件範例:
合約
合約模型會從合約合約中分析並擷取主要欄位和明細專案,包括當事人、司法管轄區、合約標識符和標題。 此模型目前支援英文合約檔。
使用 Document Intelligence Studio 處理的範例合約:
發票
發票模型會自動處理發票,以擷取客戶名稱、帳單位址、到期日,以及到期日、明細專案和其他密鑰數據。 此模型目前支援英文、西班牙文、德文、法文、義大利文、葡萄牙文和荷蘭文發票。
使用 Document Intelligence Studio 處理的發票範例:
收據
使用收據模型來掃描銷售收據中的商家名稱、日期、明細、數量,以及列印和手寫收據的總數。 v3.0 還可支援單頁旅館收據的處理。
使用 Document Intelligence Studio 處理的收據範例:
身分識別文件 (ID)
使用身分識別文件 (ID) 模型來處理美國駕照 (所有 50 州和哥倫比亞特區) 和國際護照的登載頁面 (排除簽證和其他旅行文件),以擷取重要欄位。
使用 Document Intelligence Studio 處理的美國駕照範例:
結婚證
使用婚姻證模型來處理美國結婚證,以擷取包括個人、日期和地點在內的關鍵字段。
使用 Document Intelligence Studio 處理的美國婚姻證明範例:
信用卡
使用信用卡模型來處理信用卡和轉帳卡以擷取密鑰字段。
使用 Document Intelligence Studio 處理的信用卡範例:
自訂模型
自定義模型可廣泛分類為兩種類型。 支援「檔案類型」分類的自定義分類模型,以及可從特定文件類型擷取已定義架構的自定義擷取模型。
自訂文件模型會分析及擷取您特定商務表單和文件中的資料。 這些模型已經過定型,可辨識不同內容內的表單欄位,並擷取機碼值組和資料表資料。 您只需要一個表單類型的範例即可開始使用。
v3.0 版自定義模型支援範本和類神經網路模型中自定義範本 (form) 和跨頁面數據表中的簽章偵測。
使用 Document Intelligence Studio 處理的自訂範本範例:
自訂擷取
自訂擷取模型可以是兩種類型之一:自訂範本或自訂神經。 若要建立自訂擷取模型,您可以使用所要擷取的值來標記文件的資料集,並針對加上標籤的資料集定型模型。 您只需要五個相同表單或文件類型的範例,即可開始使用。
使用 Document Intelligence Studio 處理的自訂擷取範例:
自訂分類器
自定義分類模型可讓您在叫用擷取模型之前識別檔類型。 分類模型可從 API 開始 2023-07-31 (GA)
使用。 定型自訂分類模型至少需要兩個不同的類別,而且每個類別至少需要五個範例。
組成模型
組成模型的建立方式是取得自訂模型的集合,並將其指派給您表單類型建置的單一模型。 您可以將多個自訂模型指派給使用單一模型識別碼所呼叫的組成模型。 您最多可以將 200 個已定型的自訂模型指派給單一組成模型。
Document Intelligence Studio 中組成模型對話方塊視窗:
輸入需求
若要得到最佳結果,請為每個文件提供一張清晰的照片或高畫質的掃描檔案。
支援的檔案格式:
模型 PDF 圖片:
JPEG/JPG、PNG、BMP、TIFF、HEIFMicrosoft Office:
Word(DOCX)、Excel(XLSX)、PowerPoint(PPTX)和 HTML參閱 ✔ ✔ ✔ 版面配置 ✔ ✔ ✔ (2024-02-29-preview, 2023-10-31-preview) 一般文件 ✔ ✔ 預建 ✔ ✔ 自訂擷取 ✔ ✔ 自訂分類 ✔ ✔ ✔ (2024-02-29-preview) 若使用 PDF 和 TIFF,最多可處理 2000 頁 (若使用免費層訂閱,則只會處理前兩頁)。
用於分析文件的檔案大小是付費 (S0) 層的 500 MB,免費 #F0 層為 4 MB。
影像維度必須介於 50 x 50 像素和 10,000 x 10,000 像素之間。
如果您的 PDF 有密碼鎖定,則必須先移除鎖定才能提交。
針對 1024 x 768 像素影像的擷取文字高度下限為 12 像素。 此尺寸在 150 點/英吋 (DPI) 時大約相當於
8
點文字。針對自訂模型定型,自訂範本模型的定型資料頁數上限為 500,而自訂神經網路模型的上限則為 50,000。
針對自訂擷取模型定型,範本模型的定型資料大小總計為 50 MB,而神經模型的大小總計則為 1G-MB。
針對自訂分類模型定型,定型資料的大小總計為
1GB
(上限為 10,000 頁)。
注意
範例標記工具不支援 BMP 檔案格式。 這是工具的限制,而不是 Document Intelligence 服務的限制。
版本移轉
遵循文件智慧 3.1 版移轉指南,了解如何在應用程式中使用文件智慧 3.0 版
模型 | 說明 |
---|---|
文件分析 | |
版面配置 | 擷取文件的文字和版面配置資訊。 |
預先建置 | |
發票 | 從英文和西班牙文發票擷取重要資訊。 |
收據 | 從英文收據擷取重要資訊。 |
身分證明文件 | 從美國駕照和國際護照擷取重要資訊。 |
名片 | 從英文名片擷取重要資訊。 |
自訂 | |
自訂 | 從您企業專屬的表單和文件擷取資料。 自訂模型會針對相異資料與使用案例進行訓練。 |
組成 | 組成自訂模型的集合,並將其指派給由您表單類型組建的單一模型。 |
版面配置
版面配置 API 會分析及擷取文件的文字、資料表和標頭、選取標記和結構資訊。
使用範例標籤工具處理的範例文件:
發票
發票模型會分析並擷取銷售發票的重要資訊。 API 會分析各種格式的發票,並擷取客戶名稱、帳單地址、到期日和到期金額等重要資訊。
使用範例標籤工具處理的範例發票:
收據
- 收據模型會分析並擷取列印和手寫銷售收據的重要資訊。
使用範例標籤工具處理的範例收據:
身分證明文件
身分證明文件模型會分析並擷取下列文件中的重要資訊:
美式英文駕照 (所有 50 州和哥倫比亞特區)
國際護照的簡歷頁面 (簽證和其他旅行文件除外)。 API 會分析身分證明文件並加以擷取
使用範例標籤工具處理的美國駕照範例:
名片
名片模型會分析並擷取名片影像中的重要資訊。
使用範例標籤工具處理的範例名片:
自訂
- 自訂模型會分析及擷取您特定商務表單和文件中的資料。 API 是一種機器學習程式,已經過定型,可辨識不同內容內的表單欄位,並擷取索引鍵/值組和資料表資料。 您只需要五個相同表單類型的範例就能開始使用,而且您的自訂模型要使用或不使用標記資料集來定型都可以。
使用範例標籤工具處理的範例自訂模型:
組成自訂模型
組成模型的建立方式是取得自訂模型的集合,並將其指派給您表單類型建置的單一模型。 您可以將多個自訂模型指派給使用單一模型識別碼所呼叫的組成模型。 您最多可以將 100 個已定型的自訂模型指派給單一組成模型。
使用範例標籤工具的組成模型對話視窗:
模型資料擷取
模型 | 文字擷取 | 語言偵測 | 選取標記 | 表格 | 段落 | 段落角色 | 索引鍵/值組 | 欄位 |
---|---|---|---|---|---|---|---|---|
版面配置 | ✓ | ✓ | ✓ | ✓ | ✓ | |||
發票 | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ||
收據 | ✓ | ✓ | ✓ | |||||
身分證明文件 | ✓ | ✓ | ✓ | |||||
商務名片 | ✓ | ✓ | ✓ | |||||
自訂表單 | ✓ | ✓ | ✓ | ✓ | ✓ |
輸入需求
若要得到最佳結果,請為每個文件提供一張清晰的照片或高畫質的掃描檔案。
支援的檔案格式:
模型 PDF 圖片:
JPEG/JPG、PNG、BMP、TIFF、HEIFMicrosoft Office:
Word(DOCX)、Excel(XLSX)、PowerPoint(PPTX)和 HTML參閱 ✔ ✔ ✔ 版面配置 ✔ ✔ ✔ (2024-02-29-preview, 2023-10-31-preview) 一般文件 ✔ ✔ 預建 ✔ ✔ 自訂擷取 ✔ ✔ 自訂分類 ✔ ✔ ✔ (2024-02-29-preview) 若使用 PDF 和 TIFF,最多可處理 2000 頁 (若使用免費層訂閱,則只會處理前兩頁)。
用於分析文件的檔案大小是付費 (S0) 層的 500 MB,免費 #F0 層為 4 MB。
影像維度必須介於 50 x 50 像素和 10,000 x 10,000 像素之間。
如果您的 PDF 有密碼鎖定,則必須先移除鎖定才能提交。
針對 1024 x 768 像素影像的擷取文字高度下限為 12 像素。 此尺寸在 150 點/英吋 (DPI) 時大約相當於
8
點文字。針對自訂模型定型,自訂範本模型的定型資料頁數上限為 500,而自訂神經網路模型的上限則為 50,000。
針對自訂擷取模型定型,範本模型的定型資料大小總計為 50 MB,而神經模型的大小總計則為 1G-MB。
針對自訂分類模型定型,定型資料的大小總計為
1GB
(上限為 10,000 頁)。
注意
範例標記工具不支援 BMP 檔案格式。 這是工具的限制,而不是 Document Intelligence 服務的限制。
版本移轉
您可以透過遵循文件智慧 3.1 版移轉指南,了解如何在應用程式中使用文件智慧 3.0 版
下一步
嘗試使用 Document Intelligence Studio 處理您自己的表單和檔。
完成 Document Intelligence 快速入門,並開始以您選擇的開發語言來建立文件處理應用程式。
嘗試使用 檔智慧範例卷標工具來處理您自己的表單和檔。
完成 Document Intelligence 快速入門,並開始以您選擇的開發語言來建立文件處理應用程式。
意見反應
https://aka.ms/ContentUserFeedback。
即將登場:在 2024 年,我們將逐步淘汰 GitHub 問題作為內容的意見反應機制,並將它取代為新的意見反應系統。 如需詳細資訊,請參閱:提交並檢視相關的意見反應