開始使用檔智慧範例標籤工具

  • 發行項

此內容適用於：文件智慧服務 v2.1 核取記號v2.1。

提示

  • 如需增強體驗和進階模型品質，請嘗試文件智慧服務 v3.0 工作室。
  • v3.0 Studio 支援使用 v2.1 標籤數據定型的任何模型。
  • 如需從 v2.1 移轉至 v3.0 的詳細資訊，請參閱 API 移轉指南。
  • 請參閱我們的 REST API 或 C#、Java、JavaScript 或 Python SDK 快速入門，以開始使用 v3.0 版本。

Azure AI 檔智慧範例標籤工具是一種 開放原始碼 工具，可讓您測試檔智慧和光學字元辨識 （OCR） 服務的最新功能：

必要條件

您需要下列專案才能開始使用：

  • Azure 訂用帳戶 -- 您可以 免費建立一個訂用帳戶

  • Azure AI 服務或文件智慧服務資源。 擁有 Azure 訂用帳戶之後，請在 Azure 入口網站 中建立單一服務或多服務 Document Intelligence 資源，以取得您的密鑰和端點。 您可以使用免費定價層 (F0) 來試用服務，之後可升級至付費層以用於實際執行環境。

    提示

    如果您打算在單一端點/金鑰下存取多個 Azure AI 服務，請建立 Azure AI 服務資源。 若為僅限文件智慧服務存取，請建立文件智慧服務資源。 請注意，如果您想要使用 Microsoft Entra 驗證，您將需要單一服務資源。

建立文件智慧服務資源

前往 Azure 入口網站，並使用建立新的文件智慧服務資源。 在 [ 建立] 窗格中，提供下列資訊：

專案詳細資料 描述
訂用帳戶 選取已授與存取權的 Azure 訂用帳戶。
資源群組 包含您資源的 Azure 資源群組。 您可建立新的群組或新增群組至先前已有的群組。
區域 Azure AI 服務資源的位置。 不同的位置可能會產生延遲，但是對於您資源的執行階段可用性沒有影響。
名稱 資源的描述性名稱。 我們建議使用描述性名稱，例如 MyNameFormRecognizer。
定價層 您的資源成本取決於您選擇的定價層和使用量。 如需詳細資訊，請參閱 API 價格詳細資料。
檢閱 + 建立 選取 [檢閱 + 建立] 按鈕，以在 Azure 入口網站 上部署您的資源。

擷取金鑰和端點

當文件智慧服務資源完成部署後，您可以從入口網站中的 [所有資源] 清單尋找並選取該項資源。 您的金鑰和端點會位於資源 [金鑰和端點] 頁面的 [資源管理] 底下。 在繼續進行之前，請將這兩者儲存到暫存位置。

Azure 入口網站 中金鑰和端點位置的螢幕快照。

使用預先建置模型進行分析

Document Intelligence 提供數個預先建置的模型可供選擇。 每個模型都有自己的一組支援字段。 要用於作業的 Analyze 模型取決於要分析的文件類型。 以下是 Document Intelligence 服務目前支援的預建模型：

  • 發票：從發票擷取文字、選取標記、數據表、索引鍵/值組和密鑰資訊。
  • 收據：從收據擷取文字和重要資訊。
  • 標識符檔：從駕駛執照和國際護照中擷取文字和密鑰資訊。
  • 名片：從名片擷取文字和重要資訊。

  1. 瀏覽至 Document Intelligence 範例工具。

  2. 在範例工具首頁上，選取 [ 使用預先建置的模型來取得數據 磚]。

    配置模型分析結果作業的螢幕快照。

  3. 從下拉功能表中選取要分析的表單類型。

  4. 從下列選項中選擇您想要分析之檔案的 URL：

  5. 在 [ 來源] 欄位中，從下拉功能表中選取 [URL ]、貼上選取的 URL，然後選取 [ 擷取 ] 按鈕。

    來源位置下拉功能表的螢幕快照。

  6. 在 [文件智慧服務端點] 欄位中，貼上您透過文件智慧服務訂用帳戶取得的端點。

  7. 在 [金鑰] 欄位中，貼上您從文件智慧服務資源取得的金鑰。

    [選取表單型態] 下拉功能表的螢幕快照。

  8. 選取 [ 執行分析]。 Document Intelligence 範例標籤工具會呼叫分析預建 API 並分析文件。

  9. 檢視結果 - 查看擷取的索引鍵/值組、行專案、已擷取的醒目提示文字，以及偵測到的數據表。

    分析文件智能發票模型的結果

  10. 下載 JSON 輸出檔案以檢視詳細結果。

    • “readResults” 節點包含每一行文字，其各自的周框方塊放置在頁面上。
    • “selectionMarks” 節點會顯示每個選取標記（複選框、單選標記），以及其狀態為 selected 或 unselected。
    • “pageResults” 區段包含擷取的數據表。 針對每個數據表，會擷取文字、數據列和數據行索引、數據列和數據行跨越、周框方塊等等。
    • “documentResults” 字段包含文件最相關部分的索引鍵/值組資訊和明細項目資訊。

分析版面配置

Azure 檔智慧版面配置 API 會從檔 （PDF、 TIFF） 和影像中擷取文字、數據表、選取標記和結構資訊（JPG、PNG、BMP）。

  1. 瀏覽至 Document Intelligence 範例工具。

  2. 在範例工具首頁上，選取 [ 使用版面配置] 以取得文字、數據表和選取標記。

    版面配置檔智慧工具的 連線 設定。

  3. 在 [文件智慧服務端點] 欄位中，貼上您透過文件智慧服務訂用帳戶取得的端點。

  4. 在 [金鑰] 欄位中，貼上您從文件智慧服務資源取得的金鑰。

  5. 在 [ 來源] 欄位中，從下拉功能表中選取 [URL ]，貼上下列 URL https://raw.githubusercontent.com/Azure-Samples/cognitive-services-REST-api-samples/master/curl/form-recognizer/layout-page-001.jpg，然後選取 [ 擷取 ] 按鈕。

  6. 選取 [ 執行配置]。 檔智慧範例標籤工具會呼叫 Analyze Layout API 並分析檔。

    版面配置下拉功能表的螢幕快照。

  7. 檢視結果 - 查看已擷取的醒目提示文字、偵測到選取標記，以及偵測到數據表。

    檔智慧工具的 連線 設定。

  8. 下載 JSON 輸出檔案以檢視詳細的版面配置結果。

    • 節點 readResults 包含每一行文字，其各自的周框方塊放置在頁面上。
    • 節點 selectionMarks 會顯示每個選取標記（複選框、單選標記），以及其狀態 selected 為 或 unselected。
    • 區 pageResults 段包含擷取的數據表。 針對每個數據表，會擷取文字、數據列和數據行索引、數據列和數據行跨越、周框方塊等等。

定型自定義表單模型

定型自定義模型，以分析及擷取您企業專屬的表單和文件中的數據。 API 是經過定型的機器學習程式，可辨識不同內容內的表單域，並擷取索引鍵/值組和數據表數據。 您至少需要五個相同窗體類型的範例才能開始使用，而且您的自定義模型可以使用或不使用加上標籤的數據集來定型。

定型自定義表單模型的必要條件

  • 包含一組定型數據的 Azure 儲存體 Blob 容器。 請確定所有定型檔的格式都相同。 如果您的表單有多種格式，請根據共同的格式將這些表單組織成子資料夾。 在此專案中，您可以使用我們的 範例數據集。

  • 如果您不知道如何使用容器建立 Azure 儲存體帳戶，請遵循適用於 Azure 入口網站的 Azure 儲存體快速入門。

  • 設定 CORS

    CORS （跨原始來源資源分享） 必須在 Azure 記憶體帳戶上設定，才能從 Document Intelligence Studio 存取。 若要在 Azure 入口網站 中設定 CORS，您需要存取記憶體帳戶的 CORS 索引標籤。

    1. 選取記憶體帳戶的 [CORS] 索引標籤。

      Azure 入口網站 中 CORS 設定功能表的螢幕快照。

    2. 首先，在 Blob 服務中建立新的 CORS 專案。

    3. 將 [ 允許的來源] 設定為 https://fott-2-1.azurewebsites.net。

      顯示記憶體帳戶 CORS 設定的螢幕快照。

      提示

      您可以使用通配符 『*』 而不是指定的網域，允許所有原始網域透過 CORS 提出要求。

    4. 針對 [允許的方法] 選取所有可用的 8 個選項。

    5. 在每一個字段中輸入 * ，以核准所有 允許的 標頭和 公開標頭 。

    6. 將 [ 最大年齡] 設定為120秒或任何可接受的值。

    7. 選取頁面頂端的 [儲存] 按鈕，然後儲存變更。

使用範例標籤工具

  1. 瀏覽至 Document Intelligence 範例工具。

  2. 在範例工具首頁上，選取 [ 使用自定義窗體來定型具有標籤的模型]，並取得索引鍵/值組。

    定型自定義模型。

  3. 選取 [新增專案]

    選取新專案提示的螢幕快照。

建立新專案

使用下列值設定 Project 設定 欄位：

  1. 顯示名稱。 命名專案。

  2. 安全性令牌。 每個專案都會自動產生安全性令牌，以用來加密/解密敏感性項目設定。 您可以在應用程式 設定 中找到安全性令牌，方法是選取左側導覽列底部的齒輪圖示。

  3. 來源連線。 範例卷標工具會連線到來源（原始上傳的窗體）和目標（已建立的標籤和輸出數據）。 您可以在項目之間設定和共用 連線。 它們使用可延伸的提供者模型，因此您可以輕鬆地新增來源/目標提供者。

    • 建立新的連線，選取 [新增 連線 ion] 按鈕。 使用下列值完成欄位：
    • 顯示名稱。 將連線命名為 。
    • 描述。 新增簡短描述。
    • SAS URL。 貼上 Azure Blob 儲存體 容器的共用存取簽章 （SAS） URL。

    • 若要擷取自定義模型定型數據的SAS URL，請移至 Azure 入口網站 中的記憶體資源，然後選取 [儲存體總管] 索引卷標。流覽至您的容器，按兩下滑鼠右鍵，然後選取 [取得共用存取簽章]。 請務必取得容器的SAS，而不是記憶體帳戶本身。 請確定已核取 [讀取]、[寫入]、[刪除] 和 [列表] 許可權，然後選取 [建立]。 然後將URL區段中的值複製到暫存位置。 其格式應該為：https://<storage account>.blob.core.windows.net/<container name>?<SAS value>。

      SAS 位置。

  4. 資料夾路徑 （選擇性）。 如果您的來源表單位於 Blob 容器中的資料夾內，請指定資料夾名稱。

  5. 文件智慧服務 URI - 您的文件智慧端點 URL。

  6. 索引鍵。 您的檔案智慧金鑰。

  7. API 版本。 保留 v2.1 （預設值） 值。

  8. 描述 （選擇性）。 描述您的專案。

    連線設定

為您的表單加上標籤

新增項目頁面

當您建立或開啟專案時，主要標籤編輯器視窗隨即開啟。 標籤編輯器包含三個部分：

  • 可重設大小的預覽窗格，其中包含來源連線中窗體的可捲動清單。
  • 可讓您套用標籤的主要編輯器窗格。
  • 標籤編輯器窗格，可讓使用者修改、鎖定、重新排序和刪除標籤。
識別文字和數據表

在左窗格的未檢視檔上選取 [執行版面配置]，以取得每個檔的文字和表格版面配置資訊。 標籤工具會在每個文字元素周圍繪製週框方塊。

卷標工具也會顯示自動擷取的數據表。 選取檔左側的表格/方格圖示，並查看解壓縮的數據表。 因為會自動擷取數據表內容，所以我們不會標記數據表內容，而是依賴自動擷取。

範例標籤工具中的數據表視覺效果。

將標籤套用至文字

接下來，您會建立標記 (標籤)，並將其套用至要讓模型分析的文字元素。 請注意範例標籤數據集包含已加上標籤的欄位;我們會新增另一個字段。

使用 [標籤編輯器] 窗格來建立您要識別的新標籤：

  1. 選取 + 加號以建立新的標記。

  2. 輸入標籤 「Total」 名稱。

  3. 選取 Enter 以儲存標記。

  4. 在主編輯器中，從醒目提示的文字元素中選取總值。

  5. 選取要套用至值的 [總計] 標籤，或按對應的鍵盤按鍵。 數字索引鍵會指派為前 10 個標記的快速鍵。 您可以使用標籤編輯器窗格中的向上和向下箭號圖示來重新排列標籤。 請遵循下列步驟，為範例數據集中的所有五個表單加上標籤：

    提示

    當您標記表單時，請記住下列秘訣：

    • 您只能將一個標籤套用至每個選取的文字元素。

    • 每個標籤每個頁面只能套用一次。 如果相同窗體上出現多次值，請為每個實例建立不同的標記。 例如：“invoice# 1”、“invoice# 2” 等等。

    • 標籤無法跨越頁面。

    • 在表單上顯示時加上標籤;請勿嘗試將值分割成兩個不同標記的兩個部分。 例如，即使位址欄位跨越多行，也應該以單一標籤示。

    • 請勿在標記的欄位中包含索引鍵，只包含值。

    • 數據表數據應該會自動偵測，而且將在 『pageResults』 區段中的最終輸出 JSON 檔案中使用。 不過，如果模型無法偵測到所有數據表數據，您也可以為模型加上標籤並定型以偵測數據表，請參閱 將自定義模型定型 |為您的表單加上標籤

    • 使用右側的 + 按鈕來搜尋、重新命名、重新排序及刪除您的標記。

    • 若要移除套用的標籤而不刪除標籤，請選擇檔案檢視上的標記矩形，然後按下刪除鍵。

標記範例。

定型自訂模型

選擇左窗格中的 [訓練] 圖示，然後開啟 [訓練] 頁面。 然後選取 [ 定型] 按鈕以開始定型模型。 定型程序完成後，您會看到下列資訊：

  • 模型標識碼 - 已建立和定型之模型的標識碼。 每個定型呼叫都會使用自己的標識碼來建立新的模型。 將此字串複製到安全的位置;如果您想要透過 REST API 或 用戶端連結庫進行預測呼叫，則需要它。

  • 平均精確度 - 模型的平均精確度。 您可以藉由標記更多表單和重新定型來建立新模型來改善模型精確度。 建議您從標記五個窗體開始分析及測試結果，然後視需要新增更多表單。

  • 標記清單，以及每個標記的估計精確度。 如需詳細資訊， 請參閱解譯和改善精確度和信賴度。

    訓練檢視工具。

分析自定義表單

  1. Analyze從導覽列選取圖示並測試您的模型。

  2. 選取來源本機 檔案 ，然後瀏覽檔案，以從您在測試資料夾中解壓縮的範例數據集中選取。

  3. 選擇 [ 執行分析] 按鈕，以取得表單的索引鍵/值組、文字和數據表預測。 此工具會將標籤套用至周框方塊中，並報告每個標籤的信賴度。

    訓練檢視。

介紹完畢 您已瞭解如何使用檔智慧範例工具進行檔智慧預先建置、版面配置和自定義模型。 您也瞭解如何使用手動標記的數據來分析自定義表單。

下一步

文件智慧工作室