共用方式為

開始使用文件智慧服務範例標籤工具

  • 發行項

此內容適用於：文件智慧服務 v2.1 核取記號 v2.1。

提示

  • 如需增強體驗和進階模型品質，請嘗試文件智慧服務 v3.0 工作室。
  • v3.0 工作室支援使用 v2.1 標記資料定型的任何模型。
  • 如需從 v2.1 移轉到 v3.0 的詳細資訊，您可以參閱 API 移轉指南。
  • 請參閱我們的 REST API 或是 C#、Java、JavaScript 或 Python SDK 快速入門，以開始使用 v3.0 版本。

Azure AI 文件智慧服務範例標籤工具是一種開放原始碼工具，可讓您測試文件智慧服務與光學字元辨識 (OCR) 服務的最新功能：

必要條件

若要開始，您需要下列項目：

  • Azure 訂用帳戶 - 您可建立一個免費訂用帳戶

  • Azure AI 服務或文件智慧服務資源。 擁有 Azure 訂用帳戶後，請在 Azure 入口網站中建立單一服務或多重服務文件智慧服務資源，以取得您的金鑰與端點。 您可以使用免費定價層 (F0) 來試用服務，之後可升級至付費層以用於實際執行環境。

    提示

    如果您打算在單一端點/金鑰下存取多個 Azure AI 服務，請建立 Azure AI 服務資源。 若為僅限文件智慧服務存取，請建立文件智慧服務資源。 請注意，如果您想要使用 Microsoft Entra 驗證 (部分機器翻譯)，需要使用單一服務資源。

建立文件智慧服務資源

前往 Azure 入口網站，並使用建立新的文件智慧服務資源。 在 [建立] 窗格中，提供下列資訊：

專案詳細資料 描述
訂用帳戶 選取已獲存取權的 Azure 訂用帳戶。
資源群組 包含您資源的 Azure 資源群組。 您可建立新的群組或新增群組至先前已有的群組。
區域 Azure AI 服務資源的位置。 不同的位置可能會產生延遲，但是對於您資源的執行階段可用性沒有影響。
名稱 資源的描述性名稱。 建議您使用描述性名稱，例如 MyNameFormRecognizer。
定價層 資源的成本取決於您選擇的定價層和您的使用量。 如需詳細資訊，請參閱 API 價格詳細資料。
檢閱 + 建立 選取 [檢閱 + 建立] 按鈕，以在 Azure 入口網站上部署您的資源。

擷取金鑰和端點

當文件智慧服務資源完成部署後，您可以從入口網站中的 [所有資源] 清單尋找並選取該項資源。 您可以在 [資源管理] 下資源的 [金鑰和端點] 頁面上找到金鑰和端點。 在繼續進行之前，請先將這兩項儲存到暫存位置。

Azure 入口網站中金鑰與端點位置的螢幕擷取畫面。

使用預建模型進行分析

文件智慧服務提供數個可供選擇的預建模型。 每個模型都有自己的一組支援欄位。 Analyze 作業所用的模型取決於要分析的文件類型。 以下是文件智慧服務目前支援的預建模型：

  • 發票：從發票擷取文字、選取標記、資料表、索引鍵/值組和重要資訊。
  • 收據：從收據中擷取文字和重要資訊。
  • 身分證明文件：從駕照和國際護照中擷取文字和重要資訊。
  • 名片：從名片中擷取文字和重要資訊。

  1. 瀏覽至 Document Intelligence 範例工具。

  2. 在範例工具首頁上，選取 [使用預建模型來取得資料] 圖格。

    版面配置模型分析結果作業的螢幕擷取畫面。

  3. 從下拉式功能表選取要分析的 [表單類型]。

  4. 從下列選項中選擇您想要分析的檔案 URL：

  5. 在 [來源] 欄位中，從下拉式功能表中選取 [URL]，貼上選取的 URL，然後選取 [擷取] 按鈕。

    來源位置下拉式功能表的螢幕擷取畫面。

  6. 在 [文件智慧服務端點] 欄位中，貼上您透過文件智慧服務訂用帳戶取得的端點。

  7. 在 [金鑰] 欄位中，貼上您從文件智慧服務資源取得的金鑰。

    [選取表單類型] 下拉式功能表的螢幕擷取畫面。

  8. 選取 [Run analysis] (執行分析)。 Document Intelligence 範例標籤工具會呼叫分析預建 API 並分析文件。

  9. 檢視結果 - 查看擷取的索引鍵/值組、明細項目、擷取的醒目提示文字和偵測到的資料表。

    文件智慧服務發票模型的分析結果

  10. 下載 JSON 輸出檔案以檢視詳細結果。

    • [readResults] 節點包含每一行文字，以及各自的周框方塊在頁面上的位置。
    • 「selectionMarks」節點顯示每個選取標記 (核取方塊、選項標記)，以及其狀態是 selected 或 unselected。
    • [pageResults] 區段包含擷取的資料表。 針對每個資料表，會擷取文字、資料列和資料行索引、資料列和資料行擴展、周框方塊等。
    • [documentResults] 欄位包含文件最相關部分的索引鍵/值組資訊和明細項目資訊。

分析版面配置

Azure 文件智慧服務版面配置 API 會從文件 (PDF、TIFF) 與影像 (JPG、PNG、BMP) 擷取文字、表格、選取標記與結構資訊。

  1. 瀏覽至 Document Intelligence 範例工具。

  2. 在範例工具首頁上，選取 [Use Layout to get text, tables and selection marks] (使用版面配置來取得文字、資料表和選取標記)。

    版面配置文件智慧服務工具的連線設定。

  3. 在 [文件智慧服務端點] 欄位中，貼上您透過文件智慧服務訂用帳戶取得的端點。

  4. 在 [金鑰] 欄位中，貼上您從文件智慧服務資源取得的金鑰。

  5. 在 [來源] 欄位中，從下拉式功能表中選取 [URL]，貼上下列 URL https://raw.githubusercontent.com/Azure-Samples/cognitive-services-REST-api-samples/master/curl/form-recognizer/layout-page-001.jpg，然後選取 [擷取] 按鈕。

  6. 選取 [Run Layout] (執行版面配置)。 文件智慧範例標籤工具會呼叫 Analyze Layout API 並分析文件。

    版面配置下拉功能表的螢幕快照。

  7. 檢視結果 - 查看擷取的醒目提示文字、偵測到的選取標記和偵測到的資料表。

    文件智慧服務工具的連線設定。

  8. 下載 JSON 輸出檔案以檢視詳細的版面配置結果。

    • readResults 節點包含每一行文字，以及各自的周框方塊在頁面上的位置。
    • selectionMarks 節點顯示每個選取標記 (核取方塊、選項標記)，以及其狀態是 selected 或 unselected。
    • pageResults 區段包含擷取的資料表。 針對每個資料表，會擷取文字、資料列和資料行索引、資料列和資料行擴展、周框方塊等。

定型自訂表單模型

定型自訂模型，以分析及擷取您業務特定表單和文件中的資料。 API 是一種機器學習程式，已經過定型，可辨識不同內容內的表單欄位，並擷取索引鍵/值組和資料表資料。 您至少需要五個相同表單類型的範例才能開始使用，而且您的自訂模型可以使用或不使用標記資料集來定型。

定型自訂表單模型的必要條件

  • 包含一組定型資料的 Azure 儲存體 Blob 容器。 請確定所有定型文件都有相同的格式。 如果您的表單有多種格式，請根據共同的格式將這些表單組織成子資料夾。 針對此專案，您可以使用我們的範例資料集。

  • 如果您不知道如何使用容器建立 Azure 儲存體帳戶，請遵循適用於 Azure 入口網站的 Azure 儲存體快速入門。

  • 設定 CORS

    必須在您的 Azure 儲存體帳戶上設定 CORS (跨原始來源資源共用)，才能從文件智慧服務工作室存取 CORS。 若要在 Azure 入口網站中設定 CORS，您會需要存取儲存體帳戶的 CORS 索引標籤。

    1. 選取儲存體帳戶的 [CORS] 索引標籤。

      螢幕擷取畫面：Azure 入口網站中的 CORS 設定功能表。

    2. 首先，在 Blob 服務中建立一個新的 CORS 項目。

    3. 將 [允許的來源] 設定為 https://fott-2-1.azurewebsites.net。

      顯示儲存體帳戶之 CORS 設定的螢幕擷取畫面。

      提示

      您可以使用萬用字元 '*' 而非指定的網域，以此允許所有原始網域透過 CORS 提出要求。

    4. 選取 [允許的方法] 中所有可用的 8 個選項。

    5. 在每個欄位中輸入 *，以此來核准所有允許的標頭和公開標頭。

    6. 將 [存留期上限] 設定為 120 秒或任何可接受的值。

    7. 選取頁面頂端的 [儲存] 按鈕並儲存變更。

使用範例標籤工具

  1. 瀏覽至 Document Intelligence 範例工具。

  2. 在範例工具首頁上，選取 [Use custom form to train a model with labels and get key-value pairs] (使用自訂表單透過標籤來定型模型，並取得索引鍵/值組)。

    訓練自訂模型。

  3. 選取 [新增專案]

    選取新專案提示的螢幕擷取畫面。

建立新專案

使用下列值設定 [專案設定] 欄位：

  1. 顯示名稱。 命名專案。

  2. 安全性權杖。 每個專案都會自動產生可用於加密/解密敏感專案設定的安全性權杖。 您可以選取左側瀏覽列底部的齒輪圖示，在 [應用程式設定] 中找到安全性權杖。

  3. 來源連線。 範例標籤工具會連線到來源 (您的原始上傳表單) 和目標 (建立的標籤和輸出資料)。 您可以跨專案設定和共用連線。 連線會使用可延伸提供者模型，因此您可以輕鬆地新增來源/目標提供者。

    • 建立新的連線。 選取 [ 新增連線] 按鈕。 使用下列值完成欄位：
    • 顯示名稱。 命名連線。
    • 描述。 新增簡短描述。
    • SAS URL。 貼上您 Azure Blob 儲存體容器的共用存取簽章 (SAS) URL。

    • 若要擷取自訂模型訓練資料的 SAS URL，請移至 Azure 入口網站中的儲存體資源，然後選取 [儲存體總管] 索引標籤。導覽至您的容器、按一下滑鼠右鍵，然後選取 [取得共用存取簽章]。 務必取得您容器的 SAS，而不是儲存體帳戶本身的 SAS。 確定 [讀取]、[寫入]、[刪除] 和 [列出] 權限均已勾選，然後選取 [建立]。 然後，將 [URL] 區段中的值複製到暫存位置。 其格式應該為：https://<storage account>.blob.core.windows.net/<container name>?<SAS value>。

      SAS 位置。

  4. 資料夾路徑 (選擇性)。 如果您的來源表單位於 Blob 容器的資料夾內，請指定資料夾名稱。

  5. 文件智慧服務 URI - 您的文件智慧端點 URL。

  6. 索引鍵。 您的文件智慧服務金鑰。

  7. API 版本。 保留 v2.1 (預設) 值。

  8. 描述 (選擇性)。 請描述您的專案。

    連線設定

為表單加上標籤

新增專案頁面

當您建立或開啟專案時，主要的標籤編輯器視窗隨即開啟。 標籤編輯器由三個部分組成：

  • 可調整大小的預覽窗格，其中包含來自來源連線的可捲動表單清單。
  • 可讓您套用標籤的主要編輯器窗格。
  • 可讓使用者修改、鎖定、重新排列和刪除標籤的標籤編輯器窗格。
識別文字和資料表

選取左窗格上的 [Run Layout on unvisited documents] (在未瀏覽的文件上執行版面配置)，以取得每個文件的文字和表格版面配置資訊。 標籤工具會在每個文字元素周圍繪製週框方塊。

標籤工具也會顯示已自動擷取哪些資料表。 選取文件左側的資料表/格線圖示，並查看已擷取的資料表。 因為會自動擷取資料表內容，所以我們不會為資料表內容加上標籤，而是會仰賴自動化擷取。

範例標籤工具中的資料表視覺效果。

將標籤套用至文字

接下來，您會建立標記 (標籤)，並將其套用至要讓模型分析的文字元素。 請注意，範例標籤資料集包含已標記的欄位；我們會新增另一個欄位。

使用標記編輯器窗格建立您要識別的新標記：

  1. 選取 + 加號以建立新標記。

  2. 輸入標記名稱「總計」。

  3. 選取 Enter 以儲存標記。

  4. 在主要編輯器中，從醒目提示的文字元素中選取總計值。

  5. 選取要套用至值的 [總計] 標記，或按對應的鍵盤按鍵。 數字鍵會指派為前 10 個標記的快速鍵。 您可以使用標籤編輯器窗格中的向上和向下箭號圖示來重新排序標籤。 請遵循下列步驟來標記範例資料集中的全部五個表單：

    提示

    當您要標記表單時，請記住下列秘訣：

    • 您只能對每個選取的文字元素套用一個標記。

    • 每個標記只能在每頁套用一次。 如果某個值在相同表單上出現多次，請為每個執行個體建立不同的標記。 例如："invoice# 1"、"invoice# 2" 等等。

    • 標記不能跨越頁面。

    • 標示出現在表單上的值；請勿嘗試將值分割成具有兩個不同標記的兩個部分。 例如，位址欄位應該以單一標記標示，即使其橫跨多行也一樣。

    • 請勿在標記的欄位中包含索引鍵，只能包含值。

    • 系統應會自動偵測資料表資料，而且將會在最終輸出 JSON 檔案的 [pageResults] 區段中提供。 不過，如果模型無法偵測到您所有的資料表資料，您也可以加上標籤並定型模型來偵測資料表，請參閱定型自訂模型 | 為表單加上標籤

    • 使用 + 右邊的按鈕來搜尋、重新命名、重新排序和刪除您的標記。

    • 若要移除已套用的標記，而不刪除標記本身，請在文件檢視上選取加上標記的矩形，然後按下 Delete 鍵。

為範例加上標籤。

定型自訂模型

選擇左窗格上的定型圖示，並開啟 [定型] 頁面。 然後，選取 [定型] 按鈕以開始定型模型。 定型程序完成後，您會看到下列資訊：

  • 模型識別碼 - 已建立並定型之模型的識別碼。 每個定型呼叫都會以本身的識別碼建立新的模型。 請將此字串複製到安全之處；如果您想要透過 REST API 或用戶端程式庫進行預測呼叫，就會需要此字串。

  • 平均精確度 - 模型的平均精確度。 您可以標記更多表單並重新定型以建立新的模型，進而改善模型精確度。 建議您一開始為五個表單加上標籤來分析和測試結果，然後視需要新增更多表單。

  • 標籤的清單，以及每個標籤的預估精確度。 如需詳細資訊，請參閱解譯並改善精確度和信賴度。

    定型檢視工具。

分析自訂表單

  1. 從導覽列中選取 Analyze 圖示，並測試您的模型。

  2. 選取來源本機檔案，然後瀏覽檔案，以從您在測試資料夾中解壓縮的範例資料集中選取。

  3. 選擇 [執行分析] 按鈕，以取得表單的索引鍵/值組、文字和資料表預測。 此工具會將標籤套用至周框方塊中，並報告每個標籤的信賴度。

    定型檢視。

介紹完畢 您已了解如何為文件智慧服務預建、版面配置與自訂模型使用文件智慧服務範例工具。 您也已經了解如何使用手動標記的資料來分析自訂表單。

下一步

文件智慧工作室