管理標記專案

了解如何在 Azure Machine Learning 中管理標記專案。 本文適用於負責管理文字或影像標記專案的專案經理。 如需如何建立專案的資訊，請參閱設定文字標記專案或設定影像標記專案。

重要

本文中標示為 (預覽) 的項目目前處於公開預覽狀態。 此預覽版本會在沒有服務等級協定的情況下提供，不建議用於實際執行工作負載。 可能不支援特定功能，或可能已經限制功能。 如需詳細資訊，請參閱 Microsoft Azure 預覽版增補使用條款。

執行和監視專案

初始化專案之後，Azure 會開始執行它。 若要管理專案，請選取主要 [資料標記] 頁面上的專案。

若要暫停或重新啟動專案，請在專案命令列上切換 [執行中] 狀態。 只有在專案執行時，您才可以為資料加上標籤。

監視進度

[儀表板] 索引標籤會顯示標籤工作的進度。

影像專案

進度圖表會顯示已標記、跳過、需要檢閱或尚未完成的項目數。 將游標停留在圖表上可看到每個區段中的項目數。

已完成工作的標籤分佈會顯示在圖表下方。 在某些專案類型中，項目可以有多個標籤。 標籤總數可能會超過項目總數。

標記人員的分佈，以及標籤的項目數也會顯示。

中間區段會顯示具有未指派工作佇列的資料表。 當 ML 輔助標記關閉時，此區段會顯示等待指派的手動工作數目。

當 ML 輔助標記開啟時，此區段也會顯示下列項目：

• 包含佇列中叢集項目的工作。
• 包含佇列中預先標記項目的工作。

此外，啟用 ML 輔助標記時，您可以向下捲動以查看 ML 輔助標記狀態。 [作業] 區段會提供每個機器學習執行的連結。

• [定型]：定型模型以預測標籤。
• [驗證]：判斷項目預先標記是否使用此模型的預測。
• [推斷]：新項目的預測執行。
• [特徵工程]：叢集項目 (僅適用於影像分類專案)。

文字專案

進度圖表會顯示已標記、跳過、需要檢閱或尚未完成的項目數。 將游標停留在圖表上可看到每個區段中的項目數。

已完成工作的標籤分佈會顯示在圖表下方。 在某些專案類型中，項目可以有多個標籤。 標籤總數可能會超過項目總數。

標記人員的分佈，以及標籤的項目數也會顯示。

中間區段會顯示具有未指派工作佇列的資料表。 當 ML 輔助標記關閉時，此區段會顯示等待指派的手動工作數目。

當 ML 輔助標記開啟時，此區段也會顯示下列項目：

• 包含佇列中叢集項目的工作。
• 包含佇列中預先標記項目的工作。

此外，啟用 ML 輔助標記時，您可以向下捲動以查看 ML 輔助標記狀態。 [作業] 區段會提供每個機器學習執行的連結。

檢閱資料和標籤

在 [資料] 索引標籤上，預覽資料集並檢閱已標記的資料。

提示

檢閱前，請與任何其他可能的檢閱者協調。 否則，您可能同時嘗試核准相同的標籤，而這樣會讓其中一個無法更新標籤。

捲動已標記的資料以查看標籤。 如果您看到標示不正確的資料，請選取它，然後選擇 [拒絕] 移除標籤，並將資料傳回未標記的佇列。

跳過的項目

一組篩選會套用至您正在檢閱的項目。 根據預設，您會檢閱標示的資料。 選取 [資產類型] 篩選條件，將類型切換為 *[已跳過] 以檢閱已跳過的項目。

如果您認為應該標記跳過的資料，請選取 [拒絕] 以重新放入未標記的佇列中。 如果您認為跳過的資料與您的專案無關，請選取 [接受] 將其從專案中移除。

共識標記

如果您的專案使用共識標記，請檢閱沒有共識的影像：

影像專案

1. 選取資料索引標籤。

2. 在左側功能表上，選取 [檢閱標籤]。

3. 在 [檢閱標籤] 上方的命令列上，選取 [所有篩選]。

   

4. 在 [已標記的資料點] 下，選取 [需要檢閱的共識標籤]，以只顯示標記人員未達成共識的影像。

   

5. 若要檢視每個影像，請選取 [共識標籤] 下拉式清單以檢視衝突的標籤。

   

6. 雖然您可以選取個別標籤來查看其標籤，若要更新或拒絕標籤，您必須使用最上層選擇 [共識標籤 (預覽)]。

文字專案

1. 選取資料索引標籤。

2. 在左側功能表上，選取 [檢閱標籤]。

3. 在 [檢閱標籤] 上方的命令列上，選取 [所有篩選]。

   

4. 在 [已標記的資料點] 下，選取 [需要檢閱的共識標籤]，以只顯示標記人員未達成共識的項目。

   

5. 若要檢視每個項目，請選取 [共識標籤] 下拉式清單以檢視衝突的標籤。

   

6. 雖然您可以選取個別標籤來查看其標籤，若要更新或拒絕標籤，您必須使用最上層選擇 [共識標籤 (預覽)]。

變更專案詳細資料

在 [詳細資料] 索引標籤上檢視和變更專案的詳細資料。在此索引標籤上，您可以：

• 檢視專案詳細資料和輸入資料集。
• 設定或清除 [定期啟用累加式重新整理] 選項，或要求立即重新整理。
• 檢視用來將標示的輸出儲存在專案中的儲存體容器詳細資料。
• 將標籤新增至您的專案。
• 編輯您提供給標籤的指示。
• 變更 ML 輔助標記的設定，並啟動標籤工作。

在 Azure AI 服務中建立的專案

如果您的標記專案是從 Vision Studio 或 Language Studio 建立的，您會在 [詳細資料] 頁面上看到額外的索引標籤。 索引標籤可讓您在 Azure Machine Learning 中的標記和 Vision Studio 或 Language Studio 中的標記之間切換。

影像專案

如果您的專案是從 Vision Studio 建立的，您也會看到 [Vision Studio] 索引標籤。選取 [移至 Vision Studio] 以返回 Vision Studio。 返回 Vision Studio 之後，您將能夠匯入已標記的資料。

文字專案

如果您的專案是從 Language Studio建立的，您會看到 [Language Studio] 索引標籤。

• 如果標記在 Language Studio 中為作用中，則您無法在 Azure Machine Learning 中加上標籤。 在此情況下，Language Studio 是唯一可用的索引標籤。 選取 [在 Language Studio 中檢視]，以移至 Language Studio 中的作用中標記專案。 如果您想要的話，可以在該處切換至 Azure Machine Learning 中的標記。

如果標記在 Azure Machine Learning 中處於作用中狀態，您有兩個選擇：

• 選取 [切換至 Language Studio] 將標記活動切換回 Language Studio。 當您切換時，所有目前標記的資料都會匯入 Language Studio。 您在 Azure Machine Learning 中標記資料的能力已停用，而您可以在 Language Studio 中標記資料。 您可以隨時透過 Azure Machine Learning 切換回 Language Studio 中的標記。

  注意

  只有 Azure Machine Learning 中具有正確角色的使用者才能切換標記。

• 選取 [從 Language Studio 中斷連線] 以切斷與 Language Studio 的關聯性。 中斷連線之後，專案就會失去與 Language Studio 的關聯性，不再顯示 [Language Studio] 索引標籤。中斷專案與 Language Studio 的連線是永久且無法復原的程序。 您將無法在 Language Studio 中存取此專案的標籤。 標籤僅適用於從此開始的 Azure Machine Learning。

新增標籤至專案

在資料標記流程期間，您可能會想要新增更多標籤來分類您的項目。 例如，您可以新增「不明」或「其他」標籤，以表示令人困惑的項目。

若要將一或多個標籤新增至專案：

1. 在主要 [資料標記] 頁面上，選取專案。

2. 在專案命令列上，將狀態從 [執行] 切換為 [已暫停] 以停止標記活動。

3. 選取 [詳細資料] 索引標籤。

4. 在左側清單中，選取 [標籤類別]。

5. 修改標籤。

   

6. 在表單中，加入新的標籤。 接著選擇繼續專案的方式。 因為您已變更可用的標籤，請選擇如何處理已加上標籤的資料：

   • 重新開始，並移除所有現有的標籤。 如果您想要從頭開始使用一組完整的新標籤來開始標記，請選擇此選項。
   • 重新開始，並保留所有現有的標籤。 選擇此選項可將所有資料標記為未標記，但讓先前已標記的影像保留現有標籤來作為預設標籤。
   • 繼續，並保留所有現有的標籤。 選擇此選項可讓所有已標記的資料保持原狀，並開始針對尚未標記的資料使用新標籤。

7. 視需要針對新標籤修改您的指示頁面。

8. 新增所有新標籤之後，將 [暫停] 切換 為 [執行中] 以重新啟動專案。

啟動 ML 輔助標記工作

ML 輔助標記在標記某些項目之後會自動啟動。 此自動閾值會因專案而異。 如果您的專案至少包含一些已標記的資料，您可以手動啟動 ML 輔助定型執行。

注意

在 2022 年 12 月之前建立的專案無法使用隨需定型。 若要使用此功能，請建立新的專案。

若要開始新的 ML 輔助定型執行：

1. 在專案的頂端，選取 [詳細資料]。
2. 在左側功能表上，選取 [ML 輔助標記]。
3. 在頁面底部附近，針對 [隨需定型]，選取 [開始]。

匯出標籤

若要匯出標籤，請在專案命令列上選取 [匯出] 按鈕。 您隨時都能匯出 Machine Learning 測試的標籤資料。

影像專案

如果您的專案類型是語意分割 (預覽)，則會建立 Azure MLTable 資料資產。

針對所有其他專案類型，您可以將影像標籤匯出為：

• CSV 檔案。 Azure Machine Learning 會在 Labeling/export/csv 內的資料夾中建立 CSV檔案。
• COCO 格式檔案。 Azure Machine Learning 會在 Labeling/export/coco 內的資料夾中建立 COCO 檔案。
• Azure MLTable 資料資產。

當您匯出 CSV 或 COCO 檔案時，通知會在檔案準備好下載時短暫顯示。 選取 [下載檔案] 連結以下載您的結果。 您也可以在頂端列的 [通知] 區段中找到通知：

在 Machine Learning 的 [資料集] 區段中，可以存取已匯出的 Azure Machine Learning 資料集與資料資產。 [資料詳細資料] 頁面也提供範例程式碼，您可以使用 Python 來存取標籤。

文字專案

若要匯出標籤，請在標記專案的 [專案詳細資料] 頁面上，選取 [匯出] 按鈕。 您隨時都能匯出 Machine Learning 測試的標籤資料。

對於除了文字具名實體辨識以外的所有專案類型，您可以將標籤資料匯出為：

• CSV 檔案。 Azure Machine Learning 會在 Labeling/export/csv 內的資料夾中建立 CSV檔案。
• Azure MLTable 資料資產。

針對文字具名實體辨識專案，您可以將標籤資料匯出為：

• Azure MLTable 資料資產。
• CoNLL 檔案。 針對此匯出，您也必須指派計算資源。 匯出程序在離線狀態下執行，並產生檔案作為實驗執行的一部分。 Azure Machine Learning 會在資料夾中建立 CoNLL 檔案。 在 Labeling/export/conll 內。

當您匯出 CSV 或 CoNLL 檔案時，通知會在檔案準備好下載時短暫顯示。 選取 [下載檔案] 連結以下載您的結果。 您也將在頂端列的 [通知] 區段中找到通知：

在 Machine Learning 的 [資料集] 區段中，可以存取已匯出的 Azure Machine Learning 資料集與資料資產。 [資料詳細資料] 頁面也提供範例程式碼，您可以使用 Python 來存取標籤。

匯入標籤 (預覽)

如果您有包含目前資料標籤的 Azure MLTable 資料資產或 COCO 檔案，則可以將這些標籤匯入專案中。 例如，您可能有使用相同資料從先前標記專案匯出的標籤。 匯入標籤功能僅適用於影像專案。

影像專案

若要匯入標籤，請在專案命令列上選取 [匯入] 按鈕。 您可以隨時匯入 Machine Learning 實驗的已標記資料。

從 COCO 檔案或 Azure MLTable 資料資產匯入。

資料對應

您必須指定對應至 [影像] 欄位的資料行。 您也可以選擇性對應資料中的其他資料行。 例如，如果您的資料包含 [標籤] 資料列，您可以將其對應至 [類別] 欄位。 如果您的資料包含 [信賴度] 資料行，您可以將其對應至 [信賴度] 欄位。

如果您要從上一個專案匯入標籤，標籤的格式必須與您所建立標籤的格式相同。 例如，如果您要建立周框方塊標籤，則您匯入的標籤也必須是周框方塊標籤。

匯入選項

選擇如何處理匯入的標籤：

• 作為預先標記的資料 - 選擇此選項以使用匯入的標籤作為預先標記的資料。 您的標記人員接著可以檢閱預先標記的資料，並在提交標籤之前更正任何錯誤。
• 作為最終標籤 - 選擇此選項以將標籤匯入為最終標籤。 只有尚未包含標籤的資料會以工作的形式呈現給標記人員。

文字專案

匯入標籤功能不適用於文字專案。

標籤人員的存取權

任何具有您工作區參與者或擁有者存取權的人員，都可以標記專案中的資料。

您也可以新增使用者並自訂權限，讓這些使用者可以存取標記，但無法存取工作區或標記專案以外的部分。 如需詳細資訊，請參閱將使用者新增至您的資料標記專案。

針對問題進行疑難排解

如果您在管理專案時看到下列任何問題，請使用這些秘訣：

問題	解決方案
只能使用在 Blob 資料存放區上建立的資料集。	此問題是目前版本的已知限制。
從專案使用的資料集移除資料會導致專案中發生錯誤。	請勿從標記專案中使用的資料集版本移除資料。 建立要用來移除資料之資料集的新版本。
建立項目之後，項目狀態在一段時間內會是 [初始化中]。	手動重新整理頁面。 初始化應該會以大約每秒 20 個資料點的速率完成。 沒有自動重新整理是已知的問題。
未在資料檢閱中顯示新標記的項目。	若要載入所有加上標籤的項目，請選擇 [第一個] 按鈕。 [第一個] 按鈕會讓您回到清單的前面，但也會載入所有加上標籤的資料。
您不能將工作集指派給特定的標籤人員。	此問題是目前版本的已知限制。

針對物件偵測進行疑難排解

問題	解決方案
如果您在標籤物件偵測時選取 Esc 鍵，則會建立零大小的標籤，且標籤提交會失敗。	若要刪除標籤，請選擇標籤旁邊的 X 刪除圖示。

如果您在建立專案時遇到問題，請參閱 針對建立數據標記專案期間的問題進行疑難解答

後續步驟

標記影像和文字文件