管理標籤專案

瞭解如何在 Azure 機器學習 中管理標籤專案。 本文適用於負責管理文字或影像標記項目的項目經理。 如需如何建立項目的資訊,請參閱 設定文字標籤專案設定影像標籤專案

重要

本文中標示為 (預覽) 的項目目前處於公開預覽狀態。 此預覽版本會在沒有服務等級協定的情況下提供,不建議用於實際執行工作負載。 可能不支援特定功能,或可能已經限制功能。 如需詳細資訊,請參閱 Microsoft Azure 預覽版增補使用條款

執行並監視專案

初始化項目之後,Azure 會開始執行它。 若要管理專案,請選取主要 數據標籤 面上的專案。

若要暫停或重新啟動專案,請在專案命令行上切換 [ 執行 中] 狀態。 您只能在項目執行時為資料加上標籤。

監視進度

[儀錶板] 索引標籤會顯示標籤工作的進度。

Screenshot that shows the data labeling dashboard.

進度圖表顯示已標記、略過、需要檢閱或尚未完成的項目數目。 將滑鼠停留在圖表上,以查看每個區段中的項目數。

已完成工作的標籤分佈會顯示在圖表下方。 在某些項目類型中,專案可以有多個標籤。 標籤總數可能超過項目總數。

卷標器的分佈,以及標籤的項目數目也會顯示。

中間區段會顯示具有未指派工作佇列的數據表。 當 ML 輔助標籤關閉時,本節會顯示等候指派的手動工作數目。

當 ML 輔助標籤開啟時,本節也會顯示:

  • 包含佇列中叢集專案的工作。
  • 包含佇列中預先標記專案的工作。

此外,啟用 ML 輔助標籤時,您可以向下捲動以查看 ML 輔助標籤狀態。 [作業] 區段提供每個機器學習執行的連結。

  • 型:定型模型以預測標籤。
  • 驗證:判斷項目預先標記是否使用此模型的預測。
  • 推斷:針對新專案執行預測。
  • 特徵化:叢集專案(僅適用於影像分類專案)。

檢閱數據和標籤

在 [ 數據] 索引標籤標上,預覽數據集並檢閱已標記的數據。

捲動已標記的數據,以查看標籤。 如果您看到標示不正確的數據,請選取它,然後選擇 [ 拒絕 ] 移除標籤,並將數據傳回未標記的佇列。

略過的專案

一組篩選會套用至您要檢閱的專案。 根據預設,您會檢閱標示的數據。 選取 [ 資產類型 ] 篩選條件,將類型切換為 *已略 過以檢閱已略過的專案。

Screenshot shows the filters for reviewing labels.

如果您認為應該標記略過的數據,請選取 [拒絕 ] 以重新放入未標記的佇列中。 如果您認為略過的數據與您的項目無關,請選取 [ 接受 ] 將其從專案中移除。

共識標籤

如果您的專案使用共識標籤,請檢閱沒有共識的影像:

  1. 選取資料索引標籤。

  2. 在左側功能表上,選取 [ 檢閱卷標]。

  3. 在 [檢閱卷標] 上方的命令行上,選取 [所有篩選]。

    Screenshot that shows how to select filters to review consensus label problems.

  4. 在 [已標記的數據點] 下,選取 [需要檢閱的共識卷標],只顯示卷標者未達成共識的影像。

    Screenshot that shows how to select labels in need of review.

  5. 若要檢視每個影像,請選取 [ 共識卷標 ] 下拉式清單以檢視衝突的標籤。

    Screenshot that shows the Select Consensus label dropdown to review conflicting labels.

  6. 雖然您可以選取個別標籤來查看其標籤,若要更新或拒絕標籤,您必須使用最上層選擇[共識卷標][預覽]。

變更專案詳細數據

在 [ 詳細 數據] 索引標籤上檢視和變更專案的詳細數據。在這裡索引標籤上,您可以:

  • 檢視專案詳細數據和輸入數據集。
  • 設定或清除 [ 定期啟用累加式重新整理] 選項,或要求立即重新整理。
  • 檢視記憶體容器的詳細數據,這些容器會用來將已標記的輸出儲存在您的專案中。
  • 將標籤新增至您的專案。
  • 編輯您提供給標籤的指示。
  • 變更 ML 輔助標籤的設定,並啟動標籤工作。

在 Azure AI 服務中建立的專案

如果您的標籤專案是從 Vision StudioLanguage Studio 建立的,您會在 [詳細 數據] 頁面上看到額外的索引卷標。 索引標籤可讓您在 Azure 機器學習 和 Vision Studio 或 Language Studio 中的標籤之間切換。

如果您的專案是從 Vision Studio 建立的,您也會看到 [視覺工作室] 索引卷標。選取 [移至 Vision Studio] 以返回 Vision Studio。 返回 Vision Studio 之後,您將能夠匯入已標記的數據。

將新標籤新增至專案

在數據標記程式期間,您可能會想要新增更多標籤來分類您的專案。 例如,您可能想要新增未知或其他標籤,以表示混淆。

若要將一或多個標籤新增至專案:

  1. 在主要 [數據標籤 ] 頁面上,選取專案。

  2. 在專案命令列上,將狀態從 [執行] 切換為 [已暫停] 以停止標籤活動。

  3. 選取 [詳細資料] 索引標籤。

  4. 在左側清單中,選取 [ 卷標類別]。

  5. 修改您的標籤。

    Screenshot that shows how to add a label in Machine Learning Studio.

  6. 在表單中,新增您的新標籤。 然後選擇如何繼續專案。 因為您已變更可用的標籤,請選擇如何處理已加上標籤的資料:

    • 開始,並移除所有現有的標籤。 如果您想要使用新的完整標籤,從頭開始加上標籤,請選擇此選項。
    • 重新開始,並保留所有現有的標籤。 選擇此選項可將所有數據標示為未標記,但將現有標籤為先前標示之影像的預設標籤。
    • 繼續,並保留所有現有的標籤。 選擇此選項可讓所有資料保持已標示,並開始針對尚未加上標籤的數據使用新的標籤。
  7. 視需要修改新標籤的指示頁面。

  8. 新增所有新標籤之後,將 [暫停] 切換為 [正在執行] 以重新啟動專案。

啟動 ML 輔助標籤工作

ML 輔助標籤在標記某些項目之後自動啟動。 此自動閾值會因項目而異。 如果您的專案至少包含一些已標記的數據,您可以手動啟動 ML 輔助定型執行。

注意

在 2022 年 12 月之前建立的項目無法使用隨選訓練。 若要使用此功能,請建立新的專案。

若要啟動新的 ML 輔助訓練執行:

  1. 在專案的頂端,選取 [詳細數據]。
  2. 在左側功能表上,選取 [ ML 輔助標籤]。
  3. 在頁面底部附近,針對 [隨選訓練],選取 [ 開始]。

匯出標籤

若要匯出標籤,請在專案命令行上選取 [ 匯出 ] 按鈕。 您隨時都能匯出 Machine Learning 測試的標籤資料。

如果您的專案類型是語意分割(預覽), 則會建立 Azure MLTable 數據資產

針對所有其他專案類型,您可以將影像標籤匯出為:

  • CSV 檔案。 Azure 機器學習 會在標籤/匯出/csv 內的資料夾中建立 CSV 檔案。
  • COCO 格式檔案。 Azure 機器學習 會在標籤/導出/coco 內的資料夾中建立 COCO 檔案。
  • 具有標籤的 Azure 機器學習 數據集。
  • CSV 檔案。 Azure 機器學習 會在標籤/匯出/csv 內的資料夾中建立 CSV 檔案。
  • COCO 格式檔案。 Azure 機器學習 會在標籤/導出/coco 內的資料夾中建立 COCO 檔案。
  • Azure MLTable 數據資產

當您匯出 CSV 或 COCO 檔案時,檔案準備好下載時,會短暫顯示通知。 選取 [ 下載檔案 ] 鏈接以下載您的結果。 您也可以在頂端列的 [通知] 區段中找到通知

Screenshot that shows the notification for the file download.

在 機器學習 的 [數據] 區段中,存取導出的 Azure 機器學習 數據集和數據資產。 數據詳細數據頁面也提供範例程式代碼,您可以使用 Python 來存取標籤。

Screenshot that shows an example of the dataset details page in Machine Learning.

將已標記的數據匯出至 Azure 機器學習 數據集之後,您可以使用 AutoML 來建置在已標記數據上定型的電腦視覺模型。 若要深入瞭解,請參閱 使用 Python 設定 AutoML 來定型電腦視覺模型。

匯入標籤 (預覽)

如果您有包含目前數據的標籤的 Azure MLTable 資料資產或 COCO 檔案,您可以將這些標籤匯入專案中。 例如,您可能有使用相同數據從先前標籤項目導出的標籤。 匯入標籤功能僅適用於影像專案。

若要匯入標籤,請在專案命令行上選取 [ 匯入 ] 按鈕。 您可以隨時匯入 機器學習 實驗的已標記數據。

從 COCO 檔案或 Azure MLTable 數據資產匯入。

資料對應

您必須指定對應至 [影像] 欄位的資料列。 您也可以選擇性地對應資料中的其他資料行。 例如,如果您的數據包含標籤數據列,您可以將它對應至 [類別] 字段。 如果您的數據包含 Confidence 資料行,您可以將它對應至 [信賴] 欄位。

如果您要從上一個項目匯入標籤,標籤的格式必須與您所建立的標籤格式相同。 例如,如果您要建立周框方塊標籤,您匯入的標籤也必須是周框方塊標籤。

匯入選項

選擇如何處理匯入的標籤:

  • 作為預先標記的數據 - 選擇此選項以使用匯入的標籤作為預先標記的數據。 您的標籤者接著可以檢閱預先標記的數據,並在提交標籤之前更正任何錯誤。
  • 作為最終標籤 - 選擇此選項以將標籤匯入為最終標籤。 只有尚未包含標籤的數據會以工作的形式呈現給標籤者。

卷標器的存取權

任何具有工作區參與者或擁有者存取權的人員都可以為專案中的數據加上標籤。

您也可以新增使用者並自定義許可權,讓他們可以存取標籤,但無法存取工作區或標籤專案的其他部分。 如需詳細資訊,請參閱 將使用者新增至您的數據標籤專案

針對問題進行疑難排解

如果您在管理專案時看到下列任何問題,請使用這些秘訣:

問題 解決方案
只能使用在 Blob 資料存放區上建立的資料集。 此問題是目前版本的已知限制。
從專案使用的資料集移除資料會導致專案中發生錯誤。 請勿從標記專案中使用的資料集版本移除資料。 建立要用來移除資料之資料集的新版本。
建立項目之後,項目狀態會是 初始化 一段時間。 手動重新整理頁面。 初始化應該會以大約每秒 20 個資料點的速率完成。 沒有自動重新整理是已知的問題。
未在資料檢閱中顯示新標記的項目。 若要載入所有已標記的專案,請選取 [ 第一個 ] 按鈕。 [ 第一個 ] 按鈕會帶您回到清單前面,並載入所有已標記的數據。
您不能將工作集指派給特定的標籤人員。 此問題是目前版本的已知限制。

針對物件偵測進行疑難解答

問題 解決方案
如果您在標籤對象偵測時選取 Esc 鍵,則會建立零大小的標籤,且標籤提交失敗。 若要刪除標籤,請選擇標籤 旁邊的 X 刪除圖示。

如果您在建立專案時遇到問題,請參閱 針對建立數據標記專案期間的問題進行疑難解答

後續步驟

標記影像和文字檔