在 Azure Percept Studio 中建立無程式碼視覺解決方案

重要

淘汰 Azure Percept DK:

2022 年 11 月 9日更新:可讓視覺 SoM 和音訊 SOM 在淘汰日期之後保留其功能與 DK 的韌體更新,將在淘汰日期之前提供使用。

Azure Percept公開預覽將不斷演進,以支援新的邊緣裝置平臺和開發人員體驗。 在此演進過程中,Azure Percept DK 和音訊存取項,以及 Percept DK 的相關支援 Azure 服務將于 2023 年 3 月 30 日淘汰。

自 2023 年 3 月 30 日起,任何 Azure 服務將不再支援 Azure Percept DK 和 Audio Accessory,包括Azure Percept Studio、OS 更新、容器更新、檢視 Web 串流,以及自訂視覺整合。 Microsoft 將不再提供客戶成功支援和任何相關聯的支援服務。 如需詳細資訊,請造訪 淘汰通知部落格文章

Azure Percept Studio可讓您建置和部署自訂電腦視覺解決方案,不需要撰寫程式碼。 在本文中,您將:

  • Azure Percept Studio中建立視覺專案
  • 使用您的 devkit 收集訓練影像
  • 自訂視覺中為您的訓練影像加上標籤
  • 定型自訂物件偵測或分類模型
  • 將模型部署至 devkit
  • 藉由設定重新定型來改善您的模型

本教學課程適用于沒有 AI 體驗且剛開始使用 Azure Percept 的開發人員。

必要條件

  • Azure Percept DK (devkit)
  • Azure 訂用帳戶
  • Azure Percept DK 設定體驗:您已將 devkit 連線到Wi-Fi網路、建立IoT 中樞,並將 devkit 連線至IoT 中樞

建立視覺原型

  1. 啟動瀏覽器並移至Azure Percept Studio

  2. 在 [概觀] 頁面上,按一下 [示範教學課程 &] 索引標籤。Azure Percept Studio概觀畫面。

  3. [視覺教學課程和示範] 底下,按一下 [建立視覺原型]。

    Azure Percept Studio示範和教學課程畫面。

  4. 在 [新增 Azure Percept 自訂視覺原型] 頁面上,執行下列動作:

    1. 在 [ 專案名稱] 方塊中,輸入視覺原型的名稱。

    2. 在 [ 專案描述 ] 方塊中輸入視覺原型的描述。

    3. 選取 [裝置類型] 下拉式功能表底下的Azure Percept DK

    4. 在 [ 資源 ] 下拉式功能表下選取資源,或按一下 [ 建立新資源]。 如果您選擇建立新的資源,請在 [ 建立 ] 視窗中執行下列動作:

      1. 輸入新資源的名稱。
      2. 選取 Azure 訂閱。
      3. 選取資源群組或建立新的資源群組。
      4. 選取您的慣用區域。
      5. 選取定價層 (我們建議使用 S0) 。
      6. 按一下視窗底部的 [ 建立 ]。

      建立資源視窗。

    5. 針對 [專案類型],選擇您的視覺專案是否會執行物件偵測或影像分類。 如需專案類型的詳細資訊,請按一下 [ 說明我選擇]。

    6. 針對 [優化],選取您要將專案優化,以取得精確度、低網路延遲,或兩者之間的平衡。

    7. 按一下 [ 建立 ] 按鈕。

      建立自訂視覺原型畫面。

將裝置連線到您的專案並擷取映射

建立視覺解決方案之後,您必須將 devkit 及其對應的IoT 中樞新增至其中。

  1. 開啟您的 devkit。

  2. [IoT 中樞] 下拉式功能表中,選取 Devkit 在 OOBE 期間連線到的 IoT 中樞。

  3. 在 [ 裝置] 下拉式功能表中,選取您的 devkit。

接下來,您必須載入影像或擷取影像,以定型 AI 模型。 我們建議每個標籤類型至少上傳 30 個影像。 例如,如果您想要建置狗和貓偵測器,您必須上傳至少 30 張狗影像和 30 張貓影像。 若要使用 devkit 的視覺 SoM 擷取影像,請執行下列動作:

  1. 在 [ 影像擷取 ] 視窗中,選取 [ 檢視裝置串流 ] 以檢視視覺 SoM 視訊串流。

  2. 請檢查視訊串流,以確保您的視覺 SoM 相機已正確對齊以拍攝定型圖片。 視需要進行調整。

  3. 在 [ 影像擷取 ] 視窗中,按一下 [ 拍攝相片]。

    影像擷取畫面。

  4. 或者,選取 [ 自動擷取映射 ] 方塊,設定自動化影像擷取以一次收集大量影像。 在 [ 擷取速率 ] 底下選取您慣用的影像速率,以及您想要在 [ 目標] 底下收集的影像總數。 按一下 [設定自動擷取 ] 開始自動擷取程式。

    自動影像擷取下拉式功能表。

當您有足夠的相片時,請按一下 [ 下一步:標記畫面底部的影像和模型定 型]。 所有映射都會儲存在自訂視覺中。

注意

如果您選擇將定型影像直接上傳至自訂視覺,請注意,影像檔案大小不能超過 6MB。

標記影像並定型您的模型

在定型模型之前,請先將標籤新增至您的影像。

  1. 在 [標記影像和模型定型]頁面上,按一下[在自訂視覺中開啟專案]。

  2. [自訂視覺] 頁面的左側,按一下 [標記] 底下的[解除標記],以檢視您在上一個步驟中剛收集的影像。 選取一或多個未標記的影像。

  3. 在 [ 影像詳細資料] 視窗中,按一下影像以開始標記。 如果您選取物件偵測作為專案類型,您也必須在想要標記的特定物件周圍繪製周 框方塊 。 視需要調整周框方塊。 輸入您的物件標籤,然後按一下 + 以套用標記。 例如,如果您要建立視覺解決方案,以在商店架需要重新裝載時通知您,請將標籤「空白架」新增至空的擱置影像,並將標籤「完整架」新增至完全庫存的架子影像。 針對所有未標記的影像重複。

    自訂視覺中的影像標記畫面。

  4. 標記影像之後,按一下視窗右上角的 X 圖示。 按一下 [標記] 底下的[標記],以檢視所有新標記的影像。

  5. 標記影像之後,您就可以開始定型 AI 模型。 若要這樣做,請按一下頁面頂端附近的 [ 訓練 ]。 每個標籤類型至少必須有 15 個影像,才能定型模型 (我們建議至少使用 30 個) 。 定型通常需要大約 30 分鐘的時間,但如果您的影像集非常大,則可能需要較長的時間。

    已醒目提示訓練按鈕的定型影像選取專案。

  6. 定型完成時,您的畫面會顯示您的模型效能。 如需評估這些結果的詳細資訊,請參閱 模型評估檔。 定型之後,您可能也會想要 測試模型 的其他影像,並視需要重新定型。 每次定型模型時,都會儲存為新的反復專案。 如需如何改善模型效能的其他資訊,請參閱自訂視覺檔

    模型定型結果。

    注意

    如果您選擇在自訂視覺中的其他影像上測試模型,請注意測試影像檔案大小不能超過 4 MB。

當您滿意模型的效能之後,請關閉瀏覽器索引標籤來關閉自訂視覺。

部署 AI 模型

  1. 返回至 [Azure Percept Studio] 索引標籤,然後按 [下一步:評估並部署] 畫面底部。

  2. [ 評估及部署 ] 視窗會顯示所選模型反復專案的效能。 選取您想要在 [ 模型反復 專案] 下拉式功能表底下部署至 devkit 的反復專案,然後按一下畫面底部的 [ 部署模型 ]。

    模型部署畫面。

  3. 部署模型之後,請檢視裝置的視訊串流,以查看您的模型推斷運作情形。

    顯示耳機偵測器作用中的裝置串流。

關閉此視窗之後,您可以隨時按一下 Azure Percept Studio 首頁上的[AI 專案] 下的 [視覺],然後選取視覺專案的名稱,以返回並編輯您的視覺專案。

視覺專案頁面。

藉由設定重新定型來改善您的模型

將模型定型並部署到裝置之後,您可以藉由設定重新定型參數來擷取更多定型資料來改善模型效能。 這項功能可用來改善定型模型的效能,方法是讓您能夠根據機率範圍擷取影像。 例如,您可以將裝置設定為只在機率偏低時擷取定型影像。 以下是新增更多影像和平衡定型資料的 一些額外指引

  1. 若要設定重新定型,請返回您的 專案,然後移至 [專案摘要]

  2. 在 [ 影像擷取] 索引 標籤中,選取 [自動擷取映射 ] 和 [設定重新定型]。

  3. 選取 [ 自動影像 擷取] 方塊,設定自動化影像擷取,以一次收集大量影像。

  4. 在 [ 擷取速率 ] 下選取您慣用的影像速率,以及您想要在 [ 目標] 底下收集的影像總數。

  5. [設定重新定 型] 區段中,選取您想要擷取更多定型資料的反復專案,然後選取機率範圍。 只有符合機率的影像才會上傳到您的專案。

    影像擷取。

清除資源

如果您已為此教學課程建立新的 Azure 資源,而不想再開發或使用視覺解決方案,請執行下列步驟來刪除您的資源:

  1. 移至 Azure 入口網站
  2. 按一下 [所有資源]。
  3. 按一下本教學課程期間所建立資源旁的核取方塊。 資源類型會列為 認知服務
  4. 按一下畫面頂端附近的 [刪除] 圖示。

影片逐步解說

如需上述步驟的視覺化逐步解說,請參閱下列影片:



後續步驟

接下來,請參閱視覺操作說明文章,以取得 Azure Percept Studio 中其他視覺解決方案功能的相關資訊。