在 Azure Percept Studio 中建立無程式碼視覺解決方案

發行項
11/18/2022

重要

淘汰 Azure Percept DK：

2022 年 11 月 9日更新：可讓視覺 SoM 和音訊 SOM 在淘汰日期之後保留其功能與 DK 的韌體更新，將在淘汰日期之前提供使用。

Azure Percept公開預覽將不斷演進，以支援新的邊緣裝置平臺和開發人員體驗。在此演進過程中，Azure Percept DK 和音訊存取項，以及 Percept DK 的相關支援 Azure 服務將于 2023 年 3 月 30 日淘汰。

自 2023 年 3 月 30 日起，任何 Azure 服務將不再支援 Azure Percept DK 和 Audio Accessory，包括Azure Percept Studio、OS 更新、容器更新、檢視 Web 串流，以及自訂視覺整合。 Microsoft 將不再提供客戶成功支援和任何相關聯的支援服務。如需詳細資訊，請造訪淘汰通知部落格文章。

Azure Percept Studio可讓您建置和部署自訂電腦視覺解決方案，不需要撰寫程式碼。在本文中，您將：

在Azure Percept Studio中建立視覺專案
使用您的 devkit 收集訓練影像
在自訂視覺中為您的訓練影像加上標籤
定型自訂物件偵測或分類模型
將模型部署至 devkit
藉由設定重新定型來改善您的模型

本教學課程適用于沒有 AI 體驗且剛開始使用 Azure Percept 的開發人員。

必要條件

Azure Percept DK (devkit)
Azure 訂用帳戶
Azure Percept DK 設定體驗：您已將 devkit 連線到Wi-Fi網路、建立IoT 中樞，並將 devkit 連線至IoT 中樞

建立視覺原型

啟動瀏覽器並移至Azure Percept Studio。
在 [概觀] 頁面上，按一下 [示範教學課程 &] 索引標籤
在 [視覺教學課程和示範] 底下，按一下 [建立視覺原型]。
在 [新增 Azure Percept 自訂視覺原型] 頁面上，執行下列動作：
1. 在 [ 專案名稱] 方塊中，輸入視覺原型的名稱。
2. 在 [ 專案描述 ] 方塊中輸入視覺原型的描述。
3. 選取 [裝置類型] 下拉式功能表底下的Azure Percept DK。
4. 在 [ 資源 ] 下拉式功能表下選取資源，或按一下 [ 建立新資源]。如果您選擇建立新的資源，請在 [ 建立 ] 視窗中執行下列動作：
  1. 輸入新資源的名稱。
  2. 選取 Azure 訂閱。
  3. 選取資源群組或建立新的資源群組。
  4. 選取您的慣用區域。
  5. 選取定價層 (我們建議使用 S0) 。
  6. 按一下視窗底部的 [ 建立 ]。
5. 針對 [專案類型]，選擇您的視覺專案是否會執行物件偵測或影像分類。如需專案類型的詳細資訊，請按一下 [ 說明我選擇]。
6. 針對 [優化]，選取您要將專案優化，以取得精確度、低網路延遲，或兩者之間的平衡。
7. 按一下 [ 建立 ] 按鈕。

將裝置連線到您的專案並擷取映射

建立視覺解決方案之後，您必須將 devkit 及其對應的IoT 中樞新增至其中。

開啟您的 devkit。
在[IoT 中樞] 下拉式功能表中，選取 Devkit 在 OOBE 期間連線到的 IoT 中樞。
在 [ 裝置] 下拉式功能表中，選取您的 devkit。

接下來，您必須載入影像或擷取影像，以定型 AI 模型。我們建議每個標籤類型至少上傳 30 個影像。例如，如果您想要建置狗和貓偵測器，您必須上傳至少 30 張狗影像和 30 張貓影像。若要使用 devkit 的視覺 SoM 擷取影像，請執行下列動作：

在 [ 影像擷取 ] 視窗中，選取 [ 檢視裝置串流 ] 以檢視視覺 SoM 視訊串流。
請檢查視訊串流，以確保您的視覺 SoM 相機已正確對齊以拍攝定型圖片。視需要進行調整。
在 [ 影像擷取 ] 視窗中，按一下 [ 拍攝相片]。
或者，選取 [ 自動擷取映射 ] 方塊，設定自動化影像擷取以一次收集大量影像。在 [ 擷取速率 ] 底下選取您慣用的影像速率，以及您想要在 [ 目標] 底下收集的影像總數。按一下 [設定自動擷取 ] 開始自動擷取程式。

當您有足夠的相片時，請按一下 [ 下一步：標記畫面底部的影像和模型定 型]。所有映射都會儲存在自訂視覺中。

注意

如果您選擇將定型影像直接上傳至自訂視覺，請注意，影像檔案大小不能超過 6MB。

標記影像並定型您的模型

在定型模型之前，請先將標籤新增至您的影像。

在 [標記影像和模型定型]頁面上，按一下[在自訂視覺中開啟專案]。
在[自訂視覺] 頁面的左側，按一下 [標記] 底下的[解除標記]，以檢視您在上一個步驟中剛收集的影像。選取一或多個未標記的影像。
在 [ 影像詳細資料] 視窗中，按一下影像以開始標記。如果您選取物件偵測作為專案類型，您也必須在想要標記的特定物件周圍繪製周框方塊。視需要調整周框方塊。輸入您的物件標籤，然後按一下 + 以套用標記。例如，如果您要建立視覺解決方案，以在商店架需要重新裝載時通知您，請將標籤「空白架」新增至空的擱置影像，並將標籤「完整架」新增至完全庫存的架子影像。針對所有未標記的影像重複。
標記影像之後，按一下視窗右上角的 X 圖示。按一下 [標記] 底下的[標記]，以檢視所有新標記的影像。
標記影像之後，您就可以開始定型 AI 模型。若要這樣做，請按一下頁面頂端附近的 [ 訓練 ]。每個標籤類型至少必須有 15 個影像，才能定型模型 (我們建議至少使用 30 個) 。定型通常需要大約 30 分鐘的時間，但如果您的影像集非常大，則可能需要較長的時間。
定型完成時，您的畫面會顯示您的模型效能。如需評估這些結果的詳細資訊，請參閱模型評估檔。定型之後，您可能也會想要測試模型的其他影像，並視需要重新定型。每次定型模型時，都會儲存為新的反復專案。如需如何改善模型效能的其他資訊，請參閱自訂視覺檔。

注意

如果您選擇在自訂視覺中的其他影像上測試模型，請注意測試影像檔案大小不能超過 4 MB。

當您滿意模型的效能之後，請關閉瀏覽器索引標籤來關閉自訂視覺。

部署 AI 模型

返回至 [Azure Percept Studio] 索引標籤，然後按 [下一步：評估並部署] 畫面底部。
[ 評估及部署 ] 視窗會顯示所選模型反復專案的效能。選取您想要在 [ 模型反復 專案] 下拉式功能表底下部署至 devkit 的反復專案，然後按一下畫面底部的 [ 部署模型 ]。
部署模型之後，請檢視裝置的視訊串流，以查看您的模型推斷運作情形。