練習 - 整合 Azure 自訂視覺

  • 4 分鐘

在本課程模組中，您將瞭解如何使用 Azure 自訂視覺。 您將拍攝一組 [追蹤的物件] 的相片，將之上傳至 [自訂視覺] 服務，然後開始定型程序。 然後，您將使用服務從網路攝影機摘要擷取相片來偵測追蹤的物件。

瞭解 Azure AI 自訂視覺

Azure AI 自訂視覺 是認知服務系列的一部分，可用來定型影像分類器。 影像分類器是使用定型模型來套用比對標籤的 AI 服務。 我們的應用程式會使用此分類功能來偵測追蹤的物件。

深入瞭解 自訂視覺。

準備 自訂視覺

開始之前，您必須建立 自訂視覺 專案。 建立 自訂視覺 專案最快的方式是使用 自訂視覺 入口網站。

請遵循本快速入門教學課程來設定您的帳戶和專案。 遵循上傳和標記影像一節的步驟。 您應該建立一個具有五個影像的標籤。

警告

若要定型模型，您必須至少要有兩個標籤，且每個標籤至少要有五個影像。 稍後，我們將透過應用程式新增更多映像。 不過，若要使用此應用程式，您至少必須建立一個具有五個影像的標籤，以便稍後定型程式不會失敗。

準備場景

  1. 在 [專案] 視窗中，瀏覽至 [資產]> [MRTK.Tutorials.AzureCloudServices]> [預製物件]> [管理員]。

    Screenshot of Unity with Project window showing path to ObjectDetectionManager prefab.

  2. 從該處，將 ObjectDetectionManager 預製專案拖曳至場景階層。

    Screenshot of Unity with ObjectDetectionManager script component configuration fields shown in Inspector.

  3. 在 [階層] 視窗中，找出並選取 ObjectDetectionManager 物件。 ObjectDetectionManager 預製物件包含 ObjectDetectionManager (script) 元件，如您可從偵測器視窗所見，這取決於 Azure 設定和專案設定。

擷取 Azure API 資源認證

您可以從 Azure 入口網站 和 自訂視覺 入口網站擷取 ObjectDetectionManager （script） 設定的必要認證。

擷取 Azure 設定認證

尋找並找出您在本教學課程的準備場景一節中建立的認知服務類型 自訂視覺 資源。 在該處選取 [概觀] 或 [金鑰和端點] 以擷取必要的認證。

  • Azure 資源訂用帳戶標識碼：使用 [概觀] 區段中的訂用帳戶標識碼。
  • Azure 資源組名：使用 [概觀] 區段中的資源組名。

針對認知服務組名，請使用 自訂視覺 資源名稱，後面接著 -Prediction。

  • 資源基底預測端點：使用來自 自訂視覺 -Prediction 資源中密鑰和端點的端點。
  • Api 預測金鑰：在 自訂視覺 -Prediction 資源中使用金鑰和端點中的金鑰 1。

擷取專案設定認證

在 自訂視覺 儀錶板中，開啟您為此教學課程建立的專案，然後選取頁面右上角的 設定（齒輪）圖示，以開啟 設定 頁面。 您會在右側的 [資源] 區段以及左側的 [一般] 區段中找到必要的認證。

  • 資源基底端點：使用 [資源] 區段中的 [端點]。 這應該符合 自訂視覺 資源中 [金鑰] 和 [端點] 底下的端點。
  • Api 金鑰：使用 [資源] 區段中的 [金鑰]。 這應該符合 自訂視覺 資源中 [金鑰] 和 [端點] 底下的密鑰。
  • 項目標識碼：使用 [一般] 區段中的專案標識碼。

  1. 現在，使用 ObjectDetectionManager （script） 正確設定，在您的場景階層中尋找 SceneController 物件並加以選取。

    Screenshot of Unity with SceneController script component configuration fields shown in Inspector.

  2. SceneController 元件中的 [物件偵測管理員] 欄位為空白。 將 ObjectDetectionManager 從階層拖曳到 SceneController 元件，並儲存場景。

    Screenshot of Unity with SceneController script component configured.

擷取和上傳影像

  1. 執行場景，然後選取 [設定物件]。 輸入您在上節課中建立的其中一個追蹤物件名稱。 選取物件卡片底部的 [電腦視覺] 按鈕。

  2. 新的視窗隨即開啟。 您將拍攝六張照片，藉此定型模型以進行影像辨識。 選取 [相機] 按鈕，然後執行AirTap 以查看您想要追蹤的物件。執行此動作六次。

    提示

    若要改善模型定型，請嘗試從不同角度和光源條件擷取每個影像。

  3. 一旦您有足夠的影像數目，請選取 [定型] 按鈕，以在雲端中啟動模型定型程序。 這會上傳所有影像並啟動定型。 此程式可能需要幾分鐘的時間。 功能表內的訊息表示目前的進度。 一旦指出程序完成，您就可以停止應用程式。

    提示

    ObjectDetectionManager (script) 會直接將拍攝的影像上傳至自訂視覺服務。 或者，自訂視覺 API 接受影像的 URL。 在練習中，您可以修改 ObjectDetectionManager （script） 將影像上傳至 Blob 記憶體。

警告

如果定型失敗，請檢查您的 自訂視覺 儀錶板，並確定您至少有兩個標籤，且每個標籤至少有五個影像。

偵測物件

您現在可以將定型的模型投入測試。 執行應用程式。 從 [主] 功能表中，選取 [搜尋物件 ]，然後輸入有問題的追蹤物件名稱。 [物件卡] 隨即顯示。 接下來，選取 [自訂視覺] 按鈕。 *ObjectDetectionManager 會開始從相機背景擷取影像。 功能表會指出應用程式進度。 將相機指向您用來定型模型的物件。 不久後，相機應該會偵測物件。