解決方案構想
本文說明解決方案概念。 您的雲端架構設計人員可以使用本指南，協助可視化此架構的一般實作的主要元件。 使用本文作為起點，設計符合您工作負載特定需求的架構良好解決方案。
此架構會使用 自訂視覺 來分類模擬無人機拍攝的影像。 它提供結合 AI 和物聯網 （IoT） 的方法。 Azure 自訂視覺 也可用於物件偵測。
架構
工作流程
- 使用 AirSim 的 3D 轉譯環境拍攝無人機拍攝的圖像。 使用影像作為定型數據集。
- 匯入和標記 自訂視覺 專案中的數據集。 認知服務會訓練及測試模型。
- 將模型匯出為 TensorFlow 格式，讓您可以在本機使用它。
- 模型也可以部署到 容器 或 行動裝置。
元件
Microsoft AirSim 無人機模擬器
Microsoft AirSim 無人機模擬器 建置在 Unreal Engine 上。 模擬器是開放原始碼、跨平臺，並開發來協助 AI 研究。 在此架構中，它會建立用來定型模型的影像數據集。
Azure 自訂視覺
Azure 自訂視覺 是 Azure 認知服務的一部分。 在此架構中，它會建立影像分類器模型。
TensorFlow
TensorFlow 是機器學習 （ML） 的開放原始碼平臺。 這是一種工具，可協助您開發和定型 ML 模型。 當您將模型導出至 TensorFlow 格式時，您會有一個通訊協定緩衝區檔案，其中包含可在腳本中本機使用的 自訂視覺 模型。
案例詳細資料
Azure AI 服務提供許多人工智慧 （AI） 解決方案的可能性。 其中一個是 Azure 自訂視覺，可讓您建置、部署及改善映像分類器。 此架構會使用 自訂視覺 來分類模擬無人機拍攝的影像。 它提供結合 AI 和物聯網 （IoT） 的方法。 Azure 自訂視覺 也可用於物件偵測。
潛在的使用案例
此解決方案適用於救援、模擬、機器人、飛機、航空航太和航空產業。
Microsoft搜尋與救援實驗室建議 自訂視覺 的假設使用案例。 在實驗室中，您會在 3D 轉譯的環境中飛行Microsoft AirSim 模擬無人機。 您可以使用模擬無人機來擷取該環境中動物的合成影像。 建立影像數據集之後，您可以使用數據集來定型 自訂視覺 分類器模型。 若要定型模型，您可以使用動物的名稱標記影像。 當你再次飛行無人機時，拍攝動物的新圖像。 此解決方案會識別每個新影像中的動物名稱。
在實驗室的實際應用中，實際的無人機會取代Microsoft AirSim 模擬無人機。 如果寵物丟失，主人會將寵物的圖像提供給 自訂視覺 模型教練。 就像在模擬中一樣，影像是用來定型模型來辨識寵物。 然後，無人機飛行員搜索丟失的寵物可能是的區域。 當它發現動物一路上，無人機的相機可以捕捉圖像，並判斷動物是否是丟失的寵物。
部署此案例
若要部署此參考架構，請遵循搜尋與救援實驗室 GitHub 存放庫中所述的步驟。
參與者
本文由 Microsoft 維護。 原始投稿人如下。
主要作者：
- Jose Contreras |首席軟體工程師
下一步
- 深入瞭解 Microsoft AirSim
- 深入瞭解 Azure AI 自訂視覺
- 深入瞭解 Azure AI 服務
相關資源
閱讀其他 Azure 架構中心文章：