Vytvoření řešení analýzy videa v IoT Edge

  • 7 min

V tomto modulu se dozvíte, jak používat funkci rozšiřitelnosti AI analýzy živého videa v Azure IoT Edge. Model nasadíte na hraniční zařízení pro detekci osoby v výrobním patře. Dozvíte se také o možnostech Analýzy živého videa. Budete moct bez problémů nasadit vlastní model jako kontejner na hraničních zařízeních a analyzovat simulovaný informační kanál živého videa. Použijete předem natrénovaný model YOLO a nasadíte ho jako kontejner do řešení analýzy videa.

Uvidíte, jak:

  • Nastavení prostředků Azure
  • Nastavení hraničních úloh na hraniční zařízení
  • Přenesení a nasazení modelu odvozování YOLO na hraniční zařízení
  • Nasazení řešení
  • Prozkoumání a interpretace výsledků

Jako zařízení IoT Edge používáte virtuální počítač Azure a řešení pro analýzu videí je založené na ukázce v úložišti GitHub.

Vzorek

V tomto modulu se k simulaci živého streamu používá bezpečnostní videosoubor zaměstnanců. K přehrávání videa můžete použít aplikaci, jako je přehrávač médií VLC. Zkopírujte odkaz na video a vložte ho. Během sledování videa si všimnete pohybu lidí ve videu.

Pracovní postup řešení

Nejprve v tomto modulu musíte nastavit hraniční zařízení s nainstalovaným modulem runtime IoT Edge. Po nakonfigurování zařízení do IoT Hubu odešlete manifest nasazení do hraničního zařízení. Po odeslání manifestu nasazení na hraniční zařízení získá agent IoT Edge spuštěný na hraničním zařízení nové kontejnery z registru kontejneru a spustí je na hraničním zařízení. Nasadí se následující moduly:

  • Webový modul: Webový modul představuje přední webovou aplikaci, se kterou uživatel pracuje. Když třeba přidáte kameru, webový modul bude spravovat nastavení kamery do modulu pro analýzu živého videa. Když se nasadí na základě uživatelského nastavení, může webový modul automaticky zachytit image a odeslat je k opětovnému natrénování pomocí rozhraní API customvision.ai aplikačního protokolu.

  • Analýza živého videa (LVA):Tento modul analyzuje snímky ze všech fotoaparátů a odešle je do modulu odvozování.

  • Odvozovat orchestrator: Tento modul odesílá rámce do predikce modulu a získává výsledky. Překryvuje také výsledky v informačním kanálu kamery a odesílá stream videa HTTP do webového modulu a odesílá výsledky ML do centra Azure IoT.

  • ML Predict Module: Modul ML Predict spouští natrénovaný model YOLO pomocí onnxruntime; přebírá rámce přes HTTP nebo gRPC a odesílá výsledky JSON.

  • Díky analýze živého videa můžou uživatelé webovému modulu také povolit ukládání videí na základě výsledků odvození a jejich nasdílení do poskytnutého účtu mediální služby v Azure.

Architektura

Tady je kompletní architektura řešení Video Analytics.

The illustration shows the solution architecture.

Definování produktů Azure

V návrhu řešení použijete následující komponenty:

  • Azure IoT Hub: Azure IoT Hub poskytuje back-end řešení hostované v cloudu pro připojení většiny zařízení.

  • Virtuální počítač Azure IoT Edge: Modul runtime nainstaluje virtuální počítač Azure IoT Edge. V tomto modulu otevřete síťový port 8181, abyste umožnili komunikaci mezi virtuálním počítačem a webovou aplikací.

  • Analýza živého videa ve službě IoT Edge:Modul IoT Edge, který má funkce, které se mají kombinovat s dalšími hraničními moduly Azure, jako jsou Stream Analytics na IoT Edge, služby Azure AI v IoT Edge a služby Azure v cloudu, jako jsou Media Services a Event Hub.

  • Custom Vision Service: Custom Vision umožňuje vytvářet, nasazovat a vylepšovat klasifikátory obrázků. Klasifikátor obrázků je služba AI, která na obrázky používá popisky (představující třídy) na základě jejich vizuálních charakteristik.

  • Media Services: Azure Media Services je kolekce cloudových a hraničních služeb pro pracovní postupy médií, která umožňují vytvářet řešení, která vyžadují živé a dávkové analýzy videa, překódování, služby doručování více zařízení, ochranu obsahu a vysílání živých událostí ve velkém měřítku.

Jak postupovat

Celkový postup modulu je určený pro toto řešení:

  1. Vytvoření IoT Hubu
  2. Vytvoření virtuálního počítače jako hraničního zařízení
  3. Registrace hraničního zařízení do IoT Hubu
  4. Instalace a spuštění instalačního programu prostředí Azure Shell
    1. Nastavení prostředků Azure pro analýzu živého videa ve službě IoT Edge
    2. Nastavení úloh na zařízení IoT Edge
  5. Nahrání ukázkového videa do hraničního zařízení
  6. Vytvoření registru kontejneru Azure
  7. Získání předem natrénovaného modelu YOLO
  8. Sestavení image kontejneru pomocí modelu YOLO
  9. Nasdílení image kontejneru do registru kontejneru Azure
  10. Nasazení modelu YOLO na hraniční zařízení
  11. Připojení webové aplikace
    1. Přidání kamery pro podávání ukázkového videa
    2. Přidání koncového bodu a popisků modelu
  12. Nasazení řešení
  13. Prozkoumání výsledků

Závěr

Po dokončení modulu se vaše řešení pro zpracování obrazu nasadí do hraničního zařízení. Spustíte simulovaný stream živého videa. Řešení se nasadí na hraniční zařízení, které zjistí osobu v reálném čase pomocí modelu YOLO a analýzy živého videa.

Podívejte se na následující video a podívejte se na stručný úvod a seznamte se s řešením Vision on Edge.