Vytvoření řešení analýzy videa v IoT Edge
V tomto modulu se dozvíte, jak používat funkci rozšiřitelnosti AI analýzy živého videa v Azure IoT Edge. Model nasadíte na hraniční zařízení pro detekci osoby v výrobním patře. Dozvíte se také o možnostech Analýzy živého videa. Budete moct bez problémů nasadit vlastní model jako kontejner na hraničních zařízeních a analyzovat simulovaný informační kanál živého videa. Použijete předem natrénovaný model YOLO a nasadíte ho jako kontejner do řešení analýzy videa.
Uvidíte, jak:
- Nastavení prostředků Azure
- Nastavení hraničních úloh na hraniční zařízení
- Přenesení a nasazení modelu odvozování YOLO na hraniční zařízení
- Nasazení řešení
- Prozkoumání a interpretace výsledků
Jako zařízení IoT Edge používáte virtuální počítač Azure a řešení pro analýzu videí je založené na ukázce v úložišti GitHub.
Vzorek
V tomto modulu se k simulaci živého streamu používá bezpečnostní videosoubor zaměstnanců. K přehrávání videa můžete použít aplikaci, jako je přehrávač médií VLC. Zkopírujte odkaz na video a vložte ho. Během sledování videa si všimnete pohybu lidí ve videu.
Pracovní postup řešení
Nejprve v tomto modulu musíte nastavit hraniční zařízení s nainstalovaným modulem runtime IoT Edge. Po nakonfigurování zařízení do IoT Hubu odešlete manifest nasazení do hraničního zařízení. Po odeslání manifestu nasazení na hraniční zařízení získá agent IoT Edge spuštěný na hraničním zařízení nové kontejnery z registru kontejneru a spustí je na hraničním zařízení. Nasadí se následující moduly:
Webový modul: Webový modul představuje přední webovou aplikaci, se kterou uživatel pracuje. Když třeba přidáte kameru, webový modul bude spravovat nastavení kamery do modulu pro analýzu živého videa. Když se nasadí na základě uživatelského nastavení, může webový modul automaticky zachytit image a odeslat je k opětovnému natrénování pomocí rozhraní API customvision.ai aplikačního protokolu.
Analýza živého videa (LVA):Tento modul analyzuje snímky ze všech fotoaparátů a odešle je do modulu odvozování.
Odvozovat orchestrator: Tento modul odesílá rámce do predikce modulu a získává výsledky. Překryvuje také výsledky v informačním kanálu kamery a odesílá stream videa HTTP do webového modulu a odesílá výsledky ML do centra Azure IoT.
ML Predict Module: Modul ML Predict spouští natrénovaný model YOLO pomocí onnxruntime; přebírá rámce přes HTTP nebo gRPC a odesílá výsledky JSON.
Díky analýze živého videa můžou uživatelé webovému modulu také povolit ukládání videí na základě výsledků odvození a jejich nasdílení do poskytnutého účtu mediální služby v Azure.
Architektura
Tady je kompletní architektura řešení Video Analytics.
Definování produktů Azure
V návrhu řešení použijete následující komponenty:
Azure IoT Hub: Azure IoT Hub poskytuje back-end řešení hostované v cloudu pro připojení většiny zařízení.
Virtuální počítač Azure IoT Edge: Modul runtime nainstaluje virtuální počítač Azure IoT Edge. V tomto modulu otevřete síťový port 8181, abyste umožnili komunikaci mezi virtuálním počítačem a webovou aplikací.
Analýza živého videa ve službě IoT Edge: Modul IoT Edge, který má funkce, které se mají kombinovat s dalšími hraničními moduly Azure, jako jsou Stream Analytics na IoT Edge, služby Azure AI v IoT Edge a služby Azure v cloudu, jako jsou Media Services a Event Hub.
Custom Vision Service: Custom Vision umožňuje vytvářet, nasazovat a vylepšovat klasifikátory obrázků. Klasifikátor obrázků je služba AI, která na obrázky používá popisky (představující třídy) na základě jejich vizuálních charakteristik.
Media Services: Azure Media Services je kolekce cloudových a hraničních služeb pro pracovní postupy médií, která umožňují vytvářet řešení, která vyžadují živé a dávkové analýzy videa, překódování, služby doručování více zařízení, ochranu obsahu a vysílání živých událostí ve velkém měřítku.
Jak postupovat
Celkový postup modulu je určený pro toto řešení:
- Vytvoření IoT Hubu
- Vytvoření virtuálního počítače jako hraničního zařízení
- Registrace hraničního zařízení do IoT Hubu
- Instalace a spuštění instalačního programu prostředí Azure Shell
- Nastavení prostředků Azure pro analýzu živého videa ve službě IoT Edge
- Nastavení úloh na zařízení IoT Edge
- Nahrání ukázkového videa do hraničního zařízení
- Vytvoření registru kontejneru Azure
- Získání předem natrénovaného modelu YOLO
- Sestavení image kontejneru pomocí modelu YOLO
- Nasdílení image kontejneru do registru kontejneru Azure
- Nasazení modelu YOLO na hraniční zařízení
- Připojení webové aplikace
- Přidání kamery pro podávání ukázkového videa
- Přidání koncového bodu a popisků modelu
- Nasazení řešení
- Prozkoumání výsledků
Závěr
Po dokončení modulu se vaše řešení pro zpracování obrazu nasadí do hraničního zařízení. Spustíte simulovaný stream živého videa. Řešení se nasadí na hraniční zařízení, které zjistí osobu v reálném čase pomocí modelu YOLO a analýzy živého videa.
Podívejte se na následující video a podívejte se na stručný úvod a seznamte se s řešením Vision on Edge.