Analýza živých videostreamů pomocí několika modelů AI s využitím složení AI

ikona edge
Případně se můžete podívat na témata v části Vytváření video aplikací ve službě.


Poznámka

Službu Azure Video Analyzer verze Preview vyřazujeme. Doporučujeme , abyste do 1. prosince 2022 převést aplikace z video analyzeru.

Toto vyřazení z provozu nemá vliv na Azure Video Analyzer for Media. Teď se přejmenuje na Azure Video Indexer. Další informace čtete kliknutím sem .

Vyžaduje se akce: Pokud chcete minimalizovat přerušení úloh, před 1. prosincem 2022 převést aplikaci z Video Analyzeru podle návrhů popsaných v této příručce . Po 1. prosinci 2022 přestane váš účet Azure Video Analyzer fungovat. Od 2. května 2022 nebudete moct vytvářet nové účty Video Analyzeru.

Některé scénáře zákazníků vyžadují, aby se video analyzovalo pomocí několika modelů AI. Tyto modely se můžou buď vzájemně rozšiřovat , nebo pracovat nezávisle paralelně na stejném video streamu, nebo kombinace těchto rozšířených a nezávisle paralelních modelů může fungovat na stejném video streamu, aby se odvozovaly užitečné přehledy.

Azure Video Analyzer podporuje takové scénáře prostřednictvím funkce označované jako AI Composition. V této příručce se dozvíte, jak můžete ve stejném streamu videa použít více modelů rozšířeným způsobem. Používá Tiny(Light) YOLO a běžný model YOLO paralelně k detekci objektu zájmu. Model Tiny YOLO je výpočetně lehčí, ale méně přesný než model YOLO a je volán jako první. Pokud zjištěný objekt překročí určitou prahovou hodnotu spolehlivosti, pak se nevyvolá sekvenčně fázovaný model YOLO, čímž se efektivně využívají podkladové prostředky.

Po dokončení kroků v této příručce budete moct spustit simulovaný stream živého videa přes kanál s možností sestavení AI a rozšířit ho na konkrétní scénáře. Následující diagram graficky znázorňuje tento kanál.

Přehled složení AI

Požadavky

  • Účet Azure s aktivním předplatným. Pokud ještě nemáte účet, vytvořte si ho zdarma.

    Poznámka

    Budete potřebovat předplatné Azure s oprávněními k vytváření instančních objektů (role vlastníka to poskytuje). Pokud nemáte správná oprávnění, obraťte se na správce účtu, aby vám udělil správná oprávnění.

  • Visual Studio Code na vývojovém počítači. Ujistěte se, že máte rozšíření Azure IoT Tools.

  • Ujistěte se, že síť, ke které je váš vývojový počítač připojený, povoluje pro odchozí provoz protokol AMQP (Advanced Message Queueing Protocol) přes port 5671. Toto nastavení umožňuje Azure IoT Tools komunikovat s Azure IoT Hub.

  • Dokončení rychlého startu: Analýza živého videokanaly z (simulované) IP kamery pomocí vlastního modelu gRPC. Tento krok nepřeskakujte, protože se jedná o striktní požadavek na návod.

Tip

Při instalaci rozšíření Azure IoT Tools se může zobrazit výzva k instalaci Dockeru. Tuto výzvu můžete ignorovat.

Pokud narazíte na problémy s vytvořenými prostředky Azure, projděte si našeho průvodce odstraňováním potíží a vyřešte některé běžné problémy.

Podívejte se na ukázku videa.

Vzhledem k tomu, že jste už dokončili rychlý start zadaný v části požadované součásti, budete mít hraniční zařízení už vytvořené. Toto hraniční zařízení bude mít následující vstupní složku : /home/localedgeuser/samples/input- obsahující určité videosoubory. Přihlaste se k IoT Edge zařízení, přejděte do adresáře :home/localedgeuser/samples/input/ a spuštěním následujícího příkazu získejte vstupní soubor, který budeme používat pro tento návod.

Wget https://avamedia.blob.core.windows.net/public/co-final.mkv

Pokud chcete, na počítači s přehrávačem médií VLC navíc vyberte Ctrl+N a vložte odkaz na ukázkové video (.mkv), aby se spustilo přehrávání. Vidíte záběry aut na dálnici.

Vytvoření a nasazení kanálu

Podobně jako v rychlém startu, který jste dokončili v požadavcích, můžete postupovat podle těchto kroků, ale s drobnými úpravami.

  1. Postupujte podle pokynů v části Vytvoření a nasazení kanálu v rychlém startu, který jste právě dokončili. Při pokračování v těchto krocích nezapomeňte provést následující úpravy. Tyto kroky pomáhají zajistit použití správného textu pro volání přímé metody.

    Upravte soubor operations.json :

    • Změňte odkaz na topologii kanálu: "pipelineTopologyUrl" : "https://raw.githubusercontent.com/Azure/video-analyzer/main/pipelines/live/topologies/ai-composition/topology.json"

    • V části livePipelineSet:

      1. zajistit: "topologyName" : "AIComposition" a
      2. Změňte hodnotu parametru rtspUrl na "rtsp://rtspsim:554/media/co-final.mkv".
    • V části pipelineTopologyDeleteupravte název: "name" : "AIComposition"

  2. Postupujte podle pokynů v části vygenerování a nasazení manifestu nasazení IoT Edge, ale použijte místo toho následující manifest nasazení: src/edge/deployment.composite.template.json.

  3. Postupujte podle pokynů v části Spuštění ukázkového programu .

  4. Podrobnosti o výsledku najdete v části interpretace výsledků . Kromě analytických událostí v centru a diagnostických událostí vytvoří topologie, kterou jste použili, také relevantní videoklip v cloudu, který je aktivován aktivací signálové brány na základě signálu AI. Tento klip je také doprovázen provozními událostmi v centru, které se mají provést podřízené pracovní postupy. Videoklip můžete prozkoumat a přehrát tak, že se přihlásíte k Azure Portal.

Vyčištění

Pokud tuto aplikaci nebudete dál používat, odstraňte prostředky, které jste vytvořili v rámci tohoto rychlého startu.

Další kroky

Přečtěte si další informace o diagnostických zprávách.