Élő videóstreamek elemzése több AI-modellel AI-összeállítással

  • Cikk
  • 3 perc alatt elolvasható

edge icon
Másik lehetőségként tekintse meg a Videóalkalmazások létrehozása a szolgáltatásban című témakört.

Megjegyzés

Megszűnik az Azure Video Analyzer előzetes verziójú szolgáltatása, ezért javasoljuk, hogy 2022. december 1-ig váltsa át az alkalmazásait a Video Analyzerről.

Az Azure Video Analyzer for Media-t ez a kivezetés nem érinti. Most át lett alakítva az Azure Video Indexerre. További információért kattintson ide .

Beavatkozás szükséges: A számítási feladatok megszakadásának minimalizálása érdekében 2022. december 01. előtt váltsa át az alkalmazást a Video Analyzerről az útmutatóban ismertetett javaslatok szerint. 2022. december 1-től az Azure Video Analyzer-fiók nem fog működni. 2022. május 2-tól nem hozhat létre új Video Analyzer-fiókokat.

Bizonyos ügyfélforgatókönyvekhez több AI-modellel kell elemezni a videót. Az ilyen modellek kiegészíthetik egymást , vagy egymástól függetlenül dolgozhatnak párhuzamosanugyanazon a videóstreamen, vagy az ilyen kiterjesztett és egymástól független párhuzamos modellek kombinációja ugyanazon a videóstreamen is képes lehet a gyakorlatban hasznosítható megállapítások kinyerésére.

Az Azure Video Analyzer az AI Composition nevű funkcióval támogatja az ilyen forgatókönyveket. Ez az útmutató bemutatja, hogyan alkalmazhat több modellt kibővített módon ugyanazon a videóstreamen. Egy Tiny(Light) YOLO-t és egy normál YOLO-modellt használ párhuzamosan egy érdekes objektum észleléséhez. Az Apró YOLO-modell számítási szempontból könnyebb, de kevésbé pontos, mint a YOLO-modell, és az elsőnek hívják. Ha az észlelt objektum túllép egy adott megbízhatósági küszöbértéket, akkor a rendszer nem hívja meg a szekvenciálisan előkészített normál YOLO-modellt, így hatékonyan használja fel a mögöttes erőforrásokat.

Az útmutató lépéseinek elvégzése után képes lesz szimulált élő videóstreamet futtatni egy AI-kompatibilitást tartalmazó folyamaton keresztül, és kiterjeszteni az adott forgatókönyvekre. Az alábbi diagram grafikusan ábrázolja ezt a folyamatot.

AI-összetétel áttekintése

Előfeltételek

  • Aktív előfizetéssel rendelkező Azure-fiók. Hozzon létre ingyenes fiókot , ha még nem rendelkezik fiókkal.

    Megjegyzés

    Szüksége lesz egy Azure-előfizetésre, amely rendelkezik a szolgáltatásnevek létrehozásához szükséges engedélyekkel (a tulajdonosi szerepkör ezt biztosítja). Ha nem rendelkezik a megfelelő engedélyekkel, forduljon a fiókadminisztrátorhoz a megfelelő engedélyek megadásához.

  • Visual Studio Code a fejlesztői gépen. Győződjön meg arról, hogy rendelkezik a Azure IoT Tools kiterjesztéssel.

  • Győződjön meg arról, hogy a fejlesztőgép által csatlakoztatott hálózat engedélyezi az Advanced Message Queueing Protocol (AMQP) használatát az 5671-es porton keresztül a kimenő forgalom számára. Ezzel a beállítással Azure IoT Tools kommunikálhat Azure IoT Hub.

  • Teljes rövid útmutató: Élő videócsatorna elemzése (szimulált) IP-kameráról a saját gRPC-modellel. Ne hagyja ki ezt a lépést, mivel ez az útmutató szigorú követelménye.

Tipp

Előfordulhat, hogy a rendszer a Azure IoT Tools bővítmény telepítése közben kéri a Docker telepítését. Nyugodtan figyelmen kívül hagyhatja a kérdést.

Ha problémákba ütközik a létrehozott Azure-erőforrásokkal kapcsolatban, tekintse meg a hibaelhárítási útmutatót néhány gyakran előforduló probléma megoldásához.

Tekintse át a videómintát

Mivel már elvégezte az előfeltétel szakaszban megadott rövid útmutatót, már létre fog hozni egy peremeszközt. Ez az edge-eszköz a következő bemeneti mappával rendelkezik – /home/localedgeuser/samples/input –, amely bizonyos videofájlokat tartalmaz. Jelentkezzen be az IoT Edge eszközre, váltson a könyvtárra a következőre: /home/localedgeuser/samples/input/ és futtassa a következő parancsot az útmutatóhoz használt bemeneti fájl lekéréséhez.

Wget https://avamedia.blob.core.windows.net/public/co-final.mkv

Ha szeretné, a VLC-médialejátszóval rendelkező gépen válassza a Ctrl+N billentyűkombinációt, majd illessze be a mintavideóra (.mkv) mutató hivatkozást a lejátszás elindításához. Látod a felvételeket az autópályán.

A folyamat létrehozása és üzembe helyezése

Az előfeltételekben végrehajtott rövid útmutató lépéseihez hasonlóan itt is követheti a lépéseket, de kisebb módosításokkal.

  1. Kövesse az imént befejezett rövid útmutató Folyamat létrehozása és üzembe helyezése című szakaszának útmutatását. A lépések folytatásakor mindenképpen végezze el az alábbi módosításokat. Ezek a lépések segítenek biztosítani a közvetlen metódushívások megfelelő törzsének használatát.

    Szerkessze az operations.json fájlt:

    • Módosítsa a folyamattopológiára mutató hivatkozást: "pipelineTopologyUrl" : "https://raw.githubusercontent.com/Azure/video-analyzer/main/pipelines/live/topologies/ai-composition/topology.json"

    • A alatt livePipelineSet

      1. győződjön meg arról, hogy : "topologyName" : "AIComposition" és
      2. Módosítsa a rtspUrl paraméter értékét értékre "rtsp://rtspsim:554/media/co-final.mkv".

    • A területen pipelineTopologyDeleteszerkessze a nevet: "name" : "AIComposition"

  2. Kövesse a IoT Edge üzembehelyezési jegyzék létrehozása és üzembe helyezése című szakaszban található útmutatást, de használja helyette a következő üzembehelyezési jegyzékfájlt : src/edge/deployment.composite.template.json

  3. Kövesse a Mintaprogram futtatása című szakaszban található útmutatást.

  4. Az eredmények részleteiért tekintse meg az eredmények értelmezését ismertető szakaszt . A központ elemzési eseményei és a diagnosztikai események mellett a használt topológia is létrehoz egy releváns videoklipet a felhőben, amelyet a jelkapu AI-jelalapú aktiválása vált ki. Ezt a klipet a központ működési eseményei is kísérik az alárendelt munkafolyamatok számára. A videoklipet a Azure Portal bejelentkezve tekintheti meg és játszhatja le.

A fölöslegessé vált elemek eltávolítása

Ha nem folytatja az alkalmazás használatát, törölje az ebben a rövid útmutatóban létrehozott erőforrásokat.

Következő lépések

További információ a diagnosztikai üzenetekről.