Share via

Wat is Azure AI Video Indexer ingeschakeld door Arc? (Preview)

  • Artikel

Azure AI Video Indexer ingeschakeld door Arc is een azure Arc-extensieservice die video- en audioanalyse uitvoert op edge-apparaten. De oplossing is ontworpen om te worden uitgevoerd op Kubernetes met Azure Arc en ondersteunt veel video-indelingen, waaronder MP4 en andere veelgebruikte indelingen. Het ondersteunt verschillende talen in alle eenvoudige audiogerelateerde modellen. Hierbij wordt ervan uitgegaan dat één Video Indexer-account is toegewezen aan één extensie.

Als u nog niet bekend bent met Azure AI Video Indexer, is het raadzaam om eerst vertrouwd te raken met de cloudservice.

Voordat u met Azure AI Video Indexer van Arc gaat werken, bekijkt u bovendien de transparantienotitie om inzicht te hebben in gebruiksbeperkingen.

Belangrijk

Als u de Azure AI Video Indexer-extensie wilt implementeren, is het verplicht dat uw Azure-abonnements-id vooraf wordt goedgekeurd. U moet zich eerst registreren met dit formulier.

Wat is Kubernetes met Azure Arc en Azure Arc?

Azure Arc vereenvoudigt het beheer en beheer van complexe omgevingen die zich uitbreiden tussen datacenters, meerdere clouds en edge door een consistent beheerplatform voor meerdere clouds en on-premises te leveren.

Met Kubernetes met Azure Arc kunt u Kubernetes-clusters koppelen die overal worden uitgevoerd, zodat u ze in Azure kunt beheren en configureren. Door al uw Kubernetes-resources in één besturingsvlak te beheren, kunt u een consistentere ontwikkel- en bewerkingservaring inschakelen om cloudeigen apps overal en op elk Kubernetes-platform uit te voeren.

Wanneer de Azure Arc-agents worden geïmplementeerd in het cluster, wordt er een uitgaande verbinding met Azure gestart met behulp van industriestandaard SSL om gegevens in transit te beveiligen.

Zodra clusters zijn verbonden met Azure, worden ze weergegeven als hun eigen resources in Azure Resource Manager (ARM) en kunnen ze worden georganiseerd met behulp van resourcegroepen en taggen.

Zie deze artikelen voor meer informatie over Kubernetes met Azure Arc en Azure Arc.

Wat is een Azure Arc-extensie?

Extensies voor virtuele machines (VM's) zijn kleine toepassingen die configuratie- en automatiseringstaken na de implementatie bieden op Virtuele Azure-machines. Als voor een virtuele machine bijvoorbeeld software-installatie, antivirusbeveiliging of het uitvoeren van een script erin is vereist, kan een VM-extensie worden gebruikt. Zie Extensiebeheer voor virtuele machines met servers met Azure Arc voor meer informatie over extensies.

De Azure AI Video Indexer-extensie installeert en implementeert Azure AI Video Indexer in het Kubernetes-cluster.

Alle Azure AI Video Indexer die door Arc is ingeschakeld, ondersteunt alleen ARM-accounts (Azure Resource Manager). ARM-bewerkingen worden losgekoppeld van video insight-bewerkingen. Met dit ontwerp kunt u analyses uitvoeren op uw edge-apparaten zonder dat u uw mediaassets hoeft te uploaden naar Azure.

Azure AI Video Indexer ingeschakeld door Arc biedt geen ondersteuning voor klassieke accounts. Zie Voorbereiding voor AMS-buitengebruikstelling: VI-migratie en updatehandleiding voor meer informatie over het buiten gebruik stellen van klassieke accounts

De extensie wordt alleen ondersteund in scenario's voor directe verbindingen . Informatie over het besturingsvlak wordt verzonden naar de cloud, bijvoorbeeld bewaking, gebruik. Nieuwe extensieversies worden gedownload vanuit de cloud. Er worden geen klantgegevens, zoals welke video's zijn geïndexeerd, verzonden vanaf de randlocatie naar de cloud.

Gebruiksgevallen

  • Gegevensbeheer : u kunt de AI naar de inhoud brengen in plaats van omgekeerd. Gebruik Azure AI Video Indexer ingeschakeld door Arc wanneer u geïndexeerde inhoud niet van on-premises naar de cloud kunt verplaatsen vanwege:
    • Verordening.
    • beslissingen over architectuur.
    • gegevensopslag is te groot, waardoor lift-and-shift een aanzienlijke inspanning wordt geleverd.
  • On-premises werkstroom : uw indexeringsproces maakt deel uit van een on-premises werkstroom en u wilt de latentie van de indexeringsduur verlagen die van invloed is op de stroom.
  • Vooraf indexeren: u wilt indexeren voordat u de inhoud uploadt naar de cloud. Om duidelijkheid te creëren, kunt u uw on-premises video- en/of audioarchief opslaan en vervolgens alleen uploaden voor standaard- en/of geavanceerde indexering in de cloud.

Voorbeeldimplementatie

In het volgende blokdiagram ziet u de Azure AI Video Indexer-extensie die wordt uitgevoerd in Azure Arc. Er zijn drie typen:

  1. Winkeltype A maakt gebruik van zowel visuele als audio-voorinstellingen.
  2. Winkeltype B maakt alleen gebruik van vooraf ingestelde visuele instellingen. Het heeft ook een aangepast model. Zie Bring Your Own AI-model voor meer informatie over het gebruik van een aangepast model waarvoor Azure AI Video Indexer is ingeschakeld door Arc.
  3. Store C maakt alleen gebruik van audio-voorinstellingen.

De extensie wordt op elk edge-apparaat opgeslagen en elk apparaat is gekoppeld aan één Azure AI Video Indexer-account dat interfaces heeft met Azure Arc en de cloud.

VI Arc-blokdiagram

Ondersteunde AI-voorinstellingen

Azure AI Video Indexer ingeschakeld door Arc biedt ondersteuning voor de volgende indexeringsinstellingen:

Model Basisvideo Basisaudio Basisvideo en audio
Transcriptie ✔️ ✔️
Omzetting ✔️ ✔️
Ondertiteling ✔️ ✔️
Sleutelframedetectie ✔️ ✔️
OCR ✔️ ✔️
Objectdetectie ✔️ ✔️
Scènedetectie ✔️ ✔️
Schotdetectie ✔️ ✔️

Afbeelding van Azure AI Video Indexer ingeschakeld door beschikbare vooraf ingestelde arc-instellingen die al worden vermeld

Minimale hardwarevereisten

Video Indexer ingeschakeld door Arc is ontworpen om te worden uitgevoerd op elke Kubernetes-omgeving met Arc.

De volgende lijst is de minimale en aanbevolen vereisten als de extensie ondersteuning voor één taal bevat. Als u meerdere spraak- en vertaalcontainers met verschillende talen installeert, verhoogt u de hardwarevereisten dienovereenkomstig.

Notitie

Dit zijn minimale vereisten voor een productieomgeving . Ten minste een cluster met twee knooppunten wordt aanbevolen voor hoge beschikbaarheid en schaalbaarheid. De aanbevolen instellingen verwijzen naar clusterbrede instellingen, dus als u twee knooppunten hebt, moet elk knooppunt 16 kernen en 32 GB RAM-geheugen hebben. U wordt aangeraden een toegewezen knooppuntgroep/groepen voor automatisch schalen te maken om de VI-oplossing te hosten.

Configuratie AANTAL VM's Aantal CPU-kernen van knooppunten Ram-knooppunt Knooppuntopslag Opmerkingen
Minimum 1 32 kernen 64 GB 50 GB Opslag moet ondersteuning bieden voor ReadWriteMany Opslagklasse
Aanbevolen 2 48-64 kernen 256 GB 100 GB Opslag moet ondersteuning bieden voor ReadWriteMany Opslagklasse

Minimale softwarevereisten

Onderdeel Minimale vereisten
Besturingssysteem Ubuntu 22.04 LTS of een linux-compatibel besturingssysteem
Kubernetes 1,26
Azure-CLI 2.48.0

Ondersteunde invoerindelingen en codecs

Video-indelingen

  • AVI (.avi)
  • MICROSOFT (met H.264- en AAC-codecs) (.flv)
  • ISMV (.isma, .ismv)
  • Matroska/WebM (.wmv)
  • MP4 (.mp4, .m4a, .m4v)
  • MXF (.mxf)
  • MPEG2-TS
  • QuickTime (.mov)
  • WAVE/WAV (.wav)
  • Webm
  • Windows Media Video (WMV)/ASF (.wmv, .asf)

Videocodecs

Dit is uw alfabetische lijst:

  • AVC 8-bits/10-bits, maximaal 4:2:2, inclusief AVCIntra
  • Digitale video (DV) (in AVI-bestanden)
  • DVCPro/DVCProHD (in MXF-container)
  • HEVC/H.265
  • MPEG-1
  • MPEG-2 (tot 422 profiel en hoog niveau; inclusief varianten zoals Sony XDCAM, Sony XDCAM HD, Sony XDCAM IMX, CableLabs® en D10)
  • MPEG-4 Deel 2
  • VC-1/WMV9

Audiocodecs tot twee nummers

  • AAC (AAC-LC, AAC-HE en AAC-HEv2)
  • FLAC
  • MPEG Layer 2
  • MP3 (MPEG-1 Audio Layer 3)
  • VORBIS
  • WAV/PCM
  • Windows Media Audio

Ondersteunde talen

  • Arabisch (Saoedi-Arabië)
  • Arabisch Egypte
  • Chinees (Vereenvoudigd)
  • English (US)
  • Frans
  • Duits
  • Italiaans
  • Spaans

Bring Your Own Model

Azure AI Video Indexer ingeschakeld door Arc biedt ook ondersteuning voor het meenemen van uw eigen model. Zie het artikel Bring Your Own Model (BYO) voor meer informatie.

Beperkingen

  • De ondersteunde bestandsgrootte voor indexering is maximaal 2 GB.
  • De extensie upgraden:
    • Extensieondersteuning is alleen van toepassing op de nieuwste versie.
    • U wordt aangeraden deze auto-upgrade eigenschap in te stellen op true. Met deze instelling blijft de extensie up-to-date.
    • Als de instelling voor automatische upgrade is ingesteld op false, moet de versie-upgrade stapsgewijs worden uitgevoerd. Als u tussen versies springt, kunnen indexeringsprocessen mislukken.
  • Na de installatie of upgrade van de extensie verwacht u dat de duur van het eerste index\vertaalproces langer is. De langere duur is te wijten aan het downloaden van afbeeldingen van het AI-model. De duur varieert afhankelijk van de netwerksnelheid.
  • Er kan slechts één Video Indexer-extensie per Kubernetes-cluster met Arc worden geïmplementeerd.
  • De volumeprestaties van het cluster (op basis van opslagklasse) hebben aanzienlijke invloed op de omzetduur van de indexeringstaak, met name omdat de frameextractie alle frames naar het volume schrijft.
  • U kunt alleen toegangstokens voor cloudaccounts gebruiken die zijn verkregen via Azure Portal. Toegangstokens voor cloudvideo's worden niet ondersteund, maar met de API zijn toegangstokens voor extensies beschikbaar en ondersteunen we alle typen.
  • Videofoutberichten worden niet opgeslagen vanwege geheugenbeperkingen.