Partager via

Azure AI Video Indexer reposant sur Arc

Azure AI Video Indexer activé par Arc est un service avec extension Azure Arc qui exécute l’analyse vidéo et audio et l’IA générative sur les appareils de périphérie. La solution s’exécute sur Kubernetes avec Azure Arc, prend en charge de nombreux formats vidéo et suppose qu’une ressource Video Indexer est mappée à une extension. Il transcrit du contenu parlé dans plus de 35 langues sources et les traduit en anglais. Pour obtenir la liste complète des langues prises en charge, consultez Langues prises en charge par scénario.

Si vous n’êtes pas déjà familiarisé avec Azure AI Video Indexer, nous vous recommandons de vous familiariser avec le service cloud en premier.

En outre, avant de commencer à utiliser Azure AI Video Indexer activé par Arc, passez en revue la note de transparence pour comprendre les restrictions d’utilisation.

Importante

Pour déployer correctement l’extension Azure AI Video Indexer, il est obligatoire que votre ID d’abonnement Azure soit approuvé à l’avance. Vous devez d’abord vous inscrire à l’aide du formulaire intitulé Application pour les services restreints.

Qu’est-ce qu’Azure Arc et Kubernetes compatible avec Azure Arc ?

Azure Arc simplifie la gouvernance et la gestion des environnements complexes qui s’étendent entre les centres de données, plusieurs clouds et la périphérie en fournissant une plateforme de gestion multicloud et locale cohérente.

Kubernetes avec Azure Arc vous permet de joindre des clusters Kubernetes s’exécutant n’importe où afin de pouvoir les gérer et les configurer dans Azure. En gérant toutes vos ressources Kubernetes dans un plan de contrôle unique, vous pouvez activer une expérience de développement et d’exploitation plus cohérente pour exécuter des applications natives cloud n’importe où et sur n’importe quelle plateforme Kubernetes.

Lorsque les agents Azure Arc sont déployés sur le cluster, une connexion sortante à Azure est lancée à l’aide du protocole SSL standard pour sécuriser les données en transit.

Une fois les clusters connectés à Azure, ils sont représentés en tant que ressources distinctes dans Azure Resource Manager (ARM), et peuvent être gérés à l’aide de groupes de ressources et de balisage.

Pour plus d’informations sur Azure Arc et Kubernetes activés par Arc, consultez la vue d’ensemble d'Azure Arc et Qu'est-ce qu'Azure Arc activé pour Kubernetes ?

Qu’est-ce qu’une extension Azure Arc ?

Les extensions de machine virtuelle sont de petites applications qui permettent d’effectuer des tâches de configuration et d’automatisation de post-déploiement sur des machines virtuelles Azure. Par exemple, si une machine virtuelle exige l’installation d’un logiciel, une protection antivirus ou l’exécution d’un script, vous pouvez utiliser une extension de machine virtuelle. Pour plus d’informations sur les extensions, consultez La gestion des extensions de machine virtuelle avec des serveurs avec Azure Arc.

L’extension Azure AI Video Indexer installe et déploie Azure AI Video Indexer sur le cluster Kubernetes.

Azure AI Video Indexer activé par Arc prend uniquement en charge les comptes Azure Resource Manager. Les opérations du gestionnaire de ressources sont découplées des opérations d'analyse vidéo. Cette architecture permet d’effectuer des analyses directement sur vos appareils de périphérie, sans avoir à transférer vos éléments multimédias vers Azure.

L’extension est prise en charge uniquement dans les scénarios en mode connexion directe . Pendant que tout le traitement est effectué dans l’environnement de périphérie, les informations du plan de contrôle sont envoyées au cloud à des fins de facturation et de supervision. Les nouvelles versions de l’extension sont téléchargées depuis le cloud. Aucune donnée client, telle que les vidéos qui ont été indexées ou les analyses indexées, n’est envoyée depuis l’emplacement de périphérie au cloud.

Modèles de langage

Le modèle de langage Phi est inclus et connecté automatiquement à votre extension VI. Vous pouvez l’utiliser immédiatement. Pour plus d’informations sur l’utilisation de modèles de langage avec VI, consultez :

Consultez également la note de transparence pour la synthèse textuelle avec VI activée par Arc pour la configuration matérielle requise, les limitations et les problèmes connus.

Cas d'utilisation

  • Gouvernance des données : vous pouvez apporter l’IA au contenu au lieu d’inversement. Utilisez Azure AI Video Indexer reposant sur Arc lorsque vous ne pouvez pas déplacer le contenu indexé depuis un environnement local vers le cloud en raison de :
    • Règlement.
    • Décisions relatives à l’architecture.
    • Le magasin de données étant trop volumineux, le déplacer via une opération lift-and-shift représente un travail considérable.
  • Flux de travail local : votre processus d’indexation fait partie d’un flux de travail local et vous souhaitez réduire la latence de durée d’indexation affectant le flux.
  • Préindexation : vous souhaitez indexer avant de charger le contenu dans le cloud. Pour créer une clarté, vous pouvez présorter votre archive vidéo ou audio locale, puis la charger uniquement pour l’indexation standard ou avancée dans le cloud.

Exemple de déploiement

Le diagramme suivant montre l’extension Azure AI Video Indexer s’exécutant sur Azure Arc. Il existe trois types :

  1. Le type de magasin A utilise à la fois des présélections pour la vision et l’audio.
  2. Le type de magasin B utilise uniquement des présélections pour la vision. Il utilise également un modèle personnalisé. Pour plus d’informations sur l’utilisation d’un modèle personnalisé avec Azure AI Video Indexer activé par Arc, consultez Bring Your Own AI Model.
  3. Le type de magasin C utilise uniquement des présélections pour l’audio.

L’extension est installée sur chaque appareil de périphérie et chaque appareil est associé à un compte Azure AI Video Indexer unique, qui communique avec Azure Arc et le cloud.

Diagramme montrant l’extension VI Arc s’exécutant sur Azure Arc.

Présélections d’IA prises en charge

Azure AI Video Indexer reposant sur Arc prend en charge les présélections d'indexation suivantes :

Modèle Vidéo de base Audio de base Vidéo et audio de base
Transcription ✔ ✔
Traduction ✔ ✔
Sous-titrage ✔ ✔
Détection de l’image clé ✔ ✔
Détection d’objets ✔ ✔
Détection de scène ✔ ✔
Détection de tir ✔ ✔
Résumé ✔ ✔ ✔

Configuration matérielle minimale requise

Video Indexer reposant sur Arc est conçu pour s’exécuter sur n’importe quel environnement Kubernetes compatible avec Arc.

Note

Le tableau suivant couvre les exigences minimales pour un environnement de production . Nous recommandons au moins un cluster à deux nœuds pour la haute disponibilité et la scalabilité. Les paramètres recommandés font référence aux paramètres à l’échelle du cluster. Par exemple, si vous avez deux nœuds, chaque nœud doit avoir 16 cœurs et 32 Go de RAM. Nous vous recommandons de créer un pool de nœuds dédié ou des groupes de mise à l’échelle automatique pour héberger la solution VI.

Paramétrage Nombre de machines virtuelles Nombre de cœurs de processeur du nœud Mémoire RAM du nœud Stockage du nœud Remarques
Minimum Une 32 cœurs 64 Go 50 Go Le stockage doit prendre en charge la classe de stockage ReadWriteMany
Recommandé Deux 48 à 64 cœurs 256 Go 100 Go Le stockage doit prendre en charge la classe de stockage ReadWriteMany

Configuration logicielle minimale requise

Composant Configuration minimale requise
Système d’exploitation Ubuntu 22.04 LTS ou tout autre système d’exploitation Linux compatible
Kubernetes 1.29
Azure CLI (Interface de ligne de commande Azure) 2.64.0

Configuration réseau requise

Utilisez les informations suivantes pour configurer les paramètres de pare-feu.

Configuration requise pour le pare-feu

Suivez les instructions des exigences réseau Kubernetes compatibles avec Azure Arc.

En outre, ajoutez *.azureedge.net et *.data.microsoft.com.

Pour l’extension Video Indexer activée par l’extension Arc, ajoutez ces points de terminaison :

Point de terminaison (DNS) Descriptif
linuxgeneva-microsoft.azurecr.io, *.blob.core.windows.net Utilisé pour le registre de conteneurs pour les conteneurs de télémétrie
*.monitoring.core.windows.net, *.microsoftmetrics.com, *.table.core.windows.net Utilisé pour la télémétrie
api.videoindexer.ai Utilisé pour la validation des jetons d’accès

Résumé des points de terminaison et ports requis

Activez les points de terminaison et les ports suivants.

Azure Arc Services (HTTPS)

  • management.azure.com:443
  • *.dp.kubernetesconfiguration.azure.com:443
  • login.microsoftonline.com:443
  • *.login.microsoft.com:443
  • login.windows.net:443
  • mcr.microsoft.com:443
  • *.data.mcr.microsoft.com:443
  • dl.k8s.io:443
  • gbl.his.arc.azure.com:443
  • *.his.arc.azure.com:443
  • guestnotificationservice.azure.com:443
  • *.guestnotificationservice.azure.com:443
  • sts.windows.net:443
  • *.servicebus.windows.net:443
  • graph.microsoft.com:443
  • *.arc.azure.net:443
  • linuxgeneva-microsoft.azurecr.io:443

Azure Arc OBO Services (port HTTPS personnalisé)

  • *.obo.arc.azure.com:8084

Stockage de fichiers Azure (SMB)

  • STORAGE_ACCOUNT_NAME.file.core.windows.net:139,445

Note

Lorsque vous utilisez AKS avec le pilote CSI Azure Files pour monter des partages en tant que volumes persistants, ouvrez les ports 139 et 445 pour le partage de fichiers spécifique.

Télémétrie (HTTPS)

  • linuxgeneva-microsoft.azurecr.io:443
  • *.blob.core.windows.net:443
  • gcs.prod.monitoring.core.windows.net:443
  • *.microsoftmetrics.com:443
  • *.table.core.windows.net:443
  • *.azureedge.net:443
  • *.data.microsoft.com:443

VideoIndexer (HTTPS)

  • api.videoindexer.ai:443

Formats d’entrée et codecs pris en charge

La section suivante répertorie les formats et codecs d’entrée pris en charge pour Azure AI Video Indexer activés par Arc.

Formats vidéo

  • AVI (.avi)
  • FLV (avec les codecs H.264 et AAC) (.flv)
  • ISMV (.isma, .ismv)
  • Matroska (.wmv)
  • MP4 (.mp4, .m4a, .m4v)
  • MXF (.mxf)
  • MPEG2-TS
  • QuickTime (.mov)
  • WAVE/WAV (.wav)
  • Windows Media Video (WMV)/ASF (.wmv, .asf)

Codecs vidéo

  • AVC 8 bits/10 bits, jusqu'à 4:2:2, y compris AVCIntra
  • Vidéo numérique (dans les fichiers AVI)
  • DVCPro/DVCProHD (dans le conteneur MXF)
  • HEVC/H.265
  • MPEG-1
  • MPEG-2 (jusqu’au profil 422 et haut niveau ; y compris les variantes telles que Sony XDCAM, Sony XDCAM HD, Sony XDCAM IMX, CableLabs® et D10)
  • MPEG-4 partie 2
  • VC-1/WMV9

Codecs audio (jusqu’à deux pistes)

  • AAC (AAC-LC, AAC-HE et AAC-HEv2)
  • FLAC
  • MPEG Layer 2
  • MP3 (MPEG-1 Audio Layer 3)
  • VORBIS
  • WAV/PCM
  • Windows Media Audio (format audio de Windows)

BYOM (Apportez votre propre modèle)

Azure AI Video Indexer reposant sur Arc prend également en charge l’utilisation de votre propre modèle. Pour plus d’informations, consultez l’article ByO (Bring Your Own Model).

Limitations

  • La taille maximale des fichiers pris en charge pour l’indexation est de 2 Go.
  • Mise à niveau de l’extension :
    • La prise en charge de l’extension s’applique uniquement à la dernière version.
    • Nous vous recommandons de définir la auto-upgrade propriété sur true. Le paramètre conserve l’extension à jour.
    • Si le paramètre de mise à niveau automatique est défini sur false, vous devez mettre à niveau la version de manière incrémentielle. Passer directement d’une version à une autre peut entraîner des échecs dans les processus d’indexation.
  • Après l’installation ou la mise à niveau de l’extension, attendez-vous que la durée du premier processus d’index\traduction soit plus longue que normale. Cela est dû au fait que l'image de modèle IA doit être téléchargée. La durée dépend de la vitesse réseau.
  • Une seule extension Video Indexer peut être déployée par cluster Kubernetes compatible avec Arc.
  • Les performances du volume du cluster (basées sur la classe de stockage) ont une influence significative sur la durée de roulement du travail d’indexation, en particulier dans la mesure où l’extraction d’images écrit toutes les images dans le volume.
  • Seuls les jetons d’accès d’extension sont pris en charge. Vous pouvez obtenir des jetons d’accès d’extension à partir de l’API/CLI. Pour obtenir des exemples de jeton d’accès, consultez Comment accéder à l’extension.
  • Les messages d’erreur vidéo ne sont pas stockés en raison des limitations de mémoire.

Stockage conteneur Azure activé par Arc

Nous vous recommandons d’utiliser Azure Container Storage activé par Azure Arc pour le stockage. Pour plus d’informations, consultez les articles suivants :

Contenu connexe