Compartir a través de

Video Indexer de Azure AI habilitado por Arc

Video Indexer de Azure AI habilitado por Arc es un servicio habilitado para la extensión de Azure Arc que ejecuta análisis de vídeo y audio y inteligencia artificial generativa en dispositivos perimetrales . La solución se ejecuta en Kubernetes habilitado para Azure Arc, admite muchos formatos de vídeo y supone que un recurso de Video Indexer se asigna a una extensión. Transcribe el contenido hablado en más de 35 idiomas de origen y los traduce al inglés. Para obtener una lista completa de los idiomas admitidos, consulte Idiomas admitidos por escenario.

Si aún no está familiarizado con Video Indexer de Azure AI, se recomienda familiarizarse primero con el servicio en la nube.

Además, antes de empezar a trabajar con Video Indexer de Azure AI habilitado por Arc, revise la nota sobre transparencia para comprender las restricciones de uso.

Importante

Para implementar correctamente la extensión Azure AI Video Indexer, es obligatorio que el identificador de suscripción de Azure se apruebe con antelación. Primero debe registrarse con el formulario en Aplicación para servicios cerrados.

¿Qué es Azure Arc y habilitado para Azure Kubernetes?

Azure Arc simplifica la gobernanza y la administración de entornos complejos que se extienden a través de centros de datos, múltiples nubes y el perímetro, al ofrecer una plataforma coherente de administración multinube y local.

Kubernetes habilitado para Azure Arc permite asociar clústeres de Kubernetes que se ejecutan en cualquier lugar para que pueda administrarlos y configurarlos en Azure. Al administrar todos los recursos de Kubernetes en un único plano de control, puede habilitar una experiencia de desarrollo y operaciones más coherente para ejecutar aplicaciones nativas de nube en cualquier lugar y en cualquier plataforma de Kubernetes.

Cuando los agentes de Azure Arc se implementan en el clúster, se inicia una conexión saliente a Azure mediante SSL estándar del sector para proteger los datos en tránsito.

Una vez que los clústeres están conectados a Azure, se representan como sus propios recursos en Azure Resource Manager (ARM), y pueden organizarse utilizando grupos de recursos y etiquetado.

Para más información sobre Azure Arc y Kubernetes habilitado para Azure Arc, consulte Descripción general de Azure Arc y ¿Qué es Kubernetes habilitado para Azure Arc?

¿Qué es una extensión de Azure Arc?

Las extensiones de máquina virtual (VM) son pequeñas aplicaciones que realizan tareas de automatización y configuración posteriores a la implementación en máquinas virtuales de Azure. Por ejemplo, si una máquina virtual necesita que se instale software, protección antivirus o ejecutar un script en ella, se puede usar una extensión de máquina virtual. Para más información sobre las extensiones, consulte Administración de extensiones de máquina virtual con servidores habilitados para Azure Arc.

La extensión Video Indexer de Azure AI instala y despliega Video Indexer de Azure AI en el clúster Kubernetes.

Video Indexer de Azure AI habilitado por Arc solo admite cuentas de Azure Resource Manager. Las operaciones de Resource Manager se desacoplan de las operaciones de análisis de vídeo. Este diseño le permite realizar análisis en sus dispositivos de borde sin necesidad de cargar sus activos multimedia en Azure.

La extensión solo es compatible en escenarios de modo de conexión directa. Aunque todo el procesamiento se realiza en el entorno perimetral, la información del plano de control se envía a la nube con fines de facturación y supervisión. Las nuevas versiones de la extensión se descargan desde la nube. No se envían datos de clientes, como los vídeos que se indexaron o los análisis indexados, desde el punto de borde a la nube.

Modelos de lenguaje

El modelo de lenguaje Phi se incluye y se conecta automáticamente con la extensión VI. Puede empezar a utilizarla inmediatamente. Para obtener más información sobre el uso de modelos de lenguaje con VI, consulte:

Consulte también la nota de transparencia para el resumen textual con VI habilitado por Arc para conocer los requisitos de hardware, las limitaciones y los problemas conocidos.

Casos de uso

  • Gobernanza de datos - Puede llevar la IA al contenido en lugar de viceversa. Utilice Video Indexer de Azure AI habilitado por Arc cuando no pueda mover contenido indexado de las instalaciones a la nube debido a:
    • Normativa.
    • Decisiones de arquitectura.
    • El almacén de datos es demasiado grande, lo que hace que lift-and-shift sea un esfuerzo significativo.
  • Flujo de trabajo local - Su proceso de indexación forma parte de un flujo de trabajo local y desea reducir la latencia de la duración de la indexación que afecta al flujo.
  • Preindexación - Desea indexar antes de subir el contenido a la nube. Para crear claridad, puede organizar previamente el archivo de audio o vídeo local y, a continuación, cargarlo solo para la indexación estándar o avanzada en la nube.

Implementación de ejemplo

En el diagrama siguiente se muestra la extensión Video Indexer de Azure AI que se ejecuta en Azure Arc. Hay tres tipos:

  1. El tipo de almacén A utiliza preajustes de visión y audio.
  2. El tipo de almacén B solo utiliza preajustes de visión. También tiene un modelo personalizado. Para obtener más información sobre el uso de un modelo personalizado con Video Indexer de Azure AI habilitado por Arc, consulte Traiga su propio modelo de AI.
  3. El almacén C solo utiliza preajustes de audio.

La extensión se almacena en cada dispositivo de borde y cada dispositivo está asociado a una única cuenta de Video Indexer de Azure AI que interactúa con Azure Arc y la nube.

Diagrama que muestra la extensión VI Arc que se ejecuta en Azure Arc.

Preajustes de AI compatibles

Video Indexer de Azure AI habilitado por Arc admite los siguientes preajustes de indexación:

Modelo Vídeo básico Audio básico Vídeo básico y audio
Transcripción ✔ ✔
Traducción ✔ ✔
Subtítulos ✔ ✔
Detección de fotogramas principales ✔ ✔
Detección de objetos ✔ ✔
Detección de escenas ✔ ✔
Detección de cortes ✔ ✔
Resumen ✔ ✔ ✔

Requisitos mínimos de hardware

Video Indexer enabled by Arc está diseñado para ejecutarse en cualquier entorno Kubernetes habilitado para Arc.

Nota

En la tabla siguiente se tratan los requisitos mínimos de un entorno de producción . Se recomienda al menos un clúster de dos nodos para lograr alta disponibilidad y escalabilidad. La configuración recomendada hace referencia a la configuración de todo el clúster. Por ejemplo, si tiene dos nodos, cada nodo debe tener 16 núcleos y 32 GB de RAM. Se recomienda crear un grupo de nodos dedicado o grupos de escalado automático para hospedar la solución VI.

Configuración Recuento de máquinas virtuales Recuento de núcleos de CPU de nodo RAM de nodo Almacenamiento del nodo Comentarios
Mínima Uno 32 núcleos 64 GB 50 GB El almacenamiento debe ser compatible con ReadWriteMany Storage Class
Recomendado Dos 48-64 núcleos 256 GB 100 GB El almacenamiento debe ser compatible con ReadWriteMany Storage Class

Requisitos mínimos de software

Componente Requisitos mínimos
Sistema operativo Ubuntu 22.04 LTS o cualquier SO compatible con Linux
Kubernetes 1.29
Azure CLI 2.64.0

Requisitos de red

Use la siguiente información para configurar las opciones de firewall.

Requisitos del firewall

Siga las instrucciones que se indican en Requisitos de red de Kubernetes habilitados para Azure Arc.

Además, agregue *.azureedge.net y *.data.microsoft.com.

Para la extensión Video Indexer habilitada por Arc, agregue estos puntos de conexión:

Punto de conexión (DNS) Descripción
linuxgeneva-microsoft.azurecr.io, *.blob.core.windows.net Utilizado para el registro de contenedores para contenedores de telemetría.
*.monitoring.core.windows.net, *.microsoftmetrics.com, *.table.core.windows.net Se usa para la telemetría
api.videoindexer.ai Se usa para la validación de tokens de acceso

Resumen de los puntos de conexión y puertos necesarios

Habilite los siguientes puntos de conexión y puertos.

Azure Arc Services (HTTPS)

  • management.azure.com:443
  • *.dp.kubernetesconfiguration.azure.com:443
  • login.microsoftonline.com:443
  • *.login.microsoft.com:443
  • login.windows.net:443
  • mcr.microsoft.com:443
  • *.data.mcr.microsoft.com:443
  • dl.k8s.io:443
  • gbl.his.arc.azure.com:443
  • *.his.arc.azure.com:443
  • guestnotificationservice.azure.com:443
  • *.guestnotificationservice.azure.com:443
  • sts.windows.net:443
  • *.servicebus.windows.net:443
  • graph.microsoft.com:443
  • *.arc.azure.net:443
  • linuxgeneva-microsoft.azurecr.io:443

Azure Arc OBO Services (puerto HTTPS personalizado)

  • *.obo.arc.azure.com:8084

Azure File Storage (SMB)

  • STORAGE_ACCOUNT_NAME.file.core.windows.net:139,445

Nota

Cuando se usa AKS con el controlador CSI de Azure Files para montar recursos compartidos como volúmenes persistentes, abra los puertos 139 y 445 para el recurso compartido de archivos específico.

Telemetría (HTTPS)

  • linuxgeneva-microsoft.azurecr.io:443
  • *.blob.core.windows.net:443
  • gcs.prod.monitoring.core.windows.net:443
  • *.microsoftmetrics.com:443
  • *.table.core.windows.net:443
  • *.azureedge.net:443
  • *.data.microsoft.com:443

VideoIndexer (HTTPS)

  • api.videoindexer.ai:443

Formatos de entrada y códecs admitidos

En la sección siguiente se enumeran los formatos de entrada y los códecs admitidos para Video Indexer de Azure AI habilitados por Arc.

Formatos de vídeo

  • AVI (.avi)
  • FLV (con códecs H.264 y AAC) (.flv)
  • ISMV (.isma, .ismv)
  • Matroska (.mkv)
  • MP4 (.mp4, .m4a, .m4v)
  • MXF (.mxf)
  • MPEG2-TS
  • QuickTime (.mov)
  • WAVE/WAV (.wav)
  • Vídeo de Windows Media (WMV)/ASF (.wmv, .asf)

Códecs de vídeo

  • AVC 8 bits/10 bits, hasta 4:2:2, incluido AVCIntra
  • Vídeo digital (DV) (en archivos AVI)
  • DVCPro/DVCProHD (en el contenedor MXF)
  • HEVC/H.265 (Estándar de Compresión de Video)
  • MPEG-1
  • MPEG-2 (hasta 422 Perfil y Nivel alto; incluidas variantes como Sony XDCAM, Sony XDCAM HD, Sony XDCAM IMX, CableLabs® y D10)
  • MPEG-4, parte 2
  • VC-1/WMV9

Códecs de audio de hasta dos pistas

  • AAC (AAC-LC, AAC-HE y AAC-HEv2)
  • FLAC
  • MPEG Layer 2
  • MP3 (MPEG-1 Audio Layer 3)
  • VORBIS
  • WAV/PCM
  • Windows Media Audio

Traiga su propio modelo

Video Indexer de Azure AI habilitado por Arc también admite traer su propio modelo. Para obtener más información, consulte el artículo Bring Your Own Model (BYO).

Limitaciones

  • El tamaño de archivo admitido para la indexación es de hasta 2 GB.
  • Actualización de la extensión:
    • La compatibilidad con extensiones solo se aplica a la versión más reciente.
    • Se recomienda establecer la propiedad auto-upgrade en true. La configuración mantiene actualizada la extensión.
    • Si la configuración de actualización automática está establecida en false, debe actualizar la versión de forma incremental. Los saltos entre versiones pueden provocar fallos en los procesos de indexación.
  • Después de la instalación o actualización de la extensión, espere que la primera duración del proceso de índice o traducción sea mayor que normal. La mayor duración se debe a la descarga de imágenes del modelo de IA. La duración varía en función de la velocidad de la red.
  • Solo se puede implementar una extensión Video Indexer por clúster Kubernetes habilitado para Arc.
  • El rendimiento del volumen del clúster (basado en la clase de almacenamiento) tiene una influencia significativa en la duración de la rotación del trabajo de indexación, especialmente porque la extracción de fotogramas está escribiendo todos los fotogramas en el volumen.
  • Solo se admiten tokens de acceso de extensión. Puede obtener tokens de acceso de extensión a través de la API o la CLI. Para obtener ejemplos para obtener el token de acceso, consulte Cómo acceder a la extensión.
  • Los mensajes de error de vídeo no se almacenan debido a limitaciones de memoria.

Azure Container Storage habilitado por Arc

Se recomienda usar Azure Container Storage habilitado por Azure Arc para el almacenamiento. Para obtener más información, consulte los artículos siguientes:

Contenido relacionado