Compartir a través de


Introducción al modelo de IA Video Indexer Bring Your Own (BYO) AI Model (versión preliminar)

Este artículo es una introducción a Azure AI Video Indexer traiga su propio modelo de IA.

Introducción

Video Indexer de Azure AI ofrece un conjunto de api optimizadas para contenido de vídeo y audio que se puede aplicar a muchos tipos de contenido. Puede combinar más información de orígenes de Microsoft, orígenes personalizados o orígenes de terceros con la información integrada de Azure AI Video Indexer en una experiencia sin problemas.

Esta funcionalidad es lo suficientemente flexible como para dar cabida a todos los formularios y tipos de información, incluidas las AIS orientadas a la detección y a la clasificación. Tiene la libertad de seleccionar los datos sobre los que opera el modelo externo, como los fotogramas del vídeo, todo el vídeo o simplemente la pista de audio. También puede usar otras conclusiones ya generadas para el vídeo, como objetos detectados, caras y etiquetas. Esto le permite ejecutar el análisis externo solo en la sección relacionada del vídeo, mejorando el rendimiento y reduciendo los costos.

La característica está disponible para los casos de uso de nube y perimetral.

DECLINACIÓN DE RESPONSABILIDADES: el código de conducta de Microsoft para el servicio Azure OpenAI se aplica al uso de la característica Bring Your Own Model, que incluye el derecho de Microsoft a interrumpir el acceso y el uso de esta característica para no cumplimiento.

Precios

Con el modelo BYO de Video Indexer, los usuarios pueden agregar información personalizada a objetos de información de vídeo sin incurrir en ningún costo adicional más allá del costo enumerado del proceso de indexación. Sin embargo, los costos relacionados con el entorno externo y el modelo no deben considerarse parte del precio de facturación de Video Indexer. Se recomienda encarecidamente revisar nuestra sección de procedimientos recomendados para optimizar la lógica externa y reducir los costos.

Flujo de trabajo general

  1. El vídeo se carga e indexa con Video Indexer de Azure AI.
  2. Cuando se completa el proceso de indexación, se crea un evento.
  3. El código personalizado escucha el evento e inicia el proceso posterior al procesamiento del vídeo.
    1. Obtenga información extraída por Video Indexer.
    2. Obtenga el fotograma clave de una sección de vídeo.
    3. Envíe el fotograma clave al modelo de IA personalizado.
    4. Vuelva a aplicar una revisión de la información personalizada a Video Indexer.

diagrama del flujo de trabajo descrito anteriormente

Requisitos previos

Para empezar a usar la característica de modelo BYO con Video Indexer de Azure AI, debe hacer lo siguiente:

  1. Entrene o traiga un modelo de IA externo que reciba recursos de vídeo y devuelva una información.
  2. Cree código personalizado que:
    1. Escucha eventos de Event Hubss.
    2. Extrae de video id los eventos.
    3. Recupera los recursos pertinentes mediante una llamada a las API VI. En este escenario, solicite obtener índice de vídeo y obtener direcciones URL de SAS de fotogramas.
    4. Envía los recursos al modelo de IA externo.
    5. Crea un objeto JSON basado en la información recuperada del modelo de IA personalizado.
    6. Solicita el índice de vídeo de actualización de revisiones.

Esquema

Los valores para rellenar los datos personalizados son los siguientes:

Nombre Descripción Obligatorio
name Nombre del modelo de IA externa true
displayName Nombre del grupo de información que se va a mostrar en Video Indexer true
Displaytype Define el tipo de representación de la interfaz de usuario para este grupo de información específico. Valor predeterminado: Cápsulas
Tipos posibles:
Cápsula : solo texto de un nivel
CapsuleAndTags : solo se agregará texto de dos niveles más en el futuro.
false
results Matriz de objetos que representan la información detectada por el modelo de IA externo true
results.id El identificador proporcionado por el usuario del objeto de resultado debe ser único dentro del ámbito de los resultados. true
results.type Este campo representa el tipo de información clasificada por el modelo de IA externo. Se usa para representar una categoría de información general, lo que significa que podría haber varias conclusiones de este tipo identificadas en un marco específico. Algunos ejemplos de tipos de información son: "baloncesto", "clapping de multitud", "camisa blanca". true
results.subType Este campo representa el tipo de información clasificada por el modelo de IA externo. Se usa para representar una categoría de información específica, lo que significa que solo podría haber una única información de este tipo identificada en un marco específico. Algunos ejemplos de tipos de información son: "baloncesto #23", "John clapping", "camisa blanca de Dana". false
results.metaData Más datos sobre la información false
results.instances Matriz que representa las ventanas de tiempo en las que se detectó la información. true
results.instances.confidence Establecer con la puntuación de confianza devuelta desde el modelo externo false
results.instances.start Hora de inicio de la instancia en el vídeo. Formato: hh.mm.ss.ff false
results.instances.end Hora de finalización de la instancia en el vídeo. Formato: hh.mm.ss.ff false
results.instances.adjustedStart Se usa cuando se muestra en la interfaz de usuario, se establece con el valor de Start false
results.instances.adjustedEnd Se usa cuando se muestra en la interfaz de usuario, establezca con el valor de End false

Framerate

Video Indexer de Azure AI admite un FPS para el nivel de vídeo Básico/Estándar y cuatro FPS para el nivel avanzado. No se admiten velocidades de fotogramas más altas. Puede optimizar la indexación mediante:

  • Procesar solo segmentos específicos que son de interés, como marcos que incluyen un sonido detectado, un objeto o una persona, o
  • muestree un FPS inferior, por ejemplo, cada 5 segundos.

Selección de fotogramas

Puede usar los parámetros skip frames y page size para la selección de tiempo. La fórmula es el valor de los fotogramas de omisión multiplicado por fps más el valor de tamaño de página multiplicado por fps para determinar el intervalo de tiempo.

URL:https://api.videoindexer.ai/{location}/Accounts/{accountId}/Videos/{videoId}/FramesFilePaths[?urlsLifetimeSeconds][&pageSize][&skip][&accessToken]

Parámetros:

Nombre Descripción Obligatorio
videoId Id. del vídeo true
urlsLifetimeSeconds duración de las direcciones URL en segundos true
Pagesize Número máximo de fotogramas para devolver cada llamada false
skip Fotogramas que se van a omitir false
accessToken Se debe dar como parámetro en la cadena de consulta url o en el encabezado authorization como token de portador. El ámbito del token de acceso debe ser Cuenta y permiso debe ser Lector. true

Respuesta:FrameFilePathsResult

Nombre Descripción Obligatorio
results Lista de FrameUriData False
NextPage Paginación de datos (skip, pageSize, isDone) False

FrameFilePathData

Nombre Descripción
name Nombre del archivo de marco
frameIndex Índice del marco
StartTime Hora de inicio del fotograma en el vídeo
EndTime Hora de finalización del fotograma en el vídeo
filePath URI de Sas del marco en el entorno de nube o la ruta de acceso de archivo en entornos perimetrales

Datos de ejemplo enviados desde una aplicación personalizada en formato de esquema

"customInsights": [
    {
        "Name": "tattoo",  
        "displayName": "Tattoo’s model",
        "displayType": "CapsuleAndTag",
        "Results": [   
            {   
                "id": 1,   
                "Type": "Dragon",   
                "WikiDataId": "57F",   
                "SubType": "Leg tattoo",   
                "Metadata": "",   
                "Instances": [
                    {
                        "Confidence": 0.49,
                        "AdjustedStart": "0:00:32.72", 
                        "AdjustedEnd": "0:00:42.72",
                        "start": "0:00:32.72",
                        "end": "0:00:42.72",
                    }
                ]
            }
        ]
    }... 

Ejemplos de modelos Bring Your Own

Ejemplos de BYO

Uso de la API de Video Indexer de Azure AI