Compartir a través de

Detección de objetos de Video Indexer de Azure AI

  • Artículo

Advertencia

En el último año, Video Indexer (VI) de Azure AI anunció la eliminación de su dependencia en Azure Media Services (AMS) debido a su retirada. Se anunciaron ajustes y cambios de características y se proporcionó una guía de migración.

La fecha límite para completar la migración fue el 30 de junio de 2024. VI ha ampliado la fecha límite de actualización y migración para que pueda actualizar su cuenta VI y participar en la migración de recursos de AMS VI hasta el 31 de agosto de 2024.

Sin embargo, después del 30 de junio, si no ha actualizado su cuenta VI, no podrá indexar nuevos vídeos ni podrá reproducir vídeos que no se hayan migrado. Si actualiza la cuenta después del 30 de junio, puede reanudar la indexación inmediatamente, pero no podrá reproducir vídeos indexados antes de la actualización de la cuenta hasta que se migren a través de la migración de AMS VI.

Video Indexer de Azure AI puede detectar objetos en vídeos. La información forma parte de los valores preestablecidos de vídeo estándar y avanzados. La detección de objetos se incluye en la información que es el resultado de una solicitud cargar vídeo .

Nota de transparencia

Antes de usar la detección de objetos, revise la información general de la nota de transparencia.

Definiciones y claves JSON

Clave Definición
ID Número incremental de identificadores de los objetos detectados en el archivo multimedia
Tipo Tipo de objetos, por ejemplo, Car
ThumbnailID GUID que representa una única detección del objeto
DisplayName Nombre que se va a mostrar en la experiencia del portal vi
WikiDataID Un identificador único en la estructura WikiData
Instancias Lista de todas las instancias a las que se ha seguido el seguimiento
Confianza Puntuación entre 0 y 1 que indica la confianza de detección de objetos
adjustedStart hora de inicio ajustada del vídeo al usar el editor
adjustedEnd hora de finalización ajustada del vídeo al usar el editor
start la hora en que aparece el objeto en el marco
end la hora en que el objeto ya no aparece en el marco

Respuesta JSON

Objetos detectados y de seguimiento

Los objetos detectados y con seguimiento aparecen en "Objetos detectados" en el archivo insights.json descargado. Cada vez que se detecta un objeto único, se le asigna un identificador. También se realiza un seguimiento de ese objeto, lo que significa que el modelo inspecciona el objeto detectado para volver al marco. Si es así, se agrega otra instancia a las instancias del objeto con diferentes horas de inicio y finalización.

En este ejemplo, se detectó el primer coche y se le dio un identificador de 1, ya que también era el primer objeto detectado. A continuación, se detectó un coche diferente y se le dio el identificador de 23 desde que se detectó el 23º objeto. Más adelante, el primer coche apareció de nuevo y otra instancia se agregó al JSON. Este es el JSON resultante:

detectedObjects: [
    {
    id: 1,
    type: "Car",
    thumbnailId: "1c0b9fbb-6e05-42e3-96c1-abe2cd48t33",
    displayName: "car",
    wikiDataId: "Q1420",
    instances: [
        {
        confidence: 0.468,
        adjustedStart: "0:00:00",
        adjustedEnd: "0:00:02.44",
        start: "0:00:00",
        end: "0:00:02.44"
        },
        {
        confidence: 0.53,
        adjustedStart: "0:03:00",
        adjustedEnd: "0:00:03.55",
        start: "0:03:00",
        end: "0:00:03.55"
        }    
    ]
    },
    {
    id: 23,
    type: "Car",
    thumbnailId: "1c0b9fbb-6e05-42e3-96c1-abe2cd48t34",
    displayName: "car",
    wikiDataId: "Q1420",
    instances: [
        {
        confidence: 0.427,
        adjustedStart: "0:00:00",
        adjustedEnd: "0:00:14.24",
        start: "0:00:00",
        end: "0:00:14.24"
        }    
    ]
    }
]

Objetos admitidos

  • airplane
  • Apple
  • backpack
  • plátano
  • guante de béisbol
  • cama
  • bench
  • bicicleta
  • barco
  • libro
  • botella
  • bolo
  • brécol
  • autobús
  • pastel
  • automóvil
  • zanahoria
  • cell phone
  • silla
  • clock
  • mouse del equipo
  • sofá
  • taza
  • mesa de comedor
  • anillo
  • fire hydrant
  • bifurcación
  • Frisbee
  • secador
  • bolso
  • perro caliente
  • métodos abreviados
  • cometa
  • knife
  • laptop
  • microonda
  • moto
  • mouse del equipo
  • corbata
  • orange
  • horno
  • parking meter
  • pizza
  • planta macetada
  • sandwich
  • scissors
  • sink
  • skateboard
  • Esquís
  • snow
  • cuchara
  • balón deportivo
  • stop sign
  • maleta
  • tabla de surf
  • osito de peluche
  • raqueta de tenis
  • tostadora
  • baño
  • Cepillo de dientes
  • semáforo
  • entrenar
  • umbrella (paraguas)
  • jarrón
  • copa

Limitaciones

  • Hay hasta 20 detecciones por fotograma para el procesamiento estándar y avanzado y 35 pistas por clase.
  • El tamaño del objeto no debe ser mayor que el 90 por ciento del marco. Es posible que no se reconozcan objetos muy grandes que abarquen constantemente una gran parte del marco.
  • Los objetos pequeños o borrosos pueden ser difíciles de detectar. Se pueden perder o clasificar erróneamente (copa de vino, taza).
  • Es posible que no se reconozcan los objetos transitorios y que aparecen en muy pocos fotogramas.
  • Otros factores que podrían afectar a la precisión de la detección de objetos incluyen condiciones de poca luz, movimiento de cámara y oclusión.
  • Video Indexer de Azure AI solo admite objetos reales. No hay compatibilidad con animaciones ni CGI. Los gráficos generados por el equipo (como las pegatinas de noticias) pueden producir resultados extraños.
  • Consulte notas de clase específicas.

Notas de clase específicas

Materiales escritos enlazados

Los enlazadores, folletos y otros materiales escritos tienden a detectarse como "libro".

Probar la detección de objetos

Puede probar la detección de objetos con el portal web o con la API.

Una vez cargado un vídeo, puede ver la información. En la pestaña Información, puede ver la lista de objetos detectados y sus instancias principales.

Información detallada

Seleccione la pestaña Conclusiones . Los objetos están en orden descendente del número de apariencias del vídeo.

captura de pantalla de la interfaz de la pestaña Insights

Escala de tiempo

Seleccione la pestaña Timeline (Escala de tiempo).

captura de pantalla de la interfaz de la pestaña escala de tiempo

En la pestaña escala de tiempo, todos los objetos detectados se muestran según la hora de aparición. Al mantener el puntero sobre una detección específica, muestra el porcentaje de detección de certeza.

Jugador

El reproductor marca automáticamente el objeto detectado con un rectángulo de selección. El objeto seleccionado del panel de información se resalta en azul con el tipo de objetos y el número de serie que también se muestran.

Filtre los cuadros de límite alrededor de los objetos seleccionando el icono de rectángulo de selección en el reproductor.

captura de pantalla de la interfaz del reproductor de iconos de filtrado de objetos

A continuación, active o anule la selección de las casillas de los objetos detectados.

captura de pantalla de los objetos detectados de filtrado de objetos en la interfaz del reproductor

Descargue la información seleccionando Descargar y, a continuación, Insights (JSON).