Obtención de información sobre personas observadas y caras coincidentes

Advertencia

En el último año, Video Indexer (VI) de Azure AI anunció la eliminación de su dependencia en Azure Media Services (AMS) debido a su retirada. Se anunciaron ajustes y cambios de características y se proporcionó una guía de migración.

La fecha límite para completar la migración fue el 30 de junio de 2024. VI ha ampliado la fecha límite de actualización y migración para que pueda actualizar su cuenta VI y participar en la migración de recursos de AMS VI hasta el 15 de julio de 2024. Para usar la migración de recursos de AMS VI, también debe ampliar la cuenta de AMS a julio. Vaya a la cuenta de AMS en Azure Portal y seleccione Haga clic aquí para ampliar.

Sin embargo, después del 30 de junio, si no ha actualizado su cuenta VI, no podrá indexar nuevos vídeos ni podrá reproducir vídeos que no se hayan migrado. Si actualiza la cuenta después del 30 de junio, puede reanudar la indexación inmediatamente, pero no podrá reproducir vídeos indexados antes de la actualización de la cuenta hasta que se migren a través de la migración de AMS VI.

Seguimiento de personas observadas y caras coincidentes

Importante

El acceso a las características de identificación, personalización y reconocimiento de celebridades de Face está limitado en función de los criterios de idoneidad y uso para apoyar nuestros principios de inteligencia artificial responsable. Las características de identificación, personalización y reconocimiento de celebridades de Face solo están disponibles para los clientes y asociados que administra Microsoft. Use el formulario de admisión de reconocimiento facial para solicitar acceso.

Las personas observadas que rastrean y coinciden automáticamente las caras detectan y coinciden con personas en archivos multimedia. Las personas observadas que rastrean y coinciden las caras se pueden establecer para mostrar información sobre las personas, su ropa y el período de tiempo exacto de su apariencia.

En el portal web, las conclusiones resultantes se muestran en una lista clasificada en la pestaña Conclusiones, la pestaña incluye una miniatura de cada persona y su identificador. Al hacer clic en la miniatura de una persona se muestra la persona coincidente (la cara correspondiente en la información contactos). La información también se genera en una lista clasificada en un archivo JSON que incluye el identificador de miniatura de la persona, el porcentaje de tiempo que aparece en el archivo, el vínculo Wiki (si es una celebridad) y el nivel de confianza.

Casos de uso observados de seguimiento de personas y caras coincidentes

• Seguimiento del movimiento de una persona, por ejemplo, en la aplicación de la ley para obtener más eficacia al analizar un accidente o un crimen.
• Mejora de la eficacia mediante la búsqueda profunda de personas coincidentes en archivos de la organización para obtener información sobre celebridades específicas, por ejemplo, al crear promociones y finalizadores.
• Mejora de la eficacia al crear historias de características, por ejemplo, buscando personas que usan una camisa roja en los archivos de un juego de fútbol en una agencia de noticias o deportes.

Visualización del JSON de información con el portal web

Una vez que haya cargado e indexado un vídeo, la información está disponible en formato JSON para su descarga mediante el portal web.

1. Seleccione la pestaña Biblioteca .
2. Seleccione los medios con los que desea trabajar.
3. Seleccione Descargar y Insights (JSON). El archivo JSON se abre en una nueva pestaña del explorador.
4. Busque el par de claves descrito en la respuesta de ejemplo.

Uso de la API

1. Use la solicitud Obtener índice de vídeo. Se recomienda pasar &includeSummarizedInsights=false.
2. Busque el par de claves descrito en la respuesta de ejemplo.

Respuesta de ejemplo

    "observedPeople": [
      {
        "id": 1,
        "thumbnailId": "4addcebf-6c51-42cd-b8e0-aedefc9d8f6b",
        "clothing": [
          {
            "id": 1,
            "type": "sleeve",
            "properties": {
              "length": "long"
            }
          },
          {
            "id": 2,
            "type": "pants",
            "properties": {
              "length": "long"
            }
          }
        ],
        "instances": [
          {
            "adjustedStart": "0:00:00.0667333",
            "adjustedEnd": "0:00:12.012",
            "start": "0:00:00.0667333",
            "end": "0:00:12.012"
          }
        ]
      },
      {
        "id": 2,
        "thumbnailId": "858903a7-254a-438e-92fd-69f8bdb2ac88",
        "clothing": [
          {
              "id": 1,
              "type": "sleeve",
              "properties": {
                  "length": "short"
              }
          }
        ],
        "instances": [
          {
              "adjustedStart": "0:00:23.2565666",
              "adjustedEnd": "0:00:25.4921333",
              "start": "0:00:23.2565666",
              "end": "0:00:25.4921333"
          },
          {
              "adjustedStart": "0:00:25.8925333",
              "adjustedEnd": "0:00:25.9926333",
              "start": "0:00:25.8925333",
              "end": "0:00:25.9926333"
          },
          {
              "adjustedStart": "0:00:26.3930333",
              "adjustedEnd": "0:00:28.5618666",
              "start": "0:00:26.3930333",
              "end": "0:00:28.5618666"
          }
        ]
      },
      {
        "id": 3,
        "thumbnailId": "1406252d-e7f5-43dc-852d-853f652b39b6",
        "clothing": [
          {
            "id": 1,
            "type": "sleeve",
            "properties": {
                "length": "short"
            }
          },
          {
            "id": 2,
            "type": "pants",
            "properties": {
                "length": "long"
            }
          },
          {
            "id": 3,
            "type": "skirtAndDress"
          }
        ],
        "instances": [
          {
            "adjustedStart": "0:00:31.9652666",
            "adjustedEnd": "0:00:34.4010333",
            "start": "0:00:31.9652666",
            "end": "0:00:34.4010333"
          }
        ]
      },
      {
        "id": 4,
        "thumbnailId": "d09ad62e-e0a4-42e5-8ca9-9a640c686596",
        "clothing": [
          {
            "id": 1,
            "type": "sleeve",
            "properties": {
                "length": "short"
            }
          },
          {
            "id": 2,
            "type": "pants",
            "properties": {
                "length": "short"
            }
          }
        ],
        "matchingFace": {
          "id": 1310,
          "confidence": 0.3819
        },
        "instances": [
          {
              "adjustedStart": "0:00:34.8681666",
              "adjustedEnd": "0:00:36.0026333",
              "start": "0:00:34.8681666",
              "end": "0:00:36.0026333"
          },
          {
              "adjustedStart": "0:00:36.6699666",
              "adjustedEnd": "0:00:36.7367",
              "start": "0:00:36.6699666",
              "end": "0:00:36.7367"
          },
          {
              "adjustedStart": "0:00:37.2038333",
              "adjustedEnd": "0:00:39.6729666",
              "start": "0:00:37.2038333",
              "end": "0:00:39.6729666"
          }
        ]
      }
    ]

Componentes

Componente	Definición
Archivo de origen	El usuario carga el archivo de origen para la indexación.
Detección	Se realiza un seguimiento del archivo multimedia para detectar personas observadas y su ropa. Por ejemplo, camisa con mangas largas, vestido o pantalones largos. Tenga en cuenta que para detectarse, el cuerpo superior completo de la persona debe aparecer en el medio.
Agrupación local	Las caras observadas identificadas se filtran en grupos locales. Si se detecta una persona más de una vez, se crean instancias de caras observadas adicionales para esta persona.
Coincidencia y clasificación	Las instancias de personas observadas se coinciden con las caras. Si hay una celebridad conocida, a la persona observada se le asignará su nombre. Cualquier número de instancias de personas observadas puede coincidir con la misma cara.
Valor de confianza	El nivel de confianza estimado de cada persona observada se calcula como un intervalo de 0 a 1. La puntuación de confianza representa la certeza en la precisión del resultado. Por ejemplo, una certeza del 82 % se representa como una puntuación de 0,82.

Notas de transparencia

Nota de transparencia

Importante

Es importante leer la información general de la nota de transparencia para todas las características vi. Cada información también tiene notas de transparencia propias:

• Por lo general, no se detectan personas si aparecen pequeñas (el alto mínimo de la persona es de 100 píxeles).
• El tamaño máximo del marco es FHD
• Un vídeo de baja calidad (por ejemplo, con condiciones de iluminación oscuras) puede afectar a los resultados de la detección.
• Velocidad de fotogramas recomendada 30 FPS como mínimo.
• La entrada de vídeo recomendada debe contener un máximo de 10 personas en un solo fotograma. La característica podría funcionar con más personas en un solo fotograma, pero el resultado de la detección recupera 10 personas como máximo en un fotograma con el mayor grado de confianza de la detección.
• Personas con ropa similar: (por ejemplo, las personas usan uniformes, jugadores en juegos deportivos) se pueden detectar como la misma persona con el mismo número de identificación.
• Obstáculos: es posible que haya errores en los que haya obstáculos (escenas propias u obstáculos de otras personas).
• Postura: las pistas se pueden dividir mediante diferentes posturas (trasera o frontal)

Código de ejemplo

Ver todos los ejemplos de VI