Obtención de la detección de personas observadas y las conclusiones de caras coincidentes

Artículo
09/03/2024

Detección de personas observadas, caras coincidentes, ropa detectada

Importante

El acceso a las características de identificación, personalización y reconocimiento de celebridades de Face está limitado en función de los criterios de idoneidad y uso para apoyar nuestros principios de inteligencia artificial responsable. Las características de identificación, personalización y reconocimiento de celebridades de Face solo están disponibles para los clientes y asociados que administra Microsoft. Use el formulario de admisión de reconocimiento facial para solicitar acceso.

La detección de personas observada y las caras coincidentes detectan y coinciden automáticamente con personas en archivos multimedia. La detección de personas observadas y las caras coincidentes se pueden establecer para mostrar información sobre las personas, su ropa y el período de tiempo exacto de su apariencia.

En el portal web, las conclusiones resultantes se muestran en una lista clasificada en la pestaña Conclusiones, la pestaña incluye una miniatura de cada persona y su identificador. Al hacer clic en la miniatura de una persona se muestra la persona coincidente (la cara correspondiente en la información contactos). La información también se genera en una lista clasificada en un archivo JSON que incluye el identificador de miniatura de la persona, el porcentaje de tiempo que aparece en el archivo, el vínculo Wiki (si es una celebridad) y el nivel de confianza.

Casos de uso de personas observadas, ropa detectada y caras coincidentes

Mejora de la eficacia mediante la búsqueda profunda de personas coincidentes en archivos de la organización para obtener información sobre celebridades específicas, por ejemplo, al crear promociones y finalizadores.
Mejora de la eficacia al crear historias de características, por ejemplo, buscando personas que usan una camisa roja en los archivos de un juego de fútbol en una agencia de noticias o deportes.
Cree un resumen de un vídeo largo, como una prueba judicial de la aparición de una persona específica en un vídeo, mediante el mismo identificador de la persona detectada.
Investigue y analice tendencias a lo largo del tiempo, por ejemplo, cómo se mueven los clientes por los pasillos de un centro comercial o cuánto tiempo invierten para pagar en las cajas.

Las caras coincidentes y las características de ropa detectadas están disponibles al indexar el archivo seleccionando el valor preestablecido Advanced ->Video + audio indexación .

Visualización del JSON de información con el portal web

Una vez que haya cargado e indexado un vídeo, la información está disponible en formato JSON para su descarga mediante el portal web.

Seleccione la pestaña Biblioteca .
Seleccione los medios con los que desea trabajar.
Seleccione Descargar y Insights (JSON). El archivo JSON se abre en una nueva pestaña del explorador.
Busque el par de claves descrito en la respuesta de ejemplo.

Uso de la API

Use la solicitud Obtener índice de vídeo. Se recomienda pasar &includeSummarizedInsights=false.
Busque los pares de claves descritos en la respuesta de ejemplo.

Respuesta de ejemplo

"observedPeople": [
    {
        "id": 1,
        "thumbnailId": "d09ad62e-e0a4-42e5-8ca9-9a640c686596",
        "clothing": [
            {
                "id": 1,
                "type": "sleeve",
                "properties": {
                    "length": "short"
                }
            },
            {
                "id": 2,
                "type": "pants",
                "properties": {
                    "length": "short"
                }
            }
        ],
        "matchingFace": {
            "id": 1310,
            "confidence": 0.3819
        },
        "instances": [
            {
                "adjustedStart": "0:00:34.8681666",
                "adjustedEnd": "0:00:36.0026333",
                "start": "0:00:34.8681666",
                "end": "0:00:36.0026333"
            },
            {
                "adjustedStart": "0:00:36.6699666",
                "adjustedEnd": "0:00:36.7367",
                "start": "0:00:36.6699666",
                "end": "0:00:36.7367"
            },
            {
                "adjustedStart": "0:00:37.2038333",
                "adjustedEnd": "0:00:39.6729666",
                "start": "0:00:37.2038333",
                "end": "0:00:39.6729666"
            }
        ]
    }
]

Importante

Es importante leer la información general de la nota de transparencia para todas las características vi. Cada información también tiene notas de transparencia propias:

Notas observadas de detección de personas y caras coincidentes

Por lo general, no se detectan personas si aparecen pequeñas (el alto mínimo de la persona es de 100 píxeles).
El tamaño máximo de fotograma es de alta definición completa (FHD).
El vídeo de baja calidad (por ejemplo, condiciones de iluminación oscura) puede afectar a los resultados de la detección.
Velocidad de fotogramas recomendada 30 FPS como mínimo.
La entrada de vídeo recomendada debe contener un máximo de 10 personas en un solo fotograma. La característica podría funcionar con más personas en un solo fotograma, pero el resultado de la detección recupera 10 personas como máximo en un fotograma con el mayor grado de confianza de la detección.
Personas con ropa similar: (por ejemplo, las personas usan uniformes, jugadores en juegos deportivos) se pueden detectar como la misma persona con el mismo número de identificación.
Obstrucción: puede haber errores en los que hay obstrucciones (escena/auto o obstrucciones por parte de otras personas).
Pose: Las pistas pueden dividirse debido a diferentes posturas (hacia atrás/frontal)
A medida que la detección de ropa depende de la visibilidad del cuerpo de la persona, la precisión es mayor si una persona está totalmente visible. Puede haber errores cuando una persona está sin ropa. En este escenario u otros de mala visibilidad, se pueden proporcionar resultados como pantalones largos y falda o vestido.

Componentes de detección de personas observadas y caras coincidentes

Componente	Definición
Archivo de origen	El usuario carga el archivo de origen para la indexación.
Detección	Se realiza un seguimiento del archivo multimedia para detectar personas observadas y su ropa. Por ejemplo, camisa con mangas largas, vestido o pantalones largos. Para detectarse, el cuerpo superior completo de la persona debe aparecer en el medio.
Agrupación local	Las caras observadas identificadas se filtran en grupos locales. Si se detecta una persona más de una vez, se crean más instancias de caras observadas para esta persona.
Coincidencia y clasificación	Las instancias de personas observadas se coinciden con las caras. Si hay una celebridad conocida, la persona observada recibe su nombre. Cualquier número de instancias de personas observadas puede coincidir con la misma cara.
Valor de confianza	El nivel de confianza estimado de cada persona observada se calcula como un intervalo de 0 a 1. La puntuación de confianza representa la certeza en la precisión del resultado. Por ejemplo, una certeza del 82 % se representa como una puntuación de 0,82.

Código de ejemplo

Ver todos los ejemplos de VI

Compartir a través de