Compartir a través de

Detección de caras

  • Artículo

Importante

Debido al anuncio de retirada de Azure Media Services, Video Indexer de Azure AI anuncia los ajustes de las características de Video Indexer de Azure AI. Consulte Cambios relacionados con la retirada de Azure Media Service (AMS) para comprender lo que esto significa para la cuenta de Video Indexer de Azure AI. Consulte la guía Preparación para la retirada de AMS: vi actualización y migración.

Detección de caras, una característica de Azure AI Video Indexer, detecta automáticamente caras en un archivo multimedia y, a continuación, agrega instancias de caras similares en grupos. A continuación, el modelo de reconocimiento de celebridades se ejecuta para reconocer celebridades.

El modelo de reconocimiento de celebridades cubre aproximadamente 1 millón de caras y se basa en orígenes de datos solicitados habitualmente. Las caras que Video Indexer no reconoce como celebridades todavía se detectan, pero se dejan sin nombre. Puede crear su propio modelo de persona personalizada para entrenar Video Indexer para reconocer caras que no se reconocen de forma predeterminada.

La información de detección de caras se genera como una lista clasificada en un archivo JSON que incluye una miniatura y un nombre o un identificador para cada cara. Al seleccionar la miniatura de una cara se muestra información como el nombre de la persona (si se han reconocido), el porcentaje del vídeo que aparece la persona y la biografía de la persona, si son una celebridad. También puede desplazarse entre instancias del vídeo donde aparece la persona.

Importante

Para admitir los principios de inteligencia artificial responsable de Microsoft, el acceso a las características de identificación facial, personalización y reconocimiento de celebridades se limita y se basa en los criterios de idoneidad y uso. Las características de identificación facial, personalización y reconocimiento de celebridades están disponibles para los clientes y asociados administrados por Microsoft. Para solicitar acceso, use el formulario de admisión de reconocimiento facial.

Requisitos previos

Revise la nota de transparencia de Azure AI Video Indexer.

Términos clave

Término Definición
visión La información y los conocimientos derivados del procesamiento y el análisis de archivos de vídeo y audio. La información puede incluir objetos detectados, personas, caras, fotogramas clave y traducciones o transcripciones.
reconocimiento facial Análisis de imágenes para identificar las caras que aparecen en las imágenes. Este proceso se implementa a través de Face API de Azure AI.
template Las imágenes inscritas de personas se convierten en plantillas, que luego se usan para el reconocimiento facial. Las características interpretables por máquina se extraen de una o varias imágenes de un individuo para crear la plantilla de esa persona. La inscripción o las imágenes de sondeo no se almacenan en Face API y las imágenes originales no se pueden reconstruir en función de una plantilla. La calidad de la plantilla es un determinante clave para la precisión en los resultados.
enrollment Proceso de inscripción de imágenes de personas para la creación de plantillas para que se puedan reconocer. Cuando una persona está inscrita en un sistema de comprobación que se usa para la autenticación, su plantilla también está asociada a un identificador principal que se usa para determinar qué plantilla se va a comparar con la plantilla de sondeo. Las imágenes e imágenes de alta calidad que representan variaciones naturales en el aspecto de una persona (por ejemplo, llevar gafas y no usar gafas) generan plantillas de inscripción de alta calidad.
búsqueda profunda La capacidad de recuperar solo los archivos de vídeo y audio pertinentes de una biblioteca de vídeos mediante la búsqueda de términos específicos dentro de la información extraída.

Ver información

Para ver las instancias de detección de caras en el sitio web de Azure AI Video Indexer:

  1. Al cargar el archivo multimedia, en el cuadro de diálogo Cargar e índice , seleccione Configuración avanzada.
  2. En el menú de la izquierda, seleccione Modelos de personas. Seleccione un modelo para aplicar al archivo multimedia.
  3. Una vez cargado e indexado el archivo, vaya a Insights y desplácese a Contactos.

Para ver información de detección de caras en un archivo JSON:

  1. En el sitio web de Azure AI Video Indexer, abra el vídeo cargado.

  2. Seleccione Download Insights (JSON) (Descargar>Insights [JSON]).

  3. En insights, copie el faces elemento y péguelo en el visor JSON.

    "faces": [
    {
    "id": 1785,
    "name": "Emily Tran",
    "confidence": 0.7855,
    "description": null,
    "thumbnailId": "fd2720f7-b029-4e01-af44-3baf4720c531",
    "knownPersonId": "92b25b4c-944f-4063-8ad4-f73492e42e6f",
    "title": null,
    "imageUrl": null,
    "thumbnails": [
        {
        "id": "4d182b8c-2adf-48a2-a352-785e9fcd1fcf",
        "fileName": "FaceInstanceThumbnail_4d182b8c-2adf-48a2-a352-785e9fcd1fcf.jpg",
        "instances": [
            {
            "adjustedStart": "0:00:00",
            "adjustedEnd": "0:00:00.033",
            "start": "0:00:00",
            "end": "0:00:00.033"
            }
        ]
        },
        {
        "id": "feff177b-dabf-4f03-acaf-3e5052c8be57",
        "fileName": "FaceInstanceThumbnail_feff177b-dabf-4f03-acaf-3e5052c8be57.jpg",
        "instances": [
            {
            "adjustedStart": "0:00:05",
            "adjustedEnd": "0:00:05.033",
            "start": "0:00:05",
            "end": "0:00:05.033"
            }
        ]
        },
    ]
    }
]

Para descargar el archivo JSON a través de la API, vaya al portal para desarrolladores de Video Indexer de Azure AI.

Importante

Al revisar las detecciones de caras en la interfaz de usuario, es posible que no vea todas las caras que aparecen en el vídeo. Solo exponemos grupos de caras que tienen una confianza de más de 0,5, y la cara debe aparecer durante un mínimo de 4 segundos o un 10 por ciento del valor de video_duration. Solo cuando se cumplen estas condiciones, mostramos la cara en la interfaz de usuario y en el archivo Insights.json . Siempre puede recuperar todas las instancias de face del archivo de artefacto facial mediante la API: https://api.videoindexer.ai/{location}/Accounts/{accountId}/Videos/{videoId}/ArtifactUrl[?Faces][&accessToken].

Componentes de detección de caras

En la tabla siguiente se describe cómo se procesan las imágenes de un archivo multimedia durante el procedimiento de detección de caras:

Componente Definición
archivo de origen El usuario carga el archivo de origen para la indexación.
detección y agregación El detector de caras identifica las caras de cada fotograma. Las caras se agregan y agrupan.
de personas El modelo de celebridades procesa los grupos agregados para reconocer celebridades. Si ha creado su propio modelo de personas, también procesa grupos para reconocer a otras personas. Si no se reconocen personas, se etiquetan como Unknown1, Unknown2, etc.
valor de confianza Si procede para caras conocidas o para caras identificadas en la lista personalizable, el nivel de confianza estimado de cada etiqueta se calcula como un intervalo de 0 a 1. La puntuación de confianza representa la certeza en la precisión del resultado. Por ejemplo, una certeza del 82 por ciento se representa como una puntuación de 0,82.

Casos de uso de ejemplo

En la lista siguiente se describen ejemplos de casos de uso comunes para la detección de caras:

  • Resumir dónde aparece un actor en una película o reutilizar imágenes mediante la búsqueda profunda de caras específicas en los archivos de la organización para obtener información sobre una celebridad específica.
  • Obtenga una mayor eficacia al crear historias de características en una agencia de noticias o agencia deportiva. Algunos ejemplos son la búsqueda profunda de una celebridad o un jugador de fútbol en los archivos de la organización.
  • Use caras que aparecen en un vídeo para crear promociones, finalizadores o resaltados. Video Indexer puede ayudar agregando fotogramas clave, marcadores de escena, marcas de tiempo y etiquetado para que los editores de contenido inviertan menos tiempo en revisar numerosos archivos.

Consideraciones para elegir un caso de uso

La detección de caras es una herramienta valiosa para muchos sectores cuando se usa de forma responsable y cuidadosa. Para respetar la privacidad y la seguridad de otros usuarios y cumplir con las normativas locales y globales, se recomienda seguir estas directrices de uso:

  • Considere cuidadosamente la precisión de los resultados. Para promover la detección más precisa, compruebe la calidad del vídeo. El vídeo de baja calidad puede afectar a la información que se presenta.
  • Revise cuidadosamente los resultados si usa la detección de caras para el cumplimiento de la ley. Es posible que las personas no se detecten si son pequeñas, sentadas, o obstruidas por objetos u otras personas. Para garantizar decisiones justas y de alta calidad, combine la automatización basada en detección de caras con supervisión humana.
  • No use la detección de caras para las decisiones que podrían tener efectos adversos graves. Las decisiones basadas en resultados incorrectos pueden tener efectos graves y adversos. Es aconsejable incluir la revisión humana de las decisiones que tienen el potencial de impactos graves en las personas.

Contenido relacionado

Más información sobre la inteligencia artificial responsable:

Información de Video Indexer de Azure AI: