Détection des visages

  • Article

Important

En raison de l’annonce de mise hors service d’Azure Media Services, Azure AI Video Indexer annonce les ajustements des fonctionnalités d’Azure AI Video Indexer. Consultez les modifications relatives à la mise hors service Azure Media Service (AMS) pour comprendre ce que cela signifie pour votre compte Azure AI Video Indexer. Consultez le guide de préparation de la mise hors service AMS : Mise à jour et migration vi.

Détection des visages, fonctionnalité d’Azure AI Video Indexer, détecte automatiquement les visages dans un fichier multimédia, puis agrège les instances de visages similaires en groupes. Le modèle de reconnaissance des célébrités s’exécute ensuite pour reconnaître les célébrités.

Le modèle de reconnaissance de célébrités couvre environ 1 million de visages et est basé sur des sources de données couramment demandées. Les visages que Video Indexer ne reconnaît pas en tant que célébrités sont toujours détectés, mais sont laissés sans nom. Vous pouvez créer votre propre modèle de personne personnalisé pour entraîner Video Indexer pour reconnaître les visages qui ne sont pas reconnus par défaut.

Les insights de détection des visages sont générés sous la forme d’une liste classées dans un fichier JSON qui inclut une miniature et un nom ou un ID pour chaque visage. La sélection de la miniature d’un visage affiche des informations telles que le nom de la personne (s’il a été reconnu), le pourcentage de la vidéo que la personne apparaît et la biographie de la personne, s’il s’agit d’une célébrité. Vous pouvez également faire défiler entre les instances de la vidéo où la personne apparaît.

Important

Pour prendre en charge les principes de l’IA responsable de Microsoft, l’accès aux fonctionnalités d’identification, de personnalisation et de reconnaissance de célébrités est limité et basé sur les critères d’éligibilité et d’utilisation. Les fonctionnalités d’identification, de personnalisation et de reconnaissance des célébrités sont disponibles pour les clients et partenaires gérés par Microsoft. Pour demander l’accès, utilisez le formulaire d’admission de reconnaissance faciale.

Prérequis

Passez en revue la note de transparence pour Azure AI Video Indexer.

Principes généraux

Cet article traite de la détection des visages et des considérations clés relatives à l’utilisation de cette technologie de manière responsable. Vous devez prendre en compte de nombreux facteurs importants lorsque vous décidez comment utiliser et implémenter une fonctionnalité basée sur l’IA, notamment :

  • Cette fonctionnalité s’exécutera-t-elle correctement dans votre scénario ? Avant de déployer la détection des visages dans votre scénario, testez son fonctionnement à l’aide de données réelles. Assurez-vous qu’elle peut fournir la précision dont vous avez besoin.
  • Êtes-vous équipé pour identifier et répondre aux erreurs ? Les produits et fonctionnalités optimisés pour l’IA ne sont pas précis à 100 %, donc réfléchissez à la façon dont vous identifierez et répondez aux erreurs qui se produisent.

Termes clés

Terme Définition
Insight Informations et connaissances que vous dérivez du traitement et de l’analyse des fichiers vidéo et audio. L’insight peut inclure des objets détectés, des personnes, des visages, des images clés et des traductions ou des transcriptions.
reconnaissance faciale Analyse des images pour identifier les visages qui apparaissent dans les images. Ce processus est implémenté via l’API Visage Azure AI.
template Les images inscrites de personnes sont converties en modèles, qui sont ensuite utilisés pour la reconnaissance faciale. Les fonctionnalités interprétables par ordinateur sont extraites d’une ou plusieurs images d’un individu pour créer le modèle de cette personne. Les images d’inscription ou de sonde ne sont pas stockées par l’API Visage, et les images d’origine ne peuvent pas être reconstruites en fonction d’un modèle. La qualité du modèle est un déterminant clé de la précision dans vos résultats.
inscription Processus d’inscription d’images d’individus pour la création de modèles afin qu’elles puissent être reconnues. Lorsqu’une personne est inscrite à un système de vérification utilisé pour l’authentification, son modèle est également associé à un identificateur principal utilisé pour déterminer quel modèle comparer au modèle de sonde. Des images et des images de haute qualité qui représentent des variations naturelles dans la façon dont une personne recherche (par exemple, porter des lunettes et non des lunettes) génère des modèles d’inscription de haute qualité.
recherche approfondie Possibilité de récupérer uniquement des fichiers vidéo et audio pertinents à partir d’une bibliothèque vidéo en recherchant des termes spécifiques dans les insights extraits.

Afficher les informations

Pour afficher les instances de détection des visages sur le site web Azure AI Video Indexer :

  1. Lorsque vous chargez le fichier multimédia, dans la boîte de dialogue Charger et index , sélectionnez Paramètres avancés.
  2. Dans le menu de gauche, sélectionnez Personnes modèles. Sélectionnez un modèle à appliquer au fichier multimédia.
  3. Une fois le fichier chargé et indexé, accédez à Recommandations et faites défiler jusqu’à Personnes.

Pour afficher les insights de détection des visages dans un fichier JSON :

  1. Sur le site web Azure AI Video Indexer, ouvrez la vidéo chargée.

  2. Sélectionnez Télécharger> Recommandations (JSON).

  3. Sous insights, copiez l’élément et collez-le faces dans votre visionneuse JSON.

    "faces": [
    {
    "id": 1785,
    "name": "Emily Tran",
    "confidence": 0.7855,
    "description": null,
    "thumbnailId": "fd2720f7-b029-4e01-af44-3baf4720c531",
    "knownPersonId": "92b25b4c-944f-4063-8ad4-f73492e42e6f",
    "title": null,
    "imageUrl": null,
    "thumbnails": [
        {
        "id": "4d182b8c-2adf-48a2-a352-785e9fcd1fcf",
        "fileName": "FaceInstanceThumbnail_4d182b8c-2adf-48a2-a352-785e9fcd1fcf.jpg",
        "instances": [
            {
            "adjustedStart": "0:00:00",
            "adjustedEnd": "0:00:00.033",
            "start": "0:00:00",
            "end": "0:00:00.033"
            }
        ]
        },
        {
        "id": "feff177b-dabf-4f03-acaf-3e5052c8be57",
        "fileName": "FaceInstanceThumbnail_feff177b-dabf-4f03-acaf-3e5052c8be57.jpg",
        "instances": [
            {
            "adjustedStart": "0:00:05",
            "adjustedEnd": "0:00:05.033",
            "start": "0:00:05",
            "end": "0:00:05.033"
            }
        ]
        },
    ]
    }
]

Pour télécharger le fichier JSON via l’API, accédez au portail des développeurs Azure AI Video Indexer.

Important

Lorsque vous passez en revue les détections de visages dans l’interface utilisateur, il se peut que vous ne voyiez pas tous les visages qui apparaissent dans la vidéo. Nous exposons uniquement les groupes de visages qui ont une confiance de plus de 0,5, et le visage doit apparaître pendant un minimum de 4 secondes ou 10 pour cent de la valeur de video_duration. Uniquement lorsque ces conditions sont remplies, nous affichons le visage dans l’interface utilisateur et dans le fichier Recommandations.json. Vous pouvez toujours récupérer toutes les instances de visage à partir du fichier d’artefact de visage à l’aide de l’API : https://api.videoindexer.ai/{location}/Accounts/{accountId}/Videos/{videoId}/ArtifactUrl[?Faces][&accessToken].

Composants de détection des visages

Le tableau suivant décrit comment les images d’un fichier multimédia sont traitées pendant la procédure de détection des visages :

Composant Définition
fichier source L’utilisateur charge le fichier source pour l’indexation.
détection et agrégation Le détecteur de visages identifie les visages dans chaque cadre. Les visages sont ensuite agrégés et regroupés.
de reconnaissance Le modèle célébrités traite les groupes agrégés pour reconnaître les célébrités. Si vous avez créé votre propre modèle de personnes, il traite également les groupes pour reconnaître d’autres personnes. Si les personnes ne sont pas reconnues, elles sont étiquetées Unknown1, Unknown2, et ainsi de suite.
valeur de confiance Le cas échéant pour les visages connus ou pour les visages identifiés dans la liste personnalisable, le niveau de confiance estimé de chaque étiquette est calculé sous la forme d’une plage comprise entre 0 et 1. Le score de confiance représente la certitude dans la précision du résultat. Par exemple, une certitude de 82 % est représentée sous la forme d’un score de 0,82.

Exemples de cas d’utilisation

La liste suivante décrit des exemples de cas d’usage courants pour la détection des visages :

  • Résumez où un acteur apparaît dans un film ou réutilisez des images en recherchant des visages spécifiques dans des archives organisationnelles pour obtenir des informations sur une célébrité spécifique.
  • Améliorez l’efficacité lorsque vous créez des récits de fonctionnalités à une agence de presse ou à une agence sportive. Les exemples incluent la recherche approfondie d’une célébrité ou d’un joueur de football dans les archives organisationnelles.
  • Utilisez des visages qui apparaissent dans une vidéo pour créer des promotions, des bandes-annonces ou des mises en surbrillance. Video Indexer peut vous aider en ajoutant des images clés, des marqueurs de scène, des horodatages et l’étiquetage afin que les éditeurs de contenu investissent moins de temps dans l’examen de nombreux fichiers.

Considérations relatives au choix d’un cas d’usage

La détection des visages est un outil précieux pour de nombreuses industries lorsqu’elle est utilisée de manière responsable et soigneuse. Pour respecter la confidentialité et la sécurité des autres, et pour respecter les réglementations locales et globales, nous vous recommandons de suivre ces instructions d’utilisation :

  • Examinez soigneusement la précision des résultats. Pour promouvoir une détection plus précise, case activée la qualité de la vidéo. La vidéo de faible qualité peut affecter les insights présentés.
  • Examinez attentivement les résultats si vous utilisez la détection des visages pour l’application de la loi. Personnes peut ne pas être détecté s’ils sont petits, assis, accroupis ou obstrués par des objets ou d’autres personnes. Pour garantir des décisions équitables et de haute qualité, combinez l’automatisation basée sur la détection des visages avec la supervision humaine.
  • N’utilisez pas la détection des visages pour les décisions susceptibles d’avoir des répercussions graves et négatives. Les décisions basées sur une sortie incorrecte peuvent avoir des répercussions graves et négatives. Il est conseillé d’inclure l’examen humain des décisions susceptibles d’avoir des répercussions graves sur les individus.
  • Respectez toujours le droit d’une personne à la vie privée, et ingérer des vidéos uniquement à des fins légitimes et justifiables.
  • Ne divulguez pas de contenu inapproprié concernant les jeunes enfants, les membres de la famille de célébrités ou d’autres contenus susceptibles de nuire à la liberté personnelle d’un individu ou de poser une menace.
  • S’engager à respecter et à promouvoir les droits de l’homme dans la conception et le déploiement de vos médias analysés.
  • Si vous utilisez des documents tiers, tenez compte des droits d’auteur existants ou des autorisations requises avant de distribuer du contenu dérivé d’eux. 
  • Demandez toujours des conseils juridiques si vous utilisez du contenu à partir d’une source inconnue. 
  • Obtenez toujours des conseils juridiques et professionnels appropriés pour vous assurer que vos vidéos téléchargées sont sécurisées et qu’elles disposent de contrôles adéquats pour préserver l’intégrité du contenu et empêcher l’accès non autorisé.
  • Fournissez un canal de commentaires qui permet aux utilisateurs et aux personnes de signaler des problèmes qu’ils peuvent rencontrer avec le service.
  • N’oubliez pas les lois ou réglementations applicables qui existent dans votre domaine sur le traitement, l’analyse et le partage de médias qui proposent des personnes. 
  • Gardez un humain dans la boucle. N’utilisez aucune solution comme remplacement de la surveillance humaine et de la prise de décision.
  • Examinez et examinez entièrement le potentiel de n’importe quel modèle IA que vous utilisez pour comprendre ses fonctionnalités et ses limitations. 

Contenu connexe

En savoir plus sur l’IA responsable :

Insights d’Azure AI Video Indexer :