Personnes observées suivis et visages mis en correspondance

  • Article

Important

En raison de l’annonce de mise hors service d’Azure Media Services, Azure AI Video Indexer annonce les ajustements des fonctionnalités d’Azure AI Video Indexer. Consultez les modifications relatives à la mise hors service Azure Media Service (AMS) pour comprendre ce que cela signifie pour votre compte Azure AI Video Indexer. Consultez le guide de préparation de la mise hors service AMS : Mise à jour et migration vi.

Important

L’accès aux fonctionnalités d’identification faciale, de personnalisation et de reconnaissance de la notoriété est limité en fonction des critères d’éligibilité et d’utilisation afin de prendre en charge nos principes d’IA responsable. Les fonctionnalités d’identification faciale, de personnalisation et de reconnaissance de la notoriété ne sont disponibles que pour les clients et partenaires managés par Microsoft. Utilisez le Formulaire d’admission de la reconnaissance faciale pour demander l’accès.

Le suivi des personnes observées et les visages mis en correspondance sont les fonctionnalités IA d’Azure AI Video Indexer qui détectent et correspondent automatiquement aux personnes dans des fichiers multimédias. Les personnes observées qui suivent et correspondent aux visages peuvent être définies pour afficher des insights sur les personnes, leurs vêtements et la période exacte de leur apparence.

Les insights résultants sont affichés dans une liste catégorisée sous l’onglet Recommandations, l’onglet inclut une miniature de chaque personne et de son ID. Le fait de cliquer sur la miniature d’une personne affiche la personne correspondante (visage correspondant dans l’Personnes insight). Recommandations sont également générés dans une liste classée dans un fichier JSON qui inclut l’ID miniature de la personne, le pourcentage de temps qui apparaît dans le fichier, le lien Wiki (s’il s’agit d’une célébrité) et le niveau de confiance.

Prérequis

Vue d’ensemble de la note de transparence

Principes généraux

Cet article traite des personnes observées qui suivent et correspondent des visages et des éléments clés à prendre en compte pour utiliser cette technologie de manière responsable. Il existe de nombreuses choses à prendre en compte lors du choix de l’utilisation et de l’implémentation d’une fonctionnalité optimisée par l’IA :

  • Cette fonctionnalité s’exécutera-t-elle correctement dans mon scénario ? Avant de déployer des personnes observées qui suivent et correspondent des visages dans votre scénario, testez son fonctionnement à l’aide de données réelles et assurez-vous qu’elle peut fournir la précision dont vous avez besoin.
  • Sommes-nous équipés pour identifier les erreurs et y répondre ? Les produits et fonctionnalités optimisés par l’IA ne seront pas précis à 100 %, donc réfléchissez à la façon dont vous identifierez et répondez aux erreurs qui peuvent se produire.

Afficher l’insight

Lorsque vous chargez le fichier multimédia, accédez à Vidéo + Indexation audio, puis sélectionnez Avancé.

Pour afficher les personnes observées suivis et les aperçus des visages mis en correspondance sur le site web, procédez comme suit :

  1. Une fois le fichier indexé, accédez à Recommandations, puis faites défiler jusqu’aux personnes observées.

Pour afficher les insights dans un fichier JSON, procédez comme suit :

  1. Cliquez sur Télécharger, puis Recommandations (JSON).

  2. Copiez le texte et collez-le observedPeople dans votre visionneuse JSON.

    La section suivante montre les personnes observées et les vêtements. Pour la personne ayant l’ID 4 ("id": 4) il existe également un visage correspondant.

     "observedPeople": [
   {
     "id": 1,
     "thumbnailId": "4addcebf-6c51-42cd-b8e0-aedefc9d8f6b",
     "clothing": [
       {
         "id": 1,
         "type": "sleeve",
         "properties": {
           "length": "long"
         }
       },
       {
         "id": 2,
         "type": "pants",
         "properties": {
           "length": "long"
         }
       }
     ],
     "instances": [
       {
         "adjustedStart": "0:00:00.0667333",
         "adjustedEnd": "0:00:12.012",
         "start": "0:00:00.0667333",
         "end": "0:00:12.012"
       }
     ]
   },
   {
     "id": 2,
     "thumbnailId": "858903a7-254a-438e-92fd-69f8bdb2ac88",
     "clothing": [
       {
           "id": 1,
           "type": "sleeve",
           "properties": {
               "length": "short"
           }
       }
     ],
     "instances": [
       {
           "adjustedStart": "0:00:23.2565666",
           "adjustedEnd": "0:00:25.4921333",
           "start": "0:00:23.2565666",
           "end": "0:00:25.4921333"
       },
       {
           "adjustedStart": "0:00:25.8925333",
           "adjustedEnd": "0:00:25.9926333",
           "start": "0:00:25.8925333",
           "end": "0:00:25.9926333"
       },
       {
           "adjustedStart": "0:00:26.3930333",
           "adjustedEnd": "0:00:28.5618666",
           "start": "0:00:26.3930333",
           "end": "0:00:28.5618666"
       }
     ]
   },
   {
     "id": 3,
     "thumbnailId": "1406252d-e7f5-43dc-852d-853f652b39b6",
     "clothing": [
       {
         "id": 1,
         "type": "sleeve",
         "properties": {
             "length": "short"
         }
       },
       {
         "id": 2,
         "type": "pants",
         "properties": {
             "length": "long"
         }
       },
       {
         "id": 3,
         "type": "skirtAndDress"
       }
     ],
     "instances": [
       {
         "adjustedStart": "0:00:31.9652666",
         "adjustedEnd": "0:00:34.4010333",
         "start": "0:00:31.9652666",
         "end": "0:00:34.4010333"
       }
     ]
   },
   {
     "id": 4,
     "thumbnailId": "d09ad62e-e0a4-42e5-8ca9-9a640c686596",
     "clothing": [
       {
         "id": 1,
         "type": "sleeve",
         "properties": {
             "length": "short"
         }
       },
       {
         "id": 2,
         "type": "pants",
         "properties": {
             "length": "short"
         }
       }
     ],
     "matchingFace": {
       "id": 1310,
       "confidence": 0.3819
     },
     "instances": [
       {
           "adjustedStart": "0:00:34.8681666",
           "adjustedEnd": "0:00:36.0026333",
           "start": "0:00:34.8681666",
           "end": "0:00:36.0026333"
       },
       {
           "adjustedStart": "0:00:36.6699666",
           "adjustedEnd": "0:00:36.7367",
           "start": "0:00:36.6699666",
           "end": "0:00:36.7367"
       },
       {
           "adjustedStart": "0:00:37.2038333",
           "adjustedEnd": "0:00:39.6729666",
           "start": "0:00:37.2038333",
           "end": "0:00:39.6729666"
       }
     ]
   }
 ]

Pour télécharger le fichier JSON via l’API, utilisez le portail des développeurs Azure AI Video Indexer.

Composants de suivi des personnes observées et de visages mis en correspondance

Pendant la procédure de suivi et de correspondance des personnes observées, les images d’un fichier multimédia sont traitées comme suit :

Composant Définition
Fichier source L’utilisateur charge le fichier source pour l’indexation.
Detection Le fichier multimédia est suivi pour détecter les personnes observées et leurs vêtements. Par exemple, chemise avec manches longues, robes ou pantalons longs. Notez que pour être détecté, le corps supérieur complet de la personne doit apparaître dans le média.
Regroupement local Les visages observés identifiés sont filtrés en groupes locaux. Si une personne est détectée plusieurs fois, des instances de visages observées supplémentaires sont créées pour cette personne.
Correspondance et classification Les instances de personnes observées sont mises en correspondance avec les visages. S’il y a une célébrité connue, la personne observée sera nommée. N’importe quel nombre d’instances de personnes observées peuvent être mises en correspondance avec le même visage.
Valeur de confiance Le niveau de confiance estimé de chaque personne observée est calculé sous la forme d’une plage de 0 à 1. Le score de confiance représente la certitude dans la précision du résultat. Par exemple, une certitude de 82 % est représentée sous la forme d’un score de 0,82.

Exemples de cas d’utilisation

  • Suivi du mouvement d’une personne, par exemple, dans l’application de la loi pour plus d’efficacité lors de l’analyse d’un accident ou d’un crime.
  • Amélioration de l’efficacité en recherchant en profondeur les personnes mises en correspondance dans les archives organisationnelles pour obtenir des informations sur des célébrités spécifiques, par exemple lors de la création de promotions et de bandes-annonces.
  • Amélioration de l’efficacité lors de la création d’histoires de caractéristiques, par exemple, à la recherche de personnes portant une chemise rouge dans les archives d’un jeu de football à une agence News ou Sports.

Considérations et limitations lors du choix d’un cas d’usage

Voici quelques considérations à prendre en compte lors de l’utilisation de personnes observées et de visages mis en correspondance.

Limitations du suivi des personnes observées

Il est important de noter les limitations du suivi des personnes observées, d’éviter ou d’atténuer les effets des faux négatifs (détections manquées) et des détails limités.

  • Personnes ne sont généralement pas détectés s’ils apparaissent petits (la hauteur minimale de la personne est de 100 pixels).
  • La taille maximale du frame est FHD
  • La mauvaise qualité d’une vidéo (par exemple, en cas de faible luminosité) peut avoir un impact sur les résultats de la détection.
  • La fréquence d’images recommandée est de 30 i/s, au minimum.
  • Dans une entrée vidéo, une même image ne doit pas contenir plus de 10 personnes. La fonctionnalité peut gérer la présence d’un plus grand nombre de personnes dans une même image, mais la détection ne peut pas extraire plus de 10 personnes d’une image avec le niveau de confiance de détection le plus élevé.
  • Personnes avec des vêtements similaires : (par exemple, les gens portent des uniformes, des joueurs dans des jeux sportifs) peuvent être détectés comme la même personne avec le même numéro d’identification.
  • Obstruction – des erreurs peuvent se produire en cas d’obstructions (scène/auto-obstruction ou obstructions causées par d’autres personnes).
  • Pose : les pistes peuvent être scindées en cas de poses différentes (arrière/avant)

Autres considérations

Lorsqu’il est utilisé de manière responsable et soigneuse, Azure AI Video Indexer est un outil précieux pour de nombreuses industries. Pour respecter la confidentialité et la sécurité des autres, et pour respecter les réglementations locales et globales, nous vous recommandons les éléments suivants :

  • Respectez toujours le droit d’une personne à la vie privée, et seulement ingérer des vidéos à des fins légitimes et justifiables.
  • Ne pas divulguer de médias inappropriés montrant des jeunes enfants ou des membres de la famille de célébrités ou d’autres contenus susceptibles de nuire ou de poser une menace pour la liberté personnelle d’un individu.
  • S’engager à respecter et à promouvoir les droits de l’homme dans la conception et le déploiement de vos médias analysés.
  • Lorsque vous utilisez des documents tiers, tenez compte des droits d’auteur ou autorisations existants requis avant de distribuer du contenu dérivé de ces documents.
  • Toujours demander des conseils juridiques lors de l’utilisation de médias provenant de sources inconnues.
  • Obtenez toujours des conseils juridiques et professionnels appropriés pour vous assurer que vos vidéos téléchargées sont sécurisées et disposent de contrôles adéquats pour préserver l’intégrité de votre contenu et empêcher l’accès non autorisé.
  • Fournissez un canal de commentaires qui permet aux utilisateurs et aux individus de signaler des problèmes avec le service.
  • Tenez compte des lois ou réglementations applicables qui existent dans votre domaine en ce qui concerne le traitement, l’analyse et le partage de médias contenant des personnes.
  • Gardez un humain dans la boucle. N’utilisez aucune solution pour remplacer la surveillance humaine et la prise de décision.
  • Examinez et examinez entièrement le potentiel de n’importe quel modèle IA que vous utilisez pour comprendre ses fonctionnalités et ses limitations.