Observerade personer som spårar och matchar ansikten

  • Artikel

Viktigt!

På grund av azure Media Services-tillbakadragandemeddelandet meddelar Azure AI Video Indexer att funktionsjusteringar för Azure AI Video Indexer har justerats. Mer information om vad detta innebär för ditt Azure AI Video Indexer-konto finns i Ändringar som rör tillbakadragning av Azure Media Service (AMS). Se guiden Förbereda för AMS-pensionering: VI-uppdatering och migrering.

Viktigt!

Åtkomst till funktioner för ansiktsidentifiering, anpassning och kändisigenkänning är begränsad baserat på berättigande- och användningskriterier för att stödja våra principer för ansvarsfull AI. Funktioner för ansiktsidentifiering, anpassning och kändisigenkänning är endast tillgängliga för Microsofts hanterade kunder och partner. Använd formuläret ansiktsigenkänning för att ansöka om åtkomst.

Observerade personer som spårar och matchar ansikten är Azure AI Video Indexer AI-funktioner som automatiskt identifierar och matchar personer i mediefiler. Observerade personer som spårar och matchar ansikten kan ställas in för att visa insikter om människor, deras kläder och den exakta tidsramen för deras utseende.

De resulterande insikterna visas i en kategoriserad lista på fliken Insikter, fliken innehåller en miniatyrbild av varje person och deras ID. När du klickar på miniatyrbilden för en person visas den matchade personen (motsvarande ansikte i Personer insikt). Insikter genereras också i en kategoriserad lista i en JSON-fil som innehåller personens miniatyr-ID, procentandelen tid som visas i filen, Wiki-länk (om de är en kändis) och förtroendenivå.

Förutsättningar

Översikt över transparensanteckning

Allmänna principer

I den här artikeln beskrivs observerade personer som spårar och matchar ansikten och de viktigaste övervägandena för att använda den här tekniken på ett ansvarsfullt sätt. Det finns många saker du måste tänka på när du bestämmer hur du ska använda och implementera en AI-baserad funktion:

  • Kommer den här funktionen att fungera bra i mitt scenario? Innan du distribuerar observerade personer som spårar och matchar ansikten i ditt scenario ska du testa hur de presterar med hjälp av verkliga data och se till att de kan leverera den noggrannhet du behöver.
  • Kan vi identifiera och hantera fel? AI-baserade produkter och funktioner är inte 100 % korrekta, så tänk på hur du identifierar och svarar på eventuella fel som kan uppstå.

Visa insikten

När du laddar upp mediefilen går du till Video + Ljudindexering och väljer Avancerat.

Om du vill visa observerade personer som spårar och matchar ansikten på webbplatsen gör du följande:

  1. När filen har indexerats går du till Insights och bläddrar sedan till observerade personer.

Om du vill se insikterna i en JSON-fil gör du följande:

  1. Klicka på Ladda ned och sedan på Insights (JSON).

  2. observedPeople Kopiera texten och klistra in den i JSON-visningsprogrammet.

    I följande avsnitt visas observerade personer och kläder. För personen med ID 4 ("id": 4) finns det också ett matchande ansikte.

     "observedPeople": [
   {
     "id": 1,
     "thumbnailId": "4addcebf-6c51-42cd-b8e0-aedefc9d8f6b",
     "clothing": [
       {
         "id": 1,
         "type": "sleeve",
         "properties": {
           "length": "long"
         }
       },
       {
         "id": 2,
         "type": "pants",
         "properties": {
           "length": "long"
         }
       }
     ],
     "instances": [
       {
         "adjustedStart": "0:00:00.0667333",
         "adjustedEnd": "0:00:12.012",
         "start": "0:00:00.0667333",
         "end": "0:00:12.012"
       }
     ]
   },
   {
     "id": 2,
     "thumbnailId": "858903a7-254a-438e-92fd-69f8bdb2ac88",
     "clothing": [
       {
           "id": 1,
           "type": "sleeve",
           "properties": {
               "length": "short"
           }
       }
     ],
     "instances": [
       {
           "adjustedStart": "0:00:23.2565666",
           "adjustedEnd": "0:00:25.4921333",
           "start": "0:00:23.2565666",
           "end": "0:00:25.4921333"
       },
       {
           "adjustedStart": "0:00:25.8925333",
           "adjustedEnd": "0:00:25.9926333",
           "start": "0:00:25.8925333",
           "end": "0:00:25.9926333"
       },
       {
           "adjustedStart": "0:00:26.3930333",
           "adjustedEnd": "0:00:28.5618666",
           "start": "0:00:26.3930333",
           "end": "0:00:28.5618666"
       }
     ]
   },
   {
     "id": 3,
     "thumbnailId": "1406252d-e7f5-43dc-852d-853f652b39b6",
     "clothing": [
       {
         "id": 1,
         "type": "sleeve",
         "properties": {
             "length": "short"
         }
       },
       {
         "id": 2,
         "type": "pants",
         "properties": {
             "length": "long"
         }
       },
       {
         "id": 3,
         "type": "skirtAndDress"
       }
     ],
     "instances": [
       {
         "adjustedStart": "0:00:31.9652666",
         "adjustedEnd": "0:00:34.4010333",
         "start": "0:00:31.9652666",
         "end": "0:00:34.4010333"
       }
     ]
   },
   {
     "id": 4,
     "thumbnailId": "d09ad62e-e0a4-42e5-8ca9-9a640c686596",
     "clothing": [
       {
         "id": 1,
         "type": "sleeve",
         "properties": {
             "length": "short"
         }
       },
       {
         "id": 2,
         "type": "pants",
         "properties": {
             "length": "short"
         }
       }
     ],
     "matchingFace": {
       "id": 1310,
       "confidence": 0.3819
     },
     "instances": [
       {
           "adjustedStart": "0:00:34.8681666",
           "adjustedEnd": "0:00:36.0026333",
           "start": "0:00:34.8681666",
           "end": "0:00:36.0026333"
       },
       {
           "adjustedStart": "0:00:36.6699666",
           "adjustedEnd": "0:00:36.7367",
           "start": "0:00:36.6699666",
           "end": "0:00:36.7367"
       },
       {
           "adjustedStart": "0:00:37.2038333",
           "adjustedEnd": "0:00:39.6729666",
           "start": "0:00:37.2038333",
           "end": "0:00:39.6729666"
       }
     ]
   }
 ]

Om du vill ladda ned JSON-filen via API:et använder du Utvecklarportalen för Azure AI Video Indexer.

Observerade personer som spårar och matchar ansiktskomponenter

Under den observerade personspårningen och matchningsproceduren bearbetas bilder i en mediefil enligt följande:

Komponent Definition
Källfil Användaren laddar upp källfilen för indexering.
Detection Mediefilen spåras för att identifiera observerade personer och deras kläder. Till exempel skjorta med långa ärmar, klänning eller långa byxor. Observera att personens hela överkropp måste visas i mediet för att identifieras.
Lokal gruppering De identifierade observerade ansiktena filtreras i lokala grupper. Om en person identifieras mer än en gång skapas ytterligare observerade ansiktsinstanser för den här personen.
Matchning och klassificering De observerade personinstanserna matchas med ansikten. Om det finns en känd kändis kommer den observerade personen att få sitt namn. Valfritt antal observerade personinstanser kan matchas med samma ansikte.
Konfidensvärde Den uppskattade konfidensnivån för varje observerad person beräknas som ett intervall på 0 till 1. Konfidenspoängen representerar säkerheten i resultatets noggrannhet. Till exempel representeras en säkerhet på 82 % som 0,82 poäng.

Användningsexempel

  • Spåra en persons rörelse, till exempel i brottsbekämpning för mer effektivitet när du analyserar en olycka eller ett brott.
  • Förbättra effektiviteten genom djupsökning efter matchade personer i organisationens arkiv för att få insikter om specifika kändisar, till exempel när du skapar kampanjer och trailers.
  • Förbättrad effektivitet när du skapar funktionsberättelser, till exempel att söka efter personer som bär en röd skjorta i arkiven för en fotbollsmatch på en nyhets- eller sportbyrå.

Överväganden och begränsningar när du väljer ett användningsfall

Nedan följer några saker att tänka på när du använder observerade personer och matchade ansikten.

Begränsningar för spårning av observerade personer

Det är viktigt att notera begränsningarna för spårning av observerade personer, för att undvika eller minimera effekterna av falska negativa identifieringar (missade identifieringar) och begränsad information.

  • Personer identifieras vanligtvis inte om de verkar små (minsta personhöjd är 100 bildpunkter).
  • Maximal ramstorlek är FHD
  • Video av låg kvalitet (till exempel mörka ljusförhållanden) kan påverka identifieringsresultaten.
  • Rekommenderad bildfrekvens på minst 30 FPS.
  • Rekommenderade videoindata bör innehålla upp till 10 personer i en enda ram. Funktionen kan fungera med fler personer i en enda ram, men identifieringsresultatet hämtar upp till 10 personer i en ram med högsta förtroende för identifieringen.
  • Personer med liknande kläder: (till exempel personer bär uniformer, spelare i sportspel) kan upptäckas som samma person med samma ID-nummer.
  • Obstruktion – det kan finnas fel där det finns hinder (scen/själv eller hinder av andra människor).
  • Pose: Spåren kan delas på grund av olika poser (bak/fram)

Övriga beaktanden

När det används ansvarsfullt och noggrant är Azure AI Video Indexer ett värdefullt verktyg för många branscher. För att respektera andras integritet och säkerhet och för att följa lokala och globala regler rekommenderar vi följande:

  • Respektera alltid en individs rätt till integritet och mata bara in videor för lagliga och berättigade ändamål.
  • Avslöja inte avsiktligt olämpliga medier som visar små barn eller familjemedlemmar till kändisar eller annat innehåll som kan vara skadligt eller utgöra ett hot mot en individs personliga frihet.
  • Åta dig att respektera och främja mänskliga rättigheter i utformningen och distributionen av dina analyserade medier.
  • När du använder material från tredje part bör du känna till eventuella befintliga upphovsrätter eller behörigheter som krävs innan du distribuerar innehåll som härletts från dem.
  • Sök alltid juridisk rådgivning när du använder media från okända källor.
  • Få alltid lämplig juridisk och professionell rådgivning för att säkerställa att dina uppladdade videor skyddas och har tillräckliga kontroller för att bevara innehållets integritet och för att förhindra obehörig åtkomst.
  • Ange en feedbackkanal som gör det möjligt för användare och individer att rapportera problem med tjänsten.
  • Var medveten om alla tillämpliga lagar eller förordningar som finns i ditt område när det gäller bearbetning, analys och delning av media som innehåller personer.
  • Håll en människa i slingan. Använd ingen lösning som ersättning för mänsklig tillsyn och beslutsfattande.
  • Granska och granska potentialen för alla AI-modeller som du använder för att förstå dess funktioner och begränsningar.