Beobachtete Personen, die Gesichter nachverfolgen und übereinstimmen

  • Artikel

Wichtig

Aufgrund der Ankündigung zur Einstellung von Azure Media Services kündigt Azure AI Video Indexer Anpassungen an. Siehe Änderungen im Zusammenhang mit der Einstellung von Azure Media Service (AMS), um zu verstehen, was dies für Ihr Azure AI Video Indexer-Konto bedeutet. Weitere Informationen finden Sie im Leitfaden zur Vorbereitung auf die Einstellung von AMS: VI-Update und -Migration.

Wichtig

Der Zugriff auf Funktionen zur Gesichtserkennung, Anpassung und Erkennung von Prominenten ist auf der Grundlage von Berechtigungs- und Nutzungskriterien beschränkt, um unsere Prinzipien der verantwortungsbewussten KI zu unterstützen. Funktionen zur Gesichtserkennung, Anpassung und Erkennung von Prominenten sind nur für von Microsoft verwaltete Kunden und Partner verfügbar. Verwenden Sie das Aufnahmeformular für die Gesichtserkennung, um sich für den Zugriff zu bewerben.

Beobachtete Personen, die Gesichter nachverfolgen und übereinstimmen, sind Azure AI Video Indexer AI-Features, die Personen in Mediendateien automatisch erkennen und abgleichen. Beobachtete Personen, die Gesichter nachverfolgen und aufeinander abgestimmt haben, können so festgelegt werden, dass Einblicke zu Personen, deren Kleidung und der genaue Zeitrahmen ihres Aussehens angezeigt werden.

Die resultierenden Erkenntnisse werden in einer kategorisierten Liste auf der Registerkarte "Insights" angezeigt, die Registerkarte enthält eine Miniaturansicht jeder Person und deren ID. Durch Klicken auf die Miniaturansicht einer Person wird die übereinstimmende Person (das entsprechende Gesicht im Personen Einblick) angezeigt. Einblicke werden auch in einer kategorisierten Liste in einer JSON-Datei generiert, die die Miniaturansichts-ID der Person enthält, der Prozentsatz der Zeit, die in der Datei angezeigt wird, wiki-Link (wenn sie ein Prominenter sind) und Konfidenzniveau.

Voraussetzungen

Übersicht über Transparenzhinweise

Allgemeine Prinzipien

In diesem Artikel werden beobachtete Personen, die Gesichter nachverfolgen und aufeinander abgestimmt haben, sowie die wichtigsten Überlegungen zur verantwortungsbewussten Nutzung dieser Technologie erläutert. Es gibt viele Dinge, die Sie berücksichtigen müssen, wenn Sie entscheiden, wie sie ein KI-gestütztes Feature verwenden und implementieren:

  • Wird dieses Feature in meinem Szenario gut funktionieren? Bevor Sie beobachtete Personen nachverfolgen und Gesichter in Ihrem Szenario abgleichen, testen Sie, wie sie mit realen Daten ausgeführt wird, und stellen Sie sicher, dass sie die benötigte Genauigkeit liefern kann.
  • Sind Sie für die Identifikation und Reaktion auf Fehler gewappnet? KI-gestützte Produkte und Features sind nicht 100 % genau. Überlegen Sie daher, wie Sie Fehler identifizieren und beantworten können, die auftreten können.

Anzeigen der Erkenntnis

Wechseln Sie beim Hochladen der Mediendatei zu Video + Audioindizierung, und wählen Sie "Erweitert" aus.

Gehen Sie wie folgt vor, um beobachtete Personen nachzuverfolgen und abgeglichenen Gesichtern auf der Website anzuzeigen:

  1. Nachdem die Datei indiziert wurde, wechseln Sie zu Insights, und scrollen Sie dann zu beobachteten Personen.

Gehen Sie wie folgt vor, um die Erkenntnisse in einer JSON-Datei anzuzeigen:

  1. Klicken Sie auf "Herunterladen" und dann auf "Insights(JSON)".

  2. Kopieren Sie den observedPeople Text, und fügen Sie ihn in Den JSON-Viewer ein.

    Der folgende Abschnitt zeigt beobachtete Personen und Kleidung. Für die Person mit id 4 ("id": 4) gibt es auch ein passendes Gesicht.

     "observedPeople": [
   {
     "id": 1,
     "thumbnailId": "4addcebf-6c51-42cd-b8e0-aedefc9d8f6b",
     "clothing": [
       {
         "id": 1,
         "type": "sleeve",
         "properties": {
           "length": "long"
         }
       },
       {
         "id": 2,
         "type": "pants",
         "properties": {
           "length": "long"
         }
       }
     ],
     "instances": [
       {
         "adjustedStart": "0:00:00.0667333",
         "adjustedEnd": "0:00:12.012",
         "start": "0:00:00.0667333",
         "end": "0:00:12.012"
       }
     ]
   },
   {
     "id": 2,
     "thumbnailId": "858903a7-254a-438e-92fd-69f8bdb2ac88",
     "clothing": [
       {
           "id": 1,
           "type": "sleeve",
           "properties": {
               "length": "short"
           }
       }
     ],
     "instances": [
       {
           "adjustedStart": "0:00:23.2565666",
           "adjustedEnd": "0:00:25.4921333",
           "start": "0:00:23.2565666",
           "end": "0:00:25.4921333"
       },
       {
           "adjustedStart": "0:00:25.8925333",
           "adjustedEnd": "0:00:25.9926333",
           "start": "0:00:25.8925333",
           "end": "0:00:25.9926333"
       },
       {
           "adjustedStart": "0:00:26.3930333",
           "adjustedEnd": "0:00:28.5618666",
           "start": "0:00:26.3930333",
           "end": "0:00:28.5618666"
       }
     ]
   },
   {
     "id": 3,
     "thumbnailId": "1406252d-e7f5-43dc-852d-853f652b39b6",
     "clothing": [
       {
         "id": 1,
         "type": "sleeve",
         "properties": {
             "length": "short"
         }
       },
       {
         "id": 2,
         "type": "pants",
         "properties": {
             "length": "long"
         }
       },
       {
         "id": 3,
         "type": "skirtAndDress"
       }
     ],
     "instances": [
       {
         "adjustedStart": "0:00:31.9652666",
         "adjustedEnd": "0:00:34.4010333",
         "start": "0:00:31.9652666",
         "end": "0:00:34.4010333"
       }
     ]
   },
   {
     "id": 4,
     "thumbnailId": "d09ad62e-e0a4-42e5-8ca9-9a640c686596",
     "clothing": [
       {
         "id": 1,
         "type": "sleeve",
         "properties": {
             "length": "short"
         }
       },
       {
         "id": 2,
         "type": "pants",
         "properties": {
             "length": "short"
         }
       }
     ],
     "matchingFace": {
       "id": 1310,
       "confidence": 0.3819
     },
     "instances": [
       {
           "adjustedStart": "0:00:34.8681666",
           "adjustedEnd": "0:00:36.0026333",
           "start": "0:00:34.8681666",
           "end": "0:00:36.0026333"
       },
       {
           "adjustedStart": "0:00:36.6699666",
           "adjustedEnd": "0:00:36.7367",
           "start": "0:00:36.6699666",
           "end": "0:00:36.7367"
       },
       {
           "adjustedStart": "0:00:37.2038333",
           "adjustedEnd": "0:00:39.6729666",
           "start": "0:00:37.2038333",
           "end": "0:00:39.6729666"
       }
     ]
   }
 ]

Verwenden Sie das Azure AI Video Indexer-Entwicklerportal, um die JSON-Datei über die API herunterzuladen.

Beobachtete Personen, die Gesichter nachverfolgen und übereinstimmen

Während der beobachteten Personen, die Gesichter nachverfolgen und übereinstimmen, werden Bilder in einer Mediendatei wie folgt verarbeitet:

Komponente Definition
Quelldatei Der Benutzer lädt die Quelldatei für die Indizierung hoch.
Erkennung Die Mediendatei wird nachverfolgt, um beobachtete Personen und ihre Kleidung zu erkennen. Zum Beispiel Hemd mit langen Ärmeln, Kleid oder langer Hose. Beachten Sie, dass der vollständige Oberkörper der Person in den Medien angezeigt werden muss, um erkannt zu werden.
Lokale Gruppierung Die identifizierten beobachteten Gesichter werden in lokale Gruppen gefiltert. Wenn eine Person mehrmals erkannt wird, werden für diese Person zusätzliche beobachtete Gesichterinstanzen erstellt.
Abgleich und Klassifizierung Die beobachteten Personeninstanzen werden mit Gesichtern abgeglichen. Wenn es eine bekannte Prominente gibt, erhält die beobachtete Person ihren Namen. Eine beliebige Anzahl beobachteter Personeninstanzen kann mit demselben Gesicht abgeglichen werden.
Konfidenzwert Das geschätzte Konfidenzniveau jeder beobachteten Person wird als Bereich von 0 bis 1 berechnet. Die Konfidenzbewertung stellt die Sicherheit in der Genauigkeit des Ergebnisses dar. Beispielsweise wird eine Sicherheit von 82 % als 0,82 Punkt dargestellt.

Beispiele für Anwendungsfälle

  • Verfolgen der Bewegung einer Person, z. B. bei der Strafverfolgung, um mehr Effizienz bei der Analyse eines Unfalls oder Verbrechens zu erzielen.
  • Verbesserung der Effizienz durch die tiefe Suche nach passenden Personen in Organisationsarchiven für Einblicke in bestimmte Prominente, z. B. beim Erstellen von Promos und Trailern.
  • Verbesserte Effizienz beim Erstellen von Featuregeschichten, z. B. bei der Suche nach Menschen, die ein rotes Hemd in den Archiven eines Fußballspiels in einer Nachrichten- oder Sportagentur tragen.

Überlegungen und Einschränkungen bei der Auswahl eines Anwendungsfalles

Im Folgenden finden Sie einige Überlegungen, die Sie bei der Verwendung beobachteter Personen und abgeglichener Gesichter berücksichtigen sollten.

Einschränkungen der beobachteten Personenverfolgung

Es ist wichtig, die Einschränkungen der beobachteten Personenverfolgung zu beachten, die Auswirkungen falscher Negativer (verpasste Erkennungen) und eingeschränkter Details zu vermeiden oder zu mindern.

  • Personen werden in der Regel nicht erkannt, wenn sie klein erscheinen (Mindesthöhe beträgt 100 Pixel).
  • Maximale Framegröße ist FHD
  • Videos mit niedriger Qualität (z. B. dunkle Beleuchtungsbedingungen) können sich auf die Erkennungsergebnisse auswirken.
  • Die empfohlene Bildrate beträgt mindestens 30 FPS.
  • Die empfohlene Videoeingabe sollte bis zu 10 Personen in einem Einzel-Frame enthalten. Die Funktion kann mit mehr Personen in einem Einzel-Frame funktionieren, aber das Erkennungsergebnis ruft bis zu 10 Personen in einem Frame mit der höchsten Erkennungssicherheit ab.
  • Personen mit ähnlicher Kleidung: (z. B. Menschen tragen Uniformen, Spieler in Sportspielen) könnten als dieselbe Person mit derselben ID-Nummer erkannt werden.
  • Hindernis: Bei Hindernissen (entweder durch die Umgebung/die Person selbst oder durch andere Personen) kann es zu Fehlern kommen.
  • Pose: Die Nachverfolgungen können aufgrund verschiedener Posen (hinten/vorne) aufgeteilt werden

Andere Aspekte

Bei verantwortungsvoller und sorgfältiger Verwendung ist Azure AI Video Indexer ein wertvolles Tool für viele Branchen. Um den Datenschutz und die Sicherheit anderer zu respektieren und lokale und globale Vorschriften einzuhalten, empfehlen wir Folgendes:

  • Respektieren Sie immer das Recht einer Person auf Privatsphäre und nehmen Sie nur Videos zu rechtmäßigen und gerechtfertigten Zwecken ein.
  • Geben Sie nicht absichtlich unangemessene Medien offen, die junge Kinder oder Familienmitglieder von Prominenten oder anderen Inhalten zeigen, die die persönliche Freiheit einer Person beeinträchtigen oder gefährden können.
  • Verpflichten Sie sich, die Menschenrechte bei der Gestaltung und Bereitstellung Ihrer analysierten Medien zu respektieren und zu fördern.
  • Beachten Sie bei der Verwendung von Drittanbietermaterialien alle vorhandenen Urheberrechte oder Berechtigungen, die erforderlich sind, bevor Sie von ihnen abgeleitete Inhalte verteilen.
  • Suchen Sie bei der Verwendung von Medien aus unbekannten Quellen immer nach Rechtsberatung.
  • Erhalten Sie stets angemessene rechtliche und professionelle Beratung, um sicherzustellen, dass Ihre hochgeladenen Videos gesichert sind und über ausreichende Kontrollen verfügen, um die Integrität Ihrer Inhalte zu wahren und unbefugten Zugriff zu verhindern.
  • Geben Sie einen Feedbackkanal an, über den Benutzer und Einzelpersonen Probleme mit dem Dienst melden können.
  • Beachten Sie alle anwendbaren Gesetze oder Vorschriften, die in Ihrem Bereich zur Verarbeitung, Analyse und Freigabe von Medien mit Personen vorhanden sind.
  • Halten Sie einen Menschen in der Schleife. Verwenden Sie keine Lösung als Ersatz für menschliche Aufsicht und Entscheidungsfindung.
  • Untersuchen und überprüfen Sie das Potenzial jedes KI-Modells, das Sie verwenden, um seine Funktionen und Einschränkungen zu verstehen.