Abrufen beobachteter Personenverfolgung und übereinstimmener Gesichterinblicke

Warnung

Im laufe des vergangenen Jahres kündigte Azure AI Video Indexer (VI) die Entfernung ihrer Abhängigkeit von Azure Media Services (AMS) aufgrund seiner Einstellung an. Featuresanpassungen und Änderungen wurden angekündigt, und es wurde ein Migrationshandbuch bereitgestellt.

Der Stichtag für die Migration war der 30. Juni 2024. VI hat den Update-/Migrationszeitraum verlängert, sodass Sie Ihr VI-Konto aktualisieren und sich für die AMS VI-Assetmigration bis zum 15. Juli 2024 anmelden können. Um die AMS VI-Bestandsmigration zu verwenden, müssen Sie Ihr AMS-Konto auch bis Juli verlängern. Navigieren Sie im Azure-Portal zu Ihrem AMS-Konto, und wählen Sie "Hier klicken" aus, um das Konto zu erweitern.

Wenn Sie Ihr VI-Konto nicht aktualisiert haben, können Sie jedoch nach dem 30. Juni keine neuen Videos indizieren, noch können Sie keine Videos wiedergeben, die nicht migriert wurden. Wenn Sie Ihr Konto nach dem 30. Juni aktualisieren, können Sie die Indizierung sofort fortsetzen, aber Sie können keine Videos wiedergeben, die vor der Kontoaktualisierung indiziert wurden, bis sie über die AMS VI-Migration migriert werden.

Beobachtete Personen, die Gesichter nachverfolgen und übereinstimmen

Wichtig

Der Zugriff auf Funktionen zur Gesichtserkennung, Anpassung und Erkennung von Prominenten ist auf der Grundlage von Berechtigungs- und Nutzungskriterien beschränkt, um unsere Prinzipien der verantwortungsbewussten KI zu unterstützen. Funktionen zur Gesichtserkennung, Anpassung und Erkennung von Prominenten sind nur für von Microsoft verwaltete Kunden und Partner verfügbar. Verwenden Sie das Aufnahmeformular für die Gesichtserkennung, um sich für den Zugriff zu bewerben.

Beobachtete Personen, die Gesichter nachverfolgen und übereinstimmen, erkennen und stimmen personen in Mediendateien automatisch ab. Beobachtete Personen, die Gesichter nachverfolgen und aufeinander abgestimmt haben, können so festgelegt werden, dass Einblicke zu Personen, deren Kleidung und der genaue Zeitrahmen ihres Aussehens angezeigt werden.

Im Webportal werden die resultierenden Erkenntnisse in einer kategorisierten Liste auf der Registerkarte "Insights" angezeigt, die Registerkarte enthält eine Miniaturansicht jeder Person und ihrer ID. Wenn Sie auf die Miniaturansicht einer Person klicken, wird die übereinstimmende Person angezeigt (das entsprechende Gesicht im Einblick "Personen"). Einblicke werden auch in einer kategorisierten Liste in einer JSON-Datei generiert, die die Miniaturansichts-ID der Person enthält, der Prozentsatz der Zeit, die in der Datei angezeigt wird, wiki-Link (wenn sie ein Prominenter sind) und Konfidenzniveau.

Beobachtete Personenverfolgung und abgeglichene Gesichter Anwendungsfälle

• Verfolgen der Bewegung einer Person, z. B. bei der Strafverfolgung, um mehr Effizienz bei der Analyse eines Unfalls oder Verbrechens zu erzielen.
• Verbesserung der Effizienz durch die tiefe Suche nach passenden Personen in Organisationsarchiven für Einblicke in bestimmte Prominente, z. B. beim Erstellen von Promos und Trailern.
• Verbesserte Effizienz beim Erstellen von Featuregeschichten, z. B. bei der Suche nach Menschen, die ein rotes Hemd in den Archiven eines Fußballspiels in einer Nachrichten- oder Sportagentur tragen.

Anzeigen des Einblicks-JSON mit dem Webportal

Nachdem Sie ein Video hochgeladen und indiziert haben, stehen Einblicke im JSON-Format zum Download über das Webportal zur Verfügung.

1. Wählen Sie die Registerkarte "Bibliothek" aus.
2. Wählen Sie Medien aus, mit dem Sie arbeiten möchten.
3. Wählen Sie "Herunterladen " und " Insights (JSON)" aus. Die JSON-Datei wird auf einer neuen Browserregisterkarte geöffnet.
4. Suchen Sie nach dem in der Beispielantwort beschriebenen Schlüsselpaar.

Verwenden der API

1. Verwenden Sie die Anforderung "Videoindex abrufen". Es wird empfohlen, die Übergabe zu übergeben &includeSummarizedInsights=false.
2. Suchen Sie nach dem in der Beispielantwort beschriebenen Schlüsselpaar.

Beispielantwort

    "observedPeople": [
      {
        "id": 1,
        "thumbnailId": "4addcebf-6c51-42cd-b8e0-aedefc9d8f6b",
        "clothing": [
          {
            "id": 1,
            "type": "sleeve",
            "properties": {
              "length": "long"
            }
          },
          {
            "id": 2,
            "type": "pants",
            "properties": {
              "length": "long"
            }
          }
        ],
        "instances": [
          {
            "adjustedStart": "0:00:00.0667333",
            "adjustedEnd": "0:00:12.012",
            "start": "0:00:00.0667333",
            "end": "0:00:12.012"
          }
        ]
      },
      {
        "id": 2,
        "thumbnailId": "858903a7-254a-438e-92fd-69f8bdb2ac88",
        "clothing": [
          {
              "id": 1,
              "type": "sleeve",
              "properties": {
                  "length": "short"
              }
          }
        ],
        "instances": [
          {
              "adjustedStart": "0:00:23.2565666",
              "adjustedEnd": "0:00:25.4921333",
              "start": "0:00:23.2565666",
              "end": "0:00:25.4921333"
          },
          {
              "adjustedStart": "0:00:25.8925333",
              "adjustedEnd": "0:00:25.9926333",
              "start": "0:00:25.8925333",
              "end": "0:00:25.9926333"
          },
          {
              "adjustedStart": "0:00:26.3930333",
              "adjustedEnd": "0:00:28.5618666",
              "start": "0:00:26.3930333",
              "end": "0:00:28.5618666"
          }
        ]
      },
      {
        "id": 3,
        "thumbnailId": "1406252d-e7f5-43dc-852d-853f652b39b6",
        "clothing": [
          {
            "id": 1,
            "type": "sleeve",
            "properties": {
                "length": "short"
            }
          },
          {
            "id": 2,
            "type": "pants",
            "properties": {
                "length": "long"
            }
          },
          {
            "id": 3,
            "type": "skirtAndDress"
          }
        ],
        "instances": [
          {
            "adjustedStart": "0:00:31.9652666",
            "adjustedEnd": "0:00:34.4010333",
            "start": "0:00:31.9652666",
            "end": "0:00:34.4010333"
          }
        ]
      },
      {
        "id": 4,
        "thumbnailId": "d09ad62e-e0a4-42e5-8ca9-9a640c686596",
        "clothing": [
          {
            "id": 1,
            "type": "sleeve",
            "properties": {
                "length": "short"
            }
          },
          {
            "id": 2,
            "type": "pants",
            "properties": {
                "length": "short"
            }
          }
        ],
        "matchingFace": {
          "id": 1310,
          "confidence": 0.3819
        },
        "instances": [
          {
              "adjustedStart": "0:00:34.8681666",
              "adjustedEnd": "0:00:36.0026333",
              "start": "0:00:34.8681666",
              "end": "0:00:36.0026333"
          },
          {
              "adjustedStart": "0:00:36.6699666",
              "adjustedEnd": "0:00:36.7367",
              "start": "0:00:36.6699666",
              "end": "0:00:36.7367"
          },
          {
              "adjustedStart": "0:00:37.2038333",
              "adjustedEnd": "0:00:39.6729666",
              "start": "0:00:37.2038333",
              "end": "0:00:39.6729666"
          }
        ]
      }
    ]

Komponenten

Komponente	Definition
Quelldatei	Der Benutzer lädt die Quelldatei für die Indizierung hoch.
Erkennung	Die Mediendatei wird nachverfolgt, um beobachtete Personen und ihre Kleidung zu erkennen. Zum Beispiel Hemd mit langen Ärmeln, Kleid oder langer Hose. Beachten Sie, dass der vollständige Oberkörper der Person in den Medien angezeigt werden muss, um erkannt zu werden.
Lokale Gruppierung	Die identifizierten beobachteten Gesichter werden in lokale Gruppen gefiltert. Wenn eine Person mehrmals erkannt wird, werden für diese Person zusätzliche beobachtete Gesichterinstanzen erstellt.
Abgleich und Klassifizierung	Die beobachteten Personeninstanzen werden mit Gesichtern abgeglichen. Wenn es eine bekannte Prominente gibt, erhält die beobachtete Person ihren Namen. Eine beliebige Anzahl beobachteter Personeninstanzen kann mit demselben Gesicht abgeglichen werden.
Konfidenzwert	Das geschätzte Konfidenzniveau jeder beobachteten Person wird als Bereich von 0 bis 1 berechnet. Die Konfidenzbewertung stellt die Sicherheit in der Genauigkeit des Ergebnisses dar. Beispielsweise wird eine Sicherheit von 82 % als 0,82 Punkt dargestellt.

Transparenzhinweise

Transparenzhinweis

Wichtig

Es ist wichtig, die Übersicht über die Transparenzhinweise für alle VI-Features zu lesen. Jeder Einblick hat auch eigene Transparenzhinweise:

• Personen werden in der Regel nicht erkannt, wenn sie klein erscheinen (Mindesthöhe beträgt 100 Pixel).
• Maximale Framegröße ist FHD
• Videos mit niedriger Qualität (z. B. dunkle Beleuchtungsbedingungen) können sich auf die Erkennungsergebnisse auswirken.
• Die empfohlene Bildrate beträgt mindestens 30 FPS.
• Die empfohlene Videoeingabe sollte bis zu 10 Personen in einem Einzel-Frame enthalten. Die Funktion kann mit mehr Personen in einem Einzel-Frame funktionieren, aber das Erkennungsergebnis ruft bis zu 10 Personen in einem Frame mit der höchsten Erkennungssicherheit ab.
• Personen mit ähnlicher Kleidung: (z. B. Menschen tragen Uniformen, Spieler in Sportspielen) könnten als dieselbe Person mit derselben ID-Nummer erkannt werden.
• Hindernis: Bei Hindernissen (entweder durch die Umgebung/die Person selbst oder durch andere Personen) kann es zu Fehlern kommen.
• Pose: Die Nachverfolgungen können aufgrund verschiedener Posen (hinten/vorne) aufgeteilt werden

Beispielcode

Alle Beispiele für VI anzeigen