Abrufen beobachteter Personenerkennung und übereinstimmener Gesichterinblicke

Artikel
10/09/2024

Beobachtete Personenerkennung, abgeglichene Gesichter, erkannte Kleidung

Wichtig

Der Zugriff auf Funktionen zur Gesichtserkennung, Anpassung und Erkennung von Prominenten ist auf der Grundlage von Berechtigungs- und Nutzungskriterien beschränkt, um unsere Prinzipien der verantwortungsbewussten KI zu unterstützen. Funktionen zur Gesichtserkennung, Anpassung und Erkennung von Prominenten sind nur für von Microsoft verwaltete Kunden und Partner verfügbar. Verwenden Sie das Aufnahmeformular für die Gesichtserkennung, um sich für den Zugriff zu bewerben.

Beobachtete Personen erkennen und übereinstimmende Gesichter erkennen und stimmen automatisch Personen in Mediendateien überein. Beobachtete Personen, die Gesichter erkennen und aufeinander abgestimmt haben, können so festgelegt werden, dass Erkenntnisse über Personen, ihre Kleidung und den genauen Zeitrahmen ihres Aussehens angezeigt werden.

Im Webportal werden die resultierenden Erkenntnisse in einer kategorisierten Liste auf der Registerkarte "Insights" angezeigt, die Registerkarte enthält eine Miniaturansicht jeder Person und ihrer ID. Wenn Sie auf die Miniaturansicht einer Person klicken, wird die übereinstimmende Person angezeigt (das entsprechende Gesicht im Einblick "Personen"). Einblicke werden auch in einer kategorisierten Liste in einer JSON-Datei generiert, die die Miniaturansichts-ID der Person enthält, der Prozentsatz der Zeit, die in der Datei angezeigt wird, wiki-Link (wenn sie ein Prominenter sind) und Konfidenzniveau.

Beobachtete Personenerkennung, erkannte Kleidung und passende Gesichter Anwendungsfälle

Verbesserung der Effizienz durch die tiefe Suche nach passenden Personen in Organisationsarchiven für Einblicke in bestimmte Prominente, z. B. beim Erstellen von Promos und Trailern.
Verbesserte Effizienz beim Erstellen von Featuregeschichten, z. B. bei der Suche nach Menschen, die ein rotes Hemd in den Archiven eines Fußballspiels in einer Nachrichten- oder Sportagentur tragen.
Erstellen eine Zusammenfassung anhand eines langen Videos, z. B. einen Gerichtsbeweis für das Auftreten einer bestimmten Person in einem Video, unter Verwendung der gleichen erkannten Personen-ID.
Lernen und analysieren Sie Trends im Laufe der Zeit, z. B. wie sich Kunden in einem Einkaufszentrum durch die Gänge bewegen oder wie viel Zeit sie in der Kassenschlange verbringen.

Die übereinstimmenden Gesichter und erkannten Bekleidungsfeatures sind beim Indizieren Ihrer Datei verfügbar, indem Sie die Voreinstellung "Advanced ->Video + audio indexing " auswählen.

Anzeigen des Einblicks-JSON mit dem Webportal

Nachdem Sie ein Video hochgeladen und indiziert haben, stehen Einblicke im JSON-Format zum Download über das Webportal zur Verfügung.

Wählen Sie die Registerkarte "Bibliothek" aus.
Wählen Sie Medien aus, mit dem Sie arbeiten möchten.
Wählen Sie "Herunterladen " und " Insights (JSON)" aus. Die JSON-Datei wird auf einer neuen Browserregisterkarte geöffnet.
Suchen Sie nach dem in der Beispielantwort beschriebenen Schlüsselpaar.

Verwenden der API

Verwenden Sie die Anforderung "Videoindex abrufen". Es wird empfohlen, die Übergabe zu übergeben &includeSummarizedInsights=false.
Suchen Sie nach den in der Beispielantwort beschriebenen Schlüsselpaaren.

Beispielantwort

"observedPeople": [
    {
        "id": 1,
        "thumbnailId": "d09ad62e-e0a4-42e5-8ca9-9a640c686596",
        "clothing": [
            {
                "id": 1,
                "type": "sleeve",
                "properties": {
                    "length": "short"
                }
            },
            {
                "id": 2,
                "type": "pants",
                "properties": {
                    "length": "short"
                }
            }
        ],
        "matchingFace": {
            "id": 1310,
            "confidence": 0.3819
        },
        "instances": [
            {
                "adjustedStart": "0:00:34.8681666",
                "adjustedEnd": "0:00:36.0026333",
                "start": "0:00:34.8681666",
                "end": "0:00:36.0026333"
            },
            {
                "adjustedStart": "0:00:36.6699666",
                "adjustedEnd": "0:00:36.7367",
                "start": "0:00:36.6699666",
                "end": "0:00:36.7367"
            },
            {
                "adjustedStart": "0:00:37.2038333",
                "adjustedEnd": "0:00:39.6729666",
                "start": "0:00:37.2038333",
                "end": "0:00:39.6729666"
            }
        ]
    }
]

Wichtig

Es ist wichtig, die Übersicht über die Transparenzhinweise für alle VI-Features zu lesen. Jeder Einblick hat auch eigene Transparenzhinweise:

Beobachtete Personen erkennen und übereinstimmene Gesichter Notizen

Personen werden in der Regel nicht erkannt, wenn sie klein erscheinen (Mindesthöhe beträgt 100 Pixel).
Maximale Framegröße ist Volldefinition (FHD).
Video mit geringer Qualität (z. B. dunkle Beleuchtungsbedingungen) kann sich auf die Erkennungsergebnisse auswirken.
Die empfohlene Bildrate beträgt mindestens 30 FPS.
Die empfohlene Videoeingabe sollte bis zu 10 Personen in einem Einzel-Frame enthalten. Die Funktion kann mit mehr Personen in einem Einzel-Frame funktionieren, aber das Erkennungsergebnis ruft bis zu 10 Personen in einem Frame mit der höchsten Erkennungssicherheit ab.
Personen mit ähnlicher Kleidung: (z. B. Menschen tragen Uniformen, Spieler in Sportspielen) könnten als dieselbe Person mit derselben ID-Nummer erkannt werden.
Hindernisse – es können Fehler auftreten, bei denen Es Hindernisse gibt (Szene/Selbst oder Hindernisse durch andere Personen).
Pose: Die Spuren können aufgrund verschiedener Posen geteilt werden (Hinten/Front)
Da die Bekleidungserkennung von der Sichtbarkeit des Körpers der Person abhängig ist, ist die Genauigkeit höher, wenn eine Person vollständig sichtbar ist. Es kann Fehler geben, wenn eine Person ohne Kleidung ist. In diesem Szenario oder anderen von schlechter Sichtbarkeit können Ergebnisse wie lange Hosen und Kleid gegeben werden.

Beobachtete Personen erkennen und übereinstimmene Gesichter Komponenten

Komponente	Definition
Quelldatei	Der Benutzer lädt die Quelldatei für die Indizierung hoch.
Erkennung	Die Mediendatei wird nachverfolgt, um beobachtete Personen und ihre Kleidung zu erkennen. Zum Beispiel Hemd mit langen Ärmeln, Kleid oder langer Hose. Um erkannt zu werden, muss der vollständige Oberkörper der Person in den Medien angezeigt werden.
Lokale Gruppierung	Die identifizierten beobachteten Gesichter werden in lokale Gruppen gefiltert. Wenn eine Person mehrmals erkannt wird, werden für diese Person mehr beobachtete Gesichterinstanzen erstellt.
Abgleich und Klassifizierung	Die beobachteten Personeninstanzen werden mit Gesichtern abgeglichen. Wenn es eine bekannte Prominente gibt, erhält die beobachtete Person ihren Namen. Eine beliebige Anzahl beobachteter Personeninstanzen kann mit demselben Gesicht abgeglichen werden.
Konfidenzwert	Das geschätzte Konfidenzniveau jeder beobachteten Person wird als Bereich von 0 bis 1 berechnet. Die Konfidenzbewertung stellt die Sicherheit in der Genauigkeit des Ergebnisses dar. Beispielsweise wird eine Sicherheit von 82 % als 0,82 Punkt dargestellt.

Beispielcode

Alle Beispiele für VI anzeigen

Freigeben über