Freigeben über

Abrufen von Erkenntnissen über Personenerkennung und Gesichtserkennung

Wichtig

Der Zugriff auf Gesichtserkennungs-, Anpassungs- und Prominentenerkennungsfeatures ist auf der Grundlage von Berechtigungs- und Nutzungskriterien beschränkt, um unsere verantwortungsbewussten KI-Prinzipien zu unterstützen. Gesichtsidentifikations-, Anpassungs- und Prominentenerkennungsfeatures sind nur für von Microsoft verwaltete Kunden und Partner verfügbar. Verwenden Sie das Aufnahmeformular für die Gesichtserkennung, um den Zugriff darauf zu beantragen.

Beobachtete Personenerkennung und Gesichtsabgleich erkennen und ordnen automatisch Personen in Mediendateien zu. Beobachtete Personenerkennung und abgestimmte Gesichter können so eingestellt werden, dass Erkenntnisse über Personen, ihre Kleidung und den genauen Zeitrahmen ihres Erscheinen angezeigt werden.

Im Webportal werden die resultierenden Erkenntnisse in einer kategorisierten Liste auf der Registerkarte "Insights" angezeigt. Die Registerkarte enthält eine Miniaturansicht jeder Person und deren ID. Wenn Sie auf das Vorschaubild einer Person klicken, wird die übereinstimmende Person angezeigt (das entsprechende Gesicht in der Personenübersicht). Einblicke werden auch in einer kategorisierten Liste in einer JSON-Datei generiert. Die Datei enthält die Miniaturansichts-ID der Person, den Prozentsatz der Zeit, die sie in der Datei erscheint, einen Wiki-Link (bei Prominenten) und das Konfidenzniveau.

Beobachtete Personenerkennung, erkannte Kleidung und übereinstimmene Gesichter Anwendungsfälle

  • Verbesserung der Effizienz durch die tiefe Suche nach passenden Personen in Organisationsarchiven für Einblicke in bestimmte Prominente, z. B. beim Erstellen von Promos und Trailern.
  • Verbesserte Effizienz beim Erstellen von Featuregeschichten, z. B. bei der Suche nach Menschen, die ein rotes Hemd in den Archiven eines Fußballspiels in einer Nachrichten- oder Sportagentur tragen.
  • Erstellen eine Zusammenfassung anhand eines langen Videos, z. B. einen Gerichtsbeweis für das Auftreten einer bestimmten Person in einem Video, unter Verwendung der gleichen erkannten Personen-ID.
  • Lernen und analysieren Sie Trends im Laufe der Zeit, z. B. wie sich Kunden in einem Einkaufszentrum durch die Gänge bewegen oder wie viel Zeit sie in der Kassenschlange verbringen.

Die übereinstimmenden Gesichter und erkannte Kleidung sind beim Indizieren Ihrer Datei verfügbar, indem Sie die Voreinstellung "Advanced ->Video + Audioindizierung" auswählen.

Einblick-JSON mit dem Webportal anzeigen

Laden Sie nach dem Hochladen und Indizieren eines Videos Einblicke im JSON-Format aus dem Webportal herunter.

  1. Wählen Sie die Registerkarte "Bibliothek" aus.
  2. Wählen Sie die gewünschten Medien aus.
  3. Wählen Sie "Herunterladen" und dann "Insights (JSON)" aus. Die JSON-Datei wird auf einer neuen Browserregisterkarte geöffnet.
  4. Suchen Sie das in der Beispielantwort beschriebene Schlüsselpaar.

Verwenden der API

  1. Verwenden Sie eine Get Video Index-Anforderung . Pass &includeSummarizedInsights=false.
  2. Suchen Sie die in der Beispielantwort beschriebenen Schlüsselpaare.

Beispielantwort

"observedPeople": [
    {
        "id": 1,
        "thumbnailId": "d09ad62e-e0a4-42e5-8ca9-9a640c686596",
        "clothing": [
            {
                "id": 1,
                "type": "sleeve",
                "properties": {
                    "length": "short"
                }
            },
            {
                "id": 2,
                "type": "pants",
                "properties": {
                    "length": "short"
                }
            }
        ],
        "matchingFace": {
            "id": 1310,
            "confidence": 0.3819
        },
        "instances": [
            {
                "adjustedStart": "0:00:34.8681666",
                "adjustedEnd": "0:00:36.0026333",
                "start": "0:00:34.8681666",
                "end": "0:00:36.0026333"
            },
            {
                "adjustedStart": "0:00:36.6699666",
                "adjustedEnd": "0:00:36.7367",
                "start": "0:00:36.6699666",
                "end": "0:00:36.7367"
            },
            {
                "adjustedStart": "0:00:37.2038333",
                "adjustedEnd": "0:00:39.6729666",
                "start": "0:00:37.2038333",
                "end": "0:00:39.6729666"
            }
        ]
    }
]

Wichtig

Lesen Sie die Übersicht über die Transparenzhinweise für alle VI-Features. Jeder Einblick hat auch eine eigene Transparenznotiz.

Beobachtete Personenerkennung und übereinstimmende Gesichternotizen

  • Personen werden in der Regel nicht erkannt, wenn sie klein erscheinen (Mindesthöhe beträgt 100 Pixel).
  • Maximale Framegröße ist Volldefinition (FHD).
  • Video mit geringer Qualität (z. B. dunkle Beleuchtungsbedingungen) kann sich auf die Erkennungsergebnisse auswirken.
  • Die empfohlene Bildrate beträgt mindestens 30 FPS.
  • Die empfohlene Videoeingabe sollte bis zu 10 Personen in einem Einzel-Frame enthalten. Die Funktion kann mit mehr Personen in einem Einzel-Frame funktionieren, aber das Erkennungsergebnis ruft bis zu 10 Personen in einem Frame mit der höchsten Erkennungssicherheit ab.
  • Personen mit ähnlicher Kleidung: (z. B. Menschen tragen Uniformen, Spieler in Sportspielen) könnten als dieselbe Person mit derselben ID-Nummer erkannt werden.
  • Hindernisse: Es können Fehler auftreten, wenn es Hindernisse gibt (Szene/selbst oder Hindernisse durch andere Personen).
  • Pose: Die Spuren können aufgrund verschiedener Posen (hinten/vorn) aufgeteilt werden
  • Da die Bekleidungserkennung von der Sichtbarkeit des Körpers der Person abhängig ist, ist die Genauigkeit höher, wenn eine Person vollständig sichtbar ist. Es kann Fehler geben, wenn eine Person ohne Kleidung ist. In diesem Szenario oder bei anderen mit schlechter Sichtbarkeit kann es zu Ergebnissen wie langen Hosen und Rock oder Kleid kommen.

Beobachtete Personenerkennung und Komponenten der Gesichtserkennung

Komponente Definition
Quelldatei Der Benutzer lädt die Quelldatei für die Indizierung hoch.
Erkennung Die Mediendatei wird nachverfolgt, um beobachtete Personen und ihre Kleidung zu erkennen. Zum Beispiel Hemd mit langen Ärmeln, Kleid oder langer Hose. Um erkannt zu werden, muss der vollständige Oberkörper der Person in den Medien angezeigt werden.
Lokale Gruppierung Die identifizierten beobachteten Gesichter werden in lokale Gruppen gefiltert. Wenn eine Person mehrmals erkannt wird, werden für diese Person mehrere beobachtete Gesichterinstanzen erstellt.
Abgleich und Klassifizierung Die beobachteten Personeninstanzen werden mit Gesichtern abgeglichen. Wenn es eine bekannte Prominente gibt, erhält die beobachtete Person ihren Namen. Eine beliebige Anzahl beobachteter Personenexemplare kann mit demselben Gesicht abgeglichen werden.
Konfidenzwert Das geschätzte Konfidenzniveau jeder beobachteten Person wird als Bereich von 0 bis 1 berechnet. Die Konfidenzbewertung stellt die Sicherheit in der Genauigkeit des Ergebnisses dar. Beispielsweise wird eine Sicherheit von 82 % als 0,82 Punkt dargestellt.

Beispielcode

Alle Beispiele für VI anzeigen

Verwandte Inhalte