Freigeben über

Abrufen von Erkenntnissen zur Gesichtserkennung

  • Artikel

Gesichtserkennung

Die Gesichtserkennung erkennt Gesichter in einer Mediendatei und aggregiert dann Instanzen ähnlicher Gesichter in Gruppen.

Gesichtserkennungserkenntnisse werden als kategorisierte Liste in einer JSON-Datei generiert, die eine Miniaturansicht und entweder einen Namen oder eine ID für jedes Gesicht enthält. Im Webportal zeigt die Auswahl der Miniaturansicht eines Gesichts Informationen wie den Namen der Person an (sofern sie erkannt wurden), den Prozentsatz des Videos, das die Person angezeigt wird, und die Biografie der Person, wenn sie ein Prominenter sind. Sie können auch zwischen Instanzen im Video scrollen, in denen die Person angezeigt wird.

Erkennungsmodell für Prominente

Das Prominentenerkennungsmodell deckt ca. 1 Millionen Gesichter ab und basiert auf häufig angeforderten Datenquellen. Gesichter, die der Videoindexer nicht erkennt, wenn Prominente erkannt werden, aber unbenannt bleiben. Sie können Ihr eigenes benutzerdefiniertes Personenmodell erstellen, um Videoindexer so zu trainieren, dass Gesichter erkannt werden, die standardmäßig nicht erkannt werden.

Wichtig

Zur Unterstützung von Microsoft Responsible AI-Prinzipien ist der Zugriff auf Gesichtsidentifikations-, Anpassungs- und Prominentenerkennungsfeatures begrenzt und basiert auf Berechtigungs- und Nutzungskriterien. Gesichtsidentifikations-, Anpassungs- und Prominentenerkennungsfeatures sind für von Microsoft verwaltete Kunden und Partner verfügbar. Um den Zugriff zu beantragen, verwenden Sie das Gesichtserkennungsaufnahmeformular.

Anwendungsfälle für die Gesichtserkennung

In der folgenden Liste werden Beispiele für häufige Anwendungsfälle für die Gesichtserkennung beschrieben:

  • Fassen Sie zusammen, wo ein Schauspieler in einem Film erscheint oder Filmmaterial wiederverwenden, indem Sie bestimmte Gesichter in Organisationsarchiven durchsuchen, um Einen Einblick in eine bestimmte Prominente zu erhalten.
  • Erhalten Sie eine verbesserte Effizienz, wenn Sie Featuregeschichten in einer Nachrichtenagentur oder Sportagentur erstellen. Beispiele sind die tiefe Suche nach einem Prominenten oder einem Fußballspieler in Organisationsarchiven.
  • Verwenden Sie Gesichter, die in einem Video angezeigt werden, um Promos, Trailer oder Highlights zu erstellen. Videoindexer kann helfen, indem Keyframes, Szenenmarkierungen, Zeitstempel und Bezeichnungen hinzugefügt werden, sodass Inhalts-Editoren weniger Zeit in die Überprüfung zahlreicher Dateien investieren.

Schlüsselbegriffe

Begriff Definition
Gesichtserkennung  Analysieren von Bildern, um die Gesichter zu identifizieren, die in den Bildern angezeigt werden. Dieser Prozess wird über die Azure AI Face-API implementiert.
Registrierung Der Prozess der Registrierung von Bildern von Einzelpersonen zur Vorlagenerstellung, sodass sie erkannt werden können. Wenn eine Person bei einem Überprüfungssystem registriert ist, das für die Authentifizierung verwendet wird, wird ihre Vorlage auch einem primären Bezeichner zugeordnet, der verwendet wird, um zu bestimmen, welche Vorlage mit der Probevorlage verglichen werden soll. Hochwertige Bilder und Bilder, die natürliche Variationen darstellen, wie eine Person aussieht (z. B. Brille tragen und keine Brille tragen), generieren qualitativ hochwertige Registrierungsvorlagen.
Vorlage Registrierte Bilder von Personen werden in Vorlagen konvertiert, die dann für die Gesichtserkennung verwendet werden. Computerinterpretierbare Features werden aus einem oder mehreren Bildern einer Person extrahiert, um die Vorlage dieser Person zu erstellen. Die Registrierungs- oder Probebilder werden nicht von der Face-API gespeichert, und die originalen Bilder können nicht basierend auf einer Vorlage rekonstruiert werden. Die Vorlagenqualität ist eine wichtige Determinante für die Genauigkeit ihrer Ergebnisse.

Anzeigen des Einblicks-JSON mit dem Webportal

Nachdem Sie ein Video hochgeladen und indiziert haben, stehen Einblicke im JSON-Format zum Download über das Webportal zur Verfügung.

  1. Wählen Sie die Registerkarte "Bibliothek" aus.
  2. Wählen Sie Medien aus, mit dem Sie arbeiten möchten.
  3. Wählen Sie "Herunterladen " und " Insights (JSON)" aus. Die JSON-Datei wird auf einer neuen Browserregisterkarte geöffnet.
  4. Suchen Sie nach dem in der Beispielantwort beschriebenen Schlüsselpaar.

Verwenden der API

  1. Verwenden Sie die Anforderung "Videoindex abrufen". Es wird empfohlen, die Übergabe zu übergeben &includeSummarizedInsights=false.
  2. Suchen Sie nach den in der Beispielantwort beschriebenen Schlüsselpaaren.

Wichtig

Wenn Sie gesichtserkennungen auf der Benutzeroberfläche überprüfen, werden möglicherweise nicht alle Gesichter angezeigt, die im Video angezeigt werden. Wir machen nur Gesichtsgruppen verfügbar, die ein Vertrauen von mehr als 0,5 haben, und das Gesicht muss mindestens 4 Sekunden oder 10 Prozent des Werts angezeigt video_durationwerden. Nur wenn diese Bedingungen erfüllt sind, zeigen wir das Gesicht auf der Benutzeroberfläche und in der datei Insights.json an. Sie können immer alle Gesichtsinstanzen aus der Gesichtsartefaktedatei abrufen, indem Sie die API verwenden: https://api.videoindexer.ai/{location}/Accounts/{accountId}/Videos/{videoId}/ArtifactUrl[?Faces][&accessToken].

Beispielantwort

    "faces": [
        {
        "id": 1785,
        "name": "Emily Tran",
        "confidence": 0.7855,
        "description": null,
        "thumbnailId": "fd2720f7-b029-4e01-af44-3baf4720c531",
        "knownPersonId": "92b25b4c-944f-4063-8ad4-f73492e42e6f",
        "title": null,
        "imageUrl": null,
        "thumbnails": [
            {
            "id": "4d182b8c-2adf-48a2-a352-785e9fcd1fcf",
            "fileName": "FaceInstanceThumbnail_4d182b8c-2adf-48a2-a352-785e9fcd1fcf.jpg",
            "instances": [
                {
                "adjustedStart": "0:00:00",
                "adjustedEnd": "0:00:00.033",
                "start": "0:00:00",
                "end": "0:00:00.033"
                }
            ]
            },
            {
            "id": "feff177b-dabf-4f03-acaf-3e5052c8be57",
            "fileName": "FaceInstanceThumbnail_feff177b-dabf-4f03-acaf-3e5052c8be57.jpg",
            "instances": [
                {
                "adjustedStart": "0:00:05",
                "adjustedEnd": "0:00:05.033",
                "start": "0:00:05",
                "end": "0:00:05.033"
                }
            ]
            },
        ]
        }
    ]

Wichtig

Es ist wichtig, die Übersicht über die Transparenzhinweise für alle VI-Features zu lesen. Jeder Einblick hat auch eigene Transparenzhinweise:

Notizen zur Gesichtserkennung

Die Gesichtserkennung ist ein wertvolles Werkzeug für viele Branchen, wenn sie verantwortungsbewusst und sorgfältig verwendet wird. Um den Datenschutz und die Sicherheit anderer zu respektieren und lokale und globale Vorschriften einzuhalten, empfehlen wir Ihnen, diese Richtlinien zu befolgen:

  • Berücksichtigen Sie sorgfältig die Genauigkeit der Ergebnisse. Um eine genauere Erkennung zu fördern, überprüfen Sie die Qualität des Videos. Video mit niedriger Qualität kann sich auf die einblicke auswirken, die präsentiert werden.
  • Überprüfen Sie sorgfältig die Ergebnisse, wenn Sie die Gesichtserkennung für strafverfolgungsbehörden verwenden. Personen werden möglicherweise nicht erkannt, wenn sie klein, sitzen, kauen oder von Objekten oder anderen Personen behindert sind. Um faire und qualitativ hochwertige Entscheidungen zu gewährleisten, kombinieren Sie gesichtserkennungsbasierte Automatisierung mit menschlicher Aufsicht.
  • Verwenden Sie die Gesichtserkennung nicht für Entscheidungen, die schwerwiegende, nachteilige Auswirkungen haben könnten. Entscheidungen, die auf einer falschen Ausgabe basieren, können schwerwiegende, nachteilige Auswirkungen haben. Es ist ratsam, die menschliche Überprüfung von Entscheidungen einzubeziehen, die das Potenzial für schwerwiegende Auswirkungen auf Einzelpersonen haben.

Gesichtserkennungskomponenten

In der folgenden Tabelle wird beschrieben, wie Bilder in einer Mediendatei während des Gesichtserkennungsverfahrens verarbeitet werden:

Komponente Definition
Quelldatei Der Benutzer lädt die Quelldatei für die Indizierung hoch.
Erkennung und Aggregation Der Gesichtsdetektor identifiziert die Gesichter in jedem Rahmen. Die Gesichter werden dann aggregiert und gruppiert.
Erkennung Das Prominentenmodell verarbeitet die aggregierten Gruppen, um Prominente zu erkennen. Wenn Sie Ihr eigenes Personenmodell erstellt haben, verarbeitet es auch Gruppen, um andere Personen zu erkennen. Wenn Personen nicht erkannt werden, werden sie als Unbekannt1, Unbekannt2 usw. bezeichnet.
Konfidenzwert Falls zutreffend für bekannte Gesichter oder für Gesichter, die in der anpassbaren Liste identifiziert werden, wird die geschätzte Konfidenzstufe der einzelnen Bezeichnungen als Bereich von 0 bis 1 berechnet. Die Konfidenzbewertung stellt die Sicherheit in der Genauigkeit des Ergebnisses dar. Beispielsweise wird eine 82-Prozent-Sicherheit als 0,82-Punktzahl dargestellt.

Beispielcode

Alle Beispiele für VI anzeigen