Udostępnij za pośrednictwem

Uzyskiwanie szczegółowych informacji o wykrywaniu twarzy

  • Artykuł

Ważne

Termin migracji zawartości usługi Azure Video Indexer z powodu wycofania usługi Azure Media Services upłynął. Aby uzyskać więcej informacji, zobacz przewodnik po wycofaniu.

Wykrywanie twarzy

Wykrywanie twarzy wykrywa twarze w pliku multimedialnym, a następnie agreguje wystąpienia podobnych twarzy w grupach.

Szczegółowe informacje dotyczące wykrywania twarzy są generowane jako lista sklasyfikowana w pliku JSON zawierającym miniaturę i nazwę lub identyfikator każdej twarzy. W portalu internetowym wybranie miniatury twarzy powoduje wyświetlenie informacji, takich jak imię i nazwisko osoby (jeśli zostały rozpoznane), procent wyświetlanego filmu wideo oraz biografia osoby, jeśli jest ona celebrytką. Możesz również przewijać wystąpienia w filmie wideo, w którym pojawia się dana osoba.

Model rozpoznawania osobistości

Model rozpoznawania osobistości obejmuje około 1 milion twarzy i jest oparty na często żądanych źródłach danych. Twarze, które usługa Video Indexer nie rozpoznaje jako gwiazdy, są wykrywane, ale pozostawione bez nazwy. Możesz utworzyć własny niestandardowy model osoby, aby wytrenować usługę Video Indexer w celu rozpoznawania twarzy, które nie są rozpoznawane domyślnie.

Ważne

Aby obsługiwać zasady odpowiedzialnej sztucznej inteligencji firmy Microsoft, dostęp do funkcji identyfikacji twarzy, dostosowywania i rozpoznawania osobistości jest ograniczony i oparty na kryteriach uprawnień i użycia. Funkcje identyfikacji twarzy, dostosowywania i rozpoznawania osobistości są dostępne dla klientów i partnerów zarządzanych przez firmę Microsoft. Aby ubiegać się o dostęp, użyj formularza do wprowadzania rozpoznawania twarzy.

Przypadki użycia wykrywania twarzy

Na poniższej liście opisano przykłady typowych przypadków użycia wykrywania twarzy:

  • Podsumuj, gdzie aktor pojawia się w filmie lub ponownie używa materiału, wyszukując szczegółowe twarze w archiwach organizacji, aby uzyskać szczegółowe informacje o określonej sławie.
  • Uzyskaj lepszą wydajność, tworząc historie fabularne w agencji informacyjnej lub agencji sportowej. Przykłady obejmują głębokie wyszukiwanie celebrytów lub piłkarza w archiwach organizacyjnych.
  • Użyj twarzy wyświetlanych w filmie wideo, aby utworzyć promos, zwiastuny lub wyróżnienia. Usługa Video Indexer może pomóc przez dodanie klatek kluczowych, znaczników sceny, sygnatur czasowych i etykietowania, dzięki czemu edytory zawartości poświęcają mniej czasu na przeglądanie wielu plików.

Kluczowe terminy

Termin Definicja
Rozpoznawanie twarzy  Analizowanie obrazów w celu zidentyfikowania twarzy wyświetlanych na obrazach. Ten proces jest implementowany za pośrednictwem interfejsu API rozpoznawania twarzy sztucznej inteligencji platformy Azure.
Rejestrowanie Proces rejestrowania obrazów osób na potrzeby tworzenia szablonu w celu ich rozpoznawania. Gdy osoba jest zarejestrowana w systemie weryfikacji używanym do uwierzytelniania, szablon jest również skojarzony z identyfikatorem podstawowym używanym do określenia szablonu do porównania z szablonem sondy. Wysokiej jakości obrazy i obrazy reprezentujące naturalne różnice w wyglądze osoby (na przykład noszenie okularów i nie noszenie okularów) generują wysokiej jakości szablony rejestracji.
Szablon Zarejestrowane obrazy osób są konwertowane na szablony, które są następnie używane do rozpoznawania twarzy. Funkcje z możliwością interpretacji maszynowej są wyodrębniane z jednego lub większej liczby obrazów osoby w celu utworzenia tego szablonu. Obrazy rejestracji lub sondy nie są przechowywane przez interfejs API rozpoznawania twarzy, a oryginalne obrazy nie mogą być zrekonstruowane na podstawie szablonu. Jakość szablonu jest kluczowym czynnikiem określającym dokładność wyników.

Wyświetlanie kodu JSON szczegółowych informacji za pomocą portalu internetowego

Po przekazaniu i zaindeksowaniu klipu wideo szczegółowe informacje są dostępne w formacie JSON do pobrania przy użyciu portalu internetowego.

  1. Wybierz kartę Biblioteka .
  2. Wybierz multimedia, z którym chcesz pracować.
  3. Wybierz pozycję Pobierz i Szczegółowe informacje (JSON). Plik JSON zostanie otwarty na nowej karcie przeglądarki.
  4. Poszukaj pary kluczy opisanej w przykładowej odpowiedzi.

Używanie interfejsu API

  1. Użyj żądania Pobierz indeks wideo. Zalecamy przekazanie &includeSummarizedInsights=falseelementu .
  2. Poszukaj pary kluczy opisanej w przykładowej odpowiedzi.

Ważne

Podczas przeglądania wykrywania twarzy w interfejsie użytkownika może nie być widocznych wszystkich twarzy wyświetlanych w filmie wideo. Ujawniamy tylko grupy twarzy, które mają pewność więcej niż 0,5, a twarz musi pojawić się przez co najmniej 4 sekundy lub 10 procent wartości video_duration. Tylko wtedy, gdy te warunki zostaną spełnione, pokażemy twarz w interfejsie użytkownika i w pliku Insights.json . Zawsze można pobrać wszystkie wystąpienia twarzy z pliku artefaktu twarzy przy użyciu interfejsu API: https://api.videoindexer.ai/{location}/Accounts/{accountId}/Videos/{videoId}/ArtifactUrl[?Faces][&accessToken].

Przykładowa odpowiedź

    "faces": [
        {
        "id": 1785,
        "name": "Emily Tran",
        "confidence": 0.7855,
        "description": null,
        "thumbnailId": "fd2720f7-b029-4e01-af44-3baf4720c531",
        "knownPersonId": "92b25b4c-944f-4063-8ad4-f73492e42e6f",
        "title": null,
        "imageUrl": null,
        "thumbnails": [
            {
            "id": "4d182b8c-2adf-48a2-a352-785e9fcd1fcf",
            "fileName": "FaceInstanceThumbnail_4d182b8c-2adf-48a2-a352-785e9fcd1fcf.jpg",
            "instances": [
                {
                "adjustedStart": "0:00:00",
                "adjustedEnd": "0:00:00.033",
                "start": "0:00:00",
                "end": "0:00:00.033"
                }
            ]
            },
            {
            "id": "feff177b-dabf-4f03-acaf-3e5052c8be57",
            "fileName": "FaceInstanceThumbnail_feff177b-dabf-4f03-acaf-3e5052c8be57.jpg",
            "instances": [
                {
                "adjustedStart": "0:00:05",
                "adjustedEnd": "0:00:05.033",
                "start": "0:00:05",
                "end": "0:00:05.033"
                }
            ]
            },
        ]
        }
    ]

Składniki

W poniższej tabeli opisano sposób przetwarzania obrazów w pliku multimedialnym podczas procedury wykrywania twarzy:

Składnik Definicja
Plik źródłowy Użytkownik przekazuje plik źródłowy do indeksowania.
Wykrywanie i agregacja Wykrywacz twarzy identyfikuje twarze w każdej ramce. Twarze są następnie agregowane i grupowane.
Rozpoznawanie Model osobistości przetwarza zagregowane grupy w celu rozpoznawania osobistości. Jeśli utworzono własny model osób, przetwarza również grupy w celu rozpoznawania innych osób. Jeśli osoby nie są rozpoznawane, są oznaczone etykietą Unknown1, Unknown2 itd.
Wartość ufności W przypadku dobrze znanych twarzy lub twarzy, które są identyfikowane na liście z możliwością dostosowywania, szacowany poziom ufności każdej etykiety jest obliczany jako zakres od 0 do 1. Wskaźnik ufności reprezentuje pewność dokładności wyniku. Na przykład 82 procent pewności jest reprezentowana jako wynik 0,82.

Uwagi dotyczące przezroczystości

Ważne

Ważne jest, aby zapoznać się z omówieniem noty przejrzystości dla wszystkich funkcji VI. Każda analiza zawiera również własne uwagi dotyczące przejrzystości:

Wykrywanie twarzy jest cennym narzędziem dla wielu branż, które są używane w odpowiedzialny i ostrożny sposób. Aby przestrzegać prywatności i bezpieczeństwa innych osób oraz przestrzegać lokalnych i globalnych przepisów, zalecamy przestrzeganie następujących wytycznych dotyczących używania:

  • Dokładnie zastanów się nad dokładnością wyników. Aby podwyższyć poziom dokładniejszego wykrywania, sprawdź jakość filmu wideo. Wideo o niskiej jakości może mieć wpływ na prezentowane szczegółowe informacje.
  • Uważnie przejrzyj wyniki, jeśli używasz wykrywania twarzy do egzekwowania prawa. Osoby mogą nie być wykrywane, jeśli są małe, siedzące, przykuczane lub utrudniane przez obiekty lub inne osoby. Aby zapewnić uczciwe i wysokiej jakości decyzje, połącz automatyzację opartą na wykrywaniu twarzy z nadzorem człowieka.
  • Nie używaj wykrywania twarzy do podejmowania decyzji, które mogą mieć poważne, niekorzystne skutki. Decyzje oparte na nieprawidłowych danych wyjściowych mogą mieć poważny, negatywny wpływ. Zaleca się uwzględnienie przeglądu przez człowieka decyzji, które mogą mieć poważny wpływ na osoby.

Przykładowy kod

Zobacz wszystkie przykłady dla vi