Uzyskiwanie szczegółowych informacji o wykrywaniu twarzy
Wykrywanie twarzy
Wykrywanie twarzy wykrywa twarze w pliku multimedialnym, a następnie agreguje wystąpienia podobnych twarzy w grupach.
Szczegółowe informacje dotyczące wykrywania twarzy są generowane jako lista sklasyfikowana w pliku JSON zawierającym miniaturę i nazwę lub identyfikator każdej twarzy. W portalu internetowym wybranie miniatury twarzy powoduje wyświetlenie informacji, takich jak imię i nazwisko osoby (jeśli zostały rozpoznane), procent wyświetlanego filmu wideo oraz biografia osoby, jeśli jest ona celebrytką. Możesz również przewijać wystąpienia w filmie wideo, w którym pojawia się dana osoba.
Model rozpoznawania osobistości
Model rozpoznawania osobistości obejmuje około 1 milion twarzy i jest oparty na często żądanych źródłach danych. Twarze, które usługa Video Indexer nie rozpoznaje jako gwiazdy, są wykrywane, ale pozostawione bez nazwy. Możesz utworzyć własny niestandardowy model osoby, aby wytrenować usługę Video Indexer w celu rozpoznawania twarzy, które nie są rozpoznawane domyślnie.
Ważne
Aby obsługiwać zasady odpowiedzialnej sztucznej inteligencji firmy Microsoft, dostęp do funkcji identyfikacji twarzy, dostosowywania i rozpoznawania osobistości jest ograniczony i oparty na kryteriach uprawnień i użycia. Funkcje identyfikacji twarzy, dostosowywania i rozpoznawania osobistości są dostępne dla klientów i partnerów zarządzanych przez firmę Microsoft. Aby ubiegać się o dostęp, użyj formularza do wprowadzania rozpoznawania twarzy.
Przypadki użycia wykrywania twarzy
Na poniższej liście opisano przykłady typowych przypadków użycia wykrywania twarzy:
- Podsumuj, gdzie aktor pojawia się w filmie lub ponownie używa materiału, wyszukując szczegółowe twarze w archiwach organizacji, aby uzyskać szczegółowe informacje o określonej sławie.
- Uzyskaj lepszą wydajność, tworząc historie fabularne w agencji informacyjnej lub agencji sportowej. Przykłady obejmują głębokie wyszukiwanie celebrytów lub piłkarza w archiwach organizacyjnych.
- Użyj twarzy wyświetlanych w filmie wideo, aby utworzyć promos, zwiastuny lub wyróżnienia. Usługa Video Indexer może pomóc przez dodanie klatek kluczowych, znaczników sceny, sygnatur czasowych i etykietowania, dzięki czemu edytory zawartości poświęcają mniej czasu na przeglądanie wielu plików.
Kluczowe terminy
| Termin | Definicja |
|---|---|
| Rozpoznawanie twarzy | Analizowanie obrazów w celu zidentyfikowania twarzy wyświetlanych na obrazach. Ten proces jest implementowany za pośrednictwem interfejsu API rozpoznawania twarzy sztucznej inteligencji platformy Azure. |
| Rejestrowanie | Proces rejestrowania obrazów osób na potrzeby tworzenia szablonu w celu ich rozpoznawania. Gdy osoba jest zarejestrowana w systemie weryfikacji używanym do uwierzytelniania, szablon jest również skojarzony z identyfikatorem podstawowym używanym do określenia szablonu do porównania z szablonem sondy. Wysokiej jakości obrazy i obrazy reprezentujące naturalne różnice w wyglądze osoby (na przykład noszenie okularów i nie noszenie okularów) generują wysokiej jakości szablony rejestracji. |
| Szablon | Zarejestrowane obrazy osób są konwertowane na szablony, które są następnie używane do rozpoznawania twarzy. Funkcje z możliwością interpretacji maszynowej są wyodrębniane z jednego lub większej liczby obrazów osoby w celu utworzenia tego szablonu. Obrazy rejestracji lub sondy nie są przechowywane przez interfejs API rozpoznawania twarzy, a oryginalne obrazy nie mogą być zrekonstruowane na podstawie szablonu. Jakość szablonu jest kluczowym czynnikiem określającym dokładność wyników. |
Wyświetlanie kodu JSON szczegółowych informacji za pomocą portalu internetowego
Po przekazaniu i zaindeksowaniu klipu wideo szczegółowe informacje są dostępne w formacie JSON do pobrania przy użyciu portalu internetowego.
- Wybierz kartę Biblioteka .
- Wybierz multimedia, z którym chcesz pracować.
- Wybierz pozycję Pobierz i Szczegółowe informacje (JSON). Plik JSON zostanie otwarty na nowej karcie przeglądarki.
- Poszukaj pary kluczy opisanej w przykładowej odpowiedzi.
Używanie interfejsu API
- Użyj żądania Pobierz indeks wideo. Zalecamy przekazanie
&includeSummarizedInsights=falseelementu . - Poszukaj par kluczy opisanych w przykładowej odpowiedzi.
Ważne
Podczas przeglądania wykrywania twarzy w interfejsie użytkownika może nie być widocznych wszystkich twarzy wyświetlanych w filmie wideo. Ujawniamy tylko grupy twarzy, które mają pewność więcej niż 0,5, a twarz musi pojawić się przez co najmniej 4 sekundy lub 10 procent wartości video_duration. Tylko wtedy, gdy te warunki zostaną spełnione, pokażemy twarz w interfejsie użytkownika i w pliku Insights.json . Zawsze można pobrać wszystkie wystąpienia twarzy z pliku artefaktu twarzy przy użyciu interfejsu API: https://api.videoindexer.ai/{location}/Accounts/{accountId}/Videos/{videoId}/ArtifactUrl[?Faces][&accessToken].
Przykładowa odpowiedź
"faces": [
{
"id": 1785,
"name": "Emily Tran",
"confidence": 0.7855,
"description": null,
"thumbnailId": "fd2720f7-b029-4e01-af44-3baf4720c531",
"knownPersonId": "92b25b4c-944f-4063-8ad4-f73492e42e6f",
"title": null,
"imageUrl": null,
"thumbnails": [
{
"id": "4d182b8c-2adf-48a2-a352-785e9fcd1fcf",
"fileName": "FaceInstanceThumbnail_4d182b8c-2adf-48a2-a352-785e9fcd1fcf.jpg",
"instances": [
{
"adjustedStart": "0:00:00",
"adjustedEnd": "0:00:00.033",
"start": "0:00:00",
"end": "0:00:00.033"
}
]
},
{
"id": "feff177b-dabf-4f03-acaf-3e5052c8be57",
"fileName": "FaceInstanceThumbnail_feff177b-dabf-4f03-acaf-3e5052c8be57.jpg",
"instances": [
{
"adjustedStart": "0:00:05",
"adjustedEnd": "0:00:05.033",
"start": "0:00:05",
"end": "0:00:05.033"
}
]
},
]
}
]
Ważne
Ważne jest, aby zapoznać się z omówieniem noty przejrzystości dla wszystkich funkcji VI. Każda analiza zawiera również własne uwagi dotyczące przejrzystości:
Uwagi dotyczące wykrywania twarzy
Wykrywanie twarzy to narzędzie dla wielu branż, które są używane w sposób odpowiedzialny i starannie. Aby przestrzegać prywatności i bezpieczeństwa innych osób oraz przestrzegać lokalnych i globalnych przepisów, zalecamy przestrzeganie następujących wytycznych dotyczących używania:
- Dokładnie zastanów się nad dokładnością wyników. Aby podwyższyć poziom dokładniejszego wykrywania, sprawdź jakość filmu wideo. Wideo o niskiej jakości może mieć wpływ na prezentowane szczegółowe informacje.
- Uważnie przejrzyj wyniki, jeśli używasz wykrywania twarzy do egzekwowania prawa. Osoby mogą nie być wykrywane, jeśli są małe, siedzące, przykuczane lub utrudniane przez obiekty lub inne osoby. Aby zapewnić uczciwe i wysokiej jakości decyzje, połącz automatyzację opartą na wykrywaniu twarzy z nadzorem człowieka.
- Nie używaj wykrywania twarzy do podejmowania decyzji, które mogą mieć poważne, niekorzystne skutki. Decyzje oparte na nieprawidłowych danych wyjściowych mogą mieć poważny, negatywny wpływ. Zaleca się uwzględnienie przeglądu przez człowieka decyzji, które mogą mieć poważny wpływ na osoby.
Składniki wykrywania twarzy
W poniższej tabeli opisano sposób przetwarzania obrazów w pliku multimedialnym podczas procedury wykrywania twarzy:
| Składnik | Definicja |
|---|---|
| Plik źródłowy | Użytkownik przekazuje plik źródłowy do indeksowania. |
| Wykrywanie i agregacja | Wykrywacz twarzy identyfikuje twarze w każdej ramce. Twarze są następnie agregowane i grupowane. |
| Rozpoznawanie | Model osobistości przetwarza zagregowane grupy w celu rozpoznawania osobistości. Jeśli utworzono własny model osób, przetwarza również grupy w celu rozpoznawania innych osób. Jeśli osoby nie są rozpoznawane, są oznaczone etykietą Unknown1, Unknown2 itd. |
| Wartość ufności | W przypadku dobrze znanych twarzy lub twarzy, które są identyfikowane na liście z możliwością dostosowywania, szacowany poziom ufności każdej etykiety jest obliczany jako zakres od 0 do 1. Wskaźnik ufności reprezentuje pewność dokładności wyniku. Na przykład 82 procent pewności jest reprezentowana jako wynik 0,82. |