Uzyskiwanie szczegółowych informacji o identyfikacji etykiet

Artykuł
07/26/2024

Ważne

Termin migracji zawartości usługi Azure Video Indexer z powodu wycofania usługi Azure Media Services upłynął. Aby uzyskać więcej informacji, zobacz przewodnik po wycofaniu.

Identyfikacja etykiet

Identyfikacja etykiet to funkcja sztucznej inteligencji usługi Azure AI Video Indexer, która identyfikuje obiekty wizualne, takie jak okulary przeciwsłoneczne lub akcje, takie jak pływanie, pojawiające się na nagraniu wideo pliku multimedialnego. Istnieje wiele kategorii identyfikacji etykiet, a po wyodrębnieniu wystąpienia identyfikacji etykiet są wyświetlane na karcie Szczegółowe informacje i można je przetłumaczyć na ponad 50 języków. Kliknięcie etykiety powoduje otwarcie wystąpienia w pliku multimedialnym, wybierz pozycję Odtwórz poprzedni lub Odtwórz dalej, aby wyświetlić więcej wystąpień.

Przypadki użycia identyfikacji etykiet

Wyodrębnianie etykiet z ramek na potrzeby kontekstowej reklamy lub znakowania. Na przykład umieszczenie reklamy na piwo po nagraniu na plaży.
Tworzenie słownego opisu materiału w celu zwiększenia ułatwień dostępu dla osób niedowidzących, na przykład scenorysa w filmach.
Głębokie wyszukiwanie archiwów multimediów w celu uzyskania szczegółowych informacji na temat określonych obiektów w celu utworzenia historii funkcji dla wiadomości.
Używanie odpowiednich etykiet do tworzenia zawartości zwiastunów, wyróżniania bębnów, mediów społecznościowych lub nowych klipów.

Wyświetlanie kodu JSON szczegółowych informacji za pomocą portalu internetowego

Po przekazaniu i zaindeksowaniu klipu wideo szczegółowe informacje są dostępne w formacie JSON do pobrania przy użyciu portalu internetowego.

Wybierz kartę Biblioteka .
Wybierz multimedia, z którym chcesz pracować.
Wybierz pozycję Pobierz i Szczegółowe informacje (JSON). Plik JSON zostanie otwarty na nowej karcie przeglądarki.
Poszukaj pary kluczy opisanej w przykładowej odpowiedzi.

Używanie interfejsu API

Użyj żądania Pobierz indeks wideo. Zalecamy przekazanie &includeSummarizedInsights=falseelementu .
Poszukaj pary kluczy opisanej w przykładowej odpowiedzi.

Przykładowa odpowiedź

    "labels": [
        {
        "id": 1,
        "name": "human face",
        "language": "en-US",
        "instances": [
            {
            "confidence": 0.9987,
            "adjustedStart": "0:00:00",
            "adjustedEnd": "0:00:25.6",
            "start": "0:00:00",
            "end": "0:00:25.6"
            },
            {
            "confidence": 0.9989,
            "adjustedStart": "0:01:21.067",
            "adjustedEnd": "0:01:41.334",
            "start": "0:01:21.067",
            "end": "0:01:41.334"
            }
        ]
        },
        {
        "id": 2,
        "name": "person",
        "referenceId": "person",
        "language": "en-US",
        "instances": [
            {
            "confidence": 0.9959,
            "adjustedStart": "0:00:00",
            "adjustedEnd": "0:00:26.667",
            "start": "0:00:00",
            "end": "0:00:26.667"
            },
            {
            "confidence": 0.9974,
            "adjustedStart": "0:01:21.067",
            "adjustedEnd": "0:01:41.334",
            "start": "0:01:21.067",
            "end": "0:01:41.334"
            }
        ]
        },

Składniki

Podczas procedury Etykiety obiekty w pliku multimedialnym są przetwarzane w następujący sposób:

Składnik	Definicja
Źródło	Użytkownik przekazuje plik źródłowy do indeksowania.
Znakowanie	Obrazy są oznakowane i oznaczone etykietami. Na przykład drzwi, krzesło, kobieta, słuchawki, dżinsy.
Filtrowanie i agregacja	Tagi są filtrowane zgodnie z ich poziomem ufności i agregowane zgodnie z ich kategorią.
Poziom ufności	Szacowany poziom ufności każdej etykiety jest obliczany jako zakres od 0 do 1. Wskaźnik ufności reprezentuje pewność dokładności wyniku. Na przykład 82% pewność jest reprezentowana jako wynik 0,82.

Uwagi dotyczące przezroczystości

Ważne

Ważne jest, aby zapoznać się z omówieniem noty przejrzystości dla wszystkich funkcji VI. Każda analiza zawiera również własne uwagi dotyczące przejrzystości:

Starannie zastanów się nad dokładnością wyników, aby podwyższyć poziom dokładności wykrywania, sprawdzić jakość wideo, wideo o niskiej jakości może mieć wpływ na wykryte szczegółowe informacje.
Należy uważnie rozważyć użycie w celu egzekwowania prawa, że etykiety potencjalnie nie mogą wykryć części filmu wideo. Aby zapewnić uczciwe i wysokiej jakości decyzje, połącz etykiety z nadzorem człowieka.
Nie używaj identyfikacji etykiet do podejmowania decyzji, które mogą mieć poważne negatywne skutki. Modele uczenia maszynowego mogą spowodować niewykryte lub nieprawidłowe dane wyjściowe klasyfikacji. Decyzje oparte na nieprawidłowych danych wyjściowych mogą mieć poważny negatywny wpływ. Ponadto zaleca się uwzględnienie przeglądu przez człowieka decyzji, które mogą mieć poważny wpływ na osoby.

Przykładowy kod

Zobacz wszystkie przykłady dla vi

Udostępnij za pośrednictwem