Udostępnij za pośrednictwem

Wykrywanie obiektów usługi Azure AI Video Indexer

  • Artykuł

Usługa Azure AI Video Indexer może wykrywać obiekty w filmach wideo. Szczegółowe informacje są częścią standardowych i zaawansowanych ustawień wstępnych wideo. Wykrywanie obiektów jest uwzględniane w szczegółowych informacji, które są wynikiem żądania przekazywania wideo .

Notatka dotycząca przezroczystości

Przed użyciem wykrywania obiektów zapoznaj się z omówieniem przezroczystości.

Klucze i definicje JSON

Klawisz Definicja
ID Przyrostowa liczba identyfikatorów wykrytych obiektów w pliku multimedialnym
Typ Typ obiektów, na przykład Samochód
Identyfikator miniatury Identyfikator GUID reprezentujący pojedyncze wykrywanie obiektu
displayName Nazwa, która ma być wyświetlana w środowisku portalu VI
Identyfikator wikiDataID Unikatowy identyfikator w strukturze WikiData
Wystąpienia Lista wszystkich śledzonych wystąpień
Ufność Wynik z zakresu od 0 do 1 wskazujący pewność wykrywania obiektu
skorygowany start skorygowany czas rozpoczęcia filmu wideo podczas korzystania z edytora
skorygowaneend skorygowany czas zakończenia filmu wideo podczas korzystania z edytora
start czas wyświetlania obiektu w ramce
end czas, przez który obiekt nie jest już wyświetlany w ramce

Odpowiedź w formacie JSON

Wykryte i śledzone obiekty

Wykryte i śledzone obiekty są wyświetlane w obszarze "wykryte obiekty" w pobranym pliku insights.json . Za każdym razem, gdy jest wykrywany unikatowy obiekt, otrzymuje on identyfikator. Ten obiekt jest również śledzony, co oznacza, że model obserwuje wykryty obiekt, aby powrócić do ramki. Jeśli tak, inne wystąpienie zostanie dodane do wystąpień obiektu o różnych godzinach rozpoczęcia i zakończenia.

W tym przykładzie wykryto pierwszy samochód i otrzymał identyfikator 1, ponieważ był to również pierwszy wykryty obiekt. Następnie wykryto inny samochód i że samochód otrzymał identyfikator 23, ponieważ został wykryty 23 obiekt. Później pojawił się ponownie pierwszy samochód, a kolejne wystąpienie zostało dodane do formatu JSON. Oto wynikowy kod JSON:

detectedObjects: [
    {
    id: 1,
    type: "Car",
    thumbnailId: "1c0b9fbb-6e05-42e3-96c1-abe2cd48t33",
    displayName: "car",
    wikiDataId: "Q1420",
    instances: [
        {
        confidence: 0.468,
        adjustedStart: "0:00:00",
        adjustedEnd: "0:00:02.44",
        start: "0:00:00",
        end: "0:00:02.44"
        },
        {
        confidence: 0.53,
        adjustedStart: "0:03:00",
        adjustedEnd: "0:00:03.55",
        start: "0:03:00",
        end: "0:00:03.55"
        }    
    ]
    },
    {
    id: 23,
    type: "Car",
    thumbnailId: "1c0b9fbb-6e05-42e3-96c1-abe2cd48t34",
    displayName: "car",
    wikiDataId: "Q1420",
    instances: [
        {
        confidence: 0.427,
        adjustedStart: "0:00:00",
        adjustedEnd: "0:00:14.24",
        start: "0:00:00",
        end: "0:00:14.24"
        }    
    ]
    }
]

Obsługiwane obiekty

  • Samolot
  • Apple
  • Plecak
  • Banana
  • rękawica baseballowa
  • Łóżko
  • Ławce
  • Rowerów
  • Łodzi
  • Dokonać rezerwacji
  • Butelka
  • Miski
  • Brokuły
  • Autobus
  • Ciasto
  • samochód
  • Marchew
  • telefon komórkowy
  • Krzesło
  • zegar
  • mysz komputerowa
  • Kanapie
  • Puchar
  • Stół
  • Pączek
  • hydrant pożarowy
  • rozwidlenie
  • Frisbee
  • Suszarka
  • Torebka
  • hot dog
  • klawiatura
  • Latawca
  • Nóż
  • Laptop
  • Kuchenką mikrofalową
  • Motocykl
  • mysz komputerowa
  • Krawat
  • Pomarańczowy
  • Piekarnik
  • miernik parkingu
  • pizza
  • roślina garnkowa
  • Sandwich
  • Nożyczki
  • Zlew
  • Deskorolka
  • Narty
  • Snowboard
  • Łyżka
  • piłka sportowa
  • znak zatrzymania
  • Walizka
  • Surfboard
  • Misia

Ograniczenia

  • Istnieje do 20 wykryć na ramkę dla standardowego i zaawansowanego przetwarzania oraz 35 ścieżek na klasę.
  • Rozmiar obiektu nie powinien być większy niż 90 procent ramki. Bardzo duże obiekty, które stale rozciągają się na dużą część ramki, mogą nie być rozpoznawane.
  • Małe lub rozmyte obiekty mogą być trudne do wykrycia. Mogą być one pominięte lub błędnie sklasyfikowane (kieliszek wina, filiżanka).
  • Obiekty, które są przejściowe i pojawiają się w bardzo niewielu ramkach, mogą nie zostać rozpoznane.
  • Inne czynniki, które mogą mieć wpływ na dokładność wykrywania obiektu, obejmują warunki niskiego oświetlenia, ruch kamery i okluzji.
  • Usługa Azure AI Video Indexer obsługuje tylko obiekty w świecie rzeczywistym. Nie ma obsługi animacji ani CGI. Wygenerowane przez komputer grafiki (takie jak naklejki informacyjne) mogą powodować dziwne wyniki.
  • Zobacz konkretne uwagi dotyczące klasy.

Uwagi dotyczące określonej klasy

Powiązane materiały pisemne

Bindery, broszury i inne materiały pisane wydają się być wykrywane jako "książka".

Broń

  • Klasa broni obejmuje występy pistoletu ręcznego i karabinów.
  • Ręce trzymające ciemne przedmioty (głównie, ale nie tylko do rozmytych obiektów) mogą być mylone z bronią.
  • Broń na bardzo ciemnym tle można przegapić.
  • Filmy wideo o niskiej jakości (rozdzielczość, kompresja itp.) mogą mieć wpływ na zdolność modelu do identyfikowania broni.
  • Obiekty mechaniczne (w tym roboty) i skomplikowane maszyny mogą czasami być wykrywane jako broń.
  • W przypadku zadań zorientowanych na kompletność przefiltrowane ścieżki są dostępne w obszarze "filtered_tracks". Te ścieżki miały niższy ogólny współczynnik ufności i nie będą wyświetlane w portalu usługi Azure AI Video Indexer.

Spróbuj wykryć obiekt

Wykrywanie obiektów można wypróbować za pomocą portalu internetowego lub interfejsu API.

Po przekazaniu wideo możesz wyświetlić szczegółowe informacje. Na karcie Szczegółowe informacje można wyświetlić listę wykrytych obiektów i ich głównych wystąpień.

Wyniki analiz

Wybierz kartę Szczegółowe informacje. Obiekty są w kolejności malejącej liczby wystąpień w filmie wideo.

zrzut ekranu przedstawiający interfejs karty szczegółowych informacji

Oś czasu

Wybierz kartę Oś czasu .

zrzut ekranu przedstawiający interfejs karty osi czasu

Na karcie osi czasu wszystkie wykryte obiekty są wyświetlane zgodnie z czasem pojawienia się. Po umieszczeniu wskaźnika myszy na określonym wykryciu zostanie wyświetlona wartość procentowa pewności wykrywania.

Zawodnik

Gracz automatycznie oznacza wykryty obiekt za pomocą pola ograniczenia. Wybrany obiekt z okienka szczegółowych informacji jest wyróżniony na niebiesko z wyświetlanym typem obiektów i numerem seryjnym.

Filtruj pola ograniczenia wokół obiektów, wybierając ikonę pola ograniczenia na odtwarzaczu.

zrzut ekranu przedstawiający interfejs odtwarzacza ikony filtrowania obiektów

Następnie zaznacz lub usuń zaznaczenie pól wyboru wykrytych obiektów.

zrzut ekranu przedstawiający filtrowanie obiektów wykrytych w interfejsie odtwarzacza

Pobierz szczegółowe informacje, wybierając pozycję Pobierz, a następnie Szczegółowe informacje (JSON).