Rozpoznávání objektů Ve službě Azure AI Video Indexer

Článek
04/10/2024

Azure AI Video Indexer dokáže detekovat objekty ve videích. Přehled je součástí standardních a pokročilých předvoleb videa. Rozpoznávání objektů je součástí přehledů, které jsou výsledkem požadavku nahrát video .

Poznámka k průhlednosti

Před použitím detekce objektů si projděte přehled poznámek k transparentnosti.

Klíče a definice JSON

Klíč	Definice
ID	Přírůstkový počet ID zjištěných objektů v mediálním souboru
Typ	Typ objektů, například Car
ThumbnailID	IDENTIFIKÁTOR GUID představující jedinou detekci objektu
displayName	Název, který se má zobrazit v prostředí portálu VI
WikiDataID	Jedinečný identifikátor ve struktuře WikiData
Instance	Seznam všech sledovaných instancí
Spolehlivost	Skóre mezi 0–1 označující spolehlivost detekce objektů
adjustStart	upravený čas spuštění videa při použití editoru
adjustEnd	upravený čas ukončení videa při použití editoru
start	čas, kdy se objekt zobrazí v rámci
end	čas, kdy se objekt již v rámci nezobrazuje

Odpověď JSON

Zjištěné a sledované objekty

Zjištěné a sledované objekty se ve stažené insights.json souboru zobrazí v části Zjištěné objekty. Pokaždé, když se zjistí jedinečný objekt, dostane ID. Tento objekt je také sledován, což znamená, že model sleduje zjištěný objekt, aby se vrátil do rámce. Pokud ano, přidá se do instancí objektu jiná instance s různými počátečními a koncovými časy.

V tomto příkladu se zjistilo první auto a získalo ID 1, protože se zjistilo také první objekt. Pak se zjistilo jiné auto a že auto bylo přiděleno ID 23, protože byl zjištěn 23. objekt. Později se první auto znovu objevilo a do FORMÁTU JSON byla přidána další instance. Tady je výsledný json:

detectedObjects: [
    {
    id: 1,
    type: "Car",
    thumbnailId: "1c0b9fbb-6e05-42e3-96c1-abe2cd48t33",
    displayName: "car",
    wikiDataId: "Q1420",
    instances: [
        {
        confidence: 0.468,
        adjustedStart: "0:00:00",
        adjustedEnd: "0:00:02.44",
        start: "0:00:00",
        end: "0:00:02.44"
        },
        {
        confidence: 0.53,
        adjustedStart: "0:03:00",
        adjustedEnd: "0:00:03.55",
        start: "0:03:00",
        end: "0:00:03.55"
        }    
    ]
    },
    {
    id: 23,
    type: "Car",
    thumbnailId: "1c0b9fbb-6e05-42e3-96c1-abe2cd48t34",
    displayName: "car",
    wikiDataId: "Q1420",
    instances: [
        {
        confidence: 0.427,
        adjustedStart: "0:00:00",
        adjustedEnd: "0:00:14.24",
        start: "0:00:00",
        end: "0:00:14.24"
        }    
    ]
    }
]

Podporované objekty

Letadlo
Apple
Batoh
Banán
baseballová rukavice
Postele
Lavice
Jízdních kol
Lodi
Kniha
Láhev
Misku
Brokolice
Autobus
Dort

car
Mrkev
mobilní telefon
Židle
clock
myš počítače
Gauči
Pohár
jídelní stůl
Kobliha
hydrant požáru
fork
Frisbee

Fén
Kabelka
hot dog
klávesnice
Kite
Nůž
Notebook
Mikrovlnnou troubou
Motocykl
myš počítače
Kravata
Oranžová
Trouba
parkovací měřič
pizza
rostlina v tečkované nátě

Sendvič
Nůžky
Dřez
Skateboard
Lyže
Snowboard
Lžíce
sportovní míč
stop sign
Kufr
Surf
Medvídek

tenisová raketa
Topinkovač
Toaletní
Zubní kartáček
semafor
Vlak
Deštník
Váza
zbraň, viz poznámky ke konkrétním třídám pro třídu zbraní
víno skleničky

Omezení

Pro standardní a pokročilé zpracování existuje až 20 detekcí a 35 stop na třídu.
Velikost objektu by neměla být větší než 90 procent rámce. Velmi velké objekty, které konzistentně pokrývají velkou část rámce, nemusí být rozpoznány.
Malé nebo rozmazané objekty můžou být obtížné rozpoznat. Můžou být buď zmeškané, nebo chybně klasifikované (sklenička vína, šálek).
Objekty, které jsou přechodné a zobrazují se ve velmi málo rámcích, nemusí být rozpoznány.
Mezi další faktory, které mohou ovlivnit přesnost detekce objektů, patří nízké podmínky světla, pohyb kamery a okluze.
Azure AI Video Indexer podporuje pouze skutečné objekty. Animace ani CGI nepodporuje. Počítačové vygenerované grafiky (například informační nálepky) můžou vést k podivným výsledkům.
Podívejte se na konkrétní poznámky předmětu.

Poznámky ke konkrétním třídám

Vázané písemné materiály

Pořadače, brožury a další písemné materiály jsou obvykle zjištěny jako "kniha".

Zbraň

Třída zbraní zahrnuje vzhled ruční zbraně a pušky.
Ruce držící tmavé objekty (většinou, ale ne jen na rozmazané objekty) mohou být zaměňovány se zbraněmi.
Zbraně nad velmi tmavým pozadím mohou být zmeškané.
Videa s nízkou kvalitou (rozlišení, komprese atd.) můžou ovlivnit schopnost modelu identifikovat zbraň.
Mechanické objekty (včetně robotů) a komplikovaných strojů mohou být někdy zjištěny jako zbraně.
Pro úkoly orientované na úplnost jsou filtrované stopy k dispozici v části "filtered_tracks". Tyto stopy měly nižší celkové skóre spolehlivosti a nezobrazí se na portálu Azure AI Video Indexer.

Vyzkoušení detekce objektů

Detekci objektů můžete vyzkoušet pomocí webového portálu nebo rozhraní API.

Webový portál
Rozhraní API

Po nahrání videa můžete zobrazit přehledy. Na kartě Přehledy můžete zobrazit seznam zjištěných objektů a jejich hlavní instance.

Přehledy

Vyberte kartu Přehledy. Objekty jsou v sestupném pořadí počtu výskytů ve videu.

snímek obrazovky s rozhraním karty Přehledy

Časová osa

Vyberte kartu Časová osa.

snímek obrazovky s rozhraním karty časová osa

Na kartě časová osa se všechny zjištěné objekty zobrazí podle času výskytu. Když najedete myší na konkrétní detekci, zobrazí se procento jistoty detekce.

Player

Přehrávač automaticky označí rozpoznaný objekt ohraničujícím rámečkem. Vybraný objekt z podokna přehledů je zvýrazněn modře s typem objektů a sériovým číslem.

Vyfiltrujte ohraničující pole kolem objektů výběrem ikony ohraničujícího rámečku na přehrávači.

Potom zaškrtněte nebo zrušte zaškrtnutí políček zjištěných objektů.

Snímek obrazovky s objekty filtrujícími zjištěné objekty v rozhraní přehrávače

Stáhněte si přehledy tak, že vyberete Stáhnout a pak Přehledy (JSON).