Získání přehledů detekce objektů

Článek
10/09/2024

Detekce objektů

Azure AI Video Indexer detekuje objekty ve videích, jako jsou auta, kabelky a batohy a přenosné počítače.

Podporované objekty

letadlo
jablko
batoh
banán
baseballová rukavice
postel
lavice
bicykl
člun
kniha
láhev
mísa
brokolice
autobus
dort

car
mrkev
mobilní telefon
židle
clock
myš počítače
gauč
šálek
jídelní stůl
kobliha
požární hydrant
fork
frisbee

fén
kabelka
vuřt v housce
klávesnice
drak
nůž
notebook
mikrovlna
motocykl
myš počítače
kravata
pomeranč
trouba
parkovací hodiny
pizza
rostlina v tečkované nátě

sendvič
nůžky
umyvadlo
skateboard
lyže
snowboard
lžíce
sportovní míč
Značka Stop
kufr
surfovací prkno
medvídek

tenisová raketa
toustovač
WC
zubní kartáček
Semafor
vlak
deštník
váza
víno skleničky

Zobrazení kódu JSON přehledu pomocí webového portálu

Po nahrání a indexování videa jsou přehledy k dispozici ve formátu JSON ke stažení pomocí webového portálu.

Vyberte kartu Knihovna.
Vyberte multimédia, se kterými chcete pracovat.
Vyberte Stáhnout a přehledy (JSON). Soubor JSON se otevře na nové kartě prohlížeče.
Vyhledejte pár klíčů popsaný v ukázkové odpovědi.

Použití rozhraní API

Použijte požadavek Získat index videa. Doporučujeme předat &includeSummarizedInsights=false.
Vyhledejte páry klíčů popsané v ukázkové odpovědi.

Příklad odpovědi

Zjištěné a sledované objekty se ve stažené insights.json souboru zobrazí v části Zjištěné objekty. Pokaždé, když se zjistí jedinečný objekt, dostane ID. Tento objekt je také sledován, což znamená, že model sleduje zjištěný objekt, aby se vrátil do rámce. Pokud ano, přidá se do instancí objektu jiná instance s různými počátečními a koncovými časy.

V tomto příkladu se zjistilo první auto a získalo ID 1, protože se zjistilo také první objekt. Pak se zjistilo jiné auto a že auto bylo přiděleno ID 23, protože byl zjištěn 23. objekt. Později se první auto znovu objevilo a do FORMÁTU JSON byla přidána další instance. Tady je výsledný json:

detectedObjects: [
    {
    id: 1,
    type: "Car",
    thumbnailId: "1c0b9fbb-6e05-42e3-96c1-abe2cd48t33",
    displayName: "car",
    wikiDataId: "Q1420",
    instances: [
        {
        confidence: 0.468,
        adjustedStart: "0:00:00",
        adjustedEnd: "0:00:02.44",
        start: "0:00:00",
        end: "0:00:02.44"
        },
        {
        confidence: 0.53,
        adjustedStart: "0:03:00",
        adjustedEnd: "0:00:03.55",
        start: "0:03:00",
        end: "0:00:03.55"
        }    
    ]
    },
    {
    id: 23,
    type: "Car",
    thumbnailId: "1c0b9fbb-6e05-42e3-96c1-abe2cd48t34",
    displayName: "car",
    wikiDataId: "Q1420",
    instances: [
        {
        confidence: 0.427,
        adjustedStart: "0:00:00",
        adjustedEnd: "0:00:14.24",
        start: "0:00:00",
        end: "0:00:14.24"
        }    
    ]
    }
]

Klíč	Definice
ID	Přírůstkový počet ID zjištěných objektů v mediálním souboru
Typ	Typ objektů, například Car
ThumbnailID	IDENTIFIKÁTOR GUID představující jedinou detekci objektu
displayName	Název, který se má zobrazit v prostředí portálu VI
WikiDataID	Jedinečný identifikátor ve struktuře WikiData
Instance	Seznam všech sledovaných instancí
Spolehlivost	Skóre mezi 0–1 označující spolehlivost detekce objektů
adjustStart	upravený čas spuštění videa při použití editoru
adjustEnd	upravený čas ukončení videa při použití editoru
start	čas, kdy se objekt zobrazí v rámci
end	čas, kdy se objekt již v rámci nezobrazuje

Komponenty

Pro detekci objektů nejsou definovány žádné komponenty.

Poznámky k transparentnosti

Důležité

Je důležité si přečíst přehled poznámek transparentnosti pro všechny funkce VI. Každý přehled má také vlastní poznámky k transparentnosti:

Pro standardní a pokročilé zpracování existuje až 20 detekcí a 35 stop na třídu.
Velikost objektu by neměla být větší než 90 procent rámce. Velmi velké objekty, které konzistentně pokrývají velkou část rámce, nemusí být rozpoznány.
Malé nebo rozmazané objekty můžou být obtížné rozpoznat. Můžou být buď zmeškané, nebo chybně klasifikované (sklenička vína, šálek).
Objekty, které jsou přechodné a zobrazují se ve velmi málo rámcích, nemusí být rozpoznány.
Mezi další faktory, které mohou ovlivnit přesnost detekce objektů, patří nízké podmínky světla, pohyb kamery a okluze.
Azure AI Video Indexer podporuje pouze skutečné objekty. Animace ani CGI nepodporuje. Počítačové vygenerované grafiky (například informační nálepky) můžou vést k podivným výsledkům.
Pořadače, brožury a další písemné materiály jsou obvykle zjištěny jako "kniha".

Ukázkový kód

Zobrazit všechny ukázky pro VI

Sdílet prostřednictvím