Få insikter om objektidentifiering

Artikel
10/09/2024

Objektidentifiering

Azure AI Video Indexer identifierar objekt i videor som bilar, handväskor och ryggsäckar och bärbara datorer.

Objekt som stöds

flygplan
äpple
ryggsäck
banan
baseball handske
säng
bänk
cykel
båt
bok
flaska
skål
broccoli
buss
kaka

car
morot
mobiltelefon
stol
klocka
mus
soffa
kopp
matbord
munk
brandpost
förgrening
frisbee

hårtork
handväska
varmkorv
tangentbord
drake
kniv
bärbar dator
mikrovåg
motorcykel
mus
slips
apelsin
ugn
parkeringsmätare
pizza
krukväxt

smörgås
sax
sjunka
skateboard
skidor
snowboard
sked
sportboll
Stoppskylt
resväska
surfbräda
nallebjörn

tennisracket
brödrost
toalett
tandborste
Trafikljus
tåg
paraply
vas
vinglas

Visa insikts-JSON med webbportalen

När du har laddat upp och indexerat en video är insikter tillgängliga i JSON-format för nedladdning med hjälp av webbportalen.

Välj fliken Bibliotek .
Välj media som du vill arbeta med.
Välj Ladda ned och Insikter (JSON). JSON-filen öppnas på en ny webbläsarflik.
Leta efter nyckelparet som beskrivs i exempelsvaret.

Använda API:et

Använd begäran hämta videoindex. Vi rekommenderar att du skickar &includeSummarizedInsights=false.
Leta efter nyckelparen som beskrivs i exempelsvaret.

Exempelsvar

Identifierade och spårade objekt visas under "identifierade objekt" i den nedladdade insights.json filen. Varje gång ett unikt objekt identifieras får det ett ID. Det objektet spåras också, vilket innebär att modellen tittar på för att det identifierade objektet ska återgå till ramen. Om den gör det läggs en annan instans till i instanserna för objektet med olika start- och sluttider.

I det här exemplet upptäcktes den första bilen och fick ett ID på 1 eftersom det också var det första objektet som upptäcktes. Sedan upptäcktes en annan bil och den bilen fick ID på 23 eftersom det var det 23:e objektet som upptäcktes. Senare dök den första bilen upp igen och en annan instans lades till i JSON. Här är den resulterande JSON:en:

detectedObjects: [
    {
    id: 1,
    type: "Car",
    thumbnailId: "1c0b9fbb-6e05-42e3-96c1-abe2cd48t33",
    displayName: "car",
    wikiDataId: "Q1420",
    instances: [
        {
        confidence: 0.468,
        adjustedStart: "0:00:00",
        adjustedEnd: "0:00:02.44",
        start: "0:00:00",
        end: "0:00:02.44"
        },
        {
        confidence: 0.53,
        adjustedStart: "0:03:00",
        adjustedEnd: "0:00:03.55",
        start: "0:03:00",
        end: "0:00:03.55"
        }    
    ]
    },
    {
    id: 23,
    type: "Car",
    thumbnailId: "1c0b9fbb-6e05-42e3-96c1-abe2cd48t34",
    displayName: "car",
    wikiDataId: "Q1420",
    instances: [
        {
        confidence: 0.427,
        adjustedStart: "0:00:00",
        adjustedEnd: "0:00:14.24",
        start: "0:00:00",
        end: "0:00:14.24"
        }    
    ]
    }
]

Tangent	Definition
ID	Inkrementellt antal ID:t för de identifierade objekten i mediefilen
Typ	Typ av objekt, till exempel Bil
ThumbnailID	GUID som representerar en enda identifiering av objektet
displayName	Namn som ska visas i VI-portalens upplevelse
WikiDataID	En unik identifierare i WikiData-strukturen
Instanser	Lista över alla instanser som har spårats
Konfidensbedömning	En poäng mellan 0–1 som anger konfidensen för objektidentifiering
adjustedStart	justerad starttid för videon när du använder redigeraren
adjustedEnd	justerad sluttid för videon när du använder redigeraren
start	den tid då objektet visas i ramen
end	tiden då objektet inte längre visas i ramen

Komponenter

Inga komponenter har definierats för objektidentifiering.

Information om transparens

Viktigt!

Det är viktigt att läsa översikten över transparensanteckningen för alla VI-funktioner. Varje insikt har också egna transparensanteckningar:

Det finns upp till 20 identifieringar per bildruta för standardbearbetning och avancerad bearbetning och 35 spår per klass.
Objektstorleken får inte vara större än 90 procent av ramen. Mycket stora objekt som konsekvent sträcker sig över en stor del av ramen kanske inte känns igen.
Små eller suddiga objekt kan vara svåra att identifiera. De kan antingen missas eller felklassificeras (vinglas, kopp).
Objekt som är tillfälliga och visas i mycket få bildrutor kanske inte känns igen.
Andra faktorer som kan påverka objektidentifieringens noggrannhet är låga ljusförhållanden, kamerarörelse och ocklusioner.
Azure AI Video Indexer stöder endast verkliga objekt. Det finns inget stöd för animering eller CGI. Datorgenererad grafik (till exempel nyhetsklistermärken) kan ge konstiga resultat.
Pärmar, broschyrer och annat skriftligt material tenderar att upptäckas som "bok".

Exempelkod

Se alla exempel för VI

Dela via