Deteção de objeto do Azure AI Video Indexer

Artigo
04/10/2024

O Azure AI Video Indexer pode detetar objetos em vídeos. O insight faz parte das predefinições de vídeo padrão e avançadas. A deteção de objetos está incluída nas informações que são o resultado de uma solicitação de Upload de vídeo .

Nota de transparência

Antes de usar a deteção de objetos, revise a visão geral da nota de transparência.

Chaves e definições JSON

Chave	Definição
ID	Número incremental de IDs dos objetos detetados no arquivo de mídia
Type	Tipo de objetos, por exemplo, Carro
ID da miniatura	GUID que representa uma única deteção do objeto
displayName	Nome a ser exibido na experiência do portal VI
WikiDataID	Um identificador exclusivo na estrutura WikiData
Instâncias	Lista de todas as instâncias que foram rastreadas
Confiança	Uma pontuação entre 0-1 indicando a confiança na deteção do objeto
ajustadoStart	Hora de início ajustada do vídeo ao usar o editor
ajustadoFim	Hora de término ajustada do vídeo ao usar o editor
iniciar	A hora em que o objeto aparece no quadro
end	o tempo em que o objeto não aparece mais no quadro

Resposta JSON

Objetos detetados e rastreados

Os objetos detetados e rastreados aparecem em "Objetos detetados" no arquivo insights.json baixado. Toda vez que um objeto único é detetado, ele recebe um ID. Esse objeto também é rastreado, o que significa que o modelo observa para que o objeto detetado retorne ao quadro. Se isso acontecer, outra instância será adicionada às instâncias do objeto com diferentes horários de início e fim.

Neste exemplo, o primeiro carro foi detetado e recebeu um ID de 1, uma vez que também foi o primeiro objeto detetado. Em seguida, foi detetado um carro diferente e esse carro recebeu o ID de 23, uma vez que era o 23.º objeto detetado. Mais tarde, o primeiro carro apareceu novamente e outra instância foi adicionada ao JSON. Aqui está o JSON resultante:

detectedObjects: [
    {
    id: 1,
    type: "Car",
    thumbnailId: "1c0b9fbb-6e05-42e3-96c1-abe2cd48t33",
    displayName: "car",
    wikiDataId: "Q1420",
    instances: [
        {
        confidence: 0.468,
        adjustedStart: "0:00:00",
        adjustedEnd: "0:00:02.44",
        start: "0:00:00",
        end: "0:00:02.44"
        },
        {
        confidence: 0.53,
        adjustedStart: "0:03:00",
        adjustedEnd: "0:00:03.55",
        start: "0:03:00",
        end: "0:00:03.55"
        }    
    ]
    },
    {
    id: 23,
    type: "Car",
    thumbnailId: "1c0b9fbb-6e05-42e3-96c1-abe2cd48t34",
    displayName: "car",
    wikiDataId: "Q1420",
    instances: [
        {
        confidence: 0.427,
        adjustedStart: "0:00:00",
        adjustedEnd: "0:00:14.24",
        start: "0:00:00",
        end: "0:00:14.24"
        }    
    ]
    }
]

Objetos suportados

avião
maçã
mochila
banana
luva de beisebol
cama
bancada
bicicleta
barco
livro
frasco
taça
brócolos
ônibus
bolo

carro
cenoura
telefone celular
cadeira
relógio
rato de computador
sofá
Chávena
mesa de jantar
donut
Hidrante
fork
Frisbee

secador de cabelo
bolsa
cachorro-quente
teclado
pipa
faca
computador portátil
micro-ondas
motocicleta
rato de computador
gravata
laranja
forno
parquímetro
pizza
planta envasada

sanduíche
tesoura
lavatório
skate
esquis
prancha de snowboard
colher
bola desportiva
Sinal de parada
mala
prancha de surf
ursinho de pelúcia

raquete de ténis
torradeira
WC
escova de dentes
Sinal de tráfego
Comboio
guarda-chuva
vaso
arma, ver Notas de classe específicas para a classe de arma
copo de vinho

Limitações

Há até 20 deteções por quadro para processamento padrão e avançado e 35 faixas por classe.
O tamanho do objeto não deve ser maior que 90% do quadro. Objetos muito grandes que se estendem consistentemente por uma grande parte do quadro podem não ser reconhecidos.
Objetos pequenos ou desfocados podem ser difíceis de detetar. Eles podem ser perdidos ou mal classificados (copo de vinho, xícara).
Objetos que são transitórios e aparecem em poucos quadros podem não ser reconhecidos.
Outros fatores que podem afetar a precisão da deteção de objetos incluem condições de pouca luz, movimento da câmera e oclusões.
O Azure AI Video Indexer suporta apenas objetos do mundo real. Não há suporte para animação ou CGI. Gráficos gerados por computador (como adesivos de notícias) podem produzir resultados estranhos.
Consulte as notas de classe específicas.

Notas de classe específicas

Materiais escritos encadernados

Fichários, folhetos e outros materiais escritos tendem a ser detetados como "livros".

Arma

A classe de armas inclui aparições de pistola e rifles.
Mãos segurando objetos escuros (principalmente, mas não limitado a objetos borrados) podem ser confundidas com armas.
Armas sobre um fundo muito escuro podem ser perdidas.
Vídeos de baixa qualidade (resolução, compressão, etc.) podem afetar a capacidade do modelo de identificar a arma.
Objetos mecânicos (incluindo robôs) e máquinas complicadas podem, por vezes, ser detetados como armas.
Para tarefas orientadas para recuperação, as faixas filtradas estão disponíveis em "filtered_tracks". Essas faixas tiveram uma pontuação geral de confiança mais baixa e não aparecerão no portal do Azure AI Video Indexer.

Experimente a deteção de objetos

Você pode experimentar a deteção de objetos com o portal da Web ou com a API.

Web Portal
API

Depois que um vídeo é carregado, você pode ver os insights. Na guia insights, você pode exibir a lista de objetos detetados e suas instâncias principais.

Informações

Selecione a guia Insights . Os objetos estão em ordem decrescente do número de aparições no vídeo.

Captura de ecrã da interface do separador Insights

Linha Cronológica

Selecione a guia Linha do tempo.

Captura de ecrã da interface do separador Linha cronológica

Na guia Linha do tempo, todos os objetos detetados são exibidos de acordo com o tempo de aparecimento. Quando você passa o mouse sobre uma deteção específica, ela mostra a porcentagem de certeza de deteção.

Jogador

O jogador marca automaticamente o objeto detetado com uma caixa delimitadora. O objeto selecionado no painel de informações é realçado em azul com o tipo de objeto e o número de série também exibidos.

Filtre as caixas delimitadoras em torno dos objetos selecionando o ícone da caixa delimitadora no leitor.

Em seguida, marque ou desmarque as caixas de seleção dos objetos detetados.

Captura de ecrã da filtragem de objetos detetados na interface do Media Player

Faça o download das informações selecionando Download e, em seguida, Insights (JSON).