Compartilhar via

Obter insights de detecção de objetos

Este artigo mostra como obter os insights de detecção de objetos do Azure AI Video Indexer. A detecção de objetos é um recurso que detecta e rastreia objetos em vídeos. Ele pode ser usado para encontrar objetos como carros, bolsas, mochilas e laptops.

Objetos com suporte

  • avião
  • maçã
  • mochila
  • banana
  • luva de beisebol
  • cama
  • banco
  • bicicleta
  • barco
  • livro
  • garrafa
  • tigela
  • brócolis
  • ônibus
  • bolo
  • carro
  • cenoura
  • celular
  • cadeira
  • relógio
  • mouse de computador
  • sofá
  • xícara
  • mesa de jantar
  • Donut
  • hidrante
  • garfo
  • disco voador
  • secador de cabelo
  • bolsa
  • cachorro-quente
  • teclado
  • pipa
  • faca
  • Laptop
  • microondas
  • motocicleta
  • mouse de computador
  • gravata
  • laranja
  • forno
  • parquímetro
  • pizza
  • planta em vaso
  • sanduíche
  • tesoura
  • coletor
  • skate
  • esquis
  • Snowboard
  • colher
  • bola esportiva
  • placa de pare
  • mala
  • prancha
  • urso de pelúcia
  • raquete de tênis
  • torradeira
  • toalete
  • escova de dentes
  • semáforo
  • treinar
  • guarda-chuva
  • vaso
  • taça de vinho

Exibir o JSON do insight com o portal da Web

Depois de carregar e indexar um vídeo, baixe os insights no formato JSON do portal online.

  1. Selecione a guia Biblioteca.
  2. Selecione a mídia desejada.
  3. Selecione Baixar e selecione Insights (JSON). O arquivo JSON é aberto em uma nova guia do navegador.
  4. Localize o par de chaves descrito na resposta de exemplo.

Usar a API

  1. Use uma solicitação Obter Índice de Vídeo . Passe &includeSummarizedInsights=false.
  2. Localize os pares de chaves descritos na resposta de exemplo.

Exemplo de resposta

detectedObjects Objetos detectados e rastreados aparecem no arquivo deinsights.json baixado. Sempre que um objeto exclusivo é detectado, o objeto recebe uma ID. Esse objeto também é rastreado, o que significa que o modelo observa o objeto detectado retornar ao quadro. Em caso afirmativo, outra instância será adicionada às instâncias do objeto com horários de início e término diferentes.

Neste exemplo, o primeiro carro foi detectado e recebeu uma ID de 1, pois também foi o primeiro objeto detectado. Em seguida, um carro diferente foi detectado e esse carro recebeu a identificação de 23, pois foi o vigésimo terceiro objeto detectado. Mais tarde, o primeiro carro apareceu novamente e outra instância foi adicionada ao JSON. Aqui está o JSON resultante:

detectedObjects: [
    {
    id: 1,
    type: "Car",
    thumbnailId: "1c0b9fbb-6e05-42e3-96c1-abe2cd48t33",
    displayName: "car",
    wikiDataId: "Q1420",
    instances: [
        {
        confidence: 0.468,
        adjustedStart: "0:00:00",
        adjustedEnd: "0:00:02.44",
        start: "0:00:00",
        end: "0:00:02.44"
        },
        {
        confidence: 0.53,
        adjustedStart: "0:03:00",
        adjustedEnd: "0:00:03.55",
        start: "0:03:00",
        end: "0:00:03.55"
        }    
    ]
    },
    {
    id: 23,
    type: "Car",
    thumbnailId: "1c0b9fbb-6e05-42e3-96c1-abe2cd48t34",
    displayName: "car",
    wikiDataId: "Q1420",
    instances: [
        {
        confidence: 0.427,
        adjustedStart: "0:00:00",
        adjustedEnd: "0:00:14.24",
        start: "0:00:00",
        end: "0:00:14.24"
        }    
    ]
    }
]
Chave Definição
Número de Identificação Número incremental de IDs dos objetos detectados no arquivo de mídia
Tipo Tipo de objetos, por exemplo, Carro
ThumbnailID GUID que representa uma única detecção do objeto
nome de exibição Nome a ser exibido na experiência do portal VI
WikiDataID Um identificador único na estrutura do WikiData
Instâncias Lista de todas as instâncias que foram rastreadas
Confiança Uma pontuação entre 0 e 1 indicando a confiança na detecção de objetos
início ajustado hora de início ajustada do vídeo ao usar o editor
fim ajustado hora de término ajustada do vídeo ao usar o editor
iniciar a hora em que o objeto aparece no quadro
encerrar o tempo em que o objeto não aparece mais no quadro

Componentes

Nenhum componente é definido para detecção de objetos.

Observações de transparência

Importante

Leia a visão geral da nota de transparência de todos os recursos VI. Cada insight também tem sua própria nota de transparência.

  • Há até 20 detecções por quadro para processamento padrão e avançado e 35 faixas por classe.
  • O tamanho do objeto não deve ser maior que 90% do quadro. Objetos grandes que se estendem consistentemente por uma grande parte do quadro podem não ser reconhecidos.
  • Objetos pequenos ou borrados podem ser difíceis de detectar. Eles podem não ser detectados ou serem classificados incorretamente (taça de vinho, copo).
  • Objetos transitórios e exibidos em poucos quadros podem não ser reconhecidos.
  • Outros fatores que podem afetar a precisão da detecção de objetos incluem condições de pouca luz, movimento da câmera e oclusões.
  • O Azure AI Video Indexer dá suporte apenas a objetos do mundo real. Não há suporte para animação ou CGI. Gráficos gerados por computador (como adesivos de notícias) podem produzir resultados estranhos.
  • Pastas, folhetos e outros materiais escritos tendem a ser detectados como Book.

Código de exemplo

Veja todas as amostras para VI