Habilitar roupas em destaque de uma pessoa observada

Ao indexar um vídeo usando as configurações avançadas de vídeo do Azure AI Video Indexer, você pode exibir as roupas em destaque de uma pessoa observada. O insight fornece momentos dentro do vídeo em que as pessoas-chave são destaque e claramente visíveis. Elas incluem as coordenadas das pessoas, o carimbo de data/hora e o frame da imagem. Esse insight permite publicidade contextual em vídeo de alta qualidade. Por exemplo, anúncios de roupas relevantes são associados ao momento específico dentro do vídeo em que são exibidos.

Este artigo discute como obter o insight das roupas em destaque e como as imagens dessas roupas são classificadas.

Assistir a um vídeo de introdução

Assista ao vídeo curto a seguir que explica como visualizar e usar o insight de roupas em destaque.

Como ver roupas em destaque

O insight de roupas em destaque está disponível durante a indexação do arquivo pela escolha da predefinição de Opção avançada -> Vídeo avançado ou Vídeo + áudio avançados (em Indexação de vídeo + áudio). A indexação padrão não inclui esse insight.

As imagens de roupas em destaque são classificadas com base em alguns dos seguintes fatores: momentos-chave do vídeo, duração da aparição da pessoa, emoções baseadas em texto e eventos de áudio. Os insights detalha o quadro de classificação mais alto por cena, o que permite produzir anúncios contextuais por cena em todo o vídeo. O arquivo JSON é classificado pela sequência de cenas no vídeo, com cada cena tendo o quadro de classificação superior como resultado.

Observação

O insight de roupas em destaque só pode ser exibido no arquivo de artefato e o insight não está no site do Azure AI Video Indexer.

1. No canto superior direito, selecione para baixar o arquivo zip do artefato: Baixar ->Artefato (ZIP)
2. Abra o featuredclothing.zip.

O arquivo .zip contém dois objetos:

• featuredclothing.map.json – o arquivo contém instâncias de cada roupa em destaque, com as seguintes propriedades:

  • id – índice de classificação ("id": 1 é a roupa mais importante).
  • confidence – a pontuação da peça de roupa em destaque.
  • frameIndex – O melhor quadro da roupa.
  • timestamp – correspondente ao frameIndex.
  • opBoundingBox – Caixa delimitadora da pessoa.
  • faceBoundingBox – Caixa delimitadora do rosto da pessoa, se detectada.
  • fileName – ponto em que o melhor quadro da roupa é salvo.
  • sceneID – A cena em que a cena aparece.

  Um exemplo das roupas em destaque com "sceneID": 1.

  "instances": [
    	{
      		"confidence": 0.07,
  			"faceBoundingBox": {},
  			"fileName": "frame_100.jpg",
      		"frameIndex": 100,
      		"opBoundingBox": {
          			"x": 0.09062,
          			"y": 0.4,
  				"width": 0.11302,
          			"height": 0.59722
  				},
     			 "timestamp": "0:00:04",
      		"personName": "Observed Person #1",
      		"sceneId": 1
    	}
  

• featuredclothing.frames.map – Essa pasta contém imagens dos melhores quadros em que a roupa em destaque apareceu, correspondendo à propriedade fileName em cada instância em featuredclothing.map.json.

Limitações e suposições

É importante observar as limitações das roupas em destaque para evitar ou atenuar os efeitos de falsas detecções de imagens com baixa qualidade ou baixa relevância. 

• A pré-condição para as roupas em destaque é que a pessoa que usa as roupas pode ser encontrada no insight de pessoas observadas.
• Se o rosto de uma pessoa usando as roupas em destaque não for detectado, os resultados não incluirão a caixa delimitadora de rostos.
• Se uma pessoa em um vídeo usa mais de uma roupa, o algoritmo seleciona sua melhor roupa como uma única imagem de roupa em destaque.
• Quando apresentadas, as faixas são otimizadas para lidar com as pessoas observadas que aparecem com mais frequência na frente.
• Detecções erradas podem ocorrer quando as pessoas estão se sobrepondo.
• Os quadros que contêm pessoas desfocadas são mais propensos a resultados de baixa qualidade.

Para obter mais informações, consulte as limitações das pessoas observadas.