Nota
O acesso a esta página requer autorização. Pode tentar iniciar sessão ou alterar os diretórios.
O acesso a esta página requer autorização. Pode tentar alterar os diretórios.
A deteção de cena é detetada quando uma cena é alterada em um vídeo com base em pistas visuais. Uma cena mostra um único evento e tem uma série de cenas relacionadas. As fotos são uma série de quadros que diferem por pistas visuais, como mudanças abruptas ou graduais no esquema de cores de quadros adjacentes. Os metadados da captura incluem a hora de início, a hora de término e uma lista de quadros-chave na captura. Um quadro-chave é um quadro de uma foto que melhor representa a foto.
Casos de uso de deteção de cena, captura e quadro-chave
- Navegue, gerencie e edite facilmente seu conteúdo de vídeo com base em granularidades variadas.
- Utilize a detecção do tipo de captura editorial para editar vídeos em clipes, trailers ou ao procurar um estilo específico de fotograma-chave.
Deteção de cena
O Azure AI Video Indexer determina quando uma cena é alterada no vídeo com base em sinais visuais. Uma cena retrata um único evento composto por uma série de planos consecutivos, que são semanticamente relacionados.
Uma miniatura de cena é o primeiro frame-chave da sua tomada subjacente.
O Azure AI Video Indexer segmenta um vídeo em cenas com base na coerência de cores em fotos consecutivas e recupera a hora de início e término de cada cena.
Os vídeos devem conter pelo menos três cenas.
Deteção de disparo
O Azure AI Video Indexer determina quando uma captura é alterada no vídeo com base em sinais visuais. Ele faz isso detetando transições abruptas e graduais no esquema de cores e outras características visuais de quadros adjacentes. Os metadados da captura incluem uma hora de início e de término e a lista de quadros-chave incluídos nessa captura. As fotos são quadros consecutivos tirados da mesma câmera ao mesmo tempo.
Nota
Pode haver um intervalo entre os planos que inclui frames que fazem parte da transição. Portanto, esses fotogramas não são considerados parte da foto.
Deteção de tipo de captura editorial de quadro-chave
O tipo de plano é determinado com base na análise do primeiro quadro-chave de cada plano. As fotos são identificadas pela escala, tamanho e localização dos rostos que aparecem em seu primeiro quadro-chave.
O tamanho e a escala da foto são determinados com base na distância entre a câmera e os rostos que aparecem no quadro. O Azure AI Video Indexer deteta os seguintes tipos de captura usando estas propriedades:
- Wide: mostra o corpo de uma pessoa inteira.
- Médio: mostra a parte superior do corpo e o rosto de uma pessoa.
- Close up: mostra principalmente o rosto de uma pessoa.
- Close-up extremo: mostra o rosto de uma pessoa preenchendo a tela.
Os tipos de tiro também podem ser determinados pela localização dos caracteres do assunto em relação ao centro do quadro. Esta propriedade define os seguintes tipos de captura no Azure AI Video Indexer:
- Face esquerda: uma pessoa aparece no lado esquerdo do quadro.
- Face central: uma pessoa aparece na região central do quadro.
- Rosto direito: uma pessoa aparece no lado direito do quadro.
- Ao ar livre: uma pessoa aparece em um ambiente ao ar livre.
- Ambiente Interior: uma pessoa aparece num espaço fechado.
Outras características:
- Dois planos: mostra as faces de duas pessoas em plano médio.
- Rostos múltiplos: mais de duas pessoas.
Veja o insight JSON com o portal da Web
Depois de carregar e indexar um vídeo, transfira informações em formato JSON a partir do portal Web.
- Selecione a aba Biblioteca.
- Selecione a mídia desejada.
- Selecione Download e, em seguida, selecione Insights (JSON). O ficheiro JSON abre-se num novo separador do navegador.
- Encontre o par de chaves descrito na resposta de exemplo.
Utilizar a API
- Use uma solicitação Obter índice de vídeo . Passe
&includeSummarizedInsights=false. - Encontre os pares de chaves descritos na resposta de exemplo.
Resposta de exemplo
"scenes": [
{
"id": 1,
"instances": [
{
"adjustedStart": "0:00:00",
"adjustedEnd": "0:00:09.1333333",
"start": "0:00:00",
"end": "0:00:09.1333333"
}
]
},
{
"id": 2,
"instances": [
{
"adjustedStart": "0:00:09.1333333",
"adjustedEnd": "0:00:10.8",
"start": "0:00:09.1333333",
"end": "0:00:10.8"
}
]
},
{
"id": 3,
"instances": [
{
"adjustedStart": "0:00:10.8",
"adjustedEnd": "0:00:26.9333333",
"start": "0:00:10.8",
"end": "0:00:26.9333333"
}
]
}...
{
"id": 31,
"instances": [
{
"adjustedStart": "0:18:45",
"adjustedEnd": "0:18:50.2",
"start": "0:18:45",
"end": "0:18:50.2"
}
]
}
],
"shots": [
{
"id": 1,
"tags": [
"Wide",
"Medium"
],
"keyFrames": [
{
"id": 1,
"instances": [
{
"thumbnailId": "60152925-0e6d-48cf-be33-aa6c00dfb334",
"adjustedStart": "0:00:00.1666667",
"adjustedEnd": "0:00:00.2",
"start": "0:00:00.1666667",
"end": "0:00:00.2"
}
]
},
{
"id": 2,
"instances": [
{
"thumbnailId": "f1a09cdf-b42b-45f5-bc69-5292d1216e50",
"adjustedStart": "0:00:00.2333333",
"adjustedEnd": "0:00:00.2666667",
"start": "0:00:00.2333333",
"end": "0:00:00.2666667"
}
]
}
],
"instances": [
{
"adjustedStart": "0:00:00",
"adjustedEnd": "0:00:01.9333333",
"start": "0:00:00",
"end": "0:00:01.9333333"
}
]
},
{
"id": 2,
"tags": [
"Medium"
],
"keyFrames": [
{
"id": 3,
"instances": [
{
"thumbnailId": "b17774d0-41cf-4174-9c41-6bc2f17c86e2",
"adjustedStart": "0:00:02",
"adjustedEnd": "0:00:02.0333333",
"start": "0:00:02",
"end": "0:00:02.0333333"
}
]
}
],
"instances": [
{
"adjustedStart": "0:00:01.9333333",
"adjustedEnd": "0:00:02.9666667",
"start": "0:00:01.9333333",
"end": "0:00:02.9666667"
}
]
}...
Faça o download dos quadros-chave com a API
Para baixar cada quadro-chave, use os IDs de quadro-chave com uma solicitação da API Obter miniaturas .
Aviso
Não use dados diretamente da pasta de artefatos para fins de produção. Os artefatos são saídas intermediárias do processo de indexação e são saídas brutas de diferentes mecanismos de IA que analisam vídeos. O esquema de artefatos pode mudar ao longo do tempo.
Importante
Leia a visão geral da nota de transparência para todos os recursos VI. Cada insight também tem sua própria nota de transparência.
Notas sobre deteção de cena, plano e quadro-chave
- O detetor funciona melhor em arquivos de mídia que têm fotos e cenas dentro deles.
- Se o vídeo for filmado com uma câmera que nunca se move, a segmentação da captura funciona mal, e os quadros-chave podem não ser representativos.
- Os quadros-chave são selecionados tendo em conta o nível de desfocagem dos quadros. Se a maior parte da imagem estiver desfocada, por exemplo, devido a movimento, o quadro-chave também pode estar desfocado.
- Vídeos com baixa qualidade visual produzem resultados ruins.
- O tempo de cada foto/cena/quadro-chave pode mudar (menos de um segundo).
Componentes de cena, captura e quadro-chave
Nenhum componente definido.