Obtenha informações sobre identificação de etiquetas

A identificação de etiquetas é uma funcionalidade do Azure AI Video Indexer que identifica objetos visuais, como óculos de sol, ou ações, como nadar, nas imagens de vídeo de um ficheiro multimédia. O recurso inclui muitas categorias de rótulos. Após a extração, você vê instâncias de rótulo na guia Informações e pode traduzi-las para mais de 50 idiomas. Selecione um rótulo para abrir a instância no arquivo de mídia. Selecione Reproduzir Anterior ou Reproduzir Seguinte para ver mais ocorrências.

Casos de uso de identificação de etiquetas

• Extração de rótulos de quadros para publicidade contextual ou promoção de marca. Por exemplo, colocar um anúncio de cerveja após filmagens em uma praia.
• Criação de uma descrição verbal de filmagens para melhorar a acessibilidade para deficientes visuais, por exemplo, um contador de histórias de fundo em filmes.
• Pesquisa profunda em arquivos de mídia para obter informações sobre objetos específicos para criar histórias de destaque para as notícias.
• Usar rótulos relevantes para criar conteúdo para trailers, bobinas de destaques, mídias sociais ou novos clipes.

Veja o insight JSON com o portal da web

Depois de carregar e indexar um vídeo, transfira informações em formato JSON a partir do portal Web.

1. Selecione o separador Biblioteca.
2. Selecione a mídia desejada.
3. Selecione Download e, em seguida, selecione Insights (JSON). O ficheiro JSON é aberto num novo separador do navegador.
4. Encontre o par de chaves descrito na resposta de exemplo.

Utilizar a API

1. Use uma solicitação Obter índice de vídeo . Passe &includeSummarizedInsights=false.
2. Encontre os pares de chaves descritos na resposta de exemplo.

Resposta de exemplo

    "labels": [
        {
        "id": 1,
        "name": "human face",
        "language": "en-US",
        "instances": [
            {
            "confidence": 0.9987,
            "adjustedStart": "0:00:00",
            "adjustedEnd": "0:00:25.6",
            "start": "0:00:00",
            "end": "0:00:25.6"
            },
            {
            "confidence": 0.9989,
            "adjustedStart": "0:01:21.067",
            "adjustedEnd": "0:01:41.334",
            "start": "0:01:21.067",
            "end": "0:01:41.334"
            }
        ]
        },
        {
        "id": 2,
        "name": "person",
        "referenceId": "person",
        "language": "en-US",
        "instances": [
            {
            "confidence": 0.9959,
            "adjustedStart": "0:00:00",
            "adjustedEnd": "0:00:26.667",
            "start": "0:00:00",
            "end": "0:00:26.667"
            },
            {
            "confidence": 0.9974,
            "adjustedStart": "0:01:21.067",
            "adjustedEnd": "0:01:41.334",
            "start": "0:01:21.067",
            "end": "0:01:41.334"
            }
        ]
        },

Importante

Leia a visão geral da nota de transparência para todos os recursos VI. Cada insight também tem sua própria nota de transparência.

Notas de identificação de etiquetas

• Considere cuidadosamente a precisão dos resultados, para promover deteções mais precisas, verifique a qualidade do vídeo, vídeo de baixa qualidade pode afetar os insights detetados.
• Ao usar em cumprimento da lei, considere cuidadosamente que as Etiquetas potencialmente não conseguem detetar partes do vídeo. Para garantir decisões justas e de alta qualidade, combine rótulos com supervisão humana.
• Não use a identificação de rótulos para decisões que possam ter impactos adversos graves. Os modelos de aprendizado de máquina podem resultar em resultados de classificação não detetados ou incorretos. As decisões baseadas em resultados incorretos podem ter graves impactos negativos. Além disso, é aconselhável incluir a revisão humana de decisões que têm o potencial de impactos graves nos indivíduos.

Componentes de identificação de etiquetas

Durante o procedimento Labels, os objetos em um arquivo de mídia são processados da seguinte maneira:

Componente	Definição
Origem	O usuário carrega o arquivo de origem para indexação.
Etiquetagem	As imagens são marcadas e etiquetadas. Por exemplo, porta, cadeira, mulher, fones de ouvido, jeans.
Filtragem e agregação	As tags são filtradas de acordo com seu nível de confiança e agregadas de acordo com sua categoria.
Nível de confiança	O nível de confiança estimado de cada rótulo é calculado como um intervalo de 0 a 1. O índice de confiança representa a certeza na precisão do resultado. Por exemplo, uma certeza de 82% é representada como uma pontuação de 0,82.

Código de exemplo

Ver todos os exemplos de VI