Usar resumo de texto

Este artigo mostra como usar o resumo textual com o Azure AI Video Indexer. Este exemplo usa implantações de modelo OpenAI do Azure.

Observação

Esse recurso funciona apenas com uma conta paga. Crie uma conta paga.

Pré-requisitos

Examine a visão geral da sumarização textual e os pré-requisitos a seguir.

Nuvem

• Uma conta paga do Video Indexer de IA do Azure conectada a uma conta do Azure OpenAI.

• Acesso permitido ao Azure OpenAI na assinatura desejada do Azure. Atualmente, o acesso a esse serviço é concedido pelo aplicativo. Para obter mais informações sobre como solicitar acesso ao Azure OpenAI, consulte Acesso limitado para o Serviço OpenAI do Azure.

• Uma implantação de GPT-35-Turbo, GPT-4, GPT-4o ou GPT-4O-mini do Azure OpenAI. Para se beneficiar de resumos baseados em quadros de chaves, você deve selecionar um modelo do Azure OpenAI que aceite a entrada visual. Para obter mais informações, consulte Modelos do Serviço OpenAI do Azure.

• O filtro Escudos de prompt para ataques diretos (jailbreak) deve ser adicionado à implementação. Leia mais aqui: Usar filtros de conteúdo (versão prévia) com o Serviço OpenAI do Azure.

• Recomendamos que você configure filtros de conteúdo nocivos para categorias como "Violência", "Ódio", "Sexual" e "Automutilação". Embora esses filtros não sejam obrigatórios, você deve defini-los como "Médio" ou "Baixo" para filtrar o conteúdo de pelo menos o nível médio de nociva. Essa configuração garante que o conteúdo com uma classificação de nocividade média ou superior seja bloqueado. Para aumentar a segurança, você pode optar por uma configuração mais rigorosa. Depois de configurado, salve as configurações de filtro de conteúdo.

• Um vídeo carregado na biblioteca do Azure AI Video Indexer.

Observação

O Azure AI Video Indexer não consegue se conectar a modelos personalizados.

Dispositivos do Edge

O Azure AI Video Indexer habilitado pelo Arc permite usar o Azure AI Video Indexer em dispositivos de borda. Veja a seguir os requisitos técnicos para este caso de uso:

• Video Indexer habilitado pelo Arc com número de versão 1.1.23 ou superior.
• Requisitos de hardware: GPU ou CPUs intel. Não recomendamos a execução em CPUs devido à velocidade lenta. Recomendamos o uso de GPUs Nvidia V100 ou superiores. Se houver vários nós de GPU, você poderá adicionar um seletor de nó para selecionar o nó desejado.
• O uso de quadros-chave como parte do resumo requer Nvidia A100 ou superior.
• A Sumarização de Vídeo Textual na borda usa apenas o modelo Phi3.5. Para obter mais informações de hardware, consulte as informações de versão oficial do Phi 3.5.

Abra páginas da web em seu navegador

É mais fácil seguir estas instruções se você já tiver as páginas da web necessárias abertas. Copie e cole os seguintes parâmetros em seu editor de texto favorito. Aqui está uma lista para você começar:

• ID da conta VI:
• ID do arquivo de vídeo:
• Nome da implantação:
• Token de acesso:

1. Abra o portal do Azure em uma guia ou janela e entre.
   1. Navegue até a página da conta do Azure AI Video Indexer para obter a ID da conta.
   2. Navegue até a página da conta do OpenAI do Azure
      1. No menu, selecione Implantações de modelo e, em seguida, selecione Gerenciar implantações. O Azure OpenAI Studio é aberto. Copie o nome de implantação que você deseja usar.
2. Abra o portal da Web do Azure AI Video Indexer em outra guia ou janela e faça login.
   1. Navegue até a página da biblioteca, escolha um vídeo e clique com o botão direito do mouse nele para obter o ID do arquivo de vídeo.
3. Abra a API do Azure AI Video Indexer em outra guia ou janela e entre.

Teia

Gerar um resumo de texto com ou sem quadros-chave

Você pode usar o portal da Web do Azure AI Video Indexer para resumir o texto.

1. Se você ainda não tiver o portal web do Azure AI Video Indexer aberto, abra-o.
2. Carregue um arquivo e aguarde a indexação.
3. Selecione o vídeo para navegar até a página de mídia.
4. Se você quiser usar quadros-chave para produzir o resumo, selecione a opção Incluir insights de quadro-chave visual para obter uma opção de resumo de melhor qualidade .
5. Selecione Gerar resumo. O resumo textual é gerado.

Observação

Se você não estiver vendo o botão Gerar resumo, talvez esteja usando uma conta de avaliação. Para usar esse recurso, crie uma conta padrão.

Personalizações de resumo

Depois que o resumo é gerado, você pode fazer ajustes nele personalizando o estilo do resumo ou alterando a implantação do modelo.

Personalizar o estilo de resumo

Você também pode personalizar o resumo selecionando o ícone Personalizar resumo . Você pode escolher entre comprimentos de resumo Curto, Médio ou Longo e pode escolher Neutro, Casual ou Formal como um estilo de resumo. Depois de fazer suas escolhas, selecione Gerar novamente.

Mudar a implantação de modelo

1. Selecione o ícone Personalizar resumo .
2. Selecione a implantação de modelo que você deseja usar na lista suspensa Implantação de modelo.
3. Selecione Gerar novamente.

Observação

Lembre-se de que a implantação do modelo é uma combinação do modelo e dos filtros. Além disso, toda vez que você personaliza o resumo do texto, ele representa uma solicitação PUT da API.

API

Criar um resumo em vídeo

Gerar um token de acesso

Gere um token de acesso no portal do Azure:

1. Navegue até sua conta do Azure AI Video Indexer.
2. No menu, selecione Gerenciamento e API de gerenciamento.
3. Na lista suspensa Permissão, selecione Colaborador.
4. Na lista suspensa Escopo, selecione Conta.
5. Selecione Gerar. O token de acesso é gerado.
6. Copie o token de acesso para a área de transferência.

Você deve ter todos os parâmetros necessários para criar um resumo de vídeo pronto para uso em seu editor de texto.

1. Na página API do Azure AI Video Indexer, pesquise resumo.
2. Selecione o botão Experimentar ao lado de Criar resumo do vídeo. O painel de parâmetros da API é aberto.
3. Cole o token de acesso que está na sua área de transferência no campo accessToken.
4. Selecione a localização na lista suspensa localização.
5. Copie e cole o ID da conta VI no campo accountId .
6. Copie o ID do arquivo de vídeo e cole-o no campo videoId .
7. Escolha o comprimento do resumo, médio, curto ou longo, na lista suspensa comprimento.
8. Escolha o estilo, neutro, casual ou formal, na lista suspensa estilo.
9. Selecione Enviar.

Na resposta, há uma ID de resumo. Copie esse ID para a área de transferência.

Personalizar um resumo de vídeo textual

Personalize o resumo textual com o parâmetro opcional addToEndOfSummaryInstructions para a API Criar Resumo de Vídeo. Use esse parâmetro para aprimorar o resumo textual do vídeo, incluindo informações adicionais em linguagem natural. Por exemplo, você pode usá-lo para incluir informações sobre as pessoas que aparecem, tópicos gerais discutidos e marcas mencionadas no vídeo.

Personalizar seu resumo garante que o resumo do vídeo seja abrangente e adaptado às suas necessidades.

Para personalizar um resumo:

1. Acesse a API do Video Indexer. Você precisa fazer uma chamada POST para a API Criar Resumo de Vídeo.
2. Adicione o parâmetro addToEndOfSummaryInstructions. Inclua o &addToEndOfSummaryInstructions=["Your prompt"] parâmetro na URL ao fazer a chamada POST. Esse parâmetro é opcional e pode ser usado para adicionar informações adicionais ao resumo. "Seu prompt" é a informação adicional que você deseja incluir no resumo.
3. Codificar o parâmetro na URL. Verifique se as informações adicionais estão codificadas em URL. Por exemplo, se você quiser adicionar "as pessoas ou celebridades conhecidas que aparecem no vídeo, os tópicos gerais do vídeo e todas as marcas mencionadas nele", use: &addToEndOfSummaryInstructions=the+known+people+or+celebrities+appearing+in+the+video+the+general+topics+of+the+video+and+all+of+the+brands+mentioned+in+it.

Aqui está um exemplo de como usar o addToEndOfSummaryInstructions parâmetro:

POST
https://api.videoindexer.ai/{location}/Accounts/{accountId}/Videos/{videoId}/Summaries/Textual?deploymentName={deploymentName}&includedFrames={None/Keyframes}&addToEndOfSummaryInstructions=the+known+people+or+celebrities+appearing+in+the+video+the+general+topics+of+the+video+and+all+of+the+brands+mentioned+in+it

O exemplo de chamada de post resulta em um resumo que termina com conteúdo, como:

Known people or celebrities appearing in the video: Satya Nadella
General topics: Technology, Microsoft Build Keynotes, AI, GenAI
Brands mentioned: Microsoft, Phi Models.

Obtenha um resumo em vídeo

Primeiro, verifique o status do resumo. Até que o trabalho de resumo seja concluído, o valor do estado mostra "Processando", mas não há resumos na resposta. Quando o trabalho de resumo é concluído, o resumo é exibido na resposta.

1. Selecione GET Video Summary.
2. Insira o ID da conta, o ID do vídeo, o ID do resumo e o token de acesso nos campos apropriados.
3. Selecione Enviar.

Observação

Há sempre um aviso de isenção de responsabilidade disponível na resposta sobre o resumo. Além disso, há um link para a API de status da tarefa no cabeçalho de Location.

Listar resumos em vídeo

Você pode listar os resumos em vídeo por página. Selecione Resumos de vídeo da lista GET e use os mesmos parâmetros já descritos . Se houver uma lista grande de resumos, use os parâmetros de página para retornar a resposta em páginas. Use o ID do resumo para a solicitação GET de resumo de vídeo.

Excluir um resumo de vídeo

Excluir o resumo do vídeo é tão simples quanto selecionar DEL Excluir resumo do vídeo, usando os mesmos parâmetros, e selecionar Enviar.

Códigos do Erro

Solicitação	Código de status	Mensagem de erro	Tipo de erro	Motivo	Mitigação
Criar vídeo resumo	400	A conta não está conectada ao Azure OpenAI	ENTRADA_INVÁLIDA		Acesse o portal do Azure e conecte uma Conta.
Criar vídeo resumo	400	Não foi encontrada nenhuma implantação com este nome: {deploymentName}	ENTRADA_INVÁLIDA		Verifique a cadeia de caracteres do nome da implantação.
Criar vídeo resumo	400	Esse modelo não dá suporte à geração de resumos.	ENTRADA_INVÁLIDA		Escolha um modelo diferente
Criar vídeo resumo	400	Não foi possível gerar um resumo porque o modelo de IA deve ter filtros de conteúdo adicionados para evitar a exibição de conteúdo prejudicial. " + $"Adicione as seguintes políticas: {string.Join(",", Enum.GetValues<FilterType>().Where(type => type != FilterType.JailBreak))}." + $"Defina o AllowedContentLevel como pelo menos {AllowedContentLevel.Medium} para as origens {FilterSource.Prompt} e {FilterSource.Completion}	FILTROS_DE_RESUMO_NÃO_ENCONTRADOS		Veja a mensagem de erro.
Criar vídeo resumo	400	Vídeo não encontrado	Vídeo não encontrado
Criar vídeo resumo	400	A indexação de vídeo ainda não foi concluída com êxito	VÍDEO JÁ EM ANDAMENTO
Criar vídeo resumo	400	Valor de comprimento de resumo inválido '{length}'	ENTRADA_INVÁLIDA
Criar vídeo resumo	400	Valor de estilo de resumo inválido '{style}	ENTRADA_INVÁLIDA
Obter resumo do vídeo	200	NA	NA
Obter resumo do vídeo	404	Resumo '{summaryId}' não encontrado para o vídeo '{videoId}'	NÃO_ENCONTRADO
Obter resumo do vídeo	200	Não foi possível gerar um resumo porque o conteúdo do vídeo foi sinalizado como prejudicial. Para obter detalhes, consulte Filtros de conteúdo.	NA	Todas as seções do vídeo acionaram o filtro de conteúdo.	Não há solução para o vídeo específico.
Obter resumo do vídeo	200	Não há informações suficientes para gerar resumo.	NA	Os insights de vídeo não contêm informações suficientes para criar prompts para o Azure OpenAI	Se a predefinição do vídeo não contiver todos os modelos, a reindexação com uma predefinição mais avançada que contenha áudio pode ajudar.
Obter resumo do vídeo	200	Não foi possível obter implantações do Azure OpenAI para o recurso {_resourceName}
Obter resumo do vídeo	200	A implantação {DeploymentName} não existe
Obter resumo do vídeo	200	Não foi possível acessar o Azure OpenAI. Tente executar o resumo novamente mais tarde.			Tente o trabalho de resumo novamente mais tarde.
Criar vídeo resumo				Sem atribuição de função
Obter resumo do vídeo				Sem atribuição de função

Solução de problemas

Antes de procurar soluções específicas, certifique-se de ter criado os recursos na seção Pré-requisitos do documento.

A opção "Gerar resumo" não aparece.

Sua conta do Azure OpenAI pode estar conectada à sua conta do Video Indexer de IA do Azure incorretamente.

Não foi possível gerar um resumo

• Você precisa adicionar filtros de conteúdo à implantação para evitar a exibição de conteúdo prejudicial. Volte para o Estúdio OpenAI do Azure e adicione filtros à sua implantação.
• Você criou um filtro de conteúdo permissivo para conteúdo que tem conteúdo confidencial ou prejudicial. O filtro de conteúdo precisa ser pelo menos Médio. Se você definir o filtro de conteúdo como Médio E o conteúdo nocivo permanecer no vídeo, o filtro será acionado. Nesse caso, não há solução.
• Você não solicitou uma transcrição ou pode não haver informações suficientes geradas durante o processo de indexação.
• Você pode estar usando uma predefinição avançada.
• O vídeo pode não ter áudio suficiente para criar uma transformação.

Não é possível usar uma implantação de modelo ou a implantação está ausente.

• Você não criou uma implantação.
• Alguém alterou ou excluiu o modelo implantado.

Limitação

Pode haver muitas solicitações sendo enviadas ao VI. Aguarde alguns minutos e tente novamente.

Você recebe o erro "filtro não encontrado"

Se você receber um erro de filtro não encontrado, receberá um erro detalhado descrevendo o que está faltando. O erro pode ser semelhante ao exemplo a seguir, mas pode ter detalhes sobre outras coisas ausentes:

ErrorType":"SUMMARY_FILTERS_NOT_FOUND","Message":"Couldn't generate a summary because the model needs to be set with the right content filters to avoid showing harmful content. Input filter 'Jailbreak' must be enabled with action set to 'Annotate and block'. Trace id: '00000000-0000-0000-0000-000000000000'.

Observação

O filtro jailbreak só é necessário ao usar um resumo baseado em quadros de chaves ou um resumo regular, a partir de 1º de novembro de 2024.

Para resolver o problema do jailbreak:

1. Selecione Ir para o Azure Open AI Studio.
2. Selecione Implantações.
3. Selecione a implantação com a qual você está trabalhando.
4. Selecione Editar.
5. Configure os filtros para ter pelo menos o nível Médio para cada categoria.
6. Aplique escudos de prompt para ataques de jailbreak.
7. Selecione Criar filtro.

Outras considerações

É recomendável criar as contas do Azure AI Video Indexer e do Azure OpenAI na mesma região ou você pode ter problemas de desempenho.