Partilhar via

Azure AI Video Indexer habilitado pelo Arc

O Azure AI Video Indexer habilitado pelo Arc é um serviço habilitado para extensão do Azure Arc que executa análise de vídeo e áudio e IA generativa em dispositivos de borda. A solução é executada no Kubernetes habilitado pelo Azure Arc, oferece suporte a muitos formatos de vídeo e presume que um recurso do Video Indexer mapeia para uma extensão. Transcreve conteúdos falados em mais de 35 línguas de partida e traduz-os para inglês. Para obter uma lista completa dos idiomas suportados, consulte Idiomas suportados por cenário.

Se você ainda não estiver familiarizado com o Azure AI Video Indexer, recomendamos que você se familiarize com o serviço de nuvem primeiro.

Além disso, antes de começar a trabalhar com o Azure AI Video Indexer habilitado pelo Arc, revise a nota de transparência para entender as restrições de uso.

Importante

Para implantar com êxito a extensão do Azure AI Video Indexer, é obrigatório que sua ID de assinatura do Azure seja aprovada com antecedência. Você deve primeiro se inscrever usando o formulário em Requerimento para serviços fechados.

O que é o Azure Arc e o Kubernetes habilitado para Azure Arc?

O Azure Arc simplifica a governança e o gerenciamento de ambientes complexos que se estendem por data centers, múltiplas nuvens e o perímetro, ao fornecer uma plataforma de gestão multicloud e local consistente.

O Azure Arc habilitado para Kubernetes permite anexar clusters Kubernetes em execução em qualquer lugar, permitindo que estes sejam geridos e configurados no Azure. Ao gerenciar todos os seus recursos do Kubernetes em um único plano de controle, você pode habilitar uma experiência de desenvolvimento e operações mais consistente para executar aplicativos nativos da nuvem em qualquer lugar e em qualquer plataforma Kubernetes.

Quando os agentes do Azure Arc são implantados no cluster, uma conexão de saída com o Azure é iniciada, usando SSL padrão do setor para proteger dados em trânsito.

Depois que os clusters são conectados ao Azure, eles são representados como seus próprios recursos no Azure Resource Manager (ARM) e podem ser organizados usando grupos de recursos e marcação.

Para obter mais informações sobre o Azure Arc e o Kubernetes habilitado para Arc, consulte Visão geral do Azure Arc e O que é o Kubernetes habilitado para Azure Arc?

O que é uma extensão do Azure Arc?

As extensões de máquina virtual (VM) são pequenos aplicativos que fornecem tarefas de configuração e automação pós-implantação em VMs do Azure. Por exemplo, se uma máquina virtual exigir instalação de software, proteção antivírus ou executar um script nela, uma extensão de VM poderá ser usada. Para obter mais informações sobre extensões, consulte Gerenciamento de extensão de máquina virtual com servidores habilitados para Azure Arc.

A extensão Azure AI Video Indexer instala e implanta o indexador de Vídeo do Azure AI no cluster Kubernetes.

O Azure AI Video Indexer habilitado pelo Arc só dá suporte a contas do Azure Resource Manager. As operações do Resource Manager são dissociadas das operações de análise de vídeo. Esse design permite que você execute análises em seus dispositivos de borda sem a necessidade de carregar seus ativos de mídia no Azure.

A extensão é suportada apenas em cenários de modo de conexão direta . Enquanto todo o processamento é realizado no ambiente de borda, as informações do plano de controle são enviadas para a nuvem para fins de faturamento e monitoramento. Novas versões de extensão são baixadas da nuvem. Nenhum dado do cliente, como quais vídeos foram indexados ou informações indexadas, é enviado do ponto de presença para a nuvem.

Modelos linguísticos

O modelo de linguagem Phi está incluído e automaticamente conectado à sua extensão VI. Você pode começar a usá-lo imediatamente. Para obter mais informações sobre como usar modelos de linguagem com VI, consulte:

Consulte também a nota de transparência para resumo textual com VI ativado pelo Arc sobre requisitos de hardware, limitações e problemas conhecidos.

Casos de utilização

  • Governança de dados – Você pode trazer a IA para o conteúdo em vez de vice-versa. Use o Azure AI Video Indexer habilitado pelo Arc quando não for possível mover conteúdo indexado do local para a nuvem devido a:
    • regulamentos.
    • Decisões de arquitetura.
    • O armazenamento de dados é muito grande, tornando o lift and shift um esforço significativo.
  • Fluxo de trabalho local – Seu processo de indexação faz parte de um fluxo de trabalho local e você deseja reduzir a latência da duração da indexação que afeta o fluxo.
  • Pré-indexação – Você deseja indexar antes de carregar o conteúdo para a nuvem. Para criar clareza, você pode pré-classificar o seu arquivo de vídeo ou áudio em instalação local e, então, carregá-lo apenas para indexação padrão ou avançada na nuvem.

Exemplo de implantação

O diagrama a seguir mostra a extensão do Azure AI Video Indexer em execução no Azure Arc. Existem três tipos:

  1. O tipo de loja A usa predefinições de visão e áudio.
  2. O tipo de loja B utiliza apenas predefinições de visão. Ele também tem um modelo personalizado. Para obter mais informações sobre como usar um modelo personalizado com o Azure AI Video Indexer habilitado pelo Arc, consulte Bring Your Own AI model.
  3. A Loja C utiliza apenas predefinições de áudio.

A extensão é armazenada em cada dispositivo de borda e cada dispositivo está associado a uma única conta do Azure AI Video Indexer que faz interface com o Azure Arc e a nuvem.

Diagrama mostrando a extensão VI Arc em execução no arco do Azure.

Predefinições de IA suportadas

O Azure AI Video Indexer habilitado pelo Arc dá suporte às seguintes predefinições de indexação:

Modelo Vídeo básico Áudio básico Vídeo e áudio básicos
Transcrição ✔ ✔
Tradução ✔ ✔
Legendas ✔ ✔
Deteção de quadros-chave ✔ ✔
Deteção de objetos ✔ ✔
Deteção de cena ✔ ✔
Deteção de tiro ✔ ✔
Resumo ✔ ✔ ✔

Requisitos mínimos de hardware

O Video Indexer ativado pelo Arc foi projetado para ser executado em qualquer ambiente Kubernetes habilitado para Arc.

Nota

A tabela a seguir aborda os requisitos mínimos para um ambiente de produção . Recomendamos pelo menos um cluster de dois nós para alta disponibilidade e escalabilidade. As configurações recomendadas referem-se às configurações de todo o cluster. Assim, por exemplo, se você tiver dois nós, cada nó deve ter 16 núcleos e 32 GB de RAM. Recomendamos a criação de um pool de nós dedicado ou grupos de dimensionamento automático para hospedar a solução VI.

Configuração Contagem de máquinas virtuais Contagem de núcleos de CPU do nó RAM do nó Armazenamento de nós Observações
Mínimo Um 32 núcleos 64 GB 50 GB O armazenamento precisa suportar ReadWriteMany a classe de armazenamento
Recomendado Dois 48-64 núcleos 256 GB 100 GB O armazenamento precisa suportar ReadWriteMany a classe de armazenamento

Requisitos mínimos de software

Componente Prescrições mínimas
Sistema Operativo Ubuntu 22.04 LTS ou qualquer sistema operacional compatível com Linux
Kubernetes 1,29
CLI do Azure 2.64.0

Requisitos de rede

Use as informações a seguir para definir as configurações do firewall.

Requisitos de firewall

Siga as instruções em Requisitos de rede para Kubernetes com Azure Arc habilitado.

Além disso, adicione *.azureedge.net e *.data.microsoft.com.

Para o Video Indexer ativado pela extensão Arc, adicione estes pontos de extremidade:

Ponto final (DNS) Descrição
linuxgeneva-microsoft.azurecr.io, *.blob.core.windows.net Usado para registro de contêiner para contêineres de telemetria
*.monitoring.core.windows.net, *.microsoftmetrics.com, *.table.core.windows.net Usado para telemetria
api.videoindexer.ai Usado para validação de token de acesso

Resumo dos pontos finais e portas necessários

Habilite os seguintes pontos de extremidade e portas.

Azure Arc Services (HTTPS)

  • management.azure.com:443
  • *.dp.kubernetesconfiguration.azure.com:443
  • login.microsoftonline.com:443
  • *.login.microsoft.com:443
  • login.windows.net:443
  • mcr.microsoft.com:443
  • *.data.mcr.microsoft.com:443
  • dl.k8s.io:443
  • gbl.his.arc.azure.com:443
  • *.his.arc.azure.com:443
  • guestnotificationservice.azure.com:443
  • *.guestnotificationservice.azure.com:443
  • sts.windows.net:443
  • *.servicebus.windows.net:443
  • graph.microsoft.com:443
  • *.arc.azure.net:443
  • linuxgeneva-microsoft.azurecr.io:443

Azure Arc OBO Services (porta HTTPS personalizada)

  • *.obo.arc.azure.com:8084

Armazenamento de Arquivos do Azure (SMB)

  • STORAGE_ACCOUNT_NAME.file.core.windows.net:139,445

Nota

Ao utilizar o AKS com o driver CSI do Azure Files para montar partilhas como volumes persistentes, as portas 139 e 445 devem ser abertas para a partilha de ficheiros específica.

Telemetria (HTTPS)

  • linuxgeneva-microsoft.azurecr.io:443
  • *.blob.core.windows.net:443
  • gcs.prod.monitoring.core.windows.net:443
  • *.microsoftmetrics.com:443
  • *.table.core.windows.net:443
  • *.azureedge.net:443
  • *.data.microsoft.com:443

VideoIndexer (HTTPS)

  • api.videoindexer.ai:443

Formatos de entrada e codecs suportados

A seção a seguir lista os formatos de entrada e codecs suportados para o Azure AI Video Indexer habilitado pela Arc.

Formatos de vídeo

  • AVI (.avi)
  • FLV (com codecs H.264 e AAC) (.flv)
  • ISMV (.isma, .ismv)
  • Matroska (.mkv)
  • MP4 (.mp4, .m4a, .m4v)
  • MXF (.mxf)
  • MPEG2-TS
  • QuickTime (.mov)
  • WAVE/Onda (.wav)
  • Windows Media Video (WMV)/ASF (.wmv, .asf)

Codecs de vídeo

  • AVC 8-bit/10-bit, até 4:2:2, incluindo AVCIntra
  • Vídeo digital (DV) (em ficheiros AVI)
  • DVCPro/DVCProHD (em recipiente MXF)
  • HEVC/H.265
  • MPEG-1
  • MPEG-2 (até 422 perfis e alto nível; incluindo variantes como Sony XDCAM, Sony XDCAM HD, Sony XDCAM IMX, CableLabs® e D10)
  • MPEG-4 Parte 2
  • VC-1/WMV9

Codecs de áudio até duas faixas

  • AAC (AAC-LC, AAC-HE e AAC-HEv2)
  • FLAC
  • MPEG Camada 2
  • MP3 (MPEG-1 Camada de Áudio 3)
  • VORBIS
  • WAV/PCM
  • Áudio do Windows Media

Traga o seu próprio modelo

O Azure AI Video Indexer habilitado pelo Arc também oferece suporte para trazer seu próprio modelo. Para obter mais informações, consulte o artigo Bring Your Own Model (BYO).

Limitações

  • O tamanho do ficheiro suportado para indexação é de até 2 GB.
  • O Azure AI Video Indexer habilitado pelo Arc não oferece suporte ao carregamento e indexação de vídeos com resolução de 1920x1080 ou superior.
  • Atualizando a extensão:
    • O suporte de extensão aplica-se apenas à versão mais recente.
    • Recomendamos definir a auto-upgrade propriedade como true. A configuração mantém a extensão atualizada.
    • Se a configuração de atualização automática estiver definida como false, você deverá atualizar a versão incrementalmente. Saltar entre versões pode fazer com que os processos de indexação falhem.
  • Após a instalação ou atualização da extensão, espere que a duração do primeiro processo de indexação\tradução seja maior do que o normal. A duração mais longa é devido ao download da imagem do modelo de IA. A duração varia dependendo da velocidade da rede.
  • Apenas uma extensão do Video Indexer pode ser implantada por cluster Kubernetes habilitado para Arc.
  • O desempenho do volume do cluster (com base na classe de armazenamento) tem influência significativa na duração do turno do trabalho de indexação, especialmente porque a extração de quadros está gravando todos os quadros no volume.
  • Apenas tokens de acesso para extensões são suportados. Pode obter tokens de acesso para a extensão através da API/CLI. Para exemplos de get-access-token, consulte Como acessar a extensão.
  • As mensagens de erro de vídeo não são armazenadas devido a limitações de memória.

Armazenamento de Contêiner do Azure habilitado pela Arc

Recomendamos que você use o Armazenamento de Contêiner do Azure habilitado pelo Azure Arc para armazenamento. Para obter mais informações, consulte os seguintes artigos:

Conteúdo relacionado