Compartilhar via

Azure AI Video Indexer habilitado pelo Arc

Azure AI Video Indexer, habilitado pelo Arc, é um serviço com extensão do Azure Arc que faz análises de vídeo e áudio e utiliza IA generativa em dispositivos de ponta. A solução é executada no Kubernetes habilitado para Azure Arc, dá suporte a muitos formatos de vídeo e pressupõe que um recurso do Video Indexer seja mapeado para uma extensão. Ele transcreve o conteúdo falado em mais de 35 idiomas de origem e os traduz para o inglês. Para obter uma lista completa de idiomas com suporte, consulte idiomas com suporte por cenário.

Se você ainda não estiver familiarizado com o Azure AI Video Indexer, recomendamos que você se familiarize primeiro com o serviço de cloud.

Além disso, antes de começar a trabalhar com o Azure AI Video Indexer habilitado pelo Arc, examine a nota de transparência para entender as restrições de uso.

Importante

Para implantar com êxito a extensão do Video Indexer de IA do Azure, é obrigatório que sua ID de assinatura do Azure seja aprovada com antecedência. Primeiro, você deve se inscrever usando o formulário no Aplicativo para serviços fechados.

O que é o Azure Arc e o Kubernetes habilitado para Azure Arc?

O Azure Arc simplifica a governança e o gerenciamento de ambientes complexos que se estendem por data centers, várias nuvens e computação na borda, proporcionando uma plataforma de gerenciamento consistente para ambientes locais e multinuvem.

O Kubernetes habilitado para Azure Arc permite anexar clusters do Kubernetes em execução em qualquer lugar para que você possa gerenciá-los e configurá-los no Azure. Ao gerenciar todos os recursos do Kubernetes em um único plano de controle, você pode habilitar uma experiência de desenvolvimento e operações mais consistente para executar aplicativos nativos de nuvem em qualquer lugar e em qualquer plataforma do Kubernetes.

Quando os agentes do Azure Arc são implantados no cluster, uma conexão de saída com o Azure é iniciada, usando o SSL padrão do setor para proteger dados em trânsito.

Depois que os clusters são conectados ao Azure, eles são representados como seus próprios recursos no ARM (Azure Resource Manager) e podem ser organizados usando grupos de recursos e marcação.

Para obter mais informações sobre Azure Arc e Kubernetes habilitado para Azure Arc, confira Visão geral do Azure Arc e O que é Kubernetes habilitado para Azure Arc?

O que é uma extensão do Azure Arc?

As extensões da VM (máquina virtual) são pequenos aplicativos que fornecem tarefas de configuração e automação pós-implantação nas VMs do Azure. Por exemplo, se uma máquina virtual exigir a instalação de software, proteção antivírus ou a execução de um script nele, uma extensão da VM poderá ser usada. Para obter mais informações sobre extensões, consulte Gerenciamento de extensão de máquina virtual com servidores habilitados para Azure Arc.

A extensão do Azure AI Video Indexer instala e implanta o indexador de vídeo do Azure AI no cluster do Kubernetes.

O Video Indexer de IA do Azure habilitado pelo Arc só dá suporte a contas do Azure Resource Manager. As operações do Resource Manager são dissociadas das operações de insights de vídeo. Esse design permite que você execute análises em seus dispositivos de borda sem a necessidade de carregar seus ativos de mídia no Azure.

A extensão tem suporte apenas em cenários de modo de conexão direta. Embora todo o processamento seja executado no ambiente de borda, as informações do plano de controle são enviadas à nuvem para fins de cobrança e monitoramento. Novas versões de extensão são baixadas da nuvem. Nenhum dado do cliente, tais como quais vídeos foram indexados ou insights indexados, é enviado da localização de borda para a nuvem.

Modelos de linguagem

O modelo de linguagem Phi é incluído e conectado automaticamente à sua extensão VI. Você pode começar a usá-lo imediatamente. Para obter mais informações sobre como usar modelos de linguagem com VI, consulte:

Consulte também a nota de transparência para resumo textual com a VI ativada pelo Arc para requisitos de hardware, limitações e problemas conhecidos.

Casos de uso

  • Governança de dados – Você pode trazer a IA para o conteúdo em vez de vice-versa. Use o Azure AI Video Indexer habilitado pelo Arc quando você não puder mover o conteúdo indexado do local para a nuvem devido a:
    • Regulamentos.
    • Decisões de arquitetura.
    • O armazenamento de dados é muito grande, fazendo com que o lift and shift seja um esforço significativo.
  • Fluxo de trabalho local – Seu processo de indexação faz parte de um fluxo de trabalho local e você deseja reduzir a latência da duração da indexação que afeta o fluxo.
  • Pré-indexação – Você deseja indexar antes de carregar o conteúdo na nuvem. Para criar clareza, você pode usar o arquivo de áudio ou vídeo local e carregá-lo apenas para indexação padrão ou avançada na nuvem.

Exemplo de implantação

O diagrama a seguir mostra a extensão do Video Indexer de IA do Azure em execução no Azure Arc. Há três tipos:

  1. O tipo de loja A usa predefinições de visão e áudio.
  2. O tipo de loja B usa apenas predefinições de visão. Ele também tem um modelo personalizado. Para obter mais informações sobre como usar um modelo personalizado com o Azure AI Video Indexer habilitado pelo Arc, consulte Traga seu próprio modelo de IA.
  3. A loja C usa apenas predefinições de áudio.

A extensão é armazenada em cada dispositivo de borda e cada dispositivo é associado a uma única conta do Azure AI Video Indexer que faz interface com o Azure Arc e a nuvem.

Diagrama mostrando a extensão VI Arc em execução no Azure Arc.

Predefinições com suporte de IA

O Azure AI Video Indexer habilitado pelo Arc dá suporte às seguintes predefinições de indexação:

Modelar Vídeo básico Áudio básico Vídeo e áudio básicos
Transcrição ✔ ✔
Tradução ✔ ✔
Legendas ✔ ✔
Detecção de quadros-chave ✔ ✔
Detecção de objetos ✔ ✔
Detecção de cena ✔ ✔
Detecção de tiro ✔ ✔
Resumo ✔ ✔ ✔

Requisitos mínimos de hardware

O Video Indexer habilitado pelo Arc foi projetado para ser executado em qualquer ambiente Kubernetes habilitado para Arc.

Observação

A tabela a seguir aborda os requisitos mínimos para um ambiente de produção . Recomendamos pelo menos um cluster de dois nós para alta disponibilidade e escalabilidade. As configurações recomendadas referem-se às configurações de todo o cluster. Portanto, por exemplo, se você tiver dois nós, cada nó deverá ter 16 núcleos e 32 GB de RAM. É recomendável criar um pool de nós dedicado ou grupos de dimensionamento automático para hospedar a solução VI.

Configuração Contagem de máquinas virtuais Contagem de núcleos de CPU do nó RAM do Node Armazenamento do nó Comentários
Mínimo Um 32 núcleos 64 GB 50 GB O armazenamento precisa dar suporte à classe de armazenamento ReadWriteMany
Recomendado Dois 48-64 núcleos 256 GB 100 GB O armazenamento precisa dar suporte à classe de armazenamento ReadWriteMany

Requisitos mínimos de software

Componente Requisitos mínimos
Sistema Operacional Ubuntu 22.04 LTS ou qualquer sistema operacional compatível com Linux
Kubernetes 1.29
CLI do Azure 2.64.0

Requisitos de rede

Use as informações a seguir para definir as configurações de firewall.

Requisitos de firewall

Siga as instruções nos requisitos de rede do Kubernetes habilitados para Azure Arc.

Além disso, adicione *.azureedge.net e *.data.microsoft.com.

Para o Video Indexer habilitado pela extensão Arc, adicione estes pontos de extremidade:

Ponto de extremidade (DNS) Descrição
linuxgeneva-microsoft.azurecr.io, *.blob.core.windows.net Usado para o registro de contêiner para contêineres de telemetria
*.monitoring.core.windows.net, *.microsoftmetrics.com, *.table.core.windows.net Usado para telemetria
api.videoindexer.ai Usado para validação de token de acesso

Resumo dos endpoints e portas necessários

Habilite os seguintes pontos de extremidade e portas.

Serviços do Azure Arc (HTTPS)

  • management.azure.com:443
  • *.dp.kubernetesconfiguration.azure.com:443
  • login.microsoftonline.com:443
  • *.login.microsoft.com:443
  • login.windows.net:443
  • mcr.microsoft.com:443
  • *.data.mcr.microsoft.com:443
  • dl.k8s.io:443
  • gbl.his.arc.azure.com:443
  • *.his.arc.azure.com:443
  • guestnotificationservice.azure.com:443
  • *.guestnotificationservice.azure.com:443
  • sts.windows.net:443
  • *.servicebus.windows.net:443
  • graph.microsoft.com:443
  • *.arc.azure.net:443
  • linuxgeneva-microsoft.azurecr.io:443

Serviços OBO do Azure Arc (porta HTTPS personalizada)

  • *.obo.arc.azure.com:8084

Armazenamento de Arquivos do Azure (SMB)

  • STORAGE_ACCOUNT_NAME.file.core.windows.net:139,445

Observação

Quando você utiliza o AKS com o driver CSI do Azure Files para montar os compartilhamentos como volumes persistentes, abra as portas 139 e 445 para o compartilhamento de arquivos específico.

Telemetria (HTTPS)

  • linuxgeneva-microsoft.azurecr.io:443
  • *.blob.core.windows.net:443
  • gcs.prod.monitoring.core.windows.net:443
  • *.microsoftmetrics.com:443
  • *.table.core.windows.net:443
  • *.azureedge.net:443
  • *.data.microsoft.com:443

VideoIndexer (HTTPS)

  • api.videoindexer.ai:443

Formatos de entrada e codecs suportados

A seção a seguir lista os formatos de entrada e os codecs com suporte para o Video Indexer de IA do Azure habilitados pelo Arc.

Formatos de vídeo

  • AVI (.avi)
  • FLV (com codecs H.264 e AAC) (.flv)
  • ISMV (.isma, .ismv)
  • Matroska (.mkv)
  • MP4 (.mp4, .m4a, .m4v)
  • MXF (.mxf)
  • MPEG2-TS
  • QuickTime (.mov)
  • WAVE/WAV (.wav)
  • Vídeo do Windows Media (WMV)/ASF (.wmv, .asf)

Codecs de vídeo

  • AVC de 8 bits/10 bits, com suporte até 4:2:2, incluindo AVCIntra
  • Vídeo digital (VD) (em arquivos AVI)
  • DVCPro/DVCProHD (no contêiner MXF)
  • HEVC/H.265
  • MPEG-1
  • MPEG-2 (até perfil 422 e alto nível; incluindo variantes como Sony XDCAM, XDCAM HD, XDCAM IMX, CableLabs® e D10)
  • MPEG-4, parte 2
  • VC-1/WMV9

Codecs de áudio de até duas faixas

  • AAC (AAC-LC, AAC-HE e AAC-HEv2)
  • FLAC
  • MPEG Layer II
  • MP3 (MPEG-1 Audio Layer 3)
  • VORBIS
  • WAV/PCM
  • Áudio do Windows Media

Traga seu próprio modelo

O Azure AI Video Indexer habilitado pelo Arc também dá suporte a trazer seu próprio modelo. Para obter mais informações, consulte o artigo ByO (Traga seu próprio modelo ).

Limitações

  • O tamanho do arquivo com suporte para indexação é de até 2 GB.
  • Atualizando a extensão:
    • O suporte à extensão se aplica somente à versão mais recente.
    • É recomendável definir a auto-upgrade propriedade como true. A configuração mantém a extensão atualizada.
    • Se a configuração de atualização automática estiver definida como false, você deverá atualizar a versão incrementalmente. Saltar entre versões pode fazer com que os processos de indexação falhem.
  • Após a instalação ou atualização da extensão, espere que a duração do primeiro processo de indexação/tradução seja maior do que o normal. A duração mais longa é devido ao download da imagem do modelo de IA. A duração varia dependendo da velocidade da rede.
  • Somente uma extensão do Video Indexer pode ser implantada por cluster do Kubernetes habilitado para Arc.
  • O desempenho de volume do cluster (com base na classe de armazenamento) tem uma influência significativa sobre a duração do processamento do trabalho de indexação, especialmente porque a extração de quadros está gravando todos os quadros no volume.
  • Há suporte apenas para tokens de acesso de extensão. Você pode obter tokens de acesso de extensão da API/CLI. Para obter exemplos para obter o token de acesso, consulte Como acessar a extensão.
  • As mensagens de erro de vídeo não são armazenadas devido a limitações de memória.

Armazenamento de Contêiner do Azure habilitado pelo Arc

Recomendamos que você use o Armazenamento de Contêineres do Azure habilitado pelo Azure Arc para armazenamento. Para obter mais informações, consulte os seguintes artigos:

Conteúdo relacionado