Condividi tramite

Azure AI Video Indexer abilitato da Arc (anteprima)

  • Articolo

Azure AI Video Indexer abilitato da Arc è un servizio abilitato per l'estensione Azure Arc che esegue l'analisi video e audio e genera l'intelligenza artificiale nei dispositivi perimetrali. La soluzione è progettata per l'esecuzione in Kubernetes con abilitazione di Azure Arc e supporta molti formati video, tra cui MP4 e altri formati comuni. Supporta diverse lingue in tutti i modelli audio di base. Si presuppone che una risorsa di Video Indexer sia mappata a un'unica estensione.

Se non si ha già familiarità con Azure AI Video Indexer, è consigliabile acquisire familiarità con il servizio cloud.

Prima di iniziare a usare Azure AI Video Indexer abilitato da Arc, vedere anche la nota sulla trasparenza per comprendere le restrizioni di utilizzo.

Importante

Per distribuire correttamente l'estensione Azure AI Video Indexer, è obbligatorio che l'ID sottoscrizione di Azure sia approvato in anticipo. Prima di tutto è necessario iscriversi usando questo modulo.

Che cos'è Kubernetes abilitato per Azure Arc e Azure Arc?

Azure Arc semplifica la governance e la gestione di ambienti complessi che si estendono tra data center, più cloud e edge offrendo una piattaforma di gestione multi-cloud e locale coerente.

Kubernetes abilitato per Azure Arc consente di collegare i cluster Kubernetes in esecuzione ovunque in modo da poterli gestire e configurare in Azure. Gestendo tutte le risorse Kubernetes in un singolo piano di controllo, è possibile abilitare un'esperienza operativa e di sviluppo più coerente per eseguire app native del cloud ovunque e in qualsiasi piattaforma Kubernetes.

Quando gli agenti di Azure Arc vengono distribuiti nel cluster, viene avviata una connessione in uscita ad Azure, usando SSL standard del settore per proteggere i dati in transito.

Una volta connessi ad Azure, i cluster vengono rappresentati come risorse personalizzate in Azure Resource Manager (ARM) e possono essere organizzati usando gruppi di risorse e tag.

Per altre informazioni su Azure Arc e Kubernetes abilitato per Azure Arc, vedere questi articoli.

Che cos'è un'estensione di Azure Arc?

Le estensioni macchina virtuale sono piccole applicazioni che eseguono attività di configurazione e automazione post-distribuzione nelle macchine virtuali di Azure. Ad esempio, se una macchina virtuale richiede l'installazione di software, la protezione antivirus o l'esecuzione di uno script al suo interno, è possibile usare un'estensione macchina virtuale. Per altre informazioni sulle estensioni, vedere Gestione delle estensioni macchina virtuale con i server abilitati per Azure Arc.

L'estensione Video Indexer di Azure per intelligenza artificiale di Azure installa e distribuisce l'indicizzatore video di Intelligenza artificiale di Azure nel cluster Kubernetes.

Tutti gli azure AI Video Indexer abilitati da Arc supportano solo gli account Azure Resource Manager (ARM). Le operazioni ARM sono separate dalle operazioni di informazioni dettagliate video. Questa progettazione consente di eseguire analisi sui dispositivi perimetrali senza dover caricare gli asset multimediali in Azure.

Azure AI Video Indexer abilitato da Arc non supporta gli account classici. Per altre informazioni sul ritiro degli account classici, vedere Preparazione per il ritiro di AMS: guida alla migrazione e all'aggiornamento di SERVIZI multimediali

L'estensione è supportata solo negli scenari in modalità connessione diretta. Le informazioni sul piano di controllo vengono inviate al cloud, ad esempio monitoraggio, utilizzo. Le nuove versioni delle estensioni vengono scaricate dal cloud. Nessun dato del cliente, ad esempio i video indicizzati, viene inviato dalla posizione perimetrale al cloud.

Modelli linguistici

Il modello linguistico Phi 3 è incluso e connesso automaticamente con l'estensione VI. È possibile iniziare subito a usarlo. Per altre informazioni sull'uso di modelli linguistici con VI, vedere:

Vedere anche la nota sulla transparanza per il riepilogo testuale con Vi abilitato da Arc per i requisiti hardware, le limitazioni e i problemi noti.

Casi d'uso

  • Governance dei dati: è possibile trasferire l'intelligenza artificiale al contenuto anziché viceversa. Usare Azure AI Video Indexer abilitato da Arc quando non è possibile spostare il contenuto indicizzato dall'ambiente locale al cloud a causa di:
    • regolamento.
    • decisioni relative all'architettura.
    • l'archivio dati è troppo grande, rendendo lift-and-shift un notevole sforzo.
  • Flusso di lavoro locale: il processo di indicizzazione fa parte di un flusso di lavoro locale e si vuole ridurre la latenza della durata dell'indicizzazione che influisce sul flusso.
  • Pre-indicizzazione : si vuole indicizzare prima di caricare il contenuto nel cloud. Per creare chiarezza, è possibile prendere in controllo l'archivio video e/o audio locale e quindi caricarlo solo per l'indicizzazione standard e/o avanzata nel cloud.

Esempio di distribuzione

Il diagramma a blocchi seguente illustra l'estensione Azure AI Video Indexer in esecuzione in Azure Arc. Esistono tre tipi:

  1. Il tipo di archivio A usa set di impostazioni di visione e audio.
  2. Il tipo di archivio B usa solo i set di impostazioni di visione. Ha anche un modello personalizzato. Per altre informazioni sull'uso di un modello personalizzato con Azure AI Video Indexer abilitato da Arc, vedere Bring Your Own AI Model (Modello Bring Your Own AI).
  3. Store C usa solo set di impostazioni audio.

L'estensione viene archiviata in ogni dispositivo perimetrale e ogni dispositivo è associato a un singolo account di Azure AI Video Indexer che si interfaccia con Azure Arc e il cloud.

Diagramma a blocchi VI Arc

Set di impostazioni di intelligenza artificiale supportati

Azure AI Video Indexer abilitato da Arc supporta i set di impostazioni di indicizzazione seguenti:

Modello Video di base Audio di base Video e audio di base
Trascrizione ✔️ ✔️
Traduzione ✔️ ✔️
e sottotitoli in lingua originale ✔️ ✔️
Rilevamento dei fotogrammi chiave ✔️ ✔️
OCR ✔️ ✔️
Rilevamento oggetti ✔️ ✔️
Rilevamento della scena ✔️ ✔️
Rilevamento degli scatti ✔️ ✔️
Riepilogo ✔️ ✔️

Requisiti hardware minimi

Video Indexer abilitato da Arc è progettato per l'esecuzione in qualsiasi ambiente Kubernetes abilitato per Arc.

L'elenco seguente è costituito dai requisiti minimi e consigliati se l'estensione contiene il supporto linguistico singolo. Se si installano più contenitori di riconoscimento vocale e traduzione con diverse lingue, aumentare di conseguenza i requisiti hardware.

Nota

Si tratta di requisiti minimi per un ambiente di produzione . È consigliabile almeno un cluster a 2 nodi per la disponibilità elevata e la scalabilità. Le impostazioni consigliate fanno riferimento alle impostazioni a livello di cluster, quindi, ad esempio, se si dispone di 2 nodi, ogni nodo deve avere 16 core e 32 GB di RAM. È consigliabile creare un pool di nodi dedicato/gruppi di scalabilità automatica per ospitare la soluzione VI.

Impostazione Conteggio macchine virtuali Numero di core CPU del nodo Ram del nodo Archiviazione dei nodi Osservazioni:
Minimo 1 32 core 64 GB 50 GB Archiviazione deve supportare ReadWriteMany la classe di archiviazione
Consigliato 2 48-64 Core 256 GB 100 GB Archiviazione deve supportare ReadWriteMany la classe di archiviazione

Requisiti software minimi

Componente Requisiti minimi
Sistema operativo Ubuntu 22.04 LTS o qualsiasi sistema operativo compatibile con Linux
Kubernetes 1,26
Interfaccia della riga di comando di Azure 2.48.0

Formati di input e codec supportati

Formati video

  • AVI (.avi)
  • FLV (con codec H. 264 e AAC) (.flv)
  • ISMV (.isma, .ismv)
  • Matroska/WebM (.mkv)
  • MP4 (.mp4, .m4a, .m4v)
  • MXF (.mxf)
  • MPEG2-TS
  • QuickTime (.mov)
  • WAVE/WAV (.wav)
  • Webm
  • Windows Media Video (WMV) (.wmv)

Codec video

Ecco l'elenco in ordine alfabetico:

  • AVC 8 bit/10 bit, fino a 4:2:2, incluso AVCIntra
  • Video digitale (DV) (in file AVI)
  • DVCPro/DVCProHD (nel contenitore MXF)
  • HEVC/H.265
  • MPEG-1
  • MPEG-2 (fino a 422 Profile e High Level; incluse varianti come Sony XDCAM, Sony XDCAM HD, Sony XDCAM IMX, CableLabs® e D10)
  • MPEG-4 parte 2
  • FORMATO VC-1/WMV9

Codec audio fino a due tracce

  • AAC (AAC-LC, AAC-HE e AAC-HEv2)
  • FLAC
  • MPEG Layer 2
  • MP3 (MPEG-1 Audio Layer 3)
  • VORBIS
  • WAV/PCM
  • Windows Media Audio

Lingue supportate

  • Arabo (Arabia Saudita)
  • Egitto arabo
  • Cinese semplificato
  • Inglese (Stati Uniti)
  • Francese
  • Tedesco
  • Italiano
  • Spagnolo

Bring Your Own Model

Azure AI Video Indexer abilitato da Arc supporta anche l'uso di un modello personalizzato. Per informazioni dettagliate, vedere l'articolo Bring Your Own Model (BYO).

Limiti

  • Le dimensioni del file supportate per l'indicizzazione sono fino a 2 GB.
  • Aggiornamento dell'estensione:
    • Il supporto dell'estensione si applica solo per la versione più recente.
    • È consigliabile impostare tale auto-upgrade proprietà su true. Questa impostazione mantiene aggiornata l'estensione.
    • Se l'impostazione di aggiornamento automatico è impostata su false, l'aggiornamento della versione deve essere eseguito in modo incrementale. Il passaggio tra versioni può causare l'esito negativo dei processi di indicizzazione.
  • Dopo l'installazione o l'aggiornamento dell'estensione, attendere che la durata del primo processo index\translation sia più lunga. La durata più lunga è dovuta al download dell'immagine del modello di intelligenza artificiale. La durata varia a seconda della velocità di rete.
  • È possibile distribuire un'unica estensione video indexer per ogni cluster Kubernetes abilitato per Arc.
  • Le prestazioni del volume del cluster (in base alla classe di archiviazione) influisce significativamente sulla durata del fatturato del processo di indicizzazione, soprattutto perché l'estrazione dei fotogrammi sta scrivendo tutti i fotogrammi nel volume.
  • È possibile usare solo i token di accesso all'account cloud ottenuti tramite il portale di Azure. I token di accesso video cloud non sono supportati, ma con l'API sono disponibili token di accesso alle estensioni e sono supportati tutti i tipi.
  • I messaggi di errore video non vengono archiviati a causa di limitazioni di memoria.