Panoramica di Azure AI Video Indexer

Azure AI Video Indexer è un'applicazione cloud, parte dei servizi di intelligenza artificiale di Azure, basata sui servizi di intelligenza artificiale di Azure (ad esempio Face, Translator, Azure AI Vision e Speech). Consente di estrarre informazioni dettagliate dai video tramite i modelli audio e video di Video Indexer di Azure AI.

Video Indexer di Azure per intelligenza artificiale analizza il contenuto video e audio eseguendo modelli di intelligenza artificiale di oltre 30, generando informazioni dettagliate avanzate. Ecco un'illustrazione dell'analisi audio e video eseguita da Azure AI Video Indexer in secondo piano:

Per iniziare a estrarre informazioni dettagliate con Azure AI Video Indexer, vedere la sezione come iniziare .

Cosa è possibile fare con Azure AI Video Indexer?

Le informazioni dettagliate di Video Indexer di Azure per intelligenza artificiale possono essere applicate a molti scenari:

• Ricerca approfondita: per migliorare l'esperienza di ricerca in una raccolta video, usare le informazioni dettagliate estratte dal video. L'indicizzazione del testo parlato e dei visi può ad esempio consentire di usare l'esperienza di ricerca per trovare i momenti in un video in cui una persona specifica ha pronunciato determinate parole o in cui due persone vengono viste insieme. La ricerca basata su tali informazioni dettagliate estratte dai video è utile per agenzie di stampa, istituti di istruzione, operatori che trasmettono eventi live, proprietari di contenuti per l'intrattenimento, app line-of-business aziendali e in genere per qualsiasi settore in cui gli utenti abbiano l'esigenza di eseguire ricerche in un catalogo video.
• Creazione di contenuti: creare trailer, reel, contenuti per social media o clip di notizie basandosi sulle informazioni dettagliate ottenute da Azure AI Video Indexer dai vostri contenuti. I fotogrammi chiave, i marcatori di scene e i timestamp della presenza di persone e etichette rendono il processo di creazione più semplice e veloce, consentendo di accedere facilmente alle parti del video di cui hai bisogno mentre crei contenuti.
• Accessibilità: se si vuole rendere disponibile il contenuto per le persone con disabilità o se si vuole distribuire il contenuto in aree diverse usando lingue diverse, è possibile usare la trascrizione e la traduzione fornita da Azure AI Video Indexer in più lingue.
• Monetizzazione: Video Indexer di Azure per intelligenza artificiale consente di aumentare il valore dei video. Ad esempio, i settori che si basano sui ricavi della pubblicità (mezzi di informazione, social media e così via) possono pubblicare annunci pertinenti usando le informazioni dettagliate estratte come segnali aggiuntivi inviati al server di annunci.
• Utilizzare modelli di moderazione dei contenuti testuali e visivi per proteggere gli utenti da contenuti non appropriati e verificare che il contenuto pubblicato corrisponda ai valori dell'organizzazione. È possibile bloccare automaticamente determinati video o avvisare gli utenti sul contenuto.
• Raccomandazioni: le informazioni dettagliate sui video possono essere usate per migliorare l'engagement degli utenti evidenziando i momenti video pertinenti per gli utenti. Contrassegnando ogni video con più metadati, è possibile consigliare agli utenti i video più rilevanti ed evidenziare le parti del video che soddisfano le proprie esigenze.

Funzionalità di intelligenza artificiale video/audio

L'elenco seguente mostra le informazioni dettagliate che è possibile recuperare dai file video/audio usando le funzionalità video e audio di Video Indexer di Azure per intelligenza artificiale (modelli).

Nota

In base ai requisiti normativi e sulla privacy, alcune di queste funzionalità sono limitate all'uso e/o richiedono l'autorizzazione per l'utilizzo completo.

Se non specificato diversamente, un modello è disponibile a livello generale.

Modelli video

• Rilevamento viso: rileva e raggruppa i visi visualizzati nel video.

• Identificazione celebrità: identifica oltre 1 milione di celebrità, come leader mondiali, attori, artisti, atleti, ricercatori, business e leader tecnologici in tutto il mondo. I dati relativi a queste celebrità possono anche essere trovati su diversi siti Web noti, ad esempio IMDB, Wikipedia e così via.

• Identificazione viso basata su account: esegue il training di un modello per un account specifico. Riconosce quindi i volti nel video in base al modello addestrato. Per altre informazioni, vedere Personalizzare un modello Person dal sito Web di Azure AI Video Indexer e Personalizzare un modello Person con l'API Video Indexer di Azure per intelligenza artificiale.

• Estrazione di anteprime per i visi: identifica il viso acquisito meglio in ogni gruppo di visi (in base a qualità, dimensioni e posizione frontale) ed estrarlo come risorsa immagine.

• Riconoscimento ottico dei caratteri (OCR): estrae testo da immagini, segni stradali e prodotti nei file multimediali per creare informazioni dettagliate.

• Moderazione del contenuto visivo: rileva contenuti visivi per adulti e/o provocanti.

• Identificazione delle etichette: identifica oggetti visivi e azioni visualizzati.

• Segmentazione della scena: determina quando una scena cambia in base ai segnali visivi. Una scena illustra un singolo evento ed è composto da una serie di scatti consecutivi, che sono correlati semanticamente.

• Rilevamento degli scatti: determina quando un'immagine cambia nel video in base ai segnali visivi. Uno scatto è una serie di fotogrammi acquisiti dalla stessa fotocamera del movimento. Per altre informazioni, vedere Scene, scatti e fotogrammi chiave.

• Rilevamento dei fotogrammi neri: identifica i fotogrammi neri presentati nel video.

• Estrazione fotogrammi chiave: rileva fotogrammi chiave stabili in un video.

• Crediti in sequenza: identifica l'inizio e la fine dei crediti in sequenza alla fine di programmi televisivi e film.

• Rilevamento del tipo di scatto editoriale: Etichetta gli scatti in base al loro tipo (come inquadratura ampia, inquadratura media, primo piano, primo piano estremo, due inquadrature, più persone, all'aperto e al chiuso, e così via). Per altre informazioni, vedere Rilevamento del tipo di scatto editoriale.

• Rilevamento delle persone osservate: rileva le persone osservate nei video e fornisce informazioni quali la posizione della persona nel fotogramma video (usando rettangoli di delimitazione), il timestamp esatto (inizio, fine) e il livello di sicurezza nel momento in cui una persona appare. Per altre informazioni, vedere Tracciare le persone osservate in un video.

  • Persona abbinata: corrisponde alle persone osservate nel video con i visi corrispondenti rilevati. L'abbinamento tra le persone osservate e i visi include un livello di fiducia.
  • Abbigliamento rilevato: rileva i tipi di abbigliamento delle persone che appaiono nel video e fornisce informazioni come maniche lunghe o corte, pantaloni lunghi o corti e gonna o abito. L'abbigliamento rilevato è associato alle persone che lo indossano e viene fornito il timestamp esatto (inizio, fine) insieme a un livello di confidenza per il rilevamento.
  • Abbigliamento in primo piano: acquisisce immagini di abbigliamento in primo piano che appaiono in un video. Puoi migliorare i tuoi annunci mirati usando gli approfondimenti sull'abbigliamento in primo piano. Per informazioni su come vengono classificate le immagini di abbigliamento in primo piano e su come ottenere informazioni dettagliate, vedi abbigliamento in primo piano.

• Rilevamento oggetti Rileva oggetti univoci che sono anche tracciati, in modo che, se tornano nel frame, vengano riconosciuti. Vedi rilevamento di oggetti di Azure AI Video Indexer

• Rilevamento di slate: identifica le seguenti informazioni dettagliate della post-produzione del video durante l'indicizzazione di un video usando l'opzione di indicizzazione avanzata.

  • Rilevamento clapperboard con estrazione dei metadati.
  • Rilevamento di modelli digitali, incluse le barre dei colori.
  • Rilevamento dello slate senza testo, inclusa la corrispondenza della scena.

  Per informazioni dettagliate, vedere Rilevamento Slate.

• Rilevamento del logo testuale: corrisponde a un testo predefinito specifico usando OCR di Azure AI Video Indexer. Ad esempio, se un utente ha creato un logo testuale: Microsoft, vengono rilevate diverse apparizioni della parola Microsoft come logo Microsoft. Per altre informazioni, vedere Rilevare il logo testuale.

Modelli audio

• Trascrizione audio: converte la voce in testo in più di 50 lingue e consente estensioni. Per altre informazioni, vedere Supporto per il linguaggio di Video Indexer per Intelligenza artificiale di Azure.

• Rilevamento automatico della lingua: identifica la lingua parlata dominante. Per altre informazioni, vedere Supporto per il linguaggio di Video Indexer per Intelligenza artificiale di Azure. Se la lingua non può essere identificata con attendibilità, Azure AI Video Indexer presuppone che la lingua parlata sia l'inglese.

• Identificazione e trascrizione di più lingue: identifica la lingua parlata in segmenti diversi dall'audio. Invia ogni segmento del file multimediale da trascrivere, quindi combina nuovamente la trascrizione in un'unica trascrizione unificata. Per altre informazioni sulla trascrizione, vedere Trascrizione

• Sottotitoli per non udenti: crea sottotitoli per non udenti in tre formati: VTT, TTML, SRT.

• Elaborazione di due canali: rileva automaticamente trascrizioni separate e unisce in una singola sequenza temporale.

• Riduzione del rumore: cancella le registrazioni audio telefoniche o rumorose (in base ai filtri Skype).

• Personalizzazione della trascrizione (CRIS): addestra modelli di trascrizione del parlato personalizzati per creare trascrizioni specifiche del settore. Per altre informazioni, vedere Personalizzare un modello linguistico.

• Enumerazione del parlante: mappa e comprende quale parlante ha pronunciato quali parole e quando. Sedici altoparlanti possono essere rilevati in un singolo file audio.

• Statistiche voce: fornisce statistiche per i rapporti vocali degli altoparlanti.

• Moderazione del contenuto testuale: rileva testo esplicito nella trascrizione audio.

• Rilevamento delle emozioni basate sul testo: emozioni come gioia, tristezza, rabbia e paura rilevate tramite l'analisi della trascrizione.

• Traduzione: crea traduzioni della trascrizione audio in molte lingue diverse. Per altre informazioni, vedere Supporto per il linguaggio di Video Indexer per Intelligenza artificiale di Azure.

• Rilevamento degli effetti audio: rileva i seguenti effetti audio nei segmenti non parlati del contenuto: allarme o sirena, abbaiare di cane, reazioni di folla (applausi, battito di mani e fischi), colpo di pistola o esplosione, risate, vetro rotto e silenzio.

  Gli eventi acustici rilevati si trovano nel file dei sottotitoli chiusi. Il file può essere scaricato dal sito Web di Azure AI Video Indexer. Per altre informazioni, vedere Rilevamento effetti audio.

  Nota

  Il set completo di eventi è disponibile solo quando si sceglie Analisi audio avanzata durante il caricamento di un file, nel set di impostazioni di caricamento. Per impostazione predefinita, viene rilevato solo il silenzio.

Modelli audio e video (canali multipli)

Quando si indicizza per un canale, sono disponibili risultati parziali per tali modelli.

• Estrazione di parole chiave: estrae parole chiave dal riconoscimento vocale e dal testo visivo.
• Estrazione di entità denominate: estrae marchi, posizioni e persone dal parlato e dal testo visivo tramite l'elaborazione del linguaggio naturale (NLP).
• Inferenza dell'argomento: estrae argomenti basati su varie parole chiave ( ovvero parole chiave 'Borsa', 'Wall Street' produce l'argomento 'Economia'). Il modello usa tre diverse ontologi (IPTC, Wikipedia e l'argomento gerarchico di Video Indexer). Il modello usa la trascrizione (parole pronunciate), il contenuto OCR (testo visivo) e le celebrità riconosciute nel video usando il modello di riconoscimento facciale di Video Indexer.
• Artefatti: estrae un set completo di artefatti di "livello successivo di dettagli" per ognuno dei modelli.
• Analisi del sentiment: identifica sentimenti positivi, negativi e neutrali dal testo vocale e visivo.

Come è possibile iniziare a usare Azure AI Video Indexer?

Informazioni su come iniziare a usare Azure AI Video Indexer.

Dopo aver completato la configurazione, inizia a usare gli insight ed esplora altre guide pratiche.

Conformità, privacy e sicurezza

Nota

Il 11 giugno 2020, Microsoft ha annunciato che non venderà la tecnologia di riconoscimento facciale ai reparti di polizia negli Stati Uniti fino a quando non viene adottata una forte regolamentazione, in base ai diritti umani. Di conseguenza, i clienti non possono usare caratteristiche o funzionalità di riconoscimento facciale incluse nei servizi di intelligenza artificiale di Azure, ad esempio Face o Video Indexer, se un cliente è un dipartimento di polizia negli Stati Uniti o consente a un dipartimento di polizia di usare tali servizi.

Nota

L'accesso alle funzionalità di identificazione, personalizzazione e riconoscimento delle celebrità è limitato in base ai criteri di idoneità e utilizzo per supportare i principi di IA responsabile. Le funzionalità di identificazione, personalizzazione e riconoscimento delle celebrità sono disponibili solo per i clienti e i partner gestiti da Microsoft. Usare il modulo di richiesta per il riconoscimento del viso per richiedere l'accesso.

È necessario rispettare tutte le leggi applicabili nell'uso di Azure AI Video Indexer e non è possibile usare Azure AI Video Indexer o qualsiasi servizio di Azure in modo da violare i diritti di altri utenti o che potrebbero essere dannosi per altri utenti.

Prima di caricare qualsiasi video/immagine in Azure AI Video Indexer, è necessario disporre di tutti i diritti appropriati e legali per l'uso del video/immagine, tra cui, se richiesto dalla legge, tutti i consensi necessari a utenti singoli (se presenti) nell'immagine/video, per l'uso, l'elaborazione e l'archiviazione dei dati in Azure AI Video Indexer e Azure. Alcune giurisdizioni potrebbero imporre requisiti legali speciali per la raccolta, l'elaborazione online e l'archiviazione di determinate categorie di dati, ad esempio i dati biometrici. Prima di usare Azure AI Video Indexer e Azure per l'elaborazione e l'archiviazione di tutti i dati soggetti a requisiti legali speciali, è necessario assicurarsi che l'uso sia conforme a tutti questi requisiti legali applicabili all'utente e all'uso previsto.

Per informazioni sulla conformità, la privacy e la sicurezza in Azure AI Video Indexer, visitare il Centro protezione Microsoft. Per gli obblighi di privacy di Microsoft, la gestione dei dati e le procedure di conservazione, tra cui come eliminare i dati, consultare l'Informativa sulla privacy di Microsoft, le Condizioni dei Servizi online ("OST") e l'addendum per l'elaborazione dei dati ("DPA"). Usando Azure AI Video Indexer, si accetta di essere vincolati dall'OST, DPA e dall'Informativa sulla privacy.