Identificare e trascrivere in modo automatico il contenuto multilingue

Importante

A causa dell'annuncio di ritiro Servizi multimediali di Azure, Azure AI Video Indexer annuncia le modifiche alle funzionalità di Azure AI Video Indexer. Vedere Modifiche correlate al ritiro di Servizi multimediali di Azure (AMS) per comprendere cosa significa per l'account Video Indexer di Azure per intelligenza artificiale. Vedere la guida alla preparazione per il ritiro di AMS: aggiornamento VI e migrazione.

Video Indexer di Azure per intelligenza artificiale supporta l'identificazione e la trascrizione automatica della lingua nel contenuto multilingue. Questo processo implica l'identificazione automatica della lingua parlata in segmenti diversi dall'audio, l'invio di ogni segmento del file multimediale da trascrivere e combinare la trascrizione in una trascrizione unificata.

Scelta dell'identificazione multilingue per l'indicizzazione con il portale

È possibile scegliere il rilevamento in più lingue durante il caricamento e l'indicizzazione del video. In alternativa, è possibile scegliere il rilevamento multilingue durante la reindicizzazione del video. I passaggi seguenti descrivono come reindicizzare:

1. Passare al sito Web di Azure AI Video Indexer ed eseguire l'accesso.

2. Passare alla pagina Raccolta e passare il puntatore del mouse sul nome del video che si vuole reindicizzare.

3. Nell'angolo in basso a destra selezionare il pulsante Ri-indicizzare il video .

4. Nella finestra di dialogo Re-index video (Ri-indicizzazione video) scegliere Rilevamento multilingue dalla casella di riepilogo a discesa Lingua origine video.

   • Quando un video viene indicizzato come multi-lingua, l'utente deve visualizzare il segmento trascritto in quale lingua.
   • La traduzione in tutte le lingue è completamente disponibile dalla trascrizione in più lingue.
   • Tutte le altre informazioni dettagliate vengono visualizzate nella lingua che ha rilevato il massimo nell'audio.
   • Il didascalia chiuso sul lettore è disponibile anche in più lingue.

Scelta dell'identificazione multilingue per l'indicizzazione con l'API

Quando si esegue l'indicizzazione o la reindicizzazione di un video usando l'API, scegliere l'opzione multi-language detection nel sourceLanguage parametro .

Output del modello

Il modello recupera tutte le lingue rilevate nel video in un elenco

"sourceLanguage": null,
"sourceLanguages": [
    "es-ES",
    "en-US"
],

Inoltre, ogni istanza della sezione di trascrizione include la lingua in cui è stata trascritta

{
  "id": 136,
  "text": "I remember well when my youth Minister took me to hear Doctor King I was a teenager.",
  "confidence": 0.9343,
  "speakerId": 1,
  "language": "en-US",
  "instances": [
    {
       "adjustedStart": "0:21:10.42",
       "adjustedEnd": "0:21:17.48",
       "start": "0:21:10.42",
       "end": "0:21:17.48"
    }
  ]
},

Linee guida e limitazioni

• L'audio che contiene lingue diverse da quelle selezionate produce risultati imprevisti.
• La lunghezza minima del segmento per il rilevamento di ogni lingua è di 15 secondi.
• L'offset di rilevamento della lingua è di 3 secondi in media.
• È previsto che il riconoscimento vocale sia continuo. Le frequenti alternanze tra lingue possono influire sulle prestazioni del modello.
• Il parlato dei parlanti non nativi potrebbe influire sulle prestazioni del modello( ad esempio, quando gli altoparlanti usano la prima lingua e passano a un'altra lingua).
• Il modello è progettato per riconoscere il parlato conversazionale spontaneo con acustica audio ragionevole (non comandi vocali, canto e così via).
• La creazione e la modifica del progetto non sono disponibili per video multilingue.
• I modelli linguistici personalizzati non sono disponibili quando si usa il rilevamento multilingue.
• L'aggiunta di parole chiave non è supportata.
• L'indicazione della lingua non è inclusa nel file didascalia chiuso esportato.
• La trascrizione degli aggiornamenti nell'API non supporta più file di lingue.