API Voice Live per agenti vocali in tempo reale

Che cos'è l'API Voice Live?

L'API Voice Live è una soluzione che consente interazioni vocali di alta qualità e a bassa latenza per gli agenti vocali. L'API è progettata per gli sviluppatori che cercano esperienze scalabili ed efficienti basate su voce, eliminando così la necessità di orchestrare manualmente più componenti. Integrando il riconoscimento vocale, l'intelligenza artificiale generativa e le funzionalità di sintesi vocale in un'unica interfaccia unificata, offre una soluzione end-to-end per la creazione di esperienze senza interruzioni.

L'API Voice Live è completamente gestita, quindi non è necessario gestire l'orchestrazione back-end o l'integrazione dei componenti. Gli sviluppatori forniscono input audio e ricevono output audio, visuali degli avatar e trigger di azione, il tutto con latenza minima. Non è necessario distribuire o gestire modelli di intelligenza artificiale generativi, perché l'API gestisce l'infrastruttura sottostante.

Comprendere le esperienze da voce a voce

La tecnologia di riconoscimento vocale sta rivoluzionando il modo in cui gli esseri umani interagiscono con i sistemi, offrendo soluzioni intuitive basate sulla voce. Le implementazioni tradizionali implicano la combinazione di moduli diversi, ad esempio riconoscimento vocale, gestione dei dialoghi, sintesi vocale e altro ancora. Tale concatenamento può portare a una maggiore complessità di progettazione e alla latenza percepita dall'utente finale.

Grazie ai progressi nei modelli di linguaggio di grandi dimensioni e nell'intelligenza artificiale multimodale, l'API Voice Live consolida queste funzionalità, semplificando i flussi di lavoro per gli sviluppatori. Questo approccio migliora le interazioni in tempo reale e garantisce comunicazioni naturali di alta qualità, rendendolo adatto per i settori che richiedono soluzioni istantanee abilitate per la voce.

Scenari chiave per l'API Voice Live

L'API Live di Azure AI Voice è ideale per scenari in cui le interazioni basate su voce migliorano l'esperienza utente. Gli esempi includono:

  • Contact center: sviluppare bot vocali interattivi per il supporto tecnico, l'esplorazione del catalogo prodotti e soluzioni self-service.
  • Assistenti automobilistici: abilita assistenti vocali senza mani, in auto per l'esecuzione dei comandi, la navigazione e le richieste generali.
  • Istruzione: creare compagni di apprendimento abilitati per la voce e tutor virtuali per la formazione interattiva e l'istruzione.
  • Servizi pubblici: creare agenti vocali per assistere i cittadini con query amministrative e informazioni sui servizi pubblici.
  • Risorse umane: migliorare i processi HR con strumenti abilitati per la voce per il supporto dei dipendenti, lo sviluppo di carriera e la formazione.

Funzionalità dell'API Voice Live

L'API Voice Live include un set completo di funzionalità per supportare casi d'uso diversi e garantire interazioni vocali superiori:

  • Copertura generale delle impostazioni locali: supporta oltre 140 impostazioni locali per la sintesi vocale e offre oltre 600 voci standard in più di 150 impostazioni locali per la sintesi vocale, garantendo l'accessibilità globale.
  • Input e output personalizzabili: usare l'elenco di frasi per la personalizzazione just-in-time leggera su input audio oppure modelli di riconoscimento vocale personalizzato per un'ottimizzazione del riconoscimento vocale avanzato. Utilizza una voce personalizzata per creare voci distintive allineate al marchio per l'output audio. Per altre informazioni, vedere Come personalizzare l'input e l'output di Voice Live .
  • Opzioni flessibili del modello di intelligenza artificiale generativa: scegliere tra più modelli, tra cui GPT-5, GPT-4.1, GPT-4o, Phi e più personalizzati in base ai requisiti di conversazione.
  • Funzionalità di conversazione avanzate:
    • Eliminazione del rumore: riduce il rumore ambientale per una comunicazione più chiara.
    • Annullamento echo: impedisce all'agente di raccogliere le proprie risposte.
    • Rilevamento affidabile delle interruzioni: garantisce un riconoscimento accurato delle interruzioni durante le conversazioni.
    • Rilevamento avanzato di fine turno: consente pause naturali senza concludere prematuramente le interazioni.
  • Integrazione avatar: fornisce avatar standard o personalizzabili sincronizzati con l'output audio, offrendo un'identità visiva per gli agenti vocali.
  • Chiamata di funzioni: abilita azioni esterne, l'uso di strumenti e risposte concrete usando il modello VoiceRAG.

Progettazione e compatibilità delle API

L'API Voice Live è progettata per la compatibilità con l'API Azure OpenAI Realtime. Gli eventi in tempo reale supportati corrispondono principalmente agli eventi dell'API Realtime di Azure OpenAI, con alcune eccezioni descritte nella guida all'uso dell'API Voice Live.

Le funzionalità esclusive dell'API Voice Live sono facoltative e aggiuntive. È possibile aggiungere Voce di Azure nelle funzionalità di Foundry Tools quali eliminazione del rumore, annullamento dell'eco e rilevamento avanzato end-of-turn alle applicazioni esistenti senza modificare l'architettura esistente.

L'API è supportata tramite eventi WebSocket, consentendo un'integrazione semplice da server a server. Il servizio back-end o di livello intermedio si connette all'API Voice Live tramite WebSocket. È possibile usare i messaggi WebSocket direttamente per interagire con l'API.

Modelli e aree supportati

Per ottimizzare l'intelligenza dell'agente vocale, si ha flessibilità e scelta nel modello di intelligenza artificiale generativa tra GPT-Realtime, GPT-5, GPT-4.1, Phi e altre opzioni. I diversi modelli di intelligenza artificiale generativi offrono diversi tipi di funzionalità, livelli di intelligenza, velocità e latenza dell'inferenza e costi. A seconda delle questioni più importanti per l'azienda e il caso d'uso, scegliere il modello più adatto alle proprie esigenze.

Tutti i modelli supportati in modo nativo sono completamente gestiti, quindi non è necessario implementare modelli, preoccuparsi della pianificazione della capacità o effettuare il provisioning del throughput. Usare il modello necessario e l'API Voice Live si occupa del resto.

La tabella seguente elenca i modelli Voice Live supportati e i relativi piani tariffari. Per la disponibilità di LLM in base all'area della risorsa Voice Live e all'ambito di elaborazione dei dati (inferenza), vedere supporto dell'area di Voice Live.

Le funzionalità vocali hanno ambiti di disponibilità ed elaborazione separati. Le voci HD standard e mai-transcribe-2 sono disponibili in tutte le aree delle risorse Voice Live supportate. mai-transcribe-2-streaming è disponibile in un sottoinsieme. Vedere Disponibilità e ambito di elaborazione delle funzionalità di riconoscimento vocale.

Modello Piano tariffario Descrizione
gpt-realtime-2.1 Vantaggi GPT in tempo reale 2.1 con elaborazione globale. Supporta le voci di sintesi vocale di Azure, inclusa la voce personalizzata.
gpt-realtime-2.1-datazone Vantaggi GPT in tempo reale 2.1 con elaborazione nell'area dati. Le richieste e le risposte rimangono all'interno della zona dati associata all'area della risorsa. Supporta le voci di sintesi vocale di Azure, inclusa la voce personalizzata.
gpt-realtime-2.1-regional Vantaggi GPT in tempo reale 2.1 con elaborazione regionale. Supporta le voci di sintesi vocale di Azure, inclusa la voce personalizzata.
gpt-realtime-2.1-mini Standard GPT mini real-time 2.1 + opzione per utilizzare le voci di sintesi vocale di Azure, compresa una voce personalizzata per l'audio.
gpt-realtime-1.5 Vantaggi GPT 1.5 in tempo reale + opzione per utilizzare le voci di sintesi vocale di Azure, incluse le voci personalizzate per l'audio.
gpt-realtime-1.5-datazone Vantaggi GPT in tempo reale 1.5 con elaborazione nella zona dati. Le richieste e le risposte rimangono all'interno della zona dati associata all'area della risorsa. Supporta le voci di sintesi vocale di Azure, inclusa la voce personalizzata.
gpt-realtime Vantaggi GPT in tempo reale con elaborazione globale. Supporta le voci di sintesi vocale di Azure, inclusa la voce personalizzata.
gpt-realtime-datazone Vantaggi GPT in tempo reale con l'elaborazione nella zona dati. Le richieste e le risposte rimangono all'interno della zona dati associata all'area della risorsa. Supporta le voci di sintesi vocale di Azure, inclusa la voce personalizzata.
gpt-realtime-regional Vantaggi GPT in tempo reale con elaborazione regionale. Supporta le voci di sintesi vocale di Azure, inclusa la voce personalizzata.
gpt-realtime-mini Standard GPT mini in tempo reale + opzione per utilizzare le voci di sintesi vocale di Azure, inclusa la voce personalizzata per l'audio.
gpt-4o Vantaggi GPT-4o + input audio tramite riconoscimento vocale di Azure e output audio tramite Testo di Azure per le voci vocali, inclusa la voce personalizzata.
gpt-4o-mini Standard GPT-4o mini + input audio tramite il riconoscimento vocale di Azure e l'output audio tramite testo di Azure per le voci vocali, inclusa la voce personalizzata.
gpt-4.1 Vantaggi GPT-4.1 + input audio tramite riconoscimento vocale di Azure per la conversione del parlato in testo e output audio tramite sintesi vocale di Azure, comprese le voci personalizzate.
gpt-4.1-mini Standard GPT-4.1 mini + input audio tramite riconoscimento vocale di Azure per il testo e l'output audio tramite Testo di Azure per le voci vocali, inclusa la voce personalizzata.
gpt-4.1-nano Lite GPT-4.1 nano + ingresso audio tramite la funzione di sintesi vocale di Azure + uscita audio tramite le voci di sintesi vocale di Azure, comprese quelle personalizzate.
gpt-5.6-terra Vantaggi GPT-5.6 Terra + input audio tramite Azure Speech to Text + output audio tramite le voci di Azure Text to Speech, inclusa la voce personalizzata.
gpt-5.6-luna Standard GPT-5.6 Luna + input audio tramite Azure Speech to Text + output audio tramite le voci di Azure Text to Speech, inclusa la voce personalizzata.
gpt-5.4 Vantaggi GPT-5.4 + input audio tramite riconoscimento vocale di Azure + output audio tramite le voci di sintesi vocale di Azure, inclusa la voce personalizzata.
gpt-5.2 Vantaggi GPT-5.2 + input audio tramite riconoscimento vocale di Azure + output audio tramite le voci di sintesi vocale di Azure, inclusa la voce personalizzata.
gpt-5.1 Vantaggi GPT-5.1 + input audio tramite riconoscimento vocale di Azure + output audio tramite le voci di sintesi vocale di Azure, inclusa la voce personalizzata.
gpt-5 Vantaggi GPT-5 + input audio tramite riconoscimento vocale di Azure + output audio tramite le voci di sintesi vocale di Azure, inclusa la voce personalizzata.
gpt-5-mini Standard GPT-5 mini + input audio tramite riconoscimento vocale di Azure + output audio tramite le voci di sintesi vocale di Azure, inclusa la voce personalizzata.
gpt-5-nano Lite GPT-5 nano + input audio tramite il servizio di riconoscimento vocale di Azure e output audio tramite le voci di testo-audio di Azure, inclusa la voce personalizzata.
phi4-mm-realtime (anteprima) Lite Phi4-mm + output audio tramite testo di Azure per le voci vocali, inclusa la voce personalizzata.
azure-realtime Vantaggi Azure in tempo reale + voci dedicate azure-realtime-native per l'audio.

Annotazioni

gpt-5.5 I modelli gpt-5.4-minie gpt-5.4-nano sono supportati e testati con Voice Live, ma non sono pre-distribuiti. Per usarle, distribuirle nella risorsa Foundry e connetterle tramite Bring Your Own Model (BYOM).

Confrontare l'API Voice Live con altre soluzioni di riconoscimento vocale

L'API Voice Live è un'alternativa all'orchestrazione di più componenti, ad esempio il riconoscimento vocale, l'intelligenza artificiale generativa e la sintesi vocale. Questa orchestrazione può essere complessa e dispendiosa in termini di tempo, richiedendo notevoli sforzi di progettazione per l'integrazione e la manutenzione. L'API Voice Live semplifica questo processo fornendo una singola interfaccia per tutti questi componenti. Gli sviluppatori possono concentrarsi sulla creazione delle applicazioni anziché sulla gestione dell'infrastruttura sottostante.

Per soddisfare i requisiti, è possibile creare una soluzione personalizzata o usare l'API Voice Live. Questa tabella confronta gli approcci seguenti:

Requisiti dell'app Provare API Voice Live
Copertura geografica globale con elevata accuratezza (input audio) ✅ ✅
Mantenere la personalità del marchio e del carattere (output audio) ✅ ✅
Miglioramenti delle conversazioni ❌ ✅
Scelta di modelli di intelligenza artificiale generativi ✅ ✅
Output visivo con avatar per sintesi vocale ✅ ✅
Basso costo di progettazione ❌ ✅
Bassa latenza percepita dall'utente finale ❌ ✅

Tariffazione

I prezzi per l'API Voice Live hanno effetto il 1° luglio 2025.

I prezzi per l'API Voice Live sono a livelli (Pro, Standard e Lite) in base al modello di intelligenza artificiale generativo usato. Non si seleziona un livello. Si sceglie un modello di intelligenza artificiale generativa e si applicano i prezzi corrispondenti:

Categoria di prezzi Modelli
Voice Live Pro gpt-realtime-2.1, gpt-realtime-2.1-datazone, gpt-realtime-2.1-regional, gpt-realtime, gpt-realtime-datazone, gpt-realtime-regional, gpt-realtime-1.5, gpt-realtime-1.5-datazone, gpt-4o, gpt-4.1, gpt-5, gpt-5-chat, gpt-5.6-terra, gpt-5.4, gpt-5.2, gpt-5.1, azure-realtime
Voice Live Standard gpt-realtime-2.1-mini, gpt-realtime-mini, gpt-4o-mini, gpt-4.1-mini, gpt-5.6-lunagpt-5-mini
Voice Live Lite gpt-4.1-nano, gpt-5-nano, phi4-mm-realtime

Se si sceglie di utilizzare discorso personalizzato, voce personalizzata o avatar personalizzato per l'input o l'output vocale, il costo è addebitato separatamente per l'addestramento e l'hosting del modello. Per informazioni dettagliate, vedere Prezzi dei servizi Voce .

Importante

L'accesso vocale personalizzato è limitato in base all'idoneità e ai criteri di utilizzo. È necessario richiedere l'accesso tramite il modulo di accettazione.

Importante

L'accesso all’avatar personalizzato di sintesi vocale è limitato in base all'idoneità e ai criteri di utilizzo. È necessario richiedere l'accesso tramite il modulo di accettazione.

Scenari di prezzi di esempio

Ecco alcuni scenari di prezzi di esempio che consentono di comprendere come viene addebitata l'API Voice Live:

Scenario 1

Un agente del servizio clienti creato con input standard di Azure Speech, GPT-4.1, output personalizzato di Azure Speech e un avatar personalizzato.

L'addebito viene effettuato con la tariffa Voice Live pro per:

  • Text
  • Audio con Riconoscimento vocale di Azure - Standard
  • Audio con Riconoscimento vocale di Azure - Personalizzato

L'addebito viene addebitato separatamente per il training e l'hosting del modello di:

  • Voce personalizzata – professionista
  • Avatar personalizzato

Scenario 2

Un agente di apprendimento creato con gpt-realtime input audio nativo e output standard di Azure Speech.

L'addebito viene effettuato con la tariffa Voice Live pro per:

  • Text
  • Audio nativo con gpt-realtime
  • Audio con Riconoscimento vocale di Azure - Standard

Scenario 3

Un agente per i colloqui con i talenti creato con input audio nativo gpt-realtime-mini e output standard di Voce di Azure e avatar standard.

Ti viene addebitata la tariffa Voice Live Standard per:

  • Text
  • Audio nativo con gpt-realtime-mini
  • Audio con Riconoscimento vocale di Azure - Standard

L'addebito viene effettuato separatamente per:

  • Avatar di sintesi vocale (standard)

Scenario 4

Assistente in auto creato con phi4-mm-realtime e voce personalizzata di Azure.

Ti viene addebitato alla tariffa Voice Live Lite per:

  • Text
  • Audio nativo con phi4-mm-realtime

L'addebito viene effettuato con la tariffa Voice Live pro per:

  • Audio con Riconoscimento vocale di Azure - Personalizzato

L'addebito viene addebitato separatamente per il training e l'hosting del modello di:

  • Voce personalizzata – professionista

Utilizzo dei token e stima dei costi

I token sono le unità usate dai modelli di intelligenza artificiale generativi per elaborare l'input e generare l'output. 

È possibile stimare l'utilizzo dei token per famiglie di modelli diverse con l'API Voice Live in base alla lunghezza dell'audio. I calcoli dei token seguenti si applicano a ogni famiglia di modelli:

Famiglia di modelli Audio di ingresso (token al secondo) Audio di output (token al secondo)
Modelli di Azure OpenAI ~10 token ~20 token
Modelli Phi ~12.5 token ~20 token

Vengono addebitati anche gli input audio e di testo memorizzati nella cache, inclusi il prompt e il contesto delle conversazioni.

Contenuti correlati

  • Ultimo aggiornamento: