Come creare un avatar personalizzato per la sintesi vocale

Iniziare a usare un avatar personalizzato per la sintesi vocale è un processo semplice. Tutto ciò che serve sono alcuni video clip del tuo attore. Se vuoi eseguire il training di una voce personalizzata per lo stesso attore, puoi farlo separatamente.

Annotazioni

L'accesso avatar personalizzato è limitato in base ai criteri di idoneità e utilizzo. È necessario richiedere l'accesso tramite il modulo di accettazione.

Prerequisiti

È necessaria una risorsa Azure AI Foundry in una delle aree che supportano il training avatar personalizzato. Avatar personalizzato supporta solo risorse Standard (S0) di Fonderia AI o Servizio cognitivo di Azure per la voce.

È necessaria una registrazione video del talento che legge una dichiarazione di consenso che riconosce l'uso dell'immagine e della voce. Caricare questo video quando si configura il talento avatar. Per altre informazioni, vedere Aggiungere il consenso dei talenti avatar.

Hai bisogno di registrazioni video del tuo talento avatar come dati di training. Questi video vengono caricati quando si preparano i dati di training. Per altre informazioni, vedere Aggiungere dati di training.

Passaggio 1: Avviare l'ottimizzazione

Suggerimento

Non combinare dati per avatar diversi in un'area di lavoro di ottimizzazione. Ogni avatar deve avere una propria area di lavoro di ottimizzazione.

Per ottimizzare un avatar personalizzato, seguire questa procedura:

1. Passa al tuo progetto Azure AI Foundry nel portale di Azure AI Foundry. Se è necessario creare un progetto, vedere Creare un progetto Azure AI Foundry.

2. Selezionare Ottimizzazione nel riquadro sinistro.

3. Selezionare Ottimizzazione del servizio AI>+ Ottimizza.

   

4. Nella procedura guidata selezionare Avatar personalizzato (fine-tuning avatar di sintesi vocale).

5. Selezionare Avanti.

6. Seguire le istruzioni fornite dalla procedura guidata per creare l'area di lavoro di ottimizzazione.

Passaggio 2: Aggiungere il consenso dei talenti avatar

Un talento avatar è un individuo o attore target del quale viene registrato un video parlato che viene usato per creare modelli di avatar neurali. È necessario ottenere consenso sufficiente ai sensi di tutte le leggi e normative pertinenti da parte del talento avatar per poter usare il suo video per creare l’avatar di sintesi vocale.

È necessario fornire un file video con una dichiarazione registrata dal talento avatar, nella quale acconsenta all’uso della sua immagine e voce. Microsoft verifica che il contenuto nella registrazione corrisponda allo script predefinito fornito da Microsoft. Microsoft confronta il volto del talento avatar nel file video contenente la registrazione della dichiarazione con video scelti casualmente dai set di dati di training per accertarsi che il talento avatar in tali video e quello nel file video contenente la dichiarazione siano della stessa persona.

• Se desideri creare una sincronizzazione vocale per l'avatar durante l'addestramento dell'avatar, viene creata una voce personalizzata simile alla voce del tuo avatar accanto all'avatar personalizzato. La voce viene usata esclusivamente con l'avatar specificato. L'istruzione di consenso deve includere sia l'avatar personalizzato che la sincronizzazione vocale per avatar. Per un esempio dell'istruzione di consenso per avatar personalizzato con sincronizzazione vocale, vedere il fileverbal-statement-voice-sync-for-avatar-all-locales.txt nel repository GitHub Azure-Samples/cognitive-services-speech-sdk .
• Se non crei una sincronizzazione vocale per l'avatar, viene addestrato solo l'avatar personalizzato e la dichiarazione di consenso deve riflettere questo scopo. Per un esempio dell'istruzione di consenso solo per avatar personalizzato, vedere il fileverbal-statement-all-locales.txt nel repository GitHub Azure-Samples/cognitive-services-speech-sdk .

Per altre informazioni sulla registrazione del video di consenso, vedere il Come registrare video campioni e Informativa per il talento avatar.

Per aggiungere un profilo di talento avatar e caricare la dichiarazione di consenso nel progetto, seguire questa procedura:

1. Accedere al portale di Azure AI Foundry.

2. Selezionare Ottimizzazione nel riquadro sinistro e quindi selezionare Ottimizzazione dei servizi di intelligenza artificiale.

3. Selezionare l'attività di ottimizzazione dell'avatar personalizzata (in base al nome del modello) avviata come descritto nella sezione precedente.

4. Selezionare Configura avatar talent>Upload consent video (Carica video di consenso).

5. Nella pagina Carica video di consenso, seguire le istruzioni per caricare il video di consenso dei talenti avatar registrato in anticipo.

   • Selezionare il tipo di avatar da compilare. Crea una sincronizzazione vocale per l'avatar che suona come le abilità del tuo avatar insieme al modello di avatar, oppure crea un avatar senza sincronizzazione vocale. L'opzione per creare una sincronizzazione vocale per avatar è disponibile solo nelle aree Asia sud-orientale, Europa occidentale e Stati Uniti occidentali 2.
   • Selezionare la lingua parlante dell'istruzione di consenso verbale registrata dal talento avatar.
   • Immettere il nome del talento avatar e il nome della società nella stessa lingua dell'istruzione registrata.
     • Il nome del talento avatar deve essere il nome della persona che ha registrato l'istruzione di consenso.
     • Il nome della società deve corrispondere al nome della società pronunciato nella dichiarazione registrata.
   • È possibile scegliere di caricare i dati dai file locali o da un archivio condiviso con BLOB di Azure.

6. Selezionare i file locali dal computer o immettere l'URL di archiviazione BLOB di Azure in cui sono archiviati i dati.

7. Selezionare Avanti.

8. Esaminare i dettagli del caricamento e selezionare Carica.

Dopo che il caricamento del consenso del talento avatar ha esito positivo, è possibile procedere con il training del modello avatar personalizzato.

Passaggio 3: Aggiungere dati di training

Il servizio Voce usa i dati di training per creare un avatar univoco ottimizzato in modo che corrisponda all'aspetto della persona nelle registrazioni. Dopo aver eseguito il training del modello avatar, è possibile iniziare a sintetizzare i video avatar o usarlo per le chat live nelle applicazioni.

Tutti i dati caricati devono soddisfare i requisiti del tipo di dati scelto. Per garantire che il servizio Voce elabori in modo accurato i dati, è importante formattare correttamente i dati prima del caricamento. Per verificare che i dati siano formattati correttamente, vedere Requisiti deidati.

Caricare i dati

Quando si è pronti per caricare i dati, passare alla scheda Preparare i dati di training per aggiungere i dati.

Per caricare i dati di training, seguire questa procedura:

1. Accedere al portale di Azure AI Foundry.
2. Selezionare Ottimizzazione nel riquadro sinistro e quindi selezionare Ottimizzazione dei servizi di intelligenza artificiale.
3. Selezionare l'attività di ottimizzazione dell'avatar personalizzata (in base al nome del modello) avviata come descritto nella sezione precedente.
4. Seleziona Preparare i dati di training>Carica dati.
5. Nella procedura guidata Carica dati, scegliere un tipo di dati e quindi selezionare Avanti. Per ulteriori informazioni sui tipi di dati (tra cui Naturally Speaking, Silent Status, Gesture e Status 0 parlante), consulta quali clip video registrare.
6. Selezionare i file locali dal computer o immettere l'URL di archiviazione BLOB di Azure in cui sono archiviati i dati.
7. Selezionare Avanti.
8. Esaminare i dettagli del caricamento e selezionare Carica.

I file di dati vengono convalidati automaticamente quando si seleziona Carica. La convalida dei dati include una serie di controlli sui file video per verificare il formato del file, le dimensioni e il volume totale. In caso di errori, correggerli e inviarli di nuovo.

Dopo aver caricato i dati, è possibile controllare la panoramica dei dati che indica se sono stati forniti dati sufficienti per avviare il training.

Passaggio 4: Eseguire il training del modello avatar

Importante

Tutti i dati di training nel progetto sono inclusi nel training. La qualità del modello dipende altamente dai dati forniti e si è responsabili della qualità del video. Assicurarsi di registrare i video di training in base alla guida alla registrazione di campioni video.

Per creare un avatar personalizzato nel portale di Azure AI Foundry, seguire questa procedura per uno dei metodi seguenti:

1. Accedere al portale di Azure AI Foundry.

2. Selezionare Ottimizzazione nel riquadro sinistro e quindi selezionare Ottimizzazione dei servizi di intelligenza artificiale.

3. Selezionare l'attività di ottimizzazione dell'avatar personalizzata (in base al nome del modello) avviata come descritto nella sezione precedente.

4. Selezionare Esegui training modello>+ Training modello.

5. Immettere un Nome per identificare il modello. Scegliere un nome con attenzione. Il nome del modello viene usato come nome avatar nella richiesta di sintesi dall'SDK e dall'input SSML. Sono consentite solo lettere, numeri, trattini e caratteri di sottolineatura. Usare un nome univoco per ogni modello.

   Importante

   Il nome del modello avatar deve essere univoco all'interno della stessa risorsa di Servizi voce o intelligenza artificiale.

6. Selezionare Esegui training per avviare il training del modello.

La durata del training varia a seconda della quantità di dati usata. In genere sono necessarie 20-40 ore di calcolo in media per eseguire il training di un avatar personalizzato. Controllare la nota sui prezzi su come viene addebitato il training.

Copiare il modello avatar personalizzato in un altro progetto (facoltativo)

Il training dell'avatar personalizzato è attualmente disponibile solo in alcune aree. Dopo aver eseguito il training del modello avatar in un'area supportata, è possibile copiarlo in una risorsa di Servizi di intelligenza artificiale per Riconoscimento vocale in un'altra area in base alle esigenze. Per altre informazioni, vedere note a piè di pagina nella tabella delle aree.

Annotazioni

È possibile copiare la sincronizzazione vocale solo per il modello avatar nelle aree che supportano la sincronizzazione vocale per la funzionalità avatar, che sono le stesse aree che supportano la voce personale.

Per copiare il modello avatar personalizzato in un altro progetto:

1. Nella scheda Esegui training modello, selezionare un modello avatar che si vuole copiare e quindi selezionare Copia nel progetto.
2. Selezionare la sottoscrizione, l'area geografica, la risorsa servizi di intelligenza artificiale per Voce e il progetto in cui si vuole copiare il modello. È necessario disporre di una risorsa di Servizi di intelligenza artificiale per Voce e progetto nell'area di destinazione. In caso contrario, è prima necessario crearli.
3. Selezionare Invia per copiare il modello.

Dopo aver copiato il modello, viene visualizzata una notifica nel portale di Azure AI Foundry.

Passare al progetto in cui è stato copiato il modello per distribuire la copia del modello.

Passaggio 5: Distribuire e usare il modello avatar

Dopo aver creato ed eseguito il training del modello avatar, è possibile distribuirlo nell'endpoint.

Per distribuire l'avatar:

1. Accedere al portale di Azure AI Foundry.

2. Selezionare Ottimizzazione nel riquadro sinistro e quindi selezionare Ottimizzazione dei servizi di intelligenza artificiale.

3. Selezionare l'attività di ottimizzazione dell'avatar personalizzata (in base al nome del modello) avviata come descritto nella sezione precedente.

4. Selezionare Distribuisci modello>Distribuisci modello.

5. Selezionare un modello da distribuire.

6. Selezionare Distribuisci per avviare la distribuzione.

   Importante

   Quando viene distribuito un modello, si paga per il tempo di up continuo dell'endpoint indipendentemente dall'interazione con tale endpoint. Controllare la nota sui prezzi sulla modalità di addebito della distribuzione del modello. È possibile eliminare una distribuzione quando il modello non è in uso per ridurre la spesa e risparmiare risorse.

Dopo aver distribuito l'avatar personalizzato, è disponibile per l'uso nel portale di Azure AI Foundry o tramite l'API:

• L'avatar viene visualizzato nell'elenco avatar di sintesi vocale nel portale Fonderia Azure AI.
• L'avatar viene visualizzato nell'elenco avatar degli avatar di chat live tramite il portale di Azure AI Foundry.
• È possibile chiamare l'avatar dall'input SDK e SSML specificando il nome del modello avatar. Per altre informazioni, vedere le proprietà dell'avatar.

Rimuovere una distribuzione

Per rimuovere la distribuzione, seguire questa procedura:

1. Accedere al portale di Azure AI Foundry.
2. Selezionare Ottimizzazione nel riquadro sinistro e quindi selezionare Ottimizzazione dei servizi di intelligenza artificiale.
3. Selezionare l'attività di ottimizzazione dell'avatar personalizzata (in base al nome del modello) avviata come descritto nella sezione precedente.
4. Selezionare la distribuzione nella pagina Distribuisci modello. Il modello è ospitato attivamente se lo stato è "Completato con successo".
5. È possibile selezionare il pulsante Elimina distribuzione e confermare l'eliminazione per rimuovere l'hosting.

Suggerimento

Una volta rimossa una distribuzione, non si paga più per il relativo hosting. L'eliminazione di una distribuzione non causa alcuna eliminazione del modello. Se si vuole usare di nuovo il modello, creare una nuova distribuzione.

Iniziare a usare un avatar personalizzato per la sintesi vocale è un processo semplice. Tutto ciò che serve sono alcuni video clip del tuo attore. Se vuoi eseguire il training di una voce personalizzata per lo stesso attore, puoi farlo separatamente.

Annotazioni

L'accesso avatar personalizzato è limitato in base ai criteri di idoneità e utilizzo. È necessario richiedere l'accesso tramite il modulo di accettazione.

Prerequisiti

È necessaria una risorsa Azure AI Foundry in una delle aree che supportano il training avatar personalizzato. Avatar personalizzato supporta solo risorse Standard (S0) di Fonderia AI o Servizio cognitivo di Azure per la voce.

È necessaria una registrazione video del talento che legge una dichiarazione di consenso che riconosce l'uso dell'immagine e della voce. Caricare questo video quando si configura il talento avatar. Per altre informazioni, vedere Aggiungere il consenso dei talenti avatar.

Hai bisogno di registrazioni video del tuo talento avatar come dati di training. Questi video vengono caricati quando si preparano i dati di training. Per altre informazioni, vedere Aggiungere dati di training.

Passaggio 1: Creare un progetto avatar personalizzato

Per creare un progetto avatar personalizzato, seguire questa procedura:

1. Accedere a Speech Studio e selezionare la sottoscrizione e la risorsa Voce.

2. Selezionare Avatar personalizzato (anteprima).

   

3. Selezionare +Crea un progetto.

4. Seguire le istruzioni fornite dalla procedura guidata per creare il progetto.

   Suggerimento

   Non combinare dati per avatar diversi in un progetto. Crea sempre un nuovo progetto per un nuovo avatar.

5. Selezionare il nuovo progetto in base al nome. Queste voci di menu vengono quindi visualizzate nel pannello sinistro: Configurare i talenti avatar, Preparare i dati di training, Eseguire il training del modello e Distribuire il modello.

   

Passaggio 2: Aggiungere il consenso dei talenti avatar

Un talento avatar è un individuo o attore target del quale viene registrato un video parlato che viene usato per creare modelli di avatar neurali. È necessario ottenere consenso sufficiente ai sensi di tutte le leggi e normative pertinenti da parte del talento avatar per poter usare il suo video per creare l’avatar di sintesi vocale.

È necessario fornire un file video con una dichiarazione registrata dal talento avatar, nella quale acconsenta all’uso della sua immagine e voce. Microsoft verifica che il contenuto nella registrazione corrisponda allo script predefinito fornito da Microsoft. Microsoft confronta il volto del talento avatar nel file video contenente la registrazione della dichiarazione con video scelti casualmente dai set di dati di training per accertarsi che il talento avatar in tali video e quello nel file video contenente la dichiarazione siano della stessa persona.

• Se desideri creare una sincronizzazione vocale per l'avatar durante l'addestramento dell'avatar, viene creata una voce personalizzata simile alla voce del tuo avatar accanto all'avatar personalizzato. La voce viene usata esclusivamente con l'avatar specificato. L'istruzione di consenso deve includere sia l'avatar personalizzato che la sincronizzazione vocale per avatar.
• Se non crei una sincronizzazione vocale per l'avatar, viene addestrato solo l'avatar personalizzato e la dichiarazione di consenso deve riflettere questo scopo.

È possibile trovare l'istruzione di consenso verbale in più lingue tramite il repository GitHub Azure-Samples/cognitive-services-speech-sdk . La lingua della dichiarazione verbale deve essere la stessa della registrazione. Consultare anche l’informativa per talento vocale.

Per altre informazioni sulla registrazione del video di consenso, vedere Come registrare campioni video.

Per aggiungere un profilo di talento avatar e caricare la dichiarazione di consenso nel progetto, seguire questa procedura:

1. Accedere a Speech Studio.

2. Selezionare Avatar personalizzato> Il nome del progetto >Configurare il talento avatar>Caricare il video di consenso.

3. Nella pagina Carica video di consenso, seguire le istruzioni per caricare il video di consenso dei talenti avatar registrato in anticipo.

   • Selezionare il tipo di avatar da compilare. Crea una sincronizzazione vocale per l'avatar che suona come le abilità del tuo avatar insieme al modello di avatar, oppure crea un avatar senza sincronizzazione vocale. L'opzione per creare una sincronizzazione vocale per avatar è disponibile solo nelle aree Asia sud-orientale, Europa occidentale e Stati Uniti occidentali 2.
   • Selezionare la lingua parlante dell'istruzione di consenso verbale registrata dal talento avatar.
   • Immettere il nome del talento avatar e il nome della società nella stessa lingua dell'istruzione registrata.
     • Il nome del talento avatar deve essere il nome della persona che ha registrato l'istruzione di consenso.
     • Il nome della società deve corrispondere al nome della società pronunciato nella dichiarazione registrata.
   • È possibile scegliere di caricare i dati dai file locali o da un archivio condiviso con BLOB di Azure.

   

4. Selezionare Carica.

Dopo che il caricamento del consenso del talento avatar ha esito positivo, è possibile procedere con il training del modello avatar personalizzato.

Passaggio 3: Aggiungere dati di training

Il servizio Voce usa i dati di training per creare un avatar univoco ottimizzato in modo che corrisponda all'aspetto della persona nelle registrazioni. Dopo aver eseguito il training del modello avatar, è possibile iniziare a sintetizzare i video avatar o usarlo per le chat live nelle applicazioni.

Tutti i dati caricati devono soddisfare i requisiti del tipo di dati scelto. Per garantire che il servizio Voce elabori in modo accurato i dati, è importante formattare correttamente i dati prima del caricamento. Per verificare che i dati siano formattati correttamente, vedere Requisiti deidati.

Caricare i dati

Quando si è pronti per caricare i dati, passare alla scheda Preparare i dati di training per aggiungere i dati.

Per caricare i dati di training, seguire questa procedura:

1. Accedere a Speech Studio.

2. Selezionare Avatar personalizzato> Il nome del progetto > Prepara i dati di training>Carica dati.

   

3. Nella procedura guidata Carica dati, scegliere un tipo di dati e quindi selezionare Avanti. Per altre informazioni sui tipi di dati (tra cui Discorso naturale, Silenzio, Gestie Stato 0), vedere quali clip video registrare.

4. Selezionare i file locali dal computer o immettere l'URL di archiviazione BLOB di Azure in cui sono archiviati i dati.

5. Selezionare Avanti.

6. Esaminare i dettagli di caricamento e selezionare Invia.

I file di dati vengono convalidati automaticamente quando si seleziona Invia. La convalida dei dati include una serie di controlli sui file video per verificare il formato del file, le dimensioni e il volume totale. In caso di errori, correggerli e inviarli di nuovo.

Dopo aver caricato i dati, è possibile controllare la panoramica dei dati che indica se sono stati forniti dati sufficienti per avviare il training. Questo screenshot mostra un esempio di dati sufficienti aggiunti per il training di un avatar senza altri movimenti.

Passaggio 4: Eseguire il training del modello avatar

Importante

Tutti i dati di training nel progetto sono inclusi nel training. La qualità del modello dipende altamente dai dati forniti e si è responsabili della qualità del video. Assicurarsi di registrare i video di training in base alla guida alla registrazione di campioni video.

Per creare un avatar personalizzato in Speech Studio, seguire questa procedura per uno dei metodi seguenti:

1. Accedere a Speech Studio.

2. Selezionare Avatar personalizzato> Il nome del progetto >Allena modello>Allena modello.

3. Immettere un Nome per identificare il modello. Scegliere un nome con attenzione. Il nome del modello viene usato come nome avatar nella richiesta di sintesi dall'SDK e dall'input SSML. Sono consentite solo lettere, numeri, trattini e caratteri di sottolineatura. Usare un nome univoco per ogni modello.

   Importante

   Il nome del modello avatar deve essere univoco all'interno della stessa risorsa di Servizi voce o intelligenza artificiale.

4. Selezionare Esegui training per avviare il training del modello.

La durata del training varia a seconda della quantità di dati usata. In genere sono necessarie 20-40 ore di calcolo in media per eseguire il training di un avatar personalizzato. Controllare la nota sui prezzi su come viene addebitato il training.

Copiare il modello avatar personalizzato in un altro progetto (facoltativo)

Il training dell'avatar personalizzato è attualmente disponibile solo in alcune aree. Dopo aver eseguito il training del modello avatar in un'area supportata, è possibile copiarlo in una risorsa di Servizi di intelligenza artificiale per Riconoscimento vocale in un'altra area in base alle esigenze. Per altre informazioni, vedere note a piè di pagina nella tabella delle aree.

Annotazioni

È possibile copiare la sincronizzazione vocale solo per il modello avatar nelle aree che supportano la sincronizzazione vocale per la funzionalità avatar, che sono le stesse aree che supportano la voce personale.

Per copiare il modello avatar personalizzato in un altro progetto:

1. Nella scheda Esegui training modello, selezionare un modello avatar che si vuole copiare e quindi selezionare Copia nel progetto.
2. Selezionare la sottoscrizione, l'area geografica, la risorsa servizi di intelligenza artificiale per Voce e il progetto in cui si vuole copiare il modello. È necessario disporre di una risorsa di Servizi di intelligenza artificiale per Voce e progetto nell'area di destinazione. In caso contrario, è prima necessario crearli.
3. Selezionare Invia per copiare il modello.

Dopo aver copiato il modello, viene visualizzata una notifica in Speech Studio.

Passare al progetto in cui è stato copiato il modello per distribuire la copia del modello.

Passaggio 5: Distribuire e usare il modello avatar

Dopo aver creato ed eseguito il training del modello avatar, è possibile distribuirlo nell'endpoint.

Per distribuire l'avatar:

1. Accedere a Speech Studio.
2. Selezionare Avatar personalizzato> Il nome del progetto > Distribuisci modello.
3. Selezionare Distribuisci modello e selezionare un modello da distribuire.
4. Selezionare Distribuisci per avviare la distribuzione.

   Importante

   Quando viene distribuito un modello, si paga per il tempo di up continuo dell'endpoint indipendentemente dall'interazione con tale endpoint. Controllare la nota sui prezzi sulla modalità di addebito della distribuzione del modello. È possibile eliminare una distribuzione quando il modello non è in uso per ridurre la spesa e risparmiare risorse.

Dopo aver distribuito l’avatar personalizzato, sarà disponibile per l’uso in Speech Studio o tramite API:

• L'avatar viene visualizzato nell'elenco avatar di sintesi vocale in Speech Studio.
• L'avatar viene visualizzato nell'elenco avatar degli avatar di chat live tramite Speech Studio.
• È possibile chiamare l'avatar dall'input SDK e SSML specificando il nome del modello avatar. Per altre informazioni, vedere le proprietà dell'avatar.

Rimuovere una distribuzione

Per rimuovere la distribuzione, seguire questa procedura:

1. Accedere a Speech Studio.
2. Passare a Avatar personalizzato> Il nome del progetto >Distribuisci modello.
3. Selezionare la distribuzione nella pagina Distribuisci modello. Il modello è ospitato attivamente se lo stato è "Completato con successo".
4. È possibile selezionare il pulsante Elimina distribuzione e confermare l'eliminazione per rimuovere l'hosting.

Suggerimento

Una volta rimossa una distribuzione, non si paga più per il relativo hosting. L'eliminazione di una distribuzione non causa alcuna eliminazione del modello. Se si vuole usare di nuovo il modello, creare una nuova distribuzione.

Passaggi successivi

• Che cos'è l’avatar di sintesi vocale
• Come registrare video campione