A Voice Live bemenetének és kimenetének testreszabása

A Voice Live több lehetőséget is kínál a teljesítmény és a minőség egyéni modellek használatával történő optimalizálására. Jelenleg a következő testreszabási lehetőségek érhetők el:

  • Beszédbemenet testreszabása:
    • Kifejezéslista: Könnyű, igény szerint végrehajtott testreszabás a munkamenet-konfiguráció részeként megadott szavak vagy kifejezések listáján alapuló, a felismerési minőség javítása érdekében. További információ: A felismerési pontosság javítása kifejezéslistával.
    • Egyéni beszéd: Az egyéni beszéd segítségével kiértékelheti és javíthatja az alkalmazások és termékek beszédfelismerésének pontosságát, és finomhangolhatja a felismerési minőséget az üzleti igényeinek megfelelően. Tekintse meg a Mi az egyéni beszéd? részt a bővebb információért.
  • Beszédkimenet testreszabása:
    • Egyéni lexikon: Az egyéni lexikon lehetővé teszi, hogy egyszerűen testre szabja a kiejtést a szabványos Azure szöveg-beszélő hangok és egyéni hangok esetén, a beszédszintézis pontosságának javítása érdekében az Ön használati esetéhez. További információért tekintse meg a szövegfelolvasás egyéni lexikonát .
    • Egyéni hang: Az egyéni hang két típusból áll. A professzionális egyéni hang lehetővé teszi, hogy a márka vagy a karakterek számára rendkívül természetes hangzású hangot hozzon létre azáltal, hogy emberi beszédmintákat biztosít finomhangolási adatokként. A személyes hang lehetővé teszi a felhasználók számára a saját hangjuk AI által generált replikálását egy rövid beszédmintával. További információ: Mi az egyéni hang? és mi az a személyes hang?
    • Egyéni avatar: Egyéni szövegből beszéddé alakító avatar lehetővé teszi, hogy hozzon létre egy testreszabott, egyedi szintetikus beszélő avatart az ön alkalmazásához. Testreszabható szövegbeszédből avatárral egyedi és természetes kinézetű avatart hozhat létre a terméke vagy márkája számára, ha megadja a kiválasztott színészek videókészítési adatait. Lásd Mi az egyéni szövegfelolvasó avatar? további információért.

Beszédbevitel testreszabása

Kifejezéslista

Használjon kifejezéslistát a hangbemenet egyszerű igény szerint történő testreszabásához. A kifejezéslista konfigurálásához beállíthatja a phrase_list az session.update üzenetben.

{
    "session": {
        "input_audio_transcription": {
            "model": "azure-speech",
            "phrase_list": ["Neo QLED TV", "TUF Gaming", "AutoQuote Explorer"]
        }
    }
}

Megjegyzés

A kifejezéslista jelenleg nem támogatja a whisper-1, gpt-4o-transcribe, gpt-4o-mini-transcribe és gpt-4o-transcribe-diarize parancsot. Ha többet szeretne megtudni a kifejezéslistáról, olvassa el a beszéd szöveggé alakítására szolgáló kifejezéslistát.

Egyéni beszédkonfiguráció

Az egyéni beszédmodellek megadásához használhatja a custom_speech mezőt. Ez a mező szótárként van definiálva, ahol minden kulcs egy területi kódot jelöl, és minden érték megfelel az Model ID egyéni beszédmodellnek. Az egyéni beszédről további információt a Mi az egyéni beszéd? című témakörben talál.

A Voice Live támogatja az alapmodellek és az egyéni modellek kombinációjának használatát mindaddig, amíg az egyes típusok területi beállításonként egyediek, és összesen legfeljebb 10 nyelv van megadva.

Példa munkamenet-konfiguráció egyéni beszédmodellekkel. Ebben a példában, ha az észlelt nyelv angol, az alapmodellt használja, és ha az észlelt nyelv kínai, akkor az egyéni beszédmodellt használja.

{
  "session": {
    "input_audio_transcription": {
      "model": "azure-speech",
      "language": "en",
      "custom_speech": {
        "zh-CN": "847cb03d-7f22-4b11-444-e1be1d77bf17"
      }
    }
  }
}

Megjegyzés

Ahhoz, hogy egyéni beszédmodellt használhasson a Voice Live API-val, a modellnek ugyanazon a Microsoft Foundry-erőforráson kell rendelkezésre állnia, amelyet a Voice Live API meghívásához használ. Ha a modellt egy másik Microsoft Foundry vagy Azure Speech in Foundry Tools erőforrásra képezte be, a modellt a Voice Live API meghívásához használt erőforrásba kell másolnia. Az egyéni beszédtanításért és a modell üzemeltetéséért külön kell fizetnie. Az egyéni beszéd csak a modellben azure-speech támogatott.

Beszédkimenet testreszabása

Egyéni lexikon

A custom_lexicon_url string tulajdonság használatával testre szabhatja a kiejtést mind a szabványos Azure szöveg-beszéd hangok, mind az egyéni hangok esetében. Ha többet szeretne megtudni arról, hogyan formázhatja az egyéni lexikont (ugyanaz, mint a Beszédszintézis korrektúranyelve (SSML)), olvassa el a szövegről beszédre vonatkozó egyéni lexikont.

{
  "voice": {
    "name": "en-US-Ava:DragonHDLatestNeural",
    "type": "azure-standard",
    "temperature": 0.8, // optional
    "custom_lexicon_url": "<custom lexicon url>"
  }
}

Azure egyéni hangok

A hangkimenethez egyéni hang is használható. Az egyéni hang kétféle lehet: professzionális egyéni hang, betanított stúdiófelvételeken a márka vagy karakterek számára, valamint személyes hang, amely egy rövid beszédmintából replikálja a felhasználó saját hangját.

Fontos

Az egyéni hanghozzáférés a jogosultsági és használati feltételek alapján korlátozott . Hozzáférés kérése a beviteli űrlapon.

Megjegyzés

Ahhoz, hogy egyéni hangmodellt használhasson a Voice Live API-val, a modellnek ugyanazon a Microsoft Foundry-erőforráson kell elérhetőnek lennie, amelyet a Voice Live API meghívásához használ. Ha a modellt egy másik Microsoft Foundry- vagy Azure Speech-erőforrásra képezte be, a modellt a Voice Live API meghívásához használt erőforrásba kell másolnia. Az egyéni hangtanításért és a modell üzemeltetéséért külön kell fizetnie. A támogatott régiókról további információt a Speech service által támogatott régiók című témakörben talál.

Professzionális egyéni hang

A professzionális egyéni hangokkal egyedi, testre szabott, szintetikus hangokat hozhat létre alkalmazásai számára, mivel emberi beszédmintákat biztosít finomhangolási adatokként. Az egyéni hang létrehozásával kapcsolatos információkért lásd : Mi az egyéni hang.

{
  "voice": {
    "type": "azure-custom",
    "name": "en-US-CustomNeural",
    "endpoint_id": "your-endpoint-id", // a guid string
    "temperature": 0.8 // optional, value range 0.0-1.0, only take effect when using HD voices
  }
}

Személyes hang

A személyes hang lehetővé teszi a felhasználók számára a saját hangjuk AI által generált replikálását egy rövid beszédmintával. A személyes hang létrehozásáról további információt a Mi a személyes hang? című témakörben talál.

{
  "voice": {
    "type": "azure-personal",
    "model": "DragonLatestNeural",  // required, specify the base model for personal voice
    "name": "your-personal-voice-name", // the name of the personal voice
    "temperature": 0.8  // optional, value range 0.0-1.0
  }
}

A model tulajdonság megadja az alapmodell hangnevét. A támogatott alapmodellek nevei közé tartoznak DragonLatestNeural és DragonHDOmniLatestNeural. Az alapmodellek közötti különbségekről további információt a Személyes hang használata az alkalmazásban című témakörben talál. A teljes sémát lásd: RealtimeAzurePersonalVoice.

Azure egyéni avatar

Szöveg-beszéd avatár a szöveget egy digitális videóvá alakítja egy fotorealisztikus emberről (akár egy normál avatárról, akár egy egyedi szöveg-beszéd avatárról), természetes hangzású hanggal beszél.

Az egyéni avatarok konfigurációja nem különbözik a standard avatar konfigurációjától. Tekintse meg a Voice Live API használata – Azure szövegfelolvasó avatár részletes példáért.

Fontos

Az egyéni szöveg és a beszéd avatarhoz való hozzáférés a jogosultsági és használati feltételek alapján korlátozott . Hozzáférés kérése a beviteli űrlapon.

Megjegyzés

Ahhoz, hogy egyéni hangmodellt használhasson a Voice Live API-val, a modellnek ugyanazon a Microsoft Foundry-erőforráson kell elérhetőnek lennie, amelyet a Voice Live API meghívásához használ. Ha a modellt egy másik Microsoft Foundry- vagy Azure Speech-erőforrásra képezte be, a modellt a Voice Live API meghívásához használt erőforrásba kell másolnia. Az egyéni avatarok betanításáért és a modell üzemeltetéséért külön fizet. A támogatott régiókról további információt a Speech service által támogatott régiók című témakörben talál.

Hangszinkronizálás egyéni avatarhoz

Ha betanított egy egyéni videó avatárt az avatar hangszinkronizálásával együtt, használhatja a hangot szintetizáló hangként. Állítsa a(z) voice.type értékét erre: avatar-voice-sync, a(z) voice.model értékét pedig a szinkronizált hang alapmodelljére. A támogatott alapmodellek nevei közé tartoznak DragonLatestNeural és DragonHDOmniLatestNeural. Az alapmodellek közötti különbségekről további információt a Személyes hang használata az alkalmazásban című témakörben talál. Ha többet szeretne megtudni a hangszinkronnal betanított egyéni avatarokról, olvassa el ezt: Mi az az egyéni szövegfelolvasó avatar?

{
  "voice": {
    "type": "avatar-voice-sync",
    "model": "DragonHDOmniLatestNeural",
    "temperature": 0.8  // optional, value range 0.0-1.0
  }
}

A használat során avatar-voice-sync a hang az egyéni avatarhoz van kötve; a name tulajdonságra nincs szükség. Az egyéni avatart külön állítsa be a avatar paraméter használatával, ahogyan az Azure szövegfelolvasó avatár című cikkben látható.

Kapcsolódó tartalom

  • Utolsó frissítés időpontja: