A(z) Voice Live API használatának módja

A Voice Live API képes WebSocket felületet biztosít az Azure OpenAI Realtime API-hoz képest.

Ha másként nem jelezzük, a Voice Live API ugyanazokat az eseményeket használja, mint az Azure OpenAI Realtime API. Ez a dokumentum a Voice Live API-ra jellemző eseményüzenet-tulajdonságokra mutató hivatkozást tartalmaz.

Tip

A legtöbb esetben a Voice Live API és a WebRTC használatával valós idejű hangstreamelést használhat ügyféloldali alkalmazásokban, például webalkalmazásokban vagy mobilalkalmazásokban. A WebRTC alacsony késésű, valós idejű hangstreamelési forgatókönyvekhez készült.

Támogatott modellek és régiók

A támogatott modellekről a Voice Live API áttekintésében olvashat. A regionális rendelkezésre állásról és az LLM-ekhez, HD-hangokhoz és átírási modellekhez tartozó különálló feldolgozási hatókörökről a Voice Live régió támogatása című témakörben olvashat.

Authentication

A Voice Live API használatához Microsoft Foundry-erőforrásra vagy Azure Speech in Foundry Tools Services-erőforrásra van szükség.

Note

A Voice Live API a Microsoft Foundry-erőforrásokhoz van optimalizálva. Javasoljuk, hogy a Microsoft Foundry-erőforrásokat használja a funkciók teljes rendelkezésre állásához és a Legjobb Microsoft Foundry integrációs élményhez.
Az Azure Speech Services-erőforrások nem támogatják a Microsoft Foundry Agent Service integrációját és a saját modell (BYOM) használatát.

WebSocket-végpont

A Voice Live API WebSocket végpontja wss://<your-ai-foundry-resource-name>.services.ai.azure.com/voice-live/realtime?api-version=2026-04-10, vagy a régebbi erőforrások esetén wss://<your-ai-foundry-resource-name>.cognitiveservices.azure.com/voice-live/realtime?api-version=2026-04-10. A végpont elérési útja minden modell esetében azonos, de a modell rendelkezésre állása az erőforrás régiójától függ. Válasszon ki egy modellt a szükséges model lekérdezési paraméter alapján. Az Ügynökszolgáltatás használatakor használja inkább a project_id és agent_id paramétereket.

Például egy egyéni tartománnyal rendelkező erőforrás végpontja a következő: wss://<your-ai-foundry-resource-name>.services.ai.azure.com/voice-live/realtime?api-version=2026-04-10&model=gpt-realtime

Credentials

A Voice Live API két hitelesítési módszert támogat:

  • Microsoft Entra (ajánlott): Tokenalapú hitelesítés használata Microsoft Foundry erőforráshoz. Lekért hitelesítési jogkivonat alkalmazása a Bearer fejlécet tartalmazó jogkivonat használatávalAuthorization.
  • API-kulcs: Kétféleképpen api-key adható meg:
    • api-key Kapcsolatfejléc használata az előkezelő kapcsolaton. Ez a beállítás böngészőkörnyezetben nem érhető el.
    • Lekérdezési sztringparaméter api-key használata a kérelem URI-ján. A lekérdezési sztring paraméterei https/wss használatakor titkosítva vannak.

A Microsoft Entra-azonosítóval javasolt kulcs nélküli hitelesítéshez a következőket kell elvégeznie:

  • Rendelje hozzá a Cognitive Services User és Foundry User szerepkört a felhasználói fiókjához vagy egy felügyelt identitáshoz. Szerepköröket az Azure Portalon rendelhet hozzá a Hozzáférés-vezérlés (IAM)>Szerepkör-hozzárendelés hozzáadása területen.

    Fontos

    Az Foundry RBAC-szerepköröket nemrég átnevezték. Foundry user, Foundry Owner, Foundry-fióktulajdonos és Foundry Project Manager korábban Azure AI-felhasználónak, Azure AI-tulajdonosnak, Azure AI-fióktulajdonosnak és Azure AI-Project-kezelőnek hívták. Előfordulhat, hogy egyes helyeken továbbra is a korábbi elnevezések jelennek meg, amíg az átnevezés fokozatosan bevezetésre kerül. A szerepkör-azonosítók és az alapvető jogosultságok az átnevezés ellenére változatlanok maradnak.

  • Hozzon létre egy jogkivonatot az Azure CLI vagy az Azure SDK-k használatával. A jogkivonatot az https://ai.azure.com/.default hatókörrel, vagy az örökölt https://cognitiveservices.azure.com/.default hatókörrel kell létrehozni.

  • Használja a tokent a Authorization WebSocket kapcsolatkérés fejlécében a formátummal Bearer <token>.

Munkamenet-konfiguráció

Gyakran előfordul, hogy a hívó által egy újonnan létrehozott Voice Live API-munkameneten küldött első esemény az session.update esemény. Ez az esemény a bemeneti és kimeneti viselkedés széles halmazát vezérli, és a kimeneti és válaszgenerálási tulajdonságok később felülírhatók az response.create esemény használatával.

Íme egy példaüzenet session.update , amely a munkamenet számos aspektusát konfigurálja, beleértve a fordulásészlelést, a bemeneti hangfeldolgozást és a hangkimenetet. A munkamenet-paraméterek többsége nem kötelező, és szükség esetén kihagyható.

{
    "instructions": "You are a helpful AI assistant responding in natural, engaging language.",
    "turn_detection": {
        "type": "azure_semantic_vad",
        "silence_duration_ms": 500,
    },
    "input_audio_noise_reduction": {"type": "azure_deep_noise_suppression"},
    "input_audio_echo_cancellation": {"type": "server_echo_cancellation"},
    "voice": {
        "name": "en-US-Ava:DragonHDLatestNeural",
        "type": "azure-standard",
        "temperature": 0.8,
    },
}

Fontos

A "instructions" tulajdonság egyéni ügynök használata esetén nem támogatott.

A kiszolgáló egy session.updated eseménysel válaszol a munkamenet-konfiguráció megerősítéséhez.

Munkamenet tulajdonságai

A következő szakaszok ismertetik a session objektum tulajdonságait, amelyeket a session.update üzenetben lehet konfigurálni.

Tip

A támogatott események és tulajdonságok átfogó leírását az Azure OpenAI Realtime API-események referenciadokumentációjában találja. Ez a dokumentum a Voice Live API-val továbbfejlesztett eseményüzenet-tulajdonságokra hivatkozik.

Bemeneti hangtulajdonságok

A bemeneti hangstream konfigurálásához használhat bemeneti hangtulajdonságokat.

Property Típus Kötelező vagy választható Description
input_audio_sampling_rate egész szám Optional A bemeneti hang mintavételezési sebessége.

A támogatott értékek a következők: 16000 és 24000. Az alapértelmezett érték a 24000.
input_audio_echo_cancellation objektum Optional Javítja a bemeneti hangminőséget azáltal, hogy eltávolítja a visszhangot a modell saját hangjából.

Állítsa be a type tulajdonságát az input_audio_echo_cancellation visszhang-törlés engedélyezéséhez. A támogatott érték az typeserver_echo_cancellation, amely akkor használatos, ha a modell hangját egy hangszórón keresztül játssza vissza a végfelhasználó, és a mikrofon felveszi a modell saját hangját.

Alapértelmezés szerint a szolgáltatás a saját belső hanganyagát használja visszhanghivatkozásként, így az ügyféloldali visszhangszűrés nem szükséges. A Live-Reference AEC engedélyezéséhez és az ügyfél által ténylegesen visszajátszott hang referenciaként való használatához állítsa a(z) reference_source értékét client értékre, a(z) channels értékét pedig 2 értékre. További információkért lásd: Live-Reference AEC (akusztikus visszhangkioltás).
input_audio_noise_reduction objektum Optional Javítja a bemeneti hangminőséget a környezeti háttérzaj elnyomásával vagy eltávolításával.

Állítsa be a type tulajdonságát a input_audio_noise_reduction zajelnyomás engedélyezéséhez.

A támogatott érték a typeazure_deep_noise_suppression, amely a mikrofonhoz legközelebb álló beszélőkre optimalizál.

Ezt a tulajdonságot near_field, vagy far_field értékre állíthatja, ha az Azure OpenAI Realtime API-t használja.

Az alábbi példa egy munkamenet-objektum bemeneti hangtulajdonságait szemlélteti:

{
    "input_audio_sampling_rate": 24000,
    "input_audio_noise_reduction": {"type": "azure_deep_noise_suppression"},
    "input_audio_echo_cancellation": {"type": "server_echo_cancellation"},
}

Zajelnyomás és visszhangszűrés

A zajelnyomás a környezeti háttérzaj elnyomásával vagy eltávolításával javítja a bemeneti hangminőséget. A zajelfojtás segít a modellnek jobban megérteni a végfelhasználót, és javítja a jelek pontosságát, például a megszakításészlelést és a forduló végi észlelést.

A kiszolgálói visszhangszűrés javítja a bemeneti hangminőséget azáltal, hogy eltávolítja a visszhangot a modell saját hangjából. Ily módon ügyféloldali visszhang-eltávolításra nincs szükség. A visszhang megszüntetése a kiszolgálón hasznos, amikor a modell hangját a végfelhasználó egy hangszórón keresztül hallgatja. Ez a folyamat segít elkerülni, hogy a mikrofon felveszi a modell saját hangját.

Note

Ez az időzítési feltételezés az alapértelmezett kiszolgálóhivatkozásra vonatkozik (reference_source beállítás: server). A szolgáltatás feltételezi, hogy az ügyfél azonnal lejátssza a válaszhangot, amint megkapja. Ha a lejátszás két másodpercnél hosszabb ideig késik, a visszhangszűrés minősége is hatással van. A korlátozás elkerülése érdekében használja azLive-Reference AEC-t, ahol az ügyfél közvetlenül látja el a lejátszási referenciát.

Live-Reference AEC (akusztikai visszhang törlése)

Alapértelmezés szerint a kiszolgáló visszhangkioltása a szolgáltatás saját belső audiojelét használja visszhang-referenciajelként. A Live-Reference AEC esetén a kliens referenciaként azt a hangot szolgáltatja, amelyet ténylegesen lejátszik. A visszhangkioltás továbbra is a szolgáltatás része marad. Az ügyfél által megadott hivatkozással tükrözi a valós lejátszási útvonalat, beleértve az eszköz kimenetét, a hangerőt, valamint az ügyféloldali újra- vagy keverést.

Használja Live-Reference AEC-t, ha a végfelhasználó által hallott hang eltér a nyers modell kimenetétől. Használja például akkor, ha az ügyfél lejátszás előtt feldolgozza vagy keveri a hangot, vagy amikor az eszköz kimenete visszhangot ad, amelyet a belső hivatkozás nem rögzít. Ez a forgatókönyv gyakori az ügyféloldali lejátszási útvonalakon, például egy web- vagy mobilalkalmazásban.

A Live-Reference AEC engedélyezése:

  1. Állítsa be input_audio_format-t pcm16-re.
  2. A(z) input_audio_echo_cancellation elemben állítsa a(z) reference_source értékét client értékre, valamint a(z) channels értékét 2 értékre.
  3. PCM16-os, összefűzött sztereó hang küldése. A Channel 0 mikrofonhangot, az 1. csatornát pedig a lejátszási referenciahangot tartalmazza. Minden mintapár esetében először küldje el a mikrofonmintát, majd a megfelelő lejátszási referenciamintát.

Csak a következők reference_source és channels kombinációk támogatottak:

reference_source channels Magatartás
server 1 Default. A szolgáltatás a belső hanganyagát használja visszhanghivatkozásként.
client 2 Live-Reference AEC. A szolgáltatás az ügyfél által küldött lejátszási referencia-hangot használja.

A(z) reference_source, channels, input_audio_format és input_audio_sampling_rate nem módosítható egy munkamenet során.

Live-Reference Az AEC az API-verziótól 2026-07-15kezdve érhető el.

Íme egy példa, amely lehetővé teszi Live-Reference AEC-t:

{
    "type": "session.update",
    "session": {
        "input_audio_format": "pcm16",
        "input_audio_echo_cancellation": {
            "type": "server_echo_cancellation",
            "reference_source": "client",
            "channels": 2
        }
    }
}

A kétcsatornás hangot (mikrofon és lejátszási referencia) rögzítő és a szolgáltatásba streamelt munkaböngésző példáért tekintse meg az Live-Reference AEC-mintát.

Beszélgetési fejlesztések

A Voice Live API beszélgetési fejlesztéseket kínál a természetes végfelhasználói beszélgetési folyamat robusztusságának biztosítása érdekében.

Észlelési paraméterek bekapcsolása

A fordulásészlelés az észlelés folyamata, amikor a végfelhasználó megkezdte vagy leállította a beszédet. A Voice Live API az Azure OpenAI Realtime API turn_detection tulajdonságra épül a fordulásészlelés konfigurálásához. azure_semantic_vad A azure_multilingual_semantic_vad típusok kulcsfontosságú különbséget jelentenek a Voice Live API és az Azure OpenAI Realtime API között.

Property Típus Kötelező vagy választható Description
type karakterlánc Optional A használni kívánt fordulásészlelő rendszer típusa. A server_vad típus érzékeli a beszéd kezdetét és végét a hangerő alapján.

A típus semantic_vad szemantikai osztályozóval észleli, hogy a felhasználó mikor fejezte be a beszédet a kimondott szavak alapján. Ez a típus csak a gpt-realtime és a gpt-realtime-mini modellekkel használható.

azure_semantic_vad és azure_semantic_vad_multilingual nemcsak a beszéd kezdetét és végét észlelik a szemantikai jelentés alapján, hanem minden modellel is használhatók. További Azure szemantikai hangtevékenység-észlelés (VAD) is javíthatja a fordulásészlelést a kitöltőszavak eltávolításával, hogy csökkentse a hamis riasztások számát.

Az alapértelmezett érték a server_vad.
threshold float Optional Aktiválási küszöbérték a tartományban [0.01, 1.0). A magasabb küszöbértékhez nagyobb megbízhatósági jel szükséges a beszélni próbáló felhasználótól (alapértelmezés: 0,5). Elérhető a következő típusokkal: server_vad, azure_semantic_vad, és azure_semantic_vad_multilingual.
prefix_padding_ms egész szám Optional A hang mennyisége, amelyet ezredmásodpercekben mérünk, és amelyet a beszédészlelési jel kezdete előtt bele lehet foglalni. A 2026-04-10 API-verziótól kezdve az alapértelmezett érték server_vad esetén 400, azure_semantic_vad és azure_semantic_vad_multilingual esetén pedig 420. A korábbi API-verziók esetében az alapértelmezett érték 300 minden típus esetében.
speech_duration_ms egész szám Optional A felhasználó beszédhangjának időtartama ezredmásodpercben mérve, az észlelés megkezdéséhez szükséges. Az alapértelmezett érték 200 ms a(z) server_vad, 80 ms pedig a(z) azure_semantic_vad és azure_semantic_vad_multilingual esetében.
silence_duration_ms egész szám Optional A felhasználó csendjének időtartama ezredmásodpercben mérve a beszéd végének észleléséhez (alapértelmezés: 500).
remove_filler_words Boolean Optional Meghatározza, hogy el kell-e távolítani a kitöltő szavakat a hamis riasztások arányának csökkentése érdekében.
Az engedélyezéshez a tulajdonságnak a következőre kell állítania: true. Az észlelt kitöltőszavak angol nyelven a következők ['ah', 'umm', 'mm', 'uh', 'huh', 'oh', 'yeah', 'hmm']: . A szolgáltatás figyelmen kívül hagyja ezeket a szavakat, ha folyamatban van a válasz. A kitöltőszavak eltávolítása funkció feltételezi, hogy az ügyfél azonnal lejátssza a válaszhangot, amint megkapja őket.
Az alapértelmezett érték a false.
languages karakterlánc[] Optional A nyelv használatával javul a remove_filler_words pontosság az alkalmazott nyelvek számának csökkentésével (alapértelmezett: nincs). A típus azure_semantic_vad elsősorban az angol nyelvet támogatja. A típus azure_semantic_vad_multilingual a nyelvek szélesebb körének támogatásához is elérhető: angol, spanyol, francia, olasz, német (DE), japán, portugál, kínai, koreai, hindi. Más nyelvek figyelmen kívül lesznek hagyva. Elérhető típusokkal azure_semantic_vad és azure_semantic_vad_multilingual.
create_response Boolean Optional A válasz létrejöttének engedélyezése vagy letiltása (alapértelmezett: igaz).
eagerness karakterlánc Optional Így szabályozható, hogy a modell mennyire szeretné megszakítani a felhasználót, és hogyan hangolhatja a maximális várakozási időtúllépést. Csak típussal semantic_vadérhető el. Átírási módban még akkor is, ha a modell nem válaszol, hatással van arra, hogyan van a hang feldarabolva.
A következő értékek engedélyezettek:
- auto(alapértelmezett) a következőnek felel meg:medium
- low lehetővé teszi, hogy a felhasználó időt szánjon a beszédre,
- high a lehető leghamarabb feldarabolja a hangot.

Ha azt szeretné, hogy a modell gyakrabban válaszoljon beszélgetési módban, vagy gyorsabban adja vissza az átírási eseményeket átirat módban, beállíthatja a türelmet high.
Másrészt, ha azt szeretné, hogy a felhasználó beszélgetés módban zavartalanul beszéljen, vagy ha nagyobb átirattömböket szeretne átirat módban, beállíthatja a türelmet low.
interrupt_response Boolean Optional A barge-in jellegű megszakítás engedélyezése vagy letiltása (alapértelmezett: igaz). Csak a azure_semantic_vad és azure_semantic_vad_multilingual típusúak esetén érhető el.
auto_truncate Boolean Optional Megszakításkor automatikus levágás (alapértelmezett: Ki).

Hangbemenet átírása

A Voice Live API több átírási modellt is támogat a bemeneti hanghoz. Állítsa be model a input_audio_transcription mezőt úgy, hogy válasszon egyet. Az elérhető modellek attól függenek, hogy melyik csevegőmodellt használja:

Átírási modell Kompatibilis csevegőmodellek Description
azure-speech Minden nem multimodális modell és ügynök Azure beszédfelismerés Automatikusan aktív nem multimodális modellekkel. Támogatja a kifejezéslistát és az egyéni beszédet.
mai-transcribe gpt-realtime, gpt-realtime-mini, az összes nem multimodális modell és ügynök A legújabb MAI Transcribe beszédfelismerési modell (előzetes verzió) aliasa, jelenleg: mai-transcribe-2.
mai-transcribe-2 gpt-realtime, gpt-realtime-mini, az összes nem multimodális modell és ügynök Explicit módon kiválasztja a MAI Transcribe 2 (előzetes verzió) lehetőséget.
whisper-1 gpt-realtime, gpt-realtime-mini OpenAI Whisper átírási modell.
gpt-4o-transcribe gpt-realtime, gpt-realtime-mini GPT-4o-alapú átírási modell.
gpt-4o-mini-transcribe gpt-realtime, gpt-realtime-mini GPT-4o mini alapú transzkripciós modell.
gpt-4o-transcribe-diarize gpt-realtime, gpt-realtime-mini GPT-4o átírás diarizálással.

A input_audio_transcription.model (előzetes verzió) lehetőséget is kiválaszthatja, ha a(z) mai-transcribe-2-streaming értékét mai-transcribe-2-streaming értékre állítja. A regionális rendelkezésre állás itt eltérő lehet: mai-transcribe-2 Az átírási modell kiválasztása előtt ellenőrizze a Speech funkció elérhetőségét és feldolgozási hatókörét.

A modellenkénti támogatott nyelvekért lásd a Voice Live API által támogatott nyelveket és a MAI-Transcribe-2-Streaming nyelvtámogatást.

Azure szöveghez való beszéd

Azure szöveghez való beszéd automatikusan aktív, ha nem multimodális modellt használ. Explicit módon konfigurálhatja a következő beállítással modelazure-speech:

{
    "session": {
        "input_audio_transcription": {
            "model": "azure-speech",
            "language": "en"
        }
    }
}

A beszédbemenet testreszabási beállításairól, például a kifejezéslistáról és az egyéni beszédről a Voice Live bemenetének és kimenetének testreszabása című témakörben olvashat.

MAI Átírás (előzetes verzió)

A MAI Transcribe egy átírómodell, amelyet a azure-speech alternatívájaként használhat bármely szövegalapú chatmodellel vagy ügynökkel (például a gpt-4.1 modellel).

Az mai-transcribe alias a legújabb MAI Transcribe modellre mutat, amely jelenleg a mai-transcribe-2. A modell explicit kiválasztására használható mai-transcribe-2 .

Mindkét modell támogatja a input_audio_transcription.phrase_list használatát, amely egy nem kötelező szavakat vagy kifejezéseket tartalmazó tömb, és a felismerést ezeknek a kifejezéseknek kedvező irányba befolyásolja. Például lásd a MAI átírási konfigurációját.

Ellenőrizze a Microsoft modell nyugdíjazási ütemezését a kivonási dátumok és a cseremodellek esetében.

A MAI Transcribe engedélyezéséhez állítsa a(z) mai-transcribe-2 értékét session.update vagy mai-transcribe értékre egy input_audio_transcription.model üzenetben:

{
  "type": "session.update",
  "session": {
    "input_audio_transcription": {
      "model": "mai-transcribe"
    },
    "modalities": ["text", "audio"],
    "instructions": "You are a helpful assistant.",
    "turn_detection": {
      "type": "azure_semantic_vad_multilingual"
    }
  }
}

Az alábbi példa ugyanazt a konfigurációt mutatja be a Voice Live SDK-val a Python esetében:

from azure.ai.voicelive.aio import connect
from azure.ai.voicelive.models import (
    AudioInputTranscriptionOptions,
    AzureSemanticVadMultilingual,
    AzureStandardVoice,
    Modality,
    RequestSession,
)
from azure.identity.aio import DefaultAzureCredential

async with connect(
    endpoint="https://<your-resource>.services.ai.azure.com/",
    credential=DefaultAzureCredential(),
    model="gpt-4.1",
) as conn:
    await conn.session.update(
        session=RequestSession(
            input_audio_transcription=AudioInputTranscriptionOptions(
                model="mai-transcribe",
            ),
            voice=AzureStandardVoice(name="en-US-AvaNeural"),
            modalities=[Modality.TEXT, Modality.AUDIO],
            instructions="You are a helpful assistant.",
            turn_detection=AzureSemanticVadMultilingual(),
        )
    )

Note

Éles alkalmazásokhoz használja DefaultAzureCredentialazure.identity kulcs nélküli hitelesítéshez. Az API-kulccsal a(z) AzureKeyCredential szolgáltatásból származó azure.core.credentials is használható. A C#, JavaScript és Java teljes SDK-példákért tekintse meg a Voice Live rövid útmutatóját.

OpenAI-átírási modellek

Amikor a(z) gpt-realtime vagy gpt-realtime-mini elemet használja, használhatja az OpenAI átírási modelleket (whisper-1, gpt-4o-transcribe, gpt-4o-mini-transcribe vagy gpt-4o-transcribe-diarize). Ezek a modellek egy opcionális prompt paramétert is támogatnak az átírás irányításához:

{
    "session": {
        "input_audio_transcription": {
            "model": "gpt-4o-transcribe",
            "language": "en",
            "prompt": "Expected terminology: Azure, Foundry, WebSocket"
        }
    }
}

Azure szövegből beszédfelismerési hangkimenet

A paraméterrel voice szabványos vagy egyéni hangokat adhat meg. A hangot a hangkimenethez használják.

A Voice Live standard HD-hangokat biztosít minden támogatott erőforrás-régióban, beleértve a helyi HD-hangtámogatással nem rendelkező régiókat a különálló Azure Speechben. A Voice Live a HD hangszintézist egy beszédhez támogatott régióba irányítja. Lásd a Speech funkció elérhetőségét és feldolgozási hatókörét.

A voice objektum a következő tulajdonságokkal rendelkezik:

Property Típus Kötelező vagy választható Description
name karakterlánc Required Megadja a hang nevét. Például: en-US-AvaMultilingualNeural.
type karakterlánc Required Az azure-standard és azure-custom közötti Azure-hang típusának konfigurációja.
temperature number Optional Az Azure HD-hangokra vonatkozó hőmérsékletet határozza meg. A magasabb értékek magasabb szintű variabilitást biztosítanak az intonációban, a prosztatában stb.

Nézze meg, hogyan szabható testre a Voice Live bemenet és kimenet, hogy többet tudjon meg a beszédkimenet testreszabásának beállításairól.

Standard Azure-hangok

MAI-Voice-2-Flash (előzetes verzió)

A MAI-Voice-2-Flash egy ultragyors, alacsony késésű, nagy megbízhatóságú expresszív TTS-modell, amely a Voice Live valós idejű válaszképességére van optimalizálva. Íme egy példa a MAI-Voice-2-Flash hangra:

{
 "voice": {
   "name": "en-US-Harper:MAI-Voice-2-Flash",
   "type": "azure-standard"
 }
}

A Mai-voice-2-flash hangok teljes listájáért tekintse meg a MAI-hangokat.

Azure neurális beszédhang

Íme egy részleges üzenet példa egy szabványos (azure-standard) hangra:

{
  "voice": {
    "name": "en-US-AvaMultilingualNeural",
    "type": "azure-standard"
  }
}

A szabványos hangok teljes listájáért tekintse meg a Speech szolgáltatás nyelv- és hangtámogatását.

Azure nagyfelbontású (HD) hangok

Íme egy példaüzenet session.update egy szabványos nagy felbontású (HD) hanghoz:

{
  "voice": {
    "name": "en-US-Ava:DragonHDLatestNeural",
    "type": "azure-standard",
    "temperature": 0.8 // optional
  }
}

A nagy felbontású (HD) hangok teljes listáját a nagy felbontású (HD) hangok dokumentációjában találja.

Note

A nagy felbontású hangok jelenleg csak a következő régiókban támogatottak: southeastasia, centralindia, swedencentral, westeurope, eastus, eastus2, westus2

Beszédsebesség

A sztring rate tulajdonság használatával bármilyen szabványos Azure-szöveg beszédsebességét beszédhangokhoz és egyéni hangokhoz igazíthatja.

A ráta értékének 0,5 és 1,5 között kell lennie, és a nagyobb értékek gyorsabb sebességre utalnak.

{
  "voice": {
    "name": "en-US-Ava:DragonHDLatestNeural",
    "type": "azure-standard",
    "temperature": 0.8, // optional
    "rate": "1.2"
  }
}

Hang időbélyegzők

Ha Azure-hangokat használ, és output_audio_timestamp_types konfigurálva van, a szolgáltatás a válaszban visszaadja a response.audio_timestamp.delta-t, és a response.audio_timestamp.done akkor, amikor az összes időbélyeg-üzenet visszaadásra kerül.

A hangidőbélyegek konfigurálásához állítsa be a output_audio_timestamp_types értékét a session.update üzenetben.

{
    "session": {
        "output_audio_timestamp_types": ["word"]
    }
}

A szolgáltatás a hang létrehozásakor visszaadja a válaszban szereplő hangidőbélyegeket.

{
    "event_id": "<event_id>",
    "type": "response.audio_timestamp.delta",
    "response_id": "<response_id>",
    "item_id": "<item_id>",
    "output_index": 0,
    "content_index": 0,
    "audio_offset_ms": 490,
    "audio_duration_ms": 387,
    "text": "end",
    "timestamp_type": "word"
}

Amikor minden időbélyeg visszaadásra kerül, response.audio_timestamp.done üzenet kerül elküldésre.

{
    "event_id": "<event_id>",
    "type": "response.audio_timestamp.done",
    "response_id": "<response_id>",
    "item_id": "<item_id>",
}

Viseme

A viseme egy beszélt nyelvű fonéma vizuális leírása. Meghatározza az arc és a száj helyzetét, miközben egy személy beszél.

Használhatja az Azure standard hangját vagy az Azure testreszabott hangját a animation.outputs értékének {"viseme_id"}-re állításával. A szolgáltatás a response.animation_viseme.delta-t a válaszban adja vissza, és a response.animation_viseme.done-t akkor, amikor az összes viseme-üzenetet visszaadták.

Tip

További információ a viseme-ről a Speech Synthesis Markup Language (SSML) használatával, lásd a viseme elem dokumentációját.

A viseme konfigurálásához beállíthatja a animation.outputs a session.update üzenetben. A animation.outputs paraméter megadása nem kötelező. Konfigurálja, hogy mely animációs kimeneteket kell visszaadni. Jelenleg csak a viseme_id támogatja.

{
  "type": "session.update",
  "event_id": "your-session-id",
  "session": {
    "voice": {
      "name": "en-US-AvaNeural",
      "type": "azure-standard",
    },
    "modalities": ["text", "audio"],
    "instructions": "You are a helpful AI assistant responding in natural, engaging language.",
    "turn_detection": {
        "type": "server_vad"
    },
    "output_audio_timestamp_types": ["word"], // optional
    "animation": {
        "outputs": ["viseme_id"], // optional
    },
  }
}

A output_audio_timestamp_types paraméter megadása nem kötelező. Konfigurálja, hogy mely hangidőbélyegeket kell visszaadni a létrehozott hanghoz. Jelenleg csak a word támogatja.

A szolgáltatás visszaadja a viseme igazítását a válaszban, amikor a hangot létrehozzák.

{
    "event_id": "<event_id>",
    "type": "response.animation_viseme.delta",
    "response_id": "<response_id>",
    "item_id": "<item_id>",
    "output_index": 0,
    "content_index": 0,
    "audio_offset_ms": 455,
    "viseme_id": 20
}

response.animation_viseme.done A rendszer az összes viseme-üzenet visszaadásakor üzenetet küld.

{
    "event_id": "<event_id>",
    "type": "response.animation_viseme.done",
    "response_id": "<response_id>",
    "item_id": "<item_id>",
}

azure-realtime modell

A azure-realtime modell egy dedikált valós idejű modell, amely egy válogatott natív hangkészletet használ, amelyet természetes hangzású valós idejű beszédkimenethez terveztek.

Note

A azure-realtime modellhez a(z) 2026-01-01-preview API-verzió vagy újabb szükséges.

Hangkonfiguráció

Adja meg a hangot strukturált objektumként úgy, hogy a(z) type értékét azure-realtime-native értékre, a(z) name értékét pedig a támogatott hangnevek egyikére állítja be:

{
  "type": "session.update",
  "session": {
    "voice": {
      "type": "azure-realtime-native",
      "name": "ava"
    },
    "modalities": ["text", "audio"],
    "instructions": "You are a helpful assistant."
  }
}

Támogatott hangok

A következő azure-realtime-native hangnevek támogatottak:

Hang név Description Helyszín Hang részletei
aarti Azure Beszéd natív hangja en-IN Meleg, gazdag, indiai akcentusú angol női hang, sötét, hívogató tónussal. A legjobb a prémium támogatáshoz, az irányított tanuláshoz és a megbízható márkaélményekhez.
alvaro Azure Beszéd natív hangja es-ES Magabiztos, animált spanyol férfi hang erős jelenléttel. Legjobb az értékesítésekhez, promóciókhoz és asszertív szolgáltatáskommunikációhoz.
andrew Azure Beszéd natív hangja en-US Anyagmintás, nyugodt, megbízható amerikai férfi hang, amelyet alacsony nyomású csevegéshez terveztek.
antonio Azure Beszéd natív hangja pt-BR Fényes, vidám brazil portugál férfihang erős lelkesedéssel. A legjobb a kampányokhoz, a termékbevezetőkhöz és az energikus ügyfélkapcsolatokhoz.
ava Azure Beszéd natív hangja (alapértelmezett) en-US Világos, magabiztos, nagy energiájú amerikai hang. Ideális termékbemutatókhoz, ügyfélszolgálathoz és kifinomult, márkához illő élményekhez.
clara Azure Beszéd natív hangja en-CA Tiszta, sokoldalú kanadai hang széles használhatósággal. Az általános célú asszisztensek, az oktatás és az ügyfélszolgálat számára a legjobb.
dalia Azure Beszéd natív hangja es-MX Fényes, vidám mexikói spanyol női hang meleg energiával. A legjobb a kiskereskedelemhez, az ügyfelek bevonásához és az élénk asszisztensi élményhez.
denise Azure Beszéd natív hangja fr-FR Fényes, vonzó francia női hang, amely magas szinten tartja a figyelmet. Ideális az aktív ügyfélkapcsolatokhoz és a bevezetéshez.
diego Azure Beszéd natív hangja it-IT Animált, vidám olasz férfi hang tele energiával. Élénk beszélgetésekhez, promóciókhoz és szórakoztató élményekhez ideális.
diya Azure Beszéd natív hangja hi-IN Ropogós, tiszta kétnyelvű hindi és indiai ékezetű angol női hang. A legjobb megoldás hibaelhárításhoz, problémamegoldáshoz és többnyelvű támogatáshoz.
elsa Azure Beszéd natív hangja it-IT Magabiztos, tiszta hangzású olasz női hang, tiszta artikulációval. A legjobb megoldás a szolgáltatásokkal kapcsolatos útmutatáshoz, magyarázókhoz és szakmai támogatáshoz.
emma Azure Beszéd natív hangja en-US Meleg, társalgási, közepes hangmagasságú amerikai női hang dinamikus beszélgetési stílussal. Ideális rutinszerű ügyfélszolgálati segítséghez, bevezetéshez és gyors tempójú támogatási folyamatokhoz.
florian Azure Beszéd natív hangja de-DE Meleg, vidám német férfihang erős egyértelműséggel és sokoldalúsággal. Ideális magyarázó tartalmakhoz, oktatáshoz és közvetlen támogatáshoz.
francisca Azure Beszéd natív hangja pt-BR Vidám, tiszta brazil portugál női hang, pozitív hangzással. A legjobb megoldás a támogatáshoz, az előkészítéshez és a szolgáltatás-üzenetküldéshez.
hyunsu Azure Beszéd natív hangja ko-KR Gazdag, rezonáns koreai férfi hang állandó professzionalizmussal. A legjobb a formális útmutatáshoz, a magyarázókhoz és a megbízható információk kézbesítéséhez.
jorge Azure Beszéd natív hangja es-MX Mély, magabiztos mexikói spanyol férfihang, amely tekintélyt és magabiztosságot sugároz. A legjobb megoldás a bejelentésekhez, a logisztikához és a megbízhatósági alapú támogatáshoz.
keita Azure Beszéd natív hangja ja-JP Alkalmi, magával ragadó japán férfi hang nyugodt, de élénk érzés. A legjobb megoldás csevegésalapú asszisztensek és informális szolgáltatások közötti interakciókhoz.
liam Azure Beszéd natív hangja en-CA Fiatal kanadai férfihang lelkes, jól artikulált előadásmóddal. A legjobb választás technológiai tartalmakhoz, oktatóanyagokhoz és oktatási termékekhez.
meera Azure Beszéd natív hangja hi-IN Nyugodt, meleg női hang, amely hindiül és indiai akcentusú angolul beszél, megnyugtató kisugárzással. A legjobb a wellnesshez, az ellátáshoz, a vendéglátáshoz és a reflektív útmutatáshoz.
nanami Azure Beszéd natív hangja ja-JP Fényes, vidám japán női hang felemelő hanggal. A legjobb az üdvözlő üzenetekhez, a kiskereskedelemhez és a barátságos életmódhoz.
natasha Azure Beszéd natív hangja en-AU Világos, sokoldalú ausztrál női hang, amely könnyen alkalmazkodik a használati esetekhez. Általános asszisztensek, támogatási és oktatói tartalmak esetén a legjobb.
niwat Azure Beszéd natív hangja th-TH Magabiztos thai férfi hang sima, mért professzionalizmussal. Legjobb a vállalati bemutatókhoz, podcastokhoz és formális szolgáltatásüzenetekhez.
premwadee Azure Beszéd natív hangja th-TH Fiatal thai női hang formális, professzionális hangvétellel. A legjobb a bejelentésekhez, a betanításhoz és a strukturált kommunikációhoz.
rayn Azure Beszéd natív hangja en-GB Egyszerű brit férfi hang hatékony, semleges stílusban. Leginkább tranzakciós támogatáshoz, vállalati eszközökhöz és szolgáltatásfrissítésekhez ajánlott.
remy Azure Beszéd natív hangja fr-FR Vidám francia férfi hang felemelő, társalgási hangvétellel. A legjobb választás csevegéshez, kiskereskedelmi felhasználásra és könnyed márkatörténet-mesélésre.
seraphina Azure Beszéd natív hangja de-DE Alkalmian bájos német női hang nyugodt, magával ragadó stílussal. Legjobban hangoskönyvekhez, alkalmi csevegésekhez és életmódbeli tartalmakhoz.
sonia Azure Beszéd natív hangja en-GB Gyengéd, puha brit női hang nyugodt, megnyugtató jelenléttel. Legjobb prémium támogatáshoz, wellnesshez és átgondolt előkészítéshez.
sunhi Azure Beszéd natív hangja ko-KR Nyugodt, megnyugtató koreai női hang mély, meleg tónussal és kimért tempóval. A legjobb a wellnesshez, a vendéglátáshoz és a megnyugtató útmutatáshoz.
sylvie Azure Beszéd natív hangja fr-CA Nyugodt, megnyugtató kanadai francia női hang állandó professzionalizmussal. A legjobb megoldás bejelentésekhez, támogatáshoz és megbízható nyilvános kommunikációhoz.
thierry Azure Beszéd natív hangja fr-CA Nyugodt, kanadai francia nyelvű férfihang, sötét, meleg hangszínnel. Prémium szintű elbeszéléshez, wellnesshez és átgondolt márkaélményekhez ideális.
william Azure Beszéd natív hangja en-AU Nyugodt ausztrál férfi hang meleg mélység és megnyugtató bizalom. A legjobb választás bevezetéshez, ügyféltámogatáshoz és prémium narrációhoz.
xiaoxiao Azure Beszéd natív hangja zh-CN Édes, puha, barátságos mandarin női hang gazdag érzelmi tartományban. Ideális a vendéglátáshoz, a prémium szintű kiszolgáláshoz és a barátságos, ügyfélközpontú élményekhez.
ximena Azure Beszéd natív hangja es-ES Ropogós, vidám spanyol női hang tiszta pozitivitással. Legjobb vendéglátáshoz, támogatáshoz és irányított vásárláshoz.
yunxi Azure Beszéd natív hangja zh-CN Élénk mandarin nyelvű férfihang, élénk, kifejező érzelmekkel. A legjobb a történetmeséléshez, a magával ragadó asszisztensekhez és az interaktív oktatáshoz.

Ha nem ad meg hangot, alapértelmezés szerint a(z) ava lesz használva. Az alapértelmezett érték a válaszban és az session.created azt követő session.updated válaszokban is megjelenik.

Azure szövegfelolvasó avatar

A szövegből a beszéd avatárja digitális videóvá alakítja a szöveget egy fotorealisztikus emberről (normál avatarról vagy egyéni szövegről beszédavatárra), természetes hangzású hangon beszél.

A paraméterrel avatar megadhat egy szabványos vagy egyéni avatart. Az avatar szinkronizálva van a hangkimenettel.

Paraméter avatar adható meg a hangkimenettel szinkronizált avatarkimenet engedélyezéséhez:

{
  "session": {
    "avatar": {
      "character": "lisa",
      "style": "casual-sitting",
      "customized": false,
      "ice_servers": [
        {
          "urls": ["REDACTED"],
          "username": "",
          "credential": ""
        }
      ],
      "video": {
        "bitrate": 2000000,
        "codec": "h264",
        "crop": {
          "top_left": [560, 0],
          "bottom_right": [1360, 1080],
        },
        "resolution": {
          "width": 1080,
          "height": 1920,
        },
        "background": {
          "color": "#00FF00FF"
          // "image_url": "https://example.com/example.jpg"
        }
      }
    }
  }
}

A ice_servers mező megadása nem kötelező. Ha nem adja meg, a szolgáltatás válaszként a kiszolgálóspecifikus ICE-kiszolgálókat adja vissza session.updated. A helyi ICE-jelöltek létrehozásához pedig a kiszolgálóspecifikus ICE-kiszolgálókat kell használnia.

Küldje el az ügyféloldali SDP-t az ICE-jelöltek összegyűjtése után.

{
    "type": "session.avatar.connect",
    "client_sdp": "your-client-sdp"
}

A szolgáltatás pedig a kiszolgáló SDP-jével válaszol.

{
    "type": "session.avatar.connecting",
    "server_sdp": "your-server-sdp"
}

Ezután csatlakoztathatja az avatart a kiszolgáló SDP-jével.

További részletekért tekintse meg ezt a mintakódot , amely avatart használ a Voice live API-ban .

Fénykép avatár használata

A fénykép avatár egy beszélőfejes videót hoz létre egyetlen képből. A Voice Live támogatja a szabványos (Microsoft által biztosított) és az egyéni (saját képből létrehozott) fénykép avatarokat is. Fényképavatár használatához állítsa a model értékét photo-avatar értékre, a type értékét pedig az azt meghajtó alapmodellre (vasa-1 vagy vasa-2). Normál fényképavatár esetén állítsa a(z) character értékét a fényképavatár karakternevére (a listához lásd: Fotó avatarok). Egyéni fotóavatár esetén állítsa a(z) character értékét az egyéni fotóavatár nevére, és a(z) customized értékét true értékre.

Note

vasa-2 előzetes verzióban érhető el, és csak a Támogatott standard avatarok című cikkben felsorolt karaktereket támogatja.

A szabványos fotóavatar egyetlen fényképből beszélő fejes videót hoz létre, és a forrásfotó elvárt felbontása 512x512.

Mielőtt egyéni fotóavatárt használhatna, előbb létre kell hoznia. Egyéni fotóavatar létrehozásához szükség van az adott személyről készült fotóra, valamint körülbelül egyperces, beleegyező nyilatkozatot tartalmazó hangfelvételre, amelyet arra használnak, hogy a hang jobban illeszkedjen az avatarhoz. Ez a követelmény eltér az itt látható Voice Live-munkamenet konfigurációjától. További információ: Egyéni fénykép avatár létrehozása.

Az opcionális scene objektummal módosíthatja az avatar nagyítási, pozíciói, forgatási és mozgási amplitúdóját. Az egyes jelenetmezők jelentéséért és tartományaiért tekintse meg az avatarjelenet beállítása a fénykép avatárhoz című témakört.

Íme egy példaobjektum avatar egy szabványos fénykép avatarhoz:

{
  "session": {
    "avatar": {
      "type": "photo-avatar",
      "model": "vasa-1",
      "character": "anika",
      "video": {
        "codec": "h264",
        "resolution": {
          "width": 1920,
          "height": 1080
        }
      },
      "scene": {
        "zoom": 1.0,
        "position_x": 0.0,
        "position_y": 0.0,
        "rotation_x": 0.0,
        "rotation_y": 0.0,
        "rotation_z": 0.0,
        "amplitude": 0.6
      }
    }
  }
}

Egyéni fotóavatár használatához állítsa a(z) character értékét az egyéni fotóavatár nevére, és állítsa a(z) customized értékét erre: true:

{
  "session": {
    "avatar": {
      "type": "photo-avatar",
      "model": "vasa-1",
      "character": "your-custom-photo-avatar-name",
      "customized": true
    }
  }
}

Note

Az Azure text to speech avatar jelenleg korlátozott régiókban támogatott. A támogatott régiók aktuális listájáért tekintse meg a Speech szolgáltatás régiói táblát.

Kapcsolódó tartalom

  • Utolsó frissítés időpontja: