VoiceAgentDefinition interface

Paket:

@azure/ai-projects

Definitionen av röstagenten. Dess konfiguration (modell, instruktioner, ljud, verktyg och valfri avatar) driver en hanterad tal-till-tal-upplevelse. Etablera röstsessioner i realtid genom GET /agents/{agent_name}/endpoint/protocols/voice. Varje skapande eller uppdatering ger en ny oföränderlig version.

Extends

AgentDefinition

Egenskaper

audio	Ljudkonfigurationen, inklusive in- och utdataformat, röst, svängdetektering, brusreducering och transkription. Dessa värden är sessionsstandard; en klient kan åsidosätta stödda fält vid anslutning.
avatar	Valfri avatarkonfiguration. Dessa värden är sessionsstandardvärden och kan åsidosättas vid anslutning.
conversation_engine	Motorn som ansvarar för samtalshanteringen för denna röstagent. Exakt en av denna egenskap och den modellstödda konfigurationen (model_type med model) måste tillhandahållas. När denna egenskap tillhandahålls, model_type, model, instructions, tools, måste tool_choice och utelämnas, och greeting.tool_choice kan inte tas requiredbort eftersom motorn äger konversationslogiken. Den initiala implementationen stödjer en hostad agent-motor.
greeting	Valfri hälsning med sessionsstart. Mallläget talar exakt renderad text; LLM-genererat läge ber sessionsmodellen att skapa det inledande svaret och kan använda konfigurerade verktyg.
include	Ytterligare fält att inkludera i tjänsteresultat.
instructions	Ett systemmeddelande (eller utvecklarmeddelande) som infogats i modellens kontext. Stöder mallbyte via structured_inputs, renderat per session innan live-sessionen startar.
interim_response	Interim-responsinställningar för latens och verktygskörning.
kind	Den typiska diskriminatorn för en röstagentdefinition. Alltid voice.
max_output_tokens	Det maximala antalet utmatningstoken för ett svar.
model	Modellen att använda för denna agent. Krävs med model_type för en modellstödd röstagent och utelämnas när conversation_engine det tillhandahålls. Modellen måste stödja realtids- eller kaskadröst.
model_type	Hur modellen som stöder denna röstagent betjänas. Krävs med model för en modellstödd röstagent och utelämnas när conversation_engine det tillhandahålls. Detta är oberoende av arkitekturen (realtid eller kaskaderad), som tjänsten härleder från den valda modellen.
output_modalities	De utmatningsmodaliteter som agenten producerar. Standardinställningen är ["audio"]. animation och avatar är tillgängliga när en avatar konfigureras.
parallel_tool_calls	Om modellen kan anropa flera verktyg parallellt.
store	Om samtalen med denna agent fortsätter. En enda, allt-eller-inget-beständighetsbrytare som som standard är false (integritetssäker: avstängd som standard). När true, fortsätter Foundry hela konversationen — transkriptionen/händelsetidslinjen och rå ljudinspelning. När false, finns inget kvar och ingen konversation uppstår. Det finns ingen separat ljudloggningskontroll; ljudet sparas endast som en del av denna switch. Latens-/prestandatelemetri (t.ex. time-to-first-audio, inter-token-latens, avbrott) är endast observerbarhet (kundspårning / App Insights) och ingår inte i det fortsatta samtalsinnehållet.
structured_inputs	Uppsättning strukturerade indata som deltar i promptmallsubstitution, renderad per session innan live-sessionen startar.
subagent_config	Valfri konfiguration för syskon-Foundry-textagenter som denna röstagent kan konsultera som bakgrundsspecialister.
tools	Verktygen röstagenten kan använda. Stödda verktygstyper är function (utförs av klienten), mcp, system (servicehanterade sessionskontroller) och toolbox. Serverbaserade verktyg såsom web_search, azure_ai_search, och openapi tillhandahålls via en verktygslåda istället för att deklareras direkt.
tool_choice	Hur modellen väljer verktyg för genererade svar. none förhindrar verktygsanrop, auto låter modellen bestämma, required kräver minst ett verktygsanrop, och en specifik funktion eller MCP-verktyg kan väljas med ett objekt. Standardinställningen är auto.

Ärvda egenskaper

rai_config

Konfiguration för innehållsfiltrering och säkerhetsfunktioner för ansvarsfull AI (RAI).

Egenskapsinformation

audio

Ljudkonfigurationen, inklusive in- och utdataformat, röst, svängdetektering, brusreducering och transkription. Dessa värden är sessionsstandard; en klient kan åsidosätta stödda fält vid anslutning.

audio?: VoiceAgentAudioConfig

Egenskapsvärde

VoiceAgentAudioConfig

avatar

Valfri avatarkonfiguration. Dessa värden är sessionsstandardvärden och kan åsidosättas vid anslutning.

avatar?: VoiceAgentAvatarConfig

Egenskapsvärde

VoiceAgentAvatarConfig

conversation_engine

Motorn som ansvarar för samtalshanteringen för denna röstagent. Exakt en av denna egenskap och den modellstödda konfigurationen (model_type med model) måste tillhandahållas. När denna egenskap tillhandahålls, model_type, model, instructions, tools, måste tool_choice och utelämnas, och greeting.tool_choice kan inte tas requiredbort eftersom motorn äger konversationslogiken. Den initiala implementationen stödjer en hostad agent-motor.

conversation_engine?: VoiceConversationEngineUnion

Egenskapsvärde

VoiceConversationEngineUnion

greeting

Valfri hälsning med sessionsstart. Mallläget talar exakt renderad text; LLM-genererat läge ber sessionsmodellen att skapa det inledande svaret och kan använda konfigurerade verktyg.

greeting?: VoiceAgentGreetingConfigUnion

Egenskapsvärde

VoiceAgentGreetingConfigUnion

include

Ytterligare fält att inkludera i tjänsteresultat.

include?: VoiceAgentSessionIncludeOption[]

Egenskapsvärde

VoiceAgentSessionIncludeOption[]

instructions

Ett systemmeddelande (eller utvecklarmeddelande) som infogats i modellens kontext. Stöder mallbyte via structured_inputs, renderat per session innan live-sessionen startar.

instructions?: string

Egenskapsvärde

string

interim_response

Interim-responsinställningar för latens och verktygskörning.

interim_response?: VoiceAgentInterimResponseConfigUnion

Egenskapsvärde

VoiceAgentInterimResponseConfigUnion

kind

Den typiska diskriminatorn för en röstagentdefinition. Alltid voice.

kind: "voice"

Egenskapsvärde

"voice"

max_output_tokens

Det maximala antalet utmatningstoken för ett svar.

max_output_tokens?: VoiceAgentMaxOutputTokens

Egenskapsvärde

VoiceAgentMaxOutputTokens

model

Modellen att använda för denna agent. Krävs med model_type för en modellstödd röstagent och utelämnas när conversation_engine det tillhandahålls. Modellen måste stödja realtids- eller kaskadröst.

model?: string

Egenskapsvärde

string

model_type

Hur modellen som stöder denna röstagent betjänas. Krävs med model för en modellstödd röstagent och utelämnas när conversation_engine det tillhandahålls. Detta är oberoende av arkitekturen (realtid eller kaskaderad), som tjänsten härleder från den valda modellen.

model_type?: VoiceModelType

Egenskapsvärde

VoiceModelType

output_modalities

De utmatningsmodaliteter som agenten producerar. Standardinställningen är ["audio"]. animation och avatar är tillgängliga när en avatar konfigureras.

output_modalities?: VoiceOutputModality[]

Egenskapsvärde

VoiceOutputModality[]

parallel_tool_calls

Om modellen kan anropa flera verktyg parallellt.

parallel_tool_calls?: boolean

Egenskapsvärde

boolean

store

Om samtalen med denna agent fortsätter. En enda, allt-eller-inget-beständighetsbrytare som som standard är false (integritetssäker: avstängd som standard). När true, fortsätter Foundry hela konversationen — transkriptionen/händelsetidslinjen och rå ljudinspelning. När false, finns inget kvar och ingen konversation uppstår. Det finns ingen separat ljudloggningskontroll; ljudet sparas endast som en del av denna switch. Latens-/prestandatelemetri (t.ex. time-to-first-audio, inter-token-latens, avbrott) är endast observerbarhet (kundspårning / App Insights) och ingår inte i det fortsatta samtalsinnehållet.

store?: boolean

Egenskapsvärde

boolean

structured_inputs

Uppsättning strukturerade indata som deltar i promptmallsubstitution, renderad per session innan live-sessionen startar.

structured_inputs?: Record<string, StructuredInputDefinition>

Egenskapsvärde

Record<string, StructuredInputDefinition>

subagent_config

Valfri konfiguration för syskon-Foundry-textagenter som denna röstagent kan konsultera som bakgrundsspecialister.

subagent_config?: VoiceAgentSubagentConfig

Egenskapsvärde

VoiceAgentSubagentConfig

tools

Verktygen röstagenten kan använda. Stödda verktygstyper är function (utförs av klienten), mcp, system (servicehanterade sessionskontroller) och toolbox. Serverbaserade verktyg såsom web_search, azure_ai_search, och openapi tillhandahålls via en verktygslåda istället för att deklareras direkt.

tools?: VoiceAgentToolUnion[]

Egenskapsvärde

VoiceAgentToolUnion[]

tool_choice

Hur modellen väljer verktyg för genererade svar. none förhindrar verktygsanrop, auto låter modellen bestämma, required kräver minst ett verktygsanrop, och en specifik funktion eller MCP-verktyg kan väljas med ett objekt. Standardinställningen är auto.

tool_choice?: VoiceAgentToolChoice

Egenskapsvärde

VoiceAgentToolChoice

Information om ärvda egenskaper

rai_config

Konfiguration för innehållsfiltrering och säkerhetsfunktioner för ansvarsfull AI (RAI).

rai_config?: RaiConfig

Egenskapsvärde

RaiConfig

Ärvd frånAgentDefinition.rai_config