你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn。

VoiceAgentDefinition interface

语音代理的定义。 其配置(模型、说明、音频、工具及可选头像)驱动了受管语音转语音体验。 通过 建立实时语音会话 GET /agents/{agent_name}/endpoint/protocols/voice。 每次创建或更新都会产生一个新的不可变版本。

扩展

属性

audio

音频配置,包括输入和输出格式、语音、转向检测、降噪和转录。 这些值是会话默认值;客户端在连接时可以覆盖支持的字段。

avatar

可选头像配置。 这些值是会话默认值,连接时可能会被覆盖。

conversation_engine

拥有该语音代理对话处理的引擎。 必须提供该性质中的恰好一个,并且模型支持的配置(model_type ,其中 model)。 当该属性被提供时,model_type, , modelinstructions, tools, , 必须tool_choice省略,且greeting.tool_choice不能包含required,因为引擎拥有对话逻辑。 初始实现支持托管代理引擎。

greeting

可选的开场时问候。 模板模式会说出精确渲染的文本;LLM生成模式要求会话模型编写开场回复,并可能使用配置过的工具。

include

服务输出中还需包含额外字段。

instructions

插入到模型上下文中的系统(或开发人员)消息。 支持通过模板替换, structured_inputs在实时会话开始前每场渲染。

interim_response

延迟和工具执行的临时响应设置。

kind

那种针对语音代理定义的歧视器。 始终为 voice。

max_output_tokens

一次响应的最大输出令牌数。

model

该代理的模型。 对于模型支持的语音代理来说, model_type 必须使用,提供时 conversation_engine 省略。 该模型必须支持实时语音或级联语音。

model_type

支持这位语音代理的模型是如何被服务的。 对于模型支持的语音代理来说, model 必须使用,提供时 conversation_engine 省略。 这与服务从所选模型衍生的架构(实时或级联)无关。

output_modalities

代理所产生的输出模态。 默认值为 ["audio"]. animation avatar并且在配置化身时可以使用。

parallel_tool_calls

模型是否可以并行调用多个工具。

store

是否与该代理的对话持续进行。 一个全有或全无的持久交换机,默认为 false (隐私安全:默认关闭)。 当 true,Foundry 会保留完整的对话——文字记录/事件时间线和原始音频。 当 false时,任何信息都不会被持续存在,也不会显示任何对话。 没有单独的音频记录控制;音频仅作为该开关的一部分被持久保存。 延迟/性能遥测(例如首次音频时间、令牌间延迟、中断)仅限于可观测性(客户追踪/应用洞察),不包含在持久对话内容中。

structured_inputs

一组结构化输入,参与提示模板替换,在实时会话开始前每会话渲染。

subagent_config

为兄弟 Foundry 文本代理提供可选配置,该语音代理可作为背景专家咨询。

tools

语音代理可能使用的工具。 支持的工具类型包括 function (由客户端执行)、 mcp、( system 服务管理会话控制)和 toolbox。 服务器端工具 web_search如 、 azure_ai_search和 openapi 是通过工具箱提供,而非直接声明。

tool_choice

模型如何选择生成响应的工具。 none 防止工具调用, auto 让模型自行决定, required 至少需要一次工具调用,并且可以选择特定函数或MCP工具。 默认值为 auto.

继承属性

rai_config

负责任 AI (RAI) 内容筛选和安全功能的配置。

属性详细信息

audio

音频配置,包括输入和输出格式、语音、转向检测、降噪和转录。 这些值是会话默认值;客户端在连接时可以覆盖支持的字段。

audio?: VoiceAgentAudioConfig

属性值

avatar

可选头像配置。 这些值是会话默认值,连接时可能会被覆盖。

avatar?: VoiceAgentAvatarConfig

属性值

conversation_engine

拥有该语音代理对话处理的引擎。 必须提供该性质中的恰好一个,并且模型支持的配置(model_type ,其中 model)。 当该属性被提供时,model_type, , modelinstructions, tools, , 必须tool_choice省略,且greeting.tool_choice不能包含required,因为引擎拥有对话逻辑。 初始实现支持托管代理引擎。

conversation_engine?: VoiceConversationEngineUnion

属性值

greeting

可选的开场时问候。 模板模式会说出精确渲染的文本;LLM生成模式要求会话模型编写开场回复,并可能使用配置过的工具。

greeting?: VoiceAgentGreetingConfigUnion

属性值

include

服务输出中还需包含额外字段。

include?: VoiceAgentSessionIncludeOption[]

属性值

instructions

插入到模型上下文中的系统(或开发人员)消息。 支持通过模板替换, structured_inputs在实时会话开始前每场渲染。

instructions?: string

属性值

string

interim_response

延迟和工具执行的临时响应设置。

interim_response?: VoiceAgentInterimResponseConfigUnion

属性值

kind

那种针对语音代理定义的歧视器。 始终为 voice。

kind: "voice"

属性值

"voice"

max_output_tokens

一次响应的最大输出令牌数。

max_output_tokens?: VoiceAgentMaxOutputTokens

属性值

model

该代理的模型。 对于模型支持的语音代理来说, model_type 必须使用,提供时 conversation_engine 省略。 该模型必须支持实时语音或级联语音。

model?: string

属性值

string

model_type

支持这位语音代理的模型是如何被服务的。 对于模型支持的语音代理来说, model 必须使用,提供时 conversation_engine 省略。 这与服务从所选模型衍生的架构(实时或级联)无关。

model_type?: VoiceModelType

属性值

output_modalities

代理所产生的输出模态。 默认值为 ["audio"]. animation avatar并且在配置化身时可以使用。

output_modalities?: VoiceOutputModality[]

属性值

parallel_tool_calls

模型是否可以并行调用多个工具。

parallel_tool_calls?: boolean

属性值

boolean

store

是否与该代理的对话持续进行。 一个全有或全无的持久交换机,默认为 false (隐私安全:默认关闭)。 当 true,Foundry 会保留完整的对话——文字记录/事件时间线和原始音频。 当 false时,任何信息都不会被持续存在,也不会显示任何对话。 没有单独的音频记录控制;音频仅作为该开关的一部分被持久保存。 延迟/性能遥测(例如首次音频时间、令牌间延迟、中断)仅限于可观测性(客户追踪/应用洞察),不包含在持久对话内容中。

store?: boolean

属性值

boolean

structured_inputs

一组结构化输入,参与提示模板替换,在实时会话开始前每会话渲染。

structured_inputs?: Record<string, StructuredInputDefinition>

属性值

Record<string, StructuredInputDefinition>

subagent_config

为兄弟 Foundry 文本代理提供可选配置,该语音代理可作为背景专家咨询。

subagent_config?: VoiceAgentSubagentConfig

属性值

tools

语音代理可能使用的工具。 支持的工具类型包括 function (由客户端执行)、 mcp、( system 服务管理会话控制)和 toolbox。 服务器端工具 web_search如 、 azure_ai_search和 openapi 是通过工具箱提供,而非直接声明。

tools?: VoiceAgentToolUnion[]

属性值

tool_choice

模型如何选择生成响应的工具。 none 防止工具调用, auto 让模型自行决定, required 至少需要一次工具调用,并且可以选择特定函数或MCP工具。 默认值为 auto.

tool_choice?: VoiceAgentToolChoice

属性值

继承属性详细信息

rai_config

负责任 AI (RAI) 内容筛选和安全功能的配置。

rai_config?: RaiConfig

属性值

继承自AgentDefinition.rai_config