VoiceAgentDefinition interface
语音代理的定义。 其配置(模型、说明、音频、工具及可选头像)驱动了受管语音转语音体验。 通过 建立实时语音会话 GET /agents/{agent_name}/endpoint/protocols/voice。 每次创建或更新都会产生一个新的不可变版本。
属性
| audio | 音频配置,包括输入和输出格式、语音、转向检测、降噪和转录。 这些值是会话默认值;客户端在连接时可以覆盖支持的字段。 |
| avatar | 可选头像配置。 这些值是会话默认值,连接时可能会被覆盖。 |
| conversation_engine | 拥有该语音代理对话处理的引擎。 必须提供该性质中的恰好一个,并且模型支持的配置( |
| greeting | 可选的开场时问候。 模板模式会说出精确渲染的文本;LLM生成模式要求会话模型编写开场回复,并可能使用配置过的工具。 |
| include | 服务输出中还需包含额外字段。 |
| instructions | 插入到模型上下文中的系统(或开发人员)消息。 支持通过模板替换, |
| interim_response | 延迟和工具执行的临时响应设置。 |
| kind | 那种针对语音代理定义的歧视器。 始终为 |
| max_output_tokens | 一次响应的最大输出令牌数。 |
| model | 该代理的模型。 对于模型支持的语音代理来说, |
| model_type | 支持这位语音代理的模型是如何被服务的。 对于模型支持的语音代理来说, |
| output_modalities | 代理所产生的输出模态。 默认值为 |
| parallel_tool_calls | 模型是否可以并行调用多个工具。 |
| store | 是否与该代理的对话持续进行。 一个全有或全无的持久交换机,默认为 |
| structured_inputs | 一组结构化输入,参与提示模板替换,在实时会话开始前每会话渲染。 |
| subagent_config | 为兄弟 Foundry 文本代理提供可选配置,该语音代理可作为背景专家咨询。 |
| tools | 语音代理可能使用的工具。 支持的工具类型包括 |
| tool_choice | 模型如何选择生成响应的工具。
|
继承属性
| rai_config | 负责任 AI (RAI) 内容筛选和安全功能的配置。 |
属性详细信息
audio
音频配置,包括输入和输出格式、语音、转向检测、降噪和转录。 这些值是会话默认值;客户端在连接时可以覆盖支持的字段。
audio?: VoiceAgentAudioConfig
属性值
avatar
conversation_engine
拥有该语音代理对话处理的引擎。 必须提供该性质中的恰好一个,并且模型支持的配置(model_type ,其中 model)。 当该属性被提供时,model_type, , modelinstructions, tools, , 必须tool_choice省略,且greeting.tool_choice不能包含required,因为引擎拥有对话逻辑。 初始实现支持托管代理引擎。
conversation_engine?: VoiceConversationEngineUnion
属性值
greeting
可选的开场时问候。 模板模式会说出精确渲染的文本;LLM生成模式要求会话模型编写开场回复,并可能使用配置过的工具。
greeting?: VoiceAgentGreetingConfigUnion
属性值
include
instructions
插入到模型上下文中的系统(或开发人员)消息。 支持通过模板替换, structured_inputs在实时会话开始前每场渲染。
instructions?: string
属性值
string
interim_response
延迟和工具执行的临时响应设置。
interim_response?: VoiceAgentInterimResponseConfigUnion
属性值
kind
那种针对语音代理定义的歧视器。 始终为 voice。
kind: "voice"
属性值
"voice"
max_output_tokens
model
该代理的模型。 对于模型支持的语音代理来说, model_type 必须使用,提供时 conversation_engine 省略。 该模型必须支持实时语音或级联语音。
model?: string
属性值
string
model_type
支持这位语音代理的模型是如何被服务的。 对于模型支持的语音代理来说, model 必须使用,提供时 conversation_engine 省略。 这与服务从所选模型衍生的架构(实时或级联)无关。
model_type?: VoiceModelType
属性值
output_modalities
代理所产生的输出模态。 默认值为 ["audio"].
animation
avatar并且在配置化身时可以使用。
output_modalities?: VoiceOutputModality[]
属性值
parallel_tool_calls
模型是否可以并行调用多个工具。
parallel_tool_calls?: boolean
属性值
boolean
store
是否与该代理的对话持续进行。 一个全有或全无的持久交换机,默认为 false (隐私安全:默认关闭)。 当 true,Foundry 会保留完整的对话——文字记录/事件时间线和原始音频。 当 false时,任何信息都不会被持续存在,也不会显示任何对话。 没有单独的音频记录控制;音频仅作为该开关的一部分被持久保存。 延迟/性能遥测(例如首次音频时间、令牌间延迟、中断)仅限于可观测性(客户追踪/应用洞察),不包含在持久对话内容中。
store?: boolean
属性值
boolean
structured_inputs
一组结构化输入,参与提示模板替换,在实时会话开始前每会话渲染。
structured_inputs?: Record<string, StructuredInputDefinition>
属性值
Record<string, StructuredInputDefinition>
subagent_config
为兄弟 Foundry 文本代理提供可选配置,该语音代理可作为背景专家咨询。
subagent_config?: VoiceAgentSubagentConfig
属性值
tools
语音代理可能使用的工具。 支持的工具类型包括 function (由客户端执行)、 mcp、( system 服务管理会话控制)和 toolbox。 服务器端工具 web_search如 、 azure_ai_search和 openapi 是通过工具箱提供,而非直接声明。
tools?: VoiceAgentToolUnion[]
属性值
tool_choice
模型如何选择生成响应的工具。
none 防止工具调用, auto 让模型自行决定, required 至少需要一次工具调用,并且可以选择特定函数或MCP工具。
默认值为 auto.
tool_choice?: VoiceAgentToolChoice