VoiceAgentDefinition interface

Paquete:

@azure/ai-projects

La definición de agente de voz. Su configuración (modelo, instrucciones, audio, herramientas y avatar opcional) impulsa una experiencia gestionada de voz a voz. Establece sesiones de voz en tiempo real a través GET /agents/{agent_name}/endpoint/protocols/voicede . Cada creación o actualización produce una nueva versión inmutable.

Extends

AgentDefinition

Propiedades

audio	La configuración de audio, incluyendo formatos de entrada y salida, voz, detección de giros, reducción de ruido y transcripción. Estos valores son valores predeterminados de la sesión; un cliente puede anular los campos soportados al conectarse.
avatar	Configuración opcional del avatar. Estos valores son valores predeterminados de la sesión y pueden ser anulados al conectarse.
conversation_engine	El motor que gestiona la conversación de este agente de voz. Debe proporcionarse exactamente una de estas propiedades y la configuración respaldada por el modelo (model_type con model). Cuando se proporciona esta propiedad, , , , , y tool_choice deben omitirse, y greeting.tool_choice no pueden ser required, porque el motor posee la lógica de conversación. toolsinstructionsmodelmodel_type La implementación inicial soporta un motor de agente alojado.
greeting	Saludo opcional para iniciar sesión. El modo plantilla dice texto renderizado exacto; el modo generado por LLM pide al modelo de sesión que redacte la respuesta de apertura y puede usar herramientas configuradas.
include	Campos adicionales para incluir en las salidas del servicio.
instructions	Mensaje del sistema (o desarrollador) insertado en el contexto del modelo. Soporta sustitución de plantillas mediante structured_inputs, renderizado por sesión antes de que comience la sesión en vivo.
interim_response	Ajustes de respuesta intermedia para latencia y ejecución de herramientas.
kind	El tipo de discriminador para una definición de agente de voz. Siempre voice.
max_output_tokens	El conteo máximo de tokens de salida para una respuesta.
model	El modelo a usar para este agente. Requerida con model_type para un agente de voz respaldada por modelo y omitida cuando conversation_engine se proporciona. El modelo debe soportar voz en tiempo real o en cascada.
model_type	Cómo se sirve al modelo que respalda a este agente de voz. Requerida con model para un agente de voz respaldada por modelo y omitida cuando conversation_engine se proporciona. Esto es independiente de la arquitectura (en tiempo real o en cascada), que el servicio deriva del modelo seleccionado.
output_modalities	Las modalidades de salida que produce el agente. Tiene como valor predeterminado ["audio"]. animation y avatar están disponibles cuando se configura un avatar.
parallel_tool_calls	Si el modelo puede llamar a múltiples herramientas en paralelo.
store	Si se mantienen conversaciones con este agente. Un único interruptor de persistencia todo o nada que por defecto se false asigna a (seguro para la privacidad: apagado por defecto). Cuando true, Foundry mantiene toda la conversación — la transcripción/cronología del evento y el audio en bruto. Cuando false, no se mantiene nada y no surge ninguna conversación. No existe un control separado para el registro de audio; el audio solo se mantiene como parte de este cambio. La telemetría de latencia/rendimiento (por ejemplo, tiempo hasta el primer audio, latencia entre tokens, interrupción) es solo observabilidad (rastreo del cliente / App Insights) y no forma parte del contenido de conversación persistente.
structured_inputs	Conjunto de entradas estructuradas que participan en la sustitución de plantillas de prompts, renderizadas por sesión antes de que comience la sesión en vivo.
subagent_config	Configuración opcional para agentes de texto hermanos de Foundry que este agente de voz puede consultar como especialistas en segundo plano.
tools	Las herramientas que puede usar el agente de voz. Los tipos de herramientas soportados son function (ejecutados por el cliente), mcp, system (controles de sesión gestionados por servicios) y toolbox. Las herramientas del lado del servidor como web_search, azure_ai_search, y openapi se proporcionan a través de una caja de herramientas en lugar de declararse directamente.
tool_choice	Cómo el modelo elige herramientas para las respuestas generadas. none previene llamadas a herramientas, auto deja que el modelo decida, required requiere al menos una llamada a herramienta, y se puede seleccionar una función específica o herramienta MCP con un objeto. Tiene como valor predeterminado auto.

Propiedades heredadas

rai_config

Configuración para funciones de seguridad y filtrado de contenido de IA responsable (RAI).

Detalles de las propiedades

audio

La configuración de audio, incluyendo formatos de entrada y salida, voz, detección de giros, reducción de ruido y transcripción. Estos valores son valores predeterminados de la sesión; un cliente puede anular los campos soportados al conectarse.

audio?: VoiceAgentAudioConfig

Valor de propiedad

VoiceAgentAudioConfig

avatar

Configuración opcional del avatar. Estos valores son valores predeterminados de la sesión y pueden ser anulados al conectarse.

avatar?: VoiceAgentAvatarConfig

Valor de propiedad

VoiceAgentAvatarConfig

conversation_engine

El motor que gestiona la conversación de este agente de voz. Debe proporcionarse exactamente una de estas propiedades y la configuración respaldada por el modelo (model_type con model). Cuando se proporciona esta propiedad, , , , , y tool_choice deben omitirse, y greeting.tool_choice no pueden ser required, porque el motor posee la lógica de conversación. toolsinstructionsmodelmodel_type La implementación inicial soporta un motor de agente alojado.

conversation_engine?: VoiceConversationEngineUnion

Valor de propiedad

VoiceConversationEngineUnion

greeting

Saludo opcional para iniciar sesión. El modo plantilla dice texto renderizado exacto; el modo generado por LLM pide al modelo de sesión que redacte la respuesta de apertura y puede usar herramientas configuradas.

greeting?: VoiceAgentGreetingConfigUnion

Valor de propiedad

VoiceAgentGreetingConfigUnion

include

Campos adicionales para incluir en las salidas del servicio.

include?: VoiceAgentSessionIncludeOption[]

Valor de propiedad

VoiceAgentSessionIncludeOption[]

instructions

Mensaje del sistema (o desarrollador) insertado en el contexto del modelo. Soporta sustitución de plantillas mediante structured_inputs, renderizado por sesión antes de que comience la sesión en vivo.

instructions?: string

Valor de propiedad

string

interim_response

Ajustes de respuesta intermedia para latencia y ejecución de herramientas.

interim_response?: VoiceAgentInterimResponseConfigUnion

Valor de propiedad

VoiceAgentInterimResponseConfigUnion

kind

El tipo de discriminador para una definición de agente de voz. Siempre voice.

kind: "voice"

Valor de propiedad

"voice"

max_output_tokens

El conteo máximo de tokens de salida para una respuesta.

max_output_tokens?: VoiceAgentMaxOutputTokens

Valor de propiedad

VoiceAgentMaxOutputTokens

model

El modelo a usar para este agente. Requerida con model_type para un agente de voz respaldada por modelo y omitida cuando conversation_engine se proporciona. El modelo debe soportar voz en tiempo real o en cascada.

model?: string

Valor de propiedad

string

model_type

Cómo se sirve al modelo que respalda a este agente de voz. Requerida con model para un agente de voz respaldada por modelo y omitida cuando conversation_engine se proporciona. Esto es independiente de la arquitectura (en tiempo real o en cascada), que el servicio deriva del modelo seleccionado.

model_type?: VoiceModelType

Valor de propiedad

VoiceModelType

output_modalities

Las modalidades de salida que produce el agente. Tiene como valor predeterminado ["audio"]. animation y avatar están disponibles cuando se configura un avatar.

output_modalities?: VoiceOutputModality[]

Valor de propiedad

VoiceOutputModality[]

parallel_tool_calls

Si el modelo puede llamar a múltiples herramientas en paralelo.

parallel_tool_calls?: boolean

Valor de propiedad

boolean

store

Si se mantienen conversaciones con este agente. Un único interruptor de persistencia todo o nada que por defecto se false asigna a (seguro para la privacidad: apagado por defecto). Cuando true, Foundry mantiene toda la conversación — la transcripción/cronología del evento y el audio en bruto. Cuando false, no se mantiene nada y no surge ninguna conversación. No existe un control separado para el registro de audio; el audio solo se mantiene como parte de este cambio. La telemetría de latencia/rendimiento (por ejemplo, tiempo hasta el primer audio, latencia entre tokens, interrupción) es solo observabilidad (rastreo del cliente / App Insights) y no forma parte del contenido de conversación persistente.

store?: boolean

Valor de propiedad

boolean

structured_inputs

Conjunto de entradas estructuradas que participan en la sustitución de plantillas de prompts, renderizadas por sesión antes de que comience la sesión en vivo.

structured_inputs?: Record<string, StructuredInputDefinition>

Valor de propiedad

Record<string, StructuredInputDefinition>

subagent_config

Configuración opcional para agentes de texto hermanos de Foundry que este agente de voz puede consultar como especialistas en segundo plano.

subagent_config?: VoiceAgentSubagentConfig

Valor de propiedad

VoiceAgentSubagentConfig

tools

Las herramientas que puede usar el agente de voz. Los tipos de herramientas soportados son function (ejecutados por el cliente), mcp, system (controles de sesión gestionados por servicios) y toolbox. Las herramientas del lado del servidor como web_search, azure_ai_search, y openapi se proporcionan a través de una caja de herramientas en lugar de declararse directamente.

tools?: VoiceAgentToolUnion[]

Valor de propiedad

VoiceAgentToolUnion[]

tool_choice

Cómo el modelo elige herramientas para las respuestas generadas. none previene llamadas a herramientas, auto deja que el modelo decida, required requiere al menos una llamada a herramienta, y se puede seleccionar una función específica o herramienta MCP con un objeto. Tiene como valor predeterminado auto.

tool_choice?: VoiceAgentToolChoice

Valor de propiedad

VoiceAgentToolChoice

Detalles de las propiedades heredadas

rai_config

Configuración para funciones de seguridad y filtrado de contenido de IA responsable (RAI).

rai_config?: RaiConfig

Valor de propiedad

RaiConfig

Heredado deAgentDefinition.rai_config