Référence de l’API Voice Live 2026-04-10

L’API Voice Live offre une communication bidirectionnelle en temps réel pour les applications vocales utilisant des connexions WebSocket.

L’API utilise des événements au format JSON envoyés via des connexions WebSocket pour gérer les conversations, les flux audio, les interactions avatar et les réponses en temps réel. Les événements sont catégorisés en événements clients (envoyés du client au serveur) et événements serveur (envoyés du serveur au client).

Point de terminaison et authentification

Point de terminaison WebSocket

Le point de terminaison WebSocket pour l’API Voice Live est :

wss://<your-ai-foundry-resource-name>.services.ai.azure.com/voice-live/realtime?api-version=2026-04-10

Pour les ressources plus anciennes qui utilisent le domaine hérité, utilisez :

wss://<your-ai-foundry-resource-name>.cognitiveservices.azure.com/voice-live/realtime?api-version=2026-04-10

Le point de terminaison est le même pour tous les modèles. La seule différence est le paramètre de requête model requis ou, lors de l’utilisation du service Microsoft Foundry Agent, des paramètres de requête agent-name et agent-project-name. Pour plus d’informations sur les paramètres de connexion de l’agent, consultez Ingrate Voice Live API avec un agent Microsoft Foundry.

Par exemple, un point de terminaison pour une ressource Microsoft Foundry qui utilise un modèle serait :

wss://<your-ai-foundry-resource-name>.services.ai.azure.com/voice-live/realtime?api-version=2026-04-10&model=gpt-realtime

Note

L’API Voice Live est optimisée pour les ressources Microsoft Foundry. Microsoft ressources Foundry sont recommandées pour une disponibilité complète des fonctionnalités. Azure AI Speech ressources ne prennent pas en charge Microsoft intégration du service Foundry Agent ou byOM (bring-your-own-model).

Authentification

L’API Voice Live prend en charge deux méthodes d’authentification :

  • Microsoft Entra ID (recommandé) : utilisez l’authentification basée sur des jetons pour une ressource Microsoft Foundry. Transmettez le jeton d’accès récupéré de deux façons :
    • Bearer En tant que jeton dans l’en-tête Authorization sur la connexion de préhandshake. Cette option n’est pas disponible dans un environnement de navigateur.
    • Authorization En tant que paramètre de chaîne de requête sur l’URI de requête, avec la valeur Bearer <token>. Encodez l’URL en fonction des besoins. Les paramètres de chaîne de requête sont chiffrés par le wss:// transport.
  • Clé API : fournissez l’une api-key des deux manières suivantes :
    • En tant qu’en-tête de api-key connexion sur la connexion de préhandshake. Cette option n’est pas disponible dans un environnement de navigateur.
    • En tant que paramètre de chaîne de api-key requête sur l’URI de requête. Les paramètres de chaîne de requête sont chiffrés par le wss:// transport.

Pour l’authentification sans clé recommandée avec Microsoft Entra ID :

  1. Affectez les rôles Cognitive Services User et Azure AI User à votre compte d’utilisateur ou identité managée. Vous pouvez attribuer des rôles dans le Portail Azure sous Contrôle d’accès (IAM)>Ajouter une attribution de rôle.
  2. Acquérir un jeton d’accès à l’aide du Azure CLI ou d’un Kit de développement logiciel (SDK) Azure. Le jeton doit être émis pour l’étendue https://ai.azure.com/.default (ou l’étendue héritée https://cognitiveservices.azure.com/.default ).
  3. Envoyez le jeton sur la demande de mise à niveau WebSocket, soit dans l’en-tête Authorization au format Bearer <token>, soit en tant que Authorization paramètre de chaîne de requête avec la même Bearer <token> valeur.

Événements du client

L’API Voice Live prend en charge les événements clients suivants pouvant être envoyés du client au serveur :

Événement Description
session.update Mettez à jour la configuration de la session incluant la voix, les modalités de sortie, la détection des virages et d’autres réglages
session.avatar.connect Établir une connexion avatar en fournissant le SDP client pour la négociation WebRTC
input_audio_buffer.append Ajouter des octets audio au tampon audio d’entrée
input_audio_buffer.commit Validez le tampon audio d’entrée pour le traitement
input_audio_buffer.clear Effacer le tampon audio d’entrée
conversation.item.create Ajouter un nouvel élément au contexte de la conversation
conversation.item.retrieve Récupérez un objet spécifique de la conversation
conversation.item.truncate Tronquer un message audio d’assistant
conversation.item.delete Retirez un élément de la conversation
response.create Demandez au serveur de créer une réponse via inférence de modèle
response.cancel Annuler une réponse en cours
output_audio_buffer.clear Empêcher l’avatar de parler en désactivant la mémoire tampon audio de sortie côté serveur (mode avatar uniquement)

session.update

Mettez à jour la configuration de la session. Cet événement peut être envoyé à tout moment pour modifier des paramètres tels que la voix, les modalités de sortie, la détection de virage, les outils et d’autres paramètres de session. Notez qu’une fois qu’une session est initialisée avec un modèle particulier, elle ne peut pas être changée vers un autre modèle.

Structure d’événements

{
  "type": "session.update",
  "session": {
    "modalities": ["text", "audio"],
    "voice": {
      "type": "openai",
      "name": "alloy"
    },
    "instructions": "You are a helpful assistant. Be concise and friendly.",
    "input_audio_format": "pcm16",
    "output_audio_format": "pcm16",
    "input_audio_sampling_rate": 24000,
    "turn_detection": {
      "type": "azure_semantic_vad",
      "threshold": 0.5,
      "prefix_padding_ms": 420,
      "silence_duration_ms": 500
    },
    "temperature": 0.8,
    "max_response_output_tokens": "inf"
  }
}

Propriétés

Champ Type Description
type string Doit être "session.update"
session RealtimeRequestSession Objet de configuration de session avec champs à mettre à jour

Exemple avec Azure Custom Voice

{
  "type": "session.update",
  "session": {
    "voice": {
      "type": "azure-custom",
      "name": "my-custom-voice",
      "endpoint_id": "12345678-1234-1234-1234-123456789012",
      "temperature": 0.7,
      "style": "cheerful"
    },
    "input_audio_noise_reduction": {
      "type": "azure_deep_noise_suppression"
    },
    "avatar": {
      "character": "lisa",
      "customized": false,
      "video": {
        "resolution": {
          "width": 1920,
          "height": 1080
        },
        "bitrate": 2000000
      }
    }
  }
}

session.avatar.connect

Établissez une connexion avatar en fournissant l’offre SDP (Session Description Protocol) du client pour la négociation média WebRTC. Cet événement est obligatoire lors de l’utilisation des fonctionnalités d’avatar.

Structure d’événements

{
  "type": "session.avatar.connect",
  "client_sdp": "<client_sdp>"
}

Propriétés

Champ Type Description
type string Doit être "session.avatar.connect"
client_sdp string L’offre SDP du client pour l’établissement de connexion WebRTC, encodée avec base64

input_audio_buffer.append

Ajoutez des octets audio au tampon audio d’entrée.

Structure d’événements

{
  "type": "input_audio_buffer.append",
  "audio": "UklGRiQAAABXQVZFZm10IBAAAAABAAEARKwAAIhYAQACABAAZGF0YQAAAAA="
}

Propriétés

Champ Type Description
type string Doit être "input_audio_buffer.append"
Audio string Données audio encodées en Base64

input_audio_buffer.commit

Commit le tampon audio d’entrée pour le traitement.

Structure d’événements

{
  "type": "input_audio_buffer.commit"
}

Propriétés

Champ Type Description
type string Doit être "input_audio_buffer.commit"

input_audio_buffer.clear

Efface le tampon audio d’entrée.

Structure d’événements

{
  "type": "input_audio_buffer.clear"
}

Propriétés

Champ Type Description
type string Doit être "input_audio_buffer.clear"

conversation.item.créer

Ajoutez un nouvel élément au contexte de la conversation. Cela peut inclure des messages, des appels de fonction et des réponses d’appel de fonction. Les éléments peuvent être insérés à des positions spécifiques dans l’historique de la conversation.

Structure d’événements

{
  "type": "conversation.item.create",
  "previous_item_id": "item_ABC123",
  "item": {
    "id": "item_DEF456",
    "type": "message",
    "role": "user",
    "content": [
      {
        "type": "input_text",
        "text": "Hello, how are you?"
      }
    ]
  }
}

Propriétés

Champ Type Description
type string Doit être "conversation.item.create"
identifiant_élément_précédent string Optionnel. ID de l’élément après lequel insérer cet élément. Si cela n’est pas indiqué, il ajoute à la fin
item RealtimeConversationRequestItem L’élément à ajouter à la conversation

Exemple avec du contenu audio

{
  "type": "conversation.item.create",
  "item": {
    "type": "message",
    "role": "user",
    "content": [
      {
        "type": "input_audio",
        "audio": "UklGRiQAAABXQVZFZm10IBAAAAABAAEARKwAAIhYAQACABAAZGF0YQAAAAA=",
        "transcript": "Hello there"
      }
    ]
  }
}

Exemple avec sortie Appel de fonction

{
  "type": "conversation.item.create",
  "item": {
    "type": "function_call_output",
    "call_id": "call_123",
    "output": "{\"location\": \"San Francisco\", \"temperature\": \"70\"}"
  }
}

Exemple avec la réponse d’approbation du MCP

{
  "type": "conversation.item.create",
  "item": {
    "type": "mcp_approval_response",
    "approval_request_id": "mcp_approval_req_456",
    "approve": true,
  }
}

conversation.item.retrieve

Récupérez un élément spécifique dans l’historique de la conversation. Cela est utile pour inspecter l’audio traité après la suppression du bruit et le VAD.

Structure d’événements

{
  "type": "conversation.item.retrieve",
  "item_id": "item_ABC123"
}

Propriétés

Champ Type Description
type string Doit être "conversation.item.retrieve"
item_id string L’identifiant de l’objet à récupérer

conversation.item.truncate

Tronquez le contenu audio d’un message d’assistant. C’est utile pour arrêter la lecture à un moment précis et synchroniser la compréhension du serveur avec l’état du client.

Structure d’événements

{
  "type": "conversation.item.truncate",
  "item_id": "item_ABC123",
  "content_index": 0,
  "audio_end_ms": 5000
}

Propriétés

Champ Type Description
type string Doit être "conversation.item.truncate"
item_id string L’ID de l’élément message d’assistant à tronquer
content_index entier L’index de la partie contenu à tronquer
audio_end_ms entier La durée jusqu’à laquelle on peut tronquer l’audio, en millisecondes

conversation.item.delete

Supprimez un élément de l’historique de conversation.

Structure d’événements

{
  "type": "conversation.item.delete",
  "item_id": "item_ABC123"
}

Propriétés

Champ Type Description
type string Doit être "conversation.item.delete"
item_id string L’identifiant de l’élément à supprimer

response.create

Demandez au serveur de créer une réponse via l’inférence du modèle. Cet événement peut spécifier une configuration spécifique à la réponse qui supprime les paramètres par défaut de la session.

Structure d’événements

{
  "type": "response.create",
  "response": {
    "modalities": ["text", "audio"],
    "instructions": "Be extra helpful and detailed.",
    "voice": {
      "type": "openai",
      "name": "alloy"
    },
    "output_audio_format": "pcm16",
    "temperature": 0.7,
    "max_response_output_tokens": 1000
  }
}

Propriétés

Champ Type Description
type string Doit être "response.create"
response RealtimeResponseOptions Configuration optionnelle de réponse qui supprime les paramètres par défaut de la session

Exemple avec le choix de l’outil

{
  "type": "response.create",
  "response": {
    "modalities": ["text"],
    "tools": [
      {
        "type": "function",
        "name": "get_current_time",
        "description": "Get the current time",
        "parameters": {
          "type": "object",
          "properties": {}
        }
      }
    ],
    "tool_choice": "get_current_time",
    "temperature": 0.3
  }
}

Exemple avec l’animation

{
  "type": "response.create",
  "response": {
    "modalities": ["audio", "animation"],
    "animation": {
      "model_name": "default",
      "outputs": ["blendshapes", "viseme_id"]
    },
    "voice": {
      "type": "azure-custom",
      "name": "my-expressive-voice",
      "endpoint_id": "12345678-1234-1234-1234-123456789012",
      "style": "excited"
    }
  }
}

Exemple avec un message d’assistant pré-généré

Dans certains cas, vous pourriez vouloir générer une réponse audio pour un texte prédéfini au lieu que le modèle génère la réponse textuelle. Utilisez le pre_generated_assistant_message paramètre dans le response.create message. Vous ne pouvez inclure qu’une seule entrée de texte dans le content champ.

{
  "type": "response.create",
  "response": {
    "pre_generated_assistant_message": {
      "type": "message",
      "role": "assistant",
      "content": [
        {
          "type": "text",
          "text": "repeat what I say"
        }
      ]
    }
  }
}

Lorsque le service reçoit ce message, il génère une réponse audio pour le texte prédéfini. Le message est également ajouté à l’historique contextuel de la conversation.

réponse.annuler

Annulez une réponse en cours. Cela arrête immédiatement la génération de réponses et la sortie audio associée.

Structure d’événements

{
  "type": "response.cancel"
}

Propriétés

Champ Type Description
type string Doit être "response.cancel"

output_audio_buffer.clear

Effacez la mémoire tampon audio de sortie côté serveur. Dans la préversion actuelle, cet événement est uniquement pris en charge en mode avatar et est utilisé pour empêcher l’avatar de parler en désactivant l’audio (et la vidéo d’avatar correspondante) que le serveur a mis en file d’attente pour la lecture. Le serveur répond par un output_audio_buffer.cleared événement.

Structure d’événements

{
  "type": "output_audio_buffer.clear"
}

Propriétés

Champ Type Description
type string Doit être "output_audio_buffer.clear"

input_audio_buffer.append

L’événement client input_audio_buffer.append sert à ajouter des octets audio au tampon audio d’entrée. La mémoire tampon audio est un stockage temporaire dans lequel vous pouvez écrire et que vous pouvez valider ultérieurement.

En mode VAD (Détection d’activité vocale) serveur, le tampon audio est utilisé pour détecter la parole et le serveur décide quand valider le commit. Lorsque le VAD serveur est désactivé, le client peut choisir la quantité d’audio à placer dans chaque événement jusqu’à un maximum de 15 Mio. Par exemple, diffuser de plus petits morceaux depuis le client peut permettre au VAD d’être plus réactif.

Contrairement à la plupart des autres événements client, le serveur n’envoie pas de réponse de confirmation à l’événement client input_audio_buffer.append .

Structure d’événements

{
  "type": "input_audio_buffer.append",
  "audio": "<audio>"
}

Propriétés

Champ Type Description
type string Le type d’événement doit être input_audio_buffer.append.
Audio string Octets audio codés en base64. Cette valeur doit être dans le format spécifié par le input_audio_format champ dans la configuration de la session.

input_audio_buffer.clear

L’événement client input_audio_buffer.clear est utilisé pour effacer les octets audio dans le tampon.

Le serveur répond par un input_audio_buffer.cleared événement.

Structure d’événements

{
  "type": "input_audio_buffer.clear"
}

Propriétés

Champ Type Description
type string Le type d’événement doit être input_audio_buffer.clear.

input_audio_buffer.commit

L’événement client input_audio_buffer.commit est utilisé pour valider le tampon audio d’entrée utilisateur, qui crée un nouvel élément de message utilisateur dans la conversation. L’audio est transcrit s’il input_audio_transcription est configuré pour la session.

En mode VAD serveur, le client n’a pas besoin d’envoyer cet événement, le serveur envoie automatiquement le tampon audio. Sans VAD serveur, le client doit valider le tampon audio pour créer un élément de message utilisateur. Cet événement client génère une erreur si le tampon audio d’entrée est vide.

Valider le tampon audio d’entrée ne crée pas de réponse du modèle.

Le serveur répond par un input_audio_buffer.committed événement.

Structure d’événements

{
  "type": "input_audio_buffer.commit"
}

Propriétés

Champ Type Description
type string Le type d’événement doit être input_audio_buffer.commit.

Événements de serveur

L’API Voice Live envoie les événements serveur suivants pour communiquer le statut, les réponses et les données au client :

Événement Description
error Indique qu’une erreur s’est produite lors du traitement
avertissement Indique qu’un avertissement a eu lieu sans interrompre le déroulement de la conversation
session.created Envoyé lorsqu’une nouvelle session est établie avec succès
session.updated Envoyé lorsque la configuration de la session est mise à jour
session.avatar.connecting Indique que la connexion WebRTC de l’avatar est en cours d’établissement
élément de conversation créé Envoyé lorsqu’un nouvel élément est ajouté à la conversation
conversation.item.retrieved Réponse à la demande conversation.item.retrieve
conversation.item.tronqué Confirme la troncature des items
conversation.item.deleted Confirme la suppression des éléments
conversation.item.input_audio_transcription.completed La transcription audio d’entrée est complète
conversation.item.input_audio_transcription.delta Transcription audio en streaming
conversation.item.input_audio_transcription.failed Transcription audio d’entrée échouée
input_audio_buffer.commit Le tampon audio d’entrée était destiné au traitement
input_audio_buffer.cleared Le tampon audio d’entrée a été effacé
input_audio_buffer.speech_started Voix détectée dans le tampon audio d’entrée (VAD)
input_audio_buffer.speech_stop La parole se terminait dans le tampon audio d’entrée (VAD)
response.created Une nouvelle génération de réponse a commencé
response.done La génération de la réponse est terminée
response.output_item.added Nouvel élément de sortie ajouté à la réponse
response.output_item.done L’élément de sortie est terminé
response.content_part.added Nouvelle partie de contenu ajoutée à l’élément de sortie
response.content_part.done La partie contenu est terminée
response.text.delta Diffusion de contenu textuel depuis le modèle
response.text.done Le contenu textuel est complet
response.audio_transcript.delta Transcription audio en streaming
response.audio_transcript.done La transcription audio est complète
response.audio.delta Diffusion du contenu audio depuis le modèle
response.audio.done Le contenu audio est complet
response.animation_blendshapes.delta Données de blendshapes d’animation en streaming
response.animation_blendshapes.done Les données de blendshapes d’animation sont complètes
response.audio_timestamp.delta Informations sur l’horodatage audio en streaming
response.audio_timestamp.done Les informations sur l’horodatage audio sont complètes
response.animation_viseme.delta Données visèmes d’animation en streaming
response.animation_viseme.done Les données du visème d’animation sont complètes
response.function_call_arguments.delta Arguments d’appel de fonction de streaming
response.function_call_arguments.done Les arguments des appels de fonction sont complets
mcp_list_tools.in_progress La liste des outils MCP est en cours
mcp_list_tools.completed Liste des outils MCP terminée
mcp_list_tools.failed L’inscription des outils MCP a échoué
response.mcp_call_arguments.delta Arguments sur les appels MCP en streaming
response.mcp_call_arguments.done Les arguments d’appel MCP sont complets
response.mcp_call.in_progress L’appel au MCP est en cours
response.mcp_call.completed Appel MCP terminé
response.mcp_call.failed L’appel MCP a échoué
response.foundry_agent_call_arguments.delta Arguments d’un agent de la fonderie de streaming
response.foundry_agent_call_arguments.done Les arguments d’appel d’agents de fonderie sont complets
response.foundry_agent_call.in_progress Un appel d’agent de fonderie est en cours
response.foundry_agent_call.completed L’appel de l’agent de fonderie est terminé
response.foundry_agent_call.failed L’appel de l’agent de la fonderie a échoué
session.avatar.switch_to_speaking Avatar passé à l’état de parole
session.avatar.switch_to_idle Avatar passé à l’état inactif
response.video.delta Diffusion en continu des données de trame vidéo d’avatar
response.web_search_call.searching L’appel de l’outil de recherche web effectue une recherche
response.web_search_call.in_progress L’appel de l’outil de recherche web est en cours
response.web_search_call.completed Appel de l’outil de recherche web terminé
response.file_search_call.searching L’appel de l’outil de recherche de fichiers effectue une recherche
response.file_search_call.in_progress L’appel de l’outil de recherche de fichiers est en cours
response.file_search_call.completed Appel de l’outil de recherche de fichiers terminé
output_audio_buffer.cleared La mémoire tampon audio de sortie a été effacée
response.audio_transcript.annotation.added Une annotation a été ajoutée à une transcription audio

session.created

Envoyé lorsqu’une nouvelle session est établie avec succès. C’est le premier événement reçu après la connexion à l’API.

Structure d’événements

{
  "type": "session.created",
  "session": {
    "id": "sess_ABC123DEF456",
    "object": "realtime.session",
    "model": "gpt-realtime",
    "modalities": ["text", "audio"],
    "instructions": "You are a helpful assistant.",
    "voice": {
      "type": "openai",
      "name": "alloy"
    },
    "input_audio_format": "pcm16",
    "output_audio_format": "pcm16",
    "input_audio_sampling_rate": 24000,
    "turn_detection": {
      "type": "azure_semantic_vad",
      "threshold": 0.5,
      "prefix_padding_ms": 420,
      "silence_duration_ms": 500
    },
    "temperature": 0.8,
    "max_response_output_tokens": "inf"
  }
}

Propriétés

Champ Type Description
type string Doit être "session.created"
session RealtimeResponseSession L’objet de session créé

session.updated

Envoyé lorsque la configuration de la session est mise à jour avec succès en réponse à un session.update événement client.

Structure d’événements

{
  "type": "session.updated",
  "session": {
    "id": "sess_ABC123DEF456",
    "voice": {
      "type": "azure-custom",
      "name": "my-voice",
      "endpoint_id": "12345678-1234-1234-1234-123456789012"
    },
    "temperature": 0.7,
    "avatar": {
      "character": "lisa",
      "customized": false
    }
  }
}

Propriétés

Champ Type Description
type string Doit être "session.updated"
session RealtimeResponseSession L’objet de session mis à jour

session.avatar.connecting

Indique qu’une connexion WebRTC avatar est en cours d’établissement. Cet événement est envoyé en réponse à un session.avatar.connect événement client.

Structure d’événements

{
  "type": "session.avatar.connecting",
  "server_sdp": "<server_sdp>"
}

Propriétés

Champ Type Description
type string Doit être "session.avatar.connecting"

élément de conversation créé

Envoyé lorsqu’un nouvel élément est ajouté à la conversation, soit via un événement client, conversation.item.create soit automatiquement lors de la génération de la réponse.

Structure d’événements

{
  "type": "conversation.item.created",
  "previous_item_id": "item_ABC123",
  "item": {
    "id": "item_DEF456",
    "object": "realtime.item",
    "type": "message",
    "status": "completed",
    "role": "user",
    "content": [
      {
        "type": "input_text",
        "text": "Hello, how are you?"
      }
    ]
  }
}

Propriétés

Champ Type Description
type string Doit être "conversation.item.created"
identifiant_élément_précédent string ID de l’élément après lequel cet élément a été inséré
item RealtimeConversationResponseItem L’élément de conversation créé

Exemple avec un objet audio

{
  "type": "conversation.item.created",
  "item": {
    "id": "item_GHI789",
    "type": "message",
    "status": "completed",
    "role": "user",
    "content": [
      {
        "type": "input_audio",
        "audio": null,
        "transcript": "What's the weather like today?"
      }
    ]
  }
}

conversation.item.retrieved

Envoyé en réponse à un conversation.item.retrieve événement client, en fournissant l’élément de conversation demandé.

Structure d’événements

{
  "type": "conversation.item.retrieved",
  "item": {
    "id": "item_ABC123",
    "object": "realtime.item",
    "type": "message",
    "status": "completed",
    "role": "assistant",
    "content": [
      {
        "type": "audio",
        "audio": "UklGRiQAAABXQVZFZm10IBAAAAABAAEARKwAAIhYAQACABAAZGF0YQAAAAA=",
        "transcript": "Hello! I'm doing well, thank you for asking. How can I help you today?"
      }
    ]
  }
}

Propriétés

Champ Type Description
type string Doit être "conversation.item.retrieved"
item RealtimeConversationResponseItem L’élément de conversation récupéré

conversation.élément.tronqué

L’événement serveur conversation.item.truncated est retourné lorsque le client tronque un message audio d’assistant précédent avec un conversation.item.truncate événement. Cet événement sert à synchroniser la compréhension audio par le serveur avec la lecture du client.

Cet événement tronque l’audio et supprime la transcription du texte côté serveur pour s’assurer qu’il n’y a pas de texte dans le contexte dont l’utilisateur n’a pas connaissance.

Structure d’événements

{
  "type": "conversation.item.truncated",
  "item_id": "<item_id>",
  "content_index": 0,
  "audio_end_ms": 0
}

Propriétés

Champ Type Description
type string Le type d’événement doit être conversation.item.truncated.
item_id string L’identifiant de l’élément de message de l’assistant qui a été tronqué.
content_index entier L’index de la partie contenu tronquée.
audio_end_ms entier La durée jusqu’à laquelle l’audio a été tronqué, en millisecondes.

élément de conversation supprimé

Envoyé en réponse à un conversation.item.delete événement client, confirmant que l’élément spécifié a été retiré de la conversation.

Structure d’événements

{
  "type": "conversation.item.deleted",
  "item_id": "item_ABC123"
}

Propriétés

Champ Type Description
type string Doit être "conversation.item.deleted"
item_id string ID de l’élément supprimé

réponse.créée

Envoyé lorsqu’une nouvelle génération de réponse commence. C’est le premier événement d’une séquence de réponse.

Structure d’événements

{
  "type": "response.created",
  "response": {
    "id": "resp_ABC123",
    "object": "realtime.response",
    "status": "in_progress",
    "status_details": null,
    "output": [],
    "usage": {
      "total_tokens": 0,
      "input_tokens": 0,
      "output_tokens": 0
    }
  }
}

Propriétés

Champ Type Description
type string Doit être "response.created"
response RealtimeResponse L’objet réponse qui a été créé

response.done

Envoyée lorsque la génération de réponse est terminée. Cet événement contient la réponse finale avec tous les éléments de sortie et les statistiques d’utilisation.

Structure d’événements

{
  "type": "response.done",
  "response": {
    "id": "resp_ABC123",
    "object": "realtime.response",
    "status": "completed",
    "status_details": null,
    "output": [
      {
        "id": "item_DEF456",
        "object": "realtime.item",
        "type": "message",
        "status": "completed",
        "role": "assistant",
        "content": [
          {
            "type": "text",
            "text": "Hello! I'm doing well, thank you for asking. How can I help you today?"
          }
        ]
      }
    ],
    "usage": {
      "total_tokens": 87,
      "input_tokens": 52,
      "output_tokens": 35,
      "input_token_details": {
        "cached_tokens": 0,
        "text_tokens": 45,
        "audio_tokens": 7
      },
      "output_token_details": {
        "text_tokens": 15,
        "audio_tokens": 20
      }
    }
  }
}

Propriétés

Champ Type Description
type string Doit être "response.done"
response RealtimeResponse L’objet réponse complété

réponse.output_item.ajouté

Envoyé lorsqu’un nouvel élément de sortie est ajouté à la réponse pendant la génération.

Structure d’événements

{
  "type": "response.output_item.added",
  "response_id": "resp_ABC123",
  "output_index": 0,
  "item": {
    "id": "item_DEF456",
    "object": "realtime.item",
    "type": "message",
    "status": "in_progress",
    "role": "assistant",
    "content": []
  }
}

Propriétés

Champ Type Description
type string Doit être "response.output_item.added"
response_id string L’identifiant de la réponse à laquelle cet élément appartient
output_index entier Index de l’élément dans le tableau de sortie de la réponse
item RealtimeConversationResponseItem L’élément de sortie ajouté

response.output_item.done

Envoyé lorsqu’un élément de sortie est terminé.

Structure d’événements

{
  "type": "response.output_item.done",
  "response_id": "resp_ABC123",
  "output_index": 0,
  "item": {
    "id": "item_DEF456",
    "object": "realtime.item",
    "type": "message",
    "status": "completed",
    "role": "assistant",
    "content": [
      {
        "type": "text",
        "text": "Hello! I'm doing well, thank you for asking."
      }
    ]
  }
}

Propriétés

Champ Type Description
type string Doit être "response.output_item.done"
response_id string L’identifiant de la réponse à laquelle cet élément appartient
output_index entier Index de l’élément dans le tableau de sortie de la réponse
item RealtimeConversationResponseItem L’élément de sortie terminé

réponse.partie_contenu.ajoutée

L’événement serveur response.content_part.added est retourné lorsqu’une nouvelle partie de contenu est ajoutée à un élément de message d’assistant lors de la génération de la réponse.

Structure d’événements

{
  "type": "response.content_part.added",
  "response_id": "resp_ABC123",
  "item_id": "item_DEF456",
  "output_index": 0,
  "content_index": 0,
  "part": {
    "type": "text",
    "text": ""
  }
}

Propriétés

Champ Type Description
type string Doit être "response.content_part.added"
response_id string ID de la réponse
item_id string ID de l’élément auquel cette partie de contenu appartient
output_index entier Index de l’élément dans la réponse
content_index entier Index de cette partie de contenu dans l’élément
part RealtimeContentPart La partie contenu ajoutée

response.content_part.done

L’événement serveur response.content_part.done est retourné lorsqu’une partie de contenu est terminée de diffuser un message d’assistant.

Cet événement est également retourné lorsqu’une réponse est interrompue, incomplète ou annulée.

Structure d’événements

{
  "type": "response.content_part.done",
  "response_id": "resp_ABC123",
  "item_id": "item_DEF456",
  "output_index": 0,
  "content_index": 0,
  "part": {
    "type": "text",
    "text": "Hello! I'm doing well, thank you for asking."
  }
}

Propriétés

Champ Type Description
type string Doit être "response.content_part.done"
response_id string ID de la réponse
item_id string ID de l’élément auquel cette partie de contenu appartient
output_index entier Index de l’élément dans la réponse
content_index entier Index de cette partie de contenu dans l’élément
part RealtimeContentPart La partie sur le contenu terminé

response.text.delta

Diffusion de contenu textuel depuis le modèle. Envoyé de manière incrémentale au fur et à mesure que le modèle génère du texte.

Structure d’événements

{
  "type": "response.text.delta",
  "response_id": "resp_ABC123",
  "item_id": "item_DEF456",
  "output_index": 0,
  "content_index": 0,
  "delta": "Hello! I'm"
}

Propriétés

Champ Type Description
type string Doit être "response.text.delta"
response_id string ID de la réponse
item_id string Identification de l’objet
output_index entier Index de l’élément dans la réponse
content_index entier Index de la partie contenu
delta string Contenu textuel incrémental

response.text.done

Envoyé lorsque la génération de contenu texte est terminée.

Structure d’événements

{
  "type": "response.text.done",
  "response_id": "resp_ABC123",
  "item_id": "item_DEF456",
  "output_index": 0,
  "content_index": 0,
  "text": "Hello! I'm doing well, thank you for asking. How can I help you today?"
}

Propriétés

Champ Type Description
type string Doit être "response.text.done"
response_id string ID de la réponse
item_id string Identification de l’objet
output_index entier Index de l’élément dans la réponse
content_index entier Index de la partie contenu
text string Le texte complet

response.audio.delta

Diffusion du contenu audio depuis le modèle. L’audio est fourni sous forme de données codées en base64.

Structure d’événements

{
  "type": "response.audio.delta",
  "response_id": "resp_ABC123",
  "item_id": "item_DEF456",
  "output_index": 0,
  "content_index": 0,
  "delta": "UklGRiQAAABXQVZFZm10IBAAAAABAAEARKwAAIhYAQACABAAZGF0YQAAAAA="
}

Propriétés

Champ Type Description
type string Doit être "response.audio.delta"
response_id string ID de la réponse
item_id string Identification de l’objet
output_index entier Index de l’élément dans la réponse
content_index entier Index de la partie contenu
delta string Bloc de données audio encodé en Base64

response.audio.done

Envoyé lorsque la génération de contenu audio est terminée.

Structure d’événements

{
  "type": "response.audio.done",
  "response_id": "resp_ABC123",
  "item_id": "item_DEF456",
  "output_index": 0,
  "content_index": 0
}

Propriétés

Champ Type Description
type string Doit être "response.audio.done"
response_id string ID de la réponse
item_id string Identification de l’objet
output_index entier Index de l’élément dans la réponse
content_index entier Index de la partie contenu

response.audio_transcript.delta

Transcription en streaming du contenu audio généré.

Structure d’événements

{
  "type": "response.audio_transcript.delta",
  "response_id": "resp_ABC123",
  "item_id": "item_DEF456",
  "output_index": 0,
  "content_index": 0,
  "delta": "Hello! I'm doing"
}

Propriétés

Champ Type Description
type string Doit être "response.audio_transcript.delta"
response_id string ID de la réponse
item_id string Identification de l’objet
output_index entier Index de l’élément dans la réponse
content_index entier Index de la partie contenu
delta string Texte de transcription incrémentale

response.audio_transcript.done

Envoyé lorsque la génération de la transcription audio est terminée.

Structure d’événements

{
  "type": "response.audio_transcript.done",
  "response_id": "resp_ABC123",
  "item_id": "item_DEF456",
  "output_index": 0,
  "content_index": 0,
  "transcript": "Hello! I'm doing well, thank you for asking. How can I help you today?"
}

Propriétés

Champ Type Description
type string Doit être "response.audio_transcript.done"
response_id string ID de la réponse
item_id string Identification de l’objet
output_index entier Index de l’élément dans la réponse
content_index entier Index de la partie contenu
Transcription string Le texte complet de la transcription

conversation.élément.transcription_audio_insertion.terminée

L’événement serveur conversation.item.input_audio_transcription.completed est le résultat de la transcription audio de la voix écrite dans le tampon audio.

La transcription commence lorsque le tampon audio d’entrée est engagé par le client ou le serveur (en server_vad mode). La transcription s’exécute de manière asynchrone avec la création de réponses, donc cet événement peut survenir avant ou après les événements de réponse.

Les modèles d’API en temps réel acceptent l’audio en mode natif, et par conséquent, la transcription d’entrée est un processus distinct exécuté sur un modèle de reconnaissance vocale distinct tel que whisper-1. Ainsi, la transcription peut s’écarter quelque peu de l’interprétation du modèle et doit être considérée comme un guide approximatif.

Structure d’événements

{
  "type": "conversation.item.input_audio_transcription.completed",
  "item_id": "<item_id>",
  "content_index": 0,
  "transcript": "<transcript>"
}

Propriétés

Champ Type Description
type string Le type d’événement doit être conversation.item.input_audio_transcription.completed.
item_id string L’identifiant de l’élément de message utilisateur contenant l’audio.
content_index entier L’index de la partie contenu contenant l’audio.
Transcription string Le texte transcrit.
logprobs tableau de LogProbProperties Optionnel. Les probabilités logarithiques des jetons de transcription.
expressions tableau de TranscriptionPhrase Optionnel. Les phrases de transcription avec les informations de synchronisation.

conversation.element.transcription_audio_entrée.delta

L’événement serveur conversation.item.input_audio_transcription.delta est renvoyé lorsque la transcription audio d’entrée est configurée, et qu’une requête de transcription pour un message utilisateur est en cours. Cet événement fournit des résultats partiels de transcription au fur et à mesure qu’ils deviennent disponibles.

Structure d’événements

{
  "type": "conversation.item.input_audio_transcription.delta",
  "item_id": "<item_id>",
  "content_index": 0,
  "delta": "<delta>"
}

Propriétés

Champ Type Description
type string Le type d’événement doit être conversation.item.input_audio_transcription.delta.
item_id string L’identifiant de l’élément du message utilisateur.
content_index entier L’index de la partie contenu contenant l’audio.
delta string Le texte de transcription incrémentale.

transcription_audio_de_l_entrée_conversation.échouée

L’événement serveur conversation.item.input_audio_transcription.failed est retourné lorsque la transcription audio d’entrée est configurée, et qu’une requête de transcription pour un message utilisateur a échoué. Cet événement est distinct des autres error afin que le client puisse identifier l’élément lié.

Structure d’événements

{
  "type": "conversation.item.input_audio_transcription.failed",
  "item_id": "<item_id>",
  "content_index": 0,
  "error": {
    "code": "<code>",
    "message": "<message>",
    "param": "<param>"
  }
}

Propriétés

Champ Type Description
type string Le type d’événement doit être conversation.item.input_audio_transcription.failed.
item_id string L’identifiant de l’élément du message utilisateur.
content_index entier L’index de la partie contenu contenant l’audio.
erreur Objet Détails de l’erreur de transcription.

Voir les propriétés imbriquées dans le tableau suivant.

Propriétés d’erreur

Champ Type Description
type string Le type d’erreur.
code string Code d’erreur, s’il y en a.
message string Un message d’erreur lisible par l’humain.
param string Paramètre lié à l’erreur, s’il y en a.

response.animation_blendshapes.delta

L’événement serveur response.animation_blendshapes.delta est retourné lorsque le modèle génère des données d’animation blendshapes dans le cadre d’une réponse. Cet événement fournit des données incrémentales sur les blendshapes dès qu’elles deviennent disponibles.

Structure d’événements

{
  "type": "response.animation_blendshapes.delta",
  "response_id": "resp_ABC123",
  "item_id": "item_DEF456",
  "output_index": 0,
  "content_index": 0,
  "frame_index": 0,
  "frames": [
    [0.0, 0.1, 0.2, ..., 1.0]
    ...
  ]
}

Propriétés

Champ Type Description
type string Le type d’événement doit être response.animation_blendshapes.delta.
response_id string ID de la réponse
item_id string Identification de l’objet
output_index entier Index de l’élément dans la réponse
content_index entier Index de la partie contenu
frame_index entier Index de la première trame de ce lot de trames
Trames Tableau du tableau de flotteurs Tableau de cadres blendshape, chaque frame est un tableau de valeurs blendshape

response.animation_blendshapes.done

L’événement serveur response.animation_blendshapes.done est retourné lorsque le modèle a terminé de générer des données d’animation blendshapes dans le cadre d’une réponse.

Structure d’événements

{
  "type": "response.animation_blendshapes.done",
  "response_id": "resp_ABC123",
  "item_id": "item_DEF456",
  "output_index": 0,
}

Propriétés

Champ Type Description
type string Le type d’événement doit être response.animation_blendshapes.done.
response_id string ID de la réponse
item_id string Identification de l’objet
output_index entier Index de l’élément dans la réponse

response.audio_timestamp.delta

L’événement serveur response.audio_timestamp.delta est retourné lorsque le modèle génère des données d’horodatage audio dans le cadre d’une réponse. Cet événement fournit des données temporelles incrémentales pour l’alignement audio et texte de sortie dès qu’il devient disponible.

Structure d’événements

{
  "type": "response.audio_timestamp.delta",
  "response_id": "resp_ABC123",
  "item_id": "item_DEF456",
  "output_index": 0,
  "content_index": 0,
  "audio_offset_ms": 0,
  "audio_duration_ms": 500,
  "text": "Hello",
  "timestamp_type": "word"
}

Propriétés

Champ Type Description
type string Le type d’événement doit être response.audio_timestamp.delta.
response_id string ID de la réponse
item_id string Identification de l’objet
output_index entier Index de l’élément dans la réponse
content_index entier Index de la partie contenu
audio_offset_ms entier Décalage audio en millisecondes à partir du début de l’audio
audio_duration_ms entier Durée du segment audio en millisecondes
text string Le segment de texte correspondant à cet horodatage audio
timestamp_type string Le type d’horodatage, actuellement seul « mot » est pris en charge

response.audio_timestamp.done

Envoyé lorsque la génération de l’horodatage audio est terminée.

Structure d’événements

{
  "type": "response.audio_timestamp.done",
  "response_id": "resp_ABC123",
  "item_id": "item_DEF456",
  "output_index": 0,
  "content_index": 0
}

Propriétés

Champ Type Description
type string Le type d’événement doit être response.audio_timestamp.done.
response_id string ID de la réponse
item_id string Identification de l’objet
output_index entier Index de l’élément dans la réponse
content_index entier Index de la partie contenu

response.animation_viseme.delta

L’événement serveur response.animation_viseme.delta est retourné lorsque le modèle génère des données visières d’animation dans le cadre d’une réponse. Cet événement fournit des données incrémentales du visème au fur et à mesure qu’elles deviennent disponibles.

Structure d’événements

{
  "type": "response.animation_viseme.delta",
  "response_id": "resp_ABC123",
  "item_id": "item_DEF456",
  "output_index": 0,
  "content_index": 0,
  "audio_offset_ms": 0,
  "viseme_id": 1
}

Propriétés

Champ Type Description
type string Le type d’événement doit être response.animation_viseme.delta.
response_id string ID de la réponse
item_id string Identification de l’objet
output_index entier Index de l’élément dans la réponse
content_index entier Index de la partie contenu
audio_offset_ms entier Décalage audio en millisecondes à partir du début de l’audio
viseme_id entier L’ID du visème correspondant à la forme de la bouche pour l’animation

response.animation_viseme.done

L’événement serveur response.animation_viseme.done est retourné lorsque le modèle a terminé de générer des données visèmes d’animation dans le cadre d’une réponse.

Structure d’événements

{
  "type": "response.animation_viseme.done",
  "response_id": "resp_ABC123",
  "item_id": "item_DEF456",
  "output_index": 0,
  "content_index": 0
}

Propriétés

Champ Type Description
type string Le type d’événement doit être response.animation_viseme.done.
response_id string ID de la réponse
item_id string Identification de l’objet
output_index entier Index de l’élément dans la réponse
content_index entier Index de la partie contenu

erreur

L’événement serveur error est retourné lorsqu’une erreur survient, qui peut être un problème client ou un problème serveur. La plupart des erreurs sont réparables et la session reste ouverte.

Structure d’événements

{
  "type": "error",
  "error": {
    "code": "<code>",
    "message": "<message>",
    "param": "<param>",
    "event_id": "<event_id>"
  }
}

Propriétés

Champ Type Description
type string Le type d’événement doit être error.
erreur Objet Détails de l’erreur.

Voir les propriétés imbriquées dans le tableau suivant.

Propriétés d’erreur

Champ Type Description
type string Le type d’erreur. Par exemple, « invalid_request_error » et « server_error » sont des types d’erreurs.
code string Code d’erreur, s’il y en a.
message string Un message d’erreur lisible par l’humain.
param string Paramètre lié à l’erreur, s’il y en a.
event_id string L’identifiant de l’événement client qui a causé l’erreur, le cas échéant.

avertissement

L’événement serveur warning est renvoyé lorsqu’un avertissement survient sans interruption du flux de conversation. Les avertissements sont informatifs et la séance se poursuit normalement.

Structure d’événements

{
  "type": "warning",
  "warning": {
    "code": "<code>",
    "message": "<message>",
    "param": "<param>"
  }
}

Propriétés

Champ Type Description
type string Le type d’événement doit être warning.
avertissement Objet Détails de l’avertissement. Voir les propriétés imbriquées dans le tableau suivant.

Propriétés d’avertissement

Champ Type Description
message string Un message d’avertissement lisible par un humain.
code string Optionnel. Code d’avertissement, s’il y en a un.
param string Optionnel. Paramètre lié à l’avertissement, s’il y en a.

tampon_audio_entrée.effacé

L’événement serveur input_audio_buffer.cleared est retourné lorsque le client efface le tampon audio d’entrée avec un input_audio_buffer.clear événement.

Structure d’événements

{
  "type": "input_audio_buffer.cleared"
}

Propriétés

Champ Type Description
type string Le type d’événement doit être input_audio_buffer.cleared.

input_audio_buffer.engagé

L’événement serveur input_audio_buffer.committed est retourné lorsqu’un tampon audio d’entrée est confirmé, soit par le client, soit automatiquement en mode VAD serveur. La item_id propriété correspond à l’ID de l’élément du message utilisateur créé. Ainsi, un conversation.item.created événement est également envoyé au client.

Structure d’événements

{
  "type": "input_audio_buffer.committed",
  "previous_item_id": "<previous_item_id>",
  "item_id": "<item_id>"
}

Propriétés

Champ Type Description
type string Le type d’événement doit être input_audio_buffer.committed.
identifiant_élément_précédent string L’identifiant de l’élément précédent après quoi le nouvel élément est inséré.
item_id string L’ID de l’élément du message utilisateur créé.

input_audio_buffer.début_du_discours

L’événement serveur input_audio_buffer.speech_started est renvoyé en server_vad mode lorsque la voix est détectée dans le tampon audio. Cet événement peut se produire à chaque fois que de l’audio est ajouté au tampon (sauf si la voix est déjà détectée).

Note

Le client peut vouloir utiliser cet événement pour interrompre la lecture audio ou fournir un retour visuel à l’utilisateur.

Le client doit s’attendre à recevoir un input_audio_buffer.speech_stopped événement lorsque la parole cesse. La item_id propriété est l’ID de l’élément du message utilisateur créé lorsque la parole s’arrête. Il item_id est également inclus dans l’événement input_audio_buffer.speech_stopped sauf si le client commet manuellement le tampon audio lors de l’activation du VAD.

Structure d’événements

{
  "type": "input_audio_buffer.speech_started",
  "audio_start_ms": 0,
  "item_id": "<item_id>"
}

Propriétés

Champ Type Description
type string Le type d’événement doit être input_audio_buffer.speech_started.
audio_start_ms entier Millisecondes à partir du début de tout l’audio écrit dans le tampon pendant la session, lorsque la parole a été détectée pour la première fois. Cette propriété correspond au début de l’audio envoyé au modèle, et inclut donc la prefix_padding_ms configuration dans la session.
item_id string L’identifiant de l’élément du message utilisateur créé lorsque la parole s’arrête.

input_audio_buffer.speech_arrêtée

L’événement serveur input_audio_buffer.speech_stopped est retourné en server_vad mode lorsque le serveur détecte la fin de la parole dans le tampon audio.

Le serveur envoie également un conversation.item.created événement avec l’élément de message utilisateur créé à partir du tampon audio.

Structure d’événements

{
  "type": "input_audio_buffer.speech_stopped",
  "audio_end_ms": 0,
  "item_id": "<item_id>"
}

Propriétés

Champ Type Description
type string Le type d’événement doit être input_audio_buffer.speech_stopped.
audio_end_ms entier Des millisecondes depuis le début de la séance quand la parole s’est arrêtée. Cette propriété correspond à la fin de l’audio envoyé au modèle, et inclut donc la min_silence_duration_ms configuration dans la session.
item_id string L’ID de l’élément du message utilisateur créé.

limites_de_débit.mises_à_jour

L’événement serveur rate_limits.updated est émis au début d’une réponse pour indiquer les limites de débit mises à jour.

Lorsqu’une réponse est créée, certains jetons sont réservés aux jetons de sortie. Les limites de taux indiquées ici reflètent cette réserve, qui est ensuite ajustée en conséquence une fois la réponse terminée.

Structure d’événements

{
  "type": "rate_limits.updated",
  "rate_limits": [
    {
      "name": "<name>",
      "limit": 0,
      "remaining": 0,
      "reset_seconds": 0
    }
  ]
}

Propriétés

Champ Type Description
type string Le type d’événement doit être rate_limits.updated.
limitations de taux tableau des LimitesVitessesÉléments RealtimeVariable La liste des informations sur les limites de taux.

response.audio.delta

L’événement serveur response.audio.delta est renvoyé lorsque l’audio généré par le modèle est mis à jour.

Structure d’événements

{
  "type": "response.audio.delta",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "content_index": 0,
  "delta": "<delta>"
}

Propriétés

Champ Type Description
type string Le type d’événement doit être response.audio.delta.
response_id string L’identification de la réponse.
item_id string ID de l’élément.
output_index entier L’indice de l’élément de sortie dans la réponse.
content_index entier L’index de la partie contenu dans la liste de contenu de l’élément.
delta string Delta de données audio codées en Base64.

response.audio.done

L’événement serveur response.audio.done est retourné lorsque l’audio généré par le modèle est terminé.

Cet événement est également retourné lorsqu’une réponse est interrompue, incomplète ou annulée.

Structure d’événements

{
  "type": "response.audio.done",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "content_index": 0
}

Propriétés

Champ Type Description
type string Le type d’événement doit être response.audio.done.
response_id string L’identification de la réponse.
item_id string ID de l’élément.
output_index entier L’indice de l’élément de sortie dans la réponse.
content_index entier L’index de la partie contenu dans la liste de contenu de l’élément.

response.audio_transcript.delta

L’événement serveur response.audio_transcript.delta est retourné lorsque la transcription générée par modèle de la sortie audio est mise à jour.

Structure d’événements

{
  "type": "response.audio_transcript.delta",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "content_index": 0,
  "delta": "<delta>"
}

Propriétés

Champ Type Description
type string Le type d’événement doit être response.audio_transcript.delta.
response_id string L’identification de la réponse.
item_id string ID de l’élément.
output_index entier L’indice de l’élément de sortie dans la réponse.
content_index entier L’index de la partie contenu dans la liste de contenu de l’élément.
delta string La transcription est différente.

response.audio_transcript.done

L’événement serveur response.audio_transcript.done est retourné lorsque la transcription générée par le modèle de la sortie audio est terminée en streaming.

Cet événement est également retourné lorsqu’une réponse est interrompue, incomplète ou annulée.

Structure d’événements

{
  "type": "response.audio_transcript.done",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "content_index": 0,
  "transcript": "<transcript>"
}

Propriétés

Champ Type Description
type string Le type d’événement doit être response.audio_transcript.done.
response_id string L’identification de la réponse.
item_id string ID de l’élément.
output_index entier L’indice de l’élément de sortie dans la réponse.
content_index entier L’index de la partie contenu dans la liste de contenu de l’élément.
Transcription string La transcription finale de l’audio.

response.function_call_arguments.delta

L’événement serveur response.function_call_arguments.delta est retourné lorsque les arguments d’appel de fonction générés par le modèle sont mis à jour.

Structure d’événements

{
  "type": "response.function_call_arguments.delta",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "call_id": "<call_id>",
  "delta": "<delta>"
}

Propriétés

Champ Type Description
type string Le type d’événement doit être response.function_call_arguments.delta.
response_id string L’identification de la réponse.
item_id string L’ID de l’élément de l’appel de fonction.
output_index entier L’indice de l’élément de sortie dans la réponse.
call_id string L’ID de l’appel de fonction.
delta string Les arguments sont une chaîne JSON.

response.function_call_arguments.done

L’événement serveur response.function_call_arguments.done est retourné lorsque les arguments d’appel de fonction générés par le modèle ont terminé d’être diffusés.

Cet événement est également retourné lorsqu’une réponse est interrompue, incomplète ou annulée.

Structure d’événements

{
  "type": "response.function_call_arguments.done",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "call_id": "<call_id>",
  "arguments": "<arguments>"
}

Propriétés

Champ Type Description
type string Le type d’événement doit être response.function_call_arguments.done.
response_id string L’identification de la réponse.
item_id string L’ID de l’élément de l’appel de fonction.
output_index entier L’indice de l’élément de sortie dans la réponse.
call_id string L’ID de l’appel de fonction.
Arguments string Les arguments finaux sous forme de chaîne JSON.

mcp_list_tools.in_progress

L’événement serveur mcp_list_tools.in_progress est renvoyé lorsque le service commence à lister les outils disponibles d’un serveur MCP.

Structure d’événements

{
  "type": "mcp_list_tools.in_progress",
  "item_id": "<mcp_list_tools_item_id>"
}

Propriétés

Champ Type Description
type string Le type d’événement doit être mcp_list_tools.in_progress.
item_id string L’ID de l’élément des outils de liste MCP en cours de traitement.

mcp_list_tools.completed

L’événement serveur mcp_list_tools.completed est renvoyé lorsque le service termine de lister les outils disponibles depuis un serveur MCP.

Structure d’événements

{
  "type": "mcp_list_tools.completed",
  "item_id": "<mcp_list_tools_item_id>"
}
Propriétés
Champ Type Description
type string Le type d’événement doit être mcp_list_tools.completed.
item_id string L’ID de l’élément des outils de liste MCP en cours de traitement.

mcp_list_tools.échoué

L’événement serveur mcp_list_tools.failed est retourné lorsque le service ne répertorie pas les outils disponibles d’un serveur MCP.

Structure d’événements

{
  "type": "mcp_list_tools.failed",
  "item_id": "<mcp_list_tools_item_id>"
}
Propriétés
Champ Type Description
type string Le type d’événement doit être mcp_list_tools.failed.
item_id string L’ID de l’élément des outils de liste MCP en cours de traitement.

response.mcp_call_arguments.delta

L’événement serveur response.mcp_call_arguments.delta est retourné lorsque les arguments d’appel de l’outil MCP générés par le modèle sont mis à jour.

Structure d’événements

{
  "type": "response.mcp_call_arguments.delta",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "delta": "<delta>"
}

Propriétés

Champ Type Description
type string Le type d’événement doit être response.mcp_call_arguments.delta.
response_id string L’identification de la réponse.
item_id string L’ID de l’élément d’appel de l’outil MCP.
output_index entier L’indice de l’élément de sortie dans la réponse.
delta string Les arguments sont une chaîne JSON.

response.mcp_call_arguments.done

L’événement serveur response.mcp_call_arguments.done est retourné lorsque les arguments d’appel de l’outil MCP générés par le modèle ont terminé leur diffusion.

Structure d’événements

{
  "type": "response.mcp_call_arguments.done",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "arguments": "<arguments>"
}

Propriétés

Champ Type Description
type string Le type d’événement doit être response.mcp_call_arguments.done.
response_id string L’identification de la réponse.
item_id string L’ID de l’élément d’appel de l’outil MCP.
output_index entier L’indice de l’élément de sortie dans la réponse.
Arguments string Les arguments finaux sous forme de chaîne JSON.

response.mcp_call.in_progress

L’événement serveur response.mcp_call.in_progress est renvoyé lorsqu’un appel d’outil MCP commence à être traité.

Structure d’événements

{
  "type": "response.mcp_call.in_progress",
  "item_id": "<item_id>",
  "output_index": 0
}

Propriétés

Champ Type Description
type string Le type d’événement doit être response.mcp_call.in_progress.
item_id string L’ID de l’élément d’appel de l’outil MCP.
output_index entier L’indice de l’élément de sortie dans la réponse.

réponse.appel_mcp.terminé

L’événement de serveur response.mcp_call.completed est retourné lorsqu’un appel d’outil MCP se termine correctement.

Structure d’événements

{
  "type": "response.mcp_call.completed",
  "item_id": "<item_id>",
  "output_index": 0
}

Propriétés

Champ Type Description
type string Le type d’événement doit être response.mcp_call.completed.
item_id string L’ID de l’élément d’appel de l’outil MCP.
output_index entier L’indice de l’élément de sortie dans la réponse.

response.mcp_call.failed

L’événement de serveur response.mcp_call.failed est retourné lorsqu’un appel d’outil MCP échoue.

Structure d’événements

{
  "type": "response.mcp_call.failed",
  "item_id": "<item_id>",
  "output_index": 0
}

Propriétés

Champ Type Description
type string Le type d’événement doit être response.mcp_call.failed.
item_id string L’ID de l’élément d’appel de l’outil MCP.
output_index entier L’indice de l’élément de sortie dans la réponse.

response.foundry_agent_call_arguments.delta

L’événement serveur response.foundry_agent_call_arguments.delta est retourné lorsque les arguments d’appel d’agent Foundry générés par le modèle sont mis à jour.

Structure d’événements

{
  "type": "response.foundry_agent_call_arguments.delta",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "delta": "<delta>"
}

Propriétés

Champ Type Description
type string Le type d’événement doit être response.foundry_agent_call_arguments.delta.
response_id string L’identification de la réponse.
item_id string L’identifiant de l’agent de la fonderie appelle l’article.
output_index entier L’indice de l’élément de sortie dans la réponse.
delta string Les arguments sont une chaîne JSON.

response.foundry_agent_call_arguments.done

L’événement serveur response.foundry_agent_call_arguments.done est retourné lorsque les arguments d’appel d’agent Foundry générés par le modèle ont terminé leur diffusion.

Structure d’événements

{
  "type": "response.foundry_agent_call_arguments.done",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "arguments": "<arguments>"
}

Propriétés

Champ Type Description
type string Le type d’événement doit être response.foundry_agent_call_arguments.done.
response_id string L’identification de la réponse.
item_id string L’identifiant de l’agent de la fonderie appelle l’article.
output_index entier L’indice de l’élément de sortie dans la réponse.
Arguments string Les arguments finaux sous forme de chaîne JSON.

response.foundry_agent_call.in_progress

L’événement serveur response.foundry_agent_call.in_progress est renvoyé lorsqu’un appel d’agent Foundry commence à être traité.

Structure d’événements

{
  "type": "response.foundry_agent_call.in_progress",
  "item_id": "<item_id>",
  "output_index": 0
}

Propriétés

Champ Type Description
type string Le type d’événement doit être response.foundry_agent_call.in_progress.
item_id string L’identifiant de l’agent de la fonderie appelle l’article.
agent_response_id string L’identifiant de réponse de l’agent de la fonderie.
output_index entier L’indice de l’élément de sortie dans la réponse.

response.foundry_agent_call.completed

L’événement serveur response.foundry_agent_call.completed est renvoyé lorsqu’un appel d’agent de fonderie est terminé avec succès.

Structure d’événements

{
  "type": "response.foundry_agent_call.completed",
  "item_id": "<item_id>",
  "agent_response_id": "<agent_response_id>",
  "output_index": 0
}

Propriétés

Champ Type Description
type string Le type d’événement doit être response.foundry_agent_call.completed.
item_id string L’identifiant de l’agent de la fonderie appelle l’article.
output_index entier L’indice de l’élément de sortie dans la réponse.

response.foundry_agent_call.failed

L’événement serveur response.foundry_agent_call.failed est retourné lorsqu’un appel d’agent Foundry échoue.

Structure d’événements

{
  "type": "response.foundry_agent_call.failed",
  "item_id": "<item_id>",
  "output_index": 0
}

Propriétés

Champ Type Description
type string Le type d’événement doit être response.foundry_agent_call.failed.
item_id string L’identifiant de l’agent de la fonderie appelle l’article.
output_index entier L’indice de l’élément de sortie dans la réponse.

réponse.output_item.ajouté

L’événement serveur response.output_item.added est renvoyé lorsqu’un nouvel élément est créé lors de la génération de la réponse.

Structure d’événements

{
  "type": "response.output_item.added",
  "response_id": "<response_id>",
  "output_index": 0
}

Propriétés

Champ Type Description
type string Le type d’événement doit être response.output_item.added.
response_id string L’identifiant de la réponse à laquelle l’élément appartient.
output_index entier L’indice de l’élément de sortie dans la réponse.
item RealtimeConversationResponseItem L’élément qui a été ajouté.

response.output_item.done

L’événement serveur response.output_item.done est renvoyé lorsqu’un élément est terminé de streamer.

Cet événement est également retourné lorsqu’une réponse est interrompue, incomplète ou annulée.

Structure d’événements

{
  "type": "response.output_item.done",
  "response_id": "<response_id>",
  "output_index": 0
}

Propriétés

Champ Type Description
type string Le type d’événement doit être response.output_item.done.
response_id string L’identifiant de la réponse à laquelle l’élément appartient.
output_index entier L’indice de l’élément de sortie dans la réponse.
item RealtimeConversationResponseItem L’objet qui est déjà diffusé en streaming.

response.text.delta

L’événement serveur response.text.delta est retourné lorsque le texte généré par le modèle est mis à jour. Le texte correspond à la text partie contenu d’un élément de message d’assistant.

Structure d’événements

{
  "type": "response.text.delta",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "content_index": 0,
  "delta": "<delta>"
}

Propriétés

Champ Type Description
type string Le type d’événement doit être response.text.delta.
response_id string L’identification de la réponse.
item_id string ID de l’élément.
output_index entier L’indice de l’élément de sortie dans la réponse.
content_index entier L’index de la partie contenu dans la liste de contenu de l’élément.
delta string Le texte est un delta.

response.text.done

L’événement serveur response.text.done est retourné lorsque le texte généré par le modèle a terminé d’être diffusé. Le texte correspond à la text partie contenu d’un élément de message d’assistant.

Cet événement est également retourné lorsqu’une réponse est interrompue, incomplète ou annulée.

Structure d’événements

{
  "type": "response.text.done",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "content_index": 0,
  "text": "<text>"
}

Propriétés

Champ Type Description
type string Le type d’événement doit être response.text.done.
response_id string L’identification de la réponse.
item_id string ID de l’élément.
output_index entier L’indice de l’élément de sortie dans la réponse.
content_index entier L’index de la partie contenu dans la liste de contenu de l’élément.
text string Le contenu final du texte.

session.avatar.switch_to_speaking

Retourné lorsque l’avatar passe à l’état de parole. Utilisez cet événement pour coordonner les modifications de l’interface utilisateur, telles que l’affichage d’un indicateur parlant.

Structure d’événements

{
  "type": "session.avatar.switch_to_speaking",
  "turn_id": "<turn_id>"
}

Propriétés

Champ Type Description
type string Le type d’événement doit être session.avatar.switch_to_speaking.
turn_id string Optionnel. L’ID du tour associé à l’état de l’avatar change.

session.avatar.switch_to_idle

Retourné lorsque l’avatar passe à l’état inactif.

Structure d’événements

{
  "type": "session.avatar.switch_to_idle",
  "turn_id": "<turn_id>"
}

Propriétés

Champ Type Description
type string Le type d’événement doit être session.avatar.switch_to_idle.
turn_id string Optionnel. L’ID du tour associé à l’état de l’avatar change.

response.video.delta

Retourné lorsque les données de trame vidéo d’avatar sont diffusées en continu vers le client. La charge utile d’image est encodée en base64 et utilise le codec indiqué par le codec champ.

Structure d’événements

{
  "type": "response.video.delta",
  "output_index": 0,
  "codec": "h264",
  "delta": "<base64_encoded_video_frame>"
}

Propriétés

Champ Type Description
type string Le type d’événement doit être response.video.delta.
output_index entier L’indice de l’élément de sortie dans la réponse.
codec string Codec utilisé pour les données vidéo (par exemple, h264).
delta string Les données d’images vidéo codées en base64.

response.web_search_call.searching

Retourné lorsqu’un appel d’outil de recherche web entre dans l’état de recherche.

Structure d’événements

{
  "type": "response.web_search_call.searching",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "sequence_number": 0
}

Propriétés

Champ Type Description
type string Le type d’événement doit être response.web_search_call.searching.
response_id string L’identification de la réponse.
item_id string ID de l’élément d’appel de recherche web.
output_index entier L’indice de l’élément de sortie dans la réponse.
sequence_number entier Le numéro de séquence de l’appel de recherche web.

response.web_search_call.in_progress

Retourné lorsqu’un appel d’outil de recherche web est en cours.

Structure d’événements

{
  "type": "response.web_search_call.in_progress",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "sequence_number": 0
}

Propriétés

Champ Type Description
type string Le type d’événement doit être response.web_search_call.in_progress.
response_id string L’identification de la réponse.
item_id string ID de l’élément d’appel de recherche web.
output_index entier L’indice de l’élément de sortie dans la réponse.
sequence_number entier Le numéro de séquence de l’appel de recherche web.

response.web_search_call.completed

Retourné lorsqu’un appel d’outil de recherche web est terminé.

Structure d’événements

{
  "type": "response.web_search_call.completed",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "sequence_number": 0
}

Propriétés

Champ Type Description
type string Le type d’événement doit être response.web_search_call.completed.
response_id string L’identification de la réponse.
item_id string ID de l’élément d’appel de recherche web.
output_index entier L’indice de l’élément de sortie dans la réponse.
sequence_number entier Le numéro de séquence de l’appel de recherche web.

response.file_search_call.searching

Retourné lorsqu’un appel d’outil de recherche de fichier entre dans l’état de recherche.

Structure d’événements

{
  "type": "response.file_search_call.searching",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "sequence_number": 0
}

Propriétés

Champ Type Description
type string Le type d’événement doit être response.file_search_call.searching.
response_id string L’identification de la réponse.
item_id string ID de l’élément d’appel de recherche de fichiers.
output_index entier L’indice de l’élément de sortie dans la réponse.
sequence_number entier Le numéro de séquence de l’appel de recherche de fichier.

response.file_search_call.in_progress

Retourné lorsqu’un appel d’outil de recherche de fichiers est en cours.

Structure d’événements

{
  "type": "response.file_search_call.in_progress",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "sequence_number": 0
}

Propriétés

Champ Type Description
type string Le type d’événement doit être response.file_search_call.in_progress.
response_id string L’identification de la réponse.
item_id string ID de l’élément d’appel de recherche de fichiers.
output_index entier L’indice de l’élément de sortie dans la réponse.
sequence_number entier Le numéro de séquence de l’appel de recherche de fichier.

response.file_search_call.completed

Retourné lorsqu’un appel d’outil de recherche de fichiers est terminé.

Structure d’événements

{
  "type": "response.file_search_call.completed",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "sequence_number": 0
}

Propriétés

Champ Type Description
type string Le type d’événement doit être response.file_search_call.completed.
response_id string L’identification de la réponse.
item_id string ID de l’élément d’appel de recherche de fichiers.
output_index entier L’indice de l’élément de sortie dans la réponse.
sequence_number entier Le numéro de séquence de l’appel de recherche de fichier.

output_audio_buffer.cleared

Retourné lorsque la mémoire tampon audio de sortie est effacée en réponse à un événement client output_audio_buffer.clear . Dans la préversion actuelle, cet événement est émis uniquement en mode avatar.

Structure d’événements

{
  "type": "output_audio_buffer.cleared"
}

Propriétés

Champ Type Description
type string Le type d’événement doit être output_audio_buffer.cleared.

response.audio_transcript.annotation.added

Retourné lorsqu’une annotation (par exemple, une citation produite par un outil de recherche de fichiers ou web) est ajoutée à un composant de contenu de transcription audio.

Structure d’événements

{
  "type": "response.audio_transcript.annotation.added",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "content_index": 0,
  "annotation_index": 0,
  "annotation": {}
}

Propriétés

Champ Type Description
type string Le type d’événement doit être response.audio_transcript.annotation.added.
response_id string L’identification de la réponse.
item_id string ID de l’élément.
output_index entier L’indice de l’élément de sortie dans la réponse.
content_index entier L’index de la partie contenu dans la liste de contenu de l’élément.
annotation_index entier L’index de l’annotation.
annotation Objet Objet d’annotation. Le schéma dépend de la source d’annotation (par exemple, citation de recherche web).

Composants

Audio Formats

RealtimeAudioFormat

Format audio de base utilisé pour l’entrée audio.

Valeurs autorisées :

  • pcm16 - Format audio PCM 16 bits
  • g711_ulaw - Format audio G.711 μ-law
  • g711_alaw - Format audio G.711 A-law

RealtimeOutputAudioFormat

Format audio utilisé pour la sortie audio avec des taux d’échantillonnage spécifiques.

Valeurs autorisées :

  • pcm16 - Format audio PCM 16 bits à la fréquence d’échantillonnage par défaut (24kHz)
  • pcm16_8000hz - Format audio PCM 16 bits à une fréquence d’échantillonnage de 8 kHz
  • pcm16_16000hz - Format audio PCM 16 bits à un taux d’échantillonnage de 16 kHz
  • g711_ulaw - Format audio G.711 μ-law (mu-law) à une fréquence d’échantillonnage de 8 kHz
  • g711_alaw - Format audio G.711 A-law à une fréquence d’échantillonnage de 8 kHz

Paramètres de transcription de l'entrée audio en temps réel

Configuration de la transcription audio d’entrée.

L’alias mai-transcribe pointe vers le dernier modèle MAI Transcribe, actuellement mai-transcribe-2. Permet mai-transcribe-2 de sélectionner ce modèle explicitement.

Consultez le calendrier de mise hors service du modèle Microsoft pour connaître les dates de mise hors service et les modèles de remplacement.

Champ Type Description
model string Le modèle de transcription.
Pris en charge par gpt-realtime et gpt-realtime-mini:
whisper-1, , gpt-4o-transcribe, gpt-4o-mini-transcribe, gpt-4o-transcribe-diarizemai-transcribe, , mai-transcribe-2.
Pris en charge avec tous les autres modèles et agents : azure-speech, mai-transcribeet mai-transcribe-2
language string Code de langage optionnel dans BCP-47 (par exemple, en-US), ou ISO-639-1 (par exemple, en), ou multilangues avec détection automatique (par exemple, en,zh).

Voir Azure langues prises en main par la parole pour l’utilisation recommandée de ce paramètre.
custom_speech Objet Configuration optionnelle pour les modèles de voix personnalisées, valable uniquement pour le azure-speech modèle. Carte des paramètres régionaux à l’ID de point de terminaison d’un point de terminaison de reconnaissance vocale personnalisé déployé sur la même ressource (et non l’ID de modèle).
phrase_list chaîne de caractères[] Liste optionnelle d’indices de phrase pour reconnaître les biais. Pris en charge avec azure-speech, mai-transcribeet mai-transcribe-2.
prompt string Texte d’invite optionnel pour guider la transcription, valable uniquement pour whisper-1, gpt-4o-transcribe, gpt-4o-mini-transcribe et gpt-4o-transcribe-diarize les modèles.

RealtimeInputAudioNoiseReductionSettings

Cela peut être :

RealtimeOpenAINoiseReduction

Configuration OpenAI de réduction de bruit avec champ de type explicite, disponible uniquement pour gpt-realtime les modèles et gpt-realtime-mini .

Champ Type Description
type string near_field ou far_field

RealtimeAzureDeepNoiseSuppression

Configuration de la réduction du bruit audio d’entrée.

Champ Type Description
type string Doit être "azure_deep_noise_suppression"

RealtimeInputAudioEchoCancellationSettings

Configuration d’annulation d’écho pour le traitement audio côté serveur.

Champ Type Description
type string Doit être "server_echo_cancellation"

Configuration vocale

RealtimeVoice

Union de toutes les configurations vocales prises en charge.

Cela peut être :

RealtimeOpenAIVoice

Configuration vocale OpenAI avec champ de type explicite.

Champ Type Description
type string Doit être "openai"
nom string Nom de la voix OpenAI : alloy, ash, ballad, coralecho, sage, shimmer, versemarincedar

RealtimeAzureVoice

Base pour les configurations vocales Azure. Il s’agit d’une union discriminée avec différents types :

RealtimeAzureStandardVoice

Configuration vocale standard Azure.

Champ Type Description
type string Doit être "azure-standard"
nom string Nom de la voix (ne peut pas être vide)
Température Numéro Optionnel. Température comprise entre 0,0 et 1,0
custom_lexicon_url string Optionnel. URL vers un lexique personnalisé
custom_text_normalization_url string Optionnel. URL vers la normalisation de texte personnalisée
prefer_locales chaîne de caractères[] Optionnel. Paramètres régionaux préférés
Les lieux préférés changent les accents des langues. Si la valeur n’est pas définie, TTS utilise l’accent par défaut de chaque langue. Par exemple, lorsque le TTS parle anglais, il utilise l’accent américain. Et quand on parle espagnol, il utilise l’accent espagnol mexicain.
Si on règle la prefer_locales à ["en-GB", "es-ES"], l’accent anglais est l’anglais britannique et l’accent espagnol est l’espagnol européen. Et TTS peut aussi parler d’autres langues comme le français, le chinois, etc.
paramètre régional string Optionnel. Spécification des paramètres régionaux
Imposer le lieu de sortie TTS. Si ce n’est pas défini, TTS utilise toujours la localisation donnée pour parler. Par exemple, réglez la localisation à en-US, TTS utilise toujours l’accent anglais américain pour parler le contenu du texte, même si le contenu du texte est dans une autre langue. Et TTS produira un silence si le contenu du texte est en chinois.
style string Optionnel. Style vocal
présentation string Optionnel. Ajustement de la hauteur pour la sortie vocale. Suit les mêmes règles que l’attribut pitch de l’élément SSML prosody (voir Ajuster la prosodie). Valeurs classiques : un niveau nommé (x-low, , lowmediumhigh, x-high, , default), une modification relative (par exemple+10%, , -5%, +50Hz, -2st) ou une fréquence absolue (par exemple200Hz).
Taux string Optionnel. Ajustement du débit de voix pour la sortie vocale. Suit les mêmes règles que l’attribut rate de l’élément SSML prosody (voir Ajuster la prosodie). Valeurs classiques : un niveau nommé (x-slow, , slowmediumfast, x-fast, , default), un pourcentage relatif (par exemple+20%, -10%), ou un multiplicateur non négatif (par exemple0.5, ). 1.5
volume string Optionnel. Réglage du volume pour la sortie vocale. Suit les mêmes règles que l’attribut volume de l’élément SSML prosody (voir Ajuster la prosodie). Valeurs classiques : un niveau nommé (silent, , x-softsoftmediumloudx-loud), defaultun nombre absolu compris entre 0,0 et 100,0 ou une modification relative (par exemple+10, ). -6dB
RealtimeAzureCustomVoice

Configuration vocale personnalisée Azure (préférée pour les voix personnalisées).

Champ Type Description
type string Doit être "azure-custom"
nom string Nom de la voix (ne peut pas être vide)
endpoint_id string ID de terminaison (ne peut pas être vide)
Température Numéro Optionnel. Température comprise entre 0,0 et 1,0
custom_lexicon_url string Optionnel. URL vers un lexique personnalisé
custom_text_normalization_url string Optionnel. URL vers la normalisation de texte personnalisée
prefer_locales chaîne de caractères[] Optionnel. Paramètres régionaux préférés
Les lieux préférés changent les accents des langues. Si la valeur n’est pas définie, TTS utilise l’accent par défaut de chaque langue. Par exemple, lorsque TTS parle anglais, il utilise l’accent anglais américain. Et quand on parle espagnol, il utilise l’accent espagnol mexicain.
Si on règle la prefer_locales à ["en-GB", "es-ES"], l’accent anglais est l’anglais britannique et l’accent espagnol est l’espagnol européen. Et TTS peut aussi parler d’autres langues comme le français, le chinois, etc.
paramètre régional string Optionnel. Spécification des paramètres régionaux
Imposer le lieu de sortie TTS. Si ce n’est pas défini, TTS utilise toujours la localisation donnée pour parler. Par exemple, réglez la localisation à en-US, TTS utilise toujours l’accent anglais américain pour parler le contenu du texte, même si le contenu du texte est dans une autre langue. Et TTS produira un silence si le contenu du texte est en chinois.
style string Optionnel. Style vocal
présentation string Optionnel. Ajustement de la hauteur pour la sortie vocale. Suit les mêmes règles que l’attribut pitch de l’élément SSML prosody (voir Ajuster la prosodie). Valeurs classiques : un niveau nommé (x-low, , lowmediumhigh, x-high, , default), une modification relative (par exemple+10%, , -5%, +50Hz, -2st) ou une fréquence absolue (par exemple200Hz).
Taux string Optionnel. Ajustement du débit de voix pour la sortie vocale. Suit les mêmes règles que l’attribut rate de l’élément SSML prosody (voir Ajuster la prosodie). Valeurs classiques : un niveau nommé (x-slow, , slowmediumfast, x-fast, , default), un pourcentage relatif (par exemple+20%, -10%), ou un multiplicateur non négatif (par exemple0.5, ). 1.5
volume string Optionnel. Réglage du volume pour la sortie vocale. Suit les mêmes règles que l’attribut volume de l’élément SSML prosody (voir Ajuster la prosodie). Valeurs classiques : un niveau nommé (silent, , x-softsoftmediumloudx-loud), defaultun nombre absolu compris entre 0,0 et 100,0 ou une modification relative (par exemple+10, ). -6dB

Exemple :

{
  "type": "azure-custom",
  "name": "my-custom-voice",
  "endpoint_id": "12345678-1234-1234-1234-123456789012",
  "temperature": 0.7,
  "style": "cheerful",
  "locale": "en-US"
}
RealtimeAzurePersonalVoice

Azure Personal Voice Configuration.

Champ Type Description
type string Doit être "azure-personal"
nom string Nom de la voix (ne peut pas être vide)
Température Numéro Optionnel. Température comprise entre 0,0 et 1,0
model string Modèle de base sous-jacent : DragonLatestNeural, DragonHDOmniLatestNeural
custom_lexicon_url string Optionnel. URL vers un lexique personnalisé
custom_text_normalization_url string Optionnel. URL vers la normalisation de texte personnalisée
prefer_locales chaîne de caractères[] Optionnel. Paramètres régionaux préférés
Les lieux préférés changent les accents des langues. Si la valeur n’est pas définie, TTS utilise l’accent par défaut de chaque langue. Par exemple, lorsque le TTS parle anglais, il utilise l’accent américain. Et quand on parle espagnol, il utilise l’accent espagnol mexicain.
Si on règle la prefer_locales à ["en-GB", "es-ES"], l’accent anglais est l’anglais britannique et l’accent espagnol est l’espagnol européen. Et TTS peut aussi parler d’autres langues comme le français, le chinois, etc.
paramètre régional string Optionnel. Spécification des paramètres régionaux
Imposer le lieu de sortie TTS. Si ce n’est pas défini, TTS utilise toujours la localisation donnée pour parler. Par exemple, réglez la localisation à en-US, TTS utilise toujours l’accent anglais américain pour parler le contenu du texte, même si le contenu du texte est dans une autre langue. Et TTS produira un silence si le contenu du texte est en chinois.
présentation string Optionnel. Ajustement de la hauteur pour la sortie vocale. Suit les mêmes règles que l’attribut pitch de l’élément SSML prosody (voir Ajuster la prosodie). Valeurs classiques : un niveau nommé (x-low, , lowmediumhigh, x-high, , default), une modification relative (par exemple+10%, , -5%, +50Hz, -2st) ou une fréquence absolue (par exemple200Hz).
Taux string Optionnel. Ajustement du débit de voix pour la sortie vocale. Suit les mêmes règles que l’attribut rate de l’élément SSML prosody (voir Ajuster la prosodie). Valeurs classiques : un niveau nommé (x-slow, , slowmediumfast, x-fast, , default), un pourcentage relatif (par exemple+20%, -10%), ou un multiplicateur non négatif (par exemple0.5, ). 1.5
volume string Optionnel. Réglage du volume pour la sortie vocale. Suit les mêmes règles que l’attribut volume de l’élément SSML prosody (voir Ajuster la prosodie). Valeurs classiques : un niveau nommé (silent, , x-softsoftmediumloudx-loud), defaultun nombre absolu compris entre 0,0 et 100,0 ou une modification relative (par exemple+10, ). -6dB

Détection de tour

Détection de virage en temps réel

Configuration pour la détection de virage. Il s’agit d’un syndicat discriminé supportant plusieurs types de DAV.

RealtimeServerVAD

Détection de virage basée sur VAD de base.

Champ Type Description
type string Doit être "server_vad"
threshold float Optionnel. Seuil d’activation dans la plage [0.01, 1.0) (valeur par défaut : 0,5)
prefix_padding_ms entier Optionnel. Remplissage audio avant le démarrage de la voix (par défaut : 400)
silence_duration_ms entier Optionnel. Durée du silence pour détecter la fin de la parole (par défaut : 500)
speech_duration_ms entier Optionnel. Durée minimale de la parole (par défaut : 200)
end_of_utterance_detection RealtimeEOUDetection Optionnel. Configuration de détection de fin d’énoncé
créer_réponse booléen Optionnel. Activez ou désactivez si une réponse est générée (valeur par défaut : true).
réponse à une interruption booléen Optionnel. Activez ou désactivez l'interruption barge-in (valeur par défaut : vrai).
auto_truncate booléen Optionnel. Tronque automatique lors d’une interruption (par défaut : faux)
RealtimeOpenAISemanticVAD

Configuration sémantique VAD OpenAI qui utilise un modèle pour déterminer quand l’utilisateur a terminé de parler. Disponible uniquement pour gpt-realtime les modèles et gpt-realtime-mini de S.

Champ Type Description
type string Doit être "semantic_vad"
empressement string Optionnel. Il s’agit d’un moyen de contrôler la rapidité avec laquelle le modèle est d’interrompre l’utilisateur, en paramétrant le délai d’attente maximal. En mode transcription, même si le modèle ne répond pas, il affecte la façon dont l’audio est segmenté.
Les valeurs suivantes sont autorisées :
- auto (valeur par défaut) équivaut à medium,
- low laisse l’utilisateur prendre son temps pour parler,
- high segmente l’audio dès que possible.

Si vous souhaitez que le modèle réponde plus souvent en mode conversation, ou que des événements de transcription soient renvoyés plus rapidement en mode transcription, vous pouvez définir la promptitude sur high.
En revanche, si vous souhaitez permettre à l’utilisateur de parler sans interruption en mode conversation, ou en mode transcription si vous souhaitez des blocs de transcription plus volumineux, vous pouvez définir l’impatience à low.
créer_réponse booléen Optionnel. Activez ou désactivez si une réponse est générée (valeur par défaut : true).
réponse à une interruption booléen Optionnel. Activez ou désactivez l'interruption barge-in (valeur par défaut : vrai).
RealtimeAzureSemanticVAD

Azure SEMANTIC VAD, qui détermine quand l’utilisateur commence à parler à l’aide d’un modèle de parole sémantique, offrant une détection plus robuste dans des environnements bruyants.

Champ Type Description
type string Doit être "azure_semantic_vad"
threshold float Optionnel. Seuil d’activation dans la plage [0.01, 1.0) (valeur par défaut : 0,5)
prefix_padding_ms entier Optionnel. Remplissage audio avant la reconnaissance vocale (par défaut : 420)
silence_duration_ms entier Optionnel. Durée du silence pour la fin du discours (par défaut : 500)
end_of_utterance_detection RealtimeEOUDetection Optionnel. Configuration de détection EOU
speech_duration_ms entier Optionnel. Durée minimale de la parole (par défaut : 80)
remove_filler_words booléen Optionnel. Supprimer les mots de remplissage (par défaut : faux)
langues chaîne de caractères[] Optionnel. Prend en charge l’anglais. Les autres langues sont ignorées (par défaut : aucune).
créer_réponse booléen Optionnel. Activez ou désactivez si une réponse est générée (valeur par défaut : true).
réponse à une interruption booléen Optionnel. Activez ou désactivez l'interruption barge-in (valeur par défaut : vrai).
auto_truncate booléen Optionnel. Tronque automatique lors d’une interruption (par défaut : faux)
RealtimeAzureSemanticVADMultilinguel

Azure semantic VAD (variante par défaut).

Champ Type Description
type string Doit être "azure_semantic_vad_multilingual"
threshold float Optionnel. Seuil d’activation dans la plage [0.01, 1.0) (valeur par défaut : 0,5)
prefix_padding_ms entier Optionnel. Remplissage audio avant la reconnaissance vocale (par défaut : 420)
silence_duration_ms entier Optionnel. Durée du silence pour la fin du discours (par défaut : 500)
end_of_utterance_detection RealtimeEOUDetection Optionnel. Configuration de détection EOU
speech_duration_ms entier Optionnel. Durée minimale de la parole (par défaut : 80)
remove_filler_words booléen Optionnel. Supprimer les mots de remplissage (par défaut : faux)
langues chaîne de caractères[] Optionnel. Prend en charge l’anglais, l’espagnol, le français, l’italien, l’allemand (DE), le japonais, le portugais, le chinois, le coréen, l’hindi. Les autres langues sont ignorées (par défaut : aucune).
créer_réponse booléen Optionnel. Activez ou désactivez si une réponse est générée (valeur par défaut : true).
réponse à une interruption booléen Optionnel. Activez ou désactivez l'interruption barge-in (valeur par défaut : vrai).
auto_truncate booléen Optionnel. Tronque automatique lors d’une interruption (par défaut : faux)

RealtimeEOUDetection

Azure End-of-Tollance (EOU) pouvait indiquer quand l’utilisateur final cessait de parler tout en permettant des pauses naturelles. La détection de la fin d'énoncé peut réduire considérablement les signaux de fin de tour prématurés sans ajouter de latence perceptible par l'utilisateur.

Champ Type Description
model string Peut être semantic_detection_v1 en support de l’anglais ou semantic_detection_v1_multilingual de l’anglais, espagnol, français, italien, allemand (DE), japonais, portugais, chinois, coréen, hindi
threshold_level string Optionnel. Niveau de seuil de détection (low, medium, high et default), le paramètre par défaut égale medium à . Avec un paramètre inférieur, la probabilité que la phrase soit terminée sera plus élevée.
timeout (délai en ms) Numéro Optionnel. Temps maximal en millisecondes pour attendre plus de paroles de l’utilisateur. Par défaut, c’est 1000 ms.

Configuration d’Avatar

RealtimeAvatarConfig

Configuration du streaming et du comportement de l’avatar.

Champ Type Description
type string Optionnel. Type d’avatar. Valeurs autorisées : video-avatar, photo-avatar. La valeur par défaut est video-avatar
ice_servers RealtimeIceServer[] Optionnel. Serveurs ICE pour WebRTC
character string Nom du personnage ou ID de l’avatar
style string Optionnel. Style Avatar (ton émotionnel, style de parole)
Personnalisé booléen Que l’avatar soit personnalisé
model string Optionnel. Nom de modèle de base pour l’avatar photo, requis si le type est photo-avatar, la valeur valide est vasa-1
video RealtimeVideoParams Optionnel. Configuration vidéo
Scène RealtimeAvatarScene Optionnel. Configuration du niveau de zoom, de la position, de la rotation et de l’amplitude de mouvement de l’avatar dans l’image vidéo
output_protocol string Optionnel. Protocole de sortie pour le streaming d’avatar. Valeurs autorisées : websocket et webrtc. La valeur par défaut est webrtc
output_audit_audio booléen Optionnel. Lorsqu’activé, l’audit audio est transféré via WebSocket pour des fins de révision/débogage, même lorsque la sortie avatar est fournie via WebRTC. La valeur par défaut est false

RealtimeIceServer

Configuration du serveur ICE pour la négociation de connexion WebRTC.

Champ Type Description
urls chaîne de caractères[] URL des serveurs ICE (points de terminaison TURN ou STUN)
username string Optionnel. Nom d’utilisateur pour l’authentification
credential string Optionnel. Accréditation pour l’authentification

RealtimeVideoParams

Paramètres de streaming vidéo pour Avatar.

Champ Type Description
débit binaire entier Optionnel. Débit binaire en bits par seconde (par défaut : 2000000)
codec string Optionnel. Codec vidéo, actuellement seulement h264 (par défaut : h264)
crop RealtimeVideoCrop Optionnel. Paramètres de rognage
resolution RealtimeVideoResolution Optionnel. Paramètres de résolution
Arrière-plan RealtimeVideoBackground Optionnel. Paramètres d’arrière-plan
gop_size entier Optionnel. Taille du groupe de photos (par défaut : 10, plage : 1–2000)

RealtimeVideoCrop

Définition du rectangle de recadrage vidéo.

Champ Type Description
top_left entier[] Coin supérieur gauche [x, y], entiers non négatifs
bottom_right entier[] Coin inférieur droit [x, y], entiers non négatifs

RealtimeVideoResolution

Spécification de résolution vidéo.

Champ Type Description
width entier Largeur en pixels (doit être > 0)
height entier Hauteur en pixels (doit être > 0)

RealtimeVideoBackground

Configuration vidéo en arrière-plan. Un seul de image_url ou color peut être fixé.

Champ Type Description
image_url string Optionnel. URL d’une image d’arrière-plan
color string Optionnel. Valeur de couleur d’arrière-plan

RealtimeAvatarScene

Configuration du niveau de zoom, de la position, de la rotation et de l’amplitude de mouvement de l’avatar dans l’image vidéo.

Champ Type Description
zoom Numéro Optionnel. Niveau de zoom de l’avatar. La portée est (0, +∞). Les valeurs inférieures à 1 dézooment, les valeurs supérieures à 1 zooment. Par défaut est 0
position_x Numéro Optionnel. Position horizontale de l’avatar. La portée est [-1, 1], en proportion de la largeur de l’image. Les valeurs négatives se déplacent à gauche, les valeurs positives à droite. Par défaut est 0
position_y Numéro Optionnel. Position verticale de l’avatar. La portée est [-1, 1], en proportion de la hauteur du cadre. Les valeurs négatives montent, les valeurs positives descendent. Par défaut est 0
rotation_x Numéro Optionnel. Rotation autour de l’axe X (hauteur). La portée est [-π, π] en radians. Les valeurs négatives tournent vers le haut, les valeurs positives tournent vers le bas. Par défaut est 0
rotation_y Numéro Optionnel. Rotation autour de l’axe Y (lacet). La portée est [-π, π] en radians. Les valeurs négatives tournent à gauche, les valeurs positives tournent à droite. Par défaut est 0
rotation_z Numéro Optionnel. Rotation autour de l’axe Z (roulis). La portée est [-π, π] en radians. Les valeurs négatives tournent dans le sens antihoraire, les valeurs positives tournent dans le sens des aiguilles d’une montre. Par défaut est 0
Amplitude Numéro Optionnel. Amplitude du mouvement de l’avatar. La portée est (0, 1]. Les valeurs dans (0, 1) signifient amplitude réduite, 1 signifient amplitude complète. Par défaut est 0

Configuration de l’animation

RealtimeAnimation

Configuration pour les sorties d’animation, incluant blendshapes et visèmes.

Champ Type Description
model_name string Optionnel. Nom du modèle d’animation (par défaut : "default")
outputs RealtimeAnimationOutputType[] Optionnel. Types de sortie (par défaut : ["blendshapes"])

RealtimeAnimationOutputType

Types de données d’animation à produire.

Valeurs autorisées :

  • blendshapes - Données sur les blendshapes faciales
  • viseme_id - Données d’identifiant Viseme

Configuration de la session

Session de demande en temps réel

Objet de configuration de session utilisé dans les session.update événements.

Champ Type Description
model string Optionnel. Nom de modèle à utiliser
Modalités RealtimeModality[] Optionnel. Les modalités de sortie prises en charge pour la session.

Par exemple, « modalities » : [« texte », « audio »] est le paramètre par défaut qui permet à la fois les modalités de sortie texte et audio. Pour ne permettre que la sortie texte, définissez « modalités » : [« texte »]. Pour permettre la sortie avatar, définissez des « modalités » : [« texte », « audio », « avatar »]. Vous ne pouvez pas activer uniquement l’audio.
animation RealtimeAnimation Optionnel. Configuration de l’animation
Voix RealtimeVoice Optionnel. Configuration vocale
instructions string Optionnel. Instructions système pour le modèle. Les instructions pourraient guider l’audio de sortie si des voix OpenAI sont utilisées, mais peuvent ne pas s’appliquer aux voix Azure.
input_audio_sampling_rate entier Optionnel. Taux d’échantillonnage audio d’entrée en Hz (par défaut : 24000 pour pcm16, 8000 pour g711_ulaw et g711_alaw)
input_audio_format RealtimeAudioFormat Optionnel. Format audio d’entrée (par défaut : pcm16)
output_audio_format RealtimeOutputAudioFormat Optionnel. Format audio de sortie (par défaut : pcm16)
input_audio_noise_reduction RealtimeInputAudioNoiseReductionSettings Configuration de la réduction du bruit audio d’entrée. Cette valeur peut être définie sur Null pour la désactiver. La réduction du bruit filtre l’audio ajouté à la mémoire tampon audio d’entrée avant son envoi à VAD et au modèle. Le filtrage de l’audio peut améliorer la précision de détection de VAD et de la prise de parole (réduisant les faux positifs) et les performances du modèle en améliorant la perception de l’audio d’entrée.

Cette propriété est nulle.
input_audio_echo_cancellation RealtimeInputAudioEchoCancellationSettings Configuration pour l’annulation de l’écho audio en entrée. Cette valeur peut être définie sur Null pour la désactiver. Cette annulation d’écho côté service peut aider à améliorer la qualité de l’audio d’entrée en réduisant l’impact de l’écho et de la réverbération.

Cette propriété est nulle.
input_audio_transcription Paramètres de transcription de l'entrée audio en temps réel Configuration de la transcription audio d’entrée. La configuration est null (désactivée) par défaut. La transcription audio d’entrée n’est pas native du modèle, car le modèle consomme directement l’audio. La transcription s’exécute de façon asynchrone via le terminal /audio/transcriptions et doit être considérée comme un guide pour le contenu audio d’entrée plutôt que comme ce que le modèle a réellement entendu. Pour obtenir des conseils supplémentaires sur le service de transcription, le client peut éventuellement définir la langue et demander la transcription.

Cette propriété est nulle.
turn_detection RealtimeTurnDetection Les réglages de détection de virage pour la session. Cette valeur peut être définie sur Null pour la désactiver.
Outils array de RealtimeTool Les outils disponibles pour le modèle pour la session.
tool_choice RealtimeToolChoice Le choix de l’outil pour la session.

Valeurs autorisées : auto, none, et required. Sinon, vous pouvez spécifier le nom de la fonction à utiliser.
Température Numéro La température d’échantillonnage pour le modèle. Les valeurs de température autorisées sont limitées à [0,6, 1,2]. Par défaut à 0,8.
max_response_output_tokens entier ou « inf » Le nombre maximal de jetons de sortie par réponse d’assistant, y compris les appels d’outils.

Spécifiez un entier entre 1 et 4096 pour limiter les jetons de sortie. Sinon, il faut régler la valeur sur « inf » pour permettre le nombre maximal de jetons.

Par exemple, pour limiter les jetons de sortie à 1000, on fixe "max_response_output_tokens": 1000. Pour permettre le nombre maximal de jetons, on fixe "max_response_output_tokens": "inf".

La valeur par défaut est "inf".
intermédiaire-réponse InterimResponseConfig Optionnel. Configuration pour la génération de réponses intermédiaires en cas de latence ou d’appels d’outils.
effort de raisonnement ReasoningEffort Optionnel. Limite l’effort sur le raisonnement des modèles de raisonnement. Consultez Azure Foundry doc pour plus de détails. La réduction de l’effort de raisonnement peut entraîner des réponses plus rapides et l’utilisation d’un nombre inférieur de jetons sur le raisonnement dans une réponse.
avatar RealtimeAvatarConfig Optionnel. Configuration de l’avatar
output_audio_timestamp_types RealtimeAudioTimestampType[] Optionnel. Types d’horodatage pour l’audio de sortie
metadata map Optionnel. Ensemble de jusqu’à 16 paires clé-valeur pouvant être attachées à la session. Cela est utile pour stocker des informations supplémentaires sur la session dans un format structuré, comme le suivi des ID, le contexte utilisateur ou des étiquettes spécifiques à l’application. Ces paires clé-valeur sont également incluses dans Microsoft journaux de ressources Foundry pour le suivi et les diagnostics. Les clés peuvent atteindre jusqu’à 64 caractères et les valeurs peuvent atteindre un maximum de 512 caractères.

RealtimeModality

Prise en charge des modalités de sortie de session.

Valeurs autorisées :

  • text - Sortie texte
  • audio - Sortie audio
  • animation - Production d’animation
  • avatar - Sortie vidéo Avatar

RealtimeAudioTimestampType

Types d’horodatage de sortie pris en charge dans le contenu de réponse audio.

Valeurs autorisées :

  • word - Horodatages par mot dans l’audio de sortie

ReasoningEffort

Limite l’effort sur le raisonnement des modèles de raisonnement. Consultez la documentation des modèles pour les valeurs prises en charge pour chaque modèle. La réduction de l’effort de raisonnement peut entraîner des réponses plus rapides et l’utilisation d’un nombre inférieur de jetons sur le raisonnement dans une réponse.

Valeurs autorisées :

  • none - Aucun effort de raisonnement
  • minimal - Effort de raisonnement minimal
  • low - Faible effort de raisonnement - réponses plus rapides avec moins de raisonnement
  • medium - Effort de raisonnement moyen - équilibré entre vitesse et profondeur de raisonnement
  • high - Effort de raisonnement élevé - raisonnement plus approfondi, peut prendre plus de temps
  • xhigh - Effort de raisonnement extra élevé - profondeur maximale de raisonnement

Configuration de l’outil

Nous prenons en charge deux types d’outils : l’appel de fonctions et les outils MCP qui permettent de vous connecter à un serveur MCP.

Outil Temps Réel

Définition de l’outil pour l’appel de fonction.

Champ Type Description
type string Doit être "function"
nom string Nom de la fonction
description string Description de la fonction et directives d’utilisation
parameters Objet Paramètres de fonction en tant qu’objet schéma JSON

Choix d'outils en temps réel

Stratégie de sélection d’outils.

Cela peut être :

  • "auto" - Laisser le modèle choisir
  • "none" - N’utilisez pas d’outils
  • "required" - Doit utiliser un outil
  • { "type": "function", "name": "function_name" } - Utiliser une fonction spécifique

MCPTool

Configuration de l’outil MCP.

Champ Type Description
type string Doit être "mcp"
server_label string Required. Étiquette du serveur MCP.
URL du serveur string Required. L’URL du serveur MCP.
outils_autorisés chaîne de caractères[] Optionnel. La liste des noms d’outils autorisés. Si ce n’est pas spécifié, tous les outils sont autorisés.
headers Objet Optionnel. Des en-têtes supplémentaires à inclure dans les demandes MCP.
authorization string Optionnel. Jeton d’autorisation pour les demandes MCP.
require_approval chaîne ou dictionnaire Optionnel.
Si elle est définie sur une chaîne, la valeur doit être never ou always.
Si elle est définie sur un dictionnaire, elle doit être au format {"never": ["<tool_name_1>", "<tool_name_2>"], "always": ["<tool_name_3>"]}.
La valeur par défaut est always.
Lorsqu’il est défini à always, l’exécution de l’outil nécessite une approbation, mcp_approval_request sera envoyé au client lorsque l’argument MCP sera terminé, et ne sera exécuté que lorsque mcp_approval_response avec approve=true est reçu.
Lorsqu’il est réglé sur never, l’outil sera exécuté automatiquement sans approbation.

FoundryAgentTool

Définition de l’outil pour intégrer un agent Foundry en tant qu’outil. Cela permet un modèle de superviseur de chat où un agent de chat basé sur le temps réel gère les interactions basiques tout en déléguant des tâches complexes à un agent Foundry plus intelligent.

Champ Type Description
type string Doit être "foundry_agent"
agent_name string Required. Le nom de l’agent de la fonderie à appeler.
agent_version string Optionnel. La version de l’agent de la Fonderie à appeler.
project_name string Required. Le nom du projet Foundry contenant l’agent.
client_id string Optionnel. L’identifiant client associé à l’agent de Foundry.
description string Optionnel. Une description optionnelle pour l’outil agent Foundry. Si c’est fourni, il est utilisé à la place de la description de l’agent dans le portail Foundry.
foundry_resource_override string Optionnel. Remplacement pour la ressource Foundry utilisée pour exécuter l’agent.
agent_context_type string Optionnel. Le type de contexte à utiliser lors de l’invocation de l’agent Foundry. Valeurs possibles : no_context, agent_context. La valeur par défaut est agent_context.

no_context: Seule la saisie utilisateur actuelle est envoyée, aucun contexte n’est maintenu.

agent_context: L’agent conserve son propre contexte (thread), uniquement l’entrée courante envoyée par appel.
return_agent_response_directly booléen Optionnel. S’il faut retourner directement la réponse de l’agent dans la réponse Voice Live. La valeur par défaut est true. Lorsqu’il est réglé sur false, la réponse est envoyée à l’agent du chat pour reformulation.

Exemple :

{
  "instructions": "You are a helpful assistant. Please respond with a short message like 'working on this' before calling the agent tool.",
  "tools": [
    {
      "type": "foundry_agent",
      "agent_name": "customer-service-agent",
      "agent_version": "2",
      "project_name": "my-foundry-project",
      "description": "A helpful agent that can search online information and handle complex customer requests"
    }
  ]
}

Configuration de réponse intermédiaire

Les réponses intermédiaires permettent au système de générer des réponses audio temporaires pendant l’exécution des outils, améliorant ainsi l’expérience utilisateur en évitant le silence.

InterimResponseConfig

Configuration pour la génération de réponses intermédiaires. Il s’agit d’un type d’union qui peut être l’un des suivants :

StaticInterimResponseConfig

Configuration pour la génération de réponse intermédiaire statique. Sélectionne aléatoirement parmi des textes configurés lorsqu’une condition déclencheuse est remplie.

Champ Type Description
type string Doit être "static-interim-response".
triggers InterimResponseTrigger[] Optionnel. Liste des déclencheurs pouvant déclencher la réponse intermédiaire. Tout déclencheur peut activer la réponse intermédiaire (logique OU). Valeurs soutenues : latency, tool. La valeur par défaut est ["latency"].
latency_threshold_ms entier Optionnel. Seuil de latence en millisecondes avant de déclencher la réponse intermédiaire. Par défaut, c’est 2000 ms. La valeur minimale est 0.
Textes chaîne de caractères[] Optionnel. Liste des options de texte de réponse intermédiaire parmi lesquelles choisir au hasard.

Exemple :

{
  "session": {
    "interim-response": {
      "type": "static-interim-response",
      "triggers": ["latency", "tool"],
      "latency_threshold_ms": 1500,
      "texts": [
        "Let me think about that...",
        "One moment please...",
        "Working on that for you..."
      ]
    }
  }
}

LlmInterimResponseConfig

Configuration pour la génération de réponses intermédiaires basée sur un LLM. Utilise le LLM pour générer des réponses intermédiaires contextuelles lorsqu’une condition déclencheuse est remplie.

Champ Type Description
type string Doit être "llm-interim-response".
triggers InterimResponseTrigger[] Optionnel. Liste des déclencheurs pouvant déclencher la réponse intermédiaire. Tout déclencheur peut activer la réponse intermédiaire (logique OU). Valeurs soutenues : latency, tool. La valeur par défaut est ["latency"].
latency_threshold_ms entier Optionnel. Seuil de latence en millisecondes avant de déclencher la réponse intermédiaire. Par défaut, c’est 2000 ms. La valeur minimale est 0.
model string Optionnel. Le modèle à utiliser pour la génération de réponses intermédiaires basée sur des LLM. La valeur par défaut est gpt-4.1-mini. Le modèle par défaut peut changer sans nouvelle version d’API.
instructions string Optionnel. Instructions personnalisées pour générer des réponses intermédiaires. Si cela n’est pas fourni, une invite par défaut est utilisée.
max_completion_tokens entier Optionnel. Nombre maximal de jetons à générer pour la réponse intermédiaire. La valeur par défaut est 50. La valeur minimale est 1.

Exemple :

{
  "session": {
    "interim-response": {
      "type": "llm-interim-response",
      "triggers": ["tool"],
      "latency_threshold_ms": 2000,
      "model": "gpt-4.1-mini",
      "instructions": "Generate a brief, friendly acknowledgment that you're working on the user's request.",
      "max_completion_tokens": 30
    }
  }
}

InterimResponseTrigger

Des déclencheurs pouvant activer la génération de réponses intermédiaires.

Valeurs autorisées :

  • latency - Déclencher la réponse intermédiaire lorsque la latence de réponse dépasse le seuil
  • tool - Déclencher une réponse intermédiaire lors de l’exécution d’un appel d’outil

RealtimeConversationResponseItem

Il s’agit d’un type d’union qui peut être l’un des suivants :

RealtimeConversationUserMessageItem

Message utilisateur.

Champ Type Description
id string L’identifiant unique de l’article.
type string Doit être "message"
Objet string Doit être "conversation.item"
role string Doit être "user"
contenu RealtimeInputTextContentPart Contenu du message.
status RealtimeItemStatus État de l’élément.

RealtimeConversationAssistantMessageItem

Message d’assistant.

Champ Type Description
id string L’identifiant unique de l’article.
type string Doit être "message"
Objet string Doit être "conversation.item"
role string Doit être "assistant"
contenu PartieContenuContenuTempsTempsSortie[] ou PartiContenuAudioSortieRéel[] Contenu du message.
status RealtimeItemStatus État de l’élément.

RealtimeConversationSystemMessageItem

Message système.

Champ Type Description
id string L’identifiant unique de l’article.
type string Doit être "message"
Objet string Doit être "conversation.item"
role string Doit être "system"
contenu RealtimeInputTextContentPart[] Contenu du message.
status RealtimeItemStatus État de l’élément.

RealtimeConversationFunctionCallItem

Appel de fonction objet de demande.

Champ Type Description
id string L’identifiant unique de l’article.
type string Doit être "function_call"
Objet string Doit être "conversation.item"
nom string Le nom de la fonction à appeler.
Arguments string Les arguments pour la fonction s’appellent comme une chaîne JSON.
call_id string L’identifiant unique de l’appel de fonction.
status RealtimeItemStatus État de l’élément.

RealtimeConversationFunctionCallOutputItem

Élément de réponse à l’appel de fonction.

Champ Type Description
id string L’identifiant unique de l’article.
type string Doit être "function_call_output"
Objet string Doit être "conversation.item"
nom string Le nom de la fonction qui a été appelée.
sortie string La sortie de l’appel de la fonction.
call_id string L’identifiant unique de l’appel de fonction.
status RealtimeItemStatus État de l’élément.

RealtimeConversationMCPListToolsItem

Outil de liste MCP : élément de réponse.

Champ Type Description
id string L’identifiant unique de l’article.
type string Doit être "mcp_list_tools"
server_label string Étiquette du serveur MCP.

RealtimeConversationMCPCallItem

Élément de réponse téléphonique MCP.

Champ Type Description
id string L’identifiant unique de l’article.
type string Doit être "mcp_call"
server_label string Étiquette du serveur MCP.
nom string Le nom de l’outil à appeler.
approval_request_id string L’ID de demande d’approbation pour l’appel MCP.
Arguments string Les arguments en faveur de l’appel au MCP.
sortie string La sortie de l’appel MCP.
erreur Objet L’erreur précise si l’appel MCP a échoué.

RealtimeConversationMCPApprovalRequestItem

Article de demande d’approbation MCP.

Champ Type Description
id string L’identifiant unique de l’article.
type string Doit être "mcp_approval_request"
server_label string Étiquette du serveur MCP.
nom string Le nom de l’outil à appeler.
Arguments string Les arguments en faveur de l’appel au MCP.

RealtimeConversationFoundryAgentCallItem

Agent de la fonderie, objet de réponse à l’appel.

Champ Type Description
id string L’identifiant unique de l’article.
type string Doit être "foundry_agent_call"
nom string Le nom de l’agent de la fonderie.
call_id string L’identifiant de l’appel.
Arguments string Les arguments pour l’appel de l’agent de la fonderie.
agent_response_id string Optionnel. L’identifiant de réponse de l’agent de la fonderie.
sortie string Optionnel. La sortie de l’appel de l’agent de fonderie.
erreur Objet Optionnel. L’erreur précise si l’appel de l’agent de la fonderie a échoué.

RealtimeConversationWebSearchCallItem

Élément de réponse d’appel de recherche web.

Champ Type Description
id string ID unique de l’appel de l’outil de recherche web.
type string Doit être "web_search_call"
status string L’état de l’appel d’outil de recherche web. Un des in_progress, searching, completed, failed.

RealtimeConversationFileSearchCallItem

Élément de réponse de l’appel de recherche de fichiers.

Champ Type Description
id string ID unique de l’appel de l’outil de recherche de fichiers.
type string Doit être "file_search_call"
queries chaîne de caractères[] Optionnel. Les requêtes utilisées pour la recherche de fichiers.
status string État de l'accès à l’outil de recherche de fichiers. Un des in_progress, , searching, completedincomplete, , failed.
results tableau de FileSearchResult Optionnel. Les résultats de la recherche de fichiers.

FileSearchResult

Entrée de résultat de recherche de fichier unique.

Champ Type Description
identifiant_de_fichier string Optionnel. L’identifiant unique du fichier.
filename string Optionnel. Le nom du fichier.
Résultat Numéro Optionnel. Le score de pertinence du résultat de recherche du fichier.
text string Optionnel. Le contenu textuel du fichier correspondant à la requête.
attributes map Optionnel. Des paires clé-valeur pour filtrer les résultats de recherche de fichiers.

ActionSearch

Action de recherche web enregistrée dans le cadre d’un appel de recherche web.

Champ Type Description
type string Doit être "search".
query string Optionnel. Requête de recherche.
Sources tableau d’ActionSearchSource Optionnel. Sources utilisées dans la recherche.

ActionSearchSource

URL source référencée par une action de recherche web.

Champ Type Description
type string Doit être "url".
url string L’URL de la source.

ActionOpenPage

Action d’ouverture de page effectuée par le modèle pendant une recherche web.

Champ Type Description
type string Doit être "open_page".
url string URL ouverte par le modèle.

ActionFind

Action de recherche dans la page effectuée par le modèle pendant une recherche web.

Champ Type Description
type string Doit être "find".
pattern string Modèle ou texte à rechercher dans la page.
url string URL de la page recherchée pour le modèle.

TranscriptionPhrase

Expression transcrite avec des informations de minutage, retournée dans conversation.item.input_audio_transcription.completed.

Champ Type Description
offset_milliseconds entier Décalage par rapport au début de l’audio en millisecondes.
duration_milliseconds entier Durée de la phrase en millisecondes.
text string Le texte transcrit de la phrase.
words tableau de TranscriptionWord Optionnel. Les mots individuels dans la phrase avec les informations de synchronisation.
paramètre régional string Optionnel. Paramètres régionaux de la transcription (par exemple, en-US).
confiance Numéro Optionnel. Le score de confiance de la transcription.

TranscriptionWord

Mot horodaté dans une transcription.

Champ Type Description
text string Le texte transcrit.
offset_milliseconds entier Décalage par rapport au début de l’audio en millisecondes.
duration_milliseconds entier Durée du mot en millisecondes.

LogProbProperties

Informations de probabilité de journal pour un jeton de transcription.

Champ Type Description
jeton string Texte du jeton.
logprob Numéro Probabilité du journal naturel du jeton.
octets entier[] Optionnel. Représentation d’octet UTF-8 du jeton.

StatutDeL’ArticleEnTempsRéel

Statut des sujets de conversation.

Valeurs autorisées :

  • in_progress - Actuellement en cours de traitement
  • completed - Réussi
  • incomplete - Incomplet (interrompu ou échoué)

PartieDuContenuEnTempsRéel

Partie contenu dans un message.

RealtimeInputTextContentPart

Partie contenu textuel.

Champ Type Description
type string Doit être "input_text"
text string Le contenu du texte

RealtimeOutputTextContentPart

Partie contenu textuel.

Champ Type Description
type string Doit être "text"
text string Le contenu du texte

RealtimeInputAudioContentPart

Partie contenu audio.

Champ Type Description
type string Doit être "input_audio"
Audio string Optionnel. Données audio encodées en Base64
Transcription string Optionnel. Transcription audio

RealtimeOutputAudioContentPart

Partie contenu audio.

Champ Type Description
type string Doit être "audio"
Audio string Données audio encodées en Base64
Transcription string Optionnel. Transcription audio

Objets response

RealtimeResponse

Objet réponse représentant une réponse d’inférence modèle.

Champ Type Description
id string Optionnel. ID de réponse
Objet string Optionnel. Toujours "realtime.response"
status RealtimeResponseStatus Optionnel. État de la réponse
détails du statut RealtimeResponseStatusDetails Optionnel. Détails du statut
sortie RealtimeConversationResponseItem[] Optionnel. Éléments de sortie
utilisation RealtimeUsage Optionnel. Statistiques d’utilisation des jetons
conversation_id string Optionnel. ID de conversation associé
Voix RealtimeVoice Optionnel. Voix utilisée pour la réponse
Modalités chaîne de caractères[] Optionnel. Modalités de sortie utilisées
output_audio_format RealtimeOutputAudioFormat Optionnel. Format audio utilisé
Température Numéro Optionnel. Température utilisée
max_response_output_tokens entier ou « inf » Optionnel. Jetons max utilisés

StatutDeRéponseEnTempsRéel

Valeurs de statut de réponse.

Valeurs autorisées :

  • in_progress - La réponse est en cours de génération
  • completed - Réponse accomplie avec succès
  • cancelled - La réponse a été annulée
  • incomplete - Réponse incomplète (interrompue)
  • failed - Réponse échouée avec erreur

RealtimeUsage

Statistiques d’utilisation des jetons.

Champ Type Description
total_tokens entier Total des jetons utilisés
input_tokens entier Jetons d'entrée utilisés
output_tokens entier Jetons de sortie générés
détails_du_jeton TokenDetails Décomposition des jetons d’entrée
output_token_details TokenDetails Décomposition des jetons de sortie

TokenDetails

Répartition détaillée de l’utilisation des jetons.

Champ Type Description
cached_tokens entier Optionnel. Jetons mis en cache utilisés
text_tokens entier Optionnel. Jetons textuels utilisés
audio_tokens entier Optionnel. Jetons audio utilisés
jetons_de_raisonnement entier Optionnel. Jetons de raisonnement générés dans la sortie. S’applique uniquement aux détails du jeton de sortie.

Gestion des erreurs

RealtimeErrorDetails

Objet d’information d’erreur.

Champ Type Description
type string Type d’erreur (par exemple, "invalid_request_error", "server_error")
code string Optionnel. Code d’erreur spécifique
message string Description d’erreur lisible par l’humain
param string Optionnel. Paramètre lié à l’erreur
event_id string Optionnel. ID de l’événement client qui a causé l’erreur

ÉlémentDeDemandeDeConversationEnTempsRéel

Vous utilisez l’objet RealtimeConversationRequestItem pour créer un nouvel élément dans la conversation via l’événement conversation.item.create .

Il s’agit d’un type d’union qui peut être l’un des suivants :

RealtimeSystemMessageItem

Un message système.

Champ Type Description
type string Type de l’élément.

Valeurs autorisées : message
role string Le rôle du message.

Valeurs autorisées : system
contenu tableau des parties RealtimeInputTextContentPart Contenu du message.
id string L’identifiant unique de l’article. Le client peut spécifier l’ID pour aider à gérer le contexte côté serveur. Si le client ne fournit pas d’ID, le serveur en génère un.

RealtimeUserMessageItem

Un message utilisateur.

Champ Type Description
type string Type de l’élément.

Valeurs autorisées : message
role string Le rôle du message.

Valeurs autorisées : user
contenu Array de RealtimeInputTextContentPart ou RealtimeInputAudioContentPart Contenu du message.
id string L’identifiant unique de l’article. Le client peut spécifier l’ID pour aider à gérer le contexte côté serveur. Si le client ne fournit pas d’ID, le serveur en génère un.

RealtimeAssistantMessageItem

Un message d’assistant.

Champ Type Description
type string Type de l’élément.

Valeurs autorisées : message
role string Le rôle du message.

Valeurs autorisées : assistant
contenu array de RealtimeOutputTextContentPart Contenu du message.

RealtimeFunctionCallItem

Un élément d’appel de fonction.

Champ Type Description
type string Type de l’élément.

Valeurs autorisées : function_call
nom string Le nom de la fonction à appeler.
Arguments string Les arguments de la fonction appellent une chaîne JSON.
call_id string L’ID de l’élément de l’appel de fonction.
id string L’identifiant unique de l’article. Le client peut spécifier l’ID pour aider à gérer le contexte côté serveur. Si le client ne fournit pas d’ID, le serveur en génère un.

RealtimeFunctionCallOutputItem

Un élément de sortie qui appelle une fonction.

Champ Type Description
type string Type de l’élément.

Valeurs autorisées : function_call_output
call_id string L’ID de l’élément de l’appel de fonction.
sortie string La sortie de l’appel de fonction, c’est une chaîne libre avec le résultat de la fonction, pourrait également être vide.
id string L’identifiant unique de l’article. Si le client ne fournit pas d’ID, le serveur en génère un.

RealtimeMCPApprovalResponseItem

Un élément de réponse à l’approbation du MCP.

Champ Type Description
type string Type de l’élément.

Valeurs autorisées : mcp_approval_response
Approuver booléen Si la demande MCP est acceptée.
approval_request_id string L’identifiant de la demande d’approbation du MCP.
id string L’identifiant unique de l’article. Le client peut spécifier l’ID pour aider à gérer le contexte côté serveur. Si le client ne fournit pas d’ID, le serveur en génère un.

RealtimeFunctionTool

La définition d’un outil de fonction tel qu’utilisé par le point d’extrémité en temps réel.

Champ Type Description
type string Type de l’outil.

Valeurs autorisées : function
nom string Nom de la fonction.
description string La description de la fonction, y compris les consignes d’utilisation. Par exemple, « Utilisez cette fonction pour obtenir l’heure actuelle. »
parameters Objet Les paramètres de la fonction sous la forme d’un objet JSON.

StatutDeL’ArticleEnTempsRéel

Valeurs autorisées :

  • in_progress
  • completed
  • incomplete

RealtimeResponseAudioContentPart

Champ Type Description
type string Le type de contenu.

Valeurs autorisées : audio
Transcription string La transcription de l’audio.

Cette propriété est nulle.

Élément d'Appel de Fonction de Réponse en Temps Réel

Champ Type Description
type string Type de l’élément.

Valeurs autorisées : function_call
nom string Le nom de la fonction appelle l’item.
call_id string L’ID de l’élément de l’appel de fonction.
Arguments string Les arguments de la fonction appellent l’item.
status RealtimeItemStatus État de l’élément.

RealtimeResponseFunctionCallOutputItem

Champ Type Description
type string Type de l’élément.

Valeurs autorisées : function_call_output
call_id string L’ID de l’élément de l’appel de fonction.
sortie string La sortie de l’élément d’appel de la fonction.

Options de Réponse en Temps Réel

Champ Type Description
Modalités tableau Les modalités de sortie pour la réponse.

Valeurs autorisées : text, audio

Par exemple, "modalities": ["text", "audio"] est le réglage par défaut qui permet à la fois les modalités de sortie texte et audio. Pour n’activer que la sortie texte, réglez "modalities": ["text"]. Vous ne pouvez pas activer uniquement l’audio.
instructions string Les instructions (le message système) pour guider les réponses du modèle.
Voix RealtimeVoice La voix utilisée pour la réponse du modèle pour la session.

Une fois que la voix est utilisée pendant la session pour la réponse audio du modèle, elle ne peut plus être modifiée.
Outils array de RealtimeTool Les outils disponibles pour le modèle pour la session.
tool_choice RealtimeToolChoice Le choix de l’outil pour la session.
Température Numéro La température d’échantillonnage pour le modèle. Les valeurs de température autorisées sont limitées à [0,6, 1,2]. Par défaut à 0,8.
max_response_output_tokens entier ou « inf » Le nombre maximal de jetons de sortie par réponse d’assistant, y compris les appels d’outils.

Spécifiez un entier entre 1 et 4096 pour limiter les jetons de sortie. Sinon, il faut régler la valeur sur « inf » pour permettre le nombre maximal de jetons.

Par exemple, pour limiter les jetons de sortie à 1000, on fixe "max_response_output_tokens": 1000. Pour permettre le nombre maximal de jetons, on fixe "max_response_output_tokens": "inf".

La valeur par défaut est "inf".
intermédiaire-réponse InterimResponseConfig Optionnel. Configuration pour la génération de réponses intermédiaires en cas de latence ou d’appels d’outils.
effort de raisonnement ReasoningEffort Optionnel. Limite l’effort sur le raisonnement des modèles de raisonnement. Consultez la documentation des modèles pour les valeurs prises en charge pour chaque modèle. La réduction de l’effort de raisonnement peut entraîner des réponses plus rapides et l’utilisation d’un nombre inférieur de jetons sur le raisonnement dans une réponse.
conversation string Contrôle à quelle conversation la réponse est ajoutée. Les valeurs prises en charge sont auto et none.

La auto valeur (ou le fait de ne pas définir cette propriété) garantit que le contenu de la réponse est ajouté à la conversation par défaut de la session.

Définissez cette propriété pour none créer une réponse hors bande où les éléments ne seront pas ajoutés à la conversation par défaut.

Par défaut est "auto"
metadata map Ensemble de jusqu’à 16 paires clé-valeur pouvant être attachées à un objet. Cela peut être utile pour stocker des informations supplémentaires sur l’objet dans un format structuré. Les clés peuvent atteindre jusqu’à 64 caractères et les valeurs peuvent atteindre un maximum de 512 caractères.

Par exemple : metadata: { topic: "classification" }
interim_response InterimResponseConfig Optionnel. Configuration pour la génération de réponses intermédiaires en cas de latence ou d’appels d’outils. Remplace le paramètre au niveau de la session pour cette réponse.
pre_generated_assistant_message RealtimeAssistantMessageItem Optionnel. Un message d’assistant pré-généré à utiliser pour générer la réponse audio au lieu de laisser le modèle générer le texte. Lorsqu’il est fourni, le serveur génère une réponse audio pour le texte prédéfini, contournant ainsi l’inférence du modèle pour la génération de texte. Le message est ajouté à l’historique contextuel de la conversation. Le message doit avoir le role message défini comme et "assistant" inclus content avec une seule partie de texte textuel.

SessionDeRéponseEnTempsRéel

L’objet RealtimeResponseSession représente une session dans l’API Temps Réel. Il est utilisé dans certains événements serveur, tels que :

Champ Type Description
Objet string L’objet de la session.

Valeurs autorisées : realtime.session
id string L’identifiant unique de la session.
model string Le modèle utilisé pour la session.
Modalités tableau Les modalités de sortie pour la session.

Valeurs autorisées : text, audio

Par exemple, "modalities": ["text", "audio"] est le réglage par défaut qui permet à la fois les modalités de sortie texte et audio. Pour n’activer que la sortie texte, réglez "modalities": ["text"]. Vous ne pouvez pas activer uniquement l’audio.
instructions string Les instructions (le message système) pour guider les réponses texte et audio du modèle.

Voici quelques exemples d’instructions pour guider le contenu et la forme des réponses textuelles et audio :
"instructions": "be succinct"
"instructions": "act friendly"
"instructions": "here are examples of good responses"

Voici quelques exemples d’instructions pour guider le comportement audio :
"instructions": "talk quickly"
"instructions": "inject emotion into your voice"
"instructions": "laugh frequently"

Bien que le modèle ne suive pas toujours ces instructions, elles fournissent des indications sur le comportement souhaité.
Voix RealtimeVoice La voix utilisée pour la réponse du modèle pour la session.

Une fois que la voix est utilisée pendant la session pour la réponse audio du modèle, elle ne peut plus être modifiée.
input_audio_sampling_rate entier La fréquence d’échantillonnage de l’audio d’entrée.
input_audio_format RealtimeAudioFormat Le format de l’audio d’entrée.
output_audio_format RealtimeAudioFormat Le format de l’audio de sortie.
input_audio_transcription Paramètres de transcription de l'entrée audio en temps réel Les réglages pour la transcription de l’entrée audio.

Cette propriété est nulle.
turn_detection RealtimeTurnDetection Les réglages de détection de virage pour la session.

Cette propriété est nulle.
Outils array de RealtimeTool Les outils disponibles pour le modèle pour la session.
tool_choice RealtimeToolChoice Le choix de l’outil pour la session.
Température Numéro La température d’échantillonnage pour le modèle. Les valeurs de température autorisées sont limitées à [0,6, 1,2]. Par défaut à 0,8.
max_response_output_tokens entier ou « inf » Le nombre maximal de jetons de sortie par réponse d’assistant, y compris les appels d’outils.

Spécifiez un entier entre 1 et 4096 pour limiter les jetons de sortie. Sinon, il faut régler la valeur sur « inf » pour permettre le nombre maximal de jetons.

Par exemple, pour limiter les jetons de sortie à 1000, on fixe "max_response_output_tokens": 1000. Pour permettre le nombre maximal de jetons, on fixe "max_response_output_tokens": "inf".
intermédiaire-réponse InterimResponseConfig Configuration pour la génération de réponses intermédiaires en cas de latence ou d’appels d’outils.

Détails du statut de réponse en temps réel

Champ Type Description
type RealtimeResponseStatus L’état de la réponse.

RealtimeRateLimitsItem

Champ Type Description
nom string Le nom de la propriété de la limite de taux sur lequel cet élément inclut des informations.
limit entier La limite maximale configurée pour cette propriété de limite de débit.
restant entier Le quota restant disponible par rapport à la limite configurée pour cette propriété de limite de taux.
reset_seconds Numéro Le temps restant, en secondes, jusqu’à ce que cette propriété de limite de taux soit réinitialisée.