Remarque
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de modifier des répertoires.
Référence de l’API Voice Live
L’API Voice Live offre une communication bidirectionnelle en temps réel pour les applications vocales utilisant des connexions WebSocket.
L’API utilise des événements au format JSON envoyés via des connexions WebSocket pour gérer les conversations, les flux audio, les interactions avatar et les réponses en temps réel. Les événements sont catégorisés en événements clients (envoyés du client au serveur) et événements serveur (envoyés du serveur au client).
Point de terminaison et authentification
Point de terminaison WebSocket
Le point de terminaison WebSocket pour l’API Voice Live est :
wss://<your-ai-foundry-resource-name>.services.ai.azure.com/voice-live/realtime?api-version=2026-04-10
Pour les ressources plus anciennes qui utilisent le domaine hérité, utilisez :
wss://<your-ai-foundry-resource-name>.cognitiveservices.azure.com/voice-live/realtime?api-version=2026-04-10
Le point de terminaison est le même pour tous les modèles. La seule différence est le paramètre de requête model requis ou, lors de l’utilisation du service Microsoft Foundry Agent, des paramètres de requête agent-name et agent-project-name. Pour plus d’informations sur les paramètres de connexion de l’agent, consultez Ingrate Voice Live API avec un agent Microsoft Foundry.
Par exemple, un point de terminaison pour une ressource Microsoft Foundry qui utilise un modèle serait :
wss://<your-ai-foundry-resource-name>.services.ai.azure.com/voice-live/realtime?api-version=2026-04-10&model=gpt-realtime
Note
L’API Voice Live est optimisée pour les ressources Microsoft Foundry. Microsoft ressources Foundry sont recommandées pour une disponibilité complète des fonctionnalités. Azure AI Speech ressources ne prennent pas en charge Microsoft intégration du service Foundry Agent ou byOM (bring-your-own-model).
Authentification
L’API Voice Live prend en charge deux méthodes d’authentification :
-
Microsoft Entra ID (recommandé) : utilisez l’authentification basée sur des jetons pour une ressource Microsoft Foundry. Transmettez le jeton d’accès récupéré de deux façons :
-
BearerEn tant que jeton dans l’en-têteAuthorizationsur la connexion de préhandshake. Cette option n’est pas disponible dans un environnement de navigateur. -
AuthorizationEn tant que paramètre de chaîne de requête sur l’URI de requête, avec la valeurBearer <token>. Encodez l’URL en fonction des besoins. Les paramètres de chaîne de requête sont chiffrés par lewss://transport.
-
-
Clé API : fournissez l’une
api-keydes deux manières suivantes :- En tant qu’en-tête de
api-keyconnexion sur la connexion de préhandshake. Cette option n’est pas disponible dans un environnement de navigateur. - En tant que paramètre de chaîne de
api-keyrequête sur l’URI de requête. Les paramètres de chaîne de requête sont chiffrés par lewss://transport.
- En tant qu’en-tête de
Pour l’authentification sans clé recommandée avec Microsoft Entra ID :
- Affectez les rôles
Cognitive Services UseretAzure AI Userà votre compte d’utilisateur ou identité managée. Vous pouvez attribuer des rôles dans le Portail Azure sous Contrôle d’accès (IAM)>Ajouter une attribution de rôle. - Acquérir un jeton d’accès à l’aide du Azure CLI ou d’un Kit de développement logiciel (SDK) Azure. Le jeton doit être émis pour l’étendue
https://ai.azure.com/.default(ou l’étendue héritéehttps://cognitiveservices.azure.com/.default). - Envoyez le jeton sur la demande de mise à niveau WebSocket, soit dans l’en-tête
Authorizationau formatBearer <token>, soit en tant queAuthorizationparamètre de chaîne de requête avec la mêmeBearer <token>valeur.
Événements du client
L’API Voice Live prend en charge les événements clients suivants pouvant être envoyés du client au serveur :
| Événement | Description |
|---|---|
| session.update | Mettez à jour la configuration de la session incluant la voix, les modalités de sortie, la détection des virages et d’autres réglages |
| session.avatar.connect | Établir une connexion avatar en fournissant le SDP client pour la négociation WebRTC |
| input_audio_buffer.append | Ajouter des octets audio au tampon audio d’entrée |
| input_audio_buffer.commit | Validez le tampon audio d’entrée pour le traitement |
| input_audio_buffer.clear | Effacer le tampon audio d’entrée |
| conversation.item.create | Ajouter un nouvel élément au contexte de la conversation |
| conversation.item.retrieve | Récupérez un objet spécifique de la conversation |
| conversation.item.truncate | Tronquer un message audio d’assistant |
| conversation.item.delete | Retirez un élément de la conversation |
| response.create | Demandez au serveur de créer une réponse via inférence de modèle |
| response.cancel | Annuler une réponse en cours |
| output_audio_buffer.clear | Empêcher l’avatar de parler en désactivant la mémoire tampon audio de sortie côté serveur (mode avatar uniquement) |
session.update
Mettez à jour la configuration de la session. Cet événement peut être envoyé à tout moment pour modifier des paramètres tels que la voix, les modalités de sortie, la détection de virage, les outils et d’autres paramètres de session. Notez qu’une fois qu’une session est initialisée avec un modèle particulier, elle ne peut pas être changée vers un autre modèle.
Structure d’événements
{
"type": "session.update",
"session": {
"modalities": ["text", "audio"],
"voice": {
"type": "openai",
"name": "alloy"
},
"instructions": "You are a helpful assistant. Be concise and friendly.",
"input_audio_format": "pcm16",
"output_audio_format": "pcm16",
"input_audio_sampling_rate": 24000,
"turn_detection": {
"type": "azure_semantic_vad",
"threshold": 0.5,
"prefix_padding_ms": 420,
"silence_duration_ms": 500
},
"temperature": 0.8,
"max_response_output_tokens": "inf"
}
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Doit être "session.update" |
| session | RealtimeRequestSession | Objet de configuration de session avec champs à mettre à jour |
Exemple avec Azure Custom Voice
{
"type": "session.update",
"session": {
"voice": {
"type": "azure-custom",
"name": "my-custom-voice",
"endpoint_id": "12345678-1234-1234-1234-123456789012",
"temperature": 0.7,
"style": "cheerful"
},
"input_audio_noise_reduction": {
"type": "azure_deep_noise_suppression"
},
"avatar": {
"character": "lisa",
"customized": false,
"video": {
"resolution": {
"width": 1920,
"height": 1080
},
"bitrate": 2000000
}
}
}
}
session.avatar.connect
Établissez une connexion avatar en fournissant l’offre SDP (Session Description Protocol) du client pour la négociation média WebRTC. Cet événement est obligatoire lors de l’utilisation des fonctionnalités d’avatar.
Structure d’événements
{
"type": "session.avatar.connect",
"client_sdp": "<client_sdp>"
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Doit être "session.avatar.connect" |
| client_sdp | string | L’offre SDP du client pour l’établissement de connexion WebRTC, encodée avec base64 |
input_audio_buffer.append
Ajoutez des octets audio au tampon audio d’entrée.
Structure d’événements
{
"type": "input_audio_buffer.append",
"audio": "UklGRiQAAABXQVZFZm10IBAAAAABAAEARKwAAIhYAQACABAAZGF0YQAAAAA="
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Doit être "input_audio_buffer.append" |
| Audio | string | Données audio encodées en Base64 |
input_audio_buffer.commit
Commit le tampon audio d’entrée pour le traitement.
Structure d’événements
{
"type": "input_audio_buffer.commit"
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Doit être "input_audio_buffer.commit" |
input_audio_buffer.clear
Efface le tampon audio d’entrée.
Structure d’événements
{
"type": "input_audio_buffer.clear"
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Doit être "input_audio_buffer.clear" |
conversation.item.créer
Ajoutez un nouvel élément au contexte de la conversation. Cela peut inclure des messages, des appels de fonction et des réponses d’appel de fonction. Les éléments peuvent être insérés à des positions spécifiques dans l’historique de la conversation.
Structure d’événements
{
"type": "conversation.item.create",
"previous_item_id": "item_ABC123",
"item": {
"id": "item_DEF456",
"type": "message",
"role": "user",
"content": [
{
"type": "input_text",
"text": "Hello, how are you?"
}
]
}
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Doit être "conversation.item.create" |
| identifiant_élément_précédent | string | Optionnel. ID de l’élément après lequel insérer cet élément. Si cela n’est pas indiqué, il ajoute à la fin |
| item | RealtimeConversationRequestItem | L’élément à ajouter à la conversation |
Exemple avec du contenu audio
{
"type": "conversation.item.create",
"item": {
"type": "message",
"role": "user",
"content": [
{
"type": "input_audio",
"audio": "UklGRiQAAABXQVZFZm10IBAAAAABAAEARKwAAIhYAQACABAAZGF0YQAAAAA=",
"transcript": "Hello there"
}
]
}
}
Exemple avec sortie Appel de fonction
{
"type": "conversation.item.create",
"item": {
"type": "function_call_output",
"call_id": "call_123",
"output": "{\"location\": \"San Francisco\", \"temperature\": \"70\"}"
}
}
Exemple avec la réponse d’approbation du MCP
{
"type": "conversation.item.create",
"item": {
"type": "mcp_approval_response",
"approval_request_id": "mcp_approval_req_456",
"approve": true,
}
}
conversation.item.retrieve
Récupérez un élément spécifique dans l’historique de la conversation. Cela est utile pour inspecter l’audio traité après la suppression du bruit et le VAD.
Structure d’événements
{
"type": "conversation.item.retrieve",
"item_id": "item_ABC123"
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Doit être "conversation.item.retrieve" |
| item_id | string | L’identifiant de l’objet à récupérer |
conversation.item.truncate
Tronquez le contenu audio d’un message d’assistant. C’est utile pour arrêter la lecture à un moment précis et synchroniser la compréhension du serveur avec l’état du client.
Structure d’événements
{
"type": "conversation.item.truncate",
"item_id": "item_ABC123",
"content_index": 0,
"audio_end_ms": 5000
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Doit être "conversation.item.truncate" |
| item_id | string | L’ID de l’élément message d’assistant à tronquer |
| content_index | entier | L’index de la partie contenu à tronquer |
| audio_end_ms | entier | La durée jusqu’à laquelle on peut tronquer l’audio, en millisecondes |
conversation.item.delete
Supprimez un élément de l’historique de conversation.
Structure d’événements
{
"type": "conversation.item.delete",
"item_id": "item_ABC123"
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Doit être "conversation.item.delete" |
| item_id | string | L’identifiant de l’élément à supprimer |
response.create
Demandez au serveur de créer une réponse via l’inférence du modèle. Cet événement peut spécifier une configuration spécifique à la réponse qui supprime les paramètres par défaut de la session.
Structure d’événements
{
"type": "response.create",
"response": {
"modalities": ["text", "audio"],
"instructions": "Be extra helpful and detailed.",
"voice": {
"type": "openai",
"name": "alloy"
},
"output_audio_format": "pcm16",
"temperature": 0.7,
"max_response_output_tokens": 1000
}
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Doit être "response.create" |
| response | RealtimeResponseOptions | Configuration optionnelle de réponse qui supprime les paramètres par défaut de la session |
Exemple avec le choix de l’outil
{
"type": "response.create",
"response": {
"modalities": ["text"],
"tools": [
{
"type": "function",
"name": "get_current_time",
"description": "Get the current time",
"parameters": {
"type": "object",
"properties": {}
}
}
],
"tool_choice": "get_current_time",
"temperature": 0.3
}
}
Exemple avec l’animation
{
"type": "response.create",
"response": {
"modalities": ["audio", "animation"],
"animation": {
"model_name": "default",
"outputs": ["blendshapes", "viseme_id"]
},
"voice": {
"type": "azure-custom",
"name": "my-expressive-voice",
"endpoint_id": "12345678-1234-1234-1234-123456789012",
"style": "excited"
}
}
}
Exemple avec un message d’assistant pré-généré
Dans certains cas, vous pourriez vouloir générer une réponse audio pour un texte prédéfini au lieu que le modèle génère la réponse textuelle. Utilisez le pre_generated_assistant_message paramètre dans le response.create message. Vous ne pouvez inclure qu’une seule entrée de texte dans le content champ.
{
"type": "response.create",
"response": {
"pre_generated_assistant_message": {
"type": "message",
"role": "assistant",
"content": [
{
"type": "text",
"text": "repeat what I say"
}
]
}
}
}
Lorsque le service reçoit ce message, il génère une réponse audio pour le texte prédéfini. Le message est également ajouté à l’historique contextuel de la conversation.
réponse.annuler
Annulez une réponse en cours. Cela arrête immédiatement la génération de réponses et la sortie audio associée.
Structure d’événements
{
"type": "response.cancel"
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Doit être "response.cancel" |
output_audio_buffer.clear
Effacez la mémoire tampon audio de sortie côté serveur. Dans la préversion actuelle, cet événement est uniquement pris en charge en mode avatar et est utilisé pour empêcher l’avatar de parler en désactivant l’audio (et la vidéo d’avatar correspondante) que le serveur a mis en file d’attente pour la lecture. Le serveur répond par un output_audio_buffer.cleared événement.
Structure d’événements
{
"type": "output_audio_buffer.clear"
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Doit être "output_audio_buffer.clear" |
input_audio_buffer.append
L’événement client input_audio_buffer.append sert à ajouter des octets audio au tampon audio d’entrée. La mémoire tampon audio est un stockage temporaire dans lequel vous pouvez écrire et que vous pouvez valider ultérieurement.
En mode VAD (Détection d’activité vocale) serveur, le tampon audio est utilisé pour détecter la parole et le serveur décide quand valider le commit. Lorsque le VAD serveur est désactivé, le client peut choisir la quantité d’audio à placer dans chaque événement jusqu’à un maximum de 15 Mio. Par exemple, diffuser de plus petits morceaux depuis le client peut permettre au VAD d’être plus réactif.
Contrairement à la plupart des autres événements client, le serveur n’envoie pas de réponse de confirmation à l’événement client input_audio_buffer.append .
Structure d’événements
{
"type": "input_audio_buffer.append",
"audio": "<audio>"
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Le type d’événement doit être input_audio_buffer.append. |
| Audio | string | Octets audio codés en base64. Cette valeur doit être dans le format spécifié par le input_audio_format champ dans la configuration de la session. |
input_audio_buffer.clear
L’événement client input_audio_buffer.clear est utilisé pour effacer les octets audio dans le tampon.
Le serveur répond par un input_audio_buffer.cleared événement.
Structure d’événements
{
"type": "input_audio_buffer.clear"
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Le type d’événement doit être input_audio_buffer.clear. |
input_audio_buffer.commit
L’événement client input_audio_buffer.commit est utilisé pour valider le tampon audio d’entrée utilisateur, qui crée un nouvel élément de message utilisateur dans la conversation. L’audio est transcrit s’il input_audio_transcription est configuré pour la session.
En mode VAD serveur, le client n’a pas besoin d’envoyer cet événement, le serveur envoie automatiquement le tampon audio. Sans VAD serveur, le client doit valider le tampon audio pour créer un élément de message utilisateur. Cet événement client génère une erreur si le tampon audio d’entrée est vide.
Valider le tampon audio d’entrée ne crée pas de réponse du modèle.
Le serveur répond par un input_audio_buffer.committed événement.
Structure d’événements
{
"type": "input_audio_buffer.commit"
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Le type d’événement doit être input_audio_buffer.commit. |
Événements de serveur
L’API Voice Live envoie les événements serveur suivants pour communiquer le statut, les réponses et les données au client :
| Événement | Description |
|---|---|
| error | Indique qu’une erreur s’est produite lors du traitement |
| avertissement | Indique qu’un avertissement a eu lieu sans interrompre le déroulement de la conversation |
| session.created | Envoyé lorsqu’une nouvelle session est établie avec succès |
| session.updated | Envoyé lorsque la configuration de la session est mise à jour |
| session.avatar.connecting | Indique que la connexion WebRTC de l’avatar est en cours d’établissement |
| élément de conversation créé | Envoyé lorsqu’un nouvel élément est ajouté à la conversation |
| conversation.item.retrieved | Réponse à la demande conversation.item.retrieve |
| conversation.item.tronqué | Confirme la troncature des items |
| conversation.item.deleted | Confirme la suppression des éléments |
| conversation.item.input_audio_transcription.completed | La transcription audio d’entrée est complète |
| conversation.item.input_audio_transcription.delta | Transcription audio en streaming |
| conversation.item.input_audio_transcription.failed | Transcription audio d’entrée échouée |
| input_audio_buffer.commit | Le tampon audio d’entrée était destiné au traitement |
| input_audio_buffer.cleared | Le tampon audio d’entrée a été effacé |
| input_audio_buffer.speech_started | Voix détectée dans le tampon audio d’entrée (VAD) |
| input_audio_buffer.speech_stop | La parole se terminait dans le tampon audio d’entrée (VAD) |
| response.created | Une nouvelle génération de réponse a commencé |
| response.done | La génération de la réponse est terminée |
| response.output_item.added | Nouvel élément de sortie ajouté à la réponse |
| response.output_item.done | L’élément de sortie est terminé |
| response.content_part.added | Nouvelle partie de contenu ajoutée à l’élément de sortie |
| response.content_part.done | La partie contenu est terminée |
| response.text.delta | Diffusion de contenu textuel depuis le modèle |
| response.text.done | Le contenu textuel est complet |
| response.audio_transcript.delta | Transcription audio en streaming |
| response.audio_transcript.done | La transcription audio est complète |
| response.audio.delta | Diffusion du contenu audio depuis le modèle |
| response.audio.done | Le contenu audio est complet |
| response.animation_blendshapes.delta | Données de blendshapes d’animation en streaming |
| response.animation_blendshapes.done | Les données de blendshapes d’animation sont complètes |
| response.audio_timestamp.delta | Informations sur l’horodatage audio en streaming |
| response.audio_timestamp.done | Les informations sur l’horodatage audio sont complètes |
| response.animation_viseme.delta | Données visèmes d’animation en streaming |
| response.animation_viseme.done | Les données du visème d’animation sont complètes |
| response.function_call_arguments.delta | Arguments d’appel de fonction de streaming |
| response.function_call_arguments.done | Les arguments des appels de fonction sont complets |
| mcp_list_tools.in_progress | La liste des outils MCP est en cours |
| mcp_list_tools.completed | Liste des outils MCP terminée |
| mcp_list_tools.failed | L’inscription des outils MCP a échoué |
| response.mcp_call_arguments.delta | Arguments sur les appels MCP en streaming |
| response.mcp_call_arguments.done | Les arguments d’appel MCP sont complets |
| response.mcp_call.in_progress | L’appel au MCP est en cours |
| response.mcp_call.completed | Appel MCP terminé |
| response.mcp_call.failed | L’appel MCP a échoué |
| response.foundry_agent_call_arguments.delta | Arguments d’un agent de la fonderie de streaming |
| response.foundry_agent_call_arguments.done | Les arguments d’appel d’agents de fonderie sont complets |
| response.foundry_agent_call.in_progress | Un appel d’agent de fonderie est en cours |
| response.foundry_agent_call.completed | L’appel de l’agent de fonderie est terminé |
| response.foundry_agent_call.failed | L’appel de l’agent de la fonderie a échoué |
| session.avatar.switch_to_speaking | Avatar passé à l’état de parole |
| session.avatar.switch_to_idle | Avatar passé à l’état inactif |
| response.video.delta | Diffusion en continu des données de trame vidéo d’avatar |
| response.web_search_call.searching | L’appel de l’outil de recherche web effectue une recherche |
| response.web_search_call.in_progress | L’appel de l’outil de recherche web est en cours |
| response.web_search_call.completed | Appel de l’outil de recherche web terminé |
| response.file_search_call.searching | L’appel de l’outil de recherche de fichiers effectue une recherche |
| response.file_search_call.in_progress | L’appel de l’outil de recherche de fichiers est en cours |
| response.file_search_call.completed | Appel de l’outil de recherche de fichiers terminé |
| output_audio_buffer.cleared | La mémoire tampon audio de sortie a été effacée |
| response.audio_transcript.annotation.added | Une annotation a été ajoutée à une transcription audio |
session.created
Envoyé lorsqu’une nouvelle session est établie avec succès. C’est le premier événement reçu après la connexion à l’API.
Structure d’événements
{
"type": "session.created",
"session": {
"id": "sess_ABC123DEF456",
"object": "realtime.session",
"model": "gpt-realtime",
"modalities": ["text", "audio"],
"instructions": "You are a helpful assistant.",
"voice": {
"type": "openai",
"name": "alloy"
},
"input_audio_format": "pcm16",
"output_audio_format": "pcm16",
"input_audio_sampling_rate": 24000,
"turn_detection": {
"type": "azure_semantic_vad",
"threshold": 0.5,
"prefix_padding_ms": 420,
"silence_duration_ms": 500
},
"temperature": 0.8,
"max_response_output_tokens": "inf"
}
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Doit être "session.created" |
| session | RealtimeResponseSession | L’objet de session créé |
session.updated
Envoyé lorsque la configuration de la session est mise à jour avec succès en réponse à un session.update événement client.
Structure d’événements
{
"type": "session.updated",
"session": {
"id": "sess_ABC123DEF456",
"voice": {
"type": "azure-custom",
"name": "my-voice",
"endpoint_id": "12345678-1234-1234-1234-123456789012"
},
"temperature": 0.7,
"avatar": {
"character": "lisa",
"customized": false
}
}
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Doit être "session.updated" |
| session | RealtimeResponseSession | L’objet de session mis à jour |
session.avatar.connecting
Indique qu’une connexion WebRTC avatar est en cours d’établissement. Cet événement est envoyé en réponse à un session.avatar.connect événement client.
Structure d’événements
{
"type": "session.avatar.connecting",
"server_sdp": "<server_sdp>"
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Doit être "session.avatar.connecting" |
élément de conversation créé
Envoyé lorsqu’un nouvel élément est ajouté à la conversation, soit via un événement client, conversation.item.create soit automatiquement lors de la génération de la réponse.
Structure d’événements
{
"type": "conversation.item.created",
"previous_item_id": "item_ABC123",
"item": {
"id": "item_DEF456",
"object": "realtime.item",
"type": "message",
"status": "completed",
"role": "user",
"content": [
{
"type": "input_text",
"text": "Hello, how are you?"
}
]
}
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Doit être "conversation.item.created" |
| identifiant_élément_précédent | string | ID de l’élément après lequel cet élément a été inséré |
| item | RealtimeConversationResponseItem | L’élément de conversation créé |
Exemple avec un objet audio
{
"type": "conversation.item.created",
"item": {
"id": "item_GHI789",
"type": "message",
"status": "completed",
"role": "user",
"content": [
{
"type": "input_audio",
"audio": null,
"transcript": "What's the weather like today?"
}
]
}
}
conversation.item.retrieved
Envoyé en réponse à un conversation.item.retrieve événement client, en fournissant l’élément de conversation demandé.
Structure d’événements
{
"type": "conversation.item.retrieved",
"item": {
"id": "item_ABC123",
"object": "realtime.item",
"type": "message",
"status": "completed",
"role": "assistant",
"content": [
{
"type": "audio",
"audio": "UklGRiQAAABXQVZFZm10IBAAAAABAAEARKwAAIhYAQACABAAZGF0YQAAAAA=",
"transcript": "Hello! I'm doing well, thank you for asking. How can I help you today?"
}
]
}
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Doit être "conversation.item.retrieved" |
| item | RealtimeConversationResponseItem | L’élément de conversation récupéré |
conversation.élément.tronqué
L’événement serveur conversation.item.truncated est retourné lorsque le client tronque un message audio d’assistant précédent avec un conversation.item.truncate événement. Cet événement sert à synchroniser la compréhension audio par le serveur avec la lecture du client.
Cet événement tronque l’audio et supprime la transcription du texte côté serveur pour s’assurer qu’il n’y a pas de texte dans le contexte dont l’utilisateur n’a pas connaissance.
Structure d’événements
{
"type": "conversation.item.truncated",
"item_id": "<item_id>",
"content_index": 0,
"audio_end_ms": 0
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Le type d’événement doit être conversation.item.truncated. |
| item_id | string | L’identifiant de l’élément de message de l’assistant qui a été tronqué. |
| content_index | entier | L’index de la partie contenu tronquée. |
| audio_end_ms | entier | La durée jusqu’à laquelle l’audio a été tronqué, en millisecondes. |
élément de conversation supprimé
Envoyé en réponse à un conversation.item.delete événement client, confirmant que l’élément spécifié a été retiré de la conversation.
Structure d’événements
{
"type": "conversation.item.deleted",
"item_id": "item_ABC123"
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Doit être "conversation.item.deleted" |
| item_id | string | ID de l’élément supprimé |
réponse.créée
Envoyé lorsqu’une nouvelle génération de réponse commence. C’est le premier événement d’une séquence de réponse.
Structure d’événements
{
"type": "response.created",
"response": {
"id": "resp_ABC123",
"object": "realtime.response",
"status": "in_progress",
"status_details": null,
"output": [],
"usage": {
"total_tokens": 0,
"input_tokens": 0,
"output_tokens": 0
}
}
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Doit être "response.created" |
| response | RealtimeResponse | L’objet réponse qui a été créé |
response.done
Envoyée lorsque la génération de réponse est terminée. Cet événement contient la réponse finale avec tous les éléments de sortie et les statistiques d’utilisation.
Structure d’événements
{
"type": "response.done",
"response": {
"id": "resp_ABC123",
"object": "realtime.response",
"status": "completed",
"status_details": null,
"output": [
{
"id": "item_DEF456",
"object": "realtime.item",
"type": "message",
"status": "completed",
"role": "assistant",
"content": [
{
"type": "text",
"text": "Hello! I'm doing well, thank you for asking. How can I help you today?"
}
]
}
],
"usage": {
"total_tokens": 87,
"input_tokens": 52,
"output_tokens": 35,
"input_token_details": {
"cached_tokens": 0,
"text_tokens": 45,
"audio_tokens": 7
},
"output_token_details": {
"text_tokens": 15,
"audio_tokens": 20
}
}
}
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Doit être "response.done" |
| response | RealtimeResponse | L’objet réponse complété |
réponse.output_item.ajouté
Envoyé lorsqu’un nouvel élément de sortie est ajouté à la réponse pendant la génération.
Structure d’événements
{
"type": "response.output_item.added",
"response_id": "resp_ABC123",
"output_index": 0,
"item": {
"id": "item_DEF456",
"object": "realtime.item",
"type": "message",
"status": "in_progress",
"role": "assistant",
"content": []
}
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Doit être "response.output_item.added" |
| response_id | string | L’identifiant de la réponse à laquelle cet élément appartient |
| output_index | entier | Index de l’élément dans le tableau de sortie de la réponse |
| item | RealtimeConversationResponseItem | L’élément de sortie ajouté |
response.output_item.done
Envoyé lorsqu’un élément de sortie est terminé.
Structure d’événements
{
"type": "response.output_item.done",
"response_id": "resp_ABC123",
"output_index": 0,
"item": {
"id": "item_DEF456",
"object": "realtime.item",
"type": "message",
"status": "completed",
"role": "assistant",
"content": [
{
"type": "text",
"text": "Hello! I'm doing well, thank you for asking."
}
]
}
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Doit être "response.output_item.done" |
| response_id | string | L’identifiant de la réponse à laquelle cet élément appartient |
| output_index | entier | Index de l’élément dans le tableau de sortie de la réponse |
| item | RealtimeConversationResponseItem | L’élément de sortie terminé |
réponse.partie_contenu.ajoutée
L’événement serveur response.content_part.added est retourné lorsqu’une nouvelle partie de contenu est ajoutée à un élément de message d’assistant lors de la génération de la réponse.
Structure d’événements
{
"type": "response.content_part.added",
"response_id": "resp_ABC123",
"item_id": "item_DEF456",
"output_index": 0,
"content_index": 0,
"part": {
"type": "text",
"text": ""
}
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Doit être "response.content_part.added" |
| response_id | string | ID de la réponse |
| item_id | string | ID de l’élément auquel cette partie de contenu appartient |
| output_index | entier | Index de l’élément dans la réponse |
| content_index | entier | Index de cette partie de contenu dans l’élément |
| part | RealtimeContentPart | La partie contenu ajoutée |
response.content_part.done
L’événement serveur response.content_part.done est retourné lorsqu’une partie de contenu est terminée de diffuser un message d’assistant.
Cet événement est également retourné lorsqu’une réponse est interrompue, incomplète ou annulée.
Structure d’événements
{
"type": "response.content_part.done",
"response_id": "resp_ABC123",
"item_id": "item_DEF456",
"output_index": 0,
"content_index": 0,
"part": {
"type": "text",
"text": "Hello! I'm doing well, thank you for asking."
}
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Doit être "response.content_part.done" |
| response_id | string | ID de la réponse |
| item_id | string | ID de l’élément auquel cette partie de contenu appartient |
| output_index | entier | Index de l’élément dans la réponse |
| content_index | entier | Index de cette partie de contenu dans l’élément |
| part | RealtimeContentPart | La partie sur le contenu terminé |
response.text.delta
Diffusion de contenu textuel depuis le modèle. Envoyé de manière incrémentale au fur et à mesure que le modèle génère du texte.
Structure d’événements
{
"type": "response.text.delta",
"response_id": "resp_ABC123",
"item_id": "item_DEF456",
"output_index": 0,
"content_index": 0,
"delta": "Hello! I'm"
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Doit être "response.text.delta" |
| response_id | string | ID de la réponse |
| item_id | string | Identification de l’objet |
| output_index | entier | Index de l’élément dans la réponse |
| content_index | entier | Index de la partie contenu |
| delta | string | Contenu textuel incrémental |
response.text.done
Envoyé lorsque la génération de contenu texte est terminée.
Structure d’événements
{
"type": "response.text.done",
"response_id": "resp_ABC123",
"item_id": "item_DEF456",
"output_index": 0,
"content_index": 0,
"text": "Hello! I'm doing well, thank you for asking. How can I help you today?"
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Doit être "response.text.done" |
| response_id | string | ID de la réponse |
| item_id | string | Identification de l’objet |
| output_index | entier | Index de l’élément dans la réponse |
| content_index | entier | Index de la partie contenu |
| text | string | Le texte complet |
response.audio.delta
Diffusion du contenu audio depuis le modèle. L’audio est fourni sous forme de données codées en base64.
Structure d’événements
{
"type": "response.audio.delta",
"response_id": "resp_ABC123",
"item_id": "item_DEF456",
"output_index": 0,
"content_index": 0,
"delta": "UklGRiQAAABXQVZFZm10IBAAAAABAAEARKwAAIhYAQACABAAZGF0YQAAAAA="
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Doit être "response.audio.delta" |
| response_id | string | ID de la réponse |
| item_id | string | Identification de l’objet |
| output_index | entier | Index de l’élément dans la réponse |
| content_index | entier | Index de la partie contenu |
| delta | string | Bloc de données audio encodé en Base64 |
response.audio.done
Envoyé lorsque la génération de contenu audio est terminée.
Structure d’événements
{
"type": "response.audio.done",
"response_id": "resp_ABC123",
"item_id": "item_DEF456",
"output_index": 0,
"content_index": 0
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Doit être "response.audio.done" |
| response_id | string | ID de la réponse |
| item_id | string | Identification de l’objet |
| output_index | entier | Index de l’élément dans la réponse |
| content_index | entier | Index de la partie contenu |
response.audio_transcript.delta
Transcription en streaming du contenu audio généré.
Structure d’événements
{
"type": "response.audio_transcript.delta",
"response_id": "resp_ABC123",
"item_id": "item_DEF456",
"output_index": 0,
"content_index": 0,
"delta": "Hello! I'm doing"
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Doit être "response.audio_transcript.delta" |
| response_id | string | ID de la réponse |
| item_id | string | Identification de l’objet |
| output_index | entier | Index de l’élément dans la réponse |
| content_index | entier | Index de la partie contenu |
| delta | string | Texte de transcription incrémentale |
response.audio_transcript.done
Envoyé lorsque la génération de la transcription audio est terminée.
Structure d’événements
{
"type": "response.audio_transcript.done",
"response_id": "resp_ABC123",
"item_id": "item_DEF456",
"output_index": 0,
"content_index": 0,
"transcript": "Hello! I'm doing well, thank you for asking. How can I help you today?"
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Doit être "response.audio_transcript.done" |
| response_id | string | ID de la réponse |
| item_id | string | Identification de l’objet |
| output_index | entier | Index de l’élément dans la réponse |
| content_index | entier | Index de la partie contenu |
| Transcription | string | Le texte complet de la transcription |
conversation.élément.transcription_audio_insertion.terminée
L’événement serveur conversation.item.input_audio_transcription.completed est le résultat de la transcription audio de la voix écrite dans le tampon audio.
La transcription commence lorsque le tampon audio d’entrée est engagé par le client ou le serveur (en server_vad mode). La transcription s’exécute de manière asynchrone avec la création de réponses, donc cet événement peut survenir avant ou après les événements de réponse.
Les modèles d’API en temps réel acceptent l’audio en mode natif, et par conséquent, la transcription d’entrée est un processus distinct exécuté sur un modèle de reconnaissance vocale distinct tel que whisper-1. Ainsi, la transcription peut s’écarter quelque peu de l’interprétation du modèle et doit être considérée comme un guide approximatif.
Structure d’événements
{
"type": "conversation.item.input_audio_transcription.completed",
"item_id": "<item_id>",
"content_index": 0,
"transcript": "<transcript>"
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Le type d’événement doit être conversation.item.input_audio_transcription.completed. |
| item_id | string | L’identifiant de l’élément de message utilisateur contenant l’audio. |
| content_index | entier | L’index de la partie contenu contenant l’audio. |
| Transcription | string | Le texte transcrit. |
| logprobs | tableau de LogProbProperties | Optionnel. Les probabilités logarithiques des jetons de transcription. |
| expressions | tableau de TranscriptionPhrase | Optionnel. Les phrases de transcription avec les informations de synchronisation. |
conversation.element.transcription_audio_entrée.delta
L’événement serveur conversation.item.input_audio_transcription.delta est renvoyé lorsque la transcription audio d’entrée est configurée, et qu’une requête de transcription pour un message utilisateur est en cours. Cet événement fournit des résultats partiels de transcription au fur et à mesure qu’ils deviennent disponibles.
Structure d’événements
{
"type": "conversation.item.input_audio_transcription.delta",
"item_id": "<item_id>",
"content_index": 0,
"delta": "<delta>"
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Le type d’événement doit être conversation.item.input_audio_transcription.delta. |
| item_id | string | L’identifiant de l’élément du message utilisateur. |
| content_index | entier | L’index de la partie contenu contenant l’audio. |
| delta | string | Le texte de transcription incrémentale. |
transcription_audio_de_l_entrée_conversation.échouée
L’événement serveur conversation.item.input_audio_transcription.failed est retourné lorsque la transcription audio d’entrée est configurée, et qu’une requête de transcription pour un message utilisateur a échoué. Cet événement est distinct des autres error afin que le client puisse identifier l’élément lié.
Structure d’événements
{
"type": "conversation.item.input_audio_transcription.failed",
"item_id": "<item_id>",
"content_index": 0,
"error": {
"code": "<code>",
"message": "<message>",
"param": "<param>"
}
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Le type d’événement doit être conversation.item.input_audio_transcription.failed. |
| item_id | string | L’identifiant de l’élément du message utilisateur. |
| content_index | entier | L’index de la partie contenu contenant l’audio. |
| erreur | Objet | Détails de l’erreur de transcription. Voir les propriétés imbriquées dans le tableau suivant. |
Propriétés d’erreur
| Champ | Type | Description |
|---|---|---|
| type | string | Le type d’erreur. |
| code | string | Code d’erreur, s’il y en a. |
| message | string | Un message d’erreur lisible par l’humain. |
| param | string | Paramètre lié à l’erreur, s’il y en a. |
response.animation_blendshapes.delta
L’événement serveur response.animation_blendshapes.delta est retourné lorsque le modèle génère des données d’animation blendshapes dans le cadre d’une réponse. Cet événement fournit des données incrémentales sur les blendshapes dès qu’elles deviennent disponibles.
Structure d’événements
{
"type": "response.animation_blendshapes.delta",
"response_id": "resp_ABC123",
"item_id": "item_DEF456",
"output_index": 0,
"content_index": 0,
"frame_index": 0,
"frames": [
[0.0, 0.1, 0.2, ..., 1.0]
...
]
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Le type d’événement doit être response.animation_blendshapes.delta. |
| response_id | string | ID de la réponse |
| item_id | string | Identification de l’objet |
| output_index | entier | Index de l’élément dans la réponse |
| content_index | entier | Index de la partie contenu |
| frame_index | entier | Index de la première trame de ce lot de trames |
| Trames | Tableau du tableau de flotteurs | Tableau de cadres blendshape, chaque frame est un tableau de valeurs blendshape |
response.animation_blendshapes.done
L’événement serveur response.animation_blendshapes.done est retourné lorsque le modèle a terminé de générer des données d’animation blendshapes dans le cadre d’une réponse.
Structure d’événements
{
"type": "response.animation_blendshapes.done",
"response_id": "resp_ABC123",
"item_id": "item_DEF456",
"output_index": 0,
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Le type d’événement doit être response.animation_blendshapes.done. |
| response_id | string | ID de la réponse |
| item_id | string | Identification de l’objet |
| output_index | entier | Index de l’élément dans la réponse |
response.audio_timestamp.delta
L’événement serveur response.audio_timestamp.delta est retourné lorsque le modèle génère des données d’horodatage audio dans le cadre d’une réponse. Cet événement fournit des données temporelles incrémentales pour l’alignement audio et texte de sortie dès qu’il devient disponible.
Structure d’événements
{
"type": "response.audio_timestamp.delta",
"response_id": "resp_ABC123",
"item_id": "item_DEF456",
"output_index": 0,
"content_index": 0,
"audio_offset_ms": 0,
"audio_duration_ms": 500,
"text": "Hello",
"timestamp_type": "word"
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Le type d’événement doit être response.audio_timestamp.delta. |
| response_id | string | ID de la réponse |
| item_id | string | Identification de l’objet |
| output_index | entier | Index de l’élément dans la réponse |
| content_index | entier | Index de la partie contenu |
| audio_offset_ms | entier | Décalage audio en millisecondes à partir du début de l’audio |
| audio_duration_ms | entier | Durée du segment audio en millisecondes |
| text | string | Le segment de texte correspondant à cet horodatage audio |
| timestamp_type | string | Le type d’horodatage, actuellement seul « mot » est pris en charge |
response.audio_timestamp.done
Envoyé lorsque la génération de l’horodatage audio est terminée.
Structure d’événements
{
"type": "response.audio_timestamp.done",
"response_id": "resp_ABC123",
"item_id": "item_DEF456",
"output_index": 0,
"content_index": 0
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Le type d’événement doit être response.audio_timestamp.done. |
| response_id | string | ID de la réponse |
| item_id | string | Identification de l’objet |
| output_index | entier | Index de l’élément dans la réponse |
| content_index | entier | Index de la partie contenu |
response.animation_viseme.delta
L’événement serveur response.animation_viseme.delta est retourné lorsque le modèle génère des données visières d’animation dans le cadre d’une réponse. Cet événement fournit des données incrémentales du visème au fur et à mesure qu’elles deviennent disponibles.
Structure d’événements
{
"type": "response.animation_viseme.delta",
"response_id": "resp_ABC123",
"item_id": "item_DEF456",
"output_index": 0,
"content_index": 0,
"audio_offset_ms": 0,
"viseme_id": 1
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Le type d’événement doit être response.animation_viseme.delta. |
| response_id | string | ID de la réponse |
| item_id | string | Identification de l’objet |
| output_index | entier | Index de l’élément dans la réponse |
| content_index | entier | Index de la partie contenu |
| audio_offset_ms | entier | Décalage audio en millisecondes à partir du début de l’audio |
| viseme_id | entier | L’ID du visème correspondant à la forme de la bouche pour l’animation |
response.animation_viseme.done
L’événement serveur response.animation_viseme.done est retourné lorsque le modèle a terminé de générer des données visèmes d’animation dans le cadre d’une réponse.
Structure d’événements
{
"type": "response.animation_viseme.done",
"response_id": "resp_ABC123",
"item_id": "item_DEF456",
"output_index": 0,
"content_index": 0
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Le type d’événement doit être response.animation_viseme.done. |
| response_id | string | ID de la réponse |
| item_id | string | Identification de l’objet |
| output_index | entier | Index de l’élément dans la réponse |
| content_index | entier | Index de la partie contenu |
erreur
L’événement serveur error est retourné lorsqu’une erreur survient, qui peut être un problème client ou un problème serveur. La plupart des erreurs sont réparables et la session reste ouverte.
Structure d’événements
{
"type": "error",
"error": {
"code": "<code>",
"message": "<message>",
"param": "<param>",
"event_id": "<event_id>"
}
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Le type d’événement doit être error. |
| erreur | Objet | Détails de l’erreur. Voir les propriétés imbriquées dans le tableau suivant. |
Propriétés d’erreur
| Champ | Type | Description |
|---|---|---|
| type | string | Le type d’erreur. Par exemple, « invalid_request_error » et « server_error » sont des types d’erreurs. |
| code | string | Code d’erreur, s’il y en a. |
| message | string | Un message d’erreur lisible par l’humain. |
| param | string | Paramètre lié à l’erreur, s’il y en a. |
| event_id | string | L’identifiant de l’événement client qui a causé l’erreur, le cas échéant. |
avertissement
L’événement serveur warning est renvoyé lorsqu’un avertissement survient sans interruption du flux de conversation. Les avertissements sont informatifs et la séance se poursuit normalement.
Structure d’événements
{
"type": "warning",
"warning": {
"code": "<code>",
"message": "<message>",
"param": "<param>"
}
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Le type d’événement doit être warning. |
| avertissement | Objet | Détails de l’avertissement. Voir les propriétés imbriquées dans le tableau suivant. |
Propriétés d’avertissement
| Champ | Type | Description |
|---|---|---|
| message | string | Un message d’avertissement lisible par un humain. |
| code | string | Optionnel. Code d’avertissement, s’il y en a un. |
| param | string | Optionnel. Paramètre lié à l’avertissement, s’il y en a. |
tampon_audio_entrée.effacé
L’événement serveur input_audio_buffer.cleared est retourné lorsque le client efface le tampon audio d’entrée avec un input_audio_buffer.clear événement.
Structure d’événements
{
"type": "input_audio_buffer.cleared"
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Le type d’événement doit être input_audio_buffer.cleared. |
input_audio_buffer.engagé
L’événement serveur input_audio_buffer.committed est retourné lorsqu’un tampon audio d’entrée est confirmé, soit par le client, soit automatiquement en mode VAD serveur. La item_id propriété correspond à l’ID de l’élément du message utilisateur créé. Ainsi, un conversation.item.created événement est également envoyé au client.
Structure d’événements
{
"type": "input_audio_buffer.committed",
"previous_item_id": "<previous_item_id>",
"item_id": "<item_id>"
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Le type d’événement doit être input_audio_buffer.committed. |
| identifiant_élément_précédent | string | L’identifiant de l’élément précédent après quoi le nouvel élément est inséré. |
| item_id | string | L’ID de l’élément du message utilisateur créé. |
input_audio_buffer.début_du_discours
L’événement serveur input_audio_buffer.speech_started est renvoyé en server_vad mode lorsque la voix est détectée dans le tampon audio. Cet événement peut se produire à chaque fois que de l’audio est ajouté au tampon (sauf si la voix est déjà détectée).
Note
Le client peut vouloir utiliser cet événement pour interrompre la lecture audio ou fournir un retour visuel à l’utilisateur.
Le client doit s’attendre à recevoir un input_audio_buffer.speech_stopped événement lorsque la parole cesse. La item_id propriété est l’ID de l’élément du message utilisateur créé lorsque la parole s’arrête. Il item_id est également inclus dans l’événement input_audio_buffer.speech_stopped sauf si le client commet manuellement le tampon audio lors de l’activation du VAD.
Structure d’événements
{
"type": "input_audio_buffer.speech_started",
"audio_start_ms": 0,
"item_id": "<item_id>"
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Le type d’événement doit être input_audio_buffer.speech_started. |
| audio_start_ms | entier | Millisecondes à partir du début de tout l’audio écrit dans le tampon pendant la session, lorsque la parole a été détectée pour la première fois. Cette propriété correspond au début de l’audio envoyé au modèle, et inclut donc la prefix_padding_ms configuration dans la session. |
| item_id | string | L’identifiant de l’élément du message utilisateur créé lorsque la parole s’arrête. |
input_audio_buffer.speech_arrêtée
L’événement serveur input_audio_buffer.speech_stopped est retourné en server_vad mode lorsque le serveur détecte la fin de la parole dans le tampon audio.
Le serveur envoie également un conversation.item.created événement avec l’élément de message utilisateur créé à partir du tampon audio.
Structure d’événements
{
"type": "input_audio_buffer.speech_stopped",
"audio_end_ms": 0,
"item_id": "<item_id>"
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Le type d’événement doit être input_audio_buffer.speech_stopped. |
| audio_end_ms | entier | Des millisecondes depuis le début de la séance quand la parole s’est arrêtée. Cette propriété correspond à la fin de l’audio envoyé au modèle, et inclut donc la min_silence_duration_ms configuration dans la session. |
| item_id | string | L’ID de l’élément du message utilisateur créé. |
limites_de_débit.mises_à_jour
L’événement serveur rate_limits.updated est émis au début d’une réponse pour indiquer les limites de débit mises à jour.
Lorsqu’une réponse est créée, certains jetons sont réservés aux jetons de sortie. Les limites de taux indiquées ici reflètent cette réserve, qui est ensuite ajustée en conséquence une fois la réponse terminée.
Structure d’événements
{
"type": "rate_limits.updated",
"rate_limits": [
{
"name": "<name>",
"limit": 0,
"remaining": 0,
"reset_seconds": 0
}
]
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Le type d’événement doit être rate_limits.updated. |
| limitations de taux | tableau des LimitesVitessesÉléments RealtimeVariable | La liste des informations sur les limites de taux. |
response.audio.delta
L’événement serveur response.audio.delta est renvoyé lorsque l’audio généré par le modèle est mis à jour.
Structure d’événements
{
"type": "response.audio.delta",
"response_id": "<response_id>",
"item_id": "<item_id>",
"output_index": 0,
"content_index": 0,
"delta": "<delta>"
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Le type d’événement doit être response.audio.delta. |
| response_id | string | L’identification de la réponse. |
| item_id | string | ID de l’élément. |
| output_index | entier | L’indice de l’élément de sortie dans la réponse. |
| content_index | entier | L’index de la partie contenu dans la liste de contenu de l’élément. |
| delta | string | Delta de données audio codées en Base64. |
response.audio.done
L’événement serveur response.audio.done est retourné lorsque l’audio généré par le modèle est terminé.
Cet événement est également retourné lorsqu’une réponse est interrompue, incomplète ou annulée.
Structure d’événements
{
"type": "response.audio.done",
"response_id": "<response_id>",
"item_id": "<item_id>",
"output_index": 0,
"content_index": 0
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Le type d’événement doit être response.audio.done. |
| response_id | string | L’identification de la réponse. |
| item_id | string | ID de l’élément. |
| output_index | entier | L’indice de l’élément de sortie dans la réponse. |
| content_index | entier | L’index de la partie contenu dans la liste de contenu de l’élément. |
response.audio_transcript.delta
L’événement serveur response.audio_transcript.delta est retourné lorsque la transcription générée par modèle de la sortie audio est mise à jour.
Structure d’événements
{
"type": "response.audio_transcript.delta",
"response_id": "<response_id>",
"item_id": "<item_id>",
"output_index": 0,
"content_index": 0,
"delta": "<delta>"
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Le type d’événement doit être response.audio_transcript.delta. |
| response_id | string | L’identification de la réponse. |
| item_id | string | ID de l’élément. |
| output_index | entier | L’indice de l’élément de sortie dans la réponse. |
| content_index | entier | L’index de la partie contenu dans la liste de contenu de l’élément. |
| delta | string | La transcription est différente. |
response.audio_transcript.done
L’événement serveur response.audio_transcript.done est retourné lorsque la transcription générée par le modèle de la sortie audio est terminée en streaming.
Cet événement est également retourné lorsqu’une réponse est interrompue, incomplète ou annulée.
Structure d’événements
{
"type": "response.audio_transcript.done",
"response_id": "<response_id>",
"item_id": "<item_id>",
"output_index": 0,
"content_index": 0,
"transcript": "<transcript>"
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Le type d’événement doit être response.audio_transcript.done. |
| response_id | string | L’identification de la réponse. |
| item_id | string | ID de l’élément. |
| output_index | entier | L’indice de l’élément de sortie dans la réponse. |
| content_index | entier | L’index de la partie contenu dans la liste de contenu de l’élément. |
| Transcription | string | La transcription finale de l’audio. |
response.function_call_arguments.delta
L’événement serveur response.function_call_arguments.delta est retourné lorsque les arguments d’appel de fonction générés par le modèle sont mis à jour.
Structure d’événements
{
"type": "response.function_call_arguments.delta",
"response_id": "<response_id>",
"item_id": "<item_id>",
"output_index": 0,
"call_id": "<call_id>",
"delta": "<delta>"
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Le type d’événement doit être response.function_call_arguments.delta. |
| response_id | string | L’identification de la réponse. |
| item_id | string | L’ID de l’élément de l’appel de fonction. |
| output_index | entier | L’indice de l’élément de sortie dans la réponse. |
| call_id | string | L’ID de l’appel de fonction. |
| delta | string | Les arguments sont une chaîne JSON. |
response.function_call_arguments.done
L’événement serveur response.function_call_arguments.done est retourné lorsque les arguments d’appel de fonction générés par le modèle ont terminé d’être diffusés.
Cet événement est également retourné lorsqu’une réponse est interrompue, incomplète ou annulée.
Structure d’événements
{
"type": "response.function_call_arguments.done",
"response_id": "<response_id>",
"item_id": "<item_id>",
"output_index": 0,
"call_id": "<call_id>",
"arguments": "<arguments>"
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Le type d’événement doit être response.function_call_arguments.done. |
| response_id | string | L’identification de la réponse. |
| item_id | string | L’ID de l’élément de l’appel de fonction. |
| output_index | entier | L’indice de l’élément de sortie dans la réponse. |
| call_id | string | L’ID de l’appel de fonction. |
| Arguments | string | Les arguments finaux sous forme de chaîne JSON. |
mcp_list_tools.in_progress
L’événement serveur mcp_list_tools.in_progress est renvoyé lorsque le service commence à lister les outils disponibles d’un serveur MCP.
Structure d’événements
{
"type": "mcp_list_tools.in_progress",
"item_id": "<mcp_list_tools_item_id>"
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Le type d’événement doit être mcp_list_tools.in_progress. |
| item_id | string | L’ID de l’élément des outils de liste MCP en cours de traitement. |
mcp_list_tools.completed
L’événement serveur mcp_list_tools.completed est renvoyé lorsque le service termine de lister les outils disponibles depuis un serveur MCP.
Structure d’événements
{
"type": "mcp_list_tools.completed",
"item_id": "<mcp_list_tools_item_id>"
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Le type d’événement doit être mcp_list_tools.completed. |
| item_id | string | L’ID de l’élément des outils de liste MCP en cours de traitement. |
mcp_list_tools.échoué
L’événement serveur mcp_list_tools.failed est retourné lorsque le service ne répertorie pas les outils disponibles d’un serveur MCP.
Structure d’événements
{
"type": "mcp_list_tools.failed",
"item_id": "<mcp_list_tools_item_id>"
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Le type d’événement doit être mcp_list_tools.failed. |
| item_id | string | L’ID de l’élément des outils de liste MCP en cours de traitement. |
response.mcp_call_arguments.delta
L’événement serveur response.mcp_call_arguments.delta est retourné lorsque les arguments d’appel de l’outil MCP générés par le modèle sont mis à jour.
Structure d’événements
{
"type": "response.mcp_call_arguments.delta",
"response_id": "<response_id>",
"item_id": "<item_id>",
"output_index": 0,
"delta": "<delta>"
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Le type d’événement doit être response.mcp_call_arguments.delta. |
| response_id | string | L’identification de la réponse. |
| item_id | string | L’ID de l’élément d’appel de l’outil MCP. |
| output_index | entier | L’indice de l’élément de sortie dans la réponse. |
| delta | string | Les arguments sont une chaîne JSON. |
response.mcp_call_arguments.done
L’événement serveur response.mcp_call_arguments.done est retourné lorsque les arguments d’appel de l’outil MCP générés par le modèle ont terminé leur diffusion.
Structure d’événements
{
"type": "response.mcp_call_arguments.done",
"response_id": "<response_id>",
"item_id": "<item_id>",
"output_index": 0,
"arguments": "<arguments>"
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Le type d’événement doit être response.mcp_call_arguments.done. |
| response_id | string | L’identification de la réponse. |
| item_id | string | L’ID de l’élément d’appel de l’outil MCP. |
| output_index | entier | L’indice de l’élément de sortie dans la réponse. |
| Arguments | string | Les arguments finaux sous forme de chaîne JSON. |
response.mcp_call.in_progress
L’événement serveur response.mcp_call.in_progress est renvoyé lorsqu’un appel d’outil MCP commence à être traité.
Structure d’événements
{
"type": "response.mcp_call.in_progress",
"item_id": "<item_id>",
"output_index": 0
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Le type d’événement doit être response.mcp_call.in_progress. |
| item_id | string | L’ID de l’élément d’appel de l’outil MCP. |
| output_index | entier | L’indice de l’élément de sortie dans la réponse. |
réponse.appel_mcp.terminé
L’événement de serveur response.mcp_call.completed est retourné lorsqu’un appel d’outil MCP se termine correctement.
Structure d’événements
{
"type": "response.mcp_call.completed",
"item_id": "<item_id>",
"output_index": 0
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Le type d’événement doit être response.mcp_call.completed. |
| item_id | string | L’ID de l’élément d’appel de l’outil MCP. |
| output_index | entier | L’indice de l’élément de sortie dans la réponse. |
response.mcp_call.failed
L’événement de serveur response.mcp_call.failed est retourné lorsqu’un appel d’outil MCP échoue.
Structure d’événements
{
"type": "response.mcp_call.failed",
"item_id": "<item_id>",
"output_index": 0
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Le type d’événement doit être response.mcp_call.failed. |
| item_id | string | L’ID de l’élément d’appel de l’outil MCP. |
| output_index | entier | L’indice de l’élément de sortie dans la réponse. |
response.foundry_agent_call_arguments.delta
L’événement serveur response.foundry_agent_call_arguments.delta est retourné lorsque les arguments d’appel d’agent Foundry générés par le modèle sont mis à jour.
Structure d’événements
{
"type": "response.foundry_agent_call_arguments.delta",
"response_id": "<response_id>",
"item_id": "<item_id>",
"output_index": 0,
"delta": "<delta>"
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Le type d’événement doit être response.foundry_agent_call_arguments.delta. |
| response_id | string | L’identification de la réponse. |
| item_id | string | L’identifiant de l’agent de la fonderie appelle l’article. |
| output_index | entier | L’indice de l’élément de sortie dans la réponse. |
| delta | string | Les arguments sont une chaîne JSON. |
response.foundry_agent_call_arguments.done
L’événement serveur response.foundry_agent_call_arguments.done est retourné lorsque les arguments d’appel d’agent Foundry générés par le modèle ont terminé leur diffusion.
Structure d’événements
{
"type": "response.foundry_agent_call_arguments.done",
"response_id": "<response_id>",
"item_id": "<item_id>",
"output_index": 0,
"arguments": "<arguments>"
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Le type d’événement doit être response.foundry_agent_call_arguments.done. |
| response_id | string | L’identification de la réponse. |
| item_id | string | L’identifiant de l’agent de la fonderie appelle l’article. |
| output_index | entier | L’indice de l’élément de sortie dans la réponse. |
| Arguments | string | Les arguments finaux sous forme de chaîne JSON. |
response.foundry_agent_call.in_progress
L’événement serveur response.foundry_agent_call.in_progress est renvoyé lorsqu’un appel d’agent Foundry commence à être traité.
Structure d’événements
{
"type": "response.foundry_agent_call.in_progress",
"item_id": "<item_id>",
"output_index": 0
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Le type d’événement doit être response.foundry_agent_call.in_progress. |
| item_id | string | L’identifiant de l’agent de la fonderie appelle l’article. |
| agent_response_id | string | L’identifiant de réponse de l’agent de la fonderie. |
| output_index | entier | L’indice de l’élément de sortie dans la réponse. |
response.foundry_agent_call.completed
L’événement serveur response.foundry_agent_call.completed est renvoyé lorsqu’un appel d’agent de fonderie est terminé avec succès.
Structure d’événements
{
"type": "response.foundry_agent_call.completed",
"item_id": "<item_id>",
"agent_response_id": "<agent_response_id>",
"output_index": 0
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Le type d’événement doit être response.foundry_agent_call.completed. |
| item_id | string | L’identifiant de l’agent de la fonderie appelle l’article. |
| output_index | entier | L’indice de l’élément de sortie dans la réponse. |
response.foundry_agent_call.failed
L’événement serveur response.foundry_agent_call.failed est retourné lorsqu’un appel d’agent Foundry échoue.
Structure d’événements
{
"type": "response.foundry_agent_call.failed",
"item_id": "<item_id>",
"output_index": 0
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Le type d’événement doit être response.foundry_agent_call.failed. |
| item_id | string | L’identifiant de l’agent de la fonderie appelle l’article. |
| output_index | entier | L’indice de l’élément de sortie dans la réponse. |
réponse.output_item.ajouté
L’événement serveur response.output_item.added est renvoyé lorsqu’un nouvel élément est créé lors de la génération de la réponse.
Structure d’événements
{
"type": "response.output_item.added",
"response_id": "<response_id>",
"output_index": 0
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Le type d’événement doit être response.output_item.added. |
| response_id | string | L’identifiant de la réponse à laquelle l’élément appartient. |
| output_index | entier | L’indice de l’élément de sortie dans la réponse. |
| item | RealtimeConversationResponseItem | L’élément qui a été ajouté. |
response.output_item.done
L’événement serveur response.output_item.done est renvoyé lorsqu’un élément est terminé de streamer.
Cet événement est également retourné lorsqu’une réponse est interrompue, incomplète ou annulée.
Structure d’événements
{
"type": "response.output_item.done",
"response_id": "<response_id>",
"output_index": 0
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Le type d’événement doit être response.output_item.done. |
| response_id | string | L’identifiant de la réponse à laquelle l’élément appartient. |
| output_index | entier | L’indice de l’élément de sortie dans la réponse. |
| item | RealtimeConversationResponseItem | L’objet qui est déjà diffusé en streaming. |
response.text.delta
L’événement serveur response.text.delta est retourné lorsque le texte généré par le modèle est mis à jour. Le texte correspond à la text partie contenu d’un élément de message d’assistant.
Structure d’événements
{
"type": "response.text.delta",
"response_id": "<response_id>",
"item_id": "<item_id>",
"output_index": 0,
"content_index": 0,
"delta": "<delta>"
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Le type d’événement doit être response.text.delta. |
| response_id | string | L’identification de la réponse. |
| item_id | string | ID de l’élément. |
| output_index | entier | L’indice de l’élément de sortie dans la réponse. |
| content_index | entier | L’index de la partie contenu dans la liste de contenu de l’élément. |
| delta | string | Le texte est un delta. |
response.text.done
L’événement serveur response.text.done est retourné lorsque le texte généré par le modèle a terminé d’être diffusé. Le texte correspond à la text partie contenu d’un élément de message d’assistant.
Cet événement est également retourné lorsqu’une réponse est interrompue, incomplète ou annulée.
Structure d’événements
{
"type": "response.text.done",
"response_id": "<response_id>",
"item_id": "<item_id>",
"output_index": 0,
"content_index": 0,
"text": "<text>"
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Le type d’événement doit être response.text.done. |
| response_id | string | L’identification de la réponse. |
| item_id | string | ID de l’élément. |
| output_index | entier | L’indice de l’élément de sortie dans la réponse. |
| content_index | entier | L’index de la partie contenu dans la liste de contenu de l’élément. |
| text | string | Le contenu final du texte. |
session.avatar.switch_to_speaking
Retourné lorsque l’avatar passe à l’état de parole. Utilisez cet événement pour coordonner les modifications de l’interface utilisateur, telles que l’affichage d’un indicateur parlant.
Structure d’événements
{
"type": "session.avatar.switch_to_speaking",
"turn_id": "<turn_id>"
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Le type d’événement doit être session.avatar.switch_to_speaking. |
| turn_id | string | Optionnel. L’ID du tour associé à l’état de l’avatar change. |
session.avatar.switch_to_idle
Retourné lorsque l’avatar passe à l’état inactif.
Structure d’événements
{
"type": "session.avatar.switch_to_idle",
"turn_id": "<turn_id>"
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Le type d’événement doit être session.avatar.switch_to_idle. |
| turn_id | string | Optionnel. L’ID du tour associé à l’état de l’avatar change. |
response.video.delta
Retourné lorsque les données de trame vidéo d’avatar sont diffusées en continu vers le client. La charge utile d’image est encodée en base64 et utilise le codec indiqué par le codec champ.
Structure d’événements
{
"type": "response.video.delta",
"output_index": 0,
"codec": "h264",
"delta": "<base64_encoded_video_frame>"
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Le type d’événement doit être response.video.delta. |
| output_index | entier | L’indice de l’élément de sortie dans la réponse. |
| codec | string | Codec utilisé pour les données vidéo (par exemple, h264). |
| delta | string | Les données d’images vidéo codées en base64. |
response.web_search_call.searching
Retourné lorsqu’un appel d’outil de recherche web entre dans l’état de recherche.
Structure d’événements
{
"type": "response.web_search_call.searching",
"response_id": "<response_id>",
"item_id": "<item_id>",
"output_index": 0,
"sequence_number": 0
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Le type d’événement doit être response.web_search_call.searching. |
| response_id | string | L’identification de la réponse. |
| item_id | string | ID de l’élément d’appel de recherche web. |
| output_index | entier | L’indice de l’élément de sortie dans la réponse. |
| sequence_number | entier | Le numéro de séquence de l’appel de recherche web. |
response.web_search_call.in_progress
Retourné lorsqu’un appel d’outil de recherche web est en cours.
Structure d’événements
{
"type": "response.web_search_call.in_progress",
"response_id": "<response_id>",
"item_id": "<item_id>",
"output_index": 0,
"sequence_number": 0
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Le type d’événement doit être response.web_search_call.in_progress. |
| response_id | string | L’identification de la réponse. |
| item_id | string | ID de l’élément d’appel de recherche web. |
| output_index | entier | L’indice de l’élément de sortie dans la réponse. |
| sequence_number | entier | Le numéro de séquence de l’appel de recherche web. |
response.web_search_call.completed
Retourné lorsqu’un appel d’outil de recherche web est terminé.
Structure d’événements
{
"type": "response.web_search_call.completed",
"response_id": "<response_id>",
"item_id": "<item_id>",
"output_index": 0,
"sequence_number": 0
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Le type d’événement doit être response.web_search_call.completed. |
| response_id | string | L’identification de la réponse. |
| item_id | string | ID de l’élément d’appel de recherche web. |
| output_index | entier | L’indice de l’élément de sortie dans la réponse. |
| sequence_number | entier | Le numéro de séquence de l’appel de recherche web. |
response.file_search_call.searching
Retourné lorsqu’un appel d’outil de recherche de fichier entre dans l’état de recherche.
Structure d’événements
{
"type": "response.file_search_call.searching",
"response_id": "<response_id>",
"item_id": "<item_id>",
"output_index": 0,
"sequence_number": 0
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Le type d’événement doit être response.file_search_call.searching. |
| response_id | string | L’identification de la réponse. |
| item_id | string | ID de l’élément d’appel de recherche de fichiers. |
| output_index | entier | L’indice de l’élément de sortie dans la réponse. |
| sequence_number | entier | Le numéro de séquence de l’appel de recherche de fichier. |
response.file_search_call.in_progress
Retourné lorsqu’un appel d’outil de recherche de fichiers est en cours.
Structure d’événements
{
"type": "response.file_search_call.in_progress",
"response_id": "<response_id>",
"item_id": "<item_id>",
"output_index": 0,
"sequence_number": 0
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Le type d’événement doit être response.file_search_call.in_progress. |
| response_id | string | L’identification de la réponse. |
| item_id | string | ID de l’élément d’appel de recherche de fichiers. |
| output_index | entier | L’indice de l’élément de sortie dans la réponse. |
| sequence_number | entier | Le numéro de séquence de l’appel de recherche de fichier. |
response.file_search_call.completed
Retourné lorsqu’un appel d’outil de recherche de fichiers est terminé.
Structure d’événements
{
"type": "response.file_search_call.completed",
"response_id": "<response_id>",
"item_id": "<item_id>",
"output_index": 0,
"sequence_number": 0
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Le type d’événement doit être response.file_search_call.completed. |
| response_id | string | L’identification de la réponse. |
| item_id | string | ID de l’élément d’appel de recherche de fichiers. |
| output_index | entier | L’indice de l’élément de sortie dans la réponse. |
| sequence_number | entier | Le numéro de séquence de l’appel de recherche de fichier. |
output_audio_buffer.cleared
Retourné lorsque la mémoire tampon audio de sortie est effacée en réponse à un événement client output_audio_buffer.clear . Dans la préversion actuelle, cet événement est émis uniquement en mode avatar.
Structure d’événements
{
"type": "output_audio_buffer.cleared"
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Le type d’événement doit être output_audio_buffer.cleared. |
response.audio_transcript.annotation.added
Retourné lorsqu’une annotation (par exemple, une citation produite par un outil de recherche de fichiers ou web) est ajoutée à un composant de contenu de transcription audio.
Structure d’événements
{
"type": "response.audio_transcript.annotation.added",
"response_id": "<response_id>",
"item_id": "<item_id>",
"output_index": 0,
"content_index": 0,
"annotation_index": 0,
"annotation": {}
}
Propriétés
| Champ | Type | Description |
|---|---|---|
| type | string | Le type d’événement doit être response.audio_transcript.annotation.added. |
| response_id | string | L’identification de la réponse. |
| item_id | string | ID de l’élément. |
| output_index | entier | L’indice de l’élément de sortie dans la réponse. |
| content_index | entier | L’index de la partie contenu dans la liste de contenu de l’élément. |
| annotation_index | entier | L’index de l’annotation. |
| annotation | Objet | Objet d’annotation. Le schéma dépend de la source d’annotation (par exemple, citation de recherche web). |
Composants
Audio Formats
RealtimeAudioFormat
Format audio de base utilisé pour l’entrée audio.
Valeurs autorisées :
-
pcm16- Format audio PCM 16 bits -
g711_ulaw- Format audio G.711 μ-law -
g711_alaw- Format audio G.711 A-law
RealtimeOutputAudioFormat
Format audio utilisé pour la sortie audio avec des taux d’échantillonnage spécifiques.
Valeurs autorisées :
-
pcm16- Format audio PCM 16 bits à la fréquence d’échantillonnage par défaut (24kHz) -
pcm16_8000hz- Format audio PCM 16 bits à une fréquence d’échantillonnage de 8 kHz -
pcm16_16000hz- Format audio PCM 16 bits à un taux d’échantillonnage de 16 kHz -
g711_ulaw- Format audio G.711 μ-law (mu-law) à une fréquence d’échantillonnage de 8 kHz -
g711_alaw- Format audio G.711 A-law à une fréquence d’échantillonnage de 8 kHz
Paramètres de transcription de l'entrée audio en temps réel
Configuration de la transcription audio d’entrée.
L’alias mai-transcribe pointe vers le dernier modèle MAI Transcribe, actuellement mai-transcribe-2. Permet mai-transcribe-2 de sélectionner ce modèle explicitement.
Consultez le calendrier de mise hors service du modèle Microsoft pour connaître les dates de mise hors service et les modèles de remplacement.
| Champ | Type | Description |
|---|---|---|
| model | string | Le modèle de transcription. Pris en charge par gpt-realtime et gpt-realtime-mini:whisper-1, , gpt-4o-transcribe, gpt-4o-mini-transcribe, gpt-4o-transcribe-diarizemai-transcribe, , mai-transcribe-2.Pris en charge avec tous les autres modèles et agents : azure-speech, mai-transcribeet mai-transcribe-2 |
| language | string | Code de langage optionnel dans BCP-47 (par exemple, en-US), ou ISO-639-1 (par exemple, en), ou multilangues avec détection automatique (par exemple, en,zh).Voir Azure langues prises en main par la parole pour l’utilisation recommandée de ce paramètre. |
| custom_speech | Objet | Configuration optionnelle pour les modèles de voix personnalisées, valable uniquement pour le azure-speech modèle. Carte des paramètres régionaux à l’ID de point de terminaison d’un point de terminaison de reconnaissance vocale personnalisé déployé sur la même ressource (et non l’ID de modèle). |
| phrase_list | chaîne de caractères[] | Liste optionnelle d’indices de phrase pour reconnaître les biais. Pris en charge avec azure-speech, mai-transcribeet mai-transcribe-2. |
| prompt | string | Texte d’invite optionnel pour guider la transcription, valable uniquement pour whisper-1, gpt-4o-transcribe, gpt-4o-mini-transcribe et gpt-4o-transcribe-diarize les modèles. |
RealtimeInputAudioNoiseReductionSettings
Cela peut être :
- Un objet RealtimeOpenAINoiseReduction
- Un objet RealtimeAzureDeepNoiseSuppression
RealtimeOpenAINoiseReduction
Configuration OpenAI de réduction de bruit avec champ de type explicite, disponible uniquement pour gpt-realtime les modèles et gpt-realtime-mini .
| Champ | Type | Description |
|---|---|---|
| type | string |
near_field ou far_field |
RealtimeAzureDeepNoiseSuppression
Configuration de la réduction du bruit audio d’entrée.
| Champ | Type | Description |
|---|---|---|
| type | string | Doit être "azure_deep_noise_suppression" |
RealtimeInputAudioEchoCancellationSettings
Configuration d’annulation d’écho pour le traitement audio côté serveur.
| Champ | Type | Description |
|---|---|---|
| type | string | Doit être "server_echo_cancellation" |
Configuration vocale
RealtimeVoice
Union de toutes les configurations vocales prises en charge.
Cela peut être :
- Un objet RealtimeOpenAIVoice
- Un objet RealtimeAzureVoice
RealtimeOpenAIVoice
Configuration vocale OpenAI avec champ de type explicite.
| Champ | Type | Description |
|---|---|---|
| type | string | Doit être "openai" |
| nom | string | Nom de la voix OpenAI : alloy, ash, ballad, coralecho, sage, shimmer, versemarincedar |
RealtimeAzureVoice
Base pour les configurations vocales Azure. Il s’agit d’une union discriminée avec différents types :
RealtimeAzureStandardVoice
Configuration vocale standard Azure.
| Champ | Type | Description |
|---|---|---|
| type | string | Doit être "azure-standard" |
| nom | string | Nom de la voix (ne peut pas être vide) |
| Température | Numéro | Optionnel. Température comprise entre 0,0 et 1,0 |
| custom_lexicon_url | string | Optionnel. URL vers un lexique personnalisé |
| custom_text_normalization_url | string | Optionnel. URL vers la normalisation de texte personnalisée |
| prefer_locales | chaîne de caractères[] | Optionnel. Paramètres régionaux préférés Les lieux préférés changent les accents des langues. Si la valeur n’est pas définie, TTS utilise l’accent par défaut de chaque langue. Par exemple, lorsque le TTS parle anglais, il utilise l’accent américain. Et quand on parle espagnol, il utilise l’accent espagnol mexicain. Si on règle la prefer_locales à ["en-GB", "es-ES"], l’accent anglais est l’anglais britannique et l’accent espagnol est l’espagnol européen. Et TTS peut aussi parler d’autres langues comme le français, le chinois, etc. |
| paramètre régional | string | Optionnel. Spécification des paramètres régionaux Imposer le lieu de sortie TTS. Si ce n’est pas défini, TTS utilise toujours la localisation donnée pour parler. Par exemple, réglez la localisation à en-US, TTS utilise toujours l’accent anglais américain pour parler le contenu du texte, même si le contenu du texte est dans une autre langue. Et TTS produira un silence si le contenu du texte est en chinois. |
| style | string | Optionnel. Style vocal |
| présentation | string | Optionnel. Ajustement de la hauteur pour la sortie vocale. Suit les mêmes règles que l’attribut pitch de l’élément SSML prosody (voir Ajuster la prosodie). Valeurs classiques : un niveau nommé (x-low, , lowmediumhigh, x-high, , default), une modification relative (par exemple+10%, , -5%, +50Hz, -2st) ou une fréquence absolue (par exemple200Hz). |
| Taux | string | Optionnel. Ajustement du débit de voix pour la sortie vocale. Suit les mêmes règles que l’attribut rate de l’élément SSML prosody (voir Ajuster la prosodie). Valeurs classiques : un niveau nommé (x-slow, , slowmediumfast, x-fast, , default), un pourcentage relatif (par exemple+20%, -10%), ou un multiplicateur non négatif (par exemple0.5, ). 1.5 |
| volume | string | Optionnel. Réglage du volume pour la sortie vocale. Suit les mêmes règles que l’attribut volume de l’élément SSML prosody (voir Ajuster la prosodie). Valeurs classiques : un niveau nommé (silent, , x-softsoftmediumloudx-loud), defaultun nombre absolu compris entre 0,0 et 100,0 ou une modification relative (par exemple+10, ). -6dB |
RealtimeAzureCustomVoice
Configuration vocale personnalisée Azure (préférée pour les voix personnalisées).
| Champ | Type | Description |
|---|---|---|
| type | string | Doit être "azure-custom" |
| nom | string | Nom de la voix (ne peut pas être vide) |
| endpoint_id | string | ID de terminaison (ne peut pas être vide) |
| Température | Numéro | Optionnel. Température comprise entre 0,0 et 1,0 |
| custom_lexicon_url | string | Optionnel. URL vers un lexique personnalisé |
| custom_text_normalization_url | string | Optionnel. URL vers la normalisation de texte personnalisée |
| prefer_locales | chaîne de caractères[] | Optionnel. Paramètres régionaux préférés Les lieux préférés changent les accents des langues. Si la valeur n’est pas définie, TTS utilise l’accent par défaut de chaque langue. Par exemple, lorsque TTS parle anglais, il utilise l’accent anglais américain. Et quand on parle espagnol, il utilise l’accent espagnol mexicain. Si on règle la prefer_locales à ["en-GB", "es-ES"], l’accent anglais est l’anglais britannique et l’accent espagnol est l’espagnol européen. Et TTS peut aussi parler d’autres langues comme le français, le chinois, etc. |
| paramètre régional | string | Optionnel. Spécification des paramètres régionaux Imposer le lieu de sortie TTS. Si ce n’est pas défini, TTS utilise toujours la localisation donnée pour parler. Par exemple, réglez la localisation à en-US, TTS utilise toujours l’accent anglais américain pour parler le contenu du texte, même si le contenu du texte est dans une autre langue. Et TTS produira un silence si le contenu du texte est en chinois. |
| style | string | Optionnel. Style vocal |
| présentation | string | Optionnel. Ajustement de la hauteur pour la sortie vocale. Suit les mêmes règles que l’attribut pitch de l’élément SSML prosody (voir Ajuster la prosodie). Valeurs classiques : un niveau nommé (x-low, , lowmediumhigh, x-high, , default), une modification relative (par exemple+10%, , -5%, +50Hz, -2st) ou une fréquence absolue (par exemple200Hz). |
| Taux | string | Optionnel. Ajustement du débit de voix pour la sortie vocale. Suit les mêmes règles que l’attribut rate de l’élément SSML prosody (voir Ajuster la prosodie). Valeurs classiques : un niveau nommé (x-slow, , slowmediumfast, x-fast, , default), un pourcentage relatif (par exemple+20%, -10%), ou un multiplicateur non négatif (par exemple0.5, ). 1.5 |
| volume | string | Optionnel. Réglage du volume pour la sortie vocale. Suit les mêmes règles que l’attribut volume de l’élément SSML prosody (voir Ajuster la prosodie). Valeurs classiques : un niveau nommé (silent, , x-softsoftmediumloudx-loud), defaultun nombre absolu compris entre 0,0 et 100,0 ou une modification relative (par exemple+10, ). -6dB |
Exemple :
{
"type": "azure-custom",
"name": "my-custom-voice",
"endpoint_id": "12345678-1234-1234-1234-123456789012",
"temperature": 0.7,
"style": "cheerful",
"locale": "en-US"
}
RealtimeAzurePersonalVoice
Azure Personal Voice Configuration.
| Champ | Type | Description |
|---|---|---|
| type | string | Doit être "azure-personal" |
| nom | string | Nom de la voix (ne peut pas être vide) |
| Température | Numéro | Optionnel. Température comprise entre 0,0 et 1,0 |
| model | string | Modèle de base sous-jacent : DragonLatestNeural, DragonHDOmniLatestNeural |
| custom_lexicon_url | string | Optionnel. URL vers un lexique personnalisé |
| custom_text_normalization_url | string | Optionnel. URL vers la normalisation de texte personnalisée |
| prefer_locales | chaîne de caractères[] | Optionnel. Paramètres régionaux préférés Les lieux préférés changent les accents des langues. Si la valeur n’est pas définie, TTS utilise l’accent par défaut de chaque langue. Par exemple, lorsque le TTS parle anglais, il utilise l’accent américain. Et quand on parle espagnol, il utilise l’accent espagnol mexicain. Si on règle la prefer_locales à ["en-GB", "es-ES"], l’accent anglais est l’anglais britannique et l’accent espagnol est l’espagnol européen. Et TTS peut aussi parler d’autres langues comme le français, le chinois, etc. |
| paramètre régional | string | Optionnel. Spécification des paramètres régionaux Imposer le lieu de sortie TTS. Si ce n’est pas défini, TTS utilise toujours la localisation donnée pour parler. Par exemple, réglez la localisation à en-US, TTS utilise toujours l’accent anglais américain pour parler le contenu du texte, même si le contenu du texte est dans une autre langue. Et TTS produira un silence si le contenu du texte est en chinois. |
| présentation | string | Optionnel. Ajustement de la hauteur pour la sortie vocale. Suit les mêmes règles que l’attribut pitch de l’élément SSML prosody (voir Ajuster la prosodie). Valeurs classiques : un niveau nommé (x-low, , lowmediumhigh, x-high, , default), une modification relative (par exemple+10%, , -5%, +50Hz, -2st) ou une fréquence absolue (par exemple200Hz). |
| Taux | string | Optionnel. Ajustement du débit de voix pour la sortie vocale. Suit les mêmes règles que l’attribut rate de l’élément SSML prosody (voir Ajuster la prosodie). Valeurs classiques : un niveau nommé (x-slow, , slowmediumfast, x-fast, , default), un pourcentage relatif (par exemple+20%, -10%), ou un multiplicateur non négatif (par exemple0.5, ). 1.5 |
| volume | string | Optionnel. Réglage du volume pour la sortie vocale. Suit les mêmes règles que l’attribut volume de l’élément SSML prosody (voir Ajuster la prosodie). Valeurs classiques : un niveau nommé (silent, , x-softsoftmediumloudx-loud), defaultun nombre absolu compris entre 0,0 et 100,0 ou une modification relative (par exemple+10, ). -6dB |
Détection de tour
Détection de virage en temps réel
Configuration pour la détection de virage. Il s’agit d’un syndicat discriminé supportant plusieurs types de DAV.
RealtimeServerVAD
Détection de virage basée sur VAD de base.
| Champ | Type | Description |
|---|---|---|
| type | string | Doit être "server_vad" |
| threshold | float | Optionnel. Seuil d’activation dans la plage [0.01, 1.0) (valeur par défaut : 0,5) |
| prefix_padding_ms | entier | Optionnel. Remplissage audio avant le démarrage de la voix (par défaut : 400) |
| silence_duration_ms | entier | Optionnel. Durée du silence pour détecter la fin de la parole (par défaut : 500) |
| speech_duration_ms | entier | Optionnel. Durée minimale de la parole (par défaut : 200) |
| end_of_utterance_detection | RealtimeEOUDetection | Optionnel. Configuration de détection de fin d’énoncé |
| créer_réponse | booléen | Optionnel. Activez ou désactivez si une réponse est générée (valeur par défaut : true). |
| réponse à une interruption | booléen | Optionnel. Activez ou désactivez l'interruption barge-in (valeur par défaut : vrai). |
| auto_truncate | booléen | Optionnel. Tronque automatique lors d’une interruption (par défaut : faux) |
RealtimeOpenAISemanticVAD
Configuration sémantique VAD OpenAI qui utilise un modèle pour déterminer quand l’utilisateur a terminé de parler. Disponible uniquement pour gpt-realtime les modèles et gpt-realtime-mini de S.
| Champ | Type | Description |
|---|---|---|
| type | string | Doit être "semantic_vad" |
| empressement | string | Optionnel. Il s’agit d’un moyen de contrôler la rapidité avec laquelle le modèle est d’interrompre l’utilisateur, en paramétrant le délai d’attente maximal. En mode transcription, même si le modèle ne répond pas, il affecte la façon dont l’audio est segmenté. Les valeurs suivantes sont autorisées : - auto (valeur par défaut) équivaut à medium,- low laisse l’utilisateur prendre son temps pour parler,- high segmente l’audio dès que possible.Si vous souhaitez que le modèle réponde plus souvent en mode conversation, ou que des événements de transcription soient renvoyés plus rapidement en mode transcription, vous pouvez définir la promptitude sur high.En revanche, si vous souhaitez permettre à l’utilisateur de parler sans interruption en mode conversation, ou en mode transcription si vous souhaitez des blocs de transcription plus volumineux, vous pouvez définir l’impatience à low. |
| créer_réponse | booléen | Optionnel. Activez ou désactivez si une réponse est générée (valeur par défaut : true). |
| réponse à une interruption | booléen | Optionnel. Activez ou désactivez l'interruption barge-in (valeur par défaut : vrai). |
RealtimeAzureSemanticVAD
Azure SEMANTIC VAD, qui détermine quand l’utilisateur commence à parler à l’aide d’un modèle de parole sémantique, offrant une détection plus robuste dans des environnements bruyants.
| Champ | Type | Description |
|---|---|---|
| type | string | Doit être "azure_semantic_vad" |
| threshold | float | Optionnel. Seuil d’activation dans la plage [0.01, 1.0) (valeur par défaut : 0,5) |
| prefix_padding_ms | entier | Optionnel. Remplissage audio avant la reconnaissance vocale (par défaut : 420) |
| silence_duration_ms | entier | Optionnel. Durée du silence pour la fin du discours (par défaut : 500) |
| end_of_utterance_detection | RealtimeEOUDetection | Optionnel. Configuration de détection EOU |
| speech_duration_ms | entier | Optionnel. Durée minimale de la parole (par défaut : 80) |
| remove_filler_words | booléen | Optionnel. Supprimer les mots de remplissage (par défaut : faux) |
| langues | chaîne de caractères[] | Optionnel. Prend en charge l’anglais. Les autres langues sont ignorées (par défaut : aucune). |
| créer_réponse | booléen | Optionnel. Activez ou désactivez si une réponse est générée (valeur par défaut : true). |
| réponse à une interruption | booléen | Optionnel. Activez ou désactivez l'interruption barge-in (valeur par défaut : vrai). |
| auto_truncate | booléen | Optionnel. Tronque automatique lors d’une interruption (par défaut : faux) |
RealtimeAzureSemanticVADMultilinguel
Azure semantic VAD (variante par défaut).
| Champ | Type | Description |
|---|---|---|
| type | string | Doit être "azure_semantic_vad_multilingual" |
| threshold | float | Optionnel. Seuil d’activation dans la plage [0.01, 1.0) (valeur par défaut : 0,5) |
| prefix_padding_ms | entier | Optionnel. Remplissage audio avant la reconnaissance vocale (par défaut : 420) |
| silence_duration_ms | entier | Optionnel. Durée du silence pour la fin du discours (par défaut : 500) |
| end_of_utterance_detection | RealtimeEOUDetection | Optionnel. Configuration de détection EOU |
| speech_duration_ms | entier | Optionnel. Durée minimale de la parole (par défaut : 80) |
| remove_filler_words | booléen | Optionnel. Supprimer les mots de remplissage (par défaut : faux) |
| langues | chaîne de caractères[] | Optionnel. Prend en charge l’anglais, l’espagnol, le français, l’italien, l’allemand (DE), le japonais, le portugais, le chinois, le coréen, l’hindi. Les autres langues sont ignorées (par défaut : aucune). |
| créer_réponse | booléen | Optionnel. Activez ou désactivez si une réponse est générée (valeur par défaut : true). |
| réponse à une interruption | booléen | Optionnel. Activez ou désactivez l'interruption barge-in (valeur par défaut : vrai). |
| auto_truncate | booléen | Optionnel. Tronque automatique lors d’une interruption (par défaut : faux) |
RealtimeEOUDetection
Azure End-of-Tollance (EOU) pouvait indiquer quand l’utilisateur final cessait de parler tout en permettant des pauses naturelles. La détection de la fin d'énoncé peut réduire considérablement les signaux de fin de tour prématurés sans ajouter de latence perceptible par l'utilisateur.
| Champ | Type | Description |
|---|---|---|
| model | string | Peut être semantic_detection_v1 en support de l’anglais ou semantic_detection_v1_multilingual de l’anglais, espagnol, français, italien, allemand (DE), japonais, portugais, chinois, coréen, hindi |
| threshold_level | string | Optionnel. Niveau de seuil de détection (low, medium, high et default), le paramètre par défaut égale medium à . Avec un paramètre inférieur, la probabilité que la phrase soit terminée sera plus élevée. |
| timeout (délai en ms) | Numéro | Optionnel. Temps maximal en millisecondes pour attendre plus de paroles de l’utilisateur. Par défaut, c’est 1000 ms. |
Configuration d’Avatar
RealtimeAvatarConfig
Configuration du streaming et du comportement de l’avatar.
| Champ | Type | Description |
|---|---|---|
| type | string | Optionnel. Type d’avatar. Valeurs autorisées : video-avatar, photo-avatar. La valeur par défaut est video-avatar |
| ice_servers | RealtimeIceServer[] | Optionnel. Serveurs ICE pour WebRTC |
| character | string | Nom du personnage ou ID de l’avatar |
| style | string | Optionnel. Style Avatar (ton émotionnel, style de parole) |
| Personnalisé | booléen | Que l’avatar soit personnalisé |
| model | string | Optionnel. Nom de modèle de base pour l’avatar photo, requis si le type est photo-avatar, la valeur valide est vasa-1 |
| video | RealtimeVideoParams | Optionnel. Configuration vidéo |
| Scène | RealtimeAvatarScene | Optionnel. Configuration du niveau de zoom, de la position, de la rotation et de l’amplitude de mouvement de l’avatar dans l’image vidéo |
| output_protocol | string | Optionnel. Protocole de sortie pour le streaming d’avatar. Valeurs autorisées : websocket et webrtc. La valeur par défaut est webrtc |
| output_audit_audio | booléen | Optionnel. Lorsqu’activé, l’audit audio est transféré via WebSocket pour des fins de révision/débogage, même lorsque la sortie avatar est fournie via WebRTC. La valeur par défaut est false |
RealtimeIceServer
Configuration du serveur ICE pour la négociation de connexion WebRTC.
| Champ | Type | Description |
|---|---|---|
| urls | chaîne de caractères[] | URL des serveurs ICE (points de terminaison TURN ou STUN) |
| username | string | Optionnel. Nom d’utilisateur pour l’authentification |
| credential | string | Optionnel. Accréditation pour l’authentification |
RealtimeVideoParams
Paramètres de streaming vidéo pour Avatar.
| Champ | Type | Description |
|---|---|---|
| débit binaire | entier | Optionnel. Débit binaire en bits par seconde (par défaut : 2000000) |
| codec | string | Optionnel. Codec vidéo, actuellement seulement h264 (par défaut : h264) |
| crop | RealtimeVideoCrop | Optionnel. Paramètres de rognage |
| resolution | RealtimeVideoResolution | Optionnel. Paramètres de résolution |
| Arrière-plan | RealtimeVideoBackground | Optionnel. Paramètres d’arrière-plan |
| gop_size | entier | Optionnel. Taille du groupe de photos (par défaut : 10, plage : 1–2000) |
RealtimeVideoCrop
Définition du rectangle de recadrage vidéo.
| Champ | Type | Description |
|---|---|---|
| top_left | entier[] | Coin supérieur gauche [x, y], entiers non négatifs |
| bottom_right | entier[] | Coin inférieur droit [x, y], entiers non négatifs |
RealtimeVideoResolution
Spécification de résolution vidéo.
| Champ | Type | Description |
|---|---|---|
| width | entier | Largeur en pixels (doit être > 0) |
| height | entier | Hauteur en pixels (doit être > 0) |
RealtimeVideoBackground
Configuration vidéo en arrière-plan. Un seul de image_url ou color peut être fixé.
| Champ | Type | Description |
|---|---|---|
| image_url | string | Optionnel. URL d’une image d’arrière-plan |
| color | string | Optionnel. Valeur de couleur d’arrière-plan |
RealtimeAvatarScene
Configuration du niveau de zoom, de la position, de la rotation et de l’amplitude de mouvement de l’avatar dans l’image vidéo.
| Champ | Type | Description |
|---|---|---|
| zoom | Numéro | Optionnel. Niveau de zoom de l’avatar. La portée est (0, +∞). Les valeurs inférieures à 1 dézooment, les valeurs supérieures à 1 zooment. Par défaut est 0 |
| position_x | Numéro | Optionnel. Position horizontale de l’avatar. La portée est [-1, 1], en proportion de la largeur de l’image. Les valeurs négatives se déplacent à gauche, les valeurs positives à droite. Par défaut est 0 |
| position_y | Numéro | Optionnel. Position verticale de l’avatar. La portée est [-1, 1], en proportion de la hauteur du cadre. Les valeurs négatives montent, les valeurs positives descendent. Par défaut est 0 |
| rotation_x | Numéro | Optionnel. Rotation autour de l’axe X (hauteur). La portée est [-π, π] en radians. Les valeurs négatives tournent vers le haut, les valeurs positives tournent vers le bas. Par défaut est 0 |
| rotation_y | Numéro | Optionnel. Rotation autour de l’axe Y (lacet). La portée est [-π, π] en radians. Les valeurs négatives tournent à gauche, les valeurs positives tournent à droite. Par défaut est 0 |
| rotation_z | Numéro | Optionnel. Rotation autour de l’axe Z (roulis). La portée est [-π, π] en radians. Les valeurs négatives tournent dans le sens antihoraire, les valeurs positives tournent dans le sens des aiguilles d’une montre. Par défaut est 0 |
| Amplitude | Numéro | Optionnel. Amplitude du mouvement de l’avatar. La portée est (0, 1]. Les valeurs dans (0, 1) signifient amplitude réduite, 1 signifient amplitude complète. Par défaut est 0 |
Configuration de l’animation
RealtimeAnimation
Configuration pour les sorties d’animation, incluant blendshapes et visèmes.
| Champ | Type | Description |
|---|---|---|
| model_name | string | Optionnel. Nom du modèle d’animation (par défaut : "default") |
| outputs | RealtimeAnimationOutputType[] | Optionnel. Types de sortie (par défaut : ["blendshapes"]) |
RealtimeAnimationOutputType
Types de données d’animation à produire.
Valeurs autorisées :
-
blendshapes- Données sur les blendshapes faciales -
viseme_id- Données d’identifiant Viseme
Configuration de la session
Session de demande en temps réel
Objet de configuration de session utilisé dans les session.update événements.
| Champ | Type | Description |
|---|---|---|
| model | string | Optionnel. Nom de modèle à utiliser |
| Modalités | RealtimeModality[] | Optionnel. Les modalités de sortie prises en charge pour la session. Par exemple, « modalities » : [« texte », « audio »] est le paramètre par défaut qui permet à la fois les modalités de sortie texte et audio. Pour ne permettre que la sortie texte, définissez « modalités » : [« texte »]. Pour permettre la sortie avatar, définissez des « modalités » : [« texte », « audio », « avatar »]. Vous ne pouvez pas activer uniquement l’audio. |
| animation | RealtimeAnimation | Optionnel. Configuration de l’animation |
| Voix | RealtimeVoice | Optionnel. Configuration vocale |
| instructions | string | Optionnel. Instructions système pour le modèle. Les instructions pourraient guider l’audio de sortie si des voix OpenAI sont utilisées, mais peuvent ne pas s’appliquer aux voix Azure. |
| input_audio_sampling_rate | entier | Optionnel. Taux d’échantillonnage audio d’entrée en Hz (par défaut : 24000 pour pcm16, 8000 pour g711_ulaw et g711_alaw) |
| input_audio_format | RealtimeAudioFormat | Optionnel. Format audio d’entrée (par défaut : pcm16) |
| output_audio_format | RealtimeOutputAudioFormat | Optionnel. Format audio de sortie (par défaut : pcm16) |
| input_audio_noise_reduction | RealtimeInputAudioNoiseReductionSettings | Configuration de la réduction du bruit audio d’entrée. Cette valeur peut être définie sur Null pour la désactiver. La réduction du bruit filtre l’audio ajouté à la mémoire tampon audio d’entrée avant son envoi à VAD et au modèle. Le filtrage de l’audio peut améliorer la précision de détection de VAD et de la prise de parole (réduisant les faux positifs) et les performances du modèle en améliorant la perception de l’audio d’entrée. Cette propriété est nulle. |
| input_audio_echo_cancellation | RealtimeInputAudioEchoCancellationSettings | Configuration pour l’annulation de l’écho audio en entrée. Cette valeur peut être définie sur Null pour la désactiver. Cette annulation d’écho côté service peut aider à améliorer la qualité de l’audio d’entrée en réduisant l’impact de l’écho et de la réverbération. Cette propriété est nulle. |
| input_audio_transcription | Paramètres de transcription de l'entrée audio en temps réel | Configuration de la transcription audio d’entrée. La configuration est null (désactivée) par défaut. La transcription audio d’entrée n’est pas native du modèle, car le modèle consomme directement l’audio. La transcription s’exécute de façon asynchrone via le terminal /audio/transcriptions et doit être considérée comme un guide pour le contenu audio d’entrée plutôt que comme ce que le modèle a réellement entendu. Pour obtenir des conseils supplémentaires sur le service de transcription, le client peut éventuellement définir la langue et demander la transcription.Cette propriété est nulle. |
| turn_detection | RealtimeTurnDetection | Les réglages de détection de virage pour la session. Cette valeur peut être définie sur Null pour la désactiver. |
| Outils | array de RealtimeTool | Les outils disponibles pour le modèle pour la session. |
| tool_choice | RealtimeToolChoice | Le choix de l’outil pour la session. Valeurs autorisées : auto, none, et required. Sinon, vous pouvez spécifier le nom de la fonction à utiliser. |
| Température | Numéro | La température d’échantillonnage pour le modèle. Les valeurs de température autorisées sont limitées à [0,6, 1,2]. Par défaut à 0,8. |
| max_response_output_tokens | entier ou « inf » | Le nombre maximal de jetons de sortie par réponse d’assistant, y compris les appels d’outils. Spécifiez un entier entre 1 et 4096 pour limiter les jetons de sortie. Sinon, il faut régler la valeur sur « inf » pour permettre le nombre maximal de jetons. Par exemple, pour limiter les jetons de sortie à 1000, on fixe "max_response_output_tokens": 1000. Pour permettre le nombre maximal de jetons, on fixe "max_response_output_tokens": "inf".La valeur par défaut est "inf". |
| intermédiaire-réponse | InterimResponseConfig | Optionnel. Configuration pour la génération de réponses intermédiaires en cas de latence ou d’appels d’outils. |
| effort de raisonnement | ReasoningEffort | Optionnel. Limite l’effort sur le raisonnement des modèles de raisonnement. Consultez Azure Foundry doc pour plus de détails. La réduction de l’effort de raisonnement peut entraîner des réponses plus rapides et l’utilisation d’un nombre inférieur de jetons sur le raisonnement dans une réponse. |
| avatar | RealtimeAvatarConfig | Optionnel. Configuration de l’avatar |
| output_audio_timestamp_types | RealtimeAudioTimestampType[] | Optionnel. Types d’horodatage pour l’audio de sortie |
| metadata | map | Optionnel. Ensemble de jusqu’à 16 paires clé-valeur pouvant être attachées à la session. Cela est utile pour stocker des informations supplémentaires sur la session dans un format structuré, comme le suivi des ID, le contexte utilisateur ou des étiquettes spécifiques à l’application. Ces paires clé-valeur sont également incluses dans Microsoft journaux de ressources Foundry pour le suivi et les diagnostics. Les clés peuvent atteindre jusqu’à 64 caractères et les valeurs peuvent atteindre un maximum de 512 caractères. |
RealtimeModality
Prise en charge des modalités de sortie de session.
Valeurs autorisées :
-
text- Sortie texte -
audio- Sortie audio -
animation- Production d’animation -
avatar- Sortie vidéo Avatar
RealtimeAudioTimestampType
Types d’horodatage de sortie pris en charge dans le contenu de réponse audio.
Valeurs autorisées :
-
word- Horodatages par mot dans l’audio de sortie
ReasoningEffort
Limite l’effort sur le raisonnement des modèles de raisonnement. Consultez la documentation des modèles pour les valeurs prises en charge pour chaque modèle. La réduction de l’effort de raisonnement peut entraîner des réponses plus rapides et l’utilisation d’un nombre inférieur de jetons sur le raisonnement dans une réponse.
Valeurs autorisées :
-
none- Aucun effort de raisonnement -
minimal- Effort de raisonnement minimal -
low- Faible effort de raisonnement - réponses plus rapides avec moins de raisonnement -
medium- Effort de raisonnement moyen - équilibré entre vitesse et profondeur de raisonnement -
high- Effort de raisonnement élevé - raisonnement plus approfondi, peut prendre plus de temps -
xhigh- Effort de raisonnement extra élevé - profondeur maximale de raisonnement
Configuration de l’outil
Nous prenons en charge deux types d’outils : l’appel de fonctions et les outils MCP qui permettent de vous connecter à un serveur MCP.
Outil Temps Réel
Définition de l’outil pour l’appel de fonction.
| Champ | Type | Description |
|---|---|---|
| type | string | Doit être "function" |
| nom | string | Nom de la fonction |
| description | string | Description de la fonction et directives d’utilisation |
| parameters | Objet | Paramètres de fonction en tant qu’objet schéma JSON |
Choix d'outils en temps réel
Stratégie de sélection d’outils.
Cela peut être :
-
"auto"- Laisser le modèle choisir -
"none"- N’utilisez pas d’outils -
"required"- Doit utiliser un outil -
{ "type": "function", "name": "function_name" }- Utiliser une fonction spécifique
MCPTool
Configuration de l’outil MCP.
| Champ | Type | Description |
|---|---|---|
| type | string | Doit être "mcp" |
| server_label | string | Required. Étiquette du serveur MCP. |
| URL du serveur | string | Required. L’URL du serveur MCP. |
| outils_autorisés | chaîne de caractères[] | Optionnel. La liste des noms d’outils autorisés. Si ce n’est pas spécifié, tous les outils sont autorisés. |
| headers | Objet | Optionnel. Des en-têtes supplémentaires à inclure dans les demandes MCP. |
| authorization | string | Optionnel. Jeton d’autorisation pour les demandes MCP. |
| require_approval | chaîne ou dictionnaire | Optionnel. Si elle est définie sur une chaîne, la valeur doit être never ou always. Si elle est définie sur un dictionnaire, elle doit être au format {"never": ["<tool_name_1>", "<tool_name_2>"], "always": ["<tool_name_3>"]}. La valeur par défaut est always. Lorsqu’il est défini à always, l’exécution de l’outil nécessite une approbation, mcp_approval_request sera envoyé au client lorsque l’argument MCP sera terminé, et ne sera exécuté que lorsque mcp_approval_response avec approve=true est reçu. Lorsqu’il est réglé sur never, l’outil sera exécuté automatiquement sans approbation. |
FoundryAgentTool
Définition de l’outil pour intégrer un agent Foundry en tant qu’outil. Cela permet un modèle de superviseur de chat où un agent de chat basé sur le temps réel gère les interactions basiques tout en déléguant des tâches complexes à un agent Foundry plus intelligent.
| Champ | Type | Description |
|---|---|---|
| type | string | Doit être "foundry_agent" |
| agent_name | string | Required. Le nom de l’agent de la fonderie à appeler. |
| agent_version | string | Optionnel. La version de l’agent de la Fonderie à appeler. |
| project_name | string | Required. Le nom du projet Foundry contenant l’agent. |
| client_id | string | Optionnel. L’identifiant client associé à l’agent de Foundry. |
| description | string | Optionnel. Une description optionnelle pour l’outil agent Foundry. Si c’est fourni, il est utilisé à la place de la description de l’agent dans le portail Foundry. |
| foundry_resource_override | string | Optionnel. Remplacement pour la ressource Foundry utilisée pour exécuter l’agent. |
| agent_context_type | string | Optionnel. Le type de contexte à utiliser lors de l’invocation de l’agent Foundry. Valeurs possibles : no_context, agent_context. La valeur par défaut est agent_context.no_context: Seule la saisie utilisateur actuelle est envoyée, aucun contexte n’est maintenu.agent_context: L’agent conserve son propre contexte (thread), uniquement l’entrée courante envoyée par appel. |
| return_agent_response_directly | booléen | Optionnel. S’il faut retourner directement la réponse de l’agent dans la réponse Voice Live. La valeur par défaut est true. Lorsqu’il est réglé sur false, la réponse est envoyée à l’agent du chat pour reformulation. |
Exemple :
{
"instructions": "You are a helpful assistant. Please respond with a short message like 'working on this' before calling the agent tool.",
"tools": [
{
"type": "foundry_agent",
"agent_name": "customer-service-agent",
"agent_version": "2",
"project_name": "my-foundry-project",
"description": "A helpful agent that can search online information and handle complex customer requests"
}
]
}
Configuration de réponse intermédiaire
Les réponses intermédiaires permettent au système de générer des réponses audio temporaires pendant l’exécution des outils, améliorant ainsi l’expérience utilisateur en évitant le silence.
InterimResponseConfig
Configuration pour la génération de réponses intermédiaires. Il s’agit d’un type d’union qui peut être l’un des suivants :
- StaticInterimResponseConfig - Réponses intermédiaires pré-générées sélectionnées à partir d’une liste prédéfinie.
- LlmInterimResponseConfig - Réponses intermédiaires générées par un LLM.
StaticInterimResponseConfig
Configuration pour la génération de réponse intermédiaire statique. Sélectionne aléatoirement parmi des textes configurés lorsqu’une condition déclencheuse est remplie.
| Champ | Type | Description |
|---|---|---|
| type | string | Doit être "static-interim-response". |
| triggers | InterimResponseTrigger[] | Optionnel. Liste des déclencheurs pouvant déclencher la réponse intermédiaire. Tout déclencheur peut activer la réponse intermédiaire (logique OU). Valeurs soutenues : latency, tool. La valeur par défaut est ["latency"]. |
| latency_threshold_ms | entier | Optionnel. Seuil de latence en millisecondes avant de déclencher la réponse intermédiaire. Par défaut, c’est 2000 ms. La valeur minimale est 0. |
| Textes | chaîne de caractères[] | Optionnel. Liste des options de texte de réponse intermédiaire parmi lesquelles choisir au hasard. |
Exemple :
{
"session": {
"interim-response": {
"type": "static-interim-response",
"triggers": ["latency", "tool"],
"latency_threshold_ms": 1500,
"texts": [
"Let me think about that...",
"One moment please...",
"Working on that for you..."
]
}
}
}
LlmInterimResponseConfig
Configuration pour la génération de réponses intermédiaires basée sur un LLM. Utilise le LLM pour générer des réponses intermédiaires contextuelles lorsqu’une condition déclencheuse est remplie.
| Champ | Type | Description |
|---|---|---|
| type | string | Doit être "llm-interim-response". |
| triggers | InterimResponseTrigger[] | Optionnel. Liste des déclencheurs pouvant déclencher la réponse intermédiaire. Tout déclencheur peut activer la réponse intermédiaire (logique OU). Valeurs soutenues : latency, tool. La valeur par défaut est ["latency"]. |
| latency_threshold_ms | entier | Optionnel. Seuil de latence en millisecondes avant de déclencher la réponse intermédiaire. Par défaut, c’est 2000 ms. La valeur minimale est 0. |
| model | string | Optionnel. Le modèle à utiliser pour la génération de réponses intermédiaires basée sur des LLM. La valeur par défaut est gpt-4.1-mini. Le modèle par défaut peut changer sans nouvelle version d’API. |
| instructions | string | Optionnel. Instructions personnalisées pour générer des réponses intermédiaires. Si cela n’est pas fourni, une invite par défaut est utilisée. |
| max_completion_tokens | entier | Optionnel. Nombre maximal de jetons à générer pour la réponse intermédiaire. La valeur par défaut est 50. La valeur minimale est 1. |
Exemple :
{
"session": {
"interim-response": {
"type": "llm-interim-response",
"triggers": ["tool"],
"latency_threshold_ms": 2000,
"model": "gpt-4.1-mini",
"instructions": "Generate a brief, friendly acknowledgment that you're working on the user's request.",
"max_completion_tokens": 30
}
}
}
InterimResponseTrigger
Des déclencheurs pouvant activer la génération de réponses intermédiaires.
Valeurs autorisées :
-
latency- Déclencher la réponse intermédiaire lorsque la latence de réponse dépasse le seuil -
tool- Déclencher une réponse intermédiaire lors de l’exécution d’un appel d’outil
RealtimeConversationResponseItem
Il s’agit d’un type d’union qui peut être l’un des suivants :
RealtimeConversationUserMessageItem
Message utilisateur.
| Champ | Type | Description |
|---|---|---|
| id | string | L’identifiant unique de l’article. |
| type | string | Doit être "message" |
| Objet | string | Doit être "conversation.item" |
| role | string | Doit être "user" |
| contenu | RealtimeInputTextContentPart | Contenu du message. |
| status | RealtimeItemStatus | État de l’élément. |
RealtimeConversationAssistantMessageItem
Message d’assistant.
| Champ | Type | Description |
|---|---|---|
| id | string | L’identifiant unique de l’article. |
| type | string | Doit être "message" |
| Objet | string | Doit être "conversation.item" |
| role | string | Doit être "assistant" |
| contenu | PartieContenuContenuTempsTempsSortie[] ou PartiContenuAudioSortieRéel[] | Contenu du message. |
| status | RealtimeItemStatus | État de l’élément. |
RealtimeConversationSystemMessageItem
Message système.
| Champ | Type | Description |
|---|---|---|
| id | string | L’identifiant unique de l’article. |
| type | string | Doit être "message" |
| Objet | string | Doit être "conversation.item" |
| role | string | Doit être "system" |
| contenu | RealtimeInputTextContentPart[] | Contenu du message. |
| status | RealtimeItemStatus | État de l’élément. |
RealtimeConversationFunctionCallItem
Appel de fonction objet de demande.
| Champ | Type | Description |
|---|---|---|
| id | string | L’identifiant unique de l’article. |
| type | string | Doit être "function_call" |
| Objet | string | Doit être "conversation.item" |
| nom | string | Le nom de la fonction à appeler. |
| Arguments | string | Les arguments pour la fonction s’appellent comme une chaîne JSON. |
| call_id | string | L’identifiant unique de l’appel de fonction. |
| status | RealtimeItemStatus | État de l’élément. |
RealtimeConversationFunctionCallOutputItem
Élément de réponse à l’appel de fonction.
| Champ | Type | Description |
|---|---|---|
| id | string | L’identifiant unique de l’article. |
| type | string | Doit être "function_call_output" |
| Objet | string | Doit être "conversation.item" |
| nom | string | Le nom de la fonction qui a été appelée. |
| sortie | string | La sortie de l’appel de la fonction. |
| call_id | string | L’identifiant unique de l’appel de fonction. |
| status | RealtimeItemStatus | État de l’élément. |
RealtimeConversationMCPListToolsItem
Outil de liste MCP : élément de réponse.
| Champ | Type | Description |
|---|---|---|
| id | string | L’identifiant unique de l’article. |
| type | string | Doit être "mcp_list_tools" |
| server_label | string | Étiquette du serveur MCP. |
RealtimeConversationMCPCallItem
Élément de réponse téléphonique MCP.
| Champ | Type | Description |
|---|---|---|
| id | string | L’identifiant unique de l’article. |
| type | string | Doit être "mcp_call" |
| server_label | string | Étiquette du serveur MCP. |
| nom | string | Le nom de l’outil à appeler. |
| approval_request_id | string | L’ID de demande d’approbation pour l’appel MCP. |
| Arguments | string | Les arguments en faveur de l’appel au MCP. |
| sortie | string | La sortie de l’appel MCP. |
| erreur | Objet | L’erreur précise si l’appel MCP a échoué. |
RealtimeConversationMCPApprovalRequestItem
Article de demande d’approbation MCP.
| Champ | Type | Description |
|---|---|---|
| id | string | L’identifiant unique de l’article. |
| type | string | Doit être "mcp_approval_request" |
| server_label | string | Étiquette du serveur MCP. |
| nom | string | Le nom de l’outil à appeler. |
| Arguments | string | Les arguments en faveur de l’appel au MCP. |
RealtimeConversationFoundryAgentCallItem
Agent de la fonderie, objet de réponse à l’appel.
| Champ | Type | Description |
|---|---|---|
| id | string | L’identifiant unique de l’article. |
| type | string | Doit être "foundry_agent_call" |
| nom | string | Le nom de l’agent de la fonderie. |
| call_id | string | L’identifiant de l’appel. |
| Arguments | string | Les arguments pour l’appel de l’agent de la fonderie. |
| agent_response_id | string | Optionnel. L’identifiant de réponse de l’agent de la fonderie. |
| sortie | string | Optionnel. La sortie de l’appel de l’agent de fonderie. |
| erreur | Objet | Optionnel. L’erreur précise si l’appel de l’agent de la fonderie a échoué. |
RealtimeConversationWebSearchCallItem
Élément de réponse d’appel de recherche web.
| Champ | Type | Description |
|---|---|---|
| id | string | ID unique de l’appel de l’outil de recherche web. |
| type | string | Doit être "web_search_call" |
| status | string | L’état de l’appel d’outil de recherche web. Un des in_progress, searching, completed, failed. |
RealtimeConversationFileSearchCallItem
Élément de réponse de l’appel de recherche de fichiers.
| Champ | Type | Description |
|---|---|---|
| id | string | ID unique de l’appel de l’outil de recherche de fichiers. |
| type | string | Doit être "file_search_call" |
| queries | chaîne de caractères[] | Optionnel. Les requêtes utilisées pour la recherche de fichiers. |
| status | string | État de l'accès à l’outil de recherche de fichiers. Un des in_progress, , searching, completedincomplete, , failed. |
| results | tableau de FileSearchResult | Optionnel. Les résultats de la recherche de fichiers. |
FileSearchResult
Entrée de résultat de recherche de fichier unique.
| Champ | Type | Description |
|---|---|---|
| identifiant_de_fichier | string | Optionnel. L’identifiant unique du fichier. |
| filename | string | Optionnel. Le nom du fichier. |
| Résultat | Numéro | Optionnel. Le score de pertinence du résultat de recherche du fichier. |
| text | string | Optionnel. Le contenu textuel du fichier correspondant à la requête. |
| attributes | map | Optionnel. Des paires clé-valeur pour filtrer les résultats de recherche de fichiers. |
ActionSearch
Action de recherche web enregistrée dans le cadre d’un appel de recherche web.
| Champ | Type | Description |
|---|---|---|
| type | string | Doit être "search". |
| query | string | Optionnel. Requête de recherche. |
| Sources | tableau d’ActionSearchSource | Optionnel. Sources utilisées dans la recherche. |
ActionSearchSource
URL source référencée par une action de recherche web.
| Champ | Type | Description |
|---|---|---|
| type | string | Doit être "url". |
| url | string | L’URL de la source. |
ActionOpenPage
Action d’ouverture de page effectuée par le modèle pendant une recherche web.
| Champ | Type | Description |
|---|---|---|
| type | string | Doit être "open_page". |
| url | string | URL ouverte par le modèle. |
ActionFind
Action de recherche dans la page effectuée par le modèle pendant une recherche web.
| Champ | Type | Description |
|---|---|---|
| type | string | Doit être "find". |
| pattern | string | Modèle ou texte à rechercher dans la page. |
| url | string | URL de la page recherchée pour le modèle. |
TranscriptionPhrase
Expression transcrite avec des informations de minutage, retournée dans conversation.item.input_audio_transcription.completed.
| Champ | Type | Description |
|---|---|---|
| offset_milliseconds | entier | Décalage par rapport au début de l’audio en millisecondes. |
| duration_milliseconds | entier | Durée de la phrase en millisecondes. |
| text | string | Le texte transcrit de la phrase. |
| words | tableau de TranscriptionWord | Optionnel. Les mots individuels dans la phrase avec les informations de synchronisation. |
| paramètre régional | string | Optionnel. Paramètres régionaux de la transcription (par exemple, en-US). |
| confiance | Numéro | Optionnel. Le score de confiance de la transcription. |
TranscriptionWord
Mot horodaté dans une transcription.
| Champ | Type | Description |
|---|---|---|
| text | string | Le texte transcrit. |
| offset_milliseconds | entier | Décalage par rapport au début de l’audio en millisecondes. |
| duration_milliseconds | entier | Durée du mot en millisecondes. |
LogProbProperties
Informations de probabilité de journal pour un jeton de transcription.
| Champ | Type | Description |
|---|---|---|
| jeton | string | Texte du jeton. |
| logprob | Numéro | Probabilité du journal naturel du jeton. |
| octets | entier[] | Optionnel. Représentation d’octet UTF-8 du jeton. |
StatutDeL’ArticleEnTempsRéel
Statut des sujets de conversation.
Valeurs autorisées :
-
in_progress- Actuellement en cours de traitement -
completed- Réussi -
incomplete- Incomplet (interrompu ou échoué)
PartieDuContenuEnTempsRéel
Partie contenu dans un message.
RealtimeInputTextContentPart
Partie contenu textuel.
| Champ | Type | Description |
|---|---|---|
| type | string | Doit être "input_text" |
| text | string | Le contenu du texte |
RealtimeOutputTextContentPart
Partie contenu textuel.
| Champ | Type | Description |
|---|---|---|
| type | string | Doit être "text" |
| text | string | Le contenu du texte |
RealtimeInputAudioContentPart
Partie contenu audio.
| Champ | Type | Description |
|---|---|---|
| type | string | Doit être "input_audio" |
| Audio | string | Optionnel. Données audio encodées en Base64 |
| Transcription | string | Optionnel. Transcription audio |
RealtimeOutputAudioContentPart
Partie contenu audio.
| Champ | Type | Description |
|---|---|---|
| type | string | Doit être "audio" |
| Audio | string | Données audio encodées en Base64 |
| Transcription | string | Optionnel. Transcription audio |
Objets response
RealtimeResponse
Objet réponse représentant une réponse d’inférence modèle.
| Champ | Type | Description |
|---|---|---|
| id | string | Optionnel. ID de réponse |
| Objet | string | Optionnel. Toujours "realtime.response" |
| status | RealtimeResponseStatus | Optionnel. État de la réponse |
| détails du statut | RealtimeResponseStatusDetails | Optionnel. Détails du statut |
| sortie | RealtimeConversationResponseItem[] | Optionnel. Éléments de sortie |
| utilisation | RealtimeUsage | Optionnel. Statistiques d’utilisation des jetons |
| conversation_id | string | Optionnel. ID de conversation associé |
| Voix | RealtimeVoice | Optionnel. Voix utilisée pour la réponse |
| Modalités | chaîne de caractères[] | Optionnel. Modalités de sortie utilisées |
| output_audio_format | RealtimeOutputAudioFormat | Optionnel. Format audio utilisé |
| Température | Numéro | Optionnel. Température utilisée |
| max_response_output_tokens | entier ou « inf » | Optionnel. Jetons max utilisés |
StatutDeRéponseEnTempsRéel
Valeurs de statut de réponse.
Valeurs autorisées :
-
in_progress- La réponse est en cours de génération -
completed- Réponse accomplie avec succès -
cancelled- La réponse a été annulée -
incomplete- Réponse incomplète (interrompue) -
failed- Réponse échouée avec erreur
RealtimeUsage
Statistiques d’utilisation des jetons.
| Champ | Type | Description |
|---|---|---|
| total_tokens | entier | Total des jetons utilisés |
| input_tokens | entier | Jetons d'entrée utilisés |
| output_tokens | entier | Jetons de sortie générés |
| détails_du_jeton | TokenDetails | Décomposition des jetons d’entrée |
| output_token_details | TokenDetails | Décomposition des jetons de sortie |
TokenDetails
Répartition détaillée de l’utilisation des jetons.
| Champ | Type | Description |
|---|---|---|
| cached_tokens | entier | Optionnel. Jetons mis en cache utilisés |
| text_tokens | entier | Optionnel. Jetons textuels utilisés |
| audio_tokens | entier | Optionnel. Jetons audio utilisés |
| jetons_de_raisonnement | entier | Optionnel. Jetons de raisonnement générés dans la sortie. S’applique uniquement aux détails du jeton de sortie. |
Gestion des erreurs
RealtimeErrorDetails
Objet d’information d’erreur.
| Champ | Type | Description |
|---|---|---|
| type | string | Type d’erreur (par exemple, "invalid_request_error", "server_error") |
| code | string | Optionnel. Code d’erreur spécifique |
| message | string | Description d’erreur lisible par l’humain |
| param | string | Optionnel. Paramètre lié à l’erreur |
| event_id | string | Optionnel. ID de l’événement client qui a causé l’erreur |
ÉlémentDeDemandeDeConversationEnTempsRéel
Vous utilisez l’objet RealtimeConversationRequestItem pour créer un nouvel élément dans la conversation via l’événement conversation.item.create .
Il s’agit d’un type d’union qui peut être l’un des suivants :
RealtimeSystemMessageItem
Un message système.
| Champ | Type | Description |
|---|---|---|
| type | string | Type de l’élément. Valeurs autorisées : message |
| role | string | Le rôle du message. Valeurs autorisées : system |
| contenu | tableau des parties RealtimeInputTextContentPart | Contenu du message. |
| id | string | L’identifiant unique de l’article. Le client peut spécifier l’ID pour aider à gérer le contexte côté serveur. Si le client ne fournit pas d’ID, le serveur en génère un. |
RealtimeUserMessageItem
Un message utilisateur.
| Champ | Type | Description |
|---|---|---|
| type | string | Type de l’élément. Valeurs autorisées : message |
| role | string | Le rôle du message. Valeurs autorisées : user |
| contenu | Array de RealtimeInputTextContentPart ou RealtimeInputAudioContentPart | Contenu du message. |
| id | string | L’identifiant unique de l’article. Le client peut spécifier l’ID pour aider à gérer le contexte côté serveur. Si le client ne fournit pas d’ID, le serveur en génère un. |
RealtimeAssistantMessageItem
Un message d’assistant.
| Champ | Type | Description |
|---|---|---|
| type | string | Type de l’élément. Valeurs autorisées : message |
| role | string | Le rôle du message. Valeurs autorisées : assistant |
| contenu | array de RealtimeOutputTextContentPart | Contenu du message. |
RealtimeFunctionCallItem
Un élément d’appel de fonction.
| Champ | Type | Description |
|---|---|---|
| type | string | Type de l’élément. Valeurs autorisées : function_call |
| nom | string | Le nom de la fonction à appeler. |
| Arguments | string | Les arguments de la fonction appellent une chaîne JSON. |
| call_id | string | L’ID de l’élément de l’appel de fonction. |
| id | string | L’identifiant unique de l’article. Le client peut spécifier l’ID pour aider à gérer le contexte côté serveur. Si le client ne fournit pas d’ID, le serveur en génère un. |
RealtimeFunctionCallOutputItem
Un élément de sortie qui appelle une fonction.
| Champ | Type | Description |
|---|---|---|
| type | string | Type de l’élément. Valeurs autorisées : function_call_output |
| call_id | string | L’ID de l’élément de l’appel de fonction. |
| sortie | string | La sortie de l’appel de fonction, c’est une chaîne libre avec le résultat de la fonction, pourrait également être vide. |
| id | string | L’identifiant unique de l’article. Si le client ne fournit pas d’ID, le serveur en génère un. |
RealtimeMCPApprovalResponseItem
Un élément de réponse à l’approbation du MCP.
| Champ | Type | Description |
|---|---|---|
| type | string | Type de l’élément. Valeurs autorisées : mcp_approval_response |
| Approuver | booléen | Si la demande MCP est acceptée. |
| approval_request_id | string | L’identifiant de la demande d’approbation du MCP. |
| id | string | L’identifiant unique de l’article. Le client peut spécifier l’ID pour aider à gérer le contexte côté serveur. Si le client ne fournit pas d’ID, le serveur en génère un. |
RealtimeFunctionTool
La définition d’un outil de fonction tel qu’utilisé par le point d’extrémité en temps réel.
| Champ | Type | Description |
|---|---|---|
| type | string | Type de l’outil. Valeurs autorisées : function |
| nom | string | Nom de la fonction. |
| description | string | La description de la fonction, y compris les consignes d’utilisation. Par exemple, « Utilisez cette fonction pour obtenir l’heure actuelle. » |
| parameters | Objet | Les paramètres de la fonction sous la forme d’un objet JSON. |
StatutDeL’ArticleEnTempsRéel
Valeurs autorisées :
in_progresscompletedincomplete
RealtimeResponseAudioContentPart
| Champ | Type | Description |
|---|---|---|
| type | string | Le type de contenu. Valeurs autorisées : audio |
| Transcription | string | La transcription de l’audio. Cette propriété est nulle. |
Élément d'Appel de Fonction de Réponse en Temps Réel
| Champ | Type | Description |
|---|---|---|
| type | string | Type de l’élément. Valeurs autorisées : function_call |
| nom | string | Le nom de la fonction appelle l’item. |
| call_id | string | L’ID de l’élément de l’appel de fonction. |
| Arguments | string | Les arguments de la fonction appellent l’item. |
| status | RealtimeItemStatus | État de l’élément. |
RealtimeResponseFunctionCallOutputItem
| Champ | Type | Description |
|---|---|---|
| type | string | Type de l’élément. Valeurs autorisées : function_call_output |
| call_id | string | L’ID de l’élément de l’appel de fonction. |
| sortie | string | La sortie de l’élément d’appel de la fonction. |
Options de Réponse en Temps Réel
| Champ | Type | Description |
|---|---|---|
| Modalités | tableau | Les modalités de sortie pour la réponse. Valeurs autorisées : text, audioPar exemple, "modalities": ["text", "audio"] est le réglage par défaut qui permet à la fois les modalités de sortie texte et audio. Pour n’activer que la sortie texte, réglez "modalities": ["text"]. Vous ne pouvez pas activer uniquement l’audio. |
| instructions | string | Les instructions (le message système) pour guider les réponses du modèle. |
| Voix | RealtimeVoice | La voix utilisée pour la réponse du modèle pour la session. Une fois que la voix est utilisée pendant la session pour la réponse audio du modèle, elle ne peut plus être modifiée. |
| Outils | array de RealtimeTool | Les outils disponibles pour le modèle pour la session. |
| tool_choice | RealtimeToolChoice | Le choix de l’outil pour la session. |
| Température | Numéro | La température d’échantillonnage pour le modèle. Les valeurs de température autorisées sont limitées à [0,6, 1,2]. Par défaut à 0,8. |
| max_response_output_tokens | entier ou « inf » | Le nombre maximal de jetons de sortie par réponse d’assistant, y compris les appels d’outils. Spécifiez un entier entre 1 et 4096 pour limiter les jetons de sortie. Sinon, il faut régler la valeur sur « inf » pour permettre le nombre maximal de jetons. Par exemple, pour limiter les jetons de sortie à 1000, on fixe "max_response_output_tokens": 1000. Pour permettre le nombre maximal de jetons, on fixe "max_response_output_tokens": "inf".La valeur par défaut est "inf". |
| intermédiaire-réponse | InterimResponseConfig | Optionnel. Configuration pour la génération de réponses intermédiaires en cas de latence ou d’appels d’outils. |
| effort de raisonnement | ReasoningEffort | Optionnel. Limite l’effort sur le raisonnement des modèles de raisonnement. Consultez la documentation des modèles pour les valeurs prises en charge pour chaque modèle. La réduction de l’effort de raisonnement peut entraîner des réponses plus rapides et l’utilisation d’un nombre inférieur de jetons sur le raisonnement dans une réponse. |
| conversation | string | Contrôle à quelle conversation la réponse est ajoutée. Les valeurs prises en charge sont auto et none.La auto valeur (ou le fait de ne pas définir cette propriété) garantit que le contenu de la réponse est ajouté à la conversation par défaut de la session.Définissez cette propriété pour none créer une réponse hors bande où les éléments ne seront pas ajoutés à la conversation par défaut. Par défaut est "auto" |
| metadata | map | Ensemble de jusqu’à 16 paires clé-valeur pouvant être attachées à un objet. Cela peut être utile pour stocker des informations supplémentaires sur l’objet dans un format structuré. Les clés peuvent atteindre jusqu’à 64 caractères et les valeurs peuvent atteindre un maximum de 512 caractères. Par exemple : metadata: { topic: "classification" } |
| interim_response | InterimResponseConfig | Optionnel. Configuration pour la génération de réponses intermédiaires en cas de latence ou d’appels d’outils. Remplace le paramètre au niveau de la session pour cette réponse. |
| pre_generated_assistant_message | RealtimeAssistantMessageItem | Optionnel. Un message d’assistant pré-généré à utiliser pour générer la réponse audio au lieu de laisser le modèle générer le texte. Lorsqu’il est fourni, le serveur génère une réponse audio pour le texte prédéfini, contournant ainsi l’inférence du modèle pour la génération de texte. Le message est ajouté à l’historique contextuel de la conversation. Le message doit avoir le role message défini comme et "assistant" inclus content avec une seule partie de texte textuel. |
SessionDeRéponseEnTempsRéel
L’objet RealtimeResponseSession représente une session dans l’API Temps Réel. Il est utilisé dans certains événements serveur, tels que :
| Champ | Type | Description |
|---|---|---|
| Objet | string | L’objet de la session. Valeurs autorisées : realtime.session |
| id | string | L’identifiant unique de la session. |
| model | string | Le modèle utilisé pour la session. |
| Modalités | tableau | Les modalités de sortie pour la session. Valeurs autorisées : text, audioPar exemple, "modalities": ["text", "audio"] est le réglage par défaut qui permet à la fois les modalités de sortie texte et audio. Pour n’activer que la sortie texte, réglez "modalities": ["text"]. Vous ne pouvez pas activer uniquement l’audio. |
| instructions | string | Les instructions (le message système) pour guider les réponses texte et audio du modèle. Voici quelques exemples d’instructions pour guider le contenu et la forme des réponses textuelles et audio : "instructions": "be succinct""instructions": "act friendly""instructions": "here are examples of good responses"Voici quelques exemples d’instructions pour guider le comportement audio : "instructions": "talk quickly""instructions": "inject emotion into your voice""instructions": "laugh frequently"Bien que le modèle ne suive pas toujours ces instructions, elles fournissent des indications sur le comportement souhaité. |
| Voix | RealtimeVoice | La voix utilisée pour la réponse du modèle pour la session. Une fois que la voix est utilisée pendant la session pour la réponse audio du modèle, elle ne peut plus être modifiée. |
| input_audio_sampling_rate | entier | La fréquence d’échantillonnage de l’audio d’entrée. |
| input_audio_format | RealtimeAudioFormat | Le format de l’audio d’entrée. |
| output_audio_format | RealtimeAudioFormat | Le format de l’audio de sortie. |
| input_audio_transcription | Paramètres de transcription de l'entrée audio en temps réel | Les réglages pour la transcription de l’entrée audio. Cette propriété est nulle. |
| turn_detection | RealtimeTurnDetection | Les réglages de détection de virage pour la session. Cette propriété est nulle. |
| Outils | array de RealtimeTool | Les outils disponibles pour le modèle pour la session. |
| tool_choice | RealtimeToolChoice | Le choix de l’outil pour la session. |
| Température | Numéro | La température d’échantillonnage pour le modèle. Les valeurs de température autorisées sont limitées à [0,6, 1,2]. Par défaut à 0,8. |
| max_response_output_tokens | entier ou « inf » | Le nombre maximal de jetons de sortie par réponse d’assistant, y compris les appels d’outils. Spécifiez un entier entre 1 et 4096 pour limiter les jetons de sortie. Sinon, il faut régler la valeur sur « inf » pour permettre le nombre maximal de jetons. Par exemple, pour limiter les jetons de sortie à 1000, on fixe "max_response_output_tokens": 1000. Pour permettre le nombre maximal de jetons, on fixe "max_response_output_tokens": "inf". |
| intermédiaire-réponse | InterimResponseConfig | Configuration pour la génération de réponses intermédiaires en cas de latence ou d’appels d’outils. |
Détails du statut de réponse en temps réel
| Champ | Type | Description |
|---|---|---|
| type | RealtimeResponseStatus | L’état de la réponse. |
RealtimeRateLimitsItem
| Champ | Type | Description |
|---|---|---|
| nom | string | Le nom de la propriété de la limite de taux sur lequel cet élément inclut des informations. |
| limit | entier | La limite maximale configurée pour cette propriété de limite de débit. |
| restant | entier | Le quota restant disponible par rapport à la limite configurée pour cette propriété de limite de taux. |
| reset_seconds | Numéro | Le temps restant, en secondes, jusqu’à ce que cette propriété de limite de taux soit réinitialisée. |
Ressources associées
- Essayez le démarrage rapide Voice Live
- Essayer le démarrage rapide des agents Voice Live
- En savoir plus sur l’utilisation de l’API Voice Live