RealtimeClientEventInputAudioBufferAppend interface

Paket:

@azure/ai-projects

Senden Sie dieses Ereignis, um Audiobytes an den Eingabe-Audiopuffer anzuhängen. Der Audiopuffer ist ein temporärer Speicher, in den Sie schreiben und später einen Commit ausführen können. Ein "Committ" erstellt ein neues Benutzernachrichtenelement in der Konversationshistorie aus dem Pufferinhalt und löscht den Puffer. Die Eingabe-Audio-Transkription (sofern aktiviert) wird erzeugt, wenn der Puffer eingetragen wird. Wenn VAD aktiviert ist, wird der Audiopuffer verwendet, um Sprache zu erkennen, und der Server entscheidet, wann er commit. Wenn Server-VAD deaktiviert ist, musst du den Audiopuffer manuell committen. Die Eingangsrauschunterdrückung arbeitet bei Schreiboperationen auf den Audiopuffer. Der Client kann wählen, wie viel Audio in jedem Ereignis bis zu maximal 15 MiB eingefügt wird, zum Beispiel kann das Streaming kleinerer Abschnitte vom Client das VAD reagieren lassen. Im Gegensatz zu den meisten anderen Client-Events sendet der Server keine Bestätigungsantwort auf dieses Ereignis.

Extends

RealtimeClientEvent

Eigenschaften

audio	Base64-codierte Audiobytes. Dies muss im vom Feld input_audio_format in der Sitzungskonfiguration angegebenen Format erfolgen.
event_id	Optionale, vom Client generierte ID zur Identifikation dieses Ereignisses.
type	Der Ereignistyp muss sein input_audio_buffer.append.

Details zur Eigenschaft

audio

Base64-codierte Audiobytes. Dies muss im vom Feld input_audio_format in der Sitzungskonfiguration angegebenen Format erfolgen.

audio: string

Eigenschaftswert

string

event_id

Optionale, vom Client generierte ID zur Identifikation dieses Ereignisses.

event_id?: string

Eigenschaftswert

string

type

Der Ereignistyp muss sein input_audio_buffer.append.

type: "input_audio_buffer.append"

Eigenschaftswert

"input_audio_buffer.append"