VoiceAgentDefinition interface

Pakiet:

@azure/ai-projects

Definicja agenta głosowego. Jego konfiguracja (model, instrukcje, dźwięk, narzędzia oraz opcjonalny awatar) umożliwia zarządzane doświadczenie przemiany mowy na mowę. Ustal sesje głosowe w czasie rzeczywistym przez GET /agents/{agent_name}/endpoint/protocols/voice. Każde utworzenie lub aktualizacja tworzy nową, niezmienną wersję.

Rozszerzenie

AgentDefinition

Właściwości

audio	Konfiguracja dźwięku, obejmująca formaty wejściowe i wyjściowe, głos, detekcję skrętów, redukcję szumów oraz transkrypcję. Wartości te są domyślnymi sesjami; klient może nadpisać obsługiwane pola podczas łączenia.
avatar	Opcjonalna konfiguracja awatara. Te wartości są domyślnymi sesjami i mogą być nadpisane podczas łączenia.
conversation_engine	Silnik, który zarządza rozmową dla tego agenta głosowego. Należy podać dokładnie jedną z tych właściwości oraz konfigurację opartą na modelu (model_type z model). Gdy ta właściwość jest dostarczona, , , , , i tool_choice musi zostać pominięta, i greeting.tool_choice nie może być , requiredponieważ silnik jest właścicielem logiki konwersacji. toolsinstructionsmodelmodel_type Początkowa implementacja obsługuje silnik hostowanego.
greeting	Opcjonalne powitanie na początku sesji. Tryb szablonu mówi dokładnie renderowany tekst; tryb generowany przez LLM prosi model sesji o stworzenie odpowiedzi otwierającej i może używać skonfigurowanych narzędzi.
include	Dodatkowe pola do uwzględnienia w wynikach usług.
instructions	Komunikat systemu (lub dewelopera) wstawiony do kontekstu modelu. Obsługuje podstawienie szablonów przez structured_inputs, renderowane na sesję przed rozpoczęciem sesji na żywo.
interim_response	Ustawienia pośredniej odpowiedzi dla opóźnień i wykonywania narzędzi.
kind	To życzliwy dyskryminator dla definicji agenta głosowego. Zawsze voice.
max_output_tokens	Maksymalna liczba tokenów wyjściowych dla jednej odpowiedzi.
model	Model do wykorzystania dla tego agenta. Wymagane dla model_type agenta głosowego z poparciem modelu i pomijane, gdy conversation_engine jest dostarczane. Model musi obsługiwać głos w czasie rzeczywistym lub kaskadowy.
model_type	Jak model wspierający tego agenta głosowego jest obsługiwany. Wymagane dla model agenta głosowego z poparciem modelu i pomijane, gdy conversation_engine jest dostarczane. Jest to niezależne od architektury (czasu rzeczywistego lub kaskadowego), którą usługa wywodzi z wybranego modelu.
output_modalities	Modalności wyjściowe, które agent wytwarza. Wartość domyślna to ["audio"]. animation avatar i są dostępne, gdy awatar jest skonfigurowany.
parallel_tool_calls	Czy model może wywoływać wiele narzędzi równolegle.
store	Czy rozmowy z tym agentem są kontynuowane. Pojedynczy, uniwersalny przełącznik trwałości, który domyślnie działa na false (prywatność: domyślnie wyłączony). Gdy true, Foundry prowadzi pełną rozmowę — transkrypcję/oś czasu wydarzenia oraz surowy dźwięk. Gdy falsenic nie trwa i nie pojawia się żadna rozmowa. Nie ma osobnej kontroli rejestrowania dźwięku; dźwięk jest zachowywany tylko jako część tego przełącznika. Telemetria opóźnień/wydajności (np. czas do pierwszego dźwięku, opóźnienia między tokenami, przerwy) jest wyłącznie obserwatoralna (śledzenie klienta / App Insights) i nie jest częścią trwałej zawartości rozmowy.
structured_inputs	Zestaw ustrukturyzowanych wejść, które uczestniczą w podstawieniu szablonów promptów, renderowany na sesję przed rozpoczęciem sesji na żywo.
subagent_config	Opcjonalna konfiguracja dla bratnych agentów tekstowych Foundry, których ten agent głosowy może konsultować jako specjalistów od tła.
tools	Narzędzia, których może używać agent głosowy. Obsługiwane rodzaje narzędzi to function (wykonywane przez klienta), mcp, system (sterowanie sesji zarządzanych usługami) oraz toolbox. Narzędzia po stronie serwera, takie jak web_search, azure_ai_search, i openapi są udostępniane przez skrzynkę narzędziową, a nie deklarowane bezpośrednio.
tool_choice	Jak model wybiera narzędzia do generowania odpowiedzi. none zapobiega wywołaniom narzędzi, auto pozwala modelowi zdecydować, required wymaga co najmniej jednego wywołania narzędzia, a konkretną funkcję lub narzędzie MCP można wybrać razem z obiektem. Wartość domyślna to auto.

Właściwości dziedziczone

rai_config

Konfiguracja filtrowania treści i funkcji bezpieczeństwa Responsible AI (RAI).

Szczegóły właściwości

audio

Konfiguracja dźwięku, obejmująca formaty wejściowe i wyjściowe, głos, detekcję skrętów, redukcję szumów oraz transkrypcję. Wartości te są domyślnymi sesjami; klient może nadpisać obsługiwane pola podczas łączenia.

audio?: VoiceAgentAudioConfig

Wartość właściwości

VoiceAgentAudioConfig

avatar

Opcjonalna konfiguracja awatara. Te wartości są domyślnymi sesjami i mogą być nadpisane podczas łączenia.

avatar?: VoiceAgentAvatarConfig

Wartość właściwości

VoiceAgentAvatarConfig

conversation_engine

Silnik, który zarządza rozmową dla tego agenta głosowego. Należy podać dokładnie jedną z tych właściwości oraz konfigurację opartą na modelu (model_type z model). Gdy ta właściwość jest dostarczona, , , , , i tool_choice musi zostać pominięta, i greeting.tool_choice nie może być , requiredponieważ silnik jest właścicielem logiki konwersacji. toolsinstructionsmodelmodel_type Początkowa implementacja obsługuje silnik hostowanego.

conversation_engine?: VoiceConversationEngineUnion

Wartość właściwości

VoiceConversationEngineUnion

greeting

Opcjonalne powitanie na początku sesji. Tryb szablonu mówi dokładnie renderowany tekst; tryb generowany przez LLM prosi model sesji o stworzenie odpowiedzi otwierającej i może używać skonfigurowanych narzędzi.

greeting?: VoiceAgentGreetingConfigUnion

Wartość właściwości

VoiceAgentGreetingConfigUnion

include

Dodatkowe pola do uwzględnienia w wynikach usług.

include?: VoiceAgentSessionIncludeOption[]

Wartość właściwości

VoiceAgentSessionIncludeOption[]

instructions

Komunikat systemu (lub dewelopera) wstawiony do kontekstu modelu. Obsługuje podstawienie szablonów przez structured_inputs, renderowane na sesję przed rozpoczęciem sesji na żywo.

instructions?: string

Wartość właściwości

string

interim_response

Ustawienia pośredniej odpowiedzi dla opóźnień i wykonywania narzędzi.

interim_response?: VoiceAgentInterimResponseConfigUnion

Wartość właściwości

VoiceAgentInterimResponseConfigUnion

kind

To życzliwy dyskryminator dla definicji agenta głosowego. Zawsze voice.

kind: "voice"

Wartość właściwości

"voice"

max_output_tokens

Maksymalna liczba tokenów wyjściowych dla jednej odpowiedzi.

max_output_tokens?: VoiceAgentMaxOutputTokens

Wartość właściwości

VoiceAgentMaxOutputTokens

model

Model do wykorzystania dla tego agenta. Wymagane dla model_type agenta głosowego z poparciem modelu i pomijane, gdy conversation_engine jest dostarczane. Model musi obsługiwać głos w czasie rzeczywistym lub kaskadowy.

model?: string

Wartość właściwości

string

model_type

Jak model wspierający tego agenta głosowego jest obsługiwany. Wymagane dla model agenta głosowego z poparciem modelu i pomijane, gdy conversation_engine jest dostarczane. Jest to niezależne od architektury (czasu rzeczywistego lub kaskadowego), którą usługa wywodzi z wybranego modelu.

model_type?: VoiceModelType

Wartość właściwości

VoiceModelType

output_modalities

Modalności wyjściowe, które agent wytwarza. Wartość domyślna to ["audio"]. animation avatar i są dostępne, gdy awatar jest skonfigurowany.

output_modalities?: VoiceOutputModality[]

Wartość właściwości

VoiceOutputModality[]

parallel_tool_calls

Czy model może wywoływać wiele narzędzi równolegle.

parallel_tool_calls?: boolean

Wartość właściwości

boolean

store

Czy rozmowy z tym agentem są kontynuowane. Pojedynczy, uniwersalny przełącznik trwałości, który domyślnie działa na false (prywatność: domyślnie wyłączony). Gdy true, Foundry prowadzi pełną rozmowę — transkrypcję/oś czasu wydarzenia oraz surowy dźwięk. Gdy falsenic nie trwa i nie pojawia się żadna rozmowa. Nie ma osobnej kontroli rejestrowania dźwięku; dźwięk jest zachowywany tylko jako część tego przełącznika. Telemetria opóźnień/wydajności (np. czas do pierwszego dźwięku, opóźnienia między tokenami, przerwy) jest wyłącznie obserwatoralna (śledzenie klienta / App Insights) i nie jest częścią trwałej zawartości rozmowy.

store?: boolean

Wartość właściwości

boolean

structured_inputs

Zestaw ustrukturyzowanych wejść, które uczestniczą w podstawieniu szablonów promptów, renderowany na sesję przed rozpoczęciem sesji na żywo.

structured_inputs?: Record<string, StructuredInputDefinition>

Wartość właściwości

Record<string, StructuredInputDefinition>

subagent_config

Opcjonalna konfiguracja dla bratnych agentów tekstowych Foundry, których ten agent głosowy może konsultować jako specjalistów od tła.

subagent_config?: VoiceAgentSubagentConfig

Wartość właściwości

VoiceAgentSubagentConfig

tools

Narzędzia, których może używać agent głosowy. Obsługiwane rodzaje narzędzi to function (wykonywane przez klienta), mcp, system (sterowanie sesji zarządzanych usługami) oraz toolbox. Narzędzia po stronie serwera, takie jak web_search, azure_ai_search, i openapi są udostępniane przez skrzynkę narzędziową, a nie deklarowane bezpośrednio.

tools?: VoiceAgentToolUnion[]

Wartość właściwości

VoiceAgentToolUnion[]

tool_choice

Jak model wybiera narzędzia do generowania odpowiedzi. none zapobiega wywołaniom narzędzi, auto pozwala modelowi zdecydować, required wymaga co najmniej jednego wywołania narzędzia, a konkretną funkcję lub narzędzie MCP można wybrać razem z obiektem. Wartość domyślna to auto.

tool_choice?: VoiceAgentToolChoice

Wartość właściwości

VoiceAgentToolChoice

Szczegóły właściwości dziedziczonej

rai_config

Konfiguracja filtrowania treści i funkcji bezpieczeństwa Responsible AI (RAI).

rai_config?: RaiConfig

Wartość właściwości

RaiConfig

Odziedziczone poAgentDefinition.rai_config