GetChatCompletionsOptions interface

Pakiet:

@azure/openai

Ten moduł zawiera modele, które chcemy żyć obok odpowiednich wygenerowanych modeli. Jest to przydatne w przypadku udostępniania modeli przeznaczonych dla klientów, które mają różne nazwy/typy niż wygenerowane modele.

Extends

OperationOptions

Właściwości

azureExtensionOptions	Wpisy konfiguracji rozszerzeń czatu usługi Azure OpenAI, które z nich korzystają. Ta dodatkowa specyfikacja jest zgodna tylko z usługą Azure OpenAI.
frequencyPenalty	Wartość, która wpływa na prawdopodobieństwo pojawienia się wygenerowanych tokenów na podstawie ich skumulowanej częstotliwości w wygenerowanym tekście. Wartości dodatnie sprawią, że tokeny będą mniej prawdopodobne, ponieważ ich częstotliwość wzrasta i zmniejsza prawdopodobieństwo, że model powtarza te same instrukcje dosłowne.
functionCall	Określa sposób reagowania modelu na wywołania funkcji. "none" oznacza, że model nie wywołuje funkcji i odpowiada użytkownikowi końcowemu. "auto" oznacza, że model może wybrać między użytkownikiem końcowym lub wywołaniem funkcji. Określenie konkretnej funkcji za pośrednictwem {"name": "my_function"} wymusza wywołanie tej funkcji przez model. Wartość domyślna "none" jest wartością domyślną, gdy nie ma żadnych funkcji. "auto" jest wartością domyślną, jeśli funkcje są obecne.
functions	Lista funkcji, dla których model może generować dane wejściowe JSON.
logitBias	Mapa między identyfikatorami tokenów GPT i wynikami stronniczości, która wpływa na prawdopodobieństwo pojawienia się określonych tokenów w odpowiedzi uzupełniania. Identyfikatory tokenów są obliczane za pośrednictwem narzędzi tokenizatora zewnętrznego, natomiast wyniki stronniczości znajdują się w zakresie od -100 do 100 z minimalnymi i maksymalnymi wartościami odpowiadającymi pełnemu zakazowi lub wyłącznemu wyborowi tokenu. Dokładne zachowanie danego wyniku stronniczości różni się w zależności od modelu.
maxTokens	Maksymalna liczba tokenów do wygenerowania.
n	Liczba opcji ukończenia czatu, które powinny zostać wygenerowane dla odpowiedzi na ukończenie czatu. Ponieważ to ustawienie może wygenerować wiele uzupełniania, może szybko korzystać z limitu przydziału tokenu. Należy uważnie używać i zapewnić odpowiednie ustawienia dla parametrów maxTokens i stop.
presencePenalty	Wartość, która wpływa na prawdopodobieństwo pojawienia się wygenerowanych tokenów na podstawie ich istniejącej obecności w wygenerowanym tekście. Wartości dodatnie sprawią, że tokeny staną się mniej prawdopodobne, gdy już istnieją, i zwiększą prawdopodobieństwo pojawienia się nowych tematów modelu.
responseFormat	Obiekt określający format, który musi zostać wygenerowany przez model. Służy do włączania trybu JSON.
seed	Jeśli zostanie określony, system będzie starał się próbkować deterministycznie tak, aby powtarzające się żądania z tym samym inicjatorem i parametrami powinny zwrócić ten sam wynik. Determinizm nie jest gwarantowany i należy odwołać się do parametru odpowiedzi system_fingerprint w celu monitorowania zmian w zapleczu.
stop	Kolekcja sekwencji tekstowych, które zakończą generowanie ukończenia.
temperature	Temperatura próbkowania do użycia steruje pozorną kreatywnością generowanych zakończeń. Wyższe wartości sprawią, że dane wyjściowe będą bardziej losowe, a niższe wartości sprawią, że wyniki będą bardziej skoncentrowane i deterministyczne. Nie zaleca się modyfikowania temperatury i topP dla tego samego żądania ukończenia, ponieważ interakcja tych dwóch ustawień jest trudna do przewidzenia.
toolChoice	Jeśli zostanie określony, model skonfiguruje, które z dostarczonych narzędzi może użyć do odpowiedzi na zakończenie czatu.
tools	Dostępne definicje narzędzi, których może używać żądanie ukończenia czatu, w tym funkcji zdefiniowanych przez obiekt wywołujący.
topP	Alternatywą dla próbkowania z temperaturą nazywaną próbkowaniem jądra. Ta wartość powoduje, że model uwzględnia wyniki tokenów z podaną masą prawdopodobieństwa. Na przykład wartość 0,15 spowoduje, że uwzględniane są tylko tokeny składające się z 15% pierwszej masy prawdopodobieństwa. Nie zaleca się modyfikowania temperatury i topP dla tego samego żądania ukończenia, ponieważ interakcja tych dwóch ustawień jest trudna do przewidzenia.
user	Identyfikator obiektu wywołującego lub użytkownika końcowego operacji. Może to być używane do celów śledzenia lub ograniczania szybkości.

Właściwości dziedziczone

abortSignal	Sygnał, który może służyć do przerwania żądań.
onResponse	Funkcja, która ma być wywoływana za każdym razem, gdy odpowiedź jest odbierana z serwera podczas wykonywania żądanej operacji. Może być wywoływana wiele razy.
requestOptions	Opcje używane podczas tworzenia i wysyłania żądań HTTP dla tej operacji.
tracingOptions	Opcje używane podczas śledzenia są włączone.

Szczegóły właściwości

azureExtensionOptions

Wpisy konfiguracji rozszerzeń czatu usługi Azure OpenAI, które z nich korzystają. Ta dodatkowa specyfikacja jest zgodna tylko z usługą Azure OpenAI.

azureExtensionOptions?: AzureExtensionsOptions

Wartość właściwości

AzureExtensionsOptions

frequencyPenalty

Wartość, która wpływa na prawdopodobieństwo pojawienia się wygenerowanych tokenów na podstawie ich skumulowanej częstotliwości w wygenerowanym tekście. Wartości dodatnie sprawią, że tokeny będą mniej prawdopodobne, ponieważ ich częstotliwość wzrasta i zmniejsza prawdopodobieństwo, że model powtarza te same instrukcje dosłowne.

frequencyPenalty?: number

Wartość właściwości

number

functionCall

Określa sposób reagowania modelu na wywołania funkcji. "none" oznacza, że model nie wywołuje funkcji i odpowiada użytkownikowi końcowemu. "auto" oznacza, że model może wybrać między użytkownikiem końcowym lub wywołaniem funkcji. Określenie konkretnej funkcji za pośrednictwem {"name": "my_function"} wymusza wywołanie tej funkcji przez model. Wartość domyślna "none" jest wartością domyślną, gdy nie ma żadnych funkcji. "auto" jest wartością domyślną, jeśli funkcje są obecne.

functionCall?: string | FunctionName

Wartość właściwości

string | FunctionName

functions

Lista funkcji, dla których model może generować dane wejściowe JSON.

functions?: FunctionDefinition[]

Wartość właściwości

FunctionDefinition[]

logitBias

Mapa między identyfikatorami tokenów GPT i wynikami stronniczości, która wpływa na prawdopodobieństwo pojawienia się określonych tokenów w odpowiedzi uzupełniania. Identyfikatory tokenów są obliczane za pośrednictwem narzędzi tokenizatora zewnętrznego, natomiast wyniki stronniczości znajdują się w zakresie od -100 do 100 z minimalnymi i maksymalnymi wartościami odpowiadającymi pełnemu zakazowi lub wyłącznemu wyborowi tokenu. Dokładne zachowanie danego wyniku stronniczości różni się w zależności od modelu.

logitBias?: Record<string, number>

Wartość właściwości

Record<string, number>

maxTokens

Maksymalna liczba tokenów do wygenerowania.

maxTokens?: number

Wartość właściwości

number

n

Liczba opcji ukończenia czatu, które powinny zostać wygenerowane dla odpowiedzi na ukończenie czatu. Ponieważ to ustawienie może wygenerować wiele uzupełniania, może szybko korzystać z limitu przydziału tokenu. Należy uważnie używać i zapewnić odpowiednie ustawienia dla parametrów maxTokens i stop.

n?: number

Wartość właściwości

number

presencePenalty

Wartość, która wpływa na prawdopodobieństwo pojawienia się wygenerowanych tokenów na podstawie ich istniejącej obecności w wygenerowanym tekście. Wartości dodatnie sprawią, że tokeny staną się mniej prawdopodobne, gdy już istnieją, i zwiększą prawdopodobieństwo pojawienia się nowych tematów modelu.

presencePenalty?: number

Wartość właściwości

number

responseFormat

Obiekt określający format, który musi zostać wygenerowany przez model. Służy do włączania trybu JSON.

responseFormat?: ChatCompletionsResponseFormat

Wartość właściwości

ChatCompletionsResponseFormat

seed

Jeśli zostanie określony, system będzie starał się próbkować deterministycznie tak, aby powtarzające się żądania z tym samym inicjatorem i parametrami powinny zwrócić ten sam wynik. Determinizm nie jest gwarantowany i należy odwołać się do parametru odpowiedzi system_fingerprint w celu monitorowania zmian w zapleczu.

seed?: number

Wartość właściwości

number

stop

Kolekcja sekwencji tekstowych, które zakończą generowanie ukończenia.

stop?: string[]

Wartość właściwości

string[]

temperature

Temperatura próbkowania do użycia steruje pozorną kreatywnością generowanych zakończeń. Wyższe wartości sprawią, że dane wyjściowe będą bardziej losowe, a niższe wartości sprawią, że wyniki będą bardziej skoncentrowane i deterministyczne. Nie zaleca się modyfikowania temperatury i topP dla tego samego żądania ukończenia, ponieważ interakcja tych dwóch ustawień jest trudna do przewidzenia.

temperature?: number

Wartość właściwości

number

toolChoice

Jeśli zostanie określony, model skonfiguruje, które z dostarczonych narzędzi może użyć do odpowiedzi na zakończenie czatu.

toolChoice?: ChatCompletionsNamedToolSelectionUnion

Wartość właściwości

ChatCompletionsNamedToolSelectionUnion

tools

Dostępne definicje narzędzi, których może używać żądanie ukończenia czatu, w tym funkcji zdefiniowanych przez obiekt wywołujący.

tools?: ChatCompletionsToolDefinitionUnion[]

Wartość właściwości

ChatCompletionsToolDefinitionUnion[]

topP

Alternatywą dla próbkowania z temperaturą nazywaną próbkowaniem jądra. Ta wartość powoduje, że model uwzględnia wyniki tokenów z podaną masą prawdopodobieństwa. Na przykład wartość 0,15 spowoduje, że uwzględniane są tylko tokeny składające się z 15% pierwszej masy prawdopodobieństwa. Nie zaleca się modyfikowania temperatury i topP dla tego samego żądania ukończenia, ponieważ interakcja tych dwóch ustawień jest trudna do przewidzenia.

topP?: number

Wartość właściwości

number

user

Identyfikator obiektu wywołującego lub użytkownika końcowego operacji. Może to być używane do celów śledzenia lub ograniczania szybkości.

user?: string

Wartość właściwości

string

Szczegóły właściwości dziedziczonej

abortSignal

Sygnał, który może służyć do przerwania żądań.

abortSignal?: AbortSignalLike

Wartość właściwości

AbortSignalLike

Dziedziczone z OperationOptions.abortSignal

onResponse

Funkcja, która ma być wywoływana za każdym razem, gdy odpowiedź jest odbierana z serwera podczas wykonywania żądanej operacji. Może być wywoływana wiele razy.

onResponse?: RawResponseCallback

Wartość właściwości

RawResponseCallback

Dziedziczone z OperationOptions.onResponse

requestOptions

Opcje używane podczas tworzenia i wysyłania żądań HTTP dla tej operacji.

requestOptions?: OperationRequestOptions

Wartość właściwości

OperationRequestOptions

Dziedziczone z OperationOptions.requestOptions

tracingOptions

Opcje używane podczas śledzenia są włączone.

tracingOptions?: OperationTracingOptions

Wartość właściwości

OperationTracingOptions

Dziedziczone z OperationOptions.tracingOptions