GetCompletionsOptions interface

Pakiet:

@azure/openai

Informacje o konfiguracji żądania ukończenia. Uzupełnienia obsługują szeroką gamę zadań i generują tekst, który kontynuuje działanie lub "kończy" podane dane monitu.

Extends

OperationOptions

Właściwości

bestOf	Wartość, która kontroluje, ile uzupełniania zostanie wygenerowanych wewnętrznie przed sformułowaniem odpowiedzi. W przypadku użycia razem z n, best_of kontroluje liczbę ukończonych kandydatów i musi być większa niż n. Ponieważ to ustawienie może wygenerować wiele uzupełniania, może szybko korzystać z limitu przydziału tokenu. Należy uważnie używać i zapewnić odpowiednie ustawienia dla max_tokens i zatrzymać.
echo	Wartość określająca, czy zakończenia odpowiedzi powinny zawierać monity wejściowe jako prefiksy do wygenerowanych danych wyjściowych.
frequencyPenalty	Wartość, która wpływa na prawdopodobieństwo pojawienia się wygenerowanych tokenów na podstawie ich skumulowanej częstotliwości w wygenerowanym tekście. Wartości dodatnie sprawią, że tokeny będą mniej prawdopodobne, ponieważ ich częstotliwość rośnie i zmniejsza prawdopodobieństwo, że model powtarza te same instrukcje dosłownie.
logitBias	Mapa między identyfikatorami tokenów GPT i wynikami stronniczości, która wpływa na prawdopodobieństwo pojawienia się określonych tokenów w odpowiedzi uzupełniania. Identyfikatory tokenów są obliczane za pośrednictwem narzędzi tokenizatora zewnętrznego, natomiast wyniki stronniczości znajdują się w zakresie od -100 do 100 z minimalnymi i maksymalnymi wartościami odpowiadającymi pełnemu zakazowi lub wyłącznemu wyborowi tokenu. Dokładne zachowanie danego wyniku stronniczości różni się w zależności od modelu.
logprobs	Wartość, która kontroluje emisję prawdopodobieństwa dziennika dla podanej liczby najbardziej prawdopodobnych tokenów w odpowiedzi uzupełniania.
maxTokens	Maksymalna liczba tokenów do wygenerowania.
n	Liczba opcji ukończenia, które powinny być generowane dla podanego monitu w ramach ogólnej odpowiedzi uzupełniania. Ponieważ to ustawienie może wygenerować wiele uzupełniania, może szybko korzystać z limitu przydziału tokenu. Należy uważnie używać i zapewnić odpowiednie ustawienia dla max_tokens i zatrzymać.
presencePenalty	Wartość, która wpływa na prawdopodobieństwo pojawienia się wygenerowanych tokenów na podstawie ich istniejącej obecności w wygenerowanym tekście. Wartości dodatnie sprawią, że tokeny staną się mniej prawdopodobne, gdy już istnieją, i zwiększą prawdopodobieństwo pojawienia się nowych tematów modelu.
stop	Kolekcja sekwencji tekstowych, które zakończą generowanie ukończenia.
temperature	Temperatura próbkowania do użycia steruje pozorną kreatywnością generowanych zakończeń. Wyższe wartości sprawią, że dane wyjściowe będą bardziej losowe, a niższe wartości sprawią, że wyniki będą bardziej skoncentrowane i deterministyczne. Nie zaleca się modyfikowania temperatury i top_p dla tego samego żądania ukończenia, ponieważ interakcja tych dwóch ustawień jest trudna do przewidzenia.
topP	Alternatywą dla próbkowania z temperaturą nazywaną próbkowaniem jądra. Ta wartość powoduje, że model uwzględnia wyniki tokenów z podaną masą prawdopodobieństwa. Na przykład wartość 0,15 spowoduje, że uwzględniane będą tylko tokeny składające się z 15% masy prawdopodobieństwa. Nie zaleca się modyfikowania temperatury i top_p dla tego samego żądania ukończenia, ponieważ interakcja tych dwóch ustawień jest trudna do przewidzenia.
user	Identyfikator obiektu wywołującego lub użytkownika końcowego operacji. Może to być używane do celów śledzenia lub ograniczania szybkości.

Właściwości dziedziczone

abortSignal	Sygnał, który może służyć do przerwania żądań.
onResponse	Funkcja, która ma być wywoływana za każdym razem, gdy odpowiedź jest odbierana z serwera podczas wykonywania żądanej operacji. Może być wywoływana wiele razy.
requestOptions	Opcje używane podczas tworzenia i wysyłania żądań HTTP dla tej operacji.
tracingOptions	Opcje używane podczas śledzenia jest włączone.

Szczegóły właściwości

bestOf

Wartość, która kontroluje, ile uzupełniania zostanie wygenerowanych wewnętrznie przed sformułowaniem odpowiedzi. W przypadku użycia razem z n, best_of kontroluje liczbę ukończonych kandydatów i musi być większa niż n. Ponieważ to ustawienie może wygenerować wiele uzupełniania, może szybko korzystać z limitu przydziału tokenu. Należy uważnie używać i zapewnić odpowiednie ustawienia dla max_tokens i zatrzymać.

bestOf?: number

Wartość właściwości

number

echo

Wartość określająca, czy zakończenia odpowiedzi powinny zawierać monity wejściowe jako prefiksy do wygenerowanych danych wyjściowych.

echo?: boolean

Wartość właściwości

boolean

frequencyPenalty

Wartość, która wpływa na prawdopodobieństwo pojawienia się wygenerowanych tokenów na podstawie ich skumulowanej częstotliwości w wygenerowanym tekście. Wartości dodatnie sprawią, że tokeny będą mniej prawdopodobne, ponieważ ich częstotliwość rośnie i zmniejsza prawdopodobieństwo, że model powtarza te same instrukcje dosłownie.

frequencyPenalty?: number

Wartość właściwości

number

logitBias

Mapa między identyfikatorami tokenów GPT i wynikami stronniczości, która wpływa na prawdopodobieństwo pojawienia się określonych tokenów w odpowiedzi uzupełniania. Identyfikatory tokenów są obliczane za pośrednictwem narzędzi tokenizatora zewnętrznego, natomiast wyniki stronniczości znajdują się w zakresie od -100 do 100 z minimalnymi i maksymalnymi wartościami odpowiadającymi pełnemu zakazowi lub wyłącznemu wyborowi tokenu. Dokładne zachowanie danego wyniku stronniczości różni się w zależności od modelu.

logitBias?: Record<string, number>

Wartość właściwości

Record<string, number>

logprobs

Wartość, która kontroluje emisję prawdopodobieństwa dziennika dla podanej liczby najbardziej prawdopodobnych tokenów w odpowiedzi uzupełniania.

logprobs?: number

Wartość właściwości

number

maxTokens

Maksymalna liczba tokenów do wygenerowania.

maxTokens?: number

Wartość właściwości

number

n

Liczba opcji ukończenia, które powinny być generowane dla podanego monitu w ramach ogólnej odpowiedzi uzupełniania. Ponieważ to ustawienie może wygenerować wiele uzupełniania, może szybko korzystać z limitu przydziału tokenu. Należy uważnie używać i zapewnić odpowiednie ustawienia dla max_tokens i zatrzymać.

n?: number

Wartość właściwości

number

presencePenalty

Wartość, która wpływa na prawdopodobieństwo pojawienia się wygenerowanych tokenów na podstawie ich istniejącej obecności w wygenerowanym tekście. Wartości dodatnie sprawią, że tokeny staną się mniej prawdopodobne, gdy już istnieją, i zwiększą prawdopodobieństwo pojawienia się nowych tematów modelu.

presencePenalty?: number

Wartość właściwości

number

stop

Kolekcja sekwencji tekstowych, które zakończą generowanie ukończenia.

stop?: string[]

Wartość właściwości

string[]

temperature

Temperatura próbkowania do użycia steruje pozorną kreatywnością generowanych zakończeń. Wyższe wartości sprawią, że dane wyjściowe będą bardziej losowe, a niższe wartości sprawią, że wyniki będą bardziej skoncentrowane i deterministyczne. Nie zaleca się modyfikowania temperatury i top_p dla tego samego żądania ukończenia, ponieważ interakcja tych dwóch ustawień jest trudna do przewidzenia.

temperature?: number

Wartość właściwości

number

topP

Alternatywą dla próbkowania z temperaturą nazywaną próbkowaniem jądra. Ta wartość powoduje, że model uwzględnia wyniki tokenów z podaną masą prawdopodobieństwa. Na przykład wartość 0,15 spowoduje, że uwzględniane będą tylko tokeny składające się z 15% masy prawdopodobieństwa. Nie zaleca się modyfikowania temperatury i top_p dla tego samego żądania ukończenia, ponieważ interakcja tych dwóch ustawień jest trudna do przewidzenia.

topP?: number

Wartość właściwości

number

user

Identyfikator obiektu wywołującego lub użytkownika końcowego operacji. Może to być używane do celów śledzenia lub ograniczania szybkości.

user?: string

Wartość właściwości

string

Szczegóły właściwości dziedziczonej

abortSignal

Sygnał, który może służyć do przerwania żądań.

abortSignal?: AbortSignalLike

Wartość właściwości

AbortSignalLike

Dziedziczone z OperationOptions.abortSignal

onResponse

Funkcja, która ma być wywoływana za każdym razem, gdy odpowiedź jest odbierana z serwera podczas wykonywania żądanej operacji. Może być wywoływana wiele razy.

onResponse?: RawResponseCallback

Wartość właściwości

RawResponseCallback

Dziedziczone z OperationOptions.onResponse

requestOptions

Opcje używane podczas tworzenia i wysyłania żądań HTTP dla tej operacji.

requestOptions?: OperationRequestOptions

Wartość właściwości

OperationRequestOptions

Dziedziczone z OperationOptions.requestOptions

tracingOptions

Opcje używane podczas śledzenia jest włączone.

tracingOptions?: OperationTracingOptions

Wartość właściwości

OperationTracingOptions

Dziedziczone z OperationOptions.tracingOptions