AzureOpenAITokenizerParameters interface

Paket:

@azure/search-documents

Eigenschaften

allowedSpecialTokens	(Optional) Gilt nur, wenn die Einheit auf azureOpenAITokens festgelegt ist. Dieser Parameter definiert eine Sammlung spezieller Token, die innerhalb des Tokenisierungsprozesses zulässig sind.
encoderModelName	Gilt nur, wenn die Einheit auf azureOpenAITokens festgelegt ist. Zu den Optionen gehören "R50k_base", "P50k_base", "P50k_edit" und "CL100k_base". Der Standardwert ist "CL100k_base".

Details zur Eigenschaft

allowedSpecialTokens

(Optional) Gilt nur, wenn die Einheit auf azureOpenAITokens festgelegt ist. Dieser Parameter definiert eine Sammlung spezieller Token, die innerhalb des Tokenisierungsprozesses zulässig sind.

allowedSpecialTokens?: string[]

Eigenschaftswert

string[]

encoderModelName

Gilt nur, wenn die Einheit auf azureOpenAITokens festgelegt ist. Zu den Optionen gehören "R50k_base", "P50k_base", "P50k_edit" und "CL100k_base". Der Standardwert ist "CL100k_base".

encoderModelName?: string

Eigenschaftswert

string