AzureOpenAITokenizerParameters interface

Pacote:

@azure/search-documents

Propriedades

allowedSpecialTokens	(Opcional) Aplica-se somente se a unidade estiver definida como azureOpenAITokens. Esse parâmetro define uma coleção de tokens especiais que são permitidos no processo de tokenização.
encoderModelName	Aplica-se somente se a unidade estiver definida como azureOpenAITokens. As opções incluem 'R50k_base', 'P50k_base', 'P50k_edit' e 'CL100k_base'. O valor padrão é 'CL100k_base'.

Detalhes da propriedade

allowedSpecialTokens

(Opcional) Aplica-se somente se a unidade estiver definida como azureOpenAITokens. Esse parâmetro define uma coleção de tokens especiais que são permitidos no processo de tokenização.

allowedSpecialTokens?: string[]

Valor da propriedade

string[]

encoderModelName

Aplica-se somente se a unidade estiver definida como azureOpenAITokens. As opções incluem 'R50k_base', 'P50k_base', 'P50k_edit' e 'CL100k_base'. O valor padrão é 'CL100k_base'.

encoderModelName?: string

Valor da propriedade

string