AzureOpenAITokenizerParameters interface

Pacote:

@azure/search-documents

Propriedades

allowedSpecialTokens	(Opcional) Só se aplica se a unidade estiver definida como azureOpenAITokens. Este parâmetro define uma coleção de tokens especiais que são permitidos dentro do processo de tokenização.
encoderModelName	Só se aplica se a unidade estiver definida como azureOpenAITokens. As opções incluem 'R50k_base', 'P50k_base', 'P50k_edit' e 'CL100k_base'. O valor padrão é 'CL100k_base'.

Detalhes de Propriedade

allowedSpecialTokens

(Opcional) Só se aplica se a unidade estiver definida como azureOpenAITokens. Este parâmetro define uma coleção de tokens especiais que são permitidos dentro do processo de tokenização.

allowedSpecialTokens?: string[]

Valor de Propriedade

string[]

encoderModelName

Só se aplica se a unidade estiver definida como azureOpenAITokens. As opções incluem 'R50k_base', 'P50k_base', 'P50k_edit' e 'CL100k_base'. O valor padrão é 'CL100k_base'.

encoderModelName?: string

Valor de Propriedade

string