Bagikan melalui

AzureOpenAITokenizerParameters interface

Paket:
@azure/search-documents

Properti

allowedSpecialTokens

(Opsional) Hanya berlaku jika unit diatur ke azureOpenAITokens. Parameter ini mendefinisikan kumpulan token khusus yang diizinkan dalam proses tokenisasi.
encoderModelName

Hanya berlaku jika unit diatur ke azureOpenAITokens. Opsinya termasuk 'R50k_base', 'P50k_base', 'P50k_edit' dan 'CL100k_base'. Nilai defaultnya adalah 'CL100k_base'.

Detail Properti

allowedSpecialTokens

(Opsional) Hanya berlaku jika unit diatur ke azureOpenAITokens. Parameter ini mendefinisikan kumpulan token khusus yang diizinkan dalam proses tokenisasi.

allowedSpecialTokens?: string[]

Nilai Properti

string[]

encoderModelName

Hanya berlaku jika unit diatur ke azureOpenAITokens. Opsinya termasuk 'R50k_base', 'P50k_base', 'P50k_edit' dan 'CL100k_base'. Nilai defaultnya adalah 'CL100k_base'.

encoderModelName?: string

Nilai Properti

string