AzureOpenAITokenizerParameters interface

Paket:

@azure/search-documents

Egenskaper

allowedSpecialTokens	(Valfritt) Gäller endast om enheten är inställd på azureOpenAITokens. Den här parametern definierar en samling specialtoken som tillåts i tokeniseringsprocessen.
encoderModelName	Gäller endast om enheten är inställd på azureOpenAITokens. Alternativen är "R50k_base", "P50k_base", "P50k_edit" och "CL100k_base". Standardvärdet är "CL100k_base".

Egenskapsinformation

allowedSpecialTokens

(Valfritt) Gäller endast om enheten är inställd på azureOpenAITokens. Den här parametern definierar en samling specialtoken som tillåts i tokeniseringsprocessen.

allowedSpecialTokens?: string[]

Egenskapsvärde

string[]

encoderModelName

Gäller endast om enheten är inställd på azureOpenAITokens. Alternativen är "R50k_base", "P50k_base", "P50k_edit" och "CL100k_base". Standardvärdet är "CL100k_base".

encoderModelName?: string

Egenskapsvärde

string