Compartir a través de

AzureOpenAITokenizerParameters interface

Paquete:
@azure/search-documents

Propiedades

allowedSpecialTokens

(Opcional) Solo se aplica si la unidad está establecida en azureOpenAITokens. Este parámetro define una colección de tokens especiales que se permiten en el proceso de tokenización.
encoderModelName

Solo se aplica si la unidad está establecida en azureOpenAITokens. Las opciones incluyen "R50k_base", "P50k_base", "P50k_edit" y "CL100k_base". El valor predeterminado es "CL100k_base".

Detalles de las propiedades

allowedSpecialTokens

(Opcional) Solo se aplica si la unidad está establecida en azureOpenAITokens. Este parámetro define una colección de tokens especiales que se permiten en el proceso de tokenización.

allowedSpecialTokens?: string[]

Valor de propiedad

string[]

encoderModelName

Solo se aplica si la unidad está establecida en azureOpenAITokens. Las opciones incluyen "R50k_base", "P50k_base", "P50k_edit" y "CL100k_base". El valor predeterminado es "CL100k_base".

encoderModelName?: string

Valor de propiedad

string