AzureOpenAITokenizerParameters interface

Пакет:

@azure/search-documents

Свойства

allowedSpecialTokens	(Необязательно) Применяется только в том случае, если для единицы задано значение azureOpenAITokens. Этот параметр определяет коллекцию специальных маркеров, разрешенных в процессе токенизации.
encoderModelName	Применяется только в том случае, если для единицы задано значение azureOpenAITokens. Параметры включают "R50k_base", "P50k_base", "P50k_edit" и "CL100k_base". Значение по умолчанию — "CL100k_base".

Сведения о свойстве

allowedSpecialTokens

(Необязательно) Применяется только в том случае, если для единицы задано значение azureOpenAITokens. Этот параметр определяет коллекцию специальных маркеров, разрешенных в процессе токенизации.

allowedSpecialTokens?: string[]

Значение свойства

string[]

encoderModelName

Применяется только в том случае, если для единицы задано значение azureOpenAITokens. Параметры включают "R50k_base", "P50k_base", "P50k_edit" и "CL100k_base". Значение по умолчанию — "CL100k_base".

encoderModelName?: string

Значение свойства

string