通过

你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

AzureOpenAITokenizerParameters interface

包:
@azure/search-documents

属性

allowedSpecialTokens

（可选）仅当单元设置为 azureOpenAITokens 时才适用。 此参数定义在标记化过程中允许的特殊令牌的集合。
encoderModelName

仅当单元设置为 azureOpenAITokens 时才适用。 选项包括“R50k_base”、“P50k_base”、“P50k_edit”和“CL100k_base”。 默认值为“CL100k_base”。

属性详细信息

allowedSpecialTokens

（可选）仅当单元设置为 azureOpenAITokens 时才适用。 此参数定义在标记化过程中允许的特殊令牌的集合。

allowedSpecialTokens?: string[]

属性值

string[]

encoderModelName

仅当单元设置为 azureOpenAITokens 时才适用。 选项包括“R50k_base”、“P50k_base”、“P50k_edit”和“CL100k_base”。 默认值为“CL100k_base”。

encoderModelName?: string

属性值

string