你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn

GetChatCompletionsOptions interface

此模块包含我们希望与相应生成的模型并行运行的模型。 这对于提供名称/类型与生成的模型不同的面向客户的模型非常有用。

Extends

属性

azureExtensionOptions

使用它们的 Azure OpenAI 聊天扩展的配置条目。 此附加规范仅与 Azure OpenAI 兼容。

frequencyPenalty

一个 值,该值根据生成的文本中生成的标记的累积频率影响其出现概率。 正值将使标记在频率增加时出现的可能性降低,并降低模型逐字重复相同语句的可能性。

functionCall

控制模型如何响应函数调用。 “none”表示模型不调用函数,并对最终用户做出响应。 “auto”表示模型可以在最终用户或调用函数之间进行选择。 通过 {"name": "my_function"} 指定特定函数会强制模型调用该函数。 当不存在任何函数时,“none”是默认值。 如果存在函数,则“auto”是默认值。

functions

模型可能为其生成 JSON 输入的函数的列表。

logitBias

GPT 令牌 ID 和偏差分数之间的映射,该映射会影响特定令牌出现在完成响应中的概率。 令牌 ID 通过外部 tokenizer 工具计算,而偏差分数位于 -100 到 100 的范围内,最小值和最大值分别对应于令牌的完全禁止或独占选择。 给定偏差分数的确切行为因模型而异。

maxTokens

要生成的令牌的最大数目。

n

应为聊天完成响应生成的聊天完成选项数。 由于此设置可能会生成许多完成,因此它可能会快速消耗令牌配额。 请谨慎使用,并确保 maxTokens 和停止的合理设置。

presencePenalty

一个 值,该值根据生成的文本中的现有状态影响生成的令牌出现的可能性。 正值将使令牌在已存在时不太可能显示,并增加模型输出新主题的可能性。

responseFormat

一个 对象,指定模型必须输出的格式。 用于启用 JSON 模式。

seed

如果指定,系统将尽最大努力以确定性方式采样,以便具有相同种子和参数的重复请求应返回相同的结果。 无法保证确定性,应参考 system_fingerprint 响应参数来监视后端中的更改。”

stop

将结束完成生成的文本序列集合。

temperature

要使用的采样温度,用于控制生成完成的明显创造力。 较高的值将使输出更随机,而较低的值将使结果更加集中和确定性。 不建议针对相同的完成请求修改温度和 topP,因为这两个设置的交互难以预测。

toolChoice

如果指定,模型将配置可用于聊天完成响应的所提供的工具。

tools

聊天完成请求可以使用的可用工具定义,包括调用方定义的函数。

topP

温度采样的替代方法称为核采样。 此值使模型考虑具有提供的概率质量的标记的结果。 例如,如果值为 0.15,则只考虑包含概率质量前 15% 的标记。 不建议针对相同的完成请求修改温度和 topP,因为这两个设置的交互难以预测。

user

操作的调用方或最终用户的标识符。 这可用于跟踪或速率限制目的。

继承属性

abortSignal

可用于中止请求的信号。

onResponse

在执行请求的操作时,每次从服务器收到响应时要调用的函数。 可以多次调用。

requestOptions

创建和发送此操作的 HTTP 请求时使用的选项。

tracingOptions

启用跟踪时使用的选项。

属性详细信息

azureExtensionOptions

使用它们的 Azure OpenAI 聊天扩展的配置条目。 此附加规范仅与 Azure OpenAI 兼容。

azureExtensionOptions?: AzureExtensionsOptions

属性值

frequencyPenalty

一个 值,该值根据生成的文本中生成的标记的累积频率影响其出现概率。 正值将使标记在频率增加时出现的可能性降低,并降低模型逐字重复相同语句的可能性。

frequencyPenalty?: number

属性值

number

functionCall

控制模型如何响应函数调用。 “none”表示模型不调用函数,并对最终用户做出响应。 “auto”表示模型可以在最终用户或调用函数之间进行选择。 通过 {"name": "my_function"} 指定特定函数会强制模型调用该函数。 当不存在任何函数时,“none”是默认值。 如果存在函数,则“auto”是默认值。

functionCall?: string | FunctionName

属性值

string | FunctionName

functions

模型可能为其生成 JSON 输入的函数的列表。

functions?: FunctionDefinition[]

属性值

logitBias

GPT 令牌 ID 和偏差分数之间的映射,该映射会影响特定令牌出现在完成响应中的概率。 令牌 ID 通过外部 tokenizer 工具计算,而偏差分数位于 -100 到 100 的范围内,最小值和最大值分别对应于令牌的完全禁止或独占选择。 给定偏差分数的确切行为因模型而异。

logitBias?: Record<string, number>

属性值

Record<string, number>

maxTokens

要生成的令牌的最大数目。

maxTokens?: number

属性值

number

n

应为聊天完成响应生成的聊天完成选项数。 由于此设置可能会生成许多完成,因此它可能会快速消耗令牌配额。 请谨慎使用,并确保 maxTokens 和停止的合理设置。

n?: number

属性值

number

presencePenalty

一个 值,该值根据生成的文本中的现有状态影响生成的令牌出现的可能性。 正值将使令牌在已存在时不太可能显示,并增加模型输出新主题的可能性。

presencePenalty?: number

属性值

number

responseFormat

一个 对象,指定模型必须输出的格式。 用于启用 JSON 模式。

responseFormat?: ChatCompletionsResponseFormat

属性值

seed

如果指定,系统将尽最大努力以确定性方式采样,以便具有相同种子和参数的重复请求应返回相同的结果。 无法保证确定性,应参考 system_fingerprint 响应参数来监视后端中的更改。”

seed?: number

属性值

number

stop

将结束完成生成的文本序列集合。

stop?: string[]

属性值

string[]

temperature

要使用的采样温度,用于控制生成完成的明显创造力。 较高的值将使输出更随机,而较低的值将使结果更加集中和确定性。 不建议针对相同的完成请求修改温度和 topP,因为这两个设置的交互难以预测。

temperature?: number

属性值

number

toolChoice

如果指定,模型将配置可用于聊天完成响应的所提供的工具。

toolChoice?: ChatCompletionsNamedToolSelectionUnion

属性值

tools

聊天完成请求可以使用的可用工具定义,包括调用方定义的函数。

tools?: ChatCompletionsToolDefinitionUnion[]

属性值

topP

温度采样的替代方法称为核采样。 此值使模型考虑具有提供的概率质量的标记的结果。 例如,如果值为 0.15,则只考虑包含概率质量前 15% 的标记。 不建议针对相同的完成请求修改温度和 topP,因为这两个设置的交互难以预测。

topP?: number

属性值

number

user

操作的调用方或最终用户的标识符。 这可用于跟踪或速率限制目的。

user?: string

属性值

string

继承属性详细信息

abortSignal

可用于中止请求的信号。

abortSignal?: AbortSignalLike

属性值

继承自 OperationOptions.abortSignal

onResponse

在执行请求的操作时,每次从服务器收到响应时要调用的函数。 可以多次调用。

onResponse?: RawResponseCallback

属性值

继承自 OperationOptions.onResponse

requestOptions

创建和发送此操作的 HTTP 请求时使用的选项。

requestOptions?: OperationRequestOptions

属性值

继承自 OperationOptions.requestOptions

tracingOptions

启用跟踪时使用的选项。

tracingOptions?: OperationTracingOptions

属性值

继承自 OperationOptions.tracingOptions