你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn。
GetChatCompletionsOptions interface
此模块包含我们希望与相应生成的模型并行运行的模型。 这对于提供名称/类型与生成的模型不同的面向客户的模型非常有用。
- Extends
属性
azure |
使用它们的 Azure OpenAI 聊天扩展的配置条目。 此附加规范仅与 Azure OpenAI 兼容。 |
frequency |
一个 值,该值根据生成的文本中生成的标记的累积频率影响其出现概率。 正值将使标记在频率增加时出现的可能性降低,并降低模型逐字重复相同语句的可能性。 |
function |
控制模型如何响应函数调用。 “none”表示模型不调用函数,并对最终用户做出响应。 “auto”表示模型可以在最终用户或调用函数之间进行选择。
通过 |
functions | 模型可能为其生成 JSON 输入的函数的列表。 |
logit |
GPT 令牌 ID 和偏差分数之间的映射,该映射会影响特定令牌出现在完成响应中的概率。 令牌 ID 通过外部 tokenizer 工具计算,而偏差分数位于 -100 到 100 的范围内,最小值和最大值分别对应于令牌的完全禁止或独占选择。 给定偏差分数的确切行为因模型而异。 |
max |
要生成的令牌的最大数目。 |
n | 应为聊天完成响应生成的聊天完成选项数。 由于此设置可能会生成许多完成,因此它可能会快速消耗令牌配额。 请谨慎使用,并确保 maxTokens 和停止的合理设置。 |
presence |
一个 值,该值根据生成的文本中的现有状态影响生成的令牌出现的可能性。 正值将使令牌在已存在时不太可能显示,并增加模型输出新主题的可能性。 |
response |
一个 对象,指定模型必须输出的格式。 用于启用 JSON 模式。 |
seed | 如果指定,系统将尽最大努力以确定性方式采样,以便具有相同种子和参数的重复请求应返回相同的结果。 无法保证确定性,应参考 system_fingerprint 响应参数来监视后端中的更改。” |
stop | 将结束完成生成的文本序列集合。 |
temperature | 要使用的采样温度,用于控制生成完成的明显创造力。 较高的值将使输出更随机,而较低的值将使结果更加集中和确定性。 不建议针对相同的完成请求修改温度和 topP,因为这两个设置的交互难以预测。 |
tool |
如果指定,模型将配置可用于聊天完成响应的所提供的工具。 |
tools | 聊天完成请求可以使用的可用工具定义,包括调用方定义的函数。 |
topP | 温度采样的替代方法称为核采样。 此值使模型考虑具有提供的概率质量的标记的结果。 例如,如果值为 0.15,则只考虑包含概率质量前 15% 的标记。 不建议针对相同的完成请求修改温度和 topP,因为这两个设置的交互难以预测。 |
user | 操作的调用方或最终用户的标识符。 这可用于跟踪或速率限制目的。 |
继承属性
abort |
可用于中止请求的信号。 |
on |
在执行请求的操作时,每次从服务器收到响应时要调用的函数。 可以多次调用。 |
request |
创建和发送此操作的 HTTP 请求时使用的选项。 |
tracing |
启用跟踪时使用的选项。 |
属性详细信息
azureExtensionOptions
使用它们的 Azure OpenAI 聊天扩展的配置条目。 此附加规范仅与 Azure OpenAI 兼容。
azureExtensionOptions?: AzureExtensionsOptions
属性值
frequencyPenalty
一个 值,该值根据生成的文本中生成的标记的累积频率影响其出现概率。 正值将使标记在频率增加时出现的可能性降低,并降低模型逐字重复相同语句的可能性。
frequencyPenalty?: number
属性值
number
functionCall
控制模型如何响应函数调用。 “none”表示模型不调用函数,并对最终用户做出响应。 “auto”表示模型可以在最终用户或调用函数之间进行选择。
通过 {"name": "my_function"}
指定特定函数会强制模型调用该函数。
当不存在任何函数时,“none”是默认值。 如果存在函数,则“auto”是默认值。
functionCall?: string | FunctionName
属性值
string | FunctionName
functions
logitBias
GPT 令牌 ID 和偏差分数之间的映射,该映射会影响特定令牌出现在完成响应中的概率。 令牌 ID 通过外部 tokenizer 工具计算,而偏差分数位于 -100 到 100 的范围内,最小值和最大值分别对应于令牌的完全禁止或独占选择。 给定偏差分数的确切行为因模型而异。
logitBias?: Record<string, number>
属性值
Record<string, number>
maxTokens
要生成的令牌的最大数目。
maxTokens?: number
属性值
number
n
应为聊天完成响应生成的聊天完成选项数。 由于此设置可能会生成许多完成,因此它可能会快速消耗令牌配额。 请谨慎使用,并确保 maxTokens 和停止的合理设置。
n?: number
属性值
number
presencePenalty
一个 值,该值根据生成的文本中的现有状态影响生成的令牌出现的可能性。 正值将使令牌在已存在时不太可能显示,并增加模型输出新主题的可能性。
presencePenalty?: number
属性值
number
responseFormat
一个 对象,指定模型必须输出的格式。 用于启用 JSON 模式。
responseFormat?: ChatCompletionsResponseFormat
属性值
seed
如果指定,系统将尽最大努力以确定性方式采样,以便具有相同种子和参数的重复请求应返回相同的结果。 无法保证确定性,应参考 system_fingerprint 响应参数来监视后端中的更改。”
seed?: number
属性值
number
stop
将结束完成生成的文本序列集合。
stop?: string[]
属性值
string[]
temperature
要使用的采样温度,用于控制生成完成的明显创造力。 较高的值将使输出更随机,而较低的值将使结果更加集中和确定性。 不建议针对相同的完成请求修改温度和 topP,因为这两个设置的交互难以预测。
temperature?: number
属性值
number
toolChoice
如果指定,模型将配置可用于聊天完成响应的所提供的工具。
toolChoice?: ChatCompletionsNamedToolSelectionUnion
属性值
tools
聊天完成请求可以使用的可用工具定义,包括调用方定义的函数。
tools?: ChatCompletionsToolDefinitionUnion[]
属性值
topP
温度采样的替代方法称为核采样。 此值使模型考虑具有提供的概率质量的标记的结果。 例如,如果值为 0.15,则只考虑包含概率质量前 15% 的标记。 不建议针对相同的完成请求修改温度和 topP,因为这两个设置的交互难以预测。
topP?: number
属性值
number
user
操作的调用方或最终用户的标识符。 这可用于跟踪或速率限制目的。
user?: string
属性值
string
继承属性详细信息
abortSignal
onResponse
在执行请求的操作时,每次从服务器收到响应时要调用的函数。 可以多次调用。
onResponse?: RawResponseCallback
属性值
继承自 OperationOptions.onResponse
requestOptions
创建和发送此操作的 HTTP 请求时使用的选项。
requestOptions?: OperationRequestOptions
属性值
继承自 OperationOptions.requestOptions
tracingOptions
启用跟踪时使用的选项。
tracingOptions?: OperationTracingOptions
属性值
继承自 OperationOptions.tracingOptions