你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn。
参考:完成 | Azure AI Studio
重要
本文中标记了“(预览版)”的项目目前为公共预览版。 此预览版未提供服务级别协议,不建议将其用于生产工作负载。 某些功能可能不受支持或者受限。 有关详细信息,请参阅 Microsoft Azure 预览版补充使用条款。
为提供的提示和参数创建完成。
POST /completions?api-version=2024-04-01-preview
名称 | 在 | 必需 | 类型 | 说明 |
---|---|---|---|---|
api-version | 查询 | 正确 | string | 格式为“YYYY-MM-DD”或“YYYY-MM-DD-preview”格式的 API 版本。 |
请求头
名称 | 必需 | 类型 | 描述 |
---|---|---|---|
其他参数 | string | 在有效负载中指示其他参数时 API 的行为。 使用 pass-through 让 API 将参数传递给基础模型。 如果要传递基础模型可以支持的参数,请使用此值。 使用 ignore 让 API 删除任何不受支持的参数。 如果需要在不同模型中使用相同的有效负载,请使用此值,但如果不受支持,其中一个其他参数可能会使模型出错。 使用 error 让 API 拒绝有效负载中的任何其他参数。 只能指示此 API 中指定的参数,否则将返回 400 错误。 |
|
azureml-model-deployment | string | 要将请求路由到的部署的名称。 支持支持多个部署的终结点。 |
请求正文
名称 | 必需 | 类型 | 描述 |
---|---|---|---|
prompt | True | 提示生成字符串、字符串数组、标记数组或令牌数组的补全。 请注意,<\|endoftext\|> 是模型在训练期间看到的文档分隔符,因此如果未指定提示,则模型将生成与从新文档开头一样生成。 |
|
frequency_penalty | 数字 | 正值会根据它们到目前为止在文本中的现有频率来惩罚新令牌,从而降低模型逐字重复同一行的可能性。 | |
max_tokens | integer | 可以在补全时生成的最大令牌数。 提示的标记计数加上 max_tokens 不能超过模型的上下文长度。 |
|
presence_penalty | 数字 | 正值会根据它们到目前为止是否在文本中出现来惩罚新令牌,从而增加模型谈论新话题的可能性。 | |
seed | integer | 如果指定,该模型会尽力确定性地采样,以便具有相同 seed 和参数的重复请求应返回相同的结果。无法保证确定性,你应参考 system_fingerprint 响应参数来监视后端的更改。 |
|
stop | API 停止生成进一步令牌的序列。 返回的文本将不包含停止序列。 | ||
流 (stream) | boolean | 是否流式传输回部分进度。 如果已设置,令牌将在可用时作为仅限数据的服务器发送的事件发送,并且流式传输由 data: [DONE] 消息终止。 |
|
温度 | 数字 | 要使用的采样温度,介于 0 和 2 之间。 较高的值(如 0.8)将使输出更随机,而较小的值(如 0.2)将使输出更集中且更具确定性 我们通常建议更改 temperature 或 top_p ,但不要同时更改这两者。 |
|
top_p | 数字 | 温度采样的替代方法,称为核采样,其中模型考虑具有 top_p 概率质量的令牌的结果。 所以 0.1 意味着只考虑包含前 10% 概率质量的令牌。 我们通常建议更改 top_p 或 temperature ,但不要同时更改这两者。 |
响应
名称 | Type | 说明 |
---|---|---|
200 OK | CreateCompletionResponse | 确定 |
401 未授权 | UnauthorizedError | 访问令牌缺失或无效 标头 x-ms-error-code: string |
404 未找到 | NotFoundError | 模型不支持模态。 查看模型的文档,查看哪些路由可用。 标头 x-ms-error-code: string |
422 不可处理实体 | UnprocessableContentError | 请求包含无法处理的内容 标头 x-ms-error-code: string |
429 请求次数过多 | TooManyRequestsError | 你已达到指定的速率限制,需要调整请求的速度。 标头 x-ms-error-code: string |
其他状态代码 | ContentFilterError | 无效的请求 标头 x-ms-error-code: string |
安全性
授权
带有 Bearer:
前缀的令牌,例如 Bearer abcde12345
Type: apiKey
In: header
AADToken
Azure Active Directory OAuth2 身份验证
类型:oauth2
流:应用程序
令牌 URL:https://login.microsoftonline.com/common/oauth2/v2.0/token
示例
为提供的提示和参数创建补全
示例请求
POST /completions?api-version=2024-04-01-preview
{
"prompt": "This is a very good text",
"frequency_penalty": 0,
"presence_penalty": 0,
"max_tokens": 256,
"seed": 42,
"stop": "<|endoftext|>",
"stream": false,
"temperature": 0,
"top_p": 1
}
示例响应
状态代码:200
{
"id": "1234567890",
"model": "llama2-7b",
"choices": [
{
"index": 0,
"finish_reason": "stop",
"text": ", indeed it is a good one."
}
],
"created": 1234567890,
"object": "text_completion",
"usage": {
"prompt_tokens": 15,
"completion_tokens": 8,
"total_tokens": 23
}
}
定义
名称 | 描述 |
---|---|
选择项 | 聊天完成选项的列表。 |
CompletionFinishReason | 模型停止生成标记的原因。 如果模型命中了自然停止点或提供的停止序列,则stop ;如果达到请求中指定的最大令牌数,则length ;如果由于内容筛选器中的标志而省略内容,则content_filter 。 |
CompletionUsage | 完成请求的使用情况统计信息。 |
ContentFilterError | 当提示按配置触发内容筛选器时,API 调用将失败。 修改提示,然后重试。 |
CreateCompletionRequest | |
CreateCompletionResponse | 表示来自 API 的补全响应。 |
详细信息 | |
TextCompletionObject | 对象类型,始终为“text_completion”。 |
UnprocessableContentError |
选择项
聊天完成选项的列表。
名称 | Type | 描述 |
---|---|---|
finish_reason | CompletionFinishReason | 模型停止生成标记的原因。 如果模型命中了自然停止点或提供的停止序列,则stop ;如果达到请求中指定的最大令牌数,则length ;如果由于内容筛选器中的标志而省略内容,则content_filter ;如果模型调用了工具,则tool_calls 。 |
index | integer | 选项列表中的所选索引。 |
text | string | 生成的文本。 |
CompletionFinishReason
模型停止生成标记的原因。 如果模型命中了自然停止点或提供的停止序列,则stop
;如果达到请求中指定的最大令牌数,则length
;如果由于内容筛选器中的标志而省略内容,则content_filter
。
名称 | Type | 描述 |
---|---|---|
content_filter | string | |
length | string | |
stop | string |
CompletionUsage
完成请求的使用情况统计信息。
名称 | Type | 描述 |
---|---|---|
completion_tokens | integer | 生成的补全中的词元数。 |
prompt_tokens | integer | 提示中的标记数。 |
total_tokens | integer | 请求中使用的令牌总数(提示 + 补全)。 |
ContentFilterError
当提示按配置触发内容筛选器时,API 调用将失败。 修改提示,然后重试。
名称 | Type | 说明 |
---|---|---|
code | string | 错误代码。 |
error | string | 错误说明。 |
message | string | 错误消息。 |
param | string | 触发内容筛选器的参数。 |
status | integer | HTTP 状态代码。 |
CreateCompletionRequest
名称 | 类型 | 默认值 | 说明 |
---|---|---|---|
frequency_penalty | 数字 | 0 | 正值会根据它们到目前为止在文本中的现有频率来惩罚新令牌,从而降低模型逐字重复同一行的可能性。 |
max_tokens | integer | 256 | 可以在补全时生成的最大令牌数。 提示的标记计数加上 max_tokens 不能超过模型的上下文长度。 |
presence_penalty | 数字 | 0 | 正值会根据它们到目前为止是否在文本中出现来惩罚新令牌,从而增加模型谈论新话题的可能性。 |
prompt | <\|endoftext\|> |
提示生成字符串、字符串数组、标记数组或令牌数组的补全。 请注意,<\|endoftext\|> 是模型在训练期间看到的文档分隔符,因此如果未指定提示,则模型将生成与从新文档开头一样生成。 |
|
seed | integer | 指定后,我们的系统将尽最大努力进行确定性采样,以便具有相同 seed 和参数的重复请求应返回相同的结果。无法保证确定性,你应参考 system_fingerprint 响应参数来监视后端的更改。 |
|
stop | API 停止生成进一步令牌的序列。 返回的文本将不包含停止序列。 | ||
流 (stream) | boolean | False | 是否流式传输回部分进度。 如果已设置,令牌将在可用时作为仅限数据的服务器发送的事件发送,并且流式传输由 data: [DONE] 消息终止。 |
温度 | 数字 | 1 | 要使用的采样温度,介于 0 和 2 之间。 较高的值(如 0.8)将使输出更随机,而较小的值(如 0.2)将使输出更集中且更具确定性 我们通常建议更改此设置或 top_p ,但不要同时更改两者。 |
top_p | 数字 | 1 | 温度采样的替代方法,称为核采样,其中模型考虑具有 top_p 概率质量的令牌的结果。 所以 0.1 意味着只考虑包含前 10% 概率质量的令牌。 我们通常建议更改此设置或 temperature ,但不要同时更改两者。 |
CreateCompletionResponse
表示来自 API 的补全响应。 注意:流式处理和非流式处理响应对象共享相同的形状(与聊天终结点不同)。
名称 | Type | 描述 |
---|---|---|
choices | Choices[] | 为输入提示生成的模型完成选项的列表。 |
created | integer | 创建完成时间的 Unix 时间戳(以秒为单位)。 |
ID | string | 完成的唯一标识符。 |
model | string | 用于补全的模型。 |
object | TextCompletionObject | 对象类型,始终为“text_completion”。 |
system_fingerprint | string | 这个指纹表示模型运行的后端配置。 可以与 seed 请求参数一起使用,以了解何时进行了可能影响确定性的后端更改。 |
使用情况 | CompletionUsage | 完成请求的使用情况统计信息。 |
详细信息
名称 | Type | 描述 |
---|---|---|
loc | string[] | 导致问题的参数 |
value | string | 传递给参数导致问题的值。 |
TextCompletionObject
对象类型,始终为“text_completion”。
名称 | Type | 描述 |
---|---|---|
text_completion | string |
ListObject
对象类型,始终为“list”。
名称 | Type | 说明 |
---|---|---|
list | string |
NotFoundError
名称 | Type | 说明 |
---|---|---|
error | string | 错误说明。 |
message | string | 错误消息。 |
status | integer | HTTP 状态代码。 |
TooManyRequestsError
名称 | Type | 说明 |
---|---|---|
error | string | 错误说明。 |
message | string | 错误消息。 |
status | integer | HTTP 状态代码。 |
UnauthorizedError
名称 | Type | 说明 |
---|---|---|
error | string | 错误说明。 |
message | string | 错误消息。 |
status | integer | HTTP 状态代码。 |
UnprocessableContentError
名称 | Type | 说明 |
---|---|---|
code | string | 错误代码。 |
detail | 详细信息 | |
error | string | 错误说明。 |
message | string | 错误消息。 |
status | integer | HTTP 状态代码。 |