你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn

参考:完成 | Azure AI Studio

重要

本文中标记了“(预览版)”的项目目前为公共预览版。 此预览版未提供服务级别协议,不建议将其用于生产工作负载。 某些功能可能不受支持或者受限。 有关详细信息,请参阅 Microsoft Azure 预览版补充使用条款

为提供的提示和参数创建完成。

POST /completions?api-version=2024-04-01-preview
名称 必需 类型​​ 说明
api-version 查询 正确 string 格式为“YYYY-MM-DD”或“YYYY-MM-DD-preview”格式的 API 版本。

请求头

名称 必需 类型​​ 描述
其他参数 string 在有效负载中指示其他参数时 API 的行为。 使用 pass-through 让 API 将参数传递给基础模型。 如果要传递基础模型可以支持的参数,请使用此值。 使用 ignore 让 API 删除任何不受支持的参数。 如果需要在不同模型中使用相同的有效负载,请使用此值,但如果不受支持,其中一个其他参数可能会使模型出错。 使用 error 让 API 拒绝有效负载中的任何其他参数。 只能指示此 API 中指定的参数,否则将返回 400 错误。
azureml-model-deployment string 要将请求路由到的部署的名称。 支持支持多个部署的终结点。

请求正文

名称 必需 类型​​ 描述
prompt True 提示生成字符串、字符串数组、标记数组或令牌数组的补全。 请注意,<\|endoftext\|> 是模型在训练期间看到的文档分隔符,因此如果未指定提示,则模型将生成与从新文档开头一样生成。
frequency_penalty 数字 正值会根据它们到目前为止在文本中的现有频率来惩罚新令牌,从而降低模型逐字重复同一行的可能性。
max_tokens integer 可以在补全时生成的最大令牌数。 提示的标记计数加上 max_tokens 不能超过模型的上下文长度。
presence_penalty 数字 正值会根据它们到目前为止是否在文本中出现来惩罚新令牌,从而增加模型谈论新话题的可能性。
seed integer 如果指定,该模型会尽力确定性地采样,以便具有相同 seed 和参数的重复请求应返回相同的结果。

无法保证确定性,你应参考 system_fingerprint 响应参数来监视后端的更改。
stop API 停止生成进一步令牌的序列。 返回的文本将不包含停止序列。
流 (stream) boolean 是否流式传输回部分进度。 如果已设置,令牌将在可用时作为仅限数据的服务器发送的事件发送,并且流式传输由 data: [DONE] 消息终止。
温度 数字 要使用的采样温度,介于 0 和 2 之间。 较高的值(如 0.8)将使输出更随机,而较小的值(如 0.2)将使输出更集中且更具确定性

我们通常建议更改 temperaturetop_p,但不要同时更改这两者。
top_p 数字 温度采样的替代方法,称为核采样,其中模型考虑具有 top_p 概率质量的令牌的结果。 所以 0.1 意味着只考虑包含前 10% 概率质量的令牌。

我们通常建议更改 top_ptemperature,但不要同时更改这两者。

响应

名称 Type 说明
200 OK CreateCompletionResponse 确定
401 未授权 UnauthorizedError 访问令牌缺失或无效

标头

x-ms-error-code: string
404 未找到 NotFoundError 模型不支持模态。 查看模型的文档,查看哪些路由可用。

标头

x-ms-error-code: string
422 不可处理实体 UnprocessableContentError 请求包含无法处理的内容

标头

x-ms-error-code: string
429 请求次数过多 TooManyRequestsError 你已达到指定的速率限制,需要调整请求的速度。

标头

x-ms-error-code: string
其他状态代码 ContentFilterError 无效的请求

标头

x-ms-error-code: string

安全性

授权

带有 Bearer: 前缀的令牌,例如 Bearer abcde12345

Type: apiKey
In: header

AADToken

Azure Active Directory OAuth2 身份验证

类型:oauth2
:应用程序
令牌 URLhttps://login.microsoftonline.com/common/oauth2/v2.0/token

示例

为提供的提示和参数创建补全

示例请求

POST /completions?api-version=2024-04-01-preview

{
  "prompt": "This is a very good text",
  "frequency_penalty": 0,
  "presence_penalty": 0,
  "max_tokens": 256,
  "seed": 42,
  "stop": "<|endoftext|>",
  "stream": false,
  "temperature": 0,
  "top_p": 1
}

示例响应

状态代码:200

{
  "id": "1234567890",
  "model": "llama2-7b",
  "choices": [
    {
      "index": 0,
      "finish_reason": "stop",
      "text": ", indeed it is a good one."
    }
  ],
  "created": 1234567890,
  "object": "text_completion",
  "usage": {
    "prompt_tokens": 15,
    "completion_tokens": 8,
    "total_tokens": 23
  }
}

定义

名称 描述
选择项 聊天完成选项的列表。
CompletionFinishReason 模型停止生成标记的原因。 如果模型命中了自然停止点或提供的停止序列,则stop;如果达到请求中指定的最大令牌数,则length;如果由于内容筛选器中的标志而省略内容,则content_filter
CompletionUsage 完成请求的使用情况统计信息。
ContentFilterError 当提示按配置触发内容筛选器时,API 调用将失败。 修改提示,然后重试。
CreateCompletionRequest
CreateCompletionResponse 表示来自 API 的补全响应。
详细信息
TextCompletionObject 对象类型,始终为“text_completion”。
UnprocessableContentError

选择项

聊天完成选项的列表。

名称 Type 描述
finish_reason CompletionFinishReason 模型停止生成标记的原因。 如果模型命中了自然停止点或提供的停止序列,则stop;如果达到请求中指定的最大令牌数,则length;如果由于内容筛选器中的标志而省略内容,则content_filter;如果模型调用了工具,则tool_calls
index integer 选项列表中的所选索引。
text string 生成的文本。

CompletionFinishReason

模型停止生成标记的原因。 如果模型命中了自然停止点或提供的停止序列,则stop;如果达到请求中指定的最大令牌数,则length;如果由于内容筛选器中的标志而省略内容,则content_filter

名称 Type 描述
content_filter string
length string
stop string

CompletionUsage

完成请求的使用情况统计信息。

名称 Type 描述
completion_tokens integer 生成的补全中的词元数。
prompt_tokens integer 提示中的标记数。
total_tokens integer 请求中使用的令牌总数(提示 + 补全)。

ContentFilterError

当提示按配置触发内容筛选器时,API 调用将失败。 修改提示,然后重试。

名称 Type 说明
code string 错误代码。
error string 错误说明。
message string 错误消息。
param string 触发内容筛选器的参数。
status integer HTTP 状态代码。

CreateCompletionRequest

名称 类型​​ 默认值 说明
frequency_penalty 数字 0 正值会根据它们到目前为止在文本中的现有频率来惩罚新令牌,从而降低模型逐字重复同一行的可能性。
max_tokens integer 256 可以在补全时生成的最大令牌数。 提示的标记计数加上 max_tokens 不能超过模型的上下文长度。
presence_penalty 数字 0 正值会根据它们到目前为止是否在文本中出现来惩罚新令牌,从而增加模型谈论新话题的可能性。
prompt <\|endoftext\|> 提示生成字符串、字符串数组、标记数组或令牌数组的补全。 请注意,<\|endoftext\|> 是模型在训练期间看到的文档分隔符,因此如果未指定提示,则模型将生成与从新文档开头一样生成。
seed integer 指定后,我们的系统将尽最大努力进行确定性采样,以便具有相同 seed 和参数的重复请求应返回相同的结果。

无法保证确定性,你应参考 system_fingerprint 响应参数来监视后端的更改。
stop API 停止生成进一步令牌的序列。 返回的文本将不包含停止序列。
流 (stream) boolean False 是否流式传输回部分进度。 如果已设置,令牌将在可用时作为仅限数据的服务器发送的事件发送,并且流式传输由 data: [DONE] 消息终止。
温度 数字 1 要使用的采样温度,介于 0 和 2 之间。 较高的值(如 0.8)将使输出更随机,而较小的值(如 0.2)将使输出更集中且更具确定性

我们通常建议更改此设置或 top_p,但不要同时更改两者。
top_p 数字 1 温度采样的替代方法,称为核采样,其中模型考虑具有 top_p 概率质量的令牌的结果。 所以 0.1 意味着只考虑包含前 10% 概率质量的令牌。

我们通常建议更改此设置或 temperature,但不要同时更改两者。

CreateCompletionResponse

表示来自 API 的补全响应。 注意:流式处理和非流式处理响应对象共享相同的形状(与聊天终结点不同)。

名称 Type 描述
choices Choices[] 为输入提示生成的模型完成选项的列表。
created integer 创建完成时间的 Unix 时间戳(以秒为单位)。
ID string 完成的唯一标识符。
model string 用于补全的模型。
object TextCompletionObject 对象类型,始终为“text_completion”。
system_fingerprint string 这个指纹表示模型运行的后端配置。

可以与 seed 请求参数一起使用,以了解何时进行了可能影响确定性的后端更改。
使用情况 CompletionUsage 完成请求的使用情况统计信息。

详细信息

名称 Type 描述
loc string[] 导致问题的参数
value string 传递给参数导致问题的值。

TextCompletionObject

对象类型,始终为“text_completion”。

名称 Type 描述
text_completion string

ListObject

对象类型,始终为“list”。

名称 Type 说明
list string

NotFoundError

名称 Type 说明
error string 错误说明。
message string 错误消息。
status integer HTTP 状态代码。

TooManyRequestsError

名称 Type 说明
error string 错误说明。
message string 错误消息。
status integer HTTP 状态代码。

UnauthorizedError

名称 Type 说明
error string 错误说明。
message string 错误消息。
status integer HTTP 状态代码。

UnprocessableContentError

名称 Type 说明
code string 错误代码。
detail 详细信息
error string 错误说明。
message string 错误消息。
status integer HTTP 状态代码。