提示模型不以单词或字符作为文本单位,而是使用介于两者之间的东西:标记。
- 标记可以是单个字符、单词的一小部分或整个单词。
- 许多常用词都由一个标记表示。
- 不太常见的单词由多个标记表示。
- 当提示指令中包含图片或文档时,它们会按照转换规则翻译成标记。
提示使用的令牌
当您创建提示指令并运行它时,将发生以下情况:
- 提示指令会被解构为一串标记,称为输入标记。
- 模型生成的答案是一串称为输出标记的标记。
输入令牌是来自以下各项的令牌的总和:
- 来自 Microsoft 的系统元提示。 此系统提示不可见,对于提示回复的安全至关重要。 它代表几百个标记。
- 提示说明。
- 如果有,则为输入值。
- 如果有,则检索到的知识数据。
输出标记是来自模型回复的标记。
标记如何影响许可
输入标记、输出标记和模型版本的组合可以计算提示运行的成本。 更多信息,请参阅可下载 PDF 文件 Microsoft Power Platform 许可指南中的 AI Builder 费率卡部分。
在生成包含提示的解决方案时,评估提示的平均成本非常重要。 以下各节将解释实现该目标的两种可能性。
提示生成器中的积分计算
在 Power Automate 或 Power Apps 门户内的 AI Hub 中测试提示时,您可以显示提示消耗的积分。 测试是免费的,所以这是一个预测值。
来自 Power Automate 流的标记计数
在流中调用提示操作时,可以使用公式获取相关输入和标记。
输入令牌
outputs('Create_text_with_GPT_using_a_prompt')?['body/responsev2/predictionOutput/promptTokens']
输出令牌
outputs('Create_text_with_GPT_using_a_prompt')?['body/responsev2/predictionOutput/completionTokens']
如何将图像或文档转换为令牌
向提示符传递图像时,图像会被转换为标记。
将 PDF 文档传入提示时,首先会按每页一个图像的方式转换成图像,然后再转换成标记。
标记到图像的转换完全采用 Azure OpenAI 逻辑。
在向 Azure OpenAI 传递图像时,我们使用自动设置。 这意味着图像的标记成本取决于其初始分辨率。
低分辨率图像
分辨率低于 512 x 512 像素的图像,无论大小如何,其统一转换率为每幅图像 85 个标记。
高分辨率图像
对于分辨率高于 512 x 512 像素的图像,令牌转换分两步进行。 具体步骤如下表所示。
步长 | Description | 转换过程 |
---|---|---|
1 | 调整图像大小 | 调整图像大小以适合 2048 x 2048 像素的正方形。 如果最短边大于 768 像素,则进一步调整图像大小,使最短边长 768 像素。 调整大小时会保留纵横比。 |
2 | 标记转换 | 调整大小的图像被划分为 512 x 512 像素的图块。 任何部分磁贴都四舍五入为一个完整磁贴。 图块的数量决定了代币的总成本:每个 512 x 512 像素的图块花费 170 个代币。 总计将额外增加 85 个基本标记。 |