本文解释了在 Power Automate 中运行提示时人工审核的关键作用。 提示使用由 Azure OpenAI 服务支持的生成式人工智能模型。 尽管这些模型非常有效，但它们有时会生成误导或伪造的信息，并且容易受到即时注入攻击。
重要提示
- AI Builder 提示在由 Azure OpenAI Service 支持的 GPT 模型上运行。
- 这项功能仅限于某些地区。
- 此功能可能会受到使用限制或容量限制。
即时注入攻击
当第三方利用模型对所有输入源的固有信任时，就会发生即时注入攻击。 攻击者在合法用户要求 AI 解决方案与之交互的内容中注入一个提示，导致 AI 解决方案的输出发生变化，并可能导致其操作发生变化。
考虑这样一种场景：公民开发人员使用提示创建回复，以处理从各种平台（如电子邮件、社交媒体或论坛）收集的客户投诉。 攻击者可能会在来自其中一个源的内容中插入提示，欺骗模型生成意外的回复。 回复可能是不恰当的、不正确的或有害的。 向客户发送不正确的信息可能会损害公司的声誉和客户关系。
AI 模型中的编造
编造，也称为捏造，是人工智能模型（包括提示器使用的生成式人工智能模型）面临的另一个挑战。 当 AI 模型生成的信息不是基于提供的输入或预先存在的数据，本质上是发明或捏造信息时，就会出现编造。
例如，如果 AI 模型需要根据给定文本生成历史事件的摘要，则可能包含源文本中未提及的细节或事件。 例如，云端流根据录制记录创建会议概要。 输入数据包括与会者的详细信息、讨论的文章和做出的决策。 但是，该模型可能会生成一个摘要，其中包含会议中从未讨论过的操作项目或决策。 这种情况是一个编造的例子，模型捏造了一条输入数据中不存在的信息。
为了降低编造的风险，实施负责任的 AI 实践至关重要。 这包括对提示和云端流进行严格的测试，为模型提供尽可能多的基础信息，并最终实现一个强大的人工监督系统。
通过负责任的 AI 实践应对风险
我们提倡负责任的 AI 实践作为减轻这些风险的手段。 尽管已经制定了策略来控制模型生成的内容，但管理模型生成虚假回复或遭受即时注入攻击的倾向仍然是一项复杂的挑战。 我们承认这些风险，并重申我们对人类监督和控制的承诺。
认识到无缝自动化的必要性，我们正在积极增强我们的安全系统，并寻求对这些挑战的更深入了解。 我们的目标是根据负责任的人工智能设计原则，进一步完善提示符所使用的生成式人工智能模型，并采取适当的安全措施，在可行的情况下将控制权交还给开发者。