对有提示的自动化进行人工审核

本文强调了人工审查在部署 Power Automate 中的使用 GPT 创建文本功能中的关键作用。 该功能利用了来自 AI Builder 的文本生成模型，由 Azure OpenAI 服务提供支持。 尽管这些模型非常有效，但它们有时会生成误导或伪造的信息，并且容易受到即时注入攻击。

重要提示

• 在由 Azure OpenAI Service 支持的 GPT 3.5 Turbo 型号上运行 AI Builder 提示。
• 这项功能仅限于某些地区。
• 此功能可能会受到使用限制或容量限制。

即时注入攻击

当第三方利用模型对所有输入源的固有信任时，就会发生即时注入攻击。 攻击者在合法用户要求 AI 解决方案与之交互的内容中注入一个提示，导致 AI 解决方案的输出发生变化，并可能导致其操作发生变化。

例如，考虑一个场景，一个平民开发者使用用 GPT 创建文本操作，对从电子邮件、社交媒体或论坛等各种平台收集到的客户投诉进行回复。 攻击者可以在这些来源之一的内容中插入提示。 这种情况可能会欺骗模型，使其生成一个偏离预期的回复。 该回复可以是不恰当、错误或有害的回复。 发送给客户的错误信息可能会对公司的声誉和客户关系产生负面影响。

AI 模型中的编造

编造，也称为捏造，是 AI 模型面临的另一个挑战，包括文本生成模型。 当 AI 模型生成的信息不是基于提供的输入或预先存在的数据，本质上是发明或捏造信息时，就会出现编造。

例如，如果 AI 模型需要根据给定文本生成历史事件的摘要，则可能包含源文本中未提及的细节或事件。 例如，一个流基于记录的抄本创建一个会议的概要。 输入数据包括与会者的详细信息、讨论的文章和做出的决策。 但是，该模型可能会生成一个摘要，其中包含会议中从未讨论过的操作项目或决策。 这种情况是一个编造的例子，模型捏造了一条输入数据中不存在的信息。

为了降低编造的风险，实施负责任的 AI 实践至关重要。 这包括对提示和流程进行严格测试，为模型提供尽可能多的基础信息，并最终实现一个稳健的人工监督系统。

通过负责任的 AI 实践应对风险

我们提倡负责任的 AI 实践作为减轻这些风险的手段。 尽管已经制定了策略来控制模型生成的内容，但管理模型生成虚假回复或遭受即时注入攻击的倾向仍然是一项复杂的挑战。 我们承认这些风险，并重申我们对人类监督和控制的承诺。

认识到无缝自动化的必要性，我们正在积极增强我们的安全系统，并寻求对这些挑战的更深入了解。 我们的目标是通过适当的安全措施进一步完善文本生成模型，符合我们的原则负责任的 AI 设计，在可行的情况下将控制权交还给开发人员。

另请参见

负责任 AI - 常见问题解答