你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn。

什么是代理控制?

定义 AI 代理可以执行的操作。 在运行时强制实施策略。 在各类框架、平台和云环境中保持掌控。

AI 代理正从对话走向更广泛的能力。 他们检索敏感信息、调用工具、执行事务、与企业系统交互,并越来越多地代表用户和组织做出决策。

随着代理人变得更加自治,一个根本问题浮出水面: 你如何给予代理自由行动,而不放弃对允许他们做什么的控制?

系统提示和传统的 AI 安全筛选器提供了重要的保护,但它们不足以控制自治代理可能采取的每个操作。 代理可以在发布未经授权的退款、访问受限记录或调用违反公司策略的工具时生成完全可接受的文本。

企业需要一种方法来定义代理行为的边界,在操作发生时评估操作,并强制实施一致的策略,而无需将业务规则硬编码到每个代理中。

代理控制 是一种托管策略服务,使开发人员和组织能够在运行时定义、集中管理和评估管理 AI 代理行为的策略。

基于开源的Agent Control Specification (ACS)和Agent Hooks,Agent Controls将托管策略评估引入跨不同框架、平台和云构建的代理。

使用代理控制,可以:

  • 控制代理做什么,而不仅仅是他们所说的。 定义工具执行、业务事务、敏感信息访问和生成的内容的策略。
  • 超越传统安全筛选器。 结合确定性业务规则、内置内容安全分类器和支持的基于 LLM 的评估,做出上下文感知策略决策。
  • 在运行时强制实施策略。 在允许代理继续之前,在关键干预点评估建议的操作和响应。
  • 集中管理和重用策略。 定义一次策略,独立于应用程序代码管理它们,并将它们一致地应用于多个代理和应用程序。
  • 保留对策略决策的可见性。 接收标明所用策略和版本的评估收据,以便应用程序团队可以将决策与实际执行结果相关联。

代理控制将 策略决策与代理执行分开。 该服务评估策略并返回决策,例如 allow, deny或 transform。 代理运行时或应用程序仍负责执行这些决策。

为什么需要代理控制?

智能体不再只是生成内容。 他们正在采取行动。

AI 安全的传统方法侧重于 AI 模型的输入和输出:检测有害内容、保护敏感信息或防止不安全响应。

但自治代理引入了一类新的风险。 请考虑负责处理客户支持请求的 AI 代理。 代理可以查找客户信息、处理退款、更新帐户详细信息并与客户通信。

代理可能被指示不要发放超过 $100 的退款。 但是,当客户说服它发出 500 美元的退款时会发生什么情况?

  • 系统提示可以描述限制,但如果模型生成禁止的工具调用,则无法独立阻止执行。
  • 内容安全分类器可以评估响应是否包含有害或敏感内容,但它本质上不知道退款是否在公司的财务限制内。
  • 一般审批工作流可能需要对每次退款进行人工审查,这破坏了组织希望实现的效率和自治性。

挑战不仅仅是使代理更安全。 它使自主性可管理。

从刚性工作流到受控自主性

企业希望 AI 代理能够独立适应、推理和操作。 但他们还需要保障代理将遵循其组织政策运行。

从历史上看,这种需求通常意味着在三种方法之间进行选择:

  • 约束自主性。 为每个可能的操作定义高度规范的工作流和确定性规则。
  • 引入人工检查点。 要求人们批准可能产生重大影响的操作,增加运营开销。
  • 接受更大的不确定性。 在严重依赖提示和特定于应用程序的检查来防止不需要的行为的同时,为代理提供更广泛的自主性。

这些方法都未能充分满足对在可强制执行的业务边界内运行的自治代理的需求。

Agent Controls 引入了另一种方法:集中定义边界,在运行时评估代理行为,并允许代理在这些边界内自主执行。 组织无需尝试规定代理必须执行的每一个步骤,而是可以定义允许采取某项行动的条件。

例如,策略可能允许支持代理在 100 美元以下发放退款,拒绝超出该金额的退款,并确定需要人工审查的操作。 代理仍可以自由地确定如何完成任务,但应用程序在尝试相关操作时强制实施配置的策略。 这种方法使得在不让每项业务决策都取决于模型是否愿意遵循指令的情况下,能够引入更大的自主性。

基于开放基础构建:Agent Hooks 和 ACS

开发人员使用不同的框架、模型、编程语言和云平台构建 AI 代理。 企业可以在 Microsoft Foundry 中运营代理,以及使用其他框架或在其他环境中托管的代理。

运行时控制不应要求为单一平台重写每个代理,或要求每个开发团队设计新的策略实施机制。

这就是为什么Microsoft引入了两个互补的开源构建基块。

Agent Hooks:在适当时机截获动作

代理挂钩 定义代理执行生命周期中的标准化干预点。

这些挂钩使代理运行时有机会暂停执行,并在继续操作之前咨询策略评估程序。

例如,代理运行时可以截获:

  • 传入输入: 在用户请求进入代理的执行流之前。
  • 模型交互: 在发送模型请求之前或收到其响应之后。
  • 工具执行: 在执行工具调用之前或返回其结果之后。
  • 代理输出: 在向用户发布最终响应之前。
  • 代理生命周期事件: 代理会话启动或关闭时。

Agent Hooks 提供拦截和强制执行机制。 它不判定应适用哪些业务规则或安全策略。 该责任属于策略评估程序。

代理控制规范(ACS):定义允许的内容

开源 代理控制规范(ACS) 提供用于管理代理行为的通用策略模型和评估运行时。

ACS 允许开发人员独立于代理的实现描述策略。

策略可以指定:

  • 它控制的代理操作或生命周期事件。
  • 应评估哪些内容、工具参数或运行时上下文。
  • 应应用哪些确定性规则或支持的评估器。
  • 满足策略条件时应返回什么决定。

例如,ACS 策略可以表示仅当请求的金额位于组织的配置阈值内时,才允许退款操作。 开发人员可以将要求表达为显式可执行策略,而不是将该限制埋葬在系统提示或跨工具包装器复制它。

可以使用应用程序中的开源运行时或通过托管代理控制服务评估 ACS 策略。

开放式设计。 可跨代理生态系统移植。

代理挂钩和 ACS 旨在分隔代理运行时、策略评估和强制机制。 这种分离是跨平台和跨云代理治理的基础。 开发人员可以将开源构建基块与其所选的代理主机集成,同时维护描述和评估策略的常见方法。

生成的体系结构不需要基础代理在 Microsoft Foundry 中运行或使用特定的模型提供程序。 代理运行时需要实现相关的拦截点,提供可信的执行上下文,并强制实施策略决策。 开源基础使这些集成成为可能,而无需每个代理框架采用完全不同的策略模型。

从开源构建模块到企业级控制

开源构建基块使开发人员能够灵活地在自己的应用程序中实现运行时控件。 但大型组织面临额外的挑战。 他们很少只有一个智能体。 他们可能有数百或数千个由不同团队开发、使用不同框架并在多个环境中运行的代理。

如果没有集中式策略管理,每个团队必须独立存储、配置、分发和更新其策略。 这会产生操作挑战:

  • 安全和治理团队如何建立跨应用程序一致应用的策略?
  • 开发人员如何在不复制策略逻辑的情况下复用组织的规则?
  • 策略所有者如何在无需协调数十个团队的应用发布的情况下更新要求?
  • 组织如何了解代理执行某个特定操作时,所评估的是哪个版本的策略?
  • 它们如何在支持不同的代理框架的同时,无需为每一种框架分别引入独立的治理系统?

这正是 Agent Controls 扩展开源基础的地方。 Agent Controls 提供集中式策略管理和基于 ACS 构建的托管式策略评估。 策略所有者可以创建和管理共享策略,而开发人员将其应用程序与通用评估 API 集成。 团队可以通过 ID 引用集中管理的策略,而不是在每个应用程序中都部署每项策略的独立副本。

当代理需要评估某项操作时,其宿主会将相关的运行时上下文发送给 Agent Controls。 该服务将评估所选策略,并返回一个供主机执行的决定。 这为异构代理环境提供了一个通用的统一管理策略层,而无需由服务本身托管或执行这些代理。

Agent Controls 的工作原理

代理控制遵循简单的运行时控制流:

  1. 定义和发布策略。 策略所有者创作描述允许和禁止行为的 ACS 策略,然后将策略发布到 Agent Controls。
  2. 截获代理操作。 代理运行时在相关干预点捕获操作或内容,例如在工具调用前立即捕获操作或内容。
  3. 评估适用的策略。 运行时调用代理控制,提供建议的操作、执行上下文和要评估的策略。
  4. 返回一个决策。 Agent Controls 评估策略,包括任何已配置的观察结果,并返回判定结果和评估回执。
  5. 强制执行决策。 根据返回的判决,代理运行时允许、阻止或转换建议的操作。

代理挂钩确定何时进行检查。 ACS 定义如何表示和评估策略。 Agent Controls 提供集中式管理和托管评估。 代理运行时强制执行决策。

示例:在业务边界内运行的退款代理

假设企业部署了可以处理退款的客户支持代理。 组织定义了以下策略:

Policy 预期行为
退款金额不得超过 $100 拒绝超出阈值的退款请求
客户信息只能与已批准的目标共享 拒绝未经授权的传输
响应不得公开敏感个人信息 根据需要评估内容并屏蔽或转换
某些客户承诺需要批准 拒绝立即操作并启动主办方的评审过程

现在,假设代理提出了以下工具调用:

{
  "tool": "refund_order",
  "arguments": {
    "order_id": "demo-001",
    "amount": 150
  }
}

在执行操作之前,代理运行时会在 pre_tool_call 干预点截获建议的工具调用。 运行时将建议的操作及其上下文发送到 Agent Controls。 代理控制评估适用的 ACS 策略。 确定性规则根据组织的允许阈值检查退款金额。

由于 $150 超过 $100 最大值,因此该策略将返回 deny 判定。 代理运行时通过阻止退款工具执行来强制执行该判定。

相比之下,退款 $75 将符合政策并退还 allow。 代理无需为每个操作请求人工批准,也不需要遵循严格的预定义步骤序列。 它可以在组织建立的边界内运行。

此示例演示了运行时策略的中心价值: 代理在执行任务的方式中可以保持自主性,同时受到允许执行哪些操作的约束。

ACS 和托管 Agent Controls:应使用哪一项?

开源 ACS 运行时和托管的 Agent Controls 共享相同的策略基础,但满足不同的操作需求。

能力 开源的进程内 ACS 托管代理控制
使用 ACS 定义策略 Yes Yes
评估确定性 Rego 策略 Yes Yes
运行策略评估 开源 SDK Microsoft托管服务
发布和更新策略 应用程序托管的文件或自定义基础结构 共享 ARM 策略和 Rego 资源
配置观测结果 应用程序配置的标注器 支持的内容安全分类器和启用的 LLM 裁判器
跨应用程序重用策略 通过自定义分发和集成 通过集中管理的策略资源
拦截代理程序执行 代理主机 代理主机
强制执行策略裁决 代理主机 代理主机

如果要在自己的应用程序或基础结构中嵌入和操作策略评估,请使用开源 ACS。

如果要集中管理策略,并依赖托管服务进行跨代理和应用程序的策略评估,请使用托管代理控制。

这两种方法是互补的。 组织可以使用开源构建基块进行应用集成和本地开发,同时使用托管的 Agent Controls 来实施共享企业策略。

核心概念

代理主机

主机是负责执行的应用程序、代理运行时或网关。 它知道何时将发生模型请求、工具调用或输出。 它构造上下文、调用代理控制,并确定执行是否可以继续。

主机必须报告实际操作并使用评估的值。 评估一组工具参数并调度另一个会绕过策略。

干预点

干预点标识策略何时适用。

Point 事前评估
agent_startup 启动会话
input 接受传入代理的外部输入
pre_model_call 调度模型请求
post_model_call 处理已完成的模型响应
pre_tool_call 调度工具调用
post_tool_call 处理已完成的工具结果
output 释放最终输出
agent_shutdown 完成会话关闭

ACS 策略指定其规则适用的干预点。 代理主机在这些点调用代理控制来评估相应的操作或内容。

预调用评估确定模型请求或工具调用是否可以继续。 调用后评估控制基础操作完成后响应和结果的使用。

清单和 Rego

代理控制策略由两个部分组成:JSON 清单和一个或多个 Rego 模块。

清单选择生命周期节点、运行时值以及待评估的 Rego 规则。 Rego 表示决策逻辑。 Rego 模块是单独上传的,由 ARM 策略引用。

例如,客户支持代理建议使用 refund_order 订单 ID 和退款金额 75的工具呼叫。 商业政策允许退款最多 100。

为了强制实施此限制,清单会将 pre_tool_call 干预点绑定到 Rego 查询 data.refund_guard.verdict。 它从提交的有效负载中选择 tool_call.args 作为评估目标。

Rego 规则使用工具名称标识退款请求。 它以确定性方式验证金额是否为数值,大于零,且不大于 100。

快照和目标

该snapshot描述了干预点的当前代理事件。 对于建议的工具调用,它包括工具的名称和参数,以及代理和会话详细信息。

“目标”是该快照中策略配置为要检查的部分。 在退款示例中,清单文件选择工具参数:

Snapshot: proposed tool call
  Tool name: refund_order
  Arguments:                  <-- target
    order_id: demo-001
    amount: 75
  Agent and session details

Rego 可以检查整个快照,包括所选参数。 无论干预点如何,目标对象都会为策略提供对所检查数据的一致引用。 它还标识允许转换可以更改的数据。

注释者

注释器根据政策检查内容。 它在 Rego 之前运行并返回 标注,例如检测到的类别、标签或分数。

代理控件当前支持两种类型的注释器:

  • Azure AI 内容安全分类器检测配置的类别,例如提示注入和暴力。
  • LLM 评判器 使用策略中自定义编写的判定标准对内容进行分类。

清单指定要运行的标注器、干预点以及它检查的内容。 Rego 在评估策略时将返回的批注与快照和目标一起用作输入。

例如,支持策略可能会禁止客户响应中的退款承诺。 在 output 干预点,LLM法官检查建议的响应,并可能标记它 commitment。 然后,Rego 规则可以使用标签并返回 deny。

判决

判定是策略评估的结果。 它告知代理主机建议的操作是否可以继续、必须阻止或首先需要更改。

  • allow:主机可以运行建议的操作,或按提交的原样发布内容。
  • deny:主机阻止操作或保留内容。
  • transform:主机将判决中指定的更改应用于目标,验证结果,并继续处理更新的数据。

在退款示例中,规则允许有效金额 75 并返回 allow。 金额超过 150 的限制,因此规则返回 deny,主办方不会发放退款。 不同的策略可能会返回 transform,以在响应发布之前对其中的字段进行脱敏。

判定还可以包括:

  • 警告,无需更改决策即可提供其他信息。
  • 审批请求,该请求附带deny决策,并包括主办方审核流程的详细信息。 操作会一直被阻止,直到主机配置的审批工作流批准该操作。

评估回执

评估收据是随判定结果返回的记录。 它标识评估的策略和版本、检查的干预点和评估 ID。 主机使用回执来验证结果是否与其请求和预期策略匹配。

例如,退款核查的收据标识用于评估该调用的策略版本。 主机将评估 ID 与实际退款结果(如已发放或已拦截)一起记录。 此过程允许操作员将应用程序的操作追溯到策略评估。

将 Agent Controls 与应用程序配合使用

Agent Controls 提供两个互补的 API 接口:

控制平面:管理策略

使用 Azure 资源管理器 (ARM) 控制平面发布、更新和管理 ACS 策略资源和可重用 Rego 模块。

数据平面:评估策略

使用统一审查数据平面 API 根据集中管理的策略评估操作和内容。

对于独立的策略评估流,应用程序使用 policyId 查询参数选择策略,并提供相关的执行上下文。

该服务返回评估结果和收据,供调用应用程序处理。

项目范围的 API 配置概况使用 targetResourceId 并具有单独的授权和收据要求。 它不是独立 policyId 流的可互换选择器。

有关完整示例,请参阅 代理控制代码示例。

了解执行边界

Agent Controls 不会运行你的代理、执行其工具、对其进程进行沙盒隔离,也不会控制绕过你的拦截代码的路径。 它不会从提示推断用户的权限,也不会使模型生成的身份声明可信。

在受信任的应用程序系统中保留授权和权威业务数据。 使用策略根据正确构造的上下文决定可以继续执行哪些操作,并验证主机中的策略执行情况。

Billing

在公共预览版期间,只需为代理控制策略评估触发的分类器和 LLM 使用情况付费。

内容安全分类器使用情况根据 内容安全定价计费。 如果策略调用 LLM 裁判模型,则您还需要负责相关的模型使用费用。

后续步骤