什麼是代理控制?

定義你的 AI 代理能做什麼。 在執行時強制執行政策。 跨框架、平台與雲端保持掌控。

AI 代理正逐漸超越對話。 他們擷取敏感資訊、調用工具、執行交易、與企業系統互動,並日益代表使用者與組織做出決策。

隨著代理人越來越自主,一個根本性的問題浮現: 如何賦予代理人行動的自由,同時不放棄對自己被允許做什麼的控制?

系統提示與傳統 AI 安全過濾器提供了重要保護,但不足以規範自主代理人可能採取的每一項行動。 代理人在未經授權退款、存取受限紀錄或違反公司政策使用工具時,可能會產生完全可接受的文字。

企業需要一種方法,能界定代理行為的界限,即時評估行動,並強制執行一致的政策,而不必將商業規則硬編碼到每個代理程式中。

Agent Controls 是一項託管政策服務,讓開發者與組織能在執行時定義、集中管理並評估 AI 代理行為的政策。

Agent Controls 建立在開源的 Agent Control Specification (ACS) 與 Agent Hooks 之上,為跨不同框架、平台與雲端建置的代理程式帶來託管政策評估。

透過 Agent Controls,您可以:

  • 控制代理的行為,而不只是他們說的話。 定義工具執行、商業交易、敏感資訊存取及產生內容的政策。
  • 超越傳統的安全濾網。 結合確定性商業規則、內建的內容安全分類器,以及支援的 LLM 評估,以做出具情境感知的政策決策。
  • 在執行時強制執行政策。 在允許代理人繼續前,評估關鍵介入點的擬議行動與回應。
  • 集中管理並重複使用原則。 只需定義一次政策,獨立於應用程式程式碼管理,並在多個代理與應用程式間一致套用。
  • 保有對原則決策的可見性。 取得評估收據,說明所使用的政策與版本,讓應用程式團隊能將決策與實際執行結果關聯起來。

代理程式控制將 原則決策與代理程式執行分開。 該服務會評估政策並回傳決策,例如 allow、deny 或 transform。 代理程式執行階段或應用程式仍負責執行這些決策。

為什麼是 Agent Controls?

代理不再只是產生內容。 他們正在採取行動。

傳統的 AI 安全方法著重於 AI 模型的輸入與輸出:偵測有害內容、保護敏感資訊,或防止不安全的回應。

但自主代理人帶來了一類新的風險。 想像一位負責處理客戶支援請求的 AI 代理。 該代理人可以查詢客戶資訊、處理退款、更新帳戶資料,並與客戶溝通。

代理人可能會被指示不要發放超過 $100 的退款。 但當客戶說服它退款 500 美元時會發生什麼事?

  • 系統提示可以說明限制,但如果模型產生了禁止的工具呼叫,它無法獨立阻止執行。
  • 內容安全分類器可以評估回應是否包含有害或敏感內容,但它本身並不確定退款是否在公司財務能力範圍內。
  • 而一般的核准流程可能要求每次退款都經過人工審核,削弱組織原本期望達成的效率與自主性。

挑戰不只是讓 AI 代理更安全。 這讓自主性可被管控。

從僵化的工作流程到受控的自主性

企業希望擁有能夠適應、推理並獨立行動的 AI 代理。 但他們也需要確保代理人會遵守其組織政策。

歷史上,這種需求往往意味著必須在三種方法中做出選擇:

  • 限制自主權。 為每一個可能的動作定義高度規範性的工作流程與確定性規則。
  • 設置人工檢查點。 要求人員核准可能造成重大影響的行動,增加營運負擔。
  • 接受更大的不確定性。 賦予代理程式更大的自主權,同時高度依賴提示詞與應用程式特定的檢查,以防止非預期行為。

這些方法都無法完全滿足在可強制執行的業務邊界內運作的自主代理人的需求。

Agent Controls 引入另一種方法:集中 定義邊界,在執行時評估代理行為,並允許代理在這些邊界內自主運作。 組織不必試圖規定代理人必須採取的每一個步驟,而是可以定義允許某項行動的條件。

例如,政策可能允許客服人員支付低於 100 美元的退款,拒絕超過該金額的退款,並識別需要人工審查的操作。 代理程式仍可自行決定如何完成任務,但當嘗試相關動作時,應用程式會強制執行已設定的政策。 這種做法讓在不讓每個商業決策都依賴模型是否願意遵從指令的情況下,引入更大的自主性成為可能。

建立在開放基礎上:Agent Hooks 與 ACS

開發者透過不同的框架、模型、程式語言與雲端平台來打造 AI 代理。 企業可能會在 Microsoft Foundry 中運行代理程式,與使用其他框架建立或託管於其他環境中的代理程式並行使用。

執行時控制不應該要求每個代理程式都為單一平台重寫,或每個開發團隊都必須發明新的政策執行機制。

這也是為什麼 Microsoft 推出了兩個互補的開源基礎組件。

Agent Hooks:在適當時刻攔截行動

Agent Hooks 定義了代理執行生命週期中的標準化介入點。

這些鉤子讓代理程式執行時有機會暫停執行並諮詢政策評估器,然後再繼續執行。

例如,代理執行時可以攔截:

  • 輸入: 在使用者請求進入代理程式執行流程之前。
  • 模型互動: 在模型請求發送之前或收到回應之後。
  • 工具執行: 工具呼叫執行前或結果回傳後。
  • 代理輸出: 在最終回應釋出給使用者之前。
  • 代理程式生命週期事件: 代理程式工作階段啟動或關閉時。

Agent Hooks 提供攔截與強制執行機制。 它並不決定應適用哪些商業規則或安全政策。 這項責任屬於政策評估者。

代理程式控制規範(ACS):定義允許的內容

開源的 代理控制規範(ACS) 提供一套通用的政策模型與評估執行環境,用以規範代理程式的行為。

ACS 讓開發者可以獨立於代理程式實作之外描述政策。

政策可以指定:

  • 它所管轄的代理動作或生命週期事件。
  • 應該評估哪些內容、工具參數或執行時上下文。
  • 應套用哪些確定性規則或支援的評估器。
  • 當政策條件達成時,應回傳何種決定。

例如,ACS 政策可以明確表示,只有當所要求的金額在組織設定的門檻內時,才允許退款操作。 開發者不必將此限制埋藏在系統提示字元中或跨工具包裝器複製,而是可以將需求表達為明確且可執行的政策。

ACS 政策可透過應用程式內的開源執行環境,或透過管理代理程式控制服務進行評估。

設計上就是開放式的。 可跨代理生態系移植。

代理程式鉤子與 ACS 的設計目的是將 代理程式執行時、 政策評估與 執行機制分離。 這種分離是跨平台與跨雲端代理程式治理的基礎。 開發者可以在將開源基礎組件與所選代理主機整合的同時,維持描述與評估政策的共通方法。

最終的架構不需要底層代理程式在 Microsoft Foundry 中執行,也不需要使用特定的模型提供者。 代理執行時需要實作相關的攔截點、提供可信的執行上下文,並強制執行政策決策。 這個開源基金會讓這些整合成為可能,而不需要每個代理框架都採用完全不同的政策模型。

從開源的基礎組件到企業規模的控制

這些開源的建構元件讓開發者有彈性,可以在自己的應用程式中實作執行時控制。 但大型組織還面臨另一項挑戰。 他們很少只有一個代理程式。 他們可能有數百甚至數千個代理程式,由不同團隊開發,使用不同的框架,並跨越多個環境運行。

若沒有集中式政策管理,每個團隊都必須獨立儲存、設定、分發及更新其政策。 這就產生了營運上的挑戰:

  • 安全與治理團隊如何建立能在各應用程式間一致適用的政策?
  • 開發者如何能在不重複政策邏輯的情況下重用組織規則?
  • 政策擁有者如何在不協調數十個團隊間的應用程式發布的情況下更新需求?
  • 組織如何了解代理執行特定動作時評估的是哪個政策版本?
  • 他們如何在不為每個代理建立獨立治理系統的情況下,支援不同的代理架構?

這正是 Agent Controls 擴展開源基礎的地方。 Agent Controls 提供集中式政策管理與託管政策評估,建立於 ACS 之上。 政策擁有者可以建立並管理共用政策,而開發人員則能將應用程式整合至共用的評估 API。 團隊不必將每項政策的獨立副本部署到每個應用程式,而是可以依 ID 參考集中管理的政策。

當代理需要評估某個動作時,其主機會將相關的執行環境情境傳送給代理控制元件。 服務會評估所選政策,並回傳一個決定,讓主機執行。 這為異質代理環境提供共通的管理政策層,且無需服務本身承載或執行這些代理程式。

代理控制的運作方式

Agent Controls 遵循簡單的執行時控制流程:

  1. 定義並發佈政策。 政策擁有者撰寫 ACS 政策,描述允許與禁止的行為,然後將政策發佈到 Agent Controls。
  2. 攔截代理行動。 代理執行時會在相關介入點擷取動作或內容,例如在工具呼叫之前的當下。
  3. 評估適用的政策。 執行時會呼叫 Agent Controls,提供所提議的動作、執行上下文以及要評估的政策。
  4. 回傳決策。 Agent Controls 會評估政策,包括所有已設定的觀察值,並回傳判定結果與評估憑證。
  5. 執行該決定。 代理執行時會根據回傳的判決允許、阻擋或轉換所提議的操作。

Agent Hooks 決定何時檢查。 ACS 定義了原則如何被表達與評估。 Agent Controls 提供集中管理與託管評估功能。 代理程式執行時會強制執行該決策。

範例:在業務範圍內營運的退款代理人

想像一家企業部署一個能處理退款的客服代理。 該組織定義以下政策:

原則 期望行為
退款金額不得超過金額 $100 拒絕超過門檻的退款申請
客戶資訊僅可與核准的目的地分享 拒絕未經授權的傳輸
回應不得洩露敏感個人資訊 評估內容並在需要時封鎖或轉換
某些客戶承諾需要經過核准 拒絕立即行動並啟動主辦方的審核程序

現在想像代理提出以下工具呼叫:

{
  "tool": "refund_order",
  "arguments": {
    "order_id": "demo-001",
    "amount": 150
  }
}

在執行操作之前,代理執行階段會在 pre_tool_call 介入點攔截所提工具呼叫。 執行階段會將所提議的動作及其上下文傳送給 Agent Controls。 代理控制會評估適用的 ACS 政策。 確定性規則會將退款金額與組織允許的門檻進行核對。

因為 $150 超過 100 美元的最高額度,政策會回傳 deny 判決。 代理執行時會透過阻止退款工具執行來強制執行該判定。

相較之下,退款 $75 則符合政策並退還 allow。 代理人不需要為每一個動作都請求人類批准,也不必遵循固定的預設步驟序列。 它可以在組織所訂定的界線內運作。

此範例說明執行階段策略的核心價值:代理程式可以在執行任務的方式上保持自主,同時其可執行的動作種類受到限制。

ACS 與託管 Agent Controls:你應該使用哪一種?

開源的 ACS 執行環境與託管代理控制共享相同的政策基礎,但滿足不同的營運需求。

Capability 開源、程序內 ACS 託管代理程式控制項
使用 ACS 定義政策 Yes Yes
評估確定性 Rego 政策 Yes Yes
執行政策評估 開源 SDK Microsoft 代管服務
發布及更新原則 應用程式管理檔案或自訂基礎架構 共用 ARM 政策與 Rego 資源
設定觀察 由應用程式設定的註釋器 支援的內容安全分類器及啟用的 LLM 評審
跨應用程式重複使用政策 透過客製化分發與整合 透過集中管理的政策資源
攔截代理程式執行 代理主機 代理主機
執行政策判定結果 代理主機 代理主機

當您想在自己的應用程式或基礎架構中嵌入並操作政策評估時,請使用開源 ACS。

當您希望集中管理政策並依賴管理服務進行代理程式與應用程式間的政策評估時,請使用託管代理程式控制。

這兩種做法是互補的。 組織可以利用開源的基礎組件進行應用程式整合與本地開發,同時使用託管代理控制元件來執行共享的企業政策。

核心概念

代理主機

主體是擁有執行控制權的應用程式、代理執行階段或閘道。 它知道模型請求、工具呼叫或輸出即將發生時機。 它會建構上下文、呼叫代理控制,並決定執行是否能繼續。

主機必須回報實際操作並使用評估後的數值。 評估一組工具參數並派遣另一組參數,會繞過該政策。

干預點

介入點用來識別政策何時適用。

Point 事前評估
agent_startup 開始一場遊戲
input 接受外部輸入至代理程式
pre_model_call 派發模型請求
post_model_call 消費已完成的模型回應
pre_tool_call 分派工具呼叫
post_tool_call 處理已完成的工具結果
output 釋出最終成果
agent_shutdown 完成工作階段關閉作業

ACS政策明確規定其規則適用的介入點。 代理主機會在這些節點呼叫代理控制,以評估相應的動作或內容。

呼叫前評估決定模型請求或工具呼叫是否能繼續進行。 呼叫後評估規範了基礎操作完成後回應與結果的使用。

Manifest 與 Rego

代理控制原則由兩部分組成:JSON 清單以及一個或多個 Rego 模組。

清單會選擇正在評估中的生命週期點、執行時值以及 Rego 規則。 Rego 表達了決策邏輯。 Rego 模組會分別上傳,並由 ARM 政策引用。

例如,一位客戶支援人員提出 refund_order 一個工具呼叫,其訂單編號為 ,退款金額為 75。 商業政策允許最高可退款 100。

為了強制執行此限制,清單會將 pre_tool_call 介入點綁定到 Rego 查詢 data.refund_guard.verdict。 它會 tool_call.args 從提交的酬載中選擇作為評估目標。

Rego 規則使用工具名稱來識別退款申請。 它以確定性方式驗證該金額為數值,且大於零且不大於 100。

快照與目標

快照描述介入點的當前代理程式事件。 對於擬議的工具呼叫,它包含工具的名稱和參數,以及代理程式和工作階段的詳細資訊。

目標是該快照中政策設定要檢查的部分。 在退款範例中,資訊清單會選取工具參數:

Snapshot: proposed tool call
  Tool name: refund_order
  Arguments:                  <-- target
    order_id: demo-001
    amount: 75
  Agent and session details

Rego 可以檢查整個快照,包括所選參數。 target 為政策提供對正在檢查的資料的一致參考,無論介入點為何。 它同時識別允許的轉換可能改變的資料。

標註者

標註器會依據政策檢查內容。 它在 Rego 之前執行,並回傳 註解,例如偵測到的類別、標籤或分數。

代理程式控制目前支援兩種類型的註釋器:

  • Azure AI 內容安全 分類器會偵測已設定的類別,例如提示注入與暴力事件。
  • LLM 評審 根據政策中自訂的標準來分類內容。

清單會指定要執行哪個標註器、在哪個介入點執行,以及要檢查哪些內容。 Rego 在評估政策時,會將回傳的標註與快照及目標一同作為輸入。

例如,客服政策可能禁止在客戶回覆中承諾退款。 在 output 介入點,LLM 評審會檢查所提出的回應,並可能將其標註 commitment為 。 Rego 規則接著可以使用 標籤並返回 deny。

裁決

A 判決 是政策評估的結果。 它會告訴代理主機,所提議的動作是否可以繼續、必須封鎖,或是需要先變更。

  • allow:宿主可以執行所提議的動作,或將內容按提交方式釋出。
  • deny:主機會封鎖該動作或保留內容。
  • transform:主機將判決中指定的變更套用到目標,驗證結果,然後繼續處理更新後的資料。

在退款範例中,規則允許 75 的有效金額,並返回 allow。 金額 150 超過限制,因此規則會傳回 deny,主機不會退款。 不同的政策可能會在回應釋放前返回 transform ,將該欄位遮蔽。

判定也可以包括:

  • 警告,提供額外資訊而不改變判定。
  • 一份核准請求,會隨 deny 決定一併附上,並包含主機方審核流程的詳細資訊。 該動作會保持封鎖狀態,直到主機設定的核准工作流程核准為止。

評估回執

評估收據是一份隨同判定結果一併回傳的紀錄。 它會識別已評估的政策與版本、檢查的介入點,以及評估編號。 主機利用收據來驗證結果是否符合其請求及預期政策。

例如,退款檢查的收據會標示用於評估該呼叫的政策版本。 主機會將評估編號與實際退款結果(例如已發放或封鎖)一併記錄。 此流程讓操作人員能追溯應用程式的動作至政策評估。

在您的應用程式中使用 Agent Controls

Agent Controls 提供兩種互補的 API 介面:

控制平面:管理原則

使用 Azure Resource Manager (ARM) 控制平面來發佈、更新及管理 ACS 政策資源及可重複使用的 Rego 模組。

資料平面:評估政策

使用 Unified Moderate 資料平面 API 來評估行動與內容是否符合集中管理的政策。

在獨立的政策評估流程中,應用程式會使用 policyId query 參數選擇政策,並提供相關的執行上下文。

服務會回傳評估結果及收據,供呼叫應用程式處理。

專案範疇內的 API 設定檔使用 targetResourceId 並擁有獨立的授權與收據要求。 它並不是獨立 policyId 流程的可互換選擇器。

完整範例請參閱 Agent Controls 程式碼範例。

了解強制執行邊界

Agent Controls 不會執行你的代理程式、執行其工具、將其程序置於沙箱中,也不會控制繞過攔截程式碼的路徑。 它不會從提示推斷使用者的權限,也不會讓模型產生的身份聲明變得可信。

將授權與權威業務資料保存在受信任的應用程式系統中。 使用原則根據正確建構的內容決定哪些內容可繼續進行,並驗證主機上的強制執行。

Billing

在公開預覽期間,您僅需為由代理控制策略評估觸發的分類器與 LLM 使用量付費。

內容安全分類器的使用量依據 內容安全定價計費。 如果你的原則會呼叫 LLM 評判模型,你也需負責相關的模型使用費用。

下一步