AI エージェントが実行できる操作を定義します。 実行時にポリシーを適用します。 フレームワーク、プラットフォーム、クラウド間で制御を維持します。
AI エージェントは会話の域を超えつつあります。 彼らは機密情報を取得し、ツールを呼び出し、トランザクションを実行し、エンタープライズ システムとやり取りし、ますますユーザーや組織に代わって意思決定を行います。
エージェントがより自律的になるにつれて、根本的な疑問が生じます。エージェントに許容される行動を制御し続けながら、どうすればエージェントに自由に行動させられるのでしょうか?
システム プロンプトと従来の AI 安全フィルターは重要な保護を提供しますが、自律的なエージェントが実行する可能性のあるすべてのアクションを管理するには十分ではありません。 エージェントは、不正な払い戻しの発行、制限されたレコードへのアクセス、または会社のポリシーに違反してツールを呼び出しつつ、完全に受け入れ可能なテキストを生成できます。
企業には、エージェントの動作に関する境界を定義し、発生したアクションを評価し、すべてのエージェントにビジネス ルールをハードコーディングせずに一貫したポリシーを適用する方法が必要です。
Agent Controls は、開発者と組織が実行時に AI エージェントの動作を管理するポリシーを定義、一元的に管理、評価できるようにする管理ポリシー サービスです。
オープンソースの Agent Control Specification (ACS) と エージェント フック に基づいて構築された Agent Controls は、さまざまなフレームワーク、プラットフォーム、クラウドにまたがって構築されたエージェントにマネージド ポリシー評価を提供します。
エージェント コントロールを使用すると、次のことができます。
- エージェントの言い分だけでなく、エージェントが行う操作を制御します。 ツールの実行、ビジネス トランザクション、機密情報へのアクセス、生成されたコンテンツのポリシーを定義します。
- 従来の安全フィルターを超える。 決定論的ビジネス ルール、組み込みのコンテンツ安全分類子、サポートされている LLM ベースの評価を組み合わせて、コンテキストに対応したポリシーの決定を行います。
- 実行時にポリシーを適用します。 エージェントの続行を許可する前に、重要な介入ポイントで提案されたアクションと応答を評価します。
- ポリシーを一元的に管理および再利用します。 ポリシーを 1 回定義し、アプリケーション コードとは別に管理し、複数のエージェントとアプリケーションに一貫して適用します。
- ポリシー決定の可視性を確保します。 使用されるポリシーとバージョンを識別する評価記録を受け取ります。そのため、アプリケーション チームは決定を実際の実行結果に関連付けることができます。
エージェントコントロールは、 ポリシーの決定をエージェントの実行から分離します。 サービスはポリシーを評価し、allowやdeny、transformのような決定を返します。 エージェントランタイムまたはアプリケーションは、これらの決定を実施する責任を負います。
なぜ Agent Controls なのか?
エージェントは単にコンテンツを生成するだけではありません。 彼らは行動を起こしています。
AI の安全性に対する従来のアプローチでは、AI モデルの入力と出力 (有害なコンテンツの検出、機密情報の保護、安全でない応答の防止) に重点を置いています。
しかし、自律的なエージェントは、新しいクラスのリスクを導入します。 カスタマー サポート要求の処理を担当する AI エージェントについて考えてみましょう。 エージェントは、顧客情報の検索、払い戻しの処理、アカウントの詳細の更新、顧客との通信を行うことができます。
エージェントは、$100を超える払い戻しは行わないように指示される場合があります。 しかし、顧客に500ドルの払い戻しを行うよう説得されたらどうなりますか?
- システム プロンプトでは制限を記述できますが、モデルが禁止されたツール呼び出しを生成した場合、実行を個別に防止することはできません。
- コンテンツの安全性分類子は、応答に有害なコンテンツまたは機密性の高いコンテンツが含まれているかどうかを評価できますが、払い戻しが会社の財務上の制限内にあるかどうかは本質的にわかりません。
- また、一般的な承認ワークフローでは、払い戻しごとに人によるレビューが必要になり、組織が達成することを望んでいた効率と自律性が損なわれる可能性があります。
課題は、エージェントの安全性を高めるだけではありません。 自律性を統制可能にすることです。
厳格なワークフローから制御された自律性まで
企業は、適応し、推論し、自律的に行動できる AI エージェントを必要としています。 ただし、エージェントが組織のポリシーに従って動作するという保証も必要です。
従来、このニーズは、多くの場合、次の 3 つのアプローチの中から選択することを意味してきました。
- 自律性を制約する。 考えられるすべてのアクションに対して、厳格に規定されたワークフローと決定論的ルールを定義します。
- 人的チェックポイントを導入します。 重大な影響を及ぼす可能性のあるアクションを承認するようユーザーに要求し、運用上のオーバーヘッドを増やします。
- より大きな不確実性を受け入れる。 不要な動作を防ぐために、プロンプトとアプリケーション固有のチェックに大きく依存しながら、エージェントにより広範な自律性を提供します。
これらのアプローチはいずれも、強制可能なビジネス境界内で自律的なエージェントが動作する必要性に完全に対応しません。
エージェントコントロールには、 境界を一元的に定義し、実行時にエージェントの動作を評価し、エージェントがそれらの境界内で自律的に動作できるようにするという別のアプローチが導入されています。 組織は、エージェントが実行する必要があるすべての手順を規定するのではなく、アクションが許可される条件を定義できます。
たとえば、ポリシーでは、サポート エージェントが 100 ドル未満の払い戻しを発行し、その金額を超える払い戻しを拒否し、ヒューマン レビューを必要とするアクションを特定できます。 エージェントはタスクを完了する方法を自由に判断できますが、関連するアクションが試行されたときに、アプリケーションによって構成されたポリシーが適用されます。 このアプローチにより、モデルの指示に従う意欲に基づいてすべてのビジネス上の意思決定を行うことなく、より大きな自律性を導入することができます。
オープンな基盤に基づく: Agent Hooks と ACS
開発者は、さまざまなフレームワーク、モデル、プログラミング言語、およびクラウド プラットフォームを使用して AI エージェントを構築します。 企業は、他のフレームワークを使用して構築されたエージェントまたは他の環境でホストされているエージェントと共に、Microsoft Foundry でエージェントを運用する場合があります。
ランタイム コントロールでは、単一のプラットフォーム向けにすべてのエージェントを書き換えることや、すべての開発チームが新しいポリシー適用メカニズムを考案することを要求すべきではありません。
そのため、Microsoftは 2 つの補完的なオープンソースの構成要素を導入しました。
エージェント フック: 適切な時点でアクションをインターセプトする
エージェント フック は、エージェント実行ライフサイクルにおける標準化された介入ポイントを定義します。
これらのフックにより、エージェント ランタイムは実行を一時停止し、続行する前にポリシー エバリュエーターを参照できます。
たとえば、エージェント ランタイムは次をインターセプトできます:
- 受信入力: ユーザー要求がエージェントの実行フローに入る前。
- モデルの相互作用: モデル要求が送信される前、またはその応答を受信した後。
- ツールの実行: ツール呼び出しが実行される前、またはその結果が返された後。
- エージェントの出力: 最終的な応答がユーザーにリリースされる前。
- エージェントのライフサイクル イベント: エージェント セッションが開始またはシャットダウンするとき。
エージェント フックは、インターセプトと適用の仕組みを提供します。 どのビジネスルールまたは安全ポリシーを適用すべきかは決定しません。 その責任は、ポリシー エバリュエーターにあります。
エージェント制御仕様 (ACS): 許可される内容を定義する
オープン ソース のエージェント制御仕様 (ACS) は、エージェントの動作を管理するための共通のポリシー モデルと評価ランタイムを提供します。
ACS を使用すると、開発者はエージェントの実装とは別にポリシーを記述できます。
ポリシーでは、次を指定できます。
- どのエージェント アクションまたはライフサイクル イベントを管理するか。
- 評価する必要があるコンテンツ、ツール引数、またはランタイム コンテキスト。
- どの決定論的ルールまたはサポートされているエバリュエーターを適用する必要があります。
- ポリシー条件が満たされたとき、どの決定を返すべきですか。
たとえば、ACS ポリシーでは、要求された金額が組織の構成されたしきい値内にある場合にのみ、払い戻し操作が許可されることを示すことができます。 この制限をシステム プロンプトに埋め込んだり、ツール ラッパー間で複製したりする代わりに、開発者は明示的な実行可能ポリシーとして要件を表現できます。
ACS ポリシーは、アプリケーション内のオープン ソース ランタイムまたはマネージド エージェント制御サービスを使用して評価できます。
オープンな設計です。 エージェント エコシステム間で移植可能。
エージェント フックと ACS は、 エージェントランタイム、 ポリシー評価、および 強制メカニズムを分離するように設計されています。 この分離は、クロスプラットフォームおよびクロスクラウド エージェント ガバナンスの基礎となります。 開発者は、ポリシーの記述と評価に対する一般的なアプローチを維持しながら、オープン ソースの構成要素を選択したエージェント ホストと統合できます。
結果のアーキテクチャでは、基になるエージェントを Microsoft Foundry で実行したり、特定のモデル プロバイダーを使用したりする必要はありません。 エージェント ランタイムは、関連するインターセプト ポイントを実装し、信頼できる実行コンテキストを提供し、ポリシーの決定を適用する必要があります。 オープンソース基盤により、すべてのエージェント フレームワークでまったく異なるポリシー モデルを採用する必要なく、これらの統合が可能になります。
オープン ソースの構成要素からエンタープライズ規模の制御まで
オープン ソースの構成要素により、開発者は独自のアプリケーション内にランタイム コントロールを柔軟に実装できます。 しかし、大規模な組織は追加の課題に直面しています。 エージェントが 1 つしかないことはめったにありません。 異なるチームによって開発され、異なるフレームワークを使用し、複数の環境で実行される数百または数千のエージェントが含まれます。
一元化されたポリシー管理を行わない場合、各チームはポリシーを個別に保存、構成、配布、更新する必要があります。 それにより、運用上の課題が生じます:
- セキュリティチームとガバナンス チームは、アプリケーション間で一貫して適用されるポリシーを確立するにはどうすればよいですか?
- 開発者がポリシーロジックを複製せずに組織のルールを再利用するには、どうすればよいですか?
- ポリシー所有者は、数十のチーム間でアプリケーションリリースを調整せずに要件を更新するにはどうすればよいですか?
- エージェントが特定のアクションを取った際に、どのポリシーバージョンが評価されたのかを組織はどのように把握できるでしょうか?
- フレームワークごとに個別のガバナンスシステムを導入することなく、どのように異なるエージェントフレームワークをサポートできるのでしょうか?
この点で、Agent Controls はオープンソースの基盤をさらに発展させます。 Agent Controls は、ACS 上に構築された一元化されたポリシー管理とホストされたポリシー評価を提供します。 ポリシー担当者は共有ポリシーを作成および管理できる一方で、開発者は共通の評価 API をアプリケーションに統合します。 各アプリケーションに各ポリシーの個別のコピーをデプロイするのではなく、チームは一元管理されたポリシーをIDで参照できます。
エージェントがアクションを評価する必要がある場合、そのホストは関連するランタイムコンテキストをエージェント コントロールに送信します。 サービスは、選択したポリシーを評価し、ホストが適用する決定を返します。 これにより、異種エージェント環境に共通のマネージド ポリシー レイヤーが提供されます。サービス自体がそれらのエージェントをホストまたは実行する必要はありません。
エージェント コントロールの仕組み
エージェントコントロールは、わかりやすいランタイム制御フローに従います。
- ポリシーを定義して公開する。 ポリシー所有者は、許可された動作と禁止された動作を記述する ACS ポリシーを作成し、そのポリシーをエージェントコントロールに公開します。
- エージェント アクションをインターセプトします。 エージェント ランタイムは、ツール呼び出しの直前など、関連する介入ポイントでアクションまたはコンテンツをキャプチャします。
- 該当するポリシーを評価します。 ランタイムはエージェント コントロールを呼び出し、提案されたアクション、実行コンテキスト、および評価対象のポリシーを提供します。
- 決定を返します。 エージェント コントロールは、構成された観察を含むポリシーを評価し、判定と評価レシートを返します。
- 決定を適用します。 エージェント ランタイムは、返された判定に従って、提案された操作を許可、ブロック、または変換します。
エージェント フックによって、確認するタイミングが決まります。 ACS は、ポリシーの表現と評価方法を定義します。 Agent Controlsは、一元的な管理とホストされた評価を提供します。 エージェントランタイムは決定を強制します。
例: 業務上の制約の範囲内で動作する返金エージェント
企業が、払い戻しを処理できるカスタマー サポート エージェントをデプロイしているとします。 組織は、次のポリシーを定義します。
| Policy | 期待される動作 |
|---|---|
払い戻し金額は$100を超えてはなりません |
しきい値を超える払い戻し要求を拒否する |
| 顧客情報は、承認済みの共有先とのみ共有できます | 未承認の転送を拒否する |
| 応答で機微な個人情報を公開してはならない | コンテンツを評価し、必要に応じてブロックまたは変換する |
| 特定の顧客コミットメントには承認が必要 | 即時アクションを拒否し、ホストのレビュー プロセスを開始する |
次に、エージェントが次のツール呼び出しを提案するとします。
{
"tool": "refund_order",
"arguments": {
"order_id": "demo-001",
"amount": 150
}
}
操作を実行する前に、エージェント ランタイムは、 pre_tool_call の介入ポイントで提案されたツール呼び出しをインターセプトします。 ランタイムは、提案されたアクションとそのコンテキストをAgent Controlsに送信します。 エージェント コントロールは、該当する ACS ポリシーを評価します。 決定論的ルールは、払い戻し金額を組織の許可されたしきい値と照合します。
$150は最大 $100 を超えるため、ポリシーはdenyの判定を返します。 エージェント ランタイムは、払い戻しツールが実行されないようにすることで、その判定を強制します。
対照的に、$75の払い戻しはポリシーを満たし、返金額はallowになります。 エージェントは、すべてのアクションに対して人間の承認を要求する必要はありません。また、厳密な定義済みの一連の手順に従う必要もありません。 組織によって確立された境界内で動作できます。
この例は、ランタイム ポリシーの中心的な価値を示しています。エージェントは、タスクの実行方法において自律性を保ちながら、実行できるアクションが制限されます。
ACS とホストされるエージェントコントロール: どちらを使うべきですか?
オープン ソースの ACS ランタイムとホストされるエージェントコントロールは、同じポリシー基盤を共有しますが、異なる運用ニーズに対応します。
| 能力 | オープンソースのインプロセス ACS | ホスト型エージェント コントロール |
|---|---|---|
| ACS を使用してポリシーを定義する | Yes | Yes |
| 決定論的 Rego ポリシーを評価する | Yes | Yes |
| ポリシーの評価を実行する | オープン ソース SDK | Microsoftマネージド サービス |
| ポリシーの発行と更新 | アプリケーションで管理されるファイルまたはカスタム インフラストラクチャ | 共有 ARM ポリシーと Rego リソース |
| 観測を構成する | アプリケーションで構成されたアノテーター | サポートされているコンテンツ セーフティ分類器と有効化された LLM 評価者 |
| アプリケーション間でポリシーを再利用する | カスタム配布と統合を通じて | 一元的に管理されるポリシー リソースを通じて |
| エージェントの実行をインターセプトする | エージェント ホスト | エージェント ホスト |
| ポリシーの判定を適用する | エージェント ホスト | エージェント ホスト |
オープンソースの ACS を使用するのは、独自のアプリケーションやインフラストラクチャにポリシー評価を組み込み、自身で運用したい場合です。
ポリシーを一元的に管理し、管理されたサービスに依存してエージェントとアプリケーション間でポリシーを評価する場合は、ホストされたエージェント制御を使用します。
2 つのアプローチは補完的です。 組織は、共有エンタープライズ ポリシーにホストされたエージェント制御を使用しながら、アプリケーション統合とローカル開発にオープンソースの構成要素を使用できます。
主要な概念
エージェント ホスト
ホストは、実行を管理するアプリケーション、エージェント ランタイム、またはゲートウェイです。 モデル要求、ツール呼び出し、または出力がいつ発生しようとしているかを認識します。 コンテキストを構築し、エージェント コントロールを呼び出し、実行を続行できるかどうかを決定します。
ホストは実際のアクションを報告し、評価された値を使用する必要があります。 1 つのツール引数セットを評価し、別のツール引数をディスパッチすると、ポリシーをバイパスします。
介入ポイント
介入ポイントは、ポリシーが適用されるタイミングを識別します。
| Point | 事前評価 |
|---|---|
agent_startup |
セッションの開始 |
input |
エージェントへの外部入力の受け入れ |
pre_model_call |
モデル要求のディスパッチ |
post_model_call |
完了したモデル応答の利用 |
pre_tool_call |
ツール呼び出しのディスパッチ |
post_tool_call |
完成したツールの結果を使用する |
output |
最終出力の解放 |
agent_shutdown |
セッション終了の完了 |
ACS ポリシーは、そのルールが適用される介入ポイントを指定します。 エージェント ホストは、それらの時点で Agent Controls を呼び出し、該当するアクションまたはコンテンツを評価します。
事前呼び出しの評価は、モデル要求またはツール呼び出しを続行できるかどうかを決定します。 呼び出し後の評価では、基になる操作が完了した後の応答と結果の使用が制御されます。
マニフェストと Rego
エージェント制御ポリシーは、JSON マニフェストと 1 つ以上の Rego モジュールの 2 つの部分で構成されます。
マニフェストは、評価対象のライフサイクル ポイント、ランタイム値、および Rego ルールを選択します。 Rego は意思決定ロジックを記述します。 Rego モジュールは個別にアップロードされ、ARM ポリシーによって参照されます。
たとえば、カスタマー サポート担当者は、注文 ID と refund_order の払い戻し額を含む 75 ツール呼び出しを提案します。 ビジネス ポリシーでは、最大 100の払い戻しが許可されます。
この制限を適用するために、マニフェストは pre_tool_call の介入点を Rego クエリ data.refund_guard.verdict にバインドします。 送信されたペイロードから tool_call.args を評価対象として選択します。
Rego ルールでは、ツール名を使用して返金リクエストを識別します。 金額が数値であり、0 より大きく、かつ 100 を超えないことを決定論的に検証します。
スナップショットとターゲット
スナップショットは、介入ポイントでの現在のエージェント イベントを記述します。 提案されたツール呼び出しについては、ツールの名前と引数に加えて、エージェントとセッションの詳細が含まれます。
ターゲットは、ポリシーが検査するように設定されているスナップショットの一部です。 払い戻しの例では、マニフェストはツールの引数を選択します。
Snapshot: proposed tool call
Tool name: refund_order
Arguments: <-- target
order_id: demo-001
amount: 75
Agent and session details
Rego では、選択した引数を含め、スナップショット全体を検査できます。 対象は、ポリシーに対して、介入ポイントに関係なく、チェックされるデータへの一貫した参照を提供します。 また、許可された変換が変更できるデータも識別します。
アノテーター
アノテーターは、ポリシーに基づいてコンテンツをチェックします。 Rego の前に実行され、検出されたカテゴリ、ラベル、スコアなどの アノテーションが返されます。
エージェント コントロールでは現在、次の 2 種類のアノテーターがサポートされています。
- Azure AI Content Safety 分類器は、プロンプト インジェクションや暴力などの設定されたカテゴリを検出します。
- LLM ジャッジ は、ポリシーでカスタム作成された基準を使用してコンテンツを分類します。
マニフェストは、どのアノテーターを、どの介入ポイントで実行し、どのコンテンツをチェックするかを指定します。 Rego は、ポリシーを評価するときに、返された注釈をスナップショットとターゲットと共に入力として使用します。
たとえば、サポート ポリシーでは、顧客の応答で返金の約束が禁止される場合があります。
output介入ポイントでは、LLMによる判定モデルが提案された応答をチェックし、commitmentというラベルを付けることがあります。 Rego ルールは次にそのラベルを使って deny を返すことができます。
判決
判定は、ポリシー評価の結果です。 提案されたアクションを続行できるかどうか、ブロックする必要があるか、または最初に変更を必要とするかをエージェント ホストに通知します。
-
allow: ホストは、提案されたアクションを実行するか、提出されたとおりにコンテンツを公開できます。 -
deny: ホストはアクションをブロックするか、コンテンツを保留します。 -
transform:ホストは、判定で指定された変更をターゲットに適用し、結果を検証して、更新されたデータを続行します。
払い戻しの例では、ルールによって有効な金額 75 が許可され、allow が返されます。
150の金額が上限を超えているため、ルールはdenyを返し、ホストは返金を行いません。 別のポリシーが、公開前に応答内のフィールドをマスクするために transform を返す場合があります。
判定には、次の内容を含めることもできます。
- 警告。決定を変更せずに追加情報を提供します。
-
承認要求で、
denyの決定に伴い、ホストのレビュー プロセス用の詳細が含まれます。 アクションは、ホストの構成済みの承認ワークフローによって承認されるまでブロックされたままです。
評価受領書
評価レシートは、判定とともに返されるレコードです。 評価されたポリシーとバージョン、チェックされた介入ポイント、評価 ID が識別されます。 ホストは、レシートを使用して、結果が自身のリクエストと想定されるポリシーに一致することを確認します。
たとえば、払い戻しチェックの受領情報は、その呼び出しの評価に使用されるポリシーバージョンを識別します。 ホストは、発行またはブロックなどの実際の払い戻し結果と共に評価 ID を記録します。 このプロセスにより、オペレーターはアプリケーションの動作をポリシー評価までさかのぼって追跡できます。
アプリケーションでエージェント コントロールを使用する
エージェント コントロールには、次の 2 つの補完的な API サーフェスが用意されています。
コントロール プレーン: ポリシーを管理する
Azure Resource Manager (ARM) コントロール プレーンを使用して、ACS ポリシー リソースと再利用可能な Rego モジュールを公開、更新、管理します。
データ プレーン: ポリシーの評価
中央管理ポリシーに対してアクションとコンテンツを評価するには、Unified Moderate データ プレーン API を使用します。
スタンドアロンのポリシー評価フローでは、アプリケーションは policyId クエリ パラメーターを使用してポリシーを選択し、関連する実行コンテキストを指定します。
サービスは、呼び出し元アプリケーションが処理するための評価の判定と受信を返します。
プロジェクト スコープの API プロファイルでは、 targetResourceId が使用され、承認と受領の要件が個別に設定されています。 スタンドアロン policyId フローの置き換え可能なセレクターではありません。
完全な例については、 エージェント コントロールのコード サンプルを参照してください。
適用範囲の境界を理解する
エージェント コントロールでは、エージェントの運用、そのエージェントのツールの実行、プロセスのサンドボックス化、インターセプト コードをバイパスするパスの制御は行われません。 プロンプトからユーザーのアクセス許可を推測したり、モデルで生成された ID 要求を信頼できるものにしたりすることはありません。
認可と信頼できる業務データは、信頼できるアプリケーション システム内に保持します。 ポリシーを使用して、正しく構築されたコンテキストに基づいて何を続行できるかを決定し、ホストでの適用を確認します。
Billing
パブリック プレビュー中は、エージェント制御ポリシーの評価によってトリガーされる分類子と LLM の使用量に対してのみ料金が発生します。
Content Safety classifier の使用は、Content Safety pricingに従って課金されます。 ポリシーが LLM ジャッジを呼び出す場合は、関連するモデルの使用料金についても責任を負います。