Что такое средства управления агентами?

Определите, что могут делать агенты ИИ. Применяйте политики во время выполнения. Сохраняйте контроль над фреймворками, платформами и облаками.

Агенты ИИ выходят за рамки бесед. Они получают конфиденциальную информацию, вызывают средства, выполняют транзакции, взаимодействуют с корпоративными системами и все чаще принимаются решения от имени пользователей и организаций.

По мере того как агенты становятся более автономными, возникает фундаментальный вопрос: как вы даете агентам свободу действовать без отказа от контроля над тем, что они могут делать?

Системные запросы и традиционные фильтры безопасности искусственного интеллекта обеспечивают важную защиту, но их недостаточно, чтобы регулировать каждое действие, которое может предпринять автономный агент. Агент может создать совершенно приемлемый текст при выдаче несанкционированного возмещения, доступе к ограниченным записям или вызове инструмента в нарушение политики компании.

Предприятиям нужен способ определения границ вокруг поведения агента, оценки действий по мере их выполнения и применения согласованных политик без жесткого определения бизнес-правил в каждом агенте.

Agent Controls — это управляемый сервис политик, который позволяет разработчикам и организациям определять, централизованно управлять и оценивать политики, регулирующие поведение ИИ-агентов во время выполнения.

Построенный на основе открытого стандарта Agent Control Specification (ACS) и Agent Hooks, Agent Controls обеспечивает управляемую оценку политик для агентов, созданных на основе разных фреймворков, платформ и облаков.

С помощью Agent Controls можно:

  • Управляйте тем, что делают агенты, а не только то, что они говорят. Определите политики для выполнения инструментов, бизнес-транзакций, доступа к конфиденциальной информации и созданного содержимого.
  • Выйдите за рамки традиционных фильтров безопасности. Объедините детерминированные бизнес-правила, встроенные классификаторы безопасности содержимого и поддерживаемые оценки на базе LLM для принятия контекстно-зависимых решений по политикам.
  • Применяйте политики во время выполнения. Оцените предлагаемые действия и ответные меры в критически важных точках вмешательства, прежде чем позволить агенту продолжить работу.
  • Централизованное управление и повторное использование политик. Определите политики один раз, управляйте ими независимо от кода приложения и последовательно применяйте их для множества агентов и приложений.
  • Сохраняйте прозрачность принятия решений по политикам. Получайте квитанции об оценке, определяющие используемые политику и версию, чтобы команды приложений могли связать решения с фактическими результатами выполнения.

Элементы управления агентом отделяют решения по политикам от выполнения агента. Служба оценивает политики и возвращает такие решения, как allow, denyили transform. Среда выполнения агента или приложение по-прежнему несет ответственность за применение этих решений.

Зачем нужны средства управления агентом?

Агенты больше не просто создают содержимое. Они принимают меры.

Традиционные подходы к безопасности ИИ сосредоточены на входных и выходных данных моделей ИИ: обнаружение вредного содержимого, защита конфиденциальной информации или предотвращение небезопасных ответов.

Но автономные агенты создают новый класс рисков. Рассмотрим агент ИИ, ответственный за обработку запросов в службу поддержки клиентов. Агент может искать сведения о клиентах, обрабатывать возврат средств, обновлять сведения об учетной записи и взаимодействовать с клиентами.

Агенту может быть дано указание не оформлять возврат средств на сумму свыше $100. Но что происходит, когда клиент убеждает его оформить возврат средств на 500 долларов?

  • Системный промпт может описать ограничение, но он не может независимо предотвратить выполнение, если модель создает запрещенный вызов инструмента.
  • Классификатор безопасности содержимого может оценить, содержит ли ответ вредное или конфиденциальное содержимое, но по сути не знает, находится ли возврат средств в рамках финансовых ограничений компании.
  • И универсальный рабочий процесс утверждения может потребовать проверки человеком для каждого возврата средств, подрывая эффективность и автономию, которых организация надеялась достичь.

Проблема не в том, чтобы просто сделать агентов безопаснее. Речь идет о том, чтобы сделать автономию управляемой.

От жестких рабочих процессов до управляемой автономии

Предприятия хотят, чтобы агенты ИИ могли адаптироваться, рассуждать и действовать независимо. Но они также нуждаются в гарантии того, что агенты будут работать в рамках организационных политик их организации.

Исторически эта потребность часто означает выбор из трех подходов:

  • Ограничьте автономию. Определите жестко регламентированные рабочие процессы и детерминированные правила для каждого возможного действия.
  • Добавьте этапы проверки человеком. Требовать от людей утверждать действия с потенциально существенными последствиями, увеличивая операционные издержки.
  • Примите большую неопределенность. Дайте агентам более широкую автономию, в значительной степени полагаясь на промпты и проверки, специфичные для приложения, чтобы предотвратить нежелательное поведение.

Ни один из этих подходов не в полной мере удовлетворяет потребность в автономных агентах, работающих в рамках контролируемых бизнес-ограничений.

Agent Controls предлагает иной подход: централизованно определять границы, оценивать поведение агента при выполнении и позволять агентам действовать автономно в этих рамках. Вместо того чтобы пытаться предписать каждый шаг, который должен предпринять агент, организации могут определить условия, при которых действие разрешено.

Например, политика может позволить агенту поддержки выдавать возвраты ниже $100, отклонять возвраты выше этой суммы и определять действия, требующие проверки человеком. Агент волен сам определять, как выполнить задачу, но приложение применяет настроенную политику при попытке выполнить соответствующие действия. Этот подход позволяет внедрить большую автономию, не ставя каждое бизнес-решение в зависимость от готовности модели следовать инструкциям.

Создано на открытой основе: Agent Hooks и ACS

Разработчики создают агенты ИИ с помощью различных фреймворков, моделей, языков программирования и облачных платформ. Предприятия могут управлять агентами в Microsoft Foundry вместе с агентами, созданными с помощью других платформ или размещенных в других средах.

Элементы управления среды выполнения не должны требовать, чтобы каждый агент был переписан для одной платформы или чтобы каждой команде разработки приходилось создавать новый механизм применения политик.

Поэтому Microsoft представила два взаимодополняющих компонента с открытым исходным кодом.

Agent Hooks: Перехват действий агента в нужный момент

Перехватчики агента определяют стандартизированные точки вмешательства в жизненном цикле выполнения агента.

Эти хуки дают средам выполнения агентов возможность приостановить выполнение и обратиться к модулю оценки политик, прежде чем продолжить.

Например, среда выполнения агента может перехватывать:

  • Входные данные: Перед тем как запрос пользователя попадет в поток выполнения агента.
  • Взаимодействие с моделью: Перед отправкой запроса модели или после получения ответа на него.
  • Выполнение инструмента: Перед выполнением вызова средства или после возврата результата.
  • Выходные данные агента: Перед выпуском окончательного ответа пользователю.
  • События жизненного цикла агента: При запуске или завершении сеанса агента.

Agent Hooks предоставляют механизм перехвата и принудительного применения. Он не определяет, какие бизнес-правила или политики безопасности должны применяться. Эта ответственность принадлежит оценщику политики.

Спецификация управления агентом (ACS): определяет, что разрешено

Спецификация управления агентом с открытым исходным кодом (ACS) предоставляет общую модель политики и среду выполнения оценки для управления поведением агента.

ACS позволяет разработчикам описать политики независимо от реализации агента.

Политика может указать следующее:

  • Какие действия агента или события жизненного цикла она регулирует.
  • Какой контент, аргументы инструментов или контекст среды выполнения следует оценить.
  • Какие детерминированные правила или поддерживаемые средства оценки должны применяться.
  • Какое решение следует вернуть при соблюдении условий политики.

Например, политика ACS может выразить, что операция возврата разрешена только в том случае, если запрошенная сумма находится в пределах настроенного порогового значения организации. Вместо того, чтобы похоронить это ограничение в системном запросе или дублировать его в оболочках инструментов, разработчики могут выразить требование как явную, исполняемую политику.

Политики ACS можно оценивать с помощью среды выполнения с открытым исходным кодом в приложении или через управляемый сервис управления агентами.

Открытый по своей сути. Подходит для разных экосистем агентов.

Перехватчики агентов и ACS предназначены для разделения среды выполнения агента, оценки политики и механизма принудительного применения. Это разделение является фундаментальным для межплатформенного и межоблачного управления агентами. Разработчики могут интегрировать стандартные блоки с открытым кодом с выбранными узлами агента, сохраняя общий подход к описанию и оценке политик.

Результирующая архитектура не требует запуска базового агента в Microsoft Foundry или использования конкретного поставщика моделей. Среда выполнения агента должна реализовать соответствующие точки перехвата, предоставить доверенный контекст выполнения и применить решения политики. Основа с открытым исходным кодом делает эти интеграции возможными, не требуя, чтобы каждый агентный фреймворк принял совершенно другую модель политики.

От базовых блоков с открытым исходным кодом к управлению корпоративного масштаба

Компоненты с открытым исходным кодом позволяют разработчикам реализовать механизмы управления во время выполнения в своих собственных приложениях. Но крупные организации сталкиваются с дополнительной проблемой. У них редко бывает только один агент. У них могут быть сотни или тысячи агентов, разработанных различными командами, с использованием различных фреймворков и работающих в нескольких средах.

Без централизованного управления политиками каждая команда должна независимо хранить, настраивать, распространять и обновлять свои политики. Это создает операционные проблемы:

  • Как команды безопасности и корпоративного управления могут разрабатывать политики, которые единообразно применяются во всех приложениях?
  • Как разработчики могут повторно использовать правила организации без дублирования логики политики?
  • Как владельцы политик могут обновлять требования без координации выпусков приложений между десятками команд?
  • Как организации могут понять, какая версия политики была оценена, когда агент выполнил определенное действие?
  • Как они могут поддерживать разные платформы агентов без внедрения отдельных систем управления для каждого из них?

Именно здесь Agent Controls расширяет основу с открытым исходным кодом. Agent Controls предоставляет централизованное управление политиками и размещённую службу оценки политик на базе ACS. Владельцы политик доступа могут создавать общие политики и управлять ими, а разработчики интегрируют свои приложения с общим API оценки. Вместо развертывания независимой копии каждой политики в каждом приложении команды могут ссылаться на централизованно управляемые политики по идентификатору.

Когда агенту необходимо оценить действие, его хост отправляет соответствующий контекст среды выполнения в Agent Controls. Служба оценивает выбранную политику и возвращает решение, которое хост должен применить. Это обеспечивает общий уровень управляемой политики для разнородных сред агента, не требуя, чтобы сама служба размещала или выполняла эти агенты.

Как работает Agent Controls

Agent Controls следует простому потоку управления во время выполнения:

  1. Определите и опубликуйте политики. Владельцы политик создают политики ACS, описывающие разрешенное и запрещенное поведение, а затем публикуют политики в Agent Controls.
  2. Перехват действия агента. Среда выполнения агента фиксирует действие или содержимое в соответствующей точке вмешательства, например непосредственно перед вызовом средства.
  3. Оцените соответствующую политику. Среда выполнения вызывает Agent Controls, предоставляя предлагаемое действие, контекст выполнения и политику для оценки.
  4. Верните решение. Элементы управления агентом оценивают политику, включая все настроенные наблюдения, и возвращают вердикт и квитанцию оценки.
  5. Обеспечьте выполнение решения. Среда выполнения агента позволяет, блокирует или преобразует предложенную операцию в соответствии с возвращенным вердиктом.

Agent Hooks определяет, когда необходимо проверить. ACS определяет, как выражаются и оцениваются политики. Agent Controls обеспечивает централизованное управление и оценку в размещенной службе. Среда выполнения агента применяет решение.

Пример: агент возврата средств, работающий в пределах бизнес-границ

Представьте, что предприятие развертывает агент поддержки клиентов, который может обрабатывать возврат средств. Организация определяет следующие политики:

Policy Требуемое поведение
Сумма возврата не должна превышать $100 Отклонять запросы на возмещение средств выше порогового значения
Сведения о клиенте могут предоставляться только утвержденным получателям. Запретить несанкционированные передачи
Ответы не должны раскрывать конфиденциальную личную информацию Оценивайте содержимое и блокируйте или преобразовывайте при необходимости
Для некоторых обязательств перед клиентами требуется утверждение Отклонить немедленное действие и инициировать процесс проверки хоста

Теперь представьте, что агент предлагает следующий вызов средства:

{
  "tool": "refund_order",
  "arguments": {
    "order_id": "demo-001",
    "amount": 150
  }
}

Перед выполнением операции среда выполнения агента перехватывает предлагаемый вызов средства в точке pre_tool_call вмешательства. Среда выполнения отправляет предлагаемое действие и его контекст в Agent Controls. Agent Controls оценивает соответствующую политику ACS. Детерминированное правило проверяет сумму возмещения с допустимым порогом организации.

Поскольку $150 превышает максимум $ 100, политика возвращает deny вердикт. Среда выполнения агента обеспечивает соблюдение этого вердикта, предотвращая выполнение средства возврата средств.

В отличие от этого, возврат $75 будет соответствовать политике и вернет allow. Агенту не требуется запрашивать утверждение человека для каждого действия, а также не требуется выполнять жесткую предопределенную последовательность шагов. Он может работать в пределах границ, установленных организацией.

В этом примере показано центральное значение политик среды выполнения: агенты могут оставаться автономными в том, как они выполняют задачи, при этом они ограничены в том, какие действия им разрешено выполнять.

ACS и hosted Agent Controls: что следует использовать?

Среда выполнения ACS с открытым исходным кодом и размещенные элементы управления агентами используют одну и ту же основу политики, но служат разным операционным потребностям.

Capability Open-source, in-process ACS Управление размещенными агентами
Определение политик с помощью ACS Yes Yes
Оцените детерминированные политики Rego Yes Yes
Запустите оценку политики SDK с открытым исходным кодом Управляемая Microsoft служба
Публикация и обновление политик Управляемые приложением файлы или настраиваемая инфраструктура Общие ресурсы политики ARM и Rego
Настроить наблюдения Аннотаторы, настроенные приложением Поддерживаемые классификаторы безопасности содержимого и включенные LLM-оценщики
Повторное использование политик между приложениями Посредством пользовательского распределения и интеграции С помощью централизованно управляемых ресурсов политики
Перехват выполнения агента Узел агента Узел агента
Принудительно применять вердикты политики Узел агента Узел агента

Используйте ACS с открытым кодом , если вы хотите внедрить и управлять оценкой политики в собственном приложении или инфраструктуре.

Используйте размещенные Agent Controls, если вы хотите централизованно управлять политиками и полагаться на управляемую службу для оценки политики для агентов и приложений.

Два подхода являются взаимодополняющими. Организация может использовать базовые компоненты с открытым исходным кодом для интеграции приложений и локальной разработки, одновременно используя размещенные Agent Controls для общих корпоративных политик.

Основные понятия

Хост агента

Хост — это приложение, среда выполнения агента или шлюз, которому принадлежит выполнение. Он знает, когда вот-вот произойдет запрос модели, вызов инструмента или вывод данных. Он создает контекст, вызывает элементы управления агентом и решает, может ли выполнение продолжаться.

Узел должен сообщить о фактическом действии и использовать оцененные значения. Оценка одного набора аргументов инструментов и отправка другого набора аргументов приводит к обходу политики.

Точка вмешательства

Точка вмешательства определяет, когда применяется политика.

Point Оценить
agent_startup Начало сессии
input Принятие агентом внешних входных данных
pre_model_call Отправка запроса модели
post_model_call Использование завершенного ответа модели
pre_tool_call Отправка вызова средства
post_tool_call Обработка готового результата инструмента
output Формирование окончательного результата
agent_shutdown Завершение работы сеанса

Политика ACS указывает точки вмешательства, в которых применяются ее правила. Хост агента вызывает Agent Controls в этих точках, чтобы оценить соответствующее действие или содержимое.

Оценки перед вызовом определяют, может ли продолжиться запрос модели или вызов инструмента. Оценки после вызова управляют использованием ответов и результатов после завершения базовой операции.

Манифест и Rego

Политика Agent Controls состоит из двух частей: манифеста JSON и одного или нескольких модулей Rego.

Манифест выбирает точку жизненного цикла, значение среды выполнения и правила rego при оценке. Rego выражает логику принятия решений. Модули rego отправляются отдельно, и на них ссылается политика ARM.

Например, агент поддержки клиентов предлагает refund_order вызов средства с идентификатором заказа и суммой 75возврата. Бизнес-политика разрешает возврат средств до 100.

Чтобы применить это ограничение, манифест привязывает точку intervention point pre_tool_call к запросу Rego data.refund_guard.verdict. Он выбирает tool_call.args из отправленных полезных данных в качестве целевого объекта оценки.

Правило Rego использует имя инструмента для определения запроса на возврат средств. Он детерминированно проверяет, что сумма имеет числовое значение, больше нуля и не превышает 100.

Снимок и целевой объект

Моментальный снимок описывает текущее событие агента в точке вмешательства. В случае предлагаемого вызова инструмента он включает имя и аргументы инструмента вместе со сведениями об агенте и сеансе.

target — это часть этого моментального снимка, которую политика настроена проверять. В примере с возвратом манифест выбирает аргументы инструмента:

Snapshot: proposed tool call
  Tool name: refund_order
  Arguments:                  <-- target
    order_id: demo-001
    amount: 75
  Agent and session details

Rego может проверить весь снимок, включая выбранные аргументы. Таргет предоставляет политикам согласованную ссылку на проверяемые данные независимо от точки вмешательства. Он также определяет данные, которые разрешенное преобразование может изменить.

Аннотатор

Annotator проверяет содержимое на соответствие политике. Он выполняется до Rego и возвращает аннотацию, например обнаруженную категорию, метку или оценку.

Элементы управления агентами в настоящее время поддерживают два типа аннотаторов:

  • Безопасность содержимого ИИ Azure классификаторы обнаруживают настроенные категории, такие как внедрение запросов и насилие.
  • LLM-оценщики классифицируют содержимое с помощью пользовательских письменных критериев в политике.

Манифест указывает, какой аннотатор запускать, в какой точке вмешательства и какой контент он проверяет. Rego использует возвращаемую аннотацию в качестве входных данных вместе с моментальным снимком и целевыми объектами при оценке политики.

Например, политика поддержки может запретить обещания возврата в ответах клиентам. В точке вмешательства output судья LLM проверяет предлагаемый ответ и может пометить его commitment. Правило Rego затем может использовать метку и возвращать deny.

Вердикт

Вердикт является результатом оценки политики. Он сообщает хосту агента, может ли предлагаемое действие быть выполнено, должно быть заблокировано или требует предварительного изменения.

  • allow: хост может запустить предлагаемое действие или выдать содержимое в исходном виде.
  • deny: хост блокирует действие или удерживает содержимое.
  • transform: хост применяет изменение, указанное в вердикте, к целевому объекту, проверяет результат и продолжает работу с обновленными данными.

В примере возврата правило разрешает допустимую сумму 75 и возвращает allow. Сумма 150 превышает предел, поэтому правило возвращает deny, и узел не выдает возмещение. Другая политика может вернуть transform, чтобы скрыть поле в ответе перед отправкой ответа.

Вердикт может также включать:

  • Предупреждения, которые предоставляют дополнительные сведения, не изменяя решение.
  • Запрос на одобрение, который сопровождает deny решение и содержит сведения для процесса проверки со стороны хоста. Действие остается заблокированным, пока настроенный для узла процесс согласования не одобрит его.

Квитанция оценки

Квитанция об оценке — это запись, возвращенная с вердиктом. В нем указаны политики и версии, проверенная точка вмешательства и идентификатор оценки. Узел использует квитанцию, чтобы убедиться, что результат соответствует его запросу и ожидаемой политике.

Например, квитанция о проверке возврата определяет версию политики, используемую для оценки этого вызова. Узел записывает идентификатор оценки вместе с фактическим результатом возврата, например выданным или заблокированным. Этот процесс позволяет операторам проследить действие приложения до оценки политики.

Используйте Agent Controls с вашим приложением

Agent Controls предоставляет два взаимодополняющих интерфейса API:

Плоскость управления: управление политиками

Используйте плоскость управления Azure Resource Manager (ARM) для публикации, обновления и управления ресурсами политик ACS и многократно используемыми модулями Rego.

Уровень данных: оценка политик

Используйте API уровня данных Unified Moderate для оценки действий и содержимого в отношении централизованно управляемых политик.

Для автономного потока оценки политики приложение выбирает политику с помощью policyId параметра запроса и предоставляет соответствующий контекст выполнения.

Служба возвращает вердикт оценки и квитанцию для обработки вызывающим приложением.

Профиль API с областью проекта использует targetResourceId и имеет отдельные требования к авторизации и квитанции. Это не взаимозаменяемый селектор для отдельного потока policyId.

Полные примеры см. в примерах кода элементов управления агентом.

Понимание границы принудительного применения

Элементы управления агентом не запускают агент, не выполняют его инструменты, не изолируют его процесс в песочнице и не контролируют путь, обходящий ваш код перехвата. Он не выводит разрешения пользователя из запроса и не делает заявление об идентификации, созданное моделью, достоверным.

Сохраняйте авторизацию и авторитетные бизнес-данные в доверенных системах приложений. Используйте политики, чтобы определять, что может выполняться на основе правильно созданных контекстов, и проверять принудительное применение на хосте.

Billing

Во время общедоступной предварительной версии вы платите только за классификатор и использование LLM, инициированные оценкой политики Agent Controls.

Плата за использование классификатора Content Safety взимается в соответствии с ценами на Content Safety. Если политика использует LLM в качестве судьи, вы также несете ответственность за связанные расходы на использование модели.

Дальнейшие действия