Защита среды выполнения агента ИИ с помощью Microsoft Defender для конечной точки (предварительная версия)

Важно!

Некоторые сведения относятся к предварительно выпущенному продукту, который может быть существенно изменен перед выпуском. Корпорация Майкрософт не дает явных или подразумеваемых гарантий относительно предоставленных здесь сведений.

Локальные агенты ИИ, включая помощников по программированию, средства CLI, классические приложения ИИ и автономные платформы агентов, выполняются с правами пользователя на конечных точках. Эти агенты действуют с текстом из запросов, файлов, веб-содержимого и выходных данных инструментов и не могут надежно отделить доверенное содержимое от скрытых инструкций. Одна внедренная инструкция может неправильно использовать доступ к агенту для кражи данных, изменения кода или выполнения вредоносных команд.

Microsoft Defender обеспечивает защиту среды выполнения агента ИИ, проверяя ключевые точки в цикле агента: запросы пользователей, запросы инструментов перед выполнением и ответы средства после выполнения. Это помогает обнаруживать операции внедрения запросов и действия агента с высоким риском, проверять их и блокировать поддерживаемые действия перед выполнением. Defender поддерживает два подхода к проверке: анализ событий, встроенный в агент, для агентов, предоставляющих поддерживаемые поставщиком интерфейсы событий, и проверку сетевого трафика для агентов, которые взаимодействуют по поддерживаемым сетевым путям. Дополнительные сведения о том, как защита среды выполнения выполняет аудит и блокирует внедрение запросов, см. в разделах Что обнаруживает защита среды выполнения и Как она работает.

Снимок экрана, на котором показано уведомление о блокировке, отображаемое пользователю, когда Defender обнаруживает и блокирует атаку типа prompt injection на локального ИИ-агента.

В этой статье рассказывается, что предотвращает защита во время выполнения, как она работает и как анализировать обнаружения.

Совет

Защита среды выполнения дополняет возможности обнаружения Microsoft Defender, которые автоматически обнаруживают поддерживаемые локальные агенты ИИ и конфигурации сервера MCP на всех устройствах. Дополнительные сведения см. в статье Обнаружение локальных агентов ИИ с помощью Microsoft Defender для конечной точки.

Что обнаруживает защита среды выполнения

Защита среды выполнения нацелена на определение угрозы для локальных агентов ИИ: внедрение запроса, которое включает вредоносные инструкции, скрытые внутри допустимого содержимого, которое агент считывает, а затем с которым работает. Defender проверяет три точки, в которых содержимое поступает в процесс рассуждений агента или покидает его: запрос пользователя, вызовы инструментов, которые агент собирается выполнить, и ответы, которые возвращают эти инструменты. Этот подход выявляет инъекцию независимо от источника содержимого — будь то файл, веб-страница, репозиторий или результат работы инструмента.

Например, агент кода получает документацию проекта, чтобы ответить на вопрос, а страница содержит скрытый текст, который предписывает агенту прочитать локальный ENV-файл и опубликовать его содержимое по внешнему URL-адресу. Агент воспринимает инструкцию как часть страницы и собирается выполнить её, но Defender обнаруживает инъекцию промпта в ответе инструмента и блокирует действие, прежде чем какие-либо данные покинут устройство.

Принципы действия

Защита среды выполнения использует два подхода для проверки действия агента:

Проверка событий на основе агента

Собственная для агента проверка событий использует поддерживаемые производителем интерфейсы событий, предоставляемые агентом. Эти интерфейсы предоставляют структурированные контрольные точки в рабочем процессе агента, например при отправке пользователем запроса, когда агент запрашивает использование средства или после того, как средство возвращает ответ. Агенты, такие как Claude Code, Codex CLI и GitHub Copilot CLI предоставляют эти интерфейсы событий, а Defender используют их для проверки действий агента и применения решений аудита или блокировки, где поддерживается

Когда агент предоставляет поддерживаемый поставщиком интерфейс событий агента, Defender получает данные на ключевых этапах агентного цикла:

  • Запрос пользователя: запрос, отправленный агенту.
  • Предварительный вызов средства: запрос на вызов инструмента перед выполнением.
  • Ответ инструмента после выполнения: ответ инструмента после завершения выполнения.

Defender сканирует эту полезную нагрузку на наличие инъекций промптов и высокорискованной активности агентов. Defender может выполнять аудит или блокировку действий в каждой поддерживаемой точке событий. В зависимости от типа события блокировка может предотвратить обработку запроса, предотвратить выполнение запрошенного действия средства или предотвратить продолжение ответа средства в цикле агента.

Каждое сканирование — это быстрая встроенная проверка в одной из этих точек событий, а не непрерывный мониторинг процесса агента, поэтому дополнительная задержка минимальна.

Документацию поставщиков об этих интерфейсах событий агента см. в документации Claude Code, документации Codex CLI и документации GitHub Copilot.

Проверка сети

Инспекция сетевого трафика расширяет защиту среды выполнения на агентов, которые не предоставляют собственные интерфейсы событий агента. Вместо того чтобы полагаться на структурированные события агента, Defender анализирует поддерживаемые сетевые потоки между агентом и большой языковой моделью (LLM), чтобы выявлять инъекцию промптов в процессе передачи.

Используйте проверку сети, если вы хотите защитить агенты, которые взаимодействуют со службами LLM по сети, но не предоставляют поддерживаемый поставщиком интерфейс событий. Это помогает закрыть разрыв покрытия для агентов, которые в противном случае не будут иметь защиты среды выполнения до или во время взаимодействия с моделью.

Note

Проверка сетевого трафика не поддерживает агентов, использующих привязку сертификатов или HTTP/3.

Что происходит при включении защиты среды выполнения

После включения Defender на устройстве он проверяет поддерживаемые агенты в точках подключения во время работы пользователей, не изменяя принцип их работы. То, что происходит после обнаружения, зависит от настроенного режима:

  • Блок: Defender блокирует угрозу и следует правилам уведомлений, настроенным для устройства. Defender уведомляет пользователя как в пользовательском интерфейсе агента, так и с помощью всплывающего уведомления Windows. Обнаружение регистрируется в журнале защиты Defender на устройстве, а оповещение безопасности отправляется в Defender и сопоставляется с инцидентами для расследования командой SOC.
  • Аудит: Defender позволяет продолжить действие и регистрирует обнаружение. В Defender по-прежнему появляется оповещение безопасности для расследования.
  • Отключен: Защита среды выполнения отключена. Defender не проверяет действия агента, и агенты запускаются без обнаружения или блокировки внедрения запроса.

Корпорация Майкрософт рекомендует начать в режиме аудита, чтобы наблюдать за обнаружением и проверять точность перед переходом в режим блокировки для активного принудительного применения. Параметр защиты среды выполнения защищен с помощью защиты от незаконного изменения, которая предотвращает несанкционированные изменения и работает вместе с существующими элементами управления Defender.

Инструкции по настройке см. в разделе Включение защиты среды выполнения.

Исследование

Когда защита от среды выполнения обнаруживает внедрение запроса, Defender создает оповещение о подозрительном внедрении запроса ИИ и сопоставляет связанные действия с инцидентами для исследования.

Снимок экрана с оповещением о подозрительной инъекции подсказок ИИ в Microsoft Defender, включая дерево процессов и связанные сведения об обнаружении.

Описание полного процесса расследования, включая возможности для пользователей и специалистов SOC, см. в разделе Проверка и исследование обнаружений.

Поддерживаемые агенты

В следующей таблице перечислены локальные агенты ИИ, которые поддерживает Defender для защиты среды выполнения с помощью встроенной в агенты проверки событий.

Агент Документация по хукам
Claude Code Перехватчики кода Claude
Codex CLI Перехватчики интерфейса командной строки Codex
интерфейс командной строки GitHub Copilot GitHub Copilot крючки
приложение GitHub Copilot Хуки приложения GitHub Copilot

Более широкие возможности безопасности ИИ

Возможности защиты среды выполнения Defender являются частью комплексного подхода к обеспечению безопасности на основе ИИ. Defender предоставляет другие возможности в экосистеме ИИ вашей организации:

  • Обнаружение локальных агентов ИИ. Автоматическое обнаружение поддерживаемых локальных агентов ИИ и конфигураций сервера MCP на всех устройствах. Дополнительные сведения см. в статье Обнаружение локальных агентов ИИ с помощью Microsoft Defender для конечной точки.
  • Обнаружение агентов облака и платформы. Найдите агенты, созданные с помощью Microsoft Copilot Studio, Microsoft Foundry, Amazon Web Services (AWS) Bedrock и Google Cloud Platform (GCP) Vertex AI.
  • Оценка состояния безопасности. Оцените конфигурации агентов, определите риски, получите приоритетные рекомендации и пути атак.
  • Обнаружение и исследование угроз. Сопоставляйте оповещения и изучайте подозрительное поведение агента в инфраструктуре безопасности.

Дополнительные сведения об этих возможностях и способах их применения см. в статье Защита ресурсов ИИ от новых угроз и уязвимостей с помощью Microsoft Defender.

Дальнейшие действия