Карта приложения: агенты Microsoft Security Copilot

Что такое карта приложения или платформы?

Карточки приложений и платформы Майкрософт предназначены для того, чтобы помочь вам понять, как работает наша технология ИИ, какие решения, влияющие на производительность и поведение приложения, а также важность рассмотрения всего приложения, включая технологию, людей и окружающую среду, могут сделать владельцы приложений. Карточки приложений создаются для приложений ИИ, а карточки платформы — для служб платформы ИИ. Эти ресурсы могут поддерживать разработку или развертывание собственных приложений и могут предоставляться пользователям или заинтересованным лицам, на которых они затрагиваются.

В рамках своей приверженности ответственному ИИ корпорация Майкрософт придерживается шести основных принципов: честность, надежность и безопасность, конфиденциальность и безопасность, инклюзивность, прозрачность и подотчетность. Эти принципы встроены в Standard ответственного применения ИИ, который помогает командам проектировать, создавать и тестировать приложения ИИ. Карточки приложений и платформы играют ключевую роль в реализации этих принципов, обеспечивая прозрачность в отношении возможностей, предполагаемого использования и ограничений. Для получения дополнительной информации читателям рекомендуется изучить отчет Microsoft о прозрачности ответственного применения ИИ и Кодекс поведения Microsoft Enterprise AI Services, в котором описывается, как ответственно относиться к ИИ.

Обзор

Microsoft Security Copilot — это решение для обеспечения безопасности на базе генеративного искусственного интеллекта, которое помогает повысить эффективность и возможности средств защиты для улучшения результатов безопасности при скорости и масштабе машин. Security Copilot предоставляет интерфейс Copilot на естественном языке, который помогает специалистам по безопасности и ИТ-администраторам обрабатывать широкий спектр комплексных сценариев, включая реагирование на инциденты, поиск угроз, сбор разведданных и управление состоянием.

Security Copilot разработан с учетом интеграции и предлагает иммерсивную автономную работу в .https://securitycopilot.microsoft.com Платформа легко интегрируется с продуктами в портфеле решений безопасности Microsoft, такими как Microsoft Defender XDR, Microsoft Sentinel, Microsoft Intune, Microsoft Entra и Microsoft Purview, а также с поддерживаемыми сторонними службами.

Агент Security Copilot создает выходные данные и может выполнять действия на основе настроенной логики, разрешений и триггеров, определенных клиентом. Клиенты могут использовать автономных агентов Security Copilot для автоматизации рабочих процессов безопасности, ускорения времени реагирования, определения приоритетов рисков и сокращения ручной работы, сохраняя при этом полный контроль. Автономия агента относится к способности агента предпринимать действия независимо в определенных границах.

Администратор (владелец Security Copilot) обнаруживает и развертывает агенты на портале Security Copilot и в хранилище Безопасности. Некоторые агенты также отображаются во встроенных продуктах безопасности Microsoft. Администратор задает удостоверение агента и настраивает для него систему управления доступом на основе ролей (RBAC).

К предполагаемым пользователям относятся аналитики SOC, ИТ-администраторы, администраторы безопасности данных и идентификации, аналитики соответствия требованиям и руководители служб безопасности, такие как директора по информационной безопасности (CISO).

Security Copilot имеет сертификат ISO 42001, который подтверждает, что независимая третья сторона проверила применение корпорацией Майкрософт необходимой структуры и возможностей для эффективного управления рисками и возможностями, связанными с непрерывной разработкой, развертыванием и эксплуатацией систем Microsoft AI.

Подробнее см. в разделах Что такое Microsoft Security Copilot?, Возможности Microsoft Security Copilot и Карта приложения для Security Copilot.

Основные термины

В таблице ниже приведен глоссарий ключевых терминов, относящихся к агентам Microsoft Security Copilot.

Термин Определение
Агент Агент Security Copilot обрабатывает сигналы из среды клиента с помощью интегрированных источников данных и плагинов, анализирует данные и генерирует рекомендации. Агенты также могут выполнять определенные действия в пределах настроенных разрешений при появлении соответствующего запроса, что требует одобрения соответствующего пользователя или администратора. Агенты могут работать как с простыми запросами и ответами, так и с более автоматизированными, полуавтономными рабочими процессами под контролем человека.
Действие агента Операция, выполняемая агентом, например извлечение данных, создание выходных данных или изменение конфигураций на основе разрешений.
Манифест агента Файл конфигурации, определяющий возможности, средства и поведение агента. Он управляет тем, как агент работает в Security Copilot, и представлен в формате файла YAML.
Встроенные функции Доступ к возможностям Security Copilot из другого продукта Майкрософт для обеспечения безопасности, например Microsoft Defender XDR или Microsoft Sentinel. Боковая панель Security Copilot отображает помощь ИИ непосредственно в контексте этого продукта.
Граундинг Процесс предоставления источников контекстных входных данных для большой языковой модели, связанной с запросом пользователя. Предоставив Security Copilot доступ к данным организации через подключаемые модули и продукты Майкрософт для обеспечения безопасности, Security Copilot можем предоставлять более точные и контекстуальные ответы.
Большая языковая модель (LLM) Модели ИИ, обученные на больших объемах текстовых данных, предсказывают слова в последовательности. LLM способны выполнять различные задачи, такие как создание текста, обобщение, перевод, классификация и многое другое.
Агент, созданный партнером Агент, публикуемый партнерами Майкрософт и доступный в Security Store для определенных случаев использования в сфере безопасности.
Плагин Набор связанных инструментов, который расширяет возможности Security Copilot, предоставляя ему доступ к ресурсам служб Майкрософт и сторонних поставщиков и общедоступным веб-сайтам через API. Подключаемые модули добавляют дополнительный контекст к ответам и результатам, создаваемым Security Copilot.
Постобработка Набор действий, выполняемых Security Copilot для уточнения и подготовки ответа LLM перед его возвратом пользователю. Эта постобработка включает в себя дополнительные вызовы граундинга через плагины, проверки ответственного применения ИИ, безопасности, соответствия требованиям и проверки конфиденциальности.
Prompt Текст на естественном языке, который пользователь отправляет в Security Copilot для выполнения определенной задачи или получения информации. Например, обобщите этот инцидент и предложите шаги по исправлению.
Книга запросов Последовательность запросов, выполняемых последовательно на основе предыдущих ответов для выполнения определенных задач, связанных с безопасностью. Книги запросов можно использовать из библиотеки или создать и поделиться ими с пользователями.
Тестирование красной команды Методы, используемые экспертами для оценки ограничений и уязвимостей системы и проверки эффективности запланированных мер по смягчению последствий. Тестирование Red Team используется для выявления потенциальных рисков и отличается от систематического измерения рисков.
Ответственное применение ИИ Политика, исследования и инженерные практики Майкрософт, основанные на принципах ИИ и реализуемые в соответствии со стандартом ответственного применения ИИ. Дополнительные сведения см. в руководстве по Fluent RAI.
Security Compute Unit (SCU) SCU — это единицы вычислительной емкости, используемые для выполнения рабочих нагрузок Security Copilot и обеспечения стабильной производительности во всех интерфейсах. Емкость Security Copilot измеряется в SCU и может использоваться с помощью моделей подготовленной или избыточной емкости. Дополнительные сведения см. в разделе Общие сведения о SCU.
Центр управления безопасностью (SOC) Специальная команда или объект безопасности, ориентированный на непрерывный мониторинг, анализ и реагирование на инциденты кибербезопасности в организации. Аналитики SOC относятся к числу основных предполагаемых пользователей Security Copilot.
Автономный интерфейс Доступ к иммерсивному порталу Security Copilot можно получить непосредственно по адресу https://securitycopilot.microsoft.com.
Tenant Организационная граница в Microsoft Entra ID, которая изолирует удостоверение, доступ и данные для Security Copilot. Клиент управляет всеми рабочими областями, пользователями и взаимодействиями с помощью разрешений на уровне клиента и элементов управления безопасностью.
Триггер Событие или условие, указывающее агенту начать выполнение своего рабочего процесса. Триггеры могут быть временными (например, еженедельное расписание для агента брифинга аналитики угроз) или ручными (запускаются по требованию пользователем или администратором). Триггер настраивается во время настройки агента.

Основные функции и возможности

В таблице ниже приведены основные функции и возможности, описывающие задачу Microsoft Security Copilot и ее выполнение в поддерживаемых задачах.

Функция или возможность Описание
Расследование инцидентов и реагирование на них Security Copilot помогает специалистам по безопасности сортировать и исследовать инциденты, создавая сводки сложных оповещений системы безопасности, сопоставляя сигналы между Microsoft Defender XDR, Microsoft Sentinel и другими интегрированными продуктами, а также предоставляя пошаговые рекомендации по исправлению.
Аналитика угроз Security Copilot может выполнять поиск в статьях и профилях аналитики угроз Microsoft Defender, отчетах аналитики угроз и публикациях раскрытия уязвимостей, чтобы получить соответствующую аналитику, соответствующую запросу.
Рассмотрение оповещений системы безопасности Security Copilot включает в себя агент рассмотрения оповещений системы безопасности, который помогает группам безопасности рассматривать оповещения в большом масштабе, выявляя реальные атаки и ложные срабатывания, что позволяет аналитикам сосредоточиться на исследовании реальных угроз с прозрачным пошаговым обоснованием для поддержки каждого решения.
Анализ скриптов и генерация запросов KQL Security Copilot может анализировать подозрительные сценарии или вредоносные программы и переводить естественный язык в запросы KQL, позволяя членам команды с любым уровнем навыков выполнять расширенные задачи поиска и технического анализа.
Управление состоянием безопасности Security Copilot помогает пользователям понять приоритетные риски в их среде и определить возможности для улучшения состояния за счет интеграции с Microsoft Defender XDR, Microsoft Entra и Microsoft Intune.
Создание политик безопасности и управление ими Пользователи могут определять новые политики, сопоставлять их с существующими политиками для конфликтов и резюмировать политики простым языком для управления сложным организационным контекстом.
Отчеты для заинтересованных сторон Security Copilot может создавать отчеты, обобщающие контекст, открытые проблемы и меры защиты, адаптированные к целевой аудитории, например руководителям или командам безопасности.
Книги запросов Книги подсказок — это последовательности запросов, которые выполняются для выполнения определенных задач безопасности. Пользователи могут запускать книги запросов из общей библиотеки или создавать свои собственные запросы и делиться ими.
Agents Security Copilot поддерживает агентов, которые автоматизируют и помогают с задачами безопасности и ИТ-операций в пределах разрешений, предоставленных администраторами. Агент выполняет действия с помощью настроенных удостоверений, элементов управления доступом и триггеров и работает под контролем человека в рамках рабочих процессов безопасности.
Агенты, созданные корпорацией Майкрософт, охватывают весь портфель продуктов безопасности, охватывающий операции SOC, поиск угроз, аналитику угроз, управление удостоверениями, управление конечными точками и безопасность данных. Администраторы настраивают удостоверение, разрешения и триггер каждого агента во время установки. Пользователи могут просматривать триггеры агента, доступ к данным, удостоверение и разрешения на действия (например, чтение или запись), чтобы понять, как агент работает в пределах определенной области. Для получения подробной информации о конкретных агентах и их примерах использования см. Предполагаемое использование.
Поддержка нескольких языков Security Copilot поддерживает запросы и ответы на нескольких языках. Дополнительные сведения см. в разделе Поддерживаемые языки.

Security Copilot — это решение для обеспечения безопасности на базе искусственного интеллекта, которое работает как со специальными возможностями, так и в качестве автономной агентной системы. Чтобы понять автономию агента, рассмотрите:

  • Триггеры активации : условия или действия пользователя вызывают запуск агента
  • Разрешения на доступ — какие данные, системы или ресурсы может использовать агент
  • Права на действие – какие действия агент уполномочен совершать самостоятельно

В следующих разделах описываются основные агентные возможности, лежащие в основе того, как агенты рассуждают, планируют, запоминают, адаптируются и расширяют свои возможности.

Рассуждение

Агенты Security Copilot используют лежащую в основе большую языковую модель для анализа доступного контекста, оценки сигналов и определения наиболее подходящего плана действий. Например, агент рассмотрения фишинга оценивает содержимое электронной почты, репутацию отправителя и поведенческие сигналы, чтобы вынести вердикт о классификации на естественном языке. Агенты делают свои рассуждения прозрачными, чтобы аналитики могли просмотреть, проверить или отменить выводы, прежде чем действовать на их основе.

Планирование

Агенты действуют против определенных триггеров, которые предписывают агентной системе инициировать структурированную последовательность действий для достижения цели. Агенты можно настраивать на:

  • Запуск автоматически по расписанию (например, брифинг агента аналитики угроз запускается каждые семь дней).
  • При необходимости запускайте вручную по запросу.

Такой проект предоставляет агентам целенаправленную модель выполнения, в которой система анализирует, когда и как действовать для выполнения своей задачи.

Память

Агенты Security Copilot могут сохранять информацию с течением времени, называемую памятью. Память позволяет агенту включать прошлые входные данные в будущее поведение, в зависимости от того, как агент спроектирован и настроен.

Память может включать отзывы, предоставленные пользователями. Агенты могут использовать эту обратную связь для корректировки своих ответов или действий в последующих взаимодействиях.

Адаптивность

Агенты Security Copilot адаптированы на основе отзывов пользователей и операционного контекста, продолжая при этом работать в рамках области, определяемой настроенным удостоверением, разрешениями и триггерами.

  • Цикл обратной связи: владельцы и участники Security Copilot могут оставлять отзывы об ответах агента. Эта обратная связь сохраняется в памяти агента и может влиять на будущие результаты, в зависимости от конструкции и конфигурации агента.
  • Контекстное заземление: во время обработки запроса Security Copilot обогащает запросы с помощью заземления. Этот процесс включает соответствующие данные организации, включенные подключаемые модули и аналитику угроз, чтобы ответы отражали текущий контекст.
  • Настраиваемые удостоверения и разрешения: агенты можно обновлять после настройки, чтобы изменять удостоверение, триггеры и параметры. Это позволяет агентам адаптироваться к меняющимся рабочим процессам и требованиям.

Возможности расширения

  • Подключаемые модули: агенты используют подключаемые модули для доступа к внешним службам через API, включая поиск репутации, аналитику угроз и данные конечных точек. Поддерживаются как подключаемые модули корпорации Майкрософт, так и партнеры. Дополнительные сведения см. в разделе Обзор подключаемых модулей.
  • Соединители: соединители Logic Apps и Copilot Studio являются оболочкой API Security Copilot, позволяя разработчикам и пользователям обращаться на платформу из внешних рабочих процессов автоматизации. Дополнительные сведения см. в статье Общие сведения о соединителях.
  • Настраиваемые агенты: разработчики могут создавать настраиваемые агенты, адаптированные к конкретным случаям использования, и добавлять их в экосистему Security Copilot с помощью платформы разработчика. Дополнительные сведения см. в статье Разработка пользовательских агентов.
  • Хранилище безопасности: предварительно созданные агенты Майкрософт и партнеров можно обнаружить и развернуть из встроенной библиотеки агентов и хранилища безопасности.
  • Встроенные возможности: агенты работают не только на автономном портале Security Copilot, но и интегрированы в более широкую экосистему безопасности Майкрософт, включая Microsoft Defender XDR, Microsoft Sentinel, Microsoft Intune, Microsoft Entra и Microsoft Purview.

Предполагаемое использование

Агенты Microsoft Security Copilot предназначены для специалистов по безопасности и ИТ-администраторов для поддержки рабочих процессов безопасности, таких как сбор и корреляция разведданных. Агенты могут работать с разрешениями, определенными администратором, и помогают упростить задачи, которые в противном случае потребовали бы значительных усилий вручную, сохраняя при этом контроль над людьми. Вот несколько примеров предполагаемых вариантов использования агента:

  • Брифинг по анализу угроз: агент Threat Intelligence Briefing Agent создает своевременные, подробные отчеты по анализу угроз путем сопоставления Аналитика угроз Microsoft Defender данных Управление направлением внешних атак Defender (EASM) и контекст клиента в режиме реального времени. Аналитики безопасности могут использовать этот агент для замены многочасового или многодневного сбора и сопоставления разведданных с отчетом, созданным за считанные минуты.

  • Анализ данных безопасности (Microsoft Defender XDR):Агент Security Analyst помогает аналитикам безопасности быстро выявлять, оценивать и ранжировать риски в больших объемах данных безопасности. Агент выполняет как базовые задачи анализа, такие как анализ закономерностей, анализ тенденций и визуализация, так и расширенные задачи, такие как обнаружение аномалий, кластеризация, оценка рисков и прогнозное моделирование. Он объединяет данные из Microsoft Defender XDR, журнальной аналитики Microsoft Sentinel, озера данных Microsoft Sentinel и загруженных CSV-файлов, генерируя приоритетную аналитику с полным следом доказательств в интерактивном чате без кода.

  • Операции безопасности и реагирование на инциденты (Microsoft Defender XDR):

    • Агент рассмотрения фишинга оценивает сообщения о фишинге по мере их поступления, классифицирует вердикты с прозрачной аргументацией и включает отзывы аналитиков с течением времени. Агент рассмотрения оповещений системы безопасности (предварительная версия) расширяет тот же подход к рассмотрению не только для фишинга, но и для подмножества оповещений об удостоверениях и облачных контейнерах.
    • Агент динамического обнаружения угроз непрерывно работает в фоновом режиме, чтобы выявлять скрытые угрозы и бреши в средах Defender и Microsoft Sentinel путем сопоставления оповещений, событий, аномалий и аналитики угроз.

  • Поиск угроз (Microsoft Defender XDR):помощник по поиску угроз обеспечивает сквозную охоту на угрозы с использованием естественного языка. Он генерирует запросы KQL, интерпретирует результаты, выводит информацию и помогает аналитикам провести полные сеансы поиска, чтобы быстрее и увереннее обнаруживать угрозы.

  • Управление идентификацией и доступом (Microsoft Entra):

    • Агент оптимизации условного доступа анализирует политики условного доступа и рекомендует улучшения, основанные на рекомендациях Майкрософт и принципах "Никому не доверяй".
    • Агент по управлению рисками идентификации помогает администраторам идентификации исследовать потенциальные риски и принимать меры для защиты критически важных активов.

  • Управление конечными точками (Microsoft Intune):

    • Агент по устранению уязвимостей использует данные Defender для мониторинга уязвимостей и определения приоритетов их устранения с помощью оценки рисков на основе искусственного интеллекта.
    • Агент конфигурации политики позволяет администраторам импортировать документы или писать инструкции на обычном языке, чтобы найти соответствующие параметры в каталоге параметров Intune и создать политики.
    • Агент по проверке изменений оценивает влияние запросов на утверждение в Intune и дает рекомендации по действиям, которые могут предпринять администраторы.

  • Исследование безопасности данных (Microsoft Purview):

    • Агент рассмотрения в Insider Risk Management оценивает оповещения на основе риска пользователей, файлов и действий, автоматически сортируя их по приоритетным категориям, чтобы помочь группам безопасности сосредоточиться на случаях с наибольшим риском.
    • Агент рассмотрения Purview в защите от потери данных оценивает оповещения DLP на основе риска конфиденциальности, риска кражи данных и риска политики, помогая администраторам безопасности данных действовать в отношении наиболее критических инцидентов.

  • Пользовательские агентные рабочие процессы: разработчики могут создавать и развертывать настраиваемые агенты, используя обработку естественного языка, отправку манифеста агента или инструменты MCP, адаптированные к конкретным сценариям использования безопасности в своей организации, расширяя возможности агентов с помощью подключаемых модулей и соединителей для служб Майкрософт и сторонних поставщиков. Дополнительные сведения см. в разделе Пользовательские агенты.

    Вы также можете создать агент интерактивного чата, когда агентам и пользователям необходимо сотрудничать для управляемого взаимодействия для решения проблемы. Дополнительные сведения см. в разделе "Интерактивный агент".

Модели и обучающие данные

Microsoft Security Copilot использует большие языковые модели (LLM) OpenAI Azure от Foundry Models, продаваемых Azure, для поддержки естественного языка. Эти модели не обучены на данных клиента Security Copilot. Возможности модели различаются по рассуждениям, скорости, ограничениям и поддерживаемым сценариям.

Security Copilot также включает знания и контекст в области безопасности с помощью плагинов и заземления, которые предоставляют LLM релевантные организационные данные, аналитику угроз и авторитетный контент во время вывода, а не через обучение модели.

Производительность

Security Copilot предназначен для работы в корпоративных средах безопасности, где в продуктах Microsoft Security и других источниках данных, настроенных организацией, генерируются большие объемы сигналов безопасности безопасности в режиме реального времени. Он интегрирует сигналы из этих источников, сочетая обработку структурированных данных журналов в режиме реального времени с исследовательскими рассуждениями. Это помогает обнаруживать, анализировать и отслеживать источник и влияние инцидентов безопасности в нескольких источниках данных.

Security Copilot работает в гипермасштабируемой инфраструктуре Майкрософт и на специальном уровне оркестрации безопасности, которые предназначены для поддержки масштабируемой и отказоустойчивой производительности в повторяющихся сценариях обнаружения и исследования угроз.

Агенты расширяют возможности Security Copilot реагировать на сигналы безопасности, выполняя определенные задачи безопасности с помощью настроенных администратором разрешений. Агенты анализируют доступные сигналы, планируют и выполняют структурированные действия, а также выдают такие результаты, как решения по сортировке, аналитические отчеты и рекомендации по ликвидации на основе организационных данных и данных аналитики угроз в режиме реального времени. Выполнение агента прозрачно благодаря пошаговым картам узлов, что позволяет аналитикам просматривать сгенерированные шаги (а не подробное изложение конкретных действий, предпринятых на каждом узле) и проверять результаты между запусками.

Надежность производительности дополнительно поддерживается за счет предварительно настроенных агентов Майкрософт, которые тестируются с репрезентативными рабочими процессами, и настраиваемых агентов, где YAML-файл манифеста может способствовать более согласованному поведению, указывая возможности, инструменты, триггеры и операционные границы. Когда инструкции манифеста четко определены, агент может лучше интерпретировать свою задачу, выбирать соответствующие действия и действовать в пределах намеченной области. Дополнительные сведения см. в разделе Пользовательские агенты.

Для интерактивных агентов производительность формируется в основном через итеративный обмен между агентом и пользователем. Агент создает первоначальный ответ, а пользователь уточняет контекст с помощью последующих запросов на основе того, что выводит агент. Это взаимодействие вперед и назад позволяет пользователю постепенно направлять агента к более точным и целенаправленным результатам, чем один автономный запуск. Дополнительные сведения см. в разделе Интерактивные агенты.

Ограничения

Понимание ограничений Security Copilot важно для обеспечения безопасного и эффективного использования. Хотя клиентам рекомендуется использовать Security Copilot в рабочих процессах безопасности, важно отметить, что Security Copilot не был разработан для всех возможных сценариев. При выборе варианта использования ознакомьтесь с Кодексом поведения в корпоративных службах искусственного интеллекта Майкрософт , а также со следующими соображениями:

  • Состояние общедоступной предварительной версии: некоторые агенты находятся в общедоступной предварительной версии и могут быть существенно изменены до появления общедоступной версии. Корпорация Майкрософт не дает никаких гарантий, явных или подразумеваемых, в отношении этих возможностей. Как и в случае с любым выходом ИИ, клиенты должны проверить принятие решений агентом, прежде чем действовать в соответствии с его выходными данными.
  • Точность и полнота: как и любая технология на базе искусственного интеллекта, Security Copilot не делает все правильно. Ответы могут быть неточными, неполными или устаревшими, особенно если соответствующие подключаемые модули не включены или если самые последние данные недоступны во вводе пользователем или в контексте организации. Пользователи всегда должны руководствоваться человеческим суждением и проверять критически важные результаты, а не полагаться исключительно на реакцию, сгенерированную ИИ.
  • Доменная область: Security Copilot предназначен для реагирования на запросы, связанные с областью безопасности, такие как исследование инцидентов и аналитика угроз. Запросы, выходящие за пределы областей безопасности, могут привести к неточности и неполноте ответов.
  • Создание сценариев и кода: Security Copilot может генерировать код или включать код в ответы. Ответы могут казаться действительными, но могут быть семантически или синтаксически неправильными или могут неточно отражать намерения автора запроса. Созданный код не следует развертывать в производственных средах без соответствующих процедур проверки, тестирования и рецензирования. Пользователи также должны убедиться, что все параметры, используемые сгенерированным кодом, соответствуют исходному запросу. Например, если агент работает с оповещениями в пределах определенного диапазона времени, убедитесь, что временной диапазон в сгенерированном коде совпадает с интервалом времени, указанным в запросе на естественном языке.
  • Ограничения по длине запроса: система может не обрабатывать длинные запросы, например содержащие сотни тысяч символов. Базовая LLM имеет ограничение токена, и слишком подробные запросы или расширенные сеансы могут переполнить пространство токена. В этом случае Security Copilot пытается применить меры по устранению проблем, чтобы обеспечить постоянную доступность выходных данных, даже если содержимое не является оптимальным. Однако эти средства защиты не всегда эффективны, и, возможно, потребуется попробовать другой запрос или плагин.
  • Ограничения на использование и задержка: На использование платформы могут распространяться ограничения использования или регулирование пропускной способности. Создание ответов, включая вызовы API через плагины и проверку ответов перед их отображением, может занять много времени и потребовать высокой производительности графического процессора. Организациям следует отслеживать потребление SCU и при необходимости корректировать выделенные ресурсы, чтобы избежать непредвиденных перерывов в обслуживании.
  • Предвзятость, стереотипы и необоснованный контент: несмотря на внедрение ответственного управления ИИ как в запросах пользователей, так и в выходных данных LLM, сервисы ИИ подвержены ошибкам и вероятностны. Это затрудняет полную блокировку всего неприемлемого контента, что может привести к потенциальной предвзятости, стереотипам или необоснованному контенту в результатах, созданных ИИ.
  • Государственное и национальное публичное / частное облако Майкрософт: в настоящее время Security Copilot не поддерживается в этих средах.
  • Границы агента для конкретной задачи: агенты подходят только для конкретной задачи, для выполнения которой они предназначены. Дополнительные сведения см. в разделе предполагаемых вариантов использования . Они не подходят ни для каких других задач и не должны быть повторно использованы за пределами определенной области.
  • Детали карты узлов: карта узлов агента обеспечивает высокоуровневое представление шагов, выполняемых во время рабочего процесса агента. Каждый узел представляет этап процесса и отображает название используемого навыка, а также основные метаданные, такие как состояние завершения, длительность и метка времени. Карта узлов предназначена для отображения последовательности действий, но не предоставляет подробной информации о конкретных операциях или решениях, принятых на каждом шаге. Поскольку карта узлов представляет только обобщенную информацию, она может не полностью отражать контекст или сложность каждого действия.
  • Отзывы агентов и прозрачность памяти: когда пользователи отправляют отзыв агенту для хранения в памяти, агент не предоставляет сводку своей интерпретации отзыва. Чтобы повысить точность будущих результатов, пользователи должны предоставлять четкие, краткие и конкретные отзывы. Отзывы, отправленные агенту, могут храниться и использоваться для влияния на будущие результаты. Однако видимость этих сохраненных отзывов может различаться в зависимости от интерфейса агента и роли пользователя. Дополнительные сведения см. в разделе "Предоставление отзывов".

Оценки

Оценки производительности и безопасности оценивают надежность и безопасность работы приложений ИИ путем изучения таких факторов, как обоснованность, релевантность и согласованность, а также выявляют риски создания вредоносного контента. Следующие оценки были проведены с уже существующими компонентами безопасности, которые также описаны в разделе «Компоненты безопасности и смягчение последствий».

Данные оценки качества и безопасности

Наши данные оценки специально созданы для оценки производительности приложений ИИ в ключевых областях безопасности и качества, имитируя реальные сценарии и риски. Мы начинаем с определения соответствующих аспектов оценки, вызывающих озабоченность, на основе междисциплинарных исследований и экспертного вклада. Эти опасения преобразуются в целевые цели оценки и служат руководством для формулирования показателей оценки.

В целях безопасности мы создаем состязательные запросы, чтобы вызвать нежелательные или пограничные ответы, которые затем оцениваются с помощью аннотаторов с помощью искусственного интеллекта, обученных оценивать соответствие стандартам безопасности Майкрософт. Для обеспечения качества мы создаем запросы на основе критериев оценивания, соответствующие сценариям, включая оценку приложений и агентов генерирования с извлечением и дополнением (RAG).

Наборы данных отбираются из различных источников, включая синтетические и общедоступные наборы данных, для моделирования реальных пользовательских сценариев. Используя курируемые наборы данных, обе оценки проходят итеративную доработку и согласование с человеком для повышения эффективности и надежности метрик. Эта методология формирует основу для повторяемых строгих оценок, отражающих то, как клиенты используют оценки для создания более качественного и безопасного ИИ.

Пользовательские оценки

Были проведены пользовательские оценки для проверки производительности модели в сценариях заземления, состязательной надежности и вредоносного содержимого с использованием регрессионного тестирования, курируемых наборов данных запросов и примеров, согласованных с производством. В ходе оценки сравнивались выходные данные моделей GPT с использованием внутренних инструментов для оценки заземленности и фильтрации содержимого Azure OpenAI для проверки защиты от джейлбрейка, быстрого внедрения и нарушений прав интеллектуальной собственности. Результаты показывают стабильную или улучшенную производительность, включая надежную защиту в состязательных сценариях и повышенную точность заземления.

Обработка вредоносного содержимого остается согласованной во всех моделях и работает в режиме аннотаций для поддержки вариантов использования, ориентированных на безопасность, с дополнительным крупномасштабным тестированием, подтверждающим высокие уровни защиты во всех категориях. Регрессионные тесты проводятся, чтобы убедиться, что содержимое, которое не является вредным, не классифицируется как вредное.

Агенты Security Copilot оценивались исследовательской группой по продуктам и анализу с учетом сценариев использования и проектного ввода от клиентов. Безопасность агентурной системы также оценивалась с помощью специальных учений по отработке красной команды. Корпорация Майкрософт также завершила тестирование на проникновение в службе Security Copilot для проверки защиты от несанкционированного доступа.

После выпуска Security Copilot отзывы пользователей имеют решающее значение для улучшения системы корпорацией Майкрософт. Пользователи могут предоставить отзыв об ответе агента от Security Copilot. Эти отзывы поступают непосредственно в корпорацию Майкрософт и используются для повышения производительности платформы путем постоянного итеративного совершенствования. Дополнительные сведения см. в разделе "Предоставление отзывов".

Компоненты безопасности и меры защиты

По мере того, как мы выявляли потенциальные риски и злоупотребления с помощью таких процессов, как тестирование красной команды, и измеряли их, мы разрабатывали меры по смягчению последствий для снижения потенциального вреда. Мы продолжим оценивать возможности Microsoft Security Copilot, чтобы улучшить производительность продукта и средства защиты. В следующем списке описаны некоторые из этих мер устранения рисков:

  • Фильтрация вредного содержимого и защитные барьеры: Security Copilot интегрирует разработанные корпорацией Майкрософт средства защиты (фильтры содержимого) и модели обнаружения злоупотреблений в рамках платформы службы Azure OpenAI. Эти нейронные модели классификации обнаруживают и фильтруют вредоносный контент по категориям, включая ненависть, сексуальное насилие, насилие и членовредительство на разных уровнях серьезности. Необязательные модели классификации также обнаруживают риски джейлбрейка, известный текст или материал кода, а также атаки с косвенным внедрением запроса. Эти многоуровневые средства контроля помогают предотвратить предоставление ИИ ответов, нарушающих стандарты безопасности Майкрософт.
  • Сведение к минимуму необратимых действий: сценарии агентов, разработанные Майкрософт, предназначены для минимизации необратимых действий и сохранения контроля над критически важными решениями пользователями. Для пользовательских агентов, разработанных не Microsoft, разработчики агентов могут изменять поведение агентов, чтобы свести к минимуму необратимые действия.
  • Проектирование системы безопасности: корпорация Майкрософт разработала для Security Copilot систему безопасности, предназначенную для смягчения сбоев и предотвращения неправильного использования, включая аннотирование вредоносного содержимого, операционный мониторинг и другие меры безопасности. Требования к ответственному применению ИИ в Службе Azure OpenAI не применяются к клиентам Security Copilot напрямую, поскольку Security Copilot реализует эти средства защиты от имени клиента.
  • Цикл обратной связи с пользователями: после того как агент вернет ответ, пользователи могут отправлять отзывы. В зависимости от конфигурации пользователи могут также отправлять дополнительные письменные отзывы, чтобы предоставить контекст своего взаимодействия. Отправленные отзывы собираются и используются корпорацией Майкрософт для повышения качества продукта, выявления проблем и определения приоритетов усовершенствований возможностей Security Copilot.
  • Управление удостоверениями агентов и управление доступом на основе ролей (RBAC): каждый агент Security Copilot работает под управлением управляемого удостоверения или учетной записи пользователя, что позволяет администратору управлять данными, к которым у него есть доступ. У каждого агента есть элементы управления RBAC, и агенты могут быть дополнительно ограничены в том, какие данные они обрабатывают. Ограничивая разрешения каждого агента, система снижает риски несанкционированного раскрытия данных и гарантирует, что все автоматические действия можно отслеживать и отслеживать.
  • Шифрование данных и защита доступа: данные клиентов, обрабатываемые Security Copilot, шифруются как при передаче, так и при хранении, как описано в Приложении о защите данных продуктов и служб Майкрософт. По умолчанию пользователи-люди не имеют доступа к базе данных, а сетевой доступ ограничен частной сетью, где развернуто приложение Security Copilot; если требуется доступ человека (для реагирования на инциденты), повышенные права доступа и доступ к сети должны быть одобрены уполномоченными сотрудниками Майкрософт. См. раздел "Соответствие требованиям".
  • Поэтапный подход к развертыванию: Security Copilot выпускает компоненты в рамках программы раннего доступа только по приглашениям, что позволяет корпорации Майкрософт собирать отзывы и уточнять функции до того, как они станут доступны для более широкой аудитории.

Наш подход к сопоставлению, измерению и управлению рисками продолжает развиваться по мере того, как мы узнаем больше, и вносим улучшения на основе отзывов, полученных от клиентов.

Рекомендации по развертыванию и внедрению Microsoft Security Copilot

Ответственный ИИ — это общее обязательство корпорации Майкрософт и ее клиентов. Хотя корпорация Майкрософт создает системы ИИ, в основе которых лежат безопасность, справедливость и прозрачность, клиенты играют важнейшую роль в развертывании и ответственном использовании этих технологий в своих условиях.

Агенты Security Copilot предназначены для расширения человеческого опыта, а не для замены. Клиенты по-прежнему несут ответственность за проверку результатов, проверку решений и обеспечение соответствия применимым законам, нормативным требованиям и политикам организации.

Развертыватели и конечные пользователи должны:

  • Проявляйте осторожность и оценивайте результаты при использовании Security Copilot для принятия значимых решений или в конфиденциальных областях: Косвенные решения — это решения, которые могут оказать юридическое или значительное влияние на доступ человека к трудоустройству, юридическим услугам, здравоохранению либо могут привести к физическому, психологическому или финансовому ущербу. Чувствительные области, такие как финансовые услуги, здравоохранение и юриспруденция, требуют особого внимания из-за потенциального непропорционального воздействия на различные группы людей. При использовании ИИ для принятия решений в этих областях клиенты должны убедиться, что заинтересованные стороны могут понять, как принимаются решения, обжаловать решения и обновить все соответствующие входные данные.

  • Оценка правовых и нормативных соображений: клиентам необходимо оценить потенциальные конкретные юридические и нормативные обязательства при использовании любых служб и решений ИИ, которые могут не подходить для использования в каждой отрасли или сценарии. Кроме того, услуги или решения ИИ не предназначены и не могут использоваться способами, запрещенными применимыми условиями обслуживания и соответствующими кодексами поведения.

  • Включите и поддерживайте соответствующие плагины: качество и точность ответов Security Copilot в значительной степени зависят от включенных плагинов. Администраторам необходимо обеспечить настройку и обслуживание соответствующих подключаемых модулей Майкрософт и сторонних производителей, чтобы пользователи получали обоснованные, контекстуально релевантные ответы.

Конечным пользователям следует:

  • Пишите эффективные запросы: написание четких, конкретных запросов является ключом к достижению лучших результатов с помощью Security Copilot. Включите соответствующий контекст, например идентификаторы инцидентов, имена ресурсов или диапазоны времени. Итерируйте и повторно генерируйте запросы по мере необходимости, и всегда просматривайте и проверяйте ответы, сгенерированные ИИ. Подробнее см. в статье Советы по созданию запросов для Security Copilot.

  • Когда это необходимо, осуществляйте человеческий контроль: человеческий надзор является важной мерой защиты при взаимодействии с системами ИИ. Хотя мы постоянно улучшаем Security Copilot, системы ИИ могут совершать ошибки. Полученные выходные данные могут быть неточными, неполными, смещенными или не полностью соответствовать намеченным целям из-за неоднозначности входных данных или ограничений базовых моделей. Пользователи должны просмотреть ответы, сгенерированные Security Copilot, и убедиться, что они соответствуют их ожиданиям и требованиям, прежде чем предпринимать какие-либо действия.

  • Помните о риске чрезмерной зависимости: чрезмерная зависимость от ИИ возникает, когда пользователи принимают неправильные или неполные выходные данные ИИ, в основном потому, что ошибки в выходных данных ИИ трудно обнаружить. Для специалистов по безопасности чрезмерная зависимость может привести к пропущенным угрозам, неверным выводам об инцидентах или изменению политики на основе ошибочных рекомендаций. Security Copilot включает раскрытие информации ИИ и цитирует исходные материалы, чтобы снизить этот риск, но пользователи по-прежнему должны убедиться, что проверяют точность ответов. Пользователи могут просматривать карту узлов агента, которая обеспечивает высокоуровневое представление шагов, выполняемых во время рабочего процесса агента.

  • Проявляйте осторожность при развертывании или проектировании агентного ИИ в конфиденциальных областях: пользователи должны осуществлять надлежащий человеческий надзор при настройке и развертывании систем агентного ИИ в областях, где действия агента необратимы или имеют большие последствия. При создании автономного агентного ИИ следует соблюдать дополнительные меры предосторожности, как описано в Кодексе поведения Microsoft Enterprise AI Services.

Сотрудники развертывания должны:

  • Тщательно настраивайте разрешения RBAC и агента: администраторы отвечают за настройку управления доступом на основе ролей как для пользователей, так и для агентов. Разрешения должны предоставляться по принципу предоставления минимальных привилегий. Агентам следует предоставлять доступ только к данным и действиям, необходимым для выполнения назначенной задачи.

  • Мониторинг использования и проверка действий: администраторы (владельцы) могут использовать панель мониторинга использования Security Copilot для просмотра данных на уровне сеанса, таких как использование с течением времени, инициаторы сеансов и плагины, используемые во время сеансов. Такая видимость помогает организациям понять, как Security Copilot используется в запросах, книгах запросов и агентах. Дополнительные сведения см. в разделе "Управление использованием".

  • Управление параметрами общего доступа к данным. Владельцы могут в любое время настроить параметры совместного использования данных клиентов, а также должны просматривать и обновлять эти параметры в соответствии с требованиями конфиденциальности и соответствия требованиям. Подробнее см. в разделе "Конфиденциальность и безопасность данных" в Microsoft Security Copilot.

  • Обучите пользователей о возможностях и ограничениях: эффективное и ответственное использование Security Copilot требует от пользователей понимания того, что система может и чего не может делать. Развертыватели должны проводить обучение и предоставлять рекомендации, чтобы помочь пользователям эффективно взаимодействовать с Security Copilot, включая важность проверки выходных данных, созданных ИИ, прежде чем предпринимать какие-либо действия.

Подробнее об агентах Security Copilot

Дополнительные сведения об ответственном использовании Microsoft Security Copilot см. в следующей документации:

Подробнее об ответственном применении ИИ

  • Last updated on