Карта приложения: агенты Microsoft Security Copilot

Что такое карта приложения или платформы?

Карточки приложений и платформ майкрософт предназначены для того, чтобы помочь вам понять, как работает наша технология ИИ, как владельцы приложений могут повлиять на производительность и поведение приложения, а также важность рассмотрения всего приложения, включая технологию, людей и среду. Карточки приложений создаются для приложений ИИ, а карточки платформы — для служб платформы ИИ. Эти ресурсы могут поддерживать разработку или развертывание собственных приложений и предоставляться пользователям или заинтересованным лицам, на которые они влияют.

В рамках своей приверженности ответственному использованию ИИ корпорация Майкрософт придерживается шести основных принципов: справедливости, надежности и безопасности, конфиденциальности и безопасности, инклюзивности, прозрачности и подотчетности. Эти принципы внедрены в Standard ответственного ИИ, который помогает командам проектировать, создавать и тестировать приложения ИИ. Карточки приложений и платформ играют ключевую роль в практическом применении этих принципов, обеспечивая прозрачность в отношении возможностей, предполагаемого использования и ограничений. Для получения дополнительных сведений читателям рекомендуется ознакомиться с отчетом Майкрософт об ответственной прозрачности ИИ и Кодексом поведения служб ИИ Microsoft Enterprise, в котором показано, как ответственно взаимодействовать с ИИ.

Обзор

Microsoft Security Copilot — это решение для обеспечения безопасности на основе искусственного интеллекта, которое помогает повысить эффективность и возможности защитников, чтобы повысить результаты безопасности на скорости и масштабировании компьютера. Security Copilot предоставляет естественный язык, вспомогательный интерфейс, который помогает специалистам по безопасности и ИТ-администраторам обрабатывать широкий спектр комплексных сценариев, включая реагирование на инциденты, охоту на угрозы, сбор аналитических сведений и управление состоянием.

Security Copilot разработана с учетом интеграции и предлагает иммерсивный автономный интерфейс в https://securitycopilot.microsoft.com. Платформа легко интегрируется с продуктами в портфеле безопасности Майкрософт, такими как Microsoft Defender XDR, Microsoft Sentinel, Microsoft Intune, Microsoft Entra и Microsoft Purview, а также поддерживаемые сторонние службы.

Агент Security Copilot создает выходные данные и может выполнять действия на основе настроенной логики, разрешений и триггеров, определенных клиентом. Клиенты могут использовать автономные агенты Security Copilot для автоматизации рабочих процессов безопасности, ускорения реагирования, определения приоритетов рисков и уменьшения рабочих нагрузок вручную, сохраняя при этом полный контроль. Автономность агента — это способность агента выполнять действия независимо в пределах определенных границ.

Администратор (Security Copilot владелец) обнаруживает и развертывает агенты через портал Security Copilot и хранилище безопасности, а некоторые агенты также отображаются во встроенных продуктах безопасности Майкрософт. Администратор задает удостоверение агента и настраивает управление доступом на основе ролей (RBAC) для агента.

В число предполагаемых пользователей входят аналитики SOC, ИТ-администраторы, администраторы безопасности данных и удостоверений, аналитики соответствия требованиям и руководители по безопасности, такие как главные сотрудники по информационной безопасности (CISOs).

Security Copilot имеет сертификат ISO 42001, который подтверждает, что независимая третья сторона рассмотрела применение корпорацией Майкрософт необходимых платформ и возможностей для эффективного управления рисками и возможностями, связанными с непрерывной разработкой, развертыванием и эксплуатацией Microsoft AI систем.

Дополнительные сведения см. в разделах Что такое Microsoft Security Copilot?, Microsoft Security Copilot интерфейсы и Карта приложений для Security Copilot.

Основные термины

В следующей таблице представлен глоссарий ключевых терминов, связанных с агентами Microsoft Security Copilot.

Термин Определение
Агент Агент Security Copilot обрабатывает сигналы из клиентской среды с помощью интегрированных источников данных и подключаемых модулей, анализирует данные и создает рекомендации. Агенты также могут выполнять действия с заданной областью в пределах настроенных разрешений при появлении запроса, для которых требуется соответствующее утверждение пользователя или администратора. Агенты могут варьироваться от простых подсказок и ответов до более автоматизированных, полуавтономных рабочих процессов с контролем человека.
Действие агента Операция, выполняемая агентом, например получение данных, создание выходных данных или изменение конфигураций на основе разрешений.
Манифест агента Файл конфигурации, определяющий возможности, средства и поведение агента. Он управляет тем, как агент работает в Security Copilot и представлен в формате YAML.
Внедренный интерфейс Доступ к возможностям Security Copilot из другого продукта майкрософт для обеспечения безопасности, например Microsoft Defender XDR или Microsoft Sentinel. Панель Security Copilot боковой панели предоставляет помощь по искусственному интеллекту непосредственно в контексте этого продукта.
Граундинг Процесс предоставления контекстных источников входных данных для крупной языковой модели, связанной с запросом пользователя. Предоставляя Security Copilot доступ к данным организации с помощью подключаемых модулей и продуктов майкрософт для обеспечения безопасности, Security Copilot может предоставлять более точные и контекстуальные ответы.
Модель большого языка (LLM) Модели ИИ, обученные на больших объемах текстовых данных для прогнозирования слов в последовательностях. LLM могут выполнять различные задачи, такие как создание текста, формирование сводных данных, перевод, классификация и многое другое.
Агент, созданный партнером Агент, опубликованный партнерами Майкрософт и доступный через Хранилище безопасности для решения конкретных вариантов использования безопасности.
Плагин Набор связанных средств, которые расширяют возможности Security Copilot, предоставляя ему доступ к ресурсам из служб Майкрософт и сторонних служб и общедоступных веб-сайтов через API. Подключаемые модули добавляют дополнительный контекст в ответы и выходные данные, создаваемые Security Copilot.
Постобработка Набор действий, Security Copilot выполняется для уточнения и подготовки ответа LLM, прежде чем возвращать его пользователю. Эта постобработка включает в себя дополнительные вызовы заземления с помощью подключаемых модулей, проверки ответственного использования ИИ, проверки безопасности, соответствия требованиям и конфиденциальности.
Prompt Текст естественного языка, который пользователь отправляет Security Copilot для выполнения определенной задачи или получения сведений. Например, введите сводку по этому инциденту и предложите действия по исправлению.
Книга подсказок Ряд запросов, которые выполняются последовательно, на основе предыдущих ответов, для выполнения конкретных задач, связанных с безопасностью. Модули Promptbook могут использоваться из библиотеки или создаваться и совместно использоваться пользователями.
Тестирование красной команды Методы, используемые экспертами для оценки ограничений и уязвимостей системы и для проверки эффективности запланированных мер по устранению рисков. Тестирование красной команды используется для выявления потенциальных рисков и отличается от систематического измерения рисков.
Ответственное применение ИИ Политика, исследования и инженерные методики Корпорации Майкрософт, которые лежат в основе ее принципов ИИ и применяются на основе стандарта ответственного ИИ. Дополнительные сведения см. в руководстве по Fluent RAI.
Единица вычислений безопасности (SCU) SKU — это единицы вычислительной мощности, используемые для выполнения Security Copilot рабочих нагрузок и обеспечения согласованной производительности в своих интерфейсах. Security Copilot емкость измеряется в номерах SKU и может использоваться с помощью моделей подготовленной или избыточной емкости. Дополнительные сведения см. в статье Общие сведения о номерах SKU.
Центр управления безопасностью (SOC) Специализированная группа безопасности или объект, сосредоточенный на непрерывном мониторинге, анализе и реагировании на инциденты кибербезопасности в организации. Аналитики SOC являются одними из основных пользователей Security Copilot.
Автономный интерфейс Интерфейс иммерсивного Security Copilot портала, доступный непосредственно по адресу https://securitycopilot.microsoft.com.
Tenant Граница организации в Microsoft Entra ID, которая изолирует удостоверения, доступ и данные для Security Copilot. Клиент управляет всеми рабочими областями, пользователями и взаимодействиями с помощью разрешений на уровне клиента и элементов управления безопасностью.
Триггер Событие или условие, указывающее агенту начать выполнение рабочего процесса. Триггеры могут быть на основе времени (например, еженедельное расписание для агента аналитики угроз) или вручную (запуск по запросу пользователем или администратором). Триггер настраивается во время установки агента.

Ключевые функции или возможности

Основные функции и возможности в следующей таблице описывают, какие Microsoft Security Copilot предназначены для выполнения и как он выполняется в поддерживаемых задачах.

Функция или возможность Описание
Исследование инцидентов и реагирование на нее Security Copilot помогает специалистам по безопасности рассматривать и расследовать инциденты, создавая сводки сложных оповещений системы безопасности, сопоставляя сигналы в Microsoft Defender XDR, Microsoft Sentinel и других интегрированных продуктах, а также предоставляя пошаговые рекомендации по исправлению.
Аналитика угроз Security Copilot может выполнять поиск по Microsoft Defender статьям и профилям аналитики угроз, отчетам по аналитике угроз и публикациям об уязвимостях, чтобы найти соответствующую аналитику в соответствии с запросом.
Анализ скриптов и создание запросов KQL Security Copilot может анализировать подозрительные скрипты или вредоносные программы и переводить естественный язык в запросы KQL, позволяя участникам команды на всех уровнях навыков выполнять сложные задачи охоты и технического анализа.
Управление состоянием безопасности Security Copilot помогает пользователям понять приоритетные риски в своей среде и определить возможности для улучшения состояния за счет интеграции с Microsoft Defender XDR, Microsoft Entra и Microsoft Intune.
Создание политики безопасности и управление ими Пользователи могут определять новые политики, перекрестно ссылаться на существующие политики для конфликтов и суммировать политики на простом языке для управления сложным организационным контекстом.
Отчетность заинтересованных лиц Security Copilot могут создавать отчеты, которые обобщают контекст, открытые проблемы и меры защиты, адаптированные для целевой аудитории, например руководителей или групп безопасности.
Книги запросов Модули promptbook — это последовательности запросов, которые выполняются для выполнения определенных задач безопасности. Пользователи могут запускать модули promptbook из общей библиотеки или создавать собственные модули и предоставлять общий доступ к ним.
Agents Security Copilot поддерживает агенты, которые автоматизируют и помогают в выполнении задач по обеспечению безопасности и ИТ-операциям в рамках разрешений, предоставленных администраторами. Агент выполняет действия с помощью настроенных удостоверений, управления доступом и триггеров и работает с контролем человека в рамках рабочих процессов безопасности.
Агенты, созданные корпорацией Майкрософт, охватывают портфель продуктов безопасности, охватывающий операции SOC, охоту на угрозы, аналитику угроз, управление удостоверениями, управление конечными точками и безопасность данных. Администраторы настраивают удостоверение, разрешения и триггер каждого агента во время установки. Пользователи могут просматривать триггеры агента, доступ к данным, удостоверения и разрешения на действия (например, чтение или запись), чтобы понять, как агент работает в рамках определенной область. Дополнительные сведения об определенных агентах и их вариантах использования см. в разделе Предполагаемое использование.
Поддержка нескольких языков Security Copilot поддерживает запросы и ответы на нескольких языках. Дополнительные сведения см. в разделе Поддерживаемые языки.

Security Copilot — это решение для обеспечения безопасности на основе ИИ, которое работает как с помощью специальных средств, так и в качестве автономной агентской системы. Чтобы понять автономность агента, рассмотрите:

  • Триггеры активации — какие условия или действия пользователя вызывают запуск агента
  • Разрешения на доступ — какие данные, системы или ресурсы может использовать агент
  • Права на действия — действия, которые агент может выполнять самостоятельно

В следующих разделах описываются основные агентские возможности, которые лежат в основе того, как агенты обосновывают, планируют, запоминают, адаптируют и расширяют свои возможности.

Рассуждение

агенты Security Copilot используют базовую большую языковую модель для анализа доступного контекста, оценки сигналов и определения наиболее подходящего курса действий. Например, агент проверки фишинга оценивает содержимое электронной почты, репутацию отправителя и поведенческие сигналы для создания вердикта классификации с обоснованием естественного языка. Агенты прозрачно отображают свои рассуждения, чтобы аналитики могли просматривать, проверять или переопределять выводы, прежде чем действовать на них.

Планирование

Агенты работают с определенными триггерами, которые указывают агентной системе инициировать структурированную последовательность действий для достижения цели. Агенты можно настроить следующим образом:

  • Автоматический запуск по расписанию (например, агент аналитики угроз запускается каждые семь дней).
  • При необходимости запустите вручную по запросу.

Эта конструкция предоставляет агентам целевую модель выполнения, в которой система анализирует, когда и как следует действовать для выполнения своей задачи.

Память

Security Copilot агенты могут хранить информацию с течением времени, называемую памятью. Память позволяет агенту включать прошлые входные данные в будущее поведение в зависимости от того, как он разработан и настроен.

Память может содержать отзывы, предоставленные пользователями. Агенты могут использовать эту обратную связь для корректировки своих ответов или действий в последующих взаимодействиях.

Адаптивность

Security Copilot агенты предназначены для адаптации на основе отзывов пользователей и рабочего контекста, продолжая работать в область, определенных настроенными удостоверениями, разрешениями и триггерами.

  • Цикл обратной связи: владельцы и участники Security Copilot могут предоставлять отзывы об ответах агента. Эта обратная связь хранится в памяти агента и может повлиять на будущие выходные данные в зависимости от структуры и конфигурации агента.
  • Контекстное заземление. Во время обработки запроса Security Copilot обогащает запросы с помощью заземления. Этот процесс включает в себя соответствующие организационные данные, включенные подключаемые модули и аналитику угроз, чтобы ответные меры отражали текущий контекст.
  • Настраиваемые удостоверения и разрешения. Агенты можно обновить после настройки, чтобы изменить удостоверение, триггеры и параметры. Это позволяет агентам соответствовать изменяющимся рабочим процессам и требованиям.

Возможности расширения

  • Подключаемые модули. Агенты используют подключаемые модули для доступа к внешним службам через API, включая поиск репутации, аналитику угроз и данные конечных точек. Поддерживаются подключаемые модули, созданные корпорацией Майкрософт, и подключаемые модули, созданные партнером. Дополнительные сведения см. в статье Общие сведения о подключаемых модулях.
  • Соединители. Logic Apps и соединители Copilot Studio упаковывают API Security Copilot, позволяя разработчикам и пользователям вызывать платформу из внешних рабочих процессов автоматизации. Дополнительные сведения см. в статье Общие сведения о соединителях.
  • Пользовательские агенты. Разработчики могут создавать настраиваемые агенты, адаптированные к конкретным вариантам использования, и добавлять их в экосистему Security Copilot через платформу разработчиков. Дополнительные сведения см. в разделе Разработка пользовательских агентов.
  • Хранилище безопасности. Предварительно созданные агенты Майкрософт и партнеров можно обнаружить и развернуть из встроенной библиотеки агентов и хранилища безопасности.
  • Встроенные возможности. Агенты работают не только на автономном портале Security Copilot, но и внедряются в более широкую экосистему безопасности Майкрософт, включая Microsoft Defender XDR, Microsoft Sentinel, Microsoft Intune. Microsoft Entra и Microsoft Purview.

Предполагаемое использование

Microsoft Security Copilot агенты предназначены для специалистов по безопасности и ИТ-администраторов для поддержки рабочих процессов безопасности, таких как сбор и корреляция аналитики. Агенты могут работать с разрешениями, определенными администратором, и помогают упростить задачи, которые в противном случае могут потребовать значительных усилий вручную, сохраняя при этом контроль над людьми. Ниже приведены некоторые примеры предполагаемых вариантов использования агента:

  • Брифинг по аналитике угроз. Агент брифинга аналитики угроз создает своевременные подробные отчеты об угрозах путем корреляции Аналитика угроз Microsoft Defender данных, Управление направлением внешних атак Defender (EASM) сигналы и контекст клиента в режиме реального времени. Аналитики безопасности могут использовать этот агент для замены часов или дней ручного сбора и корреляции аналитики отчетом, созданным в минутах.

  • Анализ данных безопасности (Microsoft Defender XDR).Агент аналитика безопасности помогает аналитикам безопасности быстро выявлять, оценивать и определять приоритеты рисков для больших объемов данных безопасности. Агент выполняет как основные задачи анализа, такие как анализ шаблонов, анализ тенденций и визуализация, так и дополнительные задачи, такие как обнаружение аномалий, кластеризация, оценка рисков и прогнозное моделирование. Он интегрирует данные из Microsoft Defender XDR, Microsoft Sentinel Log Analytics, Microsoft Sentinel Озеро данных, а также отправленные CSV-файлы, создавая приоритетные аналитические сведения с полной информацией в интерактивном чате без кода.

  • Операции безопасности и реагирование на инциденты (Microsoft Defender XDR):

    • Агент проверки фишинга оценивает сообщения о фишинге, сообщаемые пользователем, по мере их отправки, классифицирует вердикты с прозрачным обоснованием и включает отзывы аналитиков с течением времени.
    • Динамический агент обнаружения угроз постоянно работает в фоновом режиме, чтобы выявить скрытые угрозы и пробелы в средах Defender и Microsoft Sentinel путем сопоставления оповещений, событий, аномалий и аналитики угроз.

  • Охота на угрозы (Microsoft Defender XDR).Агент охоты на угрозы позволяет выполнять сквозную охоту на угрозы с помощью естественного языка. Он создает запросы KQL, интерпретирует результаты, предоставляет аналитические сведения и направляет аналитиков через полные сеансы охоты, чтобы быстрее и с большей уверенностью обнаруживать угрозы.

  • Управление удостоверениями и доступом (Microsoft Entra):

    • Агент оптимизации условного доступа анализирует политики условного доступа и рекомендует улучшения на основе рекомендаций Майкрософт и принципов "Никому не доверяй".
    • Агент управления рисками идентификации помогает администраторам удостоверений исследовать потенциальные риски и принимать меры для защиты критически важных ресурсов.

  • Управление конечными точками (Microsoft Intune):

    • Агент по устранению уязвимостей использует данные Defender для мониторинга уязвимостей и определения приоритетов для исправления с помощью оценки рисков на основе ИИ.
    • Агент конфигурации политик позволяет администраторам импортировать документы или писать инструкции на простом языке, чтобы найти соответствующие параметры в каталоге параметров Intune и создать политики.
    • Агент проверки изменений оценивает влияние запросов на утверждение в Intune и дает рекомендации по действиям, которые могут предпринять администраторы.

  • Исследование безопасности данных (Microsoft Purview):

    • Агент рассмотрения в управлении внутренними рисками оценивает оповещения на основе риска пользователей, файлов и действий, автоматически сортируя их по приоритетным категориям, чтобы помочь группам безопасности сосредоточиться на случаях с наибольшим риском.
    • Агент Purview Triage в защите от потери данных оценивает оповещения защиты от потери данных на основе риска конфиденциальности, риска кражи и политики, помогая администраторам безопасности данных реагировать на самые критические инциденты.

  • Пользовательские агентские рабочие процессы. Разработчики могут создавать и развертывать пользовательские агенты с помощью обработки на естественном языке, отправки манифеста агента или использования средств MCP, адаптированных к конкретным вариантам использования безопасности в их организации, расширяя возможности агента с помощью подключаемых модулей и соединителей для служб Майкрософт и сторонних служб. Дополнительные сведения см. в разделе Настраиваемые агенты.

    Вы также можете создать интерактивный агент чата, когда агенты и пользователи должны совместно работать для интерактивного взаимодействия, чтобы решить что-то. Дополнительные сведения см. в разделе Интерактивный агент.

Модели и обучающие данные

Microsoft Security Copilot использует Azure больших языковых моделей OpenAI (LLM) из литейных моделей, продаваемых Azure, для реализации возможностей естественного языка. Эти модели не обучаются Security Copilot данных клиента. Возможности модели различаются в отношении рассуждений, скорости, ограничений и поддерживаемых сценариев.

Security Copilot также включает в себя знания и контекст, связанные с безопасностью, с помощью подключаемых модулей и заземления, которые предоставляют LLM с соответствующими организационными данными, аналитикой угроз и авторитетным контентом во время вывода, а не через обучение модели.

Производительность

Security Copilot предназначена для работы в корпоративных средах безопасности, где большие объемы сигналов безопасности в режиме реального времени создаются в продуктах Microsoft Security и других источниках данных, настроенных организацией. Он интегрирует сигналы из этих источников, объединяя обработку структурированных данных журнала в режиме реального времени с расследователями. Это позволяет обнаруживать, анализировать и отслеживать источник и влияние инцидентов безопасности в нескольких источниках данных.

Security Copilot выполняется в гипермасштабируемой инфраструктуре Майкрософт и на уровне оркестрации, относящейся к безопасности, который предназначен для поддержки масштабируемой и устойчивой производительности в повторяющихся сценариях обнаружения и исследования угроз.

Агенты расширяют возможности Security Copilot для работы с сигналами безопасности, выполняя определенные задачи безопасности с помощью разрешений, настроенных администратором. Агенты анализируют доступные сигналы, планируют и выполняют структурированные действия и создают выходные данные, такие как решения по рассмотрению, отчеты об аналитике и рекомендации по исправлению, на основе организационных данных и данных аналитики угроз в режиме реального времени. Выполнение агента прозрачно благодаря пошаговым картам узлов, что позволяет аналитикам просматривать созданные шаги (а не подробные сведения о конкретных действиях, выполняемых на каждом узле) и проверять результаты при выполнении.

Надежность производительности дополнительно поддерживается за счет предварительно настроенных агентов, созданных корпорацией Майкрософт, которые тестируются с репрезентативными рабочими процессами и настраиваемыми агентами, где yaml-файл манифеста может помочь повысить согласованность поведения, указав возможности, средства, триггеры и операционные границы. Если четко определены инструкции манифеста, агент может лучше интерпретировать свою задачу, выбирать соответствующие действия и работать в рамках своего предполагаемого область. Дополнительные сведения см. в разделе Настраиваемые агенты.

Для интерактивных агентов производительность формируется главным образом за счет итеративного обмена между агентом и пользователем. Агент создает первоначальный ответ, а пользователь уточняет контекст с помощью дальнейших запросов в зависимости от того, что отображает агент. Это взаимодействие между спиной и вперед позволяет пользователю постепенно направлять агент к более точным и целевым результатам, чем один автономный запуск. Дополнительные сведения см. в разделе Интерактивные агенты.

Ограничения

Понимание ограничений Security Copilot важно, чтобы обеспечить его использование в безопасных и эффективных границах. Хотя клиентам рекомендуется использовать Security Copilot в рабочих процессах безопасности, важно отметить, что Security Copilot не был разработан для всех возможных сценариев. При выборе варианта использования ознакомьтесь с правилами поведения служб ИИ Microsoft Enterprise , а также следующими рекомендациями.

  • Состояние общедоступной предварительной версии. Некоторые агенты находятся в общедоступной предварительной версии и могут быть существенно изменены до выпуска общедоступной версии. Корпорация Майкрософт не предоставляет никаких гарантий, явных или подразумеваемых, в отношении этих возможностей. Как и в случае с любыми выходными данными ИИ, клиенты должны проверить принятие решения агентом, прежде чем действовать на основе его выходных данных.
  • Точность и полнота. Как и любая технология на основе ИИ, Security Copilot не все правильно. Ответы могут быть неточными, неполными или устаревшими, особенно если соответствующие подключаемые модули не включены или если самые актуальные данные недоступны в пользовательском или организационном контексте. Пользователи всегда должны проявлять человеческое суждение и проверять критические выходные данные, а не полагаться исключительно на ответ, созданный ИИ.
  • Область, относящиеся к предметной области: Security Copilot предназначен для реагирования на запросы, связанные с доменом безопасности, такие как исследование инцидентов и аналитика угроз. Запросы за пределами область безопасности может привести к ответным действиям, которые не имеют точности и полноты.
  • Скрипт и создание кода: Security Copilot могут создавать код или включать код в ответы. Ответы могут казаться допустимыми, но могут быть семантически или синтаксически правильными или могут не точно отражать намерение инициатора запроса. Созданный код не следует развертывать в рабочих средах без соответствующих процедур проверки, тестирования и проверки. Пользователи также должны убедиться, что все параметры, используемые созданным кодом, соответствуют исходному запросу. Например, если агент работает с оповещениями в пределах определенного диапазона времени, убедитесь, что диапазон времени в созданном коде соответствует диапазону времени, указанному в запросе естественного языка.
  • Ограничения длины запросов. Система может не обрабатывать длинные запросы, например те, которые содержат сотни тысяч символов. Базовый LLM имеет ограничение на маркеры, и чрезмерно подробные запросы или расширенные сеансы могут переполнять пространство маркеров. В этом сценарии Security Copilot пытается применить меры по устранению рисков, чтобы обеспечить постоянную доступность выходных данных, даже если содержимое не является оптимальным. Однако эти способы устранения рисков не всегда эффективны, и может потребоваться попробовать другой запрос или подключаемый модуль.
  • Ограничения использования и задержка. Использование платформы может быть ограничено использованием или регулированием емкости. Создание ответов, включая вызовы API через подключаемые модули и проверку ответов перед их отображением, может занять много времени и требовать высокой емкости GPU. Организациям следует отслеживать потребление SCU и при необходимости корректировать подготовленную емкость, чтобы избежать непредвиденных перебоев в обслуживании.
  • Предвзятость, стереотипное и неосновное содержимое. Несмотря на реализацию ответственных элементов управления ИИ как в запросах пользователей, так и в выходных данных LLM, службы ИИ являются ошибочной и вероятностной. Это усложняет комплексную блокировку всего неуместного содержимого, что может привести к потенциальным предубеждениям, стереотипам или необоснованным содержимому в выходных данных, создаваемых ИИ.
  • Государственное и частное облако Майкрософт: Security Copilot в настоящее время не поддерживается в этих средах.
  • Границы агентов для конкретных задач. Агенты подходят только для конкретной задачи, для выполнения которых они предназначены. Дополнительные сведения см. в разделе Предполагаемые варианты использования . Они не подходят для любой другой задачи и не должны быть переназначаемы за пределы определенного область.
  • Сведения о схеме узлов. Карта узла агента предоставляет общее представление о действиях, выполненных во время рабочего процесса агента. Каждый узел представляет собой шаг в процессе и отображает заголовок используемого навыка, а также основные метаданные, такие как состояние завершения, длительность и метка времени. Схема узлов предназначена для отображения последовательности действий, но не предоставляет подробных сведений о конкретных операциях или решениях, принятых на каждом шаге. Так как на карте узлов представлены только сводные сведения, она может не полностью захватить контекст или сложность каждого действия.
  • Обратная связь агента и прозрачность памяти. Когда пользователи передают отзыв агенту для хранения в памяти, агент не предоставляет сводку по его интерпретации обратной связи. Чтобы повысить точность будущих выходных данных, пользователи должны предоставлять четкие, краткие и конкретные отзывы. Отзывы, отправленные агенту, могут храниться и использоваться для влияния на будущие выходные данные. Однако видимость этих хранимых отзывов может отличаться в зависимости от взаимодействия с агентом и роли пользователя. Дополнительные сведения см. в разделе Предоставление отзывов.

Оценки

Оценки производительности и безопасности оценивают, работают ли приложения ИИ надежно и безопасно, путем изучения таких факторов, как обоснованность, релевантность и согласованность, при выявлении рисков создания вредоносного содержимого. Следующие оценки были проведены с уже имеющимися компонентами безопасности, которые также описаны в разделе Компоненты безопасности и меры по устранению рисков.

Данные оценки качества и безопасности

Наши оценочные данные специально созданы для оценки производительности приложений ИИ в ключевых областях безопасности и качества, имитации реальных сценариев и рисков. Мы начнем с выявления соответствующих аспектов оценки, вызывающих озабоченность, на основе междисциплинарных исследований и экспертных вкладов. Эти проблемы претворяются в целевые цели оценки и определяют определение метрик оценки.

Для обеспечения безопасности мы создаем состязательные запросы для получения нежелательных или пограничных ответов, которые затем оцениваются с помощью аннотаторов с помощью ИИ, обученных оценке соответствия стандартам безопасности Майкрософт. Для обеспечения качества мы создаем запросы на основе рубрик, относящиеся к сценариям, включая оценку приложений и агентов для получения дополненного поколения (RAG).

Наборы данных курируются из различных источников, включая искусственные и общедоступные наборы данных для имитации реальных пользовательских сценариев. Используя проверенные наборы данных, обе оценки проходят итеративное уточнение и согласование между людьми для повышения эффективности и надежности метрик. Эта методология формирует основу повторяемых и строгих оценок, отражающих, как клиенты используют оценки для создания более качественного и безопасного ИИ.

Пользовательские оценки

Пользовательские оценки были проведены для проверки производительности модели в сценариях заземления, состязательной надежности и вредоносного содержимого с помощью регрессии тестирования, курированных наборов данных запроса и примеров, согласованных в рабочей среде. Оценка сравнивала выходные данные между моделями GPT, используя внутренние инструменты для оценки заземленности и Azure фильтрации содержимого OpenAI для проверки защиты от джейлбрейка, внедрения запросов и нарушений интеллектуальной собственности. Результаты показывают согласованную или улучшенную производительность, включая высокий уровень защиты в состязательном сценарии и повышенную точность заземления.

Обработка вредоносного содержимого остается согласованной в разных моделях и работает в режиме заметок для поддержки вариантов использования, ориентированных на безопасность, с дополнительным крупномасштабным тестированием, подтверждающим высокий уровень защиты по категориям. Регрессионные тесты проводятся, чтобы убедиться, что содержимое, которое не является вредным, не классифицируется как вредное.

Security Copilot агенты были оценены ее продуктами и исследовательской группой с вариантами использования и входными данными от клиентов. Безопасность системы агентов также была оценена в рамках специального упражнения по объединяемой красной команде. Корпорация Майкрософт также завершила тестирование на проникновение в службе Security Copilot, чтобы проверить защиту от несанкционированного доступа.

Теперь, когда Security Copilot выпущен, отзывы пользователей имеют решающее значение для улучшения системы корпорацией Майкрософт. Пользователи могут предоставить отзыв об ответе агента от Security Copilot. Эта обратная связь поступает непосредственно в корпорацию Майкрософт и используется для повышения производительности платформы за счет постоянного итеративного уточнения. Дополнительные сведения см. в разделе Предоставление отзывов.

Компоненты безопасности и меры по устранению рисков

По мере того как мы определили потенциальные риски и неправильное использование с помощью таких процессов, как тестирование красной команды, и измерили их, мы разработали меры по устранению рисков для снижения потенциального вреда. Мы продолжим оценивать Microsoft Security Copilot интерфейс для повышения производительности продукта и устранения рисков. В следующем списке описаны некоторые из этих мер.

  • Фильтрация вредоносного содержимого и ограждения: Security Copilot интегрирует разработанные корпорацией Майкрософт средства защиты (фильтры содержимого) и модели обнаружения злоупотреблений в рамках Azure основы службы OpenAI. Эти модели нейронной классификации обнаруживают и фильтруют вредоносное содержимое по категориям, включая ненависть, сексуальное насилие и самоповреждение на нескольких уровнях серьезности. Необязательные модели классификации также обнаруживают риски, связанные с джейлбрейками, известный текст или материал кода, а также непрямые атаки на внедрение запросов. Эти многоуровневые элементы управления помогают предотвратить создание ИИ ответов, которые нарушают стандарты безопасности Майкрософт.
  • Предназначены для минимизации необратимых действий. Сценарии агента, разработанные корпорацией Майкрософт, предназначены для минимизации необратимых действий и держать пользователей под контролем критически важных решений. Для пользовательских агентов, созданных не корпорацией Майкрософт, разработчики агентов могут изменять поведение агента, чтобы свести к минимуму необратимые действия.
  • Проектирование системы безопасности. Корпорация Майкрософт разработала систему безопасности для Security Copilot, которая предназначена для устранения сбоев и предотвращения неправильного использования, включая вредные заметки к содержимому, операционный мониторинг и другие меры безопасности. Требования к устранению Azure openAI Service Responsible AI не применяются непосредственно к клиентам Security Copilot, так как Security Copilot реализует эти меры по устранению рисков от имени клиента.
  • Цикл обратной связи пользователей. После того, как агент возвращает ответ, пользователи могут предоставить отзыв. В зависимости от конфигурации пользователи также могут отправлять дополнительные письменные отзывы для предоставления контекста взаимодействия. Отправленные отзывы собираются и используются корпорацией Майкрософт для улучшения качества продукта, выявления проблем и определения приоритетов улучшений для Security Copilot взаимодействия.
  • Управление удостоверениями агента и управление доступом на основе ролей (RBAC): каждый агент Security Copilot выполняется под управляемым удостоверением или учетной записью пользователя, что позволяет администратору управлять данными, к которым у него есть доступ. Каждый агент имеет элементы управления RBAC, и агенты могут быть ограничены в том, какие данные они обрабатывают. Ограничивая разрешения каждого агента, система снижает риски несанкционированного раскрытия данных и гарантирует, что все автоматические действия доступны для аудита и отслеживания.
  • Шифрование данных и защита доступа. Данные клиента, обрабатываемые Security Copilot, шифруются как при передаче, так и при хранении, как описано в дополнительном руководстве по защите данных продуктов и служб Майкрософт. По умолчанию пользователи-люди не имеют доступа к базе данных, а сетевой доступ ограничен частной сетью, в которой развернуто приложение Security Copilot. Если требуется доступ человека (для реагирования на инциденты), повышенный доступ и сетевой доступ должны быть утверждены авторизованными сотрудниками Майкрософт. См. статью Соответствие требованиям.
  • Поэтапный подход к развертыванию: Security Copilot выпуск функций с помощью программы раннего доступа только по приглашению, что позволяет корпорации Майкрософт собирать отзывы и уточнять функции, прежде чем они будут более широкой.

Наш подход к сопоставлению, измерению и управлению рисками продолжает развиваться по мере того, как мы узнаем больше и внося улучшения на основе отзывов, полученных от клиентов.

Рекомендации по развертыванию и внедрению Microsoft Security Copilot

Ответственный ИИ — это общее обязательство корпорации Майкрософт и ее клиентов. Хотя корпорация Майкрософт создает системы ИИ с безопасностью, справедливостью и прозрачностью, клиенты играют важную роль в развертывании и использовании этих технологий в своих собственных контекстах.

Security Copilot агенты предназначены для расширения человеческого опыта, а не для замены. Клиенты несут ответственность за проверку выходных данных, проверку решений и обеспечение соответствия применимым законам, нормативным актам и политикам организации.

Развертывающие и конечные пользователи должны:

  • Проявлять осторожность и оценивать результаты при использовании Security Copilot для принятия последовательных решений или в конфиденциальных областях. Последовательные решения — это решения, которые могут оказать юридическое или значительное влияние на доступ человека к занятости, юридическим услугам, здравоохранению или которые могут привести к физическому, психологическому или финансовому ущербу. Конфиденциальные области, такие как финансовые услуги, здравоохранение и юридические, требуют особого ухода из-за потенциального непропорционального воздействия на различные группы людей. При использовании ИИ для принятия решений в этих областях клиенты должны убедиться, что затронутые заинтересованные лица могут понять, как принимаются решения, обжаловать решения и обновлять все соответствующие входные данные.

  • Оценка юридических и нормативных аспектов. Клиенты должны оценивать потенциальные конкретные юридические и нормативные обязательства при использовании любых служб и решений ИИ, которые могут быть не подходящими для использования в любой отрасли или сценарии. Кроме того, службы или решения ИИ не предназначены для и не могут использоваться способами, запрещенными применимыми условиями обслуживания и соответствующими правилами поведения.

  • Включение и поддержка соответствующих подключаемых модулей. Качество и точность ответов Security Copilot в значительной мере зависят от включенных подключаемых модулей. Администраторы должны убедиться, что соответствующие подключаемые модули Майкрософт и сторонних разработчиков настроены и поддерживаются таким образом, чтобы пользователи получали обоснованные и контекстно релевантные ответы.

Конечные пользователи должны:

  • Написание эффективных подсказок. Написание четких, конкретных подсказок является ключом к улучшению результатов с помощью Security Copilot. Включите соответствующий контекст, например идентификаторы инцидентов, имена активов или диапазоны времени. При необходимости выполняете итерацию и повторное создание запросов, а также всегда просматривайте и проверяйте ответы, созданные ИИ. Дополнительные сведения см. в разделе Подсказки для Security Copilot.

  • Осуществлять контроль над человеком, когда это необходимо. Контроль человека является важной защитой при взаимодействии с системами ИИ. Хотя мы постоянно улучшаем Security Copilot, системы ИИ могут делать ошибки. Созданные выходные данные могут быть неточными, неполными, предвзятыми или не полностью соответствовать предполагаемым целям из-за неоднозначности входных данных или ограничений базовых моделей. Пользователи должны проверить ответы, созданные Security Copilot, и убедиться, что они соответствуют ожиданиям и требованиям, прежде чем принимать меры.

  • Помните о риске чрезмерной зависимости. Чрезмерная зависимость от ИИ возникает, когда пользователи принимают неправильные или неполные выходные данные ИИ, главным образом из-за того, что ошибки в выходных данных ИИ могут быть трудно обнаружить. Для специалистов по безопасности чрезмерная зависимость может привести к пропущенным угрозам, неверным выводам об инцидентах или изменениям политики на основе ошибочных рекомендаций. Security Copilot включает раскрытие информации об ИИ и цитирует исходные материалы, чтобы снизить этот риск, но пользователи должны по-прежнему проверять точность ответов. Пользователи могут просматривать карту узлов агента, которая предоставляет общее представление о шагах, выполненных во время рабочего процесса агента.

  • Соблюдайте осторожность при развертывании или проектировании агентского ИИ в конфиденциальных областях. Пользователи должны реализовать надлежащий контроль человека при настройке и развертывании агентных систем ИИ в доменах, где действия агента необратимы или весьма последовательны. При создании автономного агентского ИИ следует принимать дополнительные меры предосторожности, как описано в кодексе поведения служб ИИ Microsoft Enterprise.

Средства развертывания должны:

  • Тщательно настройте разрешения RBAC и агентов. Администраторы отвечают за настройку управления доступом на основе ролей как для пользователей, так и для агентов. Разрешения должны соответствовать принципу минимальных привилегий. Агенты должны иметь доступ только к данным и действиям, необходимым для назначенной задачи.

  • Мониторинг действий по использованию и проверке. Администраторы (владельцы) могут использовать панель мониторинга использования Security Copilot для просмотра данных на уровне сеанса, таких как использование с течением времени, инициаторы сеансов и подключаемые модули, используемые во время сеансов. Эта видимость помогает организациям понять, как Security Copilot используется в запросах, книгах подсказок и агентах. Дополнительные сведения см. в разделе Управление использованием.

  • Управление параметрами общего доступа к данным. Владельцы могут настроить параметры общего доступа к данным клиента в любое время и должны проверить и обновить эти параметры в соответствии с требованиями к конфиденциальности и соответствию требованиям своей организации. Дополнительные сведения см. в разделе Конфиденциальность и безопасность данных в Microsoft Security Copilot.

  • Информирование пользователей о возможностях и ограничениях. Эффективное и ответственное использование Security Copilot требует от пользователей понимания того, что система может и не может делать. Средства развертывания должны предоставлять учебные курсы и рекомендации, чтобы помочь пользователям эффективно взаимодействовать с Security Copilot, включая важность проверки выходных данных, созданных ИИ, перед принятием мер.

Дополнительные сведения об агентах Security Copilot

Дополнительные сведения об ответственном использовании Microsoft Security Copilot см. в следующей документации:

Дополнительные сведения об ответственном ИИ

  • Last updated on