Карта приложения: Microsoft Security Copilot

Что такое карта приложения или платформы?

Карточки приложений и платформ майкрософт предназначены для того, чтобы помочь вам понять, как работает наша технология ИИ, как владельцы приложений могут повлиять на производительность и поведение приложения, а также важность рассмотрения всего приложения, включая технологию, людей и среду. Карточки приложений создаются для приложений ИИ, а карточки платформы — для служб платформы ИИ. Эти ресурсы могут поддерживать разработку или развертывание собственных приложений и предоставляться пользователям или заинтересованным лицам, на которые они влияют.

В рамках своей приверженности ответственному использованию ИИ корпорация Майкрософт придерживается шести основных принципов: справедливости, надежности и безопасности, конфиденциальности и безопасности, инклюзивности, прозрачности и подотчетности. Эти принципы внедрены в Standard ответственного ИИ, который помогает командам проектировать, создавать и тестировать приложения ИИ. Карточки приложений и платформ играют ключевую роль в практическом применении этих принципов, обеспечивая прозрачность в отношении возможностей, предполагаемого использования и ограничений. Для получения дополнительных сведений читателям рекомендуется ознакомиться с отчетом Майкрософт об ответственной прозрачности ИИ и Кодексом поведения служб ИИ Microsoft Enterprise, в котором показано, как ответственно взаимодействовать с ИИ.

Обзор

Microsoft Security Copilot — это решение для обеспечения безопасности на основе искусственного интеллекта, которое помогает повысить эффективность и возможности защитников, чтобы повысить результаты безопасности на скорости и масштабировании компьютера. Он предоставляет естественный язык, вспомогательный интерфейс, который помогает специалистам по безопасности и ИТ-администраторам обрабатывать широкий спектр комплексных сценариев, включая реагирование на инциденты, охоту на угрозы, сбор аналитических данных и управление состоянием.

Security Copilot разработана с учетом интеграции. Он предлагает иммерсивный автономный интерфейс https://securitycopilot.microsoft.com и интегрируется с продуктами безопасности Майкрософт, включая Microsoft Defender XDR, Microsoft Sentinel, Microsoft Intune, Microsoft Entra и Microsoft Purview, а также поддерживаемые сторонние службы.

В число предполагаемых пользователей входят аналитики SOC, ИТ-администраторы, администраторы безопасности данных и удостоверений, аналитики соответствия требованиям и руководители по безопасности, такие как главные сотрудники по информационной безопасности (CISOs).

Security Copilot получил сертификат ISO 42001, подтверждающий, что независимая третья сторона рассмотрела применение корпорацией Майкрософт необходимой платформы и возможностей для эффективного управления рисками и возможностями, связанными с непрерывной разработкой, развертыванием и эксплуатацией Microsoft AI систем.

Дополнительные сведения см. в разделах Что такое Microsoft Security Copilot?, Microsoft Security Copilot интерфейсы и Карта приложений для агентов Security Copilot.

Основные термины

В следующей таблице представлен глоссарий ключевых терминов, связанных с Microsoft Security Copilot.

Термин Определение
Агент Агент Security Copilot обрабатывает сигналы из клиентской среды с помощью интегрированных источников данных и подключаемых модулей, анализирует данные и создает рекомендации. Агенты также могут выполнять действия с заданной областью в пределах настроенных разрешений при появлении запроса, для которых требуется соответствующее утверждение пользователя или администратора. Агенты могут варьироваться от простых подсказок и ответов до более автоматизированных, полуавтономных рабочих процессов с контролем человека. Например, агент проверки фишинга и агент исправления уязвимостей.
Удостоверение агента Учетные данные, которые агент использует для проверки подлинности в службах Майкрософт и доступа к данным, необходимым для выполнения своих задач. Во время установки администратор решает создать выделенное удостоверение (с помощью Microsoft Entra ID для агентов) или разрешить агенту наследовать учетные данные настраиваемого пользователя. Выбор удостоверения определяет, к каким данным агент может получить доступ.
Источник данных Структурированные или неструктурированные данные, доступные через подключаемые модули или интеграции с наземными ответами.
Внедренный интерфейс Доступ к возможностям Security Copilot из другого продукта майкрософт для обеспечения безопасности, например Microsoft Defender XDR или Microsoft Sentinel. Панель Security Copilot боковой панели предоставляет помощь по искусственному интеллекту непосредственно в контексте этого продукта.
Граундинг Процесс предоставления контекстных источников входных данных для крупной языковой модели, связанной с запросом пользователя. Предоставляя Security Copilot доступ к данным организации с помощью подключаемых модулей и продуктов майкрософт для обеспечения безопасности, Security Copilot может предоставлять более точные и контекстуальные ответы.
Модель большого языка (LLM) Модели ИИ, обученные на больших объемах текстовых данных для прогнозирования слов в последовательностях. LLM могут выполнять различные задачи, такие как создание текста, формирование сводных данных, перевод, классификация и многое другое.
Плагин Набор связанных средств, которые расширяют возможности Security Copilot, предоставляя ему доступ к ресурсам из служб Майкрософт и сторонних служб и общедоступных веб-сайтов через API. Подключаемые модули добавляют дополнительный контекст в ответы и выходные данные, создаваемые Security Copilot.
Постобработка Набор действий, Security Copilot выполняется для уточнения и подготовки ответа LLM, прежде чем возвращать его пользователю. Эта постобработка включает в себя дополнительные вызовы заземления с помощью подключаемых модулей, проверки ответственного использования ИИ, проверки безопасности, соответствия требованиям и конфиденциальности.
Prompt Текст естественного языка, который пользователь отправляет Security Copilot для выполнения определенной задачи или получения сведений. Например, введите сводку по этому инциденту и предложите действия по исправлению.
Книга подсказок Ряд запросов, которые выполняются последовательно, на основе предыдущих ответов, для выполнения конкретных задач, связанных с безопасностью. Модули Promptbook могут использоваться из библиотеки или создаваться и совместно использоваться пользователями.
Тестирование красной команды Методы, используемые экспертами для оценки ограничений и уязвимостей системы и для проверки эффективности запланированных мер по устранению рисков. Тестирование красной команды используется для выявления потенциальных рисков и отличается от систематического измерения рисков.
Ответственное применение ИИ Политика, исследования и инженерные методики Корпорации Майкрософт, которые лежат в основе ее принципов ИИ и применяются на основе стандарта ответственного ИИ. Дополнительные сведения см. в руководстве по Fluent RAI.
Единица вычислений безопасности (SCU) SKU — это единицы вычислительной мощности, используемые для выполнения Security Copilot рабочих нагрузок и обеспечения согласованной производительности в своих интерфейсах. Security Copilot емкость измеряется в номерах SKU и может использоваться с помощью моделей подготовленной или избыточной емкости. Дополнительные сведения см. в статье Общие сведения о номерах SKU.
ответ Security Copilot Выходные данные, созданные СИ, возвращены в запрос пользователя, включая сводки, рекомендации или действия, которые могут включать код и визуальные элементы.
Центр управления безопасностью (SOC) Специализированная группа безопасности или объект, сосредоточенный на непрерывном мониторинге, анализе и реагировании на инциденты кибербезопасности в организации. Аналитики SOC являются одними из основных пользователей Security Copilot.
Хранилище безопасности Интерфейс, похожий на Marketplace, где пользователи могут обнаруживать и включать агенты и расширения, созданные партнерами, для Security Copilot.
Сеанс Ограниченный контекст взаимодействия, включающий запросы, ответы и связанные данные, используемые для создания выходных данных. Контекст сеанса изолирован и не используется в сеансах. Доступ к данным сеанса регулируется разрешениями пользователей и ролями рабочей области, а запросы и ответы обрабатываются как данные клиента, которые не используются для обучения базовых моделей.
Автономный интерфейс Интерфейс иммерсивного Security Copilot портала, доступный непосредственно по адресу https://securitycopilot.microsoft.com.
Tenant Граница организации в Microsoft Entra ID, которая изолирует удостоверения, доступ и данные для Security Copilot. Все рабочие области, пользователи и взаимодействия работают в пределах этой границы и управляются разрешениями на уровне клиента и элементами управления безопасностью.

Ключевые функции или возможности

Основные функции и возможности в следующей таблице описывают, какие Microsoft Security Copilot предназначены для выполнения и как он выполняется в поддерживаемых задачах.

Функция или возможность Описание
Исследование инцидентов и реагирование на нее Security Copilot помогает специалистам по безопасности рассматривать и расследовать инциденты, создавая сводки сложных оповещений системы безопасности, сопоставляя сигналы в Microsoft Defender XDR, Microsoft Sentinel и других интегрированных продуктах, а также предоставляя пошаговые рекомендации по исправлению.
Аналитика угроз Security Copilot может выполнять поиск по Microsoft Defender статьям и профилям аналитики угроз, отчетам по аналитике угроз и публикациям об уязвимостях, чтобы найти соответствующую аналитику в соответствии с запросом.
Анализ скриптов и создание запросов KQL Security Copilot может анализировать подозрительные скрипты или вредоносные программы и переводить естественный язык в запросы KQL, позволяя участникам команды на всех уровнях навыков выполнять сложные задачи охоты и технического анализа.
Управление состоянием безопасности Security Copilot помогает пользователям понять приоритетные риски в своей среде и определить возможности для улучшения состояния за счет интеграции с Microsoft Defender XDR, Microsoft Entra и Microsoft Intune.
Создание политики безопасности и управление ими Пользователи могут определять новые политики, перекрестно ссылаться на существующие политики для конфликтов и суммировать политики на простом языке для управления сложным организационным контекстом.
Книги запросов Модули promptbook — это последовательности запросов, которые выполняются для выполнения определенных задач безопасности. Пользователи могут запускать модули promptbook из общей библиотеки или создавать собственные модули и предоставлять общий доступ к ним.
Agents Security Copilot поддерживает агенты, которые могут автоматизировать задачи безопасности и ИТ-операций в рамках разрешений, предоставленных администраторами. Действия агента регулируются настроенными удостоверениями, средствами управления доступом и триггерами и предназначены для работы с человеческим контролем в рамках рабочих процессов безопасности. Агенты, созданные корпорацией Майкрософт, охватывают портфель продуктов безопасности, охватывающий операции SOC, охоту на угрозы, аналитику угроз, управление удостоверениями, управление конечными точками и безопасность данных. Администраторы настраивают удостоверение, разрешения и триггер каждого агента. Дополнительные сведения об определенных агентах и их вариантах использования см. в разделе Предполагаемое использование.
File upload Пользователи могут передавать файлы непосредственно в сеансы Security Copilot, что позволяет Copilot анализировать, суммировать или перекрестно ссылаться на отправленное содержимое при создании ответов.
Поддержка нескольких языков Security Copilot поддерживает запросы и ответы на нескольких языках. Дополнительные сведения см. в разделе Поддерживаемые языки.

Предполагаемое использование

Microsoft Security Copilot предназначен для использования специалистами по безопасности и ИТ-администраторами, которым требуется поддержка СИ для широкого спектра задач безопасности и ИТ-операций. Вспомогательный интерфейс помогает пользователям работать более эффективно, просматривая соответствующий контекст, создавая практические рекомендации и сокращая время, затрачиваемое на ручной анализ. Ниже приведены некоторые примеры предполагаемых вариантов использования:

  • Исследование инцидентов и реагирование на инциденты. Создает сводки сложных оповещений, сопоставляет сигналы между интегрированными продуктами безопасности, такими как Microsoft Defender XDR и Microsoft Sentinel, а также предоставляет пошаговое руководство по исправлению. Аналитики могут задавать дальнейшие вопросы, чтобы постепенно уточнять свое расследование.

  • Сбор аналитических сведений об угрозах. Отображает соответствующую аналитику об субъектах угроз, вредоносных программах и уязвимостях на основе подсказок на естественном языке, объединяя информацию в специализированные сводки.

  • Анализ скриптов и реверсивная инженерия. Объясняет подозрительные скрипты или действия командной строки на простом языке, выявляет вредоносное поведение и выделяет индикаторы компрометации.

  • Создание запросов KQL. Преобразует запросы естественного языка в готовые к выполнению запросы KQL для расширенной охоты и анализа журналов.

  • Управление состоянием безопасности. Определяет приоритетные риски и рекомендует действия по улучшению состояния безопасности организации.

  • Создание политики безопасности и управление ими. Помогает разрабатывать, проверять и обобщать политики, а также выявлять пробелы или конфликты.

  • Отчетность заинтересованных лиц. Создает отчеты, предназначенные для различных аудиторий, включая технические сводки и брифинги для руководителей.

  • Модули командной строки для повторяющихся рабочих процессов безопасности. Позволяет пользователям запускать или создавать многоэтапные рабочие процессы для стандартизации повторяющихся задач безопасности.

Модели и обучающие данные

Microsoft Security Copilot использует Azure больших языковых моделей OpenAI (LLM) из литейных моделей, продаваемых Azure, для реализации возможностей естественного языка. Эти модели не обучаются Security Copilot данных клиента. Возможности модели различаются в отношении рассуждений, скорости, ограничений и поддерживаемых сценариев.

Security Copilot также включает в себя знания и контекст, связанные с безопасностью, с помощью подключаемых модулей и заземления, которые предоставляют LLM с соответствующими организационными данными, аналитикой угроз и авторитетным контентом во время вывода, а не через обучение модели.

Производительность

Security Copilot предназначена для работы в корпоративных средах безопасности, где большие объемы сигналов безопасности в режиме реального времени создаются в продуктах Microsoft Security и других источниках данных, настроенных организацией.

В отличие от LLM общего назначения, Security Copilot предоставляет:

  • Обработка сигналов в режиме реального времени для структурированных данных безопасности
  • Расследовательское обоснование, которое сопоставляет несколько источников данных
  • Выходные данные, поддерживаемые доказательствами, на основе данных клиента
  • Непрерывный сбор данных для постоянной видимости

Пользователи взаимодействуют с Security Copilot с помощью запросов на естественном языке. Система обрабатывает эти входные данные с помощью активных подключаемых модулей, источников данных и LLM для создания ответов.

Выходные данные в основном текстовые, включая сводные объяснения, рекомендуемые действия, пошаговое руководство, фрагменты кода (например, запросы KQL) и форматированные отчеты, предназначенные для заинтересованных лиц. Когда система создает ответ, она отображает промежуточные шаги в журнале процессов, предоставляя возможности для двойного проверка своих процессов и источников. Пользователи могут отменять, изменять, повторно запускать или удалять запросы в любое время, а ответы можно закреплять, предоставлять общий доступ и экспортировать для упрощения совместной работы.

Ограничения

Чтобы обеспечить эффективное и ответственное использование Microsoft Security Copilot, важно понимать ограничения Microsoft Security Copilot. Хотя Security Copilot улучшает рабочие процессы безопасности, он не предназначен для всех сценариев. При выборе варианта использования ознакомьтесь с правилами поведения служб ИИ Microsoft Enterprise , а также следующими рекомендациями.

  • Точность и полнота: Security Copilot могут выдавать неточные, неполные или устаревшие ответы. Качество вывода зависит от доступных источников данных, включенных интеграций и пользовательского контекста. Пользователи должны применять человеческое суждение и проверять критические выходные данные.
  • Предвзятость, стереотипность и необоснованный контент. Несмотря на гарантии, выходные данные могут содержать предвзятость, стереотипы или неподдерживаемые выводы из-за вероятностного характера больших языковых моделей. Пользователи должны критически оценивать ответы, особенно в конфиденциальных сценариях или сценариях с высокой степенью влияния.
  • Область для конкретной области: Security Copilot оптимизировано для задач, связанных с безопасностью, таких как исследование инцидентов и анализ угроз. Запросы за пределами этого домена может привести к менее точным или менее релевантными ответами.
  • Ограничения использования и задержка. Использование Security Copilot может регулироваться ограничениями емкости и производительностью. Создание ответов, включая выполнение интеграции и применение проверок безопасности, может привести к задержке. Организации должны отслеживать использование (SKU) для поддержания согласованной производительности.
  • Состояние предварительного просмотра. Некоторые возможности Security Copilot могут быть в предварительной версии. Предварительные версии функций должны рассматриваться как предварительные функциональность, а выходные данные должны быть проверены перед выполнением действий.
  • Ограничения запроса и контекста: Security Copilot работает в пределах маркеров и контекстных ограничений, присущих большим языковым моделям. Длительные запросы или расширенные взаимодействия могут превышать эти ограничения, что приводит к усеченным или менее оптимальным ответам. Рефрамирование или упрощение запросов может улучшить результаты.
  • Зависимость от источников данных и конфигурации. Ответы зависят от доступных данных, включая подключенные службы Майкрософт, сторонние интеграции и входные данные пользователей. Если соответствующие источники данных недоступны, включены или актуальны, результаты могут не иметь полноты или точности.
  • Скрипт и создание кода: Security Copilot могут создавать код или включать код в ответы. Ответы могут казаться допустимыми, но могут быть семантически или синтаксически правильными или могут не точно отражать намерение инициатора запроса. Созданный код не следует развертывать в рабочих средах без соответствующих процедур проверки, тестирования и проверки. Пользователи также должны убедиться, что все параметры, используемые созданным кодом, соответствуют исходному запросу. Например, если агент работает с оповещениями в пределах определенного диапазона времени, убедитесь, что диапазон времени в созданном коде соответствует диапазону времени, указанному в запросе естественного языка.
  • Доступ к данным и границы разрешений: Security Copilot работает в рамках существующих организационных разрешений и элементов управления доступом к данным. Ответы ограничены данными, к доступу к которых пользователь имеет право. Неправильно настроенные разрешения в базовых системах могут повлиять на релевантность или полноту результатов.
  • Облачные среды для государственных организаций: Security Copilot в настоящее время не предназначены для использования в некоторых облачных средах для государственных организаций.

Оценки

Оценки производительности и безопасности оценивают, работают ли приложения ИИ надежно и безопасно, путем изучения таких факторов, как обоснованность, релевантность и согласованность, при выявлении рисков создания вредоносного содержимого. Следующие оценки были проведены с уже имеющимися компонентами безопасности, которые также описаны в разделе Компоненты безопасности и меры по устранению рисков.

Данные оценки качества и безопасности

Наши оценочные данные специально созданы для оценки производительности приложений ИИ в ключевых областях безопасности и качества, имитации реальных сценариев и рисков. Мы начнем с выявления соответствующих аспектов оценки, вызывающих озабоченность, на основе междисциплинарных исследований и экспертных вкладов. Эти проблемы претворяются в целевые цели оценки и определяют определение метрик оценки.

Для обеспечения безопасности мы создаем состязательные запросы для получения нежелательных или пограничных ответов, которые затем оцениваются с помощью аннотаторов с помощью ИИ, обученных оценке соответствия стандартам безопасности Майкрософт. Для обеспечения качества мы создаем запросы на основе рубрик, относящиеся к сценариям, включая оценку приложений и агентов для получения дополненного поколения (RAG).

Наборы данных курируются из различных источников, включая искусственные и общедоступные наборы данных для имитации реальных пользовательских сценариев. Используя проверенные наборы данных, обе оценки проходят итеративное уточнение и согласование между людьми для повышения эффективности и надежности метрик. Эта методология формирует основу повторяемых и строгих оценок, отражающих, как клиенты используют оценки для создания более качественного и безопасного ИИ.

Пользовательские оценки

Пользовательские оценки были проведены для проверки производительности модели в сценариях заземления, состязательной надежности и вредоносного содержимого с помощью регрессии тестирования, курированных наборов данных запроса и примеров, согласованных в рабочей среде. Оценка сравнивала выходные данные между моделями GPT, используя внутренние инструменты для оценки заземленности и Azure фильтрации содержимого OpenAI для проверки защиты от джейлбрейка, внедрения запросов и нарушений интеллектуальной собственности. Результаты показывают согласованную или улучшенную производительность, включая высокий уровень защиты в состязательном сценарии и повышенную точность заземления.

Обработка вредоносного содержимого остается согласованной в разных моделях и работает в режиме заметок для поддержки вариантов использования, ориентированных на безопасность, с дополнительным крупномасштабным тестированием, подтверждающим высокий уровень защиты по категориям. Регрессионные тесты проводятся, чтобы убедиться, что содержимое, которое не является вредным, не классифицируется как вредное.

Отзывы пользователей имеют решающее значение для улучшения Security Copilot. Пользователи могут предоставлять отзывы с помощью следующих вариантов: Требуется улучшение, Неуместно или Выглядит правильно . Эта обратная связь поступает непосредственно в корпорацию Майкрософт и используется для повышения производительности платформы за счет постоянного итеративного уточнения.

Компоненты безопасности и меры по устранению рисков

По мере того как мы определили потенциальные риски и неправильное использование с помощью таких процессов, как тестирование красной команды, и измерили их, мы разработали меры по устранению рисков для снижения потенциального вреда. В следующем списке описаны некоторые из этих мер. Мы будем продолжать оценивать Microsoft Security Copilot опыт для повышения производительности продукта и устранения рисков.

  • Фильтрация вредоносного содержимого и ограждения: Security Copilot интегрирует разработанные корпорацией Майкрософт средства защиты (фильтры содержимого) и модели обнаружения злоупотреблений в рамках Azure основы службы OpenAI. Эти модели нейронной классификации обнаруживают и фильтруют вредоносное содержимое по категориям, включая ненависть, сексуальное насилие и самоповреждение на нескольких уровнях серьезности. Необязательные модели классификации также обнаруживают риски, связанные с джейлбрейками, известный текст или материал кода, а также непрямые атаки на внедрение запросов. Эти многоуровневые элементы управления помогают предотвратить создание ИИ ответов, которые нарушают стандарты безопасности Майкрософт.

  • Проектирование системы безопасности. Корпорация Майкрософт разработала систему безопасности для Security Copilot, которая предназначена для устранения сбоев и предотвращения неправильного использования, включая вредные заметки к содержимому, операционный мониторинг и другие меры безопасности. Требования к устранению рисков Служба Azure OpenAI Responsible AI не применяются непосредственно к клиентам Security Copilot, так как Security Copilot реализует эти меры по устранению рисков от имени клиента.

  • Цикл обратной связи пользователей. Платформа предоставляет встроенные механизмы обратной связи: Требуется улучшение, Неуместно и Выглядит правильные параметры, которые позволяют пользователям сообщать о проблемных и полезных выходных данных непосредственно в Корпорацию Майкрософт. Эта обратная связь приводит к непрерывному улучшению циклов, позволяя быстро исправлять и корректировать модель при обнаружении ошибок или несоответствий.

  • Шифрование данных и защита доступа. Данные клиента, обрабатываемые Security Copilot, шифруются как при передаче, так и при хранении, как описано в дополнительном руководстве по защите данных продуктов и служб Майкрософт. По умолчанию пользователи-люди не имеют доступа к базе данных, а сетевой доступ ограничен частной сетью, в которой развернуто приложение Security Copilot. Если требуется доступ человека (для реагирования на инциденты), повышенный доступ и сетевой доступ должны быть утверждены авторизованными сотрудниками Майкрософт. См. статью Соответствие требованиям.

  • Поэтапный подход к развертыванию: Security Copilot выпуск функций с помощью программы раннего доступа только по приглашению, что позволяет корпорации Майкрософт собирать отзывы и уточнять функции, прежде чем они будут более широкой.

Наш подход к сопоставлению, измерению и управлению рисками будет продолжать развиваться по мере того, как мы узнаем больше, и мы уже вносим улучшения на основе отзывов, полученных от клиентов.

Рекомендации по развертыванию и внедрению Microsoft Security Copilot

Ответственный ИИ — это общее обязательство корпорации Майкрософт и ее клиентов. Хотя корпорация Майкрософт создает системы ИИ с безопасностью, справедливостью и прозрачностью, клиенты играют важную роль в развертывании и использовании этих технологий в своих собственных контекстах.

Security Copilot агенты предназначены для расширения человеческого опыта, а не для замены. Клиенты несут ответственность за проверку выходных данных, проверку решений и обеспечение соответствия применимым законам, нормативным актам и политикам организации.

Развертывающие и конечные пользователи должны:

  • Проявлять осторожность и оценивать результаты при использовании Security Copilot для принятия последовательных решений или в конфиденциальных областях. Последовательные решения — это решения, которые могут оказать юридическое или значительное влияние на доступ человека к занятости, юридическим услугам, здравоохранению или которые могут привести к физическому, психологическому или финансовому ущербу. Конфиденциальные области, такие как финансовые услуги, здравоохранение и юридические, требуют особого ухода из-за потенциального непропорционального воздействия на различные группы людей. При использовании ИИ для принятия решений в этих областях клиенты должны убедиться, что затронутые заинтересованные лица могут понять, как принимаются решения, обжаловать решения и обновлять все соответствующие входные данные.

  • Оценка юридических и нормативных аспектов. Клиенты должны оценивать потенциальные конкретные юридические и нормативные обязательства при использовании любых служб и решений ИИ, которые могут быть не подходящими для использования в любой отрасли или сценарии. Кроме того, службы или решения ИИ не предназначены для и не могут использоваться способами, запрещенными применимыми условиями обслуживания и соответствующими правилами поведения.

  • Включение и поддержка соответствующих подключаемых модулей. Качество и точность ответов Security Copilot в значительной мере зависят от включенных подключаемых модулей. Администраторы должны убедиться, что соответствующие подключаемые модули Майкрософт и сторонних разработчиков настроены и поддерживаются таким образом, чтобы пользователи получали обоснованные и контекстно релевантные ответы.

Конечные пользователи должны:

  • Написание эффективных подсказок. Написание четких, конкретных подсказок является ключом к улучшению результатов с помощью Security Copilot. Включите соответствующий контекст, например идентификаторы инцидентов, имена активов или диапазоны времени. При необходимости выполняете итерацию и повторное создание запросов, а также всегда просматривайте и проверяйте ответы, созданные ИИ. Дополнительные сведения см. в разделе Подсказки для Security Copilot.

  • Осуществлять контроль над человеком, когда это необходимо. Контроль человека является важной защитой при взаимодействии с системами ИИ. Хотя мы постоянно улучшаем Security Copilot, системы ИИ могут делать ошибки. Созданные выходные данные могут быть неточными, неполными, предвзятыми или не полностью соответствовать предполагаемым целям из-за неоднозначности входных данных или ограничений базовых моделей. Пользователи должны проверить ответы, созданные Security Copilot, и убедиться, что они соответствуют ожиданиям и требованиям, прежде чем принимать меры.

  • Помните о риске чрезмерной зависимости. Чрезмерная зависимость от ИИ возникает, когда пользователи принимают неправильные или неполные выходные данные ИИ, главным образом из-за того, что ошибки в выходных данных ИИ могут быть трудно обнаружить. Для специалистов по безопасности чрезмерная зависимость может привести к пропущенным угрозам, неверным выводам об инцидентах или изменениям политики на основе ошибочных рекомендаций. Security Copilot включает раскрытие информации об ИИ и цитирует исходные материалы, чтобы снизить этот риск, но пользователи должны по-прежнему проверять точность ответов. Пользователи могут просматривать карту узлов агента, которая предоставляет общее представление о шагах, выполненных во время рабочего процесса агента.

  • Соблюдайте осторожность при развертывании или проектировании агентского ИИ в конфиденциальных областях. Пользователи должны реализовать надлежащий контроль человека при настройке и развертывании агентных систем ИИ в доменах, где действия агента необратимы или весьма последовательны. При создании автономного агентского ИИ следует принимать дополнительные меры предосторожности, как описано в кодексе поведения служб ИИ Microsoft Enterprise.

Средства развертывания должны:

  • Тщательно настройте разрешения RBAC и агентов. Администраторы отвечают за настройку управления доступом на основе ролей как для пользователей, так и для агентов. Разрешения должны соответствовать принципу минимальных привилегий. Агенты должны иметь доступ только к данным и действиям, необходимым для назначенной задачи.

  • Мониторинг действий по использованию и проверке. Администраторы (владельцы) могут использовать панель мониторинга использования Security Copilot для просмотра данных на уровне сеанса, таких как использование с течением времени, инициаторы сеансов и подключаемые модули, используемые во время сеансов. Эта видимость помогает организациям понять, как Security Copilot используется в запросах, книгах подсказок и агентах. Дополнительные сведения см. в разделе Управление использованием.

  • Управление параметрами общего доступа к данным. Владельцы могут настроить параметры общего доступа к данным клиента в любое время и должны проверить и обновить эти параметры в соответствии с требованиями к конфиденциальности и соответствию требованиям своей организации. Дополнительные сведения см. в разделе Конфиденциальность и безопасность данных в Microsoft Security Copilot.

  • Информирование пользователей о возможностях и ограничениях. Эффективное и ответственное использование Security Copilot требует от пользователей понимания того, что система может и не может делать. Средства развертывания должны предоставлять учебные курсы и рекомендации, чтобы помочь пользователям эффективно взаимодействовать с Security Copilot, включая важность проверки выходных данных, созданных ИИ, перед принятием мер.

Дополнительные сведения о Security Copilot

Дополнительные рекомендации по ответственному использованию Microsoft Security Copilot см. в следующей документации:

Дополнительные сведения об ответственном ИИ

  • Last updated on