Защита использования приложений ИИ и данных вашей организации

В этой статье описывается, как использовать возможности, относящиеся к защите приложений ИИ и данных, с которыми они взаимодействуют.

• Защита конфиденциальных данных в запросах пользователей и созданных ИИ данных
• Защита от возникающих угроз, таких как инъекции запросов

Это третья статья в серии. Если вы еще не выполнили задачи в разделе "Подготовка к безопасностиИИ" и "Обнаружение приложений и данных ИИ", начните с этих статей, чтобы подготовить среду с возможностями, указанными в этой статье.

Используйте эту статью вместе с этим ресурсом:

• Cloud Adoption Framework (CAF) для ИИ — процесс обеспечения безопасности ИИ

Корпорация Майкрософт предоставляет широкий набор возможностей для защиты приложений и данных ИИ. В этой статье рассматриваются две категории: защита данных и защита от угроз.

В следующих двух таблицах описывается иллюстрация, а также описаны шаги реализации этих возможностей.

Таблица 1. Возможности защиты данных

Этап	Задача	Область действия
1	Примените контроли чрезмерного доступа SharePoint, чтобы быстро исключить конфиденциальные сайты и данные из области приложений ИИ.	Сайты и файлы в среде Microsoft 365.
2	Используйте управление безопасностью данных (DSPM) для выявления случаев избыточного обмена данными и поиска пробелов в ваших политиках меток конфиденциальности и политиках DLP.	Копилоты, агенты и другие приложения ИИ, использующие сторонние модули больших языковых моделей (LLM), включая поддерживаемые ИИ сайты. Приложения ИИ в других поставщиках облачных служб с помощью пакета SDK Purview.
3	Продолжайте работать над метками конфиденциальности и политиками защиты от потери данных (DLP).	Сайты, файлы и устройства в среде Microsoft 365. Приложения SaaS при интеграции с Defender для облачных приложений. Приложения ИИ в Azure и других поставщиков облачных служб с помощью пакета SDK Purview.
4	В рамках управления внутренними рисками (IRM) примените шаблон Risky AI для выявления рискового поведения в приложениях ИИ.	Веб-сайты генеративного ИИ. Microsoft 365 Copilot, Microsoft Copilot, Copilot Studio, Foundry Tools. Приложения ИИ в других поставщиках облачных служб с помощью пакета SDK Purview.
5	Настройка адаптивной защиты для управления внутренними рисками для повышения защиты данных на основе риска пользователей	Сайты, файлы и устройства в среде Microsoft 365.

Таблица 2. Возможности защиты от угроз

Этап	Задача	Область действия
1	Используйте Defender для облачных приложений, чтобы предупредить вас об использовании новых приложений ИИ, вычислить оценки рисков для приложений ИИ, а также разрешить или заблокировать эти приложения в вашей среде. Defender для облачных приложений обеспечивает дополнительную защиту для Microsoft 365 Copilot.	Приложения SaaS AI
2	Defender для облака Обнаружение развернутых рабочих нагрузок ИИ в среде и получение аналитических сведений о безопасности с помощью Microsoft Defender для облака	Пользовательские приложения на основе индивидуально разработанного искусственного интеллекта Azure

Защита данных ИИ

Эти возможности помогают эффективно изучать и устранять основные риски, связанные с перенаххированием данных, использованием конфиденциальных данных и рискованным поведением пользователей. Эти возможности предназначены для защиты приложений ИИ и данных в вашей среде.

Шаг 1. Применение контролей избыточного обмена в SharePoint

Элементы управления излишним обменом в SharePoint включают элементы управления, встроенные в SharePoint, такие как разрешения с заданной областью действия, и дополнительные возможности в SharePoint Advanced Management для укрепления управления содержимым в процессе развертывания Microsoft Copilot. Элементы управления SharePoint для предотвращения чрезмерного деления помогают вам:

• Временно ограничить поиск Copilot списком указанных сайтов (ограниченный поиск SharePoint).
• Быстро определите сайты, которые потенциально содержат слишком общий доступ к данным или конфиденциальное содержимое (отчеты по управлению доступом к данным).
• Помечайте сайты, чтобы пользователи не могли их найти через Copilot или поиск по всей организации (обнаружение ограниченного содержимого в SharePoint Advanced Management).
• создайте неактивные политики сайтов для автоматического управления неактивными сайтами (Расширенное управление SharePoint).
• Ограничить доступ к сайтам SharePoint и OneDrive пользователям в определенной группе (политики управления доступом с ограниченным доступом в SharePoint Advanced Management).

Чтобы приступить к работе с элементами управления oversharing, используйте следующие ресурсы.

Задача	Рекомендуемые ресурсы
Просмотрите иллюстрацию и описание элементов управления oversharing, которые можно использовать с Microsoft 365 Copilot	Архитектура защиты данных и аудита в Microsoft 365 Copilot
Скачиваемая схема для предотвращения чрезмерного обмена информацией	План Microsoft 365 Copilot для избежания излишнего обмена
Сведения о расширенном управлении SharePoint	Обзор Microsoft SharePoint Premium — Расширенное управление SharePoint

Шаг 2. Защита данных с помощью DSPM для искусственного интеллекта

Используйте DSPM для искусственного интеллекта, чтобы узнать, где происходит чрезмерное совместное использование, и найти пробелы в охвате политики для меток конфиденциальности и политик защиты от потери данных.

Отличным началом будет оценка отчета за неделю.

Вы можете детализировать отдельные отчеты, чтобы узнать больше о пробелах в элементах управления перераспределением, метках и политиках DLP, чтобы быстрее устранить эти проблемы.

Для каждого отчета DSPM для ИИ предоставляет рекомендации по улучшению безопасности данных. Используйте ссылку "Просмотреть все рекомендации " или "Рекомендации " в области навигации, чтобы просмотреть все доступные рекомендации для вашего клиента и их состояние.

Используйте следующие ресурсы для защиты приложений ИИ и данных с помощью DSPM для ИИ.

Задача	Рекомендуемые ресурсы
Узнайте о DSPM для ИИ	Использование DSPM для искусственного интеллекта
Узнайте о предварительных требованиях и о том, как работают политики с одним нажатием и политики по умолчанию.	Рекомендации по DSPM для искусственного интеллекта
Как протестировать интеграцию с DSPM для приложений ИИ других облачных провайдеров с помощью SDK Purview.	Тестирование приложения ИИ, интегрированного с пакетом SDK для Purview

Шаг 3. Продолжайте выявлять пробелы в метках конфиденциальности и политиках защиты от потери данных

При подготовке к безопасности ИИ вы использовали средства управления безопасностью данных Microsoft Purview, DSPM и DSPM для искусственного интеллекта, чтобы определить приоритеты защиты конфиденциальных данных. Продолжайте возвращаться к этим средствам, чтобы выявить пробелы в охвате политики и узнать, где необходимо продолжать инвестировать в применение меток конфиденциальности и политик защиты от потери данных. Кроме того, расширьте метки конфиденциальности и политики защиты от потери данных в приложениях SaaS с помощью Defender для облачных приложений.

Используйте следующие ресурсы для выполнения работы с Microsoft Purview.

Задача	Рекомендуемые ресурсы
Сведения о рекомендуемых стратегиях развертывания для защиты информации	Развертывание решения защиты информации с помощью Microsoft Purview
Расширение меток конфиденциальности и политик защиты от потери данных в приложениях SaaS с помощью Defender для облачных приложений	Защита информации deply для приложений SaaS
Определение меток конфиденциальности и политик, которые будут защищать данные вашей организации	Начало работы с метками конфиденциальности Создание и настройка меток конфиденциальности и соответствующих политик Ограничение доступа к содержимому с помощью меток конфиденциальности для применения шифрования
Метка и защита данных для приложений и служб Microsoft 365	Управление метками конфиденциальности в приложениях Office Включение меток конфиденциальности для файлов в SharePoint и OneDrive
Настройте политики защиты от потери данных	Создание и развертывание политик предотвращения потери данных
Для приложений искусственного интеллекта, разработанных в Azure или других облачных поставщиках, узнайте, как применять метки конфиденциальности и политики защиты от потери данных с помощью пакета SDK для Purview	Что такое пакет SDK для Purview Использование API Microsoft Graph Purview Тестирование приложения ИИ, интегрированного с пакетом SDK для Purview

Шаг 4—Примените шаблон ИИ Risky в управлении внутренними рисками (IRM)

Microsoft Purview Insider Risk Management (IRM) включает готовые шаблоны политик, которые можно применить к вашей среде, включая управление рисковым использованием ИИ. Шаблоны IRM — это предопределенные условия политики, определяющие типы индикаторов риска и модель оценки рисков, используемую политикой.

Правила рискованного использования ИИ могут помочь в определении и включении возможности оценки рисков для запросов и ответов в средствах искусственного интеллекта в вашей организации. IRM помогает вам изучить и принять меры по вопросам рисков, связанных с ИИ.

Используйте следующие ресурсы, чтобы начать работу с управлением внутренними рисками и применить шаблон политики использования рискованного ИИ.

Задача	Рекомендуемые ресурсы
Начните работу с управлением внутренними рисками и узнайте о ключевых сценариях, которые принесут пользу вашей организации	Сведения об управлении внутренними рисками
Примените шаблон рискованного ИИ	Сведения о шаблонах политик управления внутренними рисками | Microsoft Learn
Сведения о ключевых сценариях для ИИ и просмотр примеров отчетов	Управление внутренними рисками, способствующее видимости рискованного использования ИИ и проведению расследований безопасности
Для приложений искусственного интеллекта, разработанных с использованием Purview SDK, протестируйте интеграцию управления внутренними рисками.	Тестирование приложения ИИ, интегрированного с пакетом SDK для Purview

Шаг 5. Настройка адаптивной защиты для управления рисками инсайдеров

Адаптивная защита в Microsoft Purview Insider Risk Management динамически назначает пользователям уровень риска, а затем применяет политики, создаваемые для пользователей с умеренным или повышенным риском. Политики могут реализовывать расширенные действия по предотвращению потери данных, сохранять удаленное содержимое или применять более высокие требования к условному доступу.

Используйте следующие ресурсы, чтобы приступить к работе с адаптивной защитой.

Задача	Рекомендуемые ресурсы
Начните работу с управлением внутренними рисками и узнайте о ключевых сценариях, которые принесут пользу вашей организации	Сведения об управлении внутренними рисками
Сведения о ключевых сценариях для ИИ и просмотр примеров отчетов	Управление внутренними рисками, способствующее видимости рискованного использования ИИ и проведению расследований безопасности
Примените шаблон рискованного ИИ	Сведения о шаблонах политик управления внутренними рисками
Изучение и выполнение действий, связанных с инсайдерскими рисками	Расследование деятельности по управлению внутренними рисками Принять меры в отношении случаев управления внутренними рисками

Получение наиболее эффективной защиты от угроз для искусственного интеллекта

Defender для облачных приложений и Defender для облака включают возможности для информирования о новом использовании приложения ИИ и применении соответствующих элементов управления.

Шаг 1. Использование Defender для облачных приложений для анализа и защиты использования приложений ИИ

Предыдущая статья в этой серии, Discover AI Apps и Data, посвященная использованию Defender для облачных приложений для обнаружения приложений ИИ в вашей среде. В этой статье организациям рекомендуется использовать Defender для облачных приложений, чтобы оставаться в курсе новых приложений искусственного интеллекта, оценивая риски, которые они представляют для вашей среды, санкционирования или блокировки этих приложений, а также применения элементов управления сеансами к приложениям.

Во-первых, создайте политику, чтобы автоматически активировать оповещение при использовании нового приложения Createive AI в вашей организации.

Затем оцените оценку риска для недавно обнаруженных приложений. Вы также можете настроить оценку риска. Например, строго регулируемым организациям может потребоваться изменить вес конкретных атрибутов оценки риска. Вы также можете переопределить оценку риска.

Решите, следует ли санкционировать или блокировать каждое приложение. Организации могут блокировать использование приложений по различным причинам. Некоторые обеспокоены тем, что конфиденциальные данные будут неузнаваемо предоставляться приложениям и предоставляться позже аудитории за пределами организации. Это может привести к блокировке использования всех неуправляемых приложений ИИ. В то время как другие организации должны обеспечить соответствие всех используемых приложений в соответствии с различными стандартами, такими как SOC2 или HIPAA.

Наконец, для приложений, которые вы санкционировали, решите, хотите ли вы применять сеансовые политики для лучшего контроля и видимости. Политики сеансов позволяют применять параметры к использованию облачных приложений в организации. Например, можно настроить политику сеанса, которая позволяет только управляемым устройствам получать доступ к приложению ИИ. Более простым примером может быть настройка политики для мониторинга трафика с неуправляемых устройств, чтобы можно было проанализировать риск этого трафика перед применением более строгих политик.

На этой иллюстрации:

• Доступ к санкционированным облачным приложениям от пользователей и устройств в организации направляется через Defender for Cloud Apps, где политики сеансов можно применять к определенным приложениям.
• Облачные приложения, которые вы не санкционировали или явно не санкционировали, не затронуты.

Defender для облачных приложений также предоставляет специализированные средства обнаружения для Microsoft 365 Copilot. Группы безопасности могут обнаруживать подозрительные взаимодействия пользователя с Copilot и реагировать на них и устранять угрозу. Например, когда пользователь обращается к конфиденциальным данным через Copilot из рискованного IP-адреса, Defender for Cloud Apps активирует оповещение, чтобы пометить это подозрительное действие с важными сведениями, включая метод атаки MITRE, IP-адрес и другие поля, которые группы безопасности могут использовать для дальнейшего изучения этого оповещения.

Чтобы выполнить следующие действия, используйте следующие ресурсы.

Задача	Рекомендуемые ресурсы
Просмотрите шаги 5-8 в этом потоке развертывания Defender для облачных приложений	Обнаружение облачных приложений и управление ими
Ознакомьтесь с этим видео учебником по управлению приложениями	Узнайте, какие генеративные приложения ИИ используются в вашей среде с помощью Defender for Cloud Apps — YouTube
Создание политики обнаружения приложений	Создание политик обнаружения в облаке
Оцените уровень риска для недавно обнаруженных приложений	Каталог облачных приложений и оценки рисков
Санкционировать или блокировать новые приложения	Управление обнаруженными приложениями
Применение политик сеансов к приложениям ИИ для повышения контроля и видимости	Создание политик сеанса
Узнайте, как использовать защиту от угроз для Microsoft 365 Copilot	Новые обнаружения угроз для Microsoft Copilot для Microsoft 365

Шаг 2. Применение защиты ИИ в Defender для облака

В предыдущей статье этой серии речь шла о том, как обнаружить приложения и данные ИИ, а также модели и рабочие нагрузки генеративного ИИ, работающие в вашей среде. В этой статье рассматривается защита приложений GenAI на протяжении всего жизненного цикла приложения, так как вы создаете и используете пользовательские приложения ИИ.

Организации выбирают разработку новых приложений GenAI и внедрение ИИ в существующие приложения для повышения эффективности бизнеса и производительности. Злоумышленники все чаще стремятся использовать приложения, чтобы изменить назначение модели ИИ, с помощью новых атак, таких как внедрение запросов, атаки на кошелек, кража моделей и отравление данных, что повышает уязвимость к известным рискам, таким как утечка данных и отказ в обслуживании. Группы безопасности должны быть подготовлены и обеспечить надлежащие средства управления безопасностью для своих приложений ИИ и обнаружения, которые решают новый ландшафт угроз.

Microsoft Defender для Облака помогает организациям защитить гибридные и многооблачные среды из кода в облако. Defender для облака включает возможности защиты безопасности и защиты от угроз, чтобы организации могли защищать свои корпоративные приложения GenAI на протяжении всего жизненного цикла приложений:

• Непрерывно обнаруживайте компоненты приложений GenAI и артефакты ИИ от кода до облака.
• Изучите и устраните риски для приложений GenAI, используя встроенные рекомендации по улучшению уровня безопасности.
• Определение и исправление токсичных сочетаний в приложениях GenAI с помощью анализа пути атаки.
• Обнаруживайте приложения GenAI, используя защитные экраны системы безопасности содержимого Azure, сигналы разведки угроз от Microsoft и мониторинг контекстуальной активности.
• Поиск и исследование атак в приложениях GenAI благодаря встроенной интеграции с Microsoft Defender.

Начните с возможностей управления безопасностью с использованием искусственного интеллекта в Defender Cloud Security Posture Management (CSPM). CSPM Defender автоматически и непрерывно обнаруживает развернутые рабочие нагрузки ИИ с безагентной и детализированной видимостью присутствия и конфигурации моделей ИИ, пакетов SDK и технологий, используемых в службах ИИ, таких как Azure OpenAI Service, Машинное обучение Azure и Amazon Bedrock.

CSPM постоянно сталкивается с контекстными проблемами безопасности и предлагает рекомендации по безопасности на основе рисков, адаптированные для определения приоритетов критических пробелов в рабочих нагрузках ИИ. Соответствующие рекомендации по безопасности также отображаются в самом ресурсе Azure OpenAI на портале Azure, предоставляя разработчикам или владельцам рабочих нагрузок прямой доступ к рекомендациям и помогая ускорить исправление.

Способность анализа путей атаки может выявлять сложные риски для рабочих нагрузок ИИ, включая сценарии безопасности данных, в которых данные заземления или тонкой настройки становятся доступными в Интернете из-за бокового перемещения и подвержены отравлению данных.

Затем обеспечьте безопасность во время выполнения с защитой от угроз для рабочих нагрузок ИИ. Defender для облака включает защиту от угроз для рабочих нагрузок ИИ. Защита от угроз для ИИ использует встроенную интеграцию с Azure OpenAI Service, защитные механизмы безопасности контента Azure AI и аналитику угроз компании Microsoft для доставки контекстных и эксплуатационных оповещений о безопасности. Защита от угроз для рабочих нагрузок искусственного интеллекта позволяет командам безопасности отслеживать свои приложения Azure OpenAI во время выполнения на предмет вредоносной активности, связанной с прямыми и косвенными атаками внедрения запросов, утечками конфиденциальных данных и отравлением данных, а также злоупотреблением кошельковыми средствами или атаками типа "отказ в обслуживании".

Чтобы выполнить следующие действия, используйте следующие ресурсы.

Задача	Рекомендуемые ресурсы
Просмотр основных сценариев, описанных в этом блоге	Безопасные приложения для создания искусственного интеллекта с помощью Microsoft Defender для облака
Использование CSPM для получения сведений о рисках искусственного интеллекта в вашей среде	Защита ресурсов с помощью CSPM Defender Просмотр панели мониторинга безопасности данных и ИИ (предварительная версия)
Включение защиты от угроз для рабочих нагрузок ИИ (предварительная версия)	Включение защиты от угроз для рабочих нагрузок ИИ (предварительная версия) Оповещения для ИИ-нагрузок (предварительная версия)

Следующий шаг для защиты искусственного интеллекта

После защиты приложений и данных ИИ в организации следующим шагом является управление приложениями ИИ в соответствии с нормативными требованиями.

• Оцените и укрепите состояние соответствия нормативным требованиям.
• Реализуйте элементы управления для управления использованием приложений ИИ и данных.

См. следующую статью в этой серии: как управлять ИИ для соответствия требованиям?