Оповещения для рабочих нагрузок ИИ (предварительная версия)
В этой статье перечислены оповещения системы безопасности, которые можно получить для рабочих нагрузок ИИ из Microsoft Defender для облака и всех включенных планов Microsoft Defender. Оповещения, отображаемые в вашей среде, зависят от защищаемых ресурсов, служб и настроенной конфигурации.
Примечание.
Некоторые из недавно добавленных оповещений, созданных Аналитика угроз Microsoft Defender и Microsoft Defender для конечной точки, могут быть незадокументированы.
Узнайте, как реагировать на эти оповещения.
Узнайте, как экспортировать оповещения.
Примечание.
Время, требуемое для отображения оповещений из разных источников, может отличаться. Например, для отображения оповещений, требующих анализа сетевого трафика, может потребоваться больше времени, чем для оповещений, связанных с выполнением подозрительных процессов на виртуальных машинах.
Оповещения рабочей нагрузки ИИ
Обнаружена попытка кражи учетных данных при развертывании модели Azure OpenAI
(ИИ. Azure_CredentialTheftAttempt)
Описание. Оповещение о краже учетных данных предназначено для уведомления SOC о обнаружении учетных данных в ответах модели GenAI на запрос пользователя, указывающее на потенциальную нарушение. Это оповещение имеет решающее значение для обнаружения случаев утечки учетных данных или кражи, которые являются уникальными для создания искусственного интеллекта и могут иметь серьезные последствия при успешном выполнении.
Тактика MITRE: доступ к учетным данным, боковое движение, эксфильтрация
Серьезность: средний
Попытка взлома в развертывании модели Azure OpenAI была заблокирована экранами запросов безопасности содержимого Azure ИИ
(ИИ. Azure_Jailbreak.ContentFiltering.BlockedAttempt)
Описание. Оповещение о тюрьме, выполняемое с помощью метода прямого внедрения запросов, предназначено для уведомления SOC о попытке управлять системным запросом для обхода гарантий генерированного ИИ, потенциально доступ к конфиденциальным данным или привилегированным функциям. Он указал, что такие попытки были заблокированы безопасностью содержимого ИИ Azure (AKA Prompt Shields), обеспечивая целостность ресурсов ИИ и безопасность данных.
Тактика MITRE: Эскалация привилегий, Оборона Evasion
Серьезность: средний
Обнаружена попытка взлома для развертывания модели Azure OpenAI с помощью Экранов запросов безопасности содержимого Azure ИИ
(ИИ. Azure_Jailbreak.ContentFiltering.DetectedAttempt)
Описание. Оповещение о тюрьме, выполняемое с помощью метода прямого внедрения запросов, предназначено для уведомления SOC о попытке управлять системным запросом для обхода гарантий генерированного ИИ, потенциально доступ к конфиденциальным данным или привилегированным функциям. Он указал, что такие попытки были обнаружены azure Responsible AI Content Safety (AKA Prompt Shields), но не были заблокированы из-за параметров фильтрации содержимого или из-за низкой достоверности.
Тактика MITRE: Эскалация привилегий, Оборона Evasion
Серьезность: средний
Обнаружение уязвимости конфиденциальных данных в развертывании модели Azure OpenAI
(ИИ. Azure_DataLeakInModelResponse.Sensitive)
Описание. Оповещение об утечке конфиденциальных данных предназначено для уведомления SOC о том, что модель GenAI ответила на запрос пользователя с конфиденциальной информацией, потенциально из-за того, что злоумышленник пытается обойти гарантии создания ИИ для доступа к несанкционированным конфиденциальным данным.
Тактика MITRE: Коллекция
Серьезность: средний
Поврежденное приложение ИИ\model\data направило фишинговую попытку пользователя
(ИИ. Azure_PhishingContentInModelResponse)
Описание. Это оповещение указывает на повреждение приложения ИИ, разработанного организацией, так как он активно предоставил известный вредоносный URL-адрес, используемый для фишинга с пользователем. URL-адрес, возникший в самом приложении, модель ИИ или данные, к которой может получить доступ приложение.
Тактика MITRE: Влияние (размыкание)
Серьезность: высокий уровень
URL-адрес фишинга, общий доступ к приложению ИИ
(ИИ. Azure_PhishingContentInAIApplication)
Описание. Это оповещение указывает на потенциальное повреждение приложения ИИ или попытку фишинга одним из конечных пользователей. Оповещение определяет, что вредоносный URL-адрес, используемый для фишинга, был передан во время беседы через приложение ИИ, однако происхождение URL-адреса (пользователя или приложения) неясно.
Тактика MITRE: влияние (разложение), коллекция
Серьезность: высокий уровень
Попытка фишинга, обнаруженная в приложении ИИ
(ИИ. Azure_PhishingContentInUserPrompt)
Описание. Это оповещение указывает URL-адрес, используемый для фишинга, отправлен пользователем в приложение ИИ. Содержимое, как правило, вынуждает посетителей вводить свои корпоративные учетные данные или финансовую информацию на поддельном веб-сайте. Отправка этого в приложение ИИ может быть целью повреждения, отравлении источников данных, к которому он имеет доступ, или получения доступа к сотрудникам или другим клиентам с помощью средств приложения.
Тактика MITRE: Коллекция
Серьезность: высокий уровень
Примечание.
Для предварительных версий оповещений: предварительная версия дополнительных условий использования Azure включает дополнительные юридические условия, применимые к функциям Azure, которые находятся в бета-версии, предварительной версии или еще не являются общедоступными по другим причинам.