Alertas para cargas de trabalho de IA (visualização)
Este artigo lista os alertas de segurança que você pode receber para cargas de trabalho de IA do Microsoft Defender for Cloud e de qualquer plano do Microsoft Defender habilitado. Os alertas mostrados em seu ambiente dependem dos recursos e serviços que você está protegendo e da sua configuração personalizada.
Nota
Alguns dos alertas adicionados recentemente com o Microsoft Defender Threat Intelligence e o Microsoft Defender for Endpoint podem não estar documentados.
Saiba como responder a esses alertas.
Nota
Alertas de fontes diferentes podem levar diferentes quantidades de tempo para aparecer. Por exemplo, alertas que exigem análise do tráfego de rede podem levar mais tempo para aparecer do que alertas relacionados a processos suspeitos em execução em máquinas virtuais.
Alertas de carga de trabalho de IA
Tentativas de roubo de credenciais detetadas em uma implantação de modelo do Azure OpenAI
(AI. Azure_CredentialTheftAttempt)
Descrição: O alerta de roubo de credenciais foi projetado para notificar o SOC quando as credenciais são detetadas nas respostas do modelo GenAI a um prompt do usuário, indicando uma possível violação. Esse alerta é crucial para detetar casos de vazamento ou roubo de credenciais, que são exclusivos da IA generativa e podem ter consequências graves se forem bem-sucedidos.
Táticas MITRE: Acesso a Credenciais, Movimento Lateral, Exfiltração
Gravidade: Média
Uma tentativa de jailbreak em uma implantação de modelo do Azure OpenAI foi bloqueada pelo Azure AI Content Safety Prompt Shields
(AI. Azure_Jailbreak.ContentFiltering.BlockedAttempt)
Descrição: O alerta de Jailbreak, realizado usando uma técnica de injeção direta de prompt, é projetado para notificar o SOC de que houve uma tentativa de manipular o prompt do sistema para contornar as salvaguardas da IA generativa, potencialmente acessando dados confidenciais ou funções privilegiadas. Ele indicou que tais tentativas foram bloqueadas pelo Azure Responsible AI Content Safety (AKA Prompt Shields), garantindo a integridade dos recursos de IA e a segurança dos dados.
Táticas MITRE: Escalada de Privilégios, Evasão de Defesa
Gravidade: Média
Uma tentativa de jailbreak em uma implantação de modelo do Azure OpenAI foi detetada pelos Escudos de Prompt de Segurança de Conteúdo do Azure AI
(AI. Azure_Jailbreak.ContentFiltering.DetectedAttempt)
Descrição: O alerta de Jailbreak, realizado usando uma técnica de injeção direta de prompt, é projetado para notificar o SOC de que houve uma tentativa de manipular o prompt do sistema para contornar as salvaguardas da IA generativa, potencialmente acessando dados confidenciais ou funções privilegiadas. Ele indicou que tais tentativas foram detetadas pelo Azure Responsible AI Content Safety (AKA Prompt Shields), mas não foram bloqueadas devido a configurações de filtragem de conteúdo ou devido à baixa confiança.
Táticas MITRE: Escalada de Privilégios, Evasão de Defesa
Gravidade: Média
Exposição de dados confidenciais detetada na implantação do modelo OpenAI do Azure
(AI. Azure_DataLeakInModelResponse.Sensível)
Descrição: O alerta de vazamento de dados confidenciais foi projetado para notificar o SOC de que um modelo GenAI respondeu a uma solicitação do usuário com informações confidenciais, potencialmente devido a um usuário mal-intencionado tentando contornar as proteções da IA generativa para acessar dados confidenciais não autorizados.
Táticas MITRE: Coleção
Gravidade: Média
Aplicativo de IA corrompido\modelo\dados direcionou uma tentativa de phishing a um usuário
(AI. Azure_PhishingContentInModelResponse)
Descrição: Este alerta indica uma corrupção de um aplicativo de IA desenvolvido pela organização, pois compartilhou ativamente um URL malicioso conhecido usado para phishing com um usuário. A URL originou-se dentro do próprio aplicativo, o modelo de IA ou os dados que o aplicativo pode acessar.
Táticas MITRE: Impacto (Defacement)
Gravidade: Alta
URL de phishing compartilhado em um aplicativo de IA
(AI. Azure_PhishingContentInAIApplication)
Descrição: este alerta indica uma potencial corrupção de uma aplicação de IA ou uma tentativa de phishing por parte de um dos utilizadores finais. O alerta determina que um URL malicioso usado para phishing foi passado durante uma conversa através do aplicativo de IA, no entanto, a origem do URL (usuário ou aplicativo) não é clara.
Táticas MITRE: Impacto (Defacement), Coleção
Gravidade: Alta
Tentativa de phishing detetada em um aplicativo de IA
(AI. Azure_PhishingContentInUserPrompt)
Descrição: este alerta indica que um URL utilizado para um ataque de phishing foi enviado por um utilizador para uma aplicação de IA. O conteúdo normalmente atrai os visitantes a inserir suas credenciais corporativas ou informações financeiras em um site de aparência legítima. Enviar isso para um aplicativo de IA pode ter o objetivo de corrompê-lo, envenenar as fontes de dados às quais ele tem acesso ou obter acesso a funcionários ou outros clientes por meio das ferramentas do aplicativo.
Táticas MITRE: Coleção
Gravidade: Alta
Nota
Para alertas que estão em pré-visualização: Os Termos Suplementares do Azure Preview incluem termos legais adicionais que se aplicam a funcionalidades do Azure que estão em versão beta, pré-visualização ou que ainda não foram disponibilizadas para disponibilidade geral.