Alertas para serviços de IA

Este artigo lista os alertas de segurança que você pode obter para IA de Microsoft Defender para Nuvem e quaisquer planos de Microsoft Defender habilitados. Os alertas mostrados em seu ambiente dependem dos recursos e serviços que você está protegendo, bem como a configuração personalizada.

Alguns sinais de risco de carga de trabalho de IA também podem vir de planos de proteção de infraestrutura, como Defender para contêineres, quando aplicativos de IA são executados no Kubernetes.

Saiba como responder a esses alertas.

Saiba como exportar alertas.

Note

Alertas de fontes diferentes podem levar diferentes quantidades de tempo para serem exibidos. Por exemplo, alertas que exigem análise de tráfego de rede podem levar mais tempo para aparecer do que alertas relacionados a processos suspeitos em execução em máquinas virtuais.

Note

Para obter alertas que estão em versão prévia: os termos suplementares de versão prévia do Azure incluem termos legais adicionais que se aplicam aos recursos do Azure que estão em versão beta, versão prévia ou que, de outra forma, ainda não foram lançados em disponibilidade geral.

Alertas para aplicativos de IA

Serviço de Kubernetes exposto detectado (aplicativos de IA no Kubernetes)

Nome do alerta: Serviço de Kubernetes exposto detectado

Descrição: esse alerta indica que um Serviço de Kubernetes do tipo LoadBalancer foi criado ou atualizado de uma maneira que pode expor publicamente cargas de trabalho. Para aplicativos de IA executados no Kubernetes, essa exposição pode aumentar o risco, especialmente quando pontos de extremidade acessíveis externamente dependem de autenticação fraca ou controles de autenticação ausentes.

Gravidade: Média

Tentativas de roubo de credenciais detectadas em uma implantação de modelo de IA Azure

(AI. Azure_CredentialTheftAttempt)

Descrição: O alerta de roubo de credenciais foi projetado para notificar o SOC (Centro de Operações de Segurança) quando as credenciais são detectadas dentro das respostas do modelo genai para um prompt do usuário, indicando uma possível violação. Esse alerta é crucial para detectar casos de vazamento ou roubo de credenciais, que são exclusivos da IA generativa e podem ter consequências graves se forem bem-sucedidos.

Táticas MITRE: Acesso a Credenciais, Movimento Lateral, Exfiltração

Gravidade: Média

Uma tentativa de jailbreak em uma implantação de modelo de IA Azure foi bloqueada por Segurança de Conteúdo de IA do Azure Prompt Shields

(AI. Azure_Jailbreak.ContentFiltering.BlockedAttempt)

Descrição: o alerta de jailbreak, realizado usando uma técnica de injeção de prompt direto, foi projetado para notificar o SOC de que houve uma tentativa de manipular o prompt do sistema para contornar as proteções da IA generativa, potencialmente acessando dados confidenciais ou funções privilegiadas. Ele indicou que essas tentativas foram bloqueadas por Azure Segurança de Conteúdo de IA Responsável (também conhecido como Prompt Shields), garantindo a integridade dos recursos de IA e da segurança de dados.

Táticas MITRA: Escalonamento de Privilégios, Evasão de Defesa

Gravidade: Média

Uma tentativa de jailbreak em uma implantação de modelo de IA Azure foi detectada pelo Segurança de Conteúdo de IA do Azure Prompt Shields

(AI. Azure_Jailbreak.ContentFiltering.DetectedAttempt)

Descrição: o alerta de jailbreak, realizado usando uma técnica de injeção de prompt direto, foi projetado para notificar o SOC de que houve uma tentativa de manipular o prompt do sistema para contornar as proteções da IA generativa, potencialmente acessando dados confidenciais ou funções privilegiadas. Ele indicou que essas tentativas foram detectadas por Azure Segurança responsável de conteúdo de IA (também conhecido como Prompt Shields), mas não foram bloqueadas devido a configurações de filtragem de conteúdo ou devido à baixa confiança.

Táticas MITRA: Escalonamento de Privilégios, Evasão de Defesa

Gravidade: Média

Aplicativo de IA corrompido\modelo\dados direcionou uma tentativa de phishing a um usuário

(IA. Azure_MaliciousUrl.ModelResponse)

Descrição: esse alerta indica uma corrupção de um aplicativo de IA desenvolvido pela organização, pois ele compartilhou ativamente um URL mal-intencionado conhecido usado para phishing com um usuário. A URL originada no próprio aplicativo, no modelo de IA ou nos dados que o aplicativo pode acessar.

Táticas do MITRA: Impacto (Desfiguração)

Gravidade: Alta

URL de phishing compartilhada em um aplicativo de IA

(IA. Azure_MaliciousUrl.UnknownSource)

Descrição: esse alerta indica uma possível corrupção de um aplicativo de IA ou uma tentativa de phishing por um dos usuários finais. O alerta determina que uma URL maliciosa usada para phishing foi passada durante uma conversa por meio do aplicativo de IA, no entanto, a origem da URL (usuário ou aplicativo) não é clara.

Táticas MITRE: Impacto (Desfiguração), Coleta

Gravidade: Alta

Tentativa de phishing detectada em um aplicativo de IA

(IA. Azure_MaliciousUrl.UserPrompt)

Descrição: esse alerta indica que um URL usado para ataque de phishing foi enviado por um usuário para um aplicativo de IA. O conteúdo normalmente atrai os visitantes para inserir as credenciais corporativas ou informações financeiras em um site de aparência legítima. Enviá-lo para um aplicativo de IA pode ter o objetivo de corrompê-lo, envenenar as fontes de dados às quais ele tem acesso ou obter acesso a funcionários ou outros clientes por meio das ferramentas do aplicativo.

Táticas MITRE: Coleção

Gravidade: Alta

Agente de usuário suspeito detectado

(AI. Azure_AccessFromSuspiciousUserAgent)

Description: o agente do usuário de uma solicitação que acessa um de seus recursos de IA Azure continha valores anômalos que indicavam uma tentativa de abusar ou manipular o recurso. O agente de usuário suspeito em questão foi mapeado por Microsoft inteligência contra ameaças como suspeito de intenção mal-intencionada e, portanto, seus recursos provavelmente foram comprometidos.

Táticas MITRE: Execução, Reconhecimento, Acesso inicial

Gravidade: Média

Injeção de prompt Indesejado de ASCII detectada

(AI. Azure_ASCIISmuggling)

Descrição: a técnica de contrabando ASCII permite que um invasor envie instruções invisíveis para um modelo de IA. Esses ataques são comumente atribuídos a injeções indiretas de prompt, em que o agente da ameaça mal-intencionada está passando instruções ocultas para ignorar as proteções do aplicativo e do modelo. Esses ataques geralmente são aplicados sem o conhecimento do usuário, dada a falta de visibilidade no texto e podem comprometer as ferramentas do aplicativo ou os conjuntos de dados conectados.

Táticas do MITRE: Impacto

Gravidade: Alta

Acesso a partir de um IP Tor

(AI. Azure_AccessFromAnonymizedIP)

Descrição: um endereço IP da rede Tor acessou um dos recursos de IA. O Tor é uma rede que permite que as pessoas acessem a Internet mantendo seu IP real oculto. Embora haja usos legítimos, ele é frequentemente usado por invasores para ocultar sua identidade quando eles têm como alvo os sistemas das pessoas online.

Táticas do MITRE: Execução

Gravidade: Alta

Acesso de IP suspeito

(AI. Azure_AccessFromSuspiciousIP)

Description: um endereço IP que acessa um de seus serviços de IA foi identificado por Microsoft Inteligência contra Ameaças como tendo uma alta probabilidade de ser uma ameaça. Ao observar o tráfego mal-intencionado da Internet, esse IP estava envolvido no ataque a outros alvos online.

Táticas do MITRE: Execução

Gravidade: Alta

Suspeita de ataque à carteira - solicitações recorrentes

(AI. Azure_DOWDuplicateRequests)

Descrição: os ataques de carteira são uma família de ataques comuns para recursos de IA que consistem em agentes de ameaças que se envolvem excessivamente com um recurso de IA diretamente ou por meio de um aplicativo na esperança de causar grandes danos financeiros à organização. Essa detecção rastreia grandes volumes de solicitações idênticas direcionadas ao mesmo recurso de IA que podem ser causadas por um ataque em andamento.

Táticas do MITRE: Impacto

Gravidade: Média

Suspeita de ataque à carteira - anomalia de volume

(AI. Azure_DOWVolumeAnomaly)

Descrição: os ataques de carteira são uma família de ataques comuns para recursos de IA que consistem em agentes de ameaças que se envolvem excessivamente com um recurso de IA diretamente ou por meio de um aplicativo na esperança de causar grandes danos financeiros à organização. Essa detecção rastreia grandes volumes de solicitações e respostas do recurso que são inconsistentes com seus padrões de uso históricos.

Táticas do MITRE: Impacto

Gravidade: Média

Anomalia de acesso no recurso de IA

(AI. Azure_AccessAnomaly)

Descrição: esse alerta rastreia anomalias nos padrões de acesso a um recurso de IA. Alterações nos parâmetros de solicitação por usuários ou aplicativos, como agentes de usuário, intervalos de IP, métodos de autenticação etc., podem indicar um recurso comprometido que agora está sendo acessado por agentes mal-intencionados. Esse alerta pode ser disparado quando as solicitações são válidas se representarem alterações significativas no padrão de acesso anterior a um determinado recurso.

Táticas MITRE: Execução, Reconhecimento, Acesso inicial

Gravidade: Média

Invocação suspeita de uma operação de "Acesso Inicial" de alto risco por uma entidade de serviço detectada (recursos de IA)

(IA. Azure_AnomalousOperation.InitialAccess)

Descrição: esse alerta detecta uma invocação suspeita de uma operação de alto risco em sua assinatura, o que pode indicar uma tentativa de acessar recursos restritos. As operações relacionadas a recursos de IA identificadas foram projetadas para permitir que os administradores acessem seus ambientes com eficiência. Embora essa atividade possa ser legítima, um ator de ameaça pode utilizar essas operações para obter acesso inicial a recursos de IA restritos em seu ambiente. Isso pode indicar que a entidade de serviço foi comprometida e está sendo usada de modo mal-intencionado.

Táticas MITRE: Acesso inicial

Gravidade: Média

Invocação de ferramenta anômômala

(IA. Azure_AnomalousToolInvocation)

Description: Esse alerta analisa a atividade anômala de um aplicativo de IA conectado a uma implantação de modelo do OpenAI Azure. O aplicativo tentou invocar uma ferramenta de uma maneira que se desvia do comportamento esperado. Esse comportamento pode indicar possível uso indevido ou uma tentativa de ataque por meio de uma das ferramentas disponíveis para o aplicativo.

Táticas do MITRE: Execução

Gravidade: Baixa

(Versão prévia) Tentativa de reconhecimento llm detectada

(IA. Azure_LLMReconnaissance)

Descrição: Um ator de ameaça está interagindo com seu aplicativo de IA de uma maneira semelhante ao comportamento de reconhecimento, incluindo tentativas de extrair instruções do sistema, recursos de modelo ou ignorar os guardrails de segurança. Esses prompts podem preceder tentativas de injeção de prompt ou ataques de jailbreak. 

Táticas mitre: reconhecimento

Gravidade: Baixa

Alertas para modelos de IA

(Versão prévia) Conteúdo mal-intencionado detectado no modelo de IA carregado

(IA. AIModelScan_MalwareDetected)

Descrição: Um modelo de machine learning carregado pelo usuário foi verificado e encontrado para conter malware. A detecção indica que o arquivo poderá executar código mal-intencionado se carregado, representando uma ameaça à integridade da conta, à confidencialidade dos dados e ao ambiente de computação.

Gravidade: Alta

Próximas Etapas 

  • Last updated on