Nota
El acceso a esta página requiere autorización. Puede intentar iniciar sesión o cambiar directorios.
El acceso a esta página requiere autorización. Puede intentar cambiar los directorios.
En este artículo se enumeran las alertas de seguridad que puede obtener para los servicios de inteligencia artificial de Microsoft Defender for Cloud y los planes de Microsoft Defender habilitados. Las alertas que se muestran en el entorno dependen de los recursos y servicios que va a proteger, y de la configuración personalizada.
Aprenda a responder a estas alertas.
Nota:
Las alertas de orígenes diferentes pueden tardar un tiempo distinto en aparecer. Por ejemplo, las alertas que requieren un análisis del tráfico de red pueden tardar más en aparecer que las alertas relacionadas con procesos sospechosos que se ejecutan en máquinas virtuales.
Alertas de servicios de IA
Intentos de robo de credenciales detectados en una implementación de modelos de Azure AI
(IA. Azure_CredentialTheftAttempt)
Descripción: la alerta de robo de credenciales está diseñada para notificar al SOC cuando las credenciales se detectan en las respuestas del modelo de GenAI a un mensaje de usuario, lo que indica una posible infracción. Esta alerta es fundamental para detectar casos de pérdida o robo de credenciales, que son exclusivos de la inteligencia artificial generativa y pueden tener consecuencias graves si se realizan correctamente.
Tácticas de MITRE: Acceso a credenciales, Movimiento lateral, Filtración
Gravedad: media
Un intento de Jailbreak en una implementación de modelos de Azure AI fue bloqueado por Azure AI Content Prompt Shields
(IA. Azure_Jailbreak.ContentFiltering.BlockedAttempt)
Descripción: La alerta de Jailbreak, realizada mediante una técnica de inyección de mensajes directos, está diseñada para notificar al SOC que se ha intentado manipular la solicitud del sistema para omitir las medidas de seguridad de la inteligencia artificial generativa, el acceso potencialmente a datos confidenciales o funciones con privilegios. Indicó que estos intentos fueron bloqueados por la seguridad del contenido de Ia responsable de Azure (también conocido como Prompt Shields), lo que garantiza la integridad de los recursos de inteligencia artificial y la seguridad de los datos.
Tácticas de MITRE: Elevación de privilegios, evasión de defensa
Gravedad: media
Azure AI Content Prompt Shields detectó un intento de Jailbreak en una implementación de modelo de Azure AI
(IA. Azure_Jailbreak.ContentFiltering.DetectedAttempt)
Descripción: La alerta de Jailbreak, realizada mediante una técnica de inyección de mensajes directos, está diseñada para notificar al SOC que se ha intentado manipular la solicitud del sistema para omitir las medidas de seguridad de la inteligencia artificial generativa, el acceso potencialmente a datos confidenciales o funciones con privilegios. Indicó que estos intentos fueron detectados por la seguridad del contenido de Ia responsable de Azure (también conocido como Prompt Shields), pero no se bloquearon debido a la configuración de filtrado de contenido o debido a una confianza baja.
Tácticas de MITRE: Elevación de privilegios, evasión de defensa
Gravedad: media
La aplicación/modelo/datos de IA dañados dirigieron un intento de suplantación de identidad (phishing) a un usuario
(IA. Azure_MaliciousUrl.ModelResponse)
Descripción: esta alerta indica un daño de una aplicación de inteligencia artificial desarrollada por la organización, ya que ha compartido activamente una dirección URL malintencionada conocida que se usa para la suplantación de identidad (phishing) con un usuario. La dirección URL originada en la propia aplicación, el modelo de IA o los datos a los que puede acceder la aplicación.
Tácticas de MITRE: Impacto (desfase)
Gravedad: alta
Dirección URL de suplantación de identidad compartida en una aplicación de IA
(IA. Azure_MaliciousUrl.UnknownSource)
Descripción: esta alerta indica un posible daño de una aplicación de inteligencia artificial o un intento de suplantación de identidad (phishing) por parte de uno de los usuarios finales. La alerta determina que una dirección URL malintencionada usada para la suplantación de identidad (phishing) se pasó durante una conversación a través de la aplicación de IA, pero el origen de la dirección URL (usuario o aplicación) no está claro.
Tácticas de MITRE: Impacto (desfase), Colección
Gravedad: alta
Intento de suplantación de identidad detectado en una aplicación de IA
(IA. Azure_MaliciousUrl.UserPrompt)
Descripción: esta alerta indica que un usuario envió una dirección URL usada para el ataque de suplantación de identidad (phishing) a una aplicación de IA. Normalmente, el contenido empuja a los visitantes a introducir sus credenciales corporativas o información financiera en un sitio web de aspecto legítimo. Enviar esto a una aplicación de inteligencia artificial puede ser para dañarlo, envenenar los orígenes de datos a los que tiene acceso o obtener acceso a los empleados u otros clientes a través de las herramientas de la aplicación.
Tácticas de MITRE: Colección
Gravedad: alta
Se detectó un agente de usuario sospechoso
(IA. Azure_AccessFromSuspiciousUserAgent)
Descripción: el agente de usuario de una solicitud que accede a uno de los recursos de Azure AI contenía valores anómalos que indican un intento de abuso o manipulación del recurso. La inteligencia sobre amenazas de Microsoft ha asignado el agente de usuario sospechoso en cuestión como sospecha de intención malintencionada y, por tanto, es probable que los recursos se vean comprometidos.
Tácticas de MITRE: Ejecución, Reconocimiento, Acceso inicial
Gravedad: media
Se detectó la inyección de solicitud de contrabando ASCII
(IA. Azure_ASCIISmuggling)
Descripción: la técnica de contrabandamiento ASCII permite a un atacante enviar instrucciones invisibles a un modelo de IA. Estos ataques se atribuyen normalmente a inyecciones de mensajes indirectos, donde el actor de amenazas malintencionado pasa instrucciones ocultas para omitir las barreras de protección de la aplicación y del modelo. Estos ataques se suelen aplicar sin el conocimiento del usuario debido a su falta de visibilidad en el texto y pueden poner en peligro las herramientas de aplicación o los conjuntos de datos conectados.
Tácticas de MITRE: Impacto
Gravedad: alta
Acceso desde una dirección IP de Tor
(IA. Azure_AccessFromAnonymizedIP)
Descripción: una dirección IP de la red Tor a la que se accede a uno de los recursos de IA. Tor es una red que permite a las personas acceder a Internet mientras mantiene oculta su dirección IP real. Aunque hay usos legítimos, los atacantes lo usan con frecuencia para ocultar su identidad cuando se dirigen a sistemas de personas en línea.
Tácticas de MITRE: Ejecución
Gravedad: alta
Acceso desde una dirección IP sospechosa
(IA. Azure_AccessFromSuspiciousIP)
Descripción: La inteligencia sobre amenazas de Microsoft identificó una dirección IP que accede a uno de los servicios de inteligencia artificial como una amenaza alta probabilidad de ser una amenaza. Mientras observa el tráfico malintencionado de Internet, esta dirección IP apareció como implicada en el ataque a otros destinos en línea.
Tácticas de MITRE: Ejecución
Gravedad: alta
Sospecha de ataque de cartera: solicitudes periódicas
(IA. Azure_DOWDuplicateRequests)
Descripción: los ataques de cartera son una familia de ataques comunes para los recursos de inteligencia artificial que constan de actores de amenazas que interactúan excesivamente con un recurso de inteligencia artificial directamente o a través de una aplicación con la esperanza de causar daños financieros grandes en la organización. Esta detección realiza un seguimiento de grandes volúmenes de solicitudes idénticas destinadas al mismo recurso de IA, lo que puede deberse a un ataque en curso.
Tácticas de MITRE: Impacto
Gravedad: media
Sospecha de ataque de cartera: anomalía de volumen
(IA. Azure_DOWVolumeAnomaly)
Descripción: los ataques de cartera son una familia de ataques comunes para los recursos de inteligencia artificial que constan de actores de amenazas que interactúan excesivamente con un recurso de inteligencia artificial directamente o a través de una aplicación con la esperanza de causar daños financieros grandes en la organización. Esta detección realiza un seguimiento de grandes volúmenes de solicitudes y respuestas por el recurso que son incoherentes con sus patters de uso histórico.
Tácticas de MITRE: Impacto
Gravedad: media
Acceso a anomalías en el recurso de IA
(IA. Azure_AccessAnomaly)
Descripción: esta alerta realiza un seguimiento de las anomalías en los patrones de acceso a un recurso de IA. Los cambios en los parámetros de solicitud por parte de usuarios o aplicaciones como agentes de usuario, intervalos IP, métodos de autenticación, etc. pueden indicar un recurso en peligro al que ahora acceden actores malintencionados. Esta alerta puede desencadenarse cuando las solicitudes son válidas si representan cambios significativos en el patrón de acceso anterior a un determinado recurso.
Tácticas de MITRE: Ejecución, Reconocimiento, Acceso inicial
Gravedad: media
Invocación sospechosa de una operación de "acceso inicial" de alto riesgo por parte de una entidad de servicio detectada (recursos de IA)
(IA. Azure_AnomalousOperation.InitialAccess)
Descripción: esta alerta detecta una invocación sospechosa de una operación de alto riesgo en la suscripción, lo que podría indicar un intento de acceder a los recursos restringidos. Las operaciones identificadas relacionadas con los recursos de inteligencia artificial están diseñadas para permitir a los administradores acceder de forma eficaz a sus entornos. Aunque esta actividad podría ser legítima, un actor de amenazas podría usar estas operaciones para obtener acceso inicial a los recursos de inteligencia artificial restringidos en su entorno. Esto puede indicar que la entidad de servicio está en peligro y se está utilizando de manera malintencionada.
Tácticas de MITRE: acceso inicial
Gravedad: media
(Versión preliminar) Anomalía sospechosa detectada en datos confidenciales expuestos por un recurso de IA
(IA. Azure_SensitiveDataAnomaly)
Descripción: esta alerta analiza los patrones de uso de datos confidenciales de los recursos de inteligencia artificial y tiene como objetivo detectar cuándo una aplicación de inteligencia artificial analiza datos confidenciales fuera del patrón. La alerta busca tipos de información confidencial que no se han pasado previamente en las respuestas del modelo, para detectar comportamientos sospechosos o desviación de intención de la aplicación o la filtración de datos. Dado que esta alerta está diseñada para detectar anomalías, no se desencadenará para nuevos recursos o suscripciones recién incorporadas durante un período de tiempo determinado.
Tácticas de MITRE: Colección
Gravedad: media
(Versión preliminar) Invocación anómala de herramientas
(IA. Azure_AnomalousToolInvocation)
Descripción: Esta alerta analiza la actividad anómala de una aplicación de inteligencia artificial conectada a una implementación de modelos de Azure OpenAI. La aplicación intentó invocar una herramienta de una manera que se desvía del comportamiento esperado. Este comportamiento puede indicar un posible uso incorrecto o un intento de ataque a través de una de las herramientas disponibles para la aplicación.
Tácticas de MITRE: Ejecución
Gravedad: baja
Nota:
En el caso de las alertas que están en versión preliminar: los Términos de uso complementarios para las versiones preliminares de Azure incluyen los términos legales adicionales que se aplican a las características de Azure que se encuentran en la versión beta, en versión preliminar o que todavía no se han publicado con disponibilidad general.