Alertas para cargas de trabajo de IA
En este artículo se enumeran las alertas de seguridad que puede obtener para las cargas de trabajo de inteligencia artificial de Microsoft Defender for Cloud y los planes de Microsoft Defender que ha habilitado. Las alertas que se muestran en el entorno dependen de los recursos y servicios que va a proteger, y de la configuración personalizada.
Nota:
Algunas de las alertas agregadas recientemente con tecnología de Inteligencia contra amenazas de Microsoft Defender y Microsoft Defender para punto de conexión podrían no estar documentadas.
Aprenda a responder a estas alertas.
Nota
Las alertas de orígenes diferentes pueden tardar un tiempo distinto en aparecer. Por ejemplo, las alertas que requieren un análisis del tráfico de red pueden tardar más en aparecer que las alertas relacionadas con procesos sospechosos que se ejecutan en máquinas virtuales.
Alertas de carga de trabajo de IA
Se detectaron intentos de robo de credenciales en una implementación de modelos de Azure OpenAI
(IA. Azure_CredentialTheftAttempt)
Descripción: la alerta de robo de credenciales está diseñada para notificar al SOC cuando las credenciales se detectan en las respuestas del modelo de GenAI a un mensaje de usuario, lo que indica una posible infracción. Esta alerta es fundamental para detectar casos de pérdida o robo de credenciales, que son exclusivos de la inteligencia artificial generativa y pueden tener consecuencias graves si se realizan correctamente.
Tácticas de MITRE: Acceso a credenciales, Movimiento lateral, Filtración
Gravedad: media
Un intento de Jailbreak en una implementación de modelos de Azure OpenAI fue bloqueado por Azure AI Content Safety Prompt Shields
(IA. Azure_Jailbreak.ContentFiltering.BlockedAttempt)
Descripción: La alerta de Jailbreak, realizada mediante una técnica de inyección de mensajes directos, está diseñada para notificar al SOC que se ha intentado manipular la solicitud del sistema para omitir las medidas de seguridad de la inteligencia artificial generativa, el acceso potencialmente a datos confidenciales o funciones con privilegios. Indicó que estos intentos fueron bloqueados por Azure Responsible AI Content Safety (AKA Prompt Shields), lo que garantiza la integridad de los recursos de inteligencia artificial y la seguridad de los datos.
Tácticas de MITRE: Elevación de privilegios, evasión de defensa
Gravedad: media
Azure AI Content Prompt Shields detectó un intento de Jailbreak en una implementación de modelo de Azure OpenAI
(IA. Azure_Jailbreak.ContentFiltering.DetectedAttempt)
Descripción: La alerta de Jailbreak, realizada mediante una técnica de inyección de mensajes directos, está diseñada para notificar al SOC que se ha intentado manipular la solicitud del sistema para omitir las medidas de seguridad de la inteligencia artificial generativa, el acceso potencialmente a datos confidenciales o funciones con privilegios. Indicó que estos intentos fueron detectados por azure Responsible AI Content Safety (AKA Prompt Shields), pero no se bloquearon debido a la configuración de filtrado de contenido o debido a una confianza baja.
Tácticas de MITRE: Elevación de privilegios, evasión de defensa
Gravedad: media
Exposición de datos confidenciales detectada en la implementación del modelo de Azure OpenAI
(IA. Azure_DataLeakInModelResponse.Sensitive)
Descripción: la alerta de pérdida de datos confidenciales está diseñada para notificar al SOC que un modelo de GenAI respondió a una petición de usuario con información confidencial, posiblemente debido a un usuario malintencionado que intenta omitir las medidas de seguridad de la inteligencia artificial generativa para acceder a datos confidenciales no autorizados.
Tácticas de MITRE: Colección
Gravedad: media
Nota:
En el caso de las alertas que están en versión preliminar: los Términos de uso complementarios para las versiones preliminares de Azure incluyen los términos legales adicionales que se aplican a las características de Azure que se encuentran en la versión beta, en versión preliminar o que todavía no se han publicado con disponibilidad general.