Detección de aplicaciones y datos de IA

La inteligencia artificial generativa (GenAI) se está adoptando a una velocidad sin precedentes, ya que las organizaciones interactúan activamente con GenAI o experimentan con GenAI en diversas capacidades. Los equipos de seguridad pueden mitigar y administrar los riesgos de forma más eficaz al obtener visibilidad proactiva del uso de la inteligencia artificial dentro de la organización e implementar los controles correspondientes. En este artículo se describe cómo detectar el uso de aplicaciones de inteligencia artificial dentro de la organización, incluida la evaluación del riesgo para los datos confidenciales.

Este es el segundo artículo de una serie. Antes de usar este artículo, asegúrese de que ha realizado las tareas de Preparación de la seguridad de la inteligencia artificial para preparar el entorno con funcionalidades prescritas en este artículo.

Microsoft proporciona herramientas que le ayudarán a obtener visibilidad de los datos, el acceso, el usuario y los riesgos de la aplicación para la inteligencia artificial que cree y use. Estas funcionalidades le ayudan a abordar de forma proactiva las vulnerabilidades mientras crea una posición de seguridad sólida para la inteligencia artificial.

En la tabla siguiente se describe la ilustración y también se describen los pasos para implementar estas funcionalidades.

Paso	Tarea	Ámbito
1	Obtenga visibilidad de todas las identidades de agente creadas en Microsoft Copilot Studio y Azure AI Foundry con el identificador de Microsoft Entra Agent.	Agentes creados en Microsoft Copilot Studio y Azure AI Foundry
2	Obtenga visibilidad sobre el uso de IA utilizando Microsoft Purview Gestión de Postura de Seguridad de Datos (DSPM) para IA. Aplicar directivas para proteger los datos confidenciales.	Copilots, agentes y otras aplicaciones de inteligencia artificial que usan módulos de lenguaje grandes (LLM) de terceros, incluidos los sitios de IA compatibles.
3	Detección, autorización y bloqueo de aplicaciones de inteligencia artificial con Microsoft Defender for Cloud Apps	Aplicaciones de IA de SaaS
4	Descubra las cargas de trabajo de IA implementadas en su entorno y obtenga información de seguridad con Microsoft Defender for Cloud Security Posture Management (CSPM)	Aplicaciones de IA personalizadas basadas en Azure

Paso 1: Obtener visibilidad de los agentes con Entra Agent ID (Versión preliminar)

A medida que las organizaciones crean y adoptan agentes de inteligencia artificial, es difícil realizar un seguimiento de estos actores no humanos. Lo mismo que hace que estos agentes son eficaces, su capacidad de manejar de forma autónoma tareas complejas y actuar como compañeros virtuales, también plantea preocupaciones. Por eso es fundamental realizar un seguimiento de las identidades del agente, administrar su ciclo de vida y permisos y proteger cuidadosamente su acceso a los recursos de la organización.

El identificador de Microsoft Entra Agent (versión preliminar) proporciona un directorio unificado de todas las identidades de agente creadas en Microsoft Copilot Studio y Azure AI Foundry. Este es un primer paso para proporcionar una mayor visibilidad, protección y gobernanza del volumen de agentes que crece rápidamente en las organizaciones.

Tarea	Recursos recomendados
Visualización de todos los agentes de la organización	inicie sesión en el Centro de administración de Microsoft Entra y vaya a Aplicaciones empresariales. En la barra de filtro de la parte superior de la vista de lista, defina la lista desplegable Tipo de aplicación en Id. de agente (versión preliminar). Al instante, la lista de aplicaciones empresariales se restringirá para mostrar los agentes de IA (creados a través de Copilot Studio o Azure AI Foundry) registrados en el inquilino.
Para más información, consulte este blog.	Anuncio del identificador de Microsoft Entra Agent: Protección y administración de los agentes de IA

Paso 2: Obtener visibilidad del uso de la inteligencia artificial con la Administración de la Postura de Seguridad de Datos (DSPM) para la inteligencia artificial.

Microsoft Purview Data Security Posture Management (DSPM) para IA se centra en cómo se usa la inteligencia artificial en su organización, especialmente en cómo interactúan los datos con las herramientas de inteligencia artificial. Funciona con plataformas de inteligencia artificial generativa. DSPM para IA proporciona información más detallada sobre Microsoft Copilots y aplicaciones SaaS de terceros, como ChatGPT Enterprise y Google Gemini.

En el diagrama siguiente se muestra una de las vistas agregadas sobre el impacto del uso de inteligencia artificial en tus datos: interacciones sensibles por aplicación de inteligencia artificial generativa.

DSPM para IA ofrece un conjunto de funcionalidades que le ayudan a adoptar la inteligencia artificial de forma segura sin tener que elegir entre productividad y protección:

• Conclusiones y análisis de la actividad de inteligencia artificial en su organización
• Directivas listas para usarse para proteger los datos y evitar la pérdida de datos en los avisos de inteligencia artificial
• Evaluaciones de riesgos de datos para identificar, corregir y supervisar posibles usos compartidos de datos
• Acciones recomendadas basadas en los datos del inquilino
• Controles de cumplimiento para aplicar directivas óptimas de control y almacenamiento de datos

Para supervisar las interacciones con sitios de inteligencia artificial de terceros, los dispositivos deben incorporarse a Microsoft Purview. Si ha seguido las instrucciones de Preparación para la seguridad de la inteligencia artificial, ha inscrito dispositivos en la administración con Microsoft Intune y, a continuación, ha incorporado estos dispositivos a Defender para punto de conexión. La incorporación de dispositivos se comparte entre Microsoft 365 (incluido Microsoft Purview) y Microsoft Defender para Endpoint (MDE).

Use los siguientes recursos para detectar aplicaciones de inteligencia artificial y datos con DSPM para IA.

Tarea	Recursos recomendados
Asegúrese de que los dispositivos se incorporan a Microsoft Purview.	Si los dispositivos aún no están incorporados a Defender para punto de conexión, hay varios métodos para incorporarlos. Consulte Incorporación de dispositivos Windows a Microsoft 365.
Descripción de los requisitos previos y cómo funciona DSPM para IA	Consideraciones para implementar la administración de la posición de seguridad de datos de Microsoft Purview para la inteligencia artificial
Empezar a usar DSPM para IA	Cómo utilizar la gestión de la seguridad de datos en la inteligencia artificial
Consulta de sitios de IA apoyados	Sitios de IA compatibles con Microsoft Purview para la seguridad de datos y el cumplimiento normativo

Paso 3: Detección, autorización y bloqueo de aplicaciones de inteligencia artificial con Microsoft Defender for Cloud Apps

Microsoft Defender for Cloud Apps ayuda a los equipos de seguridad a detectar aplicaciones y usos de SaaS GenAI.

El catálogo de aplicaciones de Defender for Cloud Apps incluye una categoría de IA generativa para aplicaciones de modelo de lenguaje grande (LLM), como Microsoft Bing Chat, Google Bard, ChatGPT, etc. Defender for Cloud Apps ha agregado más de mil aplicaciones relacionadas con ia generativa al catálogo, lo que proporciona visibilidad sobre cómo se usan las aplicaciones de IA generativas en su organización y le ayuda a administrarlas de forma segura.

Con Defender for Cloud Apps, puede hacer lo siguiente:

• Filtro en aplicaciones de IA generativas
• Detección de las aplicaciones de inteligencia artificial que se usan en su organización
• Vea las evaluaciones de riesgos prefabricadas para cada aplicación, que incluyen más de 90 factores de riesgo relacionados con la seguridad y el cumplimiento normativo.
• Autorizar o no autorizar (bloquear) el uso de aplicaciones específicas
• Cree directivas que sigan detectando aplicaciones de inteligencia artificial en función de los criterios establecidos, incluida la puntuación de riesgo, el número de usuarios al día y otros. Incluso puede no autorizar automáticamente las aplicaciones que cumplan los criterios.

Use los siguientes recursos para los pasos siguientes.

Tarea	Recursos recomendados
Piloto e implementación de Defender for Cloud Apps	¿Cómo se realiza la prueba piloto e implementación de Microsoft Defender for Cloud Apps?
Revise este tutorial de vídeo.	Detección de qué aplicaciones de IA generativas se usan en su entorno mediante Defender for Cloud Apps
Visualización de aplicaciones detectadas	Visualización de aplicaciones detectadas con el panel de Cloud Discovery
Búsqueda de la aplicación en la nube y cálculo de la puntuación de riesgo	Catálogo de aplicaciones en la nube y puntuaciones de riesgo: Microsoft Defender for Cloud Apps
Controlar las aplicaciones detectadas	Controlar las aplicaciones detectadas: Microsoft Defender for Cloud Apps

Paso 4: Detección de cargas de trabajo de IA implementadas en su entorno y obtención de información de seguridad con Microsoft Defender for Cloud

El plan de Administración de posturas de seguridad en la nube (CSPM) de Defender en Microsoft Defender for Cloud proporciona funcionalidades de administración de la posición de seguridad de la inteligencia artificial, empezando por la detección de aplicaciones de IA integradas en sus entornos:

• Detectar la lista de materiales de IA generativa (BOM de IA), que incluye componentes de la aplicación, datos e artefactos de IA desde el código hasta la nube.
• Reforzar la posición de seguridad de las aplicaciones de IA generativa con recomendaciones integradas y explorando y corrigiendo los riesgos de seguridad.
• Usar el análisis de ruta de acceso de ataque para identificar y corregir riesgos.

Use el Explorador de seguridad en la nube para identificar las cargas de trabajo y los modelos de IA generativos que se ejecutan en su entorno. Cloud Security Explorer incluye consultas preconfiguradas:

• Cargas de trabajo y modelos de IA en uso
• Repositorios de código vulnerables de IA generativa que aprovisionan Azure OpenAI
• Contenedores que ejecutan imágenes de contenedor con vulnerabilidades conocidas de IA generativa.

También puede configurar sus propias consultas.

Use los siguientes recursos para los pasos siguientes.

Tarea	Recursos recomendados
Más información sobre la administración de la posición de seguridad de la inteligencia artificial	Administración de la posición de seguridad de la inteligencia artificial con Defender for Cloud
Detección de cargas de trabajo de IA	Cargas de trabajo y modelos de IA en uso
Explorar riesgos para la fase previa al despliegue de artefactos de IA generativa	Riesgos para la preimplementación de artefactos de IA generativa

Paso siguiente para proteger la inteligencia artificial

Después de detectar el uso de ia en la organización, el siguiente paso es aplicar protecciones:

• Protección de datos confidenciales usados con aplicaciones de inteligencia artificial
• Implementación de la protección contra amenazas específicamente para el uso de inteligencia artificial

Consulte el siguiente artículo de esta serie: ¿Cómo puedo proteger mi organización al usar aplicaciones de IA?