Modelo de responsabilidad compartida de agentes de IA

Los agentes de IA extienden la IA generativa más allá del patrón de solicitud/respuesta que describe el modelo de responsabilidad compartida de IA . A diferencia de un gran modelo de lenguaje, un agente no solo devuelve contenido para que un humano actúe sobre él. En su lugar, un agente:

  • Actúa de forma autónoma. Invoca herramientas, llama APIs, escribe datos y activa flujos de trabajo sin que un humano apruebe cada paso.
  • Planes y bucles. Descompone objetivos, razona sobre resultados intermedios y se vuelve a dar instrucciones muchas veces antes de responder.
  • Almacena estado y memoria. El contexto a corto plazo más la memoria persistente influyen en el comportamiento futuro y pueden cruzar los límites de la sesión o del usuario.
  • Tiene identidad. Se autentica en sistemas de nivel inferior mediante identidades administradas, tokens de suplantación o una identidad de agente distinta, y tiene privilegios propios.
  • Escribe con otros agentes. En la orquestación multiagente, la salida de un agente se convierte en la instrucción de otro, introduciendo un nuevo límite de confianza.

Cada uno de estos comportamientos introduce responsabilidades que no existen en el modelo de IA de peticiones/respuestas.

Nota:

Este artículo utiliza la "responsabilidad" en un sentido de gobernanza: quién se espera que configure, opere y supervise cada control. Es una guía ilustrativa y no pretende transmitir conclusiones legales ni modificar o contradecir los términos de ningún acuerdo entre usted y Microsoft.

Cómo se diferencian los agentes de IA de la nube y las cargas de trabajo de IA

La siguiente tabla resume en qué se diferencia el modelo de agente de IA del modelo estándar en la nube y del modelo de IA generativa (LLM).

Preocupación Modelo estándar de la nube Modelo de IA (LLM) Modelo de agente de IA
Interacción primaria API o interfaz gráfica De respuesta inmediata Objetivo de realizar acciones autónomas de varios pasos
Efectos secundarios en el mundo real Código de aplicación, explícito Actos humanos sobre el resultado El agente actúa directamente a través de herramientas
Estado Capa de aplicación y de datos Prompt sin estado Memoria persistente del agente y contexto persistente
Identity Identidad de usuario o aplicación Identidad de usuario o aplicación Identidad de agente distinta más tokens delegados
Límite de confianza Del usuario a la aplicación De usuario a modelo Usuario a agente a herramientas a otros agentes
Riesgo principal Configuración incorrecta, exposición de datos Inyección de instrucciones (contenido) Inyección de instrucciones que impulsa acciones; agencia excesiva; delegado confuso

División de responsabilidad

Al igual que con los modelos de responsabilidad compartida en la nube y la IA , la división de responsabilidades cambia según el modelo de despliegue que elijas. Para los agentes, las opciones relevantes son:

  • Agente SaaS. Un agente predefinido, como los agentes de Microsoft 365 Copilot, Microsoft Security Copilot o los agentes de Microsoft Copilot Studio publicados. Microsoft opera el orquestador, el modelo, los sistemas de seguridad y la mayoría de los conectores de herramientas. Tú eres responsable de la configuración, el alcance del acceso a los datos, la identidad y el uso.
  • Agente de PaaS. Construyes un agente sobre una plataforma de agentes gestionados, como Microsoft Foundry Agent Service, Azure SRE Agent, agentes personalizados de Microsoft Copilot Studio o el Microsoft Agent Framework en un entorno de ejecución gestionado por Azure. Microsoft proporciona el tiempo de ejecución, el alojamiento del modelo y los controles de seguridad de la plataforma. Eres propietario de las instrucciones del agente, la selección de herramientas y plugins, los permisos de herramientas, la lógica de orquestación, el diseño de la memoria y la identidad y autorización del agente.
  • Agente IaaS. Tú mismo construyes y alojas toda la pila de agentes: un orquestador personalizado en máquinas virtuales o contenedores, un framework autogestionado y posiblemente modelos autoalojados. Eres dueño de casi todo excepto de la infraestructura física (y del modelo base, si lo consumes como una API alojada).

La responsabilidad se desplaza hacia la izquierda, lo que significa que asumes más responsabilidad, a medida que pasas de SaaS a PaaS y luego a agentes IaaS.

El siguiente diagrama ilustra las áreas de responsabilidad entre tú y Microsoft según el tipo de despliegue del agente.

Diagrama de las capas de responsabilidad de agentes de IA en los despliegues de agentes IaaS, PaaS y SaaS, con tres nuevas capas (memoria y estado de agentes, herramientas y acciones, y orquestación de agentes) añadidas sobre el modelo de responsabilidad compartida de IA.

Resumen de la capa de agentes de IA

Un sistema agente añade tres nuevas capas sobre y alrededor de la plataforma de IA, la aplicación y las capas de uso existentes. La responsabilidad de la seguridad recae en quien realiza la tarea, pero un proveedor podría poner a tu disposición controles como opciones de configuración.

Capa de plataforma de IA (heredada)

La capa de plataforma de IA aloja y protege el modelo, los datos de entrenamiento, los pesos y las APIs de inferencia, y proporciona sistemas de seguridad integrados de entrada y salida. La responsabilidad en esta capa se hereda del modelo de responsabilidad compartida de la IA.

Capa de orquestación de agentes

La capa de orquestación es el "circuito central": planificación, razonamiento, selección de herramientas, el mensaje del sistema y las instrucciones del agente, y coordinación multiagente. Esta capa es donde se encuentran los riesgos de agencia excesiva y de inyección de instrucciones para inducir acciones.

Consideraciones de seguridad:

  • Limita las instrucciones y el alcance del agente (menor funcionalidad).
  • Valida y desinfecta cualquier contenido no confiable que entre en el bucle, incluidos documentos recuperados, salidas de herramientas y mensajes de otros agentes. Trátalo todo como entrada no confiable, no como instrucciones de confianza.
  • Aplicar barreras de planificación: límites de pasos e iteraciones, detección de bucles, techos de presupuesto y costes, y listas de permisos para las herramientas que pueden encadenarse.
  • Para sistemas multiagente, trata cada mensaje interagente como un límite de confianza y vuelve a aplicar la seguridad de entrada.

Capa de herramientas y acciones

La capa de herramientas y acciones contiene los conectores, plugins, funciones, servidores del Protocolo de Contexto de Modelo (MCP) y APIs que el agente puede invocar para leer y cambiar el estado en el mundo real. Esta capa es la mayor diferencia respecto al modelo LLM.

Consideraciones de seguridad:

  • Mínimo privilegio por herramienta. Cada herramienta o conector debe contener solo los permisos requeridos. No otorgues al agente una identidad permanente amplia.
  • Autorización en cada acción, no solo al inicio de la sesión. Vuelve a comprobar que esta acción, en este recurso, está permitida. Esta comprobación mitiga los riesgos de diputado confuso y de delegación demasiado amplia.
  • Puertas de los humanos en el bucle. Requírelos para acciones de alto impacto, irreversibles o sensibles como escrituras, eliminaciones, pagos, cambios de producción y envíos externos.
  • Auditoría de acción. Registra cada invocación de herramienta con entradas, salidas, la identidad utilizada y la justificación de la decisión.
  • Sandboxing y control de salidas. Aplícalos a herramientas de ejecución de código y navegación.

Capa de memoria y estado del agente

La capa de memoria del agente cubre el contexto de conversación a corto plazo más memoria persistente, almacenes vectoriales y scratchpads que influyen en el comportamiento futuro.

Consideraciones de seguridad:

  • Delimite y aísle la memoria para cada usuario y cliente. Evitar sangrado de memoria entre usuarios o sesiones.
  • Protege contra el envenenamiento de la memoria. El contenido inyectado puede persistir y reactivarse más adelante.
  • Clasificar, conservar y eliminar la memoria almacenada. Aplica la clasificación de datos, la retención y el derecho a eliminación.
  • Cifrar almacenes de memoria y hacer cumplir el control de acceso. Trata la memoria como datos sensibles.

Capa de aplicación de IA (heredada)

La capa de aplicaciones de IA es la aplicación o interfaz que utiliza el usuario, junto con el anclaje, los complementos y el sistema de seguridad de la aplicación.

Capa de uso de IA (heredada, extendida)

La capa de uso de IA describe cómo los usuarios y aplicaciones consumen el agente. Con los agentes, la rendición de cuentas por las acciones autónomas se vuelve central: políticas de uso aceptable, educación del usuario sobre riesgos específicos de cada agente y clara propiedad de las acciones que el agente realiza en nombre del usuario.

Matriz de responsabilidades

La siguiente matriz resume la responsabilidad entre los modelos de despliegue. C = Cliente, M = Microsoft, S = Compartido. La matriz es una guía general; Las responsabilidades específicas para un servicio determinado pueden variar según los términos y la configuración del servicio.

Responsabilidades heredadas en la nube y la IA

Área de responsabilidad Agente IaaS Agente PaaS Agente SaaS
Datos del cliente (incluyendo contenido de puesta a tierra y memoria) C C C
Identidades y usuarios C C C
Gestión de accesos (RBAC, MFA, Acceso Condicional) C C C
Dispositivos cliente y puntos de conexión C C S
Alojamiento y pesos del modelo base C/M1 M M
Seguridad del contenido de entrada/salida del modelo C/M1 S M
Infraestructura física (hosts, red, centro de datos) M M M

Responsabilidades específicas de cada agente

Área de responsabilidad Agente IaaS Agente PaaS Agente SaaS
Instrucciones del agente, instrucción del sistema y alcance C C S
Selección de herramientas, plugins y conectores C C S
Permisos por herramienta (mínimo privilegio) C C S
Identidad del agente y gestión delegada de tokens C S S
Comprobaciones de autorización por acción C S S
Aprobación con supervisión humana para acciones de alto impacto C C C
Mecanismos de control de la orquestación (límites de bucles, pasos y coste) C S M
Controles de límite de confianza multiagente C S S
Diseño de memoria, aislamiento y defensa contra envenenamiento C S M
Aislamiento de herramientas y acciones y control de salida C S M
Auditoría, registro y monitorización de acciones C S S
Plataforma de tiempo de ejecución y de orquestación de agentes C M M
Política de uso aceptable y rendición de cuentas por las acciones C C C

1 Cliente si tú mismo alojas el modelo en IaaS; Microsoft, si consumes una API de modelo alojada desde tu agente alojado en IaaS.

Responsabilidades que siempre conserva

Independientemente del modelo de despliegue, siempre eres responsable de:

  • Datos, incluyendo todo lo escrito en la memoria del agente y enviado a herramientas.
  • Identidad y privilegio menor: la identidad propia del agente y el alcance de cada credencial o token que puede utilizar.
  • Autorización de acciones: lo que el agente puede hacer, especialmente operaciones irreversibles o sensibles.
  • Supervisión humana: qué acciones requieren aprobación y quién es responsable del comportamiento del agente.
  • Uso aceptable y gobernanza: políticas, educación del usuario y cumplimiento para el comportamiento autónomo.

Principales riesgos específicos de los agentes que deben mitigarse mediante el diseño

Estos riesgos corresponden al Top 10 de OWASP para aplicaciones LLM, al Top 10 de OWASP para IA agente, a MITRE ATLAS y a la clasificación de severidad de vulnerabilidades del Centro de respuestas de seguridad de Microsoft (MSRC) para sistemas de IA. Enfatizan la dimensión de acción que es única de los agentes.

Riesgo Mitigation
Inyección inmediata a la acción. Contenido no confiable, como una página web, documento, correo electrónico u otro agente, secuestra al agente para que recurra a herramientas de forma maliciosa. Trata todas las salidas de herramientas, recuperación y agentes como no confiables. Aísla instrucciones de los datos. Restringe las acciones de alto impacto.
Agencia excesiva. El agente tiene más herramientas, permisos o autonomía de las que necesita la tarea. Aplique la funcionalidad mínima y el privilegio mínimo para cada herramienta, y delimite el alcance de las instrucciones.
Un diputado confundido o una delegación demasiado amplia. El agente utiliza su identidad privilegiada para hacer algo que el usuario solicitante no puede. Utiliza tokens de delegación y autorización por acción. Evita una identidad amplia y permanente.
Envenenamiento de la memoria. El contenido inyectado persiste y se reactiva más tarde o entre sesiones. Aísla y valida la memoria, rastrea la procedencia y aplica la retención.
Bucles ilimitados, coste y agotamiento de recursos. Planificación descontrolada. Aplica límites de pasos, iteraciones y presupuestos, y detecta bucles.
Fallas de confianza en múltiples agentes. Un agente comprometido o alucinante contamina a los colaboradores. Reaplica la seguridad de entrada en cada límite interagente. Verifica, no confíes.
Agentes rebeldes o suplantados. Un agente no autorizado actúa en el entorno, o la identidad del agente es suplantada. Refuerce una identidad sólida del agente, la atestación y la detección y monitorización.

Configúralo antes de personalizar

El mismo principio que Microsoft recomienda para la IA se aplica a los agentes, y es más fuerte para los agentes porque la autonomía multiplica el coste de equivocarse.

  1. Empieza con agentes SaaS (Microsoft 365 Copilot, Microsoft Security Copilot o agentes publicados de Microsoft Copilot Studio). Microsoft se encarga de la orquestación, la seguridad y la mayor parte de la seguridad de las herramientas. Configuras el alcance y la identidad de los datos.
  2. Cambie a agentes PaaS (Microsoft Foundry Agent Service, Azure SRE Agent, agentes personalizados de Microsoft Copilot Studio o Microsoft Agent Framework en un entorno de ejecución administrado) solo cuando las soluciones listas para usar no se ajusten. Te encargas de la lógica del agente, herramientas, permisos, memoria e identidad.
  3. Crear solo agentes IaaS con una amplia experiencia en seguridad de IA, identidad y riesgo de sistemas autónomos. Eres dueño de casi toda la pila.

Regla general: Cuanta más autonomía y más amplia sea la herramienta y el conjunto de permisos que concedas a un agente, más parte de la matriz de responsabilidades se traslada a ti, independientemente del modelo de despliegue. La autonomía nunca reduce la responsabilidad.

Pasos siguientes

  • Last updated on