Nota de transparencia para el servicio Foundry Agent

Importante

Las traducciones no en inglés solo se proporcionan para mayor comodidad. Consulte la EN-US versión de este documento para obtener la versión definitiva.

¿Qué es una nota de transparencia?

Un sistema de inteligencia artificial incluye no solo la tecnología, sino también las personas que lo usarán, las personas que se verán afectadas por ella y el entorno en el que se implementa. La creación de un sistema que se ajuste a su finalidad prevista requiere una comprensión de cómo funciona la tecnología, cuáles son sus capacidades y limitaciones, y cómo lograr el mejor rendimiento. las notas de transparencia de Microsoft están pensadas para ayudarle a comprender cómo funciona nuestra tecnología de inteligencia artificial, las opciones que los propietarios del sistema pueden tomar para influir en el rendimiento y el comportamiento del sistema, y la importancia de pensar en todo el sistema, incluida la tecnología, las personas y el entorno. Puede usar notas de transparencia al desarrollar o implementar su propio sistema o compartirlos con las personas que usarán o se verán afectadas por el sistema.

las notas de transparencia de Microsoft forman parte de un esfuerzo más amplio en Microsoft poner en práctica nuestros principios de inteligencia artificial. Para obtener más información, consulte los principios de IA de Microsoft.

Aspectos básicos de Foundry Agent Service

Introducción

Foundry Agent Service es un servicio totalmente administrado diseñado para permitir a los desarrolladores compilar, implementar y escalar de forma segura agentes de inteligencia artificial extensible y de alta calidad sin necesidad de administrar los recursos de proceso y almacenamiento subyacentes. El servicio de agente proporciona acceso integrado a modelos, herramientas y tecnología y le permite ampliar la funcionalidad de los agentes con conocimientos de orígenes conectados (como Bing Search, SharePoint, Fabric, Azure Blob Storage y datos con licencia) y con acciones mediante herramientas como Azure Logic Apps, Azure Functions, herramientas especificadas de OpenAPI 3.0 y Intérprete de código. Más información.

Aviso Legal General sobre Agentes

Los sistemas de IA agente están diseñados para usar funcionalidades agenteicas para lograr un objetivo de alto nivel especificado por un usuario. Los sistemas deben diseñarse para permitir que los usuarios incorporen la supervisión humana según corresponda para asegurarse de que el sistema realiza las acciones y las tareas según lo previsto. Si un agente presenta comportamientos no deseados o no deseados, los usuarios deben tener la capacidad de intervenir y tomar las medidas adecuadas para mitigar los posibles riesgos.

Aviso sobre agentes en dominios sensibles

Los usuarios deben tener precaución al diseñar e implementar sistemas de inteligencia artificial agente en dominios confidenciales en los que las acciones del agente son irreversibles o muy consecuentes. Estos dominios incluyen, entre otros, las finanzas y el seguro, la atención sanitaria, legal y la vivienda. También se deben tomar precauciones adicionales al crear inteligencia artificial agente autónoma, como se describe más adelante en nuestro Código de conducta. Usted es responsable de cumplir con todas las leyes aplicables y los estándares de seguridad pertinentes para los agentes que cree con las herramientas y soluciones de Foundry, incluidos el Catálogo de agentes, los ejemplos de código subyacentes y los recursos y la información similares (consulte las consideraciones siguientes al elegir un caso de uso).

Términos clave

A continuación se muestran los componentes clave del SDK del servicio de agente (y la experiencia del portal Microsoft Foundry impulsada por él):

Término	Definición
Desarrollador	Un cliente de Agent Service que desarrolla un agente.
Usuario	Una persona que usa o opera un agente creado por un desarrollador.
Agente	Una aplicación o un sistema que usa modelos de IA generativos con herramientas para acceder a orígenes de datos, API y sistemas reales e interactuar con ellos para lograr objetivos especificados por el usuario, como responder preguntas, realizar acciones o automatizar completamente los flujos de trabajo, con o sin supervisión humana.
Herramienta	Una funcionalidad integrada o definida personalizada que permite a un agente realizar tareas sencillas o complejas o interactuar con orígenes de información, aplicaciones o servicios a través del SDK del servicio de agente o el portal de Foundry.
Herramienta de conocimiento	Una herramienta que permite a un agente acceder a datos internos y externos y procesarlos, incluida la información más allá de la fecha límite de entrenamiento del modelo, para mejorar la precisión y relevancia de las respuestas a las consultas de usuario.
Herramienta de acción	Herramienta que permite a un agente realizar tareas y realizar acciones en nombre de los usuarios mediante la integración con sistemas externos, API y servicios.
Subproceso	Una sesión de conversación entre un agente y un usuario. Los hilos almacenan mensajes y manejan automáticamente el truncamiento para ajustarse al contenido en el contexto de un modelo.
Mensaje	Mensaje creado por un agente o un usuario. Los mensajes pueden incluir texto, imágenes y otros archivos. Los mensajes se almacenan como una lista en el hilo.
Ejecute	La activación de un asistente para empezar a ejecutarse en función del contenido del subproceso. El Agente usa su configuración y los mensajes del subproceso para realizar tareas llamando a modelos y herramientas. Como parte de una ejecución, el Agente anexa mensajes al subproceso.
Pasos de ejecución	Una lista detallada de los pasos que tomó el Agente como parte de una ejecución. Un agente puede llamar a herramientas o crear mensajes durante su ejecución. Examinar los pasos de ejecución le permite comprender cómo el agente obtiene sus resultados finales.
Flujo de trabajo	Secuencia declarativa de acciones que organiza los agentes para automatizar procesos complejos. Los flujos de trabajo de Foundry se pueden diseñar, ejecutar y publicar mediante una interfaz de usuario gráfica.
Ejemplo	Una plantilla, manifiesto, ejemplo de código, ejemplo de flujo de trabajo u otro ejemplo que muestra cómo puede construir agentes, aplicaciones o soluciones y aprovechar los beneficios del Servicio de Agentes de Microsoft Foundry.

Conceptos de funcionalidad relevantes

Término	Definición
Sistema de IA agente	Un término paraguas que incluye las siguientes funcionalidades comunes que los desarrolladores pueden habilitar en sus agentes cuando usan Agent Service.
Autonomía	La capacidad de ejecutar acciones de forma independiente y ejercer el control sobre el comportamiento del sistema con distintos grados de supervisión humana.
Razonamiento	La capacidad de procesar información al comprender el contexto y los resultados de varios cursos potenciales de acciones, tareas o interacciones con usuarios de terceros.
Planeación	La capacidad de dividir objetivos y acciones complejos y especificados por el usuario en tareas y subtareas para su ejecución. Las tareas planeadas las crea uno o varios agentes.
Memoria	La capacidad de almacenar o conservar información o contexto de observaciones anteriores, interacciones o comportamientos del sistema.
Capacidad de adaptación	La capacidad de cambiar o ajustar el comportamiento y mejorar el rendimiento en función de la información recopilada del entorno o de la experiencia anterior.
Extensibilidad	La capacidad de llamar a recursos (por ejemplo, como orígenes de conocimiento externos) y ejecutar funciones (por ejemplo, enviar un correo electrónico) desde sistemas conectados, software o plataformas, incluido el uso de herramientas.

Funcionalidades

Comportamiento del sistema

El servicio de agente proporciona integración con datos administrados de forma segura, herramientas integradas y llamadas automáticas a herramientas que permiten a los desarrolladores crear agentes que pueden tener la capacidad de razonar, planear y ejecutar tareas a partir de un objetivo de alto nivel especificado por un usuario. El servicio de agente permite el desarrollo rápido de agentes con administración de memoria integrada y una interfaz sofisticada para integrarse perfectamente con plataformas de proceso populares, que conecta las funcionalidades de LLM con acciones de uso general y programáticas.

Diagrama de las características y componentes del servicio de agente.

Entre las características clave del servicio del agente se incluyen las siguientes:

Desarrollo rápido y automatización de procesos: Los agentes deben integrarse sin problemas con las herramientas, sistemas y API adecuados para realizar acciones deterministas o no deterministas.
Integración con conectores de memoria y conocimiento extensos: Los agentes deben administrar el estado de la conversación y conectarse con orígenes de conocimiento internos y externos para tener el contexto adecuado para completar un proceso.
Opción de modelo flexible: Los agentes creados con el modelo adecuado para sus tareas pueden permitir una mejor integración de la información de varios tipos de datos, generar mejores resultados para escenarios específicos de tareas y mejorar las eficiencias de los costos en las implementaciones escaladas.
Preparación empresarial integrada: Los agentes deben ser capaces de admitir las necesidades únicas de privacidad y cumplimiento de datos de una organización, escalar con las necesidades de una organización y completar tareas de forma confiable y con alta calidad.

Funcionalidades de extensibilidad

Las capacidades de extensibilidad del servicio de agentes permiten a los agentes interactuar con fuentes de conocimiento, sistemas y plataformas para establecer una base y mejorar la funcionalidad del agente. Específicamente:

Asegurar la base de los resultados del agente con un rico ecosistema de fuentes de conocimiento

Los desarrolladores pueden configurar un amplio ecosistema de orígenes de conocimiento para permitir que un agente acceda a datos de varios orígenes y procese datos, lo que mejora la precisión de las respuestas y salidas. Los conectores a estos orígenes de datos funcionan dentro de los parámetros de red designados. Las Herramientas de conocimiento integradas en el servicio del agente incluyen:

File Search (una herramienta integrada de generación aumentada por recuperación (RAG) para procesar y buscar datos privados en Búsqueda de Azure AI, Azure Blob Storage y archivos locales)
Grounding con Búsqueda de Bing (una herramienta de búsqueda web que usa Búsqueda de Bing para extraer información de la web)
SharePoint (herramientas integradas que conectan los documentos internos de una organización en SharePoint para respuestas fundamentadas)
Fabric Data Agent (una herramienta integrada para chatear con datos estructurados en Microsoft Fabric mediante ia generativa)
Traiga sus datos con licencia (una herramienta que permite la puesta en tierra mediante datos propietarios a los que se accede mediante una clave de API con licencia obtenida por el desarrollador del proveedor de datos, por ejemplo, TripAdvisor)

Los agentes simplifican el acceso seguro a los datos de SharePoint y las habilidades de IA de Fabric AI a través de la autenticación delegada (OBO), lo que permite al agente acceder solo a los archivos de SharePoint o Fabric para los que el usuario tiene permisos.

Habilitación de acciones autónomas con o sin entrada humana mediante herramientas de acción

Los desarrolladores pueden conectar un agente a sistemas externos, API y servicios mediante herramientas de acción, lo que permite al agente realizar tareas y realizar acciones en nombre de los usuarios. Las herramientas de acción integradas en el servicio del agente incluyen:

Code Interpreter (una herramienta que puede escribir y ejecutar código Python en un entorno seguro, controlar diversos formatos de datos y generar archivos con datos y objetos visuales)
Azure Logic Apps (una herramienta PaaS basada en la nube que permite flujos de trabajo automatizados con más de 1400 conectores integrados)
Azure Functions (una herramienta que permite que un agente ejecute código sin servidor para acciones sincrónicas, asincrónicas, de larga duración y controladas por eventos).
Herramientas especificadas de OpenAPI 3.0 (una función personalizada definida con la especificación OpenAPI 3.0 para conectar un agente a api externas basadas en OpenAPI de forma segura)
Model Context Protocol tools (un servicio personalizado conectado a través del Model Context Protocol a un servidor MCP remoto existente y a un agente).
Herramienta de investigación profunda: (una herramienta que permite la investigación basada en la web en varios pasos con el modelo de investigación en profundidad o3 y la fundamentación con la búsqueda de Bing).
Uso del equipo: (una herramienta para realizar tareas interactuando con sistemas informáticos y aplicaciones a través de sus interfaces de usuario)
Herramienta de automatización del explorador (una herramienta que puede realizar tareas del explorador del mundo real a través de avisos de lenguaje natural, lo que permite actividades de exploración automatizadas sin intervención humana en el medio)
Generación de imágenes (una herramienta para generar y editar imágenes)
Agent2Agent (un servicio personalizado conectado mediante el protocolo agente-a-agente a través de un punto de conexión de agente existente hacia un agente Foundry).

Orquestación de sistemas multiagente

Los sistemas multiagente que usan el servicio de agente se pueden diseñar para lograr flujos de trabajo autónomos eficaces para escenarios específicos. En sistemas multiagente, varios agentes autónomos con reconocimiento del contexto, ya sean humanos o sistemas de inteligencia artificial, interactúan o trabajan juntos para lograr objetivos individuales o colectivos especificados por el usuario. Agent Service funciona de serie con esquema de orquestación multiagente compatibles¹ con la API de respuestas, como Microsoft Agent Framework, un SDK de código abierto y un entorno de ejecución diseñados para permitir que los desarrolladores compilen, implementen y administren con facilidad sofisticados sistemas con varios agentes.

Al construir una nueva solución multiagente, comience con la creación de agentes singleton utilizando el Servicio de Agentes para obtener agentes que sean más confiables, escalables y seguros. Después, puede organizar estos agentes juntos mediante esquemas de orquestación admitidos. Microsoft Agent Framework evoluciona constantemente para encontrar los mejores patrones de colaboración para que los agentes (y los seres humanos) funcionen juntos. Las características que muestran el valor de producción con Microsoft Agent Framework pueden trasladarse al Microsoft Foundry Agent Service si busca soporte de producción y cambios no disruptivos.

Consulte las preguntas más frecuentes sobre transparencia de Agent Framework para obtener información sobre consideraciones y riesgos adicionales al crear orquestaciones multiagente mediante Microsoft Agent Framework.

Los flujos de trabajo de Foundry amplían la orquestación multiagente proporcionando un diseñador visual y una configuración basada en YAML para compilar, probar e implementar procesos agente. Cada flujo de trabajo puede coordinar varios agentes, lo que permite la automatización modular y latracibilidad. El diseñador de flujos de trabajo admite el control de versiones, los registros de cambios y la supervisión visual, lo que facilita la administración de la lógica compleja y garantiza la transparencia.

¹Compatible con Wireline significa que una API puede comunicar e intercambiar datos de una manera totalmente compatible con un protocolo existente, los formatos de datos existentes y los estándares de comunicación, en este caso el protocolo de la API de respuestas. Esto significa que dos sistemas pueden trabajar juntos sin problemas sin necesidad de realizar cambios en su implementación principal.

Casos de uso

Usos previstos

El servicio del agente es flexible y independiente del caso de uso. Esto presenta varias posibilidades para automatizar tareas rutinarias y desbloquear nuevas posibilidades de trabajo de conocimiento: si es agentes de productividad personal que envían correos electrónicos y programan reuniones, agentes de investigación que supervisan continuamente las tendencias del mercado y automatizan la creación de informes, agentes de ventas que pueden investigar clientes potenciales y calificarlos automáticamente, agentes de servicio al cliente que siguen proactivamente con mensajes personalizados, o agentes de desarrollador que pueden actualizar la base de código o evolucionar un repositorio de código de forma interactiva. Estos son ejemplos de usos previstos de agentes desarrollados mediante el servicio agente:

Atención sanitaria: Orientación simplificada del personal y soporte administrativo básico: El asistente administrativo de un hospital implementa a un agente para compilar procedimientos operativos estándar, directorios del personal y políticas de turnos en forma de orientaciones concisas para las nuevas enfermeras; Los materiales finales se revisan y aprueban por Recursos Humanos, lo que reduce el trabajo repetitivo sin poner en peligro la calidad del contenido.
Venta al por menor: Guía de compras personalizada: Un propietario boutique local puede implementar un agente que recomiende opciones de regalo basadas en las necesidades indicadas de un cliente y las compras anteriores, guiando a los compradores de forma responsable a través de catálogos de productos complejos sin insertar información sesgada o engañosa.
Gobierno: Evaluación de prioridades de solicitudes ciudadanas y coordinación de eventos comunitarios: Un empleado de la ciudad usa un agente para clasificar las solicitudes de servicio entrantes (por ejemplo, reparaciones de baches), asignarlas a los departamentos adecuados y compilar actualizaciones de estado simples; los funcionarios revisan y finalizan las comunicaciones para mantener la transparencia y la precisión.
Educación: Asistencia con la investigación y la recopilación de referencias: Un profesor se basa en un agente para recopilar artículos y recursos apropiados para la edad de fuentes de reputación para una lección de ciencia planetaria; el profesor comprueba los materiales de precisión fáctica y los ajusta para ajustarse al plan de estudios, lo que garantiza que los alumnos reciban contenido de confianza.
Fabricación: Supervisión del inventario y programación de tareas: Un supervisor de fábrica implementa un agente para supervisar los niveles de inventario, programar la reposición cuando los suministros están bajos y optimizar los horarios de los turnos. La administración confirma las sugerencias del agente y conserva la autoridad final de toma de decisiones.
Deep Research Tool: Obtenga más información sobre los usos, funcionalidades, limitaciones, riesgos y consideraciones previstos al elegir un modelo de casos de uso con tecnología de investigación profunda en la nota de transparencia Azure Nota de transparencia de OpenAI.
Uso del equipo: la herramienta Uso del equipo viene con riesgos de seguridad y privacidad significativos adicionales, como ataques de inyección de instrucciones. Obtenga más información sobre los usos, funcionalidades, limitaciones, riesgos y consideraciones previstos al elegir un caso de uso en la nota de transparencia de OpenAI Azure.
Herramienta de generación de imágenes: la herramienta generación de imágenes está potenciada por el modelo gpt-image-1. Obtenga más información sobre los usos, funcionalidades, limitaciones, riesgos y consideraciones previstos al elegir un modelo de casos de uso en la nota de transparencia de OpenAI Azure.

Consideraciones al elegir un caso de uso

Animamos a los clientes a usar el servicio de agente en sus innovadoras soluciones o aplicaciones. Sin embargo, estas son algunas cosas que se deben tener en cuenta al elegir un caso de uso:

Evite escenarios en los que el uso o el mal uso del sistema podrían dar lugar a lesiones físicas o psicológicas significativas para un individuo. Por ejemplo, los escenarios que diagnostican pacientes o recetan medicamentos tienen la posibilidad de causar daños significativos.
Evite escenarios en los que el uso o el uso indebido del sistema podrían tener un impacto consecuente en las oportunidades de vida o el estado legal. Entre los ejemplos se incluyen escenarios en los que el sistema o agente de inteligencia artificial podría afectar al estado legal, los derechos legales o su acceso al crédito, educación, empleo, salud, vivienda, seguro, beneficios de bienestar social, servicios, oportunidades o los términos en los que se proporcionan.
Evite escenarios de alto riesgo que podrían provocar daños. El modelo usado en un agente puede reflejar ciertas opiniones sociales, sesgos y otro contenido no deseado presente en los datos de entrenamiento o los ejemplos proporcionados en la solicitud. Como resultado, se advierte sobre el uso de agentes en escenarios de alto riesgo en los que un comportamiento injusto, no confiable o ofensivo podría ser extremadamente costoso o provocar daños.
Considere detenidamente los casos de uso en dominios de gran participación o sector en los que las acciones del Agente son irreversibles o muy consecuentes. Entre estos sectores se incluyen, entre otros, la atención sanitaria, la medicina, las finanzas o los dominios legales. Por ejemplo: la capacidad de realizar transacciones financieras o dar asesoramiento financiero, la capacidad de interactuar directamente con servicios externos, la capacidad de administrar medicamentos o dar consejos relacionados con la salud, la capacidad de compartir información confidencial públicamente o la capacidad de conceder acceso a sistemas críticos.
Consideraciones legales y normativas. Microsoft toma en serio la seguridad y el cumplimiento de las obligaciones legales y normativas. Siempre nos esforzamos por cumplir las leyes, normativas y estándares aplicables en el desarrollo e implementación de tecnologías de inteligencia artificial, incluido el estándar de inteligencia artificial responsable Microsoft. Es responsabilidad de su organización evaluar las implicaciones de seguridad y las posibles obligaciones legales y normativas específicas cuando se usan las herramientas y soluciones de Foundry, incluidos los agentes y los ejemplos de agentes subyacentes. Las respuestas a la inteligencia artificial pueden ser inexactas y las acciones de inteligencia artificial deben supervisarse adecuadamente con la supervisión humana. Algunos usos y ofertas pueden estar sujetos a requisitos legales y normativos, pueden requerir licencias o no ser adecuadas para todos los sectores, escenarios o casos de uso. Además, es posible que los agentes y las muestras del Agente subyacente no se usen de maneras prohibidas por las leyes, reglamentos, términos de servicio o códigos de conducta pertinentes.
Microsoft no ha creado, probado ni comprobado ningún sistema, API, servidores, agentes y servicios de terceros a los que pueda decidir conectarse. Cuando se conecta a un sistema de terceros (no Microsoft), api, servidor, agente o servicio, algunos datos se compartirán con ese servicio y la aplicación o el agente pueden recibir datos a cambio. Se recomienda revisar qué datos se compartirán y serán conscientes de las prácticas de terceros para la retención y la ubicación de los datos. Tenga en cuenta y administre cuidadosamente si los datos fluirán fuera del cumplimiento y los límites geográficos de la organización y las implicaciones relacionadas. Microsoft no tiene responsabilidad alguna con respecto a su uso de ningún sistema remoto, API, servidores, herramientas, agentes o servicios. El uso de estos servicios se rige por su contrato con el proveedor. Usted es responsable de cualquier uso y costos asociados.
La herramienta de automatización del explorador conlleva importantes riesgos de seguridad y responsabilidad del usuario. La herramienta de automatización del explorador incluye riesgos de seguridad significativos. Ambos errores de juicio por la inteligencia artificial y la presencia de instrucciones malintencionadas o confusas en las páginas web que encuentra la IA pueden provocar que ejecute comandos que usted u otros no pretendan, lo que podría poner en peligro la seguridad de los navegadores, equipos y cualquier cuenta a la que tenga acceso el navegador o la inteligencia artificial, incluyendo sistemas personales, financieros o empresariales. Al usar la herramienta de automatización del explorador, reconoce que asume responsabilidad y responsabilidad por cualquier uso de él y de los agentes resultantes que cree con él, incluido con respecto a cualquier otro usuario al que haga que esté disponible la funcionalidad de la herramienta de automatización de exploradores, incluido a través de agentes resultantes.

Limitaciones

Limitaciones técnicas, factores operativos y intervalos

Limitaciones del modelo de IA generativa: Dado que el servicio del agente funciona con una variedad de modelos, el sistema general hereda las limitaciones específicas de esos modelos. Antes de seleccionar un modelo para incorporarlo al agente, evalúe cuidadosamente el modelo para comprender sus limitaciones. Considere la posibilidad de revisar la Nota de Transparencia de Azure OpenAI para obtener información adicional sobre las limitaciones de IA generativa que probablemente también sean relevantes para el sistema y revisar otras mejores prácticas para incorporar inteligencia artificial generativa en la aplicación del agente.
Complejidades de la orquestación de herramientas: Los agentes de IA dependen de varias herramientas integradas y conectores de datos (como Bing Search, SharePoint y Azure Logic Apps). Si alguna de estas herramientas está mal configurada, no disponible o devuelve resultados incoherentes, o se configura un gran número de herramientas en un solo agente, la guía del agente puede convertirse en fragmentada, obsoleta o engañosa.
Representación y soporte desiguales: Al atender diversos grupos de usuarios, los agentes de IA pueden mostrar un rendimiento desigual si las variedades de idioma, los datos regionales o los dominios de conocimiento especializados están subrepresentados. Un agente minorista, por ejemplo, podría ofrecer recomendaciones de productos menos confiables a los clientes que hablan idiomas menos representados.
Procesos de toma de decisiones opacos: A medida que los agentes combinan modelos de lenguaje grandes con sistemas externos, el seguimiento del "por qué" detrás de sus decisiones puede convertirse en un desafío. Un usuario que usa este tipo de agente puede resultar difícil entender por qué se eligieron ciertas herramientas o combinaciones de herramientas para responder a una consulta, complicar la confianza y la comprobación de las salidas o acciones del agente.
Evolución de los procedimientos recomendados y estándares: Los agentes son una tecnología emergente y las instrucciones sobre la integración segura, el uso de herramientas transparente y la implementación responsable siguen evolucionando. Mantenerse al día con los procedimientos recomendados y los procedimientos de auditoría más recientes es fundamental, ya que incluso los usos bien intencionadas pueden convertirse en riesgos sin revisión y refinamiento continuos.

Rendimiento del sistema

Procedimientos recomendados para mejorar el rendimiento del sistema

Evaluar el rendimiento del agente: evalúe los agentes para identificar las solicitudes de usuario de forma confiable, seleccione las herramientas y los procesos adecuados y se ajuste a las tareas asignadas. Use los siguientes evaluadores Microsoft Azure AI Evaluation SDK:
- Resolución de intenciones: mide la forma en que el agente identifica la solicitud del usuario, lo que incluye el alcance de la intención del usuario, formula preguntas aclarantes y recuerda a los usuarios finales su ámbito de funcionalidades.
- Precisión de la llamada a la herramienta: evalúa la capacidad del agente para seleccionar las herramientas adecuadas y procesar los parámetros correctos de los pasos anteriores.
- Cumplimiento de tareas: mide la forma en que la respuesta final del agente se adhiere a sus tareas asignadas, según su mensaje del sistema y los pasos anteriores.
Proporcione datos de confianza: Recuperar o cargar datos que no son de confianza en los sistemas podría poner en peligro la seguridad de los sistemas o aplicaciones. Para mitigar estos riesgos en las aplicaciones que usan el servicio agente, se recomienda registrar y supervisar las interacciones de LLM (entradas y salidas) para detectar y analizar posibles inyecciones de mensajes, delimitando claramente la entrada del usuario para minimizar el riesgo de inyección de mensajes, restringir el acceso de LLM a recursos confidenciales, limitar sus funcionalidades al mínimo requerido y aislarla de los sistemas y recursos críticos. Obtenga información sobre los enfoques de mitigación adicionales en la guía de seguridad para modelos de lenguaje grande.
Elija e integre las herramientas cuidadosamente: Seleccione herramientas estables, bien documentadas y adecuadas para los objetivos y usos previstos del agente. Por ejemplo, use un conector de base de datos confiable para búsquedas fácticas o una API bien probada para ejecutar acciones específicas. Limite el número de herramientas a las que realmente mejoran la funcionalidad y especifique cómo y cuándo debe usarlo el agente.
Proporcione controles proactivos de usuario para los límites del sistema: Considere la posibilidad de crear controles de usuario para proporcionar a los usuarios que operan el agente de IA la capacidad de establecer de forma proactiva límites en qué acciones o herramientas se permiten y en qué dominios puede operar el agente.
Establezca la supervisión en tiempo real y los procesos humanos en el bucle: Considere la posibilidad de proporcionar a los usuarios controles adecuados en tiempo real para autorizar, comprobar, revisar y aprobar el comportamiento del sistema agente, incluidas acciones, tareas planeadas, entornos operativos o límites de dominio, y acceso a herramientas de conocimiento o acción. Especialmente para las tareas críticas o de alto riesgo, considere la posibilidad de incorporar pasos obligatorios de revisión y aprobación humanas por parte del usuario. Asegúrese de que un usuario o operador humano pueda intervenir, corregir o invalidar fácilmente las decisiones del agente, especialmente cuando esas decisiones tienen implicaciones legales o de seguridad. Para obtener más información, consulte Uso excesivo de la inteligencia artificial.
Garantizar la inteligibilidad y la rastreabilidad de la toma de decisiones humanas: proporcione a los usuarios información antes, durante y después de realizar acciones para ayudarles a comprender las justificaciones de las decisiones, identificar dónde intervenir y solucionar problemas. Incorpore la instrumentación o el sistema de registros en el sistema, como los seguimientos de OpenTelemetry de Agent Service para supervisar los resultados, como instrucciones, pasos de modelos y llamadas a herramientas. Esto permite la reconstrucción del proceso de razonamiento del agente, el aislamiento de problemas, la optimización de avisos, el refinamiento de la integración de herramientas y la comprobación del cumplimiento de las directrices. Para más información, consulte Seguimiento mediante Application Insights.
Instrucciones y orientación del agente de capa: Desglosar las tareas complejas en pasos o subinstrucciones dentro de la indicación del sistema. Esto puede ayudar al agente a abordar el razonamiento de varios pasos de forma más eficaz, lo que reduce los errores y mejora la claridad de la salida final.
Reconocimiento de umbrales de complejidad para el escalado: Cuando el mensaje del sistema de un solo agente lucha constantemente para controlar la complejidad, amplitud o profundidad de una tarea, como producir resultados incompletos con frecuencia, alcanzar cuellos de botella de razonamiento o requerir un amplio conocimiento específico del dominio, el sistema puede beneficiarse de la transición a una arquitectura multiagente. Como procedimiento recomendado, supervise indicadores de rendimiento como la precisión de la respuesta, la latencia y la frecuencia de error. Si los refinamientos en el mensaje del agente único ya no producen resultados mejorados, considere la posibilidad de descomponer la carga de trabajo en subtareas especializadas, cada una de ellas regulada por su propio agente. Al segmentar tareas complejas (por ejemplo, dividir la investigación de directivas y la interpretación de directivas en agentes independientes), puede mantener la modularidad, usar conocimientos de dominio especializados de forma más eficaz y reducir la sobrecarga cognitiva en cualquier único agente.

Evaluar e integrar el servicio de agentes para su uso

Mapear los riesgos e impactos del agente. Antes de desarrollar o implementar su aplicación agentista, considere cuidadosamente el impacto de las acciones previstas y las consecuencias de que las acciones o el uso de herramientas no funcionen según lo previsto, como actuar sobre información inexacta o causar resultados sesgados o injustos, en diferentes etapas.
Garantizar la supervisión y el control humanos adecuados. Considere la posibilidad de incluir controles para ayudar a los usuarios a comprobar, revisar o aprobar acciones de forma oportuna, lo que puede incluir la revisión de tareas planeadas o llamadas a orígenes de datos externos, por ejemplo, según corresponda para el sistema. Considere la posibilidad de incluir controles para la remediación adecuada de fallos del sistema, especialmente en escenarios de alto riesgo y casos de uso. Por ejemplo, la herramienta MCP permite pasar encabezados personalizados, como claves de autenticación o esquema, según sea necesario para un servidor MCP remoto. En casos como este, se recomienda revisar todos los datos que se comparten con servidores remotos y, opcionalmente, registrarlos con fines de auditoría. Sea consciente de las prácticas de terceros para la retención y la ubicación de los datos.
Defina claramente las acciones y los requisitos asociados. Definir claramente qué acciones están permitidas (límites de acción), prohibidas o necesitan autorización explícita puede ayudar al sistema agente a operar según lo previsto y con el nivel adecuado de supervisión humana.
Defina claramente los entornos operativos previstos. Defina claramente los entornos operativos previstos (límites de dominio) donde el agente está diseñado para realizar de forma eficaz.
Asegúrese de la inteligibilidad adecuada en la toma de decisiones. Proporcionar información a los usuarios antes, durante y después de que se realicen acciones o se llame a herramientas, puede ayudarles a comprender la justificación de la acción o por qué se han realizado determinadas acciones o la aplicación se comporta de una manera determinada, dónde intervenir y cómo solucionar problemas.

Siga las mejores prácticas adicionales para inteligencia artificial generativa según corresponda para su sistema, incluidas las recomendaciones en la Nota de Transparencia de Azure OpenAI.