Uso de la herramienta de pruebas y evaluaciones del plan
El agente de asistencia ahora tiene añadida y descrita la herramienta para consultar el estado de las solicitudes de equipo y enviarlas, pero una respuesta que parece correcta no demuestra que la herramienta prevista se haya ejecutado con los datos de entrada correctos. En esta unidad, aprenderá a confirmar el uso de la herramienta en versión preliminar con el seguimiento de actividad y a decidir qué casos de uso de herramientas se deben seguir comprobando a medida que cambia el agente.
Planear solicitudes positivas y negativas antes de probar
Una solicitud de prueba solo es útil cuando se sabe lo que debe ocurrir. Decida el resultado esperado para cada solicitud antes de enviarlo en la pestaña Vista previa , de modo que tenga algo específico para comparar el comportamiento del agente.
Planee dos tipos de solicitudes. Una petición afirmativa debe hacer que el agente invoque la herramienta. Una solicitud negativa no debería, ya sea porque otra fuente le da respuesta o porque el agente primero necesita más información.
Para cada petición, anote la herramienta y la acción que espera que el agente invoque, si corresponde, los valores de entrada que espera que envíe y el resultado que espera recibir. En la tabla siguiente se muestra un plan para el agente de ayuda.
| Solicitud | Herramienta esperada | Entradas esperadas | Resultado esperado |
|---|---|---|---|
| "¿Cuál es el estado de la solicitud 1042?" | Estado y envío de solicitudes de equipo, Obtener elemento si 1042 es el identificador del elemento de SharePoint | Id. de elemento 1042 | Estado almacenado actualmente en el elemento 1042, si el autor de la llamada tiene acceso |
| "Necesito una nueva base para portátiles." | Estado y envío de la solicitud de equipo, Crear elemento, después de que el empleado confirme | Detalles confirmados por el empleado | Nuevo elemento de la lista y su número de solicitud |
| "¿Quién califica para un segundo monitor?" | Ninguno, porque el conocimiento lo responde | Ninguno | Una respuesta fundamentada en los documentos de directiva |
| "¿Cuál es el estado de mi solicitud?" | Ninguno hasta que el empleado proporcione un número de solicitud | Ninguno | El agente solicita el número de solicitud. |
Las dos últimas filas son solicitudes negativas. La pregunta sobre políticas pone a prueba la frontera entre la herramienta y el conocimiento, y la solicitud sin número pone a prueba la instrucción de pedir el número de solicitud que falta.
En este ejemplo, 1042 es el identificador de elemento SharePoint de un registro de prueba que el autor de la llamada puede leer. Antes de enviar la solicitud de estado, abra ese elemento y anote su estado actual, de modo que la búsqueda tenga un valor conocido con el que comparar. Si los números de solicitud usan una columna independiente, configure y pruebe Obtener elementos con un filtro en su lugar.
Más información en Prueba a un agente.
Confirmar lo que se ejecutó en el registro de actividad
El texto de la respuesta indica lo que dijo el agente. No muestra qué herramienta, en su caso, produjo la respuesta, por lo que un estado plausible no constituye una prueba de que se ejecutara la búsqueda. El seguimiento de actividad proporciona esa evidencia.
El seguimiento aparece junto con el chat en la vista de creador, que es el valor predeterminado cuando la vista previa del usuario final está desactivada. Se actualiza en tiempo real a medida que se ejecuta la conversación y cada paso aparece como un nodo:
- Acción realizada: una tarjeta desplegable para la invocación de un conector o una herramienta que muestra el conector, los parámetros de entrada completados y la duración.
- Herramienta y conector: nodos que representan la ejecución de la herramienta.
- Conocimiento: una tarjeta de conocimiento buscado que aparece cuando el agente busca conocimiento.
- Completado: marca de verificación verde que aparece cuando finalizan todas las llamadas a herramientas.
Seleccione un nodo para ver la entrada que envió el agente, la salida que recibió, el tiempo de procesamiento y las métricas y los detalles de los errores. Con esos detalles, compare el seguimiento con el resultado esperado para cada solicitud planeada:
- Herramienta: para una solicitud positiva, confirme que el nodo de ejecución de la herramienta denomina la herramienta y la acción esperadas. Para una solicitud negativa, confirme que no aparece ningún nodo de herramienta. Para la pregunta de directiva, espera un nodo de Conocimiento en su lugar.
- Entradas: compruebe que los parámetros de entrada contienen los valores esperados, como el número de solicitud 1042.
- Resultado: compare la salida con el elemento de la lista. Un estado que no coincide con el elemento apunta a un problema incluso cuando la respuesta se lee bien.
Para la solicitud de envío, compruebe también el orden de los eventos. La tarjeta de acción Ran para Crear elemento debe aparecer solo después de que el empleado confirme los detalles y el nuevo elemento debería aparecer en la lista.
Obtenga más información en Usar la traza de actividad para depurar el agente.
Diagnóstico de problemas de herramientas por capa
Cuando se produce un error en una comprobación, la evidencia de seguimiento apunta a la capa que necesita una corrección. La siguiente tabla organiza los problemas comunes según lo que aparece en la traza.
| Nivel | Pruebas en el seguimiento | Dónde corregir |
|---|---|---|
| Routing | Ningún nodo de herramienta para una solicitud positiva o un nodo para una herramienta o acción diferente | El nombre y la descripción de la herramienta, las instrucciones del agente o si la herramienta se añade o no. |
| Inputs | Nodo de herramienta esperado, con valores de entrada que faltan o no son correctos. | El panel Entradas del cuadro de diálogo Detalles de la herramienta y la parte de la descripción que indica lo que necesita la herramienta |
| Results | La herramienta y las entradas previstas, con una salida incorrecta o incompleta | La configuración de la herramienta, incluidos los parámetros y las acciones seleccionadas, y los datos de la lista |
| Connection | Un nodo Error, como un error de autenticación o un tiempo de espera agotado en una llamada a una herramienta de larga duración | Las credenciales del panel Detalles, la disponibilidad del servicio o su administrador para consultas sobre el acceso |
Compruebe las capas en orden, ya que una capa posterior solo genera evidencias cuando funcionan las anteriores. Si el agente nunca invoca la herramienta, la traza no tiene entradas ni salidas que inspeccionar.
Para pasar de evidencia a una corrección, seleccione la herramienta o el origen en el seguimiento para abrir ese componente en la pestaña Compilar . Después de realizar la corrección, envíe de nuevo la misma solicitud y compare el nuevo seguimiento con el resultado esperado.
Obtenga más información en Administración y eliminación de herramientas en un agente.
Elegir los casos que se mantendrán para la evaluación repetible
La versión preliminar indica si la herramienta funciona en la conversación que está probando ahora. A medida que cambia el agente, la evaluación le permite comprobar de nuevo el mismo comportamiento.
La pestaña Evaluar , actualmente en versión preliminar, proporciona pruebas estructuradas y repetibles en los casos de prueba. Las evaluaciones ayudan a responder a preguntas como "¿El agente llama a las herramientas cuando debería?" y "¿Ha mejorado o degradado la calidad de respuesta un cambio de configuración?" Las dos pestañas se complementan entre sí: se usa la vista previa para explorar y refinar, y se usa Evaluar para validar a escala.
Después de agregar una herramienta, considere la posibilidad de mantener al menos estos casos:
- Un caso positivo: una solicitud que debe llamar a la herramienta, como "¿Cuál es el estado de la solicitud 1042?"
- Caso negativo: una solicitud que no debe invocar la herramienta, como una pregunta sobre políticas.
- Un caso de entrada: una solicitud que comprueba si el agente extrae el número de solicitud de otras palabras, como "¿Puede comprobar el 1042?"
- Una consulta de resultado conocido: una consulta de solo lectura realizada sobre un elemento de prueba autorizado cuyo estado mantienes estable. Una consulta no cambia el elemento, pero aun así debe comprobar los permisos de acceso de la cuenta de evaluación y la sensibilidad de los datos antes de volver a ejecutarla.
Trate las acciones de escritura de forma diferente. Cada ejecución de un caso que crea un elemento agrega otro elemento a la lista. No mantenga un caso de escritura para ejecuciones repetidas a menos que se ejecute con datos de prueba y tenga en cuenta los elementos creados por cada ejecución.
Mantenga el resultado esperado con cada caso para poder comparar los resultados después de los cambios en la herramienta, su descripción, instrucciones o conocimiento. Verifique el registro de llamadas a herramientas en Vista previa cuando necesite confirmar qué acción se ejecutó con qué entradas; una respuesta convincente o un resultado de evaluación por sí solos no bastan para demostrarlo. Antes de reutilizar un caso, confirme que la cuenta que lo ejecuta tiene una conexión activa y acceso a los datos de prueba. La creación, las pruebas y la evaluación de agentes pueden consumir créditos de Copilot, así que mantén el conjunto conservado enfocado en los casos que realmente importan.
Obtenga más información en Versión preliminar y pruebe un agente y Evalúe un agente.
Reflexiona: Para una herramienta dentro de un agente que estás diseñando o desarrollando, ¿qué cuatro casos conservarías para una evaluación repetible? ¿Cuál de ellas puede volver a ejecutarse con datos en producción sin cambiar nada?