Optimizar un agente no termina en el lanzamiento. Copilot Studio ofrece análisis avanzados que te ayudan a entender cómo interactúan los usuarios con tu agente, dónde tienen éxito o fracasan las conversaciones, y qué tan bien utiliza el agente sus herramientas y conocimientos. Este artículo ofrece una lista de verificación estructurada y mejores prácticas para ayudarte a evaluar y mejorar continuamente a tu agente.
Valida tu preparación para la mejora y la analítica
Utiliza estas preguntas durante las revisiones periódicas, como en ceremonias de sprint, optimizaciones mensuales o preparación previa al lanzamiento.
Temas y patrones de intención del usuario
| ¿Hecho? |
Tarea |
| ✓ |
¿Estás revisando temas para identificar grupos de preguntas de usuario e intenciones emergentes? |
| ✓ |
¿Estás añadiendo temas frecuentes a tu lista de mejoras futuras? |
Resultados de la conversación
| ¿Hecho? |
Tarea |
| ✓ |
¿Estás analizando conversaciones resueltas, escaladas, abandonadas y no implicadas para encontrar áreas de mejora? |
| ✓ |
¿Te aseguras de que las conversaciones terminen con el tema de Fin de la Conversación para que los resultados se capturen correctamente? |
| ✓ |
¿Estás investigando picos en sesiones abandonadas para identificar respuestas poco claras o lógica que falta? |
| ✓ |
¿Estás validando que los caminos de escalada solo se activan cuando es apropiado? |
Tasa de respuesta generada y calidad
| ¿Hecho? |
Tarea |
| ✓ |
¿Revisas la tasa de respuestas generada para identificar lagunas en el conocimiento o cobertura que falta? |
| ✓ |
¿Compruebas métricas de calidad de respuestas como la completitud, la estabilidad y la relevancia? |
| ✓ |
¿Investigas respuestas de mala calidad y abordas las razones señaladas en analítica? |
| ¿Hecho? |
Tarea |
| ✓ |
¿Controlas con qué frecuencia se invocan herramientas y acciones y si tienen éxito o fracasan? |
| ✓ |
¿Identificas herramientas poco utilizadas o propensas a errores y decides si optimizarlas o eliminarlas? |
| ✓ |
¿Validas que las herramientas usadas en orquestación generativa funcionan de forma fiable? |
| ¿Hecho? |
Tarea |
| ✓ |
¿Revisas el uso y las tasas de error de todas las fuentes de conocimiento? |
| ✓ |
¿Priorizas las actualizaciones para fuentes de conocimiento con altas tasas de error o resultados inconsistentes? |
| ✓ |
¿Verificais que las fuentes de conocimiento correctas apoyen los escenarios para los que están pensadas? |
Satisfacción y comentarios de los usuarios
| ¿Hecho? |
Tarea |
| ✓ |
¿Estás recopilando la opinión de los usuarios mediante encuestas de aprobación y CSAT? |
| ✓ |
¿Analizas tendencias de feedback para detectar respuestas poco claras o flujos de conversación débiles? |
| ✓ |
¿Estás añadiendo patrones de interacción de baja satisfacción a tu lista de pendientes para el rediseño? |
Señalamientos de mejores prácticas
-
Trata la analítica como un bucle iterativo de mejora: Utiliza la analítica para impulsar cambios incrementales. Utiliza temas, respuestas incompletas y patrones de fallo para informar la planificación de los sprints y priorizar los retrasos.
-
Céntrate en la calidad de los resultados, no solo en el volumen: un sistema saludable maximiza las conversaciones resueltas y minimiza escaladas y abandonos. Utiliza las ratios de resultados como indicador avanzado de claridad y efectividad.
-
Fortalecer las fuentes de conocimiento de forma proactiva: Una alta tasa de error o respuestas de baja calidad suelen apuntar a fuentes de conocimiento poco claras, desactualizadas o desajustadas. Actualiza y reestructura estas fuentes con frecuencia para mejorar la base.
-
Optimiza las herramientas para lograr estabilidad y éxito: Las llamadas a herramientas poco fiables degradan la confianza. Haz un seguimiento de las tasas de éxito y de las acciones de refactorización que fallan con frecuencia o devolven datos inconsistentes.
-
Utiliza temas para identificar nuevas oportunidades: Los temas destacan las intenciones emergentes. Utilízalos para informar nuevos temas, fuentes de conocimiento o necesidades de integración.
-
Asegúrate de que las conversaciones terminen de forma limpia: Utiliza siempre el tema Fin de la Conversación para capturar la resolución y el CSAT. Sin este tema, las analíticas se vuelven incompletas y engañosas.
-
Evaluación separada de agentes autónomos e iniciados por el usuario: Los agentes autónomos dependen en gran medida de los disparadores y cadenas de herramientas. Revisa los resultados de la ejecución y los disparadores por separado de los flujos iniciados por el usuario.
-
Seguimiento del sentimiento a lo largo del tiempo: La retroalimentación aislada es útil, pero las tendencias de sentimiento de varias semanas revelan problemas sistémicos. Investiga las caídas persistentes al principio.