Monitorizar el rendimiento de los agentes en Copilot Studio

Note

Este artículo describe características utilizadas en agentes o flujos de agentes alimentados por el arnés estándar.

Use análisis para comprender cómo de bien es el rendimiento del agente y para identificar áreas de mejora.

La página Monitor en Copilot Studio resume métricas clave y proporciona análisis de uso para los componentes de tu agente. Abre métricas individuales para explorar los datos subyacentes.

La experiencia Monitor está adaptada tanto para agentes conversacionales como para agentes autónomos.

La monitorización está disponible en todas las geografías. Los datos del monitor están disponibles hasta 360 días. Los detalles de la sesión y la información de transcripción están disponibles durante los últimos 28 días. Las marcas de fecha y hora en los análisis de datos están en Tiempo Universal Coordinado (UTC). Las marcas de fecha y hora incluyen las horas de inicio y fin del día, las horas de las sesiones y cualquier otro marcador de tiempo en los datos de tu agente.

Note

La página de Monitor no muestra las analíticas de la actividad que completas cuando pruebas a tu agente en Copilot Studio usando el panel de pruebas.

Conceder acceso limitado solo de lectura a análisis

Si eres el propietario del agente, comparte el agente con el rol de compartición Analytics Viewer para conceder acceso solo a su página Monitor. Para acceder a la información de transcripciones de la conversación, la persona también debe tener el rol de seguridad Bot Transcript Viewer.

Más información en Compartir el análisis de un agente.

Importante

Como propietario del agente, solo puede compartir el rol visor de Analytics con individuos y no con grupos de usuarios.

Para acceder a la página de Monitor de tu agente:

1. Abrir su agente en Copilot Studio.
2. Selecciona Monitor en la barra de menú superior.

Summary

El área Resumen usa Copilot para generar un resumen de inteligencia artificial de información de análisis clave sobre el agente. Seleccione Ver más para ver la lista completa de conclusiones resumidas.

Ayuda a comprender rápidamente los temas comunes y las métricas e identificar áreas para mejorar de su agente, resumiéndolos en una lista con viñetas para el periodo de informes seleccionado. Esta lista puede incluir métricas de compromiso, sentimiento y feedback de los clientes, así como tendencias desde el último periodo de informe.

Resumen de comentarios de clientes (vista previa)

[Esta sección es documentación preliminar y está sujeto a cambios.]

El resumen de comentarios de clientes te ayuda a entender el sentimiento general de los clientes hacia el agente a partir de comentarios y opiniones. Las conclusiones se priorizan en función del volumen de comentarios relacionados y su importancia general. El resumen filtra los comentarios de bajo valor o irrelevantes, y agrupa los comentarios relacionados.

Importante

Este artículo contiene la documentación de la versión preliminar de Microsoft Copilot Studio y está sujeto a modificaciones.

Las funciones de vista previa no están diseñadas para uso en producción y pueden tener una funcionalidad restringida. Estas características están disponibles antes del lanzamiento oficial para que pueda tener acceso anticipado y proporcionar comentarios.

Si está creando un agente listo para producción, consulte Información general sobre Microsoft Copilot Studio.

Para dar feedback a Microsoft sobre esta sección, selecciona Pulgar arriba o Pulgar abajo. Utiliza el panel Enviar comentarios a Microsoft para añadir un comentario y elegir si compartir archivos relacionados.

1. En el panel Enviar comentarios a Microsoft , describa en lenguaje natural lo que le gusta o no le gusta, en función del icono que haya seleccionado para abrir el panel.
2. Elige si compartir prompt, respuesta generada, muestras de contenido relevantes y archivos de registro adicionales.
3. Seleccione Enviar.

Overview

Consulta un resumen general del rendimiento en el área Overview y luego explora métricas individuales con más detalle.

Usuarios activos

Las métricas de usuario activo muestran la adopción de un agente conversacional y cómo cambia con el tiempo. Un usuario activo es un usuario único que interactúó con el agente conversacional al menos una vez durante el período del informe. La página de Monitor muestra usuarios activos diarios (DAU) y usuarios activos mensuales (MAU). El recuento diario cubre un día completo de 24 horas en UTC. El recuento mensual se ajusta al mes natural en UTC.

Importante

La característica Métricas de usuario activo solo se admite si establece el agente para requerir autenticación en Configuración>Autenticación de seguridad>.

El promedio de DAU para el período seleccionado, más su porcentaje de cambio desde el período anterior, aparece como un indicador clave de rendimiento (KPI) en la sección Información general .

Note

La fórmula de la métrica calculada media de DAU es: (sum of all full-day active user counts in the period) / (count of full days in the period).

Para ver más detalles sobre los recuentos de usuarios activos diarios y mensuales a medida que tendencia a lo largo del tiempo, seleccione el botón Ver usuarios activos en la esquina superior derecha del panel de información general.

Solo sesiones conversacionales

Analytics para agentes conversacionales en Copilot Studio rastrean la interacción del usuario con el agente e intentan medir cómo de bien maneja el agente las tareas de los usuarios.

El análisis conversacional utiliza los siguientes conceptos y términos:

• Las conversaciones son una interacción continua entre un usuario específico, o un grupo de usuarios, en un canal y tu agente.

• Las conversaciones pueden pausarse y reanudarse más tarde, o transferirse a un representante del servicio al cliente. La conversación puede ser unidireccional, ya sea del cliente al agente, o del agente al cliente, pero más comúnmente es una interacción de ida y vuelta entre el cliente y el agente.

• Un chat se agota después de 30 minutos de inactividad.

• Para los agentes publicados en el canal de telefonía, las conversaciones expiran 3 minutos después de un evento Fin de Conversación.

• Una sola conversación puede contener una o más sesiones de análisis.

• Una sesión analítica impulsada por Standard harness está asociada al último tema personalizado activado por un usuario. Si la sesión no incluye temas personalizados, es el último tema del sistema que el usuario ha activado directamente.

Solo sesiones de desencadenadores de eventos

Un agente autónomo es un agente con un desencadenador de eventos. Estos agentes solo admiten análisis para agentes con desencadenadores.

Una sesión de análisis para agentes con desencadenadores realiza un seguimiento desde el momento en que un agente recibe un payload de un desencadenador hasta las acciones que el agente ejecuta en respuesta. Estas sesiones de análisis capturan a qué está respondiendo su agente y cómo de bien funciona su agente.

Note

Si se genera un error en un desencadenador y el agente no recibe una carga útil del desencadenador, no se puede iniciar una sesión de análisis. Analytics rastrea solo las ejecuciones desencadenadas correctamente.

Vista híbrida: sesiones tanto conversacionales como desencadenadas por eventos

Cuando los datos de tu agente incluyen sesiones de al menos una conversación y al menos una ejecución basada en desencadenantes durante el periodo del informe, la página de Monitor muestra una vista híbrida de métricas relevantes tanto para sesiones conversacionales como autónomas. En esta visión, las secciones de Visión General y Efectividad muestran métricas lado a lado tanto para las sesiones conversacionales como para las que se desencadenan por eventos. La sección Uso permite seleccionar entre conversaciones o ejecuciones, que solo muestra los datos pertinentes. Al seleccionar Todo se muestran todos los datos relacionados con el uso. En la sección Satisfacción se muestran las métricas de satisfacción de las sesiones conversacionales.

Más información en:

• Monitor de efectividad del agente conversacional para métricas de sesiones conversacionales

• Monitorizar la salud del agente autónomo para métricas de sesión activadas por eventos

Descargar las transcripciones conversacionales

Puedes descargar las transcripciones de las sesiones en Copilot Studio para los periodos de los últimos 28 días. Puede pasar hasta una hora después de que termina una sesión de analítica antes de que los datos relacionados aparezcan en el panel de análisis. Infórmese más sobre disponibilidad, permisos y pasos para descargar en Descargar transcripciones de conversaciones en Copilot Studio.

La retención de transcripciones en Dataverse es independiente de la ventana de datos de sesión de 28 días en Copilot Studio. Más información en Descargar transcripciones de conversaciones en Power Apps.

Análisis de uso de temas

En Copilot Studio, un tema define cómo progresa una conversación del agente y representa una parte de una conversación entre un usuario y un agente. El panel de Monitor de temas muestra cómo está funcionando un tema individual, incluyendo con qué frecuencia se activa, cómo se resuelven las sesiones que lo incluyen y qué tan satisfechos están los usuarios con esas sesiones. Utiliza estos conocimientos para identificar temas que suelen agravarse o ser abandonados, y luego priorízalos para mejorar. Obtenga más información en Temas de creación y edición.

Note

Topic Monitor solo está disponible para agentes impulsados por Standard harness y para temas asociados a una sesión. Si tu agente usa orquestación generativa, utiliza resultados de la conversación y temas en la página Monitor en su lugar.

Para ver el tema Panel de Monitor:

1. Ve a la página de Temas de tu agente en Copilot Studio.

2. Seleccione el tema que desea analizar. Si no hay temas disponibles, consulte Creación y edición de temas.

3. En la esquina superior derecha de la página de Temas, selecciona Más (...) >Monitor.

El panel Monitor de temas muestra:

• Resultados del tema: gráfico de resultados de sesión, Escalated, Resolvedy Abandoned, para sesiones en las que se desencadenó este tema. Use este gráfico para evaluar rápidamente el estado del tema. Una alta proporción de Escalated resultados o Abandoned puede significar que el tema necesita mejora.
• Uso total de temas: gráfico de la tendencia de resultados del tema a lo largo del tiempo. Úselo para detectar regresiones, por ejemplo, un pico en sesiones abandonadas después de editar un tema o para confirmar que los cambios recientes mejoraron las tasas de resolución.
• Puntuación de satisfacción del cliente: puntuación basada en las respuestas de encuestas de usuarios de sesiones asociadas a este tema.
• Tendencia de puntuación de satisfacción: gráfico que muestra cómo cambia la puntuación de satisfacción a lo largo del tiempo. Utiliza esta tendencia para identificar los periodos en los que el sentimiento del usuario disminuyó o mejoró.

Para cambiar el rango de tiempo, selecciona el menú desplegable de rango de tiempo en la parte superior del panel Monitor del tema.

Información relacionada

Medición de la rentabilidad de la inversión (ROI) y el valor empresarial de los agentes de inteligencia artificial