Monitorizar la efectividad del agente conversacional

Note

Este artículo describe características utilizadas en agentes o flujos de agentes alimentados por el arnés estándar.

Utiliza la página Monitor en Copilot Studio para revisar la eficacia de tu agente conversacional durante las sesiones de analítica. Identifica dónde tienen éxito o se descomponen las conversaciones, revisa los comentarios de los usuarios y busca oportunidades para mejorar las respuestas y el uso de herramientas.

Revise las siguientes áreas:

• Las áreas de Resumen, Información general y Ahorro muestran información clave, indicadores clave de rendimiento (KPI) y estimaciones de ahorro de tiempo y costes.
• La sección de Métricas Personalizadas (vista previa) te permite definir métricas específicas de negocio para los casos de uso de tu agente.
• La sección Eficacia le ayuda a evaluar la calidad de las experiencias del usuario mostrando dónde se realizan correctamente las conversaciones, dónde se desglosan y cómo se sienten los usuarios sobre los resultados.
• La sección Uso le ayuda a mejorar el rendimiento operativo mostrando cómo el agente responde a preguntas, cómo las herramientas y los orígenes de conocimiento de forma confiable admiten esas respuestas y dónde pueden aumentar la cobertura y la coherencia de las actualizaciones dirigidas.

Puede ver análisis de eventos que se produjeron en los últimos 360 días.

Métricas personalizadas (versión preliminar)

[Esta sección es documentación preliminar y está sujeto a cambios.]

La sección Métricas personalizadas le permite definir hasta tres métricas específicas de la empresa en lenguaje natural y realizar un seguimiento de la frecuencia con la que cada resultado aparece en sesiones muestreadas. Use estas métricas para complementar la información de análisis estándar con indicadores que reflejen los objetivos y el uso empresarial del agente.

Importante

Este artículo contiene la documentación de la versión preliminar de Microsoft Copilot Studio y está sujeto a modificaciones.

Las funciones de vista previa no están diseñadas para uso en producción y pueden tener una funcionalidad restringida. Estas características están disponibles antes del lanzamiento oficial para que pueda tener acceso anticipado y proporcionar comentarios.

Si está creando un agente listo para producción, consulte Información general sobre Microsoft Copilot Studio.

Los usuarios con el privilegio Bot Transcript Viewer pueden acceder a una lista de sesiones de clientes filtradas según el segmento seleccionado del gráfico de donuts. Selecciona una sesión individual para ver el razonamiento detrás de la métrica y accede a su transcripción.

Aprende más sobre cómo crear, probar y perfeccionar métricas en Monitor your agent with custom metrics (preview).

Efectividad

En la sección Eficacia se muestran los comentarios de los usuarios recopilados de reacciones, respuestas del agente, resultados de la encuesta y puntuación de opinión de una sesión. La eficacia se divide en muchas subsecciones:

• Resultados de la conversación: Conocer el resultado final de una conversación te ayuda a empezar a identificar en qué aspectos tu agente está funcionando bien y en cuáles necesita mejorar.
• Reacciones: respuestas de los usuarios, incluidas las valoraciones positivas o negativas y los comentarios de los usuarios sobre respuestas específicas del agente.
• Satisfacción del cliente: mostrar la puntuación de satisfacción del cliente (CSAT).
• Opinión (versión preliminar): análisis de sentimiento basado en IA para toda la sesión.
• Agentes: Consultar métricas del volumen de llamadas, índices de éxito y el estado actual de los agentes subordinados y conectados.

El sistema almacena los datos de retroalimentación en la conversation transcript table en Dataverse.

Resultados de la conversación

En la sección Resultados de conversación se muestra un gráfico que realiza un seguimiento del tipo de resultado de cada sesión entre el agente y los usuarios.

El gráfico muestra un histograma apilado o un gráfico de áreas apiladas con los resultados de las sesiones. Resuelto, Escalado, Abandonado y No Comprometido tienen cada uno un color correspondiente en la leyenda. El eje Y señala el número de sesiones.

Para ver métricas de un resultado en un día específico, utiliza la legenda del gráfico para identificar el resultado y luego pasa el cursor sobre su segmento correspondiente a ese día.

Para descargar datos de resultados de conversación, abre el menú gráfico y selecciona Descargar CSV.

Note

Si eliminas algún resultado del gráfico al descargar, sus datos no aparecen en el CSV.

Para abrir un panel lateral con información detallada sobre los resultados de la conversación, seleccione Ver detalles en el gráfico. El panel lateral Resultados de la conversación incluye:

• Un desglose circular de los resultados de la sesión, que muestra la ponderación relativa (expresada como porcentaje) de resultados Resueltos, Escalados y Abandonados.
• Gráfico de barras apiladas que muestra la ponderación relativa (expresada como porcentaje) de las razones de resultados Resolución confirmada y Resolución implícita describiendo todos los resultados de sesiones resueltas.
• Gráfico de barras apiladas que muestra la ponderación relativa (expresada como porcentaje) del Sistema previsto, Sistema no deseado y los motivos de resultados Solicitados por el usuario que describen todos los resultados de sesión escalados.
• Los temas principales que llevaron a cada resultado.

Note

Para ver un mensaje emergente con información de recuento sin procesar, pase el cursor sobre cualquiera de los segmentos del gráfico circular o del gráfico de barras apiladas.

Una sesión se divide en uno de los siguientes dos estados:

• Sin compromiso: una sesión comienza cuando un usuario interactúa con el agente o cuando el agente envía un mensaje proactivo al usuario. La sesión comienza en un estado desconectado.

• Comprometido: el usuario interactúa activamente con el agente. Hay una diferencia en el comportamiento en función del modo de orquestación del agente.

  • Orquestación clásica: una sesión se activa cuando se desencadena uno de los temas siguientes:

    • Tema personalizado desencadenado directamente por el usuario
    • Escalado de temas
    • Tema alternativo
    • Tema para mejorar la conversación

  • Orquestación de IA generativa: una sesión se activa cuando un usuario desencadena directamente un plan e incluye uno de los siguientes elementos:

    • Tema fuera del sistema
    • Escalado de temas
    • Tema alternativo
    • Un origen de conocimiento
    • Una herramienta

Una sesión activa tiene uno de los siguientes resultados:

Categoría de resultados	Resultado	Description
Resuelto		Una sesión finaliza exitosamente. Hay dos tipos de sesiones resueltas: Resueltas confirmadas y Implícitas.
	Resolución confirmada	Una sesión se considera Resuelta confirmada cuando se desencadena el tema Fin de la conversación y el usuario confirma que la interacción fue un éxito.
	Resuelto implícito	Una sesión está Resuelta implícita cuando la sesión se completa sin confirmación del usuario, sino en función de la lógica del agente. El estado implícito Resuelto depende de si el agente usa la orquestación de IA clásica o generativa: - Orquestación clásica: una sesión se considera Resuelta implícita cuando se desencadena el tema Fin de conversación y el usuario permite que se agote el tiempo de espera de la sesión sin proporcionar una confirmación. - Orquestación de IA generativa: una sesión se considera resuelta-implícitamente cuando una sesión expira y no quedan planes activos. Un plan activo es un plan que está esperando la entrada de un usuario.
Remitido a una instancia superior		Una sesión finaliza pero se considera Escalada cuando se activa el tema Escalar o se ejecuta un nodo de Transferencia al agente (la sesión de análisis actual finaliza, independientemente de si la conversación se transfiere a un agente en vivo o no). Hay tres tipos de sesiones escaladas: Sistema previsto, Sistema no deseado y Usuario solicitado.
	Sistema previsto	Una sesión se escala automáticamente como resultado de una regla de negocio automática establecida por un creador. La escalada es un resultado esperado de la conversación y no es algo que necesite investigación o cambio. Ejemplo: Un usuario desea transferir más de 25 000 $ a un tercero. Esta cantidad supera un umbral en una regla de negocios y la sesión se escala automáticamente como resultado.
	Sistema no deseado	Una escalación se produce automáticamente como resultado de que una sesión supere uno o varios umbrales establecidos por un creador. Normalmente, este resultado indica que el usuario está atrapado en la conversación y necesita ayuda. Ejemplo: Una sesión se amplía después de tres fallos al realizar una tarea específica.
	Solicitado por el usuario	Se escala una sesión porque había una solicitud de usuario explícita durante la conversación. Ejemplo: un usuario escribe Transfer me to an agent.
Abandonado		Una sesión finaliza y se considera Abandonada cuando una sesión participativa se agota después de 30 minutos y no alcanza un estado resuelto ni escalado.

También puede establecer el resultado de las herramientas con el conversationOutcome parámetro mediante el editor de código de la herramienta. Por ejemplo, conversationOutcome: ResolvedConfirmed para un éxito confirmado o conversationOutcome: ResolvedImplied para un éxito implícito.

Reacciones

En la sección Reacciones se muestran los comentarios de los usuarios recopilados de las reacciones a las respuestas del agente. El gráfico cuenta el número de veces que los usuarios seleccionaron los botones de pulgar arriba (positivo) o pulgar abajo (negativo) disponibles en cada respuesta que recibieron de su agente.

Note

• Los agentes publicados en el canal de Microsoft Copilot requieren el consentimiento del administrador en el Centro de administración de Microsoft 365 para compartir comentarios de los usuarios, incluyendo reacciones y comentarios. Puedes ver estos comentarios en la página de Monitor . Más información en la configuración del agente en el centro de administración de Centro de administración de Microsoft 365.
• Las reacciones del canal de Microsoft Copilot no se agregan ni cuentan en la columna de Reacciones en las secciones de Temas y Uso de la fuente de conocimiento.
• Para ver los comentarios, debe tener el rol de seguridad Visor de transcripción de bot.

La función de Reacciones está activada por defecto en todos los canales excepto en el canal de Microsoft Copilot. Puede desactivar esta característica, si lo desea. También puede agregar o editar un descargo de responsabilidad para los usuarios sobre cómo se usan sus comentarios:

1. Abre el agente, ve a Configuración y busca la sección de opiniones de usuarios .

2. Encienda Recopilar reacciones de usuario a los mensajes del agenteActivado o Desactivado.

3. Agregue o edite un descargo de responsabilidad para que los usuarios sepan cómo se usan sus comentarios. También puede proporcionar información y consejos sobre privacidad.

Los usuarios con el privilegio Bot Transcript Viewer pueden explorar en profundidad las respuestas del agente para las reacciones individuales y filtrar por los comentarios del usuario.

Ver tendencias de reacción a lo largo del tiempo

Seleccione Ver detalles en el icono Reacciones para abrir el panel lateral Reacciones . En el panel se muestra cómo las reacciones positivas y negativas (de Pulgar hacia arriba y Pulgar hacia abajo) evolucionan a lo largo del tiempo.

Satisfacción del cliente

La sección Satisfacción del cliente muestra información sobre la satisfacción del usuario en función de los resultados de la encuesta de usuarios:

• Puntuación de satisfacción: una puntuación de 5 calculada a partir de las puntuaciones medias de satisfacción del cliente (CSAT) para las sesiones en las que los usuarios respondieron a las solicitudes de fin de sesión para realizar una encuesta.

  Note

  Las puntuaciones de 1 y 2 se asignan a Insatisfechos, una puntuación de 3 se considera Neutro y las puntuaciones de 4 y 5 se asignan a Satisfecho.

• Satisfacción por sesión: Un gráfico de barras apiladas que visualiza el peso relativo de cada una de las categorías de puntuación de la encuesta, que son Dissatisfied, Neutral, y Satisfied. Pasa el cursor sobre cada segmento del gráfico para ver el tamaño de la muestra y el valor numérico del peso de cada categoría de puntuación. Para los usuarios con el privilegio de Visualizador de Transcripciones de Bot, pueden profundizar en una lista de sesiones de clientes filtradas en función de la parte del segmento de la barra seleccionada.

Seleccione Ver detalles para ver la tendencia de puntuación de satisfacción durante el período de tiempo seleccionado.

Sentimiento (versión preliminar)

[Esta sección es documentación preliminar y está sujeto a cambios.]

El análisis de sentimiento utiliza IA para examinar los mensajes de usuario de una muestra de sesiones con el fin de evaluar el sentimiento general del usuario hacia el agente. El valor numérico representa el porcentaje de sesiones con un sentimiento negativo del usuario.

Importante

Este artículo contiene la documentación de la versión preliminar de Microsoft Copilot Studio y está sujeto a modificaciones.

Las funciones de vista previa no están diseñadas para uso en producción y pueden tener una funcionalidad restringida. Estas características están disponibles antes del lanzamiento oficial para que pueda tener acceso anticipado y proporcionar comentarios.

Si está creando un agente listo para producción, consulte Información general sobre Microsoft Copilot Studio.

Seleccione Ver detalles para ver los datos de opinión para la ponderación relativa de cada una de las categorías de opinión (siendo Positive, Neutraly Negative).

Puede activar y desactivar el análisis de sentimiento del agente en Configuración. Cuando se desactiva el análisis de sentimiento, la opinión del usuario no se analiza durante las sesiones.

1. Vaya a Configuración y seleccione Avanzadas.

2. Activa o desactiva el Análisis de Sentimiento .

   

Agents

La lista Agentes muestra métricas de estado, rendimiento y volumen de alto nivel para los agentes conectados y secundarios del agente principal. La lista identifica el tipo de relación que el agente listado tiene con su agente principal en la columna Tipo. Si un agente es un agente secundario, su tipo es Child. Los agentes conectados tienen un tipo enumerado que refleja dónde se crearon (por ejemplo, Copilot Studio, Fundición de IA de Azure). La métrica Llamadas para cada agente enumerado describe el volumen de llamadas del agente principal al agente conectado o secundario. La tasa de éxito refleja la proporción de llamadas (como un % de todas las llamadas) que se completaron correctamente. El estado indica el estado administrativo individual para cada agente conectado y secundario.

Por defecto, la lista Agents muestra los cinco agentes principales conectados e hijos de tu agente principal, clasificados de mayor a menor número total de preguntas. Si hay más de cinco agentes, seleccione Ver todo para mostrar todos los agentes.

Note

El botón Ver todo solo está visible si hay más de cinco agentes conectados o secundarios al agente principal.

Use

La sección Uso le ayuda a comprender cómo interactúan los usuarios con el agente y dónde mejorar la confiabilidad de las respuestas. El uso se divide entre muchas subsecciones:

• Temas: los temas le ayudan a obtener información de análisis agrupando preguntas de usuario en categorías sugeridas por IA.
• Tasa y calidad de respuesta generadas: Identifica cuándo tu agente tiene dificultades para responder preguntas y cómo utiliza fuentes de conocimiento para mejorar su tasa y calidad de respuesta.
• Uso de herramientas: aprender con qué frecuencia se usan las herramientas y la frecuencia con la que se realizan correctamente puede ayudarle a comprender si esas herramientas son útiles y correctas para los usuarios.
• Uso del origen de conocimiento: aprender con qué frecuencia se usan los orígenes de conocimiento individuales y la frecuencia con la que devuelven errores le ayuda a mejorar la calidad y la cobertura de las respuestas del agente.

Tasa de respuesta generada y calidad

Con respuestas generativas, tu agente puede usar IA para generar respuestas a las consultas de los usuarios utilizando fuentes de conocimiento y las instrucciones que proporcionas. Sin embargo, es posible que el agente no pueda responder a todas las consultas de usuario. La sección Tasa de respuestas generada y calidad realiza un seguimiento, organiza y analiza las consultas sin respuesta y la calidad de respuesta para proporcionarle instrucciones para mejorar el rendimiento de respuesta del agente.

La tasa de respuestas muestra el número de preguntas respondidas y no respondidas dentro del período de tiempo seleccionado y el porcentaje de cambio a lo largo del tiempo.

La calidad de respuesta mide la calidad de las respuestas mediante la inteligencia artificial. Copilot Studio analiza una muestra de preguntas respondidas para verificar su completitud, relevancia y fundamentación. Si una respuesta cumple con un estándar establecido, Copilot Studio la etiqueta como de Buena calidad. Las respuestas que no cumplen ese estándar se etiquetan Baja calidad. Para respuestas malas, Copilot Studio asigna una razón para la calificación de calidad y muestra el porcentaje de respuestas asignadas a cada categoría.

Mantenga el puntero sobre cualquier segmento de una barra del gráfico para ver la ponderación relativa de un motivo individual para una etiqueta de calidad Buena o Mala. El cuadro de información también indica el número de respuestas muestreadas para llegar al valor de porcentaje calculado.

En la leyenda debajo del gráfico, pase el mouse por encima de cualquiera de las razones de etiqueta de calidad para resaltar esa razón en el gráfico.

Seleccione un segmento del gráfico de barras para abrir una página de preguntas de usuario filtradas en esa calidad de respuesta. Seleccione Ver preguntas para ver una lista sin filtros de todas las preguntas dentro del periodo de tiempo configurado.

Uso de herramientas

La sección de Uso de herramientas muestra un gráfico y métricas que registran con qué frecuencia se inician tus herramientas con el tiempo y con qué frecuencia tu agente las utiliza con éxito. También muestra indicadores de tendencia para la frecuencia con la que el agente usa cada herramienta y el porcentaje de herramientas llamadas usadas correctamente.

El gráfico muestra las cinco principales herramientas utilizadas durante el intervalo de fechas definido en la parte superior de la página Monitor.

En la leyenda bajo el gráfico, pasa el cursor sobre cualquiera de las herramientas para resaltar esa herramienta en el gráfico.

Para abrir un panel lateral con una lista de todas las herramientas usadas en el período de tiempo especificado, junto con los indicadores de tendencia, seleccione Ver detalles en el gráfico. En el panel Uso de herramientas, puede mostrar cálculos del porcentaje de preguntas usadas para cada herramienta. Si el agente tiene agentes secundarios, puede elegir mostrar cálculos tanto para el agente principal como para los agentes secundarios (Todos), solo para el agente principal o solo para el agente secundario.

Uso de origen de conocimiento

La sección Uso del origen de conocimiento proporciona información sobre cómo usa el agente sus orígenes de conocimiento y con qué frecuencia devuelven esos orígenes los errores. Aprende más en Uso de fuentes de conocimiento.