Analizar la efectividad del agente conversacional

[Este artículo es documentación preliminar y está sujeto a modificaciones].

La página Análisis de Copilot Studio proporciona información agregada sobre la eficacia general de su agente en todas las sesiones de análisis.

Hay cuatro áreas principales en las que hay que centrarse a la hora de revisar y mejorar la eficacia de sus agentes:

• Resultados e involucración: conocer el resultado final de una conversación ayuda a empezar a identificar dónde está teniendo éxito el agente y dónde necesita mejorar.
• Tasa de respuestas y calidad: comprender cuándo el agente tiene dificultades para proporcionar respuestas a preguntas del usuario y cómo usa orígenes de conocimiento puede ayudarle a encontrar formas de mejorar la tasa de respuestas y la calidad del agente.
• Uso de herramientas: aprender con qué frecuencia se usan las herramientas y la frecuencia con la que se realizan correctamente puede ayudarle a comprender si esas herramientas son útiles y correctas para los usuarios.
• Satisfacción: revisar los comentarios de los usuarios le ayuda a identificar nuevos escenarios y problemas de usuario y a realizar mejoras basadas directamente en lo que los usuarios solicitan.

Puede ver análisis de eventos que se produjeron en los últimos 90 días.

Resultados e interacción

La sección Resultados e involucración muestra un gráfico que hace un seguimiento del tipo de resultado de cada sesión entre el agente y los usuarios.

Para abrir un panel lateral con un desglose de gráfico circular de los resultados de la sesión, junto con los temas principales que condujeron a cada resultado, seleccione Ver detalles en el gráfico.

Una sesión se divide en uno de los siguientes dos estados:

• Sin compromiso: una sesión comienza cuando un usuario interactúa con el agente o cuando el agente envía un mensaje proactivo al usuario. La sesión comienza en un estado desconectado.
• Con compromiso: una sesión se considera con compromiso cuando se produce una de las siguientes situaciones:
  • Se desencadena un tema que no es de sistema
  • Se escala la sesión
  • Se desencadena el tema de respaldo
  • Se activa el tema de impulso conversacional

Una vez que se compromete, la sesión se mantiene en ese estado. Una sesión activa tiene uno de los siguientes resultados:

• Escalada: una sesión finaliza y se considera escalada cuando se activa el tema Escalar o se ejecuta un nodo Transferir al agente (la sesión de análisis actual finaliza, ya sea que la conversación se transfiera a un agente en directo o no).
• Resuelta: la sesión termina y se considera resuelta cuando se desencadena el tema de fin de conversación y el usuario confirma que la interacción fue un éxito o deja que se agote el tiempo de espera de la sesión.
• Abandonada: una sesión finaliza y se considera abandonada cuando se agota el tiempo de espera de una sesión comprometida después de 36 minutos y no alcanzó un estado resuelto o escalado.

También puede establecer el resultado de las herramientas con el conversationOutcome parámetro mediante el editor de código de la herramienta. Por ejemplo, conversationOutcome: ResolvedConfirmed para un éxito confirmado o conversationOutcome: ResolvedImplied para un éxito implícito.

Consulte la documentación de orientación Medición de la participación del Copilot para obtener sugerencias y prácticas recomendadas sobre cómo medir y mejorar la participación.

Velocidad de respuesta y calidad (versión preliminar)

Importante

Este artículo contiene la documentación de la versión preliminar de Microsoft Copilot Studio y está sujeto a modificaciones.

Las características en versión preliminar no están pensadas para su uso en producción y pueden tener funcionalidad restringida. Estas características están disponibles antes del lanzamiento oficial para que pueda tener acceso anticipado y proporcionar comentarios.

Si está creando un agente listo para producción, consulte Información general sobre Microsoft Copilot Studio.

Con respuestas generativas, el agente puede usar la inteligencia artificial para generar respuestas a las consultas de usuario mediante orígenes de conocimiento y las instrucciones que proporcione. Sin embargo, es posible que el agente no pueda responder a todas las consultas de usuario. La sección Velocidad de respuestas y calidad realiza un seguimiento, organiza y analiza las consultas sin respuesta y la calidad de respuesta para proporcionarle instrucciones para mejorar el rendimiento de respuesta del agente.

La tasa de respuestas muestra el número de preguntas respondidas y sin responder dentro del período de tiempo seleccionado, así como el porcentaje de cambio a lo largo del tiempo.

La calidad de respuesta mide la calidad de las respuestas mediante la inteligencia artificial. Copilot Studio examina un conjunto de ejemplos de preguntas respondidas y analiza diferentes calidades, incluida la integridad, la relevancia y el nivel de base de una respuesta. Si la respuesta cumple un estándar establecido, Copilot Studio etiqueta la respuesta como Buena calidad. Copilot Studio etiqueta las respuestas que no cumplen con ese estándar como de mala calidad. Para las respuestas deficientes , Copilot Studio asigna un motivo para la clasificación de calidad y muestra el porcentaje de respuestas asignadas a cada categoría.

Seleccione Ver detalles para abrir un panel lateral con las tasas de respuesta a preguntas, el uso del origen de conocimiento y las tasas de errores durante el período de tiempo seleccionado. Puede utilizar estos gráficos para identificar qué fuentes de conocimiento funcionan bien para ayudar a los usuarios y a cuáles dirigirse para realizar mejoras.

• Las preguntas sin responder muestran los motivos por los que el agente no respondió a una consulta de usuario.
• El uso de origen de conocimiento muestra el porcentaje de sesiones que utilizaron cada uno al que tiene acceso el agente.
• Todos los orígenes muestran el porcentaje de preguntas que usaron cada origen de conocimiento.
• Los errores muestran el porcentaje de consultas que provocaron un error relacionado con el conocimiento para cada tipo de origen de conocimiento (por ejemplo, SharePoint).

Conclusiones (versión preliminar)

Analytics usa ia para proporcionar información personalizada sobre cómo el agente responde correctamente a las consultas de usuario. Copilot Studio analiza las consultas sin respuesta, las agrupa en grupos por tema y, a continuación, genera información contextual basada en acciones que pueden mejorar el rendimiento de cada grupo. Copilot Studio genera clústeres para este tipo de información diariamente, con todas las consultas de usuario sin respuesta de los últimos siete días. Puede ver las cinco conclusiones principales.

1. Seleccione Insights en la sección Velocidad de respuestas y calidad .

2. Use las < flechas y > para cambiar entre conclusiones.

3. Seleccione citas para ver más detalles sobre la información.

También puede seleccionar Obtener información de conversaciones para descargar una lista CSV de identificadores de conversación en los que aparecen estas consultas de usuario sin respuesta.

Uso de herramientas

La sección Uso de herramientas muestra un gráfico y métricas que realizan un seguimiento de la frecuencia con la que se inician las herramientas a lo largo del tiempo y la frecuencia con la que el agente usó esas herramientas correctamente. También muestra indicadores de tendencia para la frecuencia con la que el agente usa cada herramienta y el porcentaje de herramientas llamadas usadas correctamente.

En el gráfico se muestran las cinco herramientas principales usadas durante el período de fecha definido en la parte superior de la página Analytics .

Para abrir un panel lateral con una lista de todas las herramientas usadas en el período de tiempo especificado, junto con los indicadores de tendencia, seleccione Ver detalles en el gráfico.

Satisfacción

En la sección Satisfacción se muestran los comentarios de los usuarios recopilados de reacciones a las respuestas del agente y los resultados de la encuesta de una sesión. Las métricas de satisfacción están disponibles para:

• Chat de prueba
• Sitio web de demostración
• Teams y Microsoft 365 Copilot
• Sitio web personalizado
• SDK de Webchat y chat de prueba

Los comentarios de los usuarios están activados de forma predeterminada. Puede desactivar esta característica, si lo desea. También puede agregar o editar un descargo de responsabilidad para los usuarios sobre cómo se usan sus comentarios:

1. Abra el agente, vaya a Configuración y busque la sección Comentarios del usuario.

2. Elija si quiere Permitir a los usuarios hacer comentarios al usar este agente Activado o Desactivado.

3. Agregue o edite un descargo de responsabilidad para que los usuarios sepan cómo se usan sus comentarios. También puede proporcionar información y consejos sobre privacidad.

Reacciones

El gráfico Reacciones cuenta el número de veces que los usuarios seleccionaron los botones de pulgar hacia arriba (positivo) o pulgar hacia abajo (negativo) disponibles en cada respuesta que recibieron de su agente.

Resultado de la encuesta

La sección Resultados de la encuesta muestra un gráfico y métricas que realizan un seguimiento de las puntuaciones medias de satisfacción del cliente (CSAT) para las sesiones en las que los clientes responden a una solicitud de final de sesión para realizar una encuesta.