Analizar la efectividad del agente conversacional

La página Análisis de Copilot Studio proporciona información agregada sobre la eficacia general de su agente en todas las sesiones de análisis. La página se divide en áreas principales que se centran en diferentes contextos de rendimiento. La página también muestra un área información general que proporciona métricas de indicadores clave de rendimiento (KPI) de alto nivel para el agente, un área ahorro que analiza el tiempo y el ahorro de costos imputables al agente o a las herramientas del agente, y un área de resumen que proporciona información analítica clave sobre el rendimiento del agente.

Para obtener más información sobre:

• Las áreas Resumen e información general , consulte Información general sobre análisis.
• El área Ahorro, consulte Análisis del tiempo y el ahorro de costos de los agentes.

Hay seis áreas principales en las que centrarse al revisar y mejorar la eficacia del agente conversacional:

• Temas: los temas le ayudan a obtener información de análisis agrupando preguntas de usuario en categorías sugeridas por IA.
• Resultados de la conversación: saber el resultado final de una conversación le ayuda a empezar a identificar dónde se realiza correctamente el agente y dónde necesita mejorar.
• Agentes: consulte métricas de volumen de llamadas, tasas de éxito y estado actual para agentes secundarios y conectados.
• Tasa de respuestas generada y calidad: comprender cuándo el agente tiene dificultades para proporcionar respuestas a preguntas del usuario y cómo usa orígenes de conocimiento puede ayudarle a encontrar formas de mejorar la tasa de respuestas y la calidad del agente.
• Uso de herramientas: aprender con qué frecuencia se usan las herramientas y la frecuencia con la que se realizan correctamente puede ayudarle a comprender si esas herramientas son útiles y correctas para los usuarios.
• Satisfacción: revisar los comentarios de los usuarios le ayuda a identificar nuevos escenarios y problemas de usuario y a realizar mejoras basadas directamente en lo que solicitan los usuarios.

Puede ver análisis de eventos que se produjeron en los últimos 90 días.

Resultados de la conversación

En la sección Resultados de conversación se muestra un gráfico que realiza un seguimiento del tipo de resultado de cada sesión entre el agente y los usuarios.

Para descargar datos de resultados de conversación (datos visualizados en el gráfico), seleccione el icono de menú y seleccione Descargar CSV.

Para abrir un panel lateral con un desglose de gráfico circular de los resultados de la sesión, junto con los temas principales que condujeron a cada resultado, seleccione Ver detalles en el gráfico.

Una sesión se divide en uno de los siguientes dos estados:

• Sin compromiso: una sesión comienza cuando un usuario interactúa con el agente o cuando el agente envía un mensaje proactivo al usuario. La sesión comienza en un estado desconectado.

• Comprometido: el usuario interactúa activamente con el agente. Hay una diferencia en el comportamiento en función del modo de orquestación del agente.

  • Orquestación clásica: una sesión se activa cuando se desencadena uno de los temas siguientes:

    • Tema personalizado desencadenado directamente por el usuario
    • Escalado de temas
    • Tema alternativo
    • Tema para mejorar la conversación

  • Orquestación de IA generativa: una sesión se activa cuando un usuario desencadena directamente un plan e incluye uno de los siguientes elementos:

    • Tema fuera del sistema
    • Escalado de temas
    • Tema alternativo
    • Un origen de conocimiento
    • Una herramienta

Una sesión activa tiene uno de los siguientes resultados:

• Escalado: una sesión finaliza y se considera Escalado cuando se desencadena el tema Escalado o se ejecuta un nodo Transferir al agente (finaliza la sesión de análisis actual, independientemente de si la conversación se transfiere a un agente activo o no).

• Resuelto: una sesión finaliza correctamente. Hay dos tipos de sesiones resueltas: Resueltas confirmadas y Implícitas.

  • Confirmado resuelto: una sesión se considera Resuelta confirmada cuando se desencadena el tema Fin de conversación y el usuario confirma que la interacción se ha realizado correctamente.

  • Resuelto implícito: se resuelve una sesión implícita cuando la sesión se completa sin confirmación del usuario, sino en función de la lógica del agente. El estado Resuelto implícitamente depende de si el agente utiliza la orquestación con IA clásica o genérica:

    • Orquestación clásica: una sesión se considera resuelta implícita cuando se desencadena el tema Fin de conversación y el usuario permite que se agote el tiempo de espera de la sesión sin proporcionar una confirmación.
    • Orquestación generativa: una sesión se considera resuelta implícitamente cuando una sesión expira y no quedan planes activos. Un plan activo es un plan que está esperando la entrada de un usuario.

• Abandonado: una sesión finaliza y se considera Abandonada cuando una sesión activa expira después de 30 minutos y no alcanzó un estado resuelto o escalado.

También puede establecer el resultado de las herramientas con el conversationOutcome parámetro mediante el editor de código de la herramienta. Por ejemplo, conversationOutcome: ResolvedConfirmed para un éxito confirmado o conversationOutcome: ResolvedImplied para un éxito implícito.

Consulte la documentación de orientación Medición de la participación del Copilot para obtener sugerencias y prácticas recomendadas sobre cómo medir y mejorar la participación.

Agents

La lista Agentes muestra métricas de volumen, rendimiento y estado de alto nivel para los agentes conectados y secundarios del agente principal. La lista identifica el tipo de relación que tiene el agente enumerado con el agente principal en la columna Tipo . Si un agente es un agente secundario, su tipo es Child. Los agentes conectados tienen un tipo de lista que refleja dónde se crearon (por ejemplo, Copilot Studio, Azure AI Foundry). La métrica Calls para cada agente de la lista describe el volumen de llamadas del agente principal al agente conectado o secundario. La tasa de éxito refleja la proporción de llamadas (como % de todas las llamadas) que se completaron correctamente. Estado indica el estado administrativo individual de cada agente conectado y secundario.

De forma predeterminada, la lista de agentes muestra los cinco (5) agentes principales conectados e hijos de su agente principal, clasificados de mayor a menor número total de preguntas. Si hay más de cinco agentes, seleccione Ver todo para mostrar todos los agentes.

Nota:

El botón Ver todo solo está visible si hay más de cinco agentes conectados o secundarios a su agente principal.

Tasa y calidad de las respuestas generadas (versión preliminar)

Importante

Este artículo contiene la documentación de la versión preliminar de Microsoft Copilot Studio y está sujeto a modificaciones.

Las características en versión preliminar no están pensadas para su uso en producción y pueden tener funcionalidad restringida. Estas características están disponibles antes del lanzamiento oficial para que pueda tener acceso anticipado y proporcionar comentarios.

Si está creando un agente listo para producción, consulte Información general sobre Microsoft Copilot Studio.

Con respuestas generativas, el agente puede usar la inteligencia artificial para generar respuestas a las consultas de usuario mediante orígenes de conocimiento y las instrucciones que proporcione. Sin embargo, es posible que el agente no pueda responder a todas las consultas de usuario. La sección Tasa de respuestas generada y calidad realiza un seguimiento, organiza y analiza las consultas sin respuesta y la calidad de respuesta para proporcionarle instrucciones para mejorar el rendimiento de respuesta del agente.

La tasa de respuestas muestra el número de preguntas respondidas y no respondidas dentro del período de tiempo seleccionado y el porcentaje de cambio a lo largo del tiempo.

La calidad de respuesta mide la calidad de las respuestas mediante la inteligencia artificial. Copilot Studio examina un conjunto de ejemplos de preguntas respondidas y analiza diferentes calidades, incluida la integridad, la relevancia y el nivel de base de una respuesta. Si la respuesta cumple un estándar establecido, Copilot Studio etiqueta la respuesta como Buena calidad. Copilot Studio etiqueta las respuestas que no cumplen con ese estándar como de mala calidad. Para las respuestas deficientes , Copilot Studio asigna un motivo para la clasificación de calidad y muestra el porcentaje de respuestas asignadas a cada categoría.

Puede proporcionar comentarios a Microsoft sobre esta sección con los iconos Pulgar hacia arriba y Pulgar hacia abajo . Use el panel Enviar comentarios a Microsoft para agregar un comentario y compartir archivos relacionados. Al proporcionar comentarios descriptivos como este, podemos trabajar juntos para mejorar continuamente nuestro producto.

1. En el panel Enviar comentarios a Microsoft , describa en lenguaje natural lo que le gusta o no le gusta, según el icono que haya seleccionado para abrir el panel.
2. Elija si desea compartir el mensaje, la respuesta generada, las muestras de contenido relevantes y los archivos de registro adicionales.
3. Seleccione Enviar.

Seleccione Ver detalles para abrir un panel lateral con las tasas de respuesta a preguntas, el uso del origen de conocimiento y las tasas de errores durante el período de tiempo seleccionado. Puede utilizar estos gráficos para identificar qué fuentes de conocimiento funcionan bien para ayudar a los usuarios y a cuáles dirigirse para realizar mejoras.

En el panel lateral, seleccione Todo para mostrar las métricas tanto del agente principal como de los agentes secundarios, Agente principal para las métricas solo sobre el agente principal o Agente secundario para las métricas solo sobre los agentes secundarios.

• Las preguntas sin responder muestran los motivos por los que el agente no respondió a una consulta de usuario.
• El uso de origen de conocimiento muestra el porcentaje de sesiones que utilizaron cada uno al que tiene acceso el agente.
• Todos los orígenes muestran el porcentaje de preguntas que usaron cada origen de conocimiento.
• Los errores muestran el porcentaje de consultas que provocaron un error relacionado con el conocimiento para cada tipo de origen de conocimiento (por ejemplo, SharePoint).

Conclusiones (versión preliminar)

Analytics usa ia para proporcionar información personalizada sobre cómo el agente responde correctamente a las consultas de usuario. Copilot Studio analiza las consultas sin respuesta, las agrupa en grupos por tema y, a continuación, genera información contextual basada en acciones que pueden mejorar el rendimiento de cada grupo. Copilot Studio genera clústeres para este tipo de información diariamente, con todas las consultas de usuario sin respuesta de los últimos siete días. Puede ver las cinco conclusiones principales.

1. Seleccione Insights en la sección Velocidad de respuestas y calidad .

2. Use las < flechas y > para cambiar entre conclusiones.

3. Seleccione citas para ver más detalles sobre la información.

También puede seleccionar Obtener información de conversaciones para descargar una lista CSV de identificadores de conversación en los que aparecen estas consultas de usuario sin respuesta.

Uso de herramientas

La sección Uso de herramientas muestra un gráfico y métricas que realizan un seguimiento de la frecuencia con la que se inician las herramientas a lo largo del tiempo y la frecuencia con la que el agente usó esas herramientas correctamente. También muestra indicadores de tendencia para la frecuencia con la que el agente usa cada herramienta y el porcentaje de herramientas llamadas usadas correctamente.

En el gráfico se muestran las cinco herramientas principales usadas durante el período de fecha definido en la parte superior de la página Analytics .

Para abrir un panel lateral con una lista de todas las herramientas usadas en el período de tiempo especificado, junto con los indicadores de tendencia, seleccione Ver detalles en el gráfico. En el panel Uso de la herramienta, puede mostrar cálculos del porcentaje de preguntas utilizadas para cada herramienta, tanto para el agente principal como para los agentes secundarios (Todos), solo el agente principal o solo el agente secundario .

Satisfacción

En la sección Satisfacción se muestran los comentarios de los usuarios recopilados de reacciones a las respuestas del agente y los resultados de la encuesta de una sesión. La satisfacción se divide en dos secciones más pequeñas: una sección Reacciones, que muestra los pulgares hacia arriba, los comentarios de pulgares hacia abajo para respuestas de agente específicas y una sección Resultados de la encuesta, que muestra la puntuación de satisfacción del cliente (CSAT) para toda la sesión.

Los datos de comentarios se almacenan en la tabla de transcripción de conversación de Dataverse. Para obtener una lista de los canales que admiten esta característica, consulte Detalles de características.

Reacciones

En la sección Reacciones se muestran los comentarios de los usuarios recopilados de reacciones a las respuestas de agente y los resultados de la encuesta para una sesión. El gráfico cuenta el número de veces que los usuarios seleccionaron los botones de pulgares hacia arriba (positivo) o pulgares hacia abajo (negativo) disponibles en cada respuesta que recibieron del agente.

Después de que un usuario proporcione una reacción, puede dejar un comentario. Para ver los comentarios, seleccione Ver detalles. En el panel Reacciones , seleccione Todos, Pulgares hacia arriba o Pulgares hacia abajo para filtrar los comentarios.

Nota:

• Los agentes publicados en el canal Copilot de Microsoft 365 no admiten reacciones.
• Para ver los comentarios, debe tener el rol de seguridad Bot Transcript Viewer .

Para cada reacción, para ver la consulta de usuario asociada y la respuesta del agente, active el interruptor junto al comentario. La página Analytics almacena las consultas de usuario y las respuestas del agente durante un máximo de 28 días.

Los comentarios de los usuarios están activados de forma predeterminada. Puede desactivar esta característica, si lo desea. También puede agregar o editar un descargo de responsabilidad para los usuarios sobre cómo se usan sus comentarios:

1. Abra el agente, vaya a Configuración y busque la sección Comentarios del usuario.

2. Elija si quiere Permitir a los usuarios hacer comentarios al usar este agenteActivado o Desactivado.

3. Agregue o edite un descargo de responsabilidad para que los usuarios sepan cómo se usan sus comentarios. También puede proporcionar información y consejos sobre privacidad.

Resultado de la encuesta

La sección Resultados de la encuesta muestra un gráfico y métricas que realizan un seguimiento de las puntuaciones medias de satisfacción del cliente (CSAT) para las sesiones en las que los clientes responden a una solicitud de final de sesión para realizar una encuesta.

Nota:

Las puntuaciones de 1 y 2 se asignan a Insatisfechos, una puntuación de 3 se considera Neutro y las puntuaciones de 4 y 5 se asignan a Satisfecho.

Seleccione Ver detalles para ver cómo se configuran las tendencias de puntuación de satisfacción durante el período de tiempo configurado del informe.