Análisis de agentes conversacionales

La página Analytics de Copilot Studio proporciona una visión agregada de la eficacia general de tu agente a lo largo de las sesiones de análisis. La página se divide en áreas principales que se centran en diferentes contextos de rendimiento. La página también muestra un área Información general que proporciona métricas de indicadores clave de rendimiento (KPI) de alto nivel para el agente, un área Ahorro que analiza el tiempo y el ahorro de costos imputables al agente o a las herramientas del agente, y un área de Resumen que proporciona información analítica clave sobre el rendimiento del agente.

Hay cuatro secciones principales en las que centrarse al revisar y mejorar la eficacia del agente conversacional.

• La sección Resumen, Información general y Ahorro muestra información de análisis clave sobre los agentes junto con las estadísticas de facturación y ahorro de costos; consulte Resumen, Información general y Ahorros para obtener más información sobre cada subsección.
• La sección Métricas personalizadas le permite definir métricas específicas de la empresa para los casos de uso de los agentes.
• La sección Eficacia le ayuda a evaluar la calidad de las experiencias del usuario mostrando dónde se realizan correctamente las conversaciones, dónde se desglosan y cómo se sienten los usuarios sobre los resultados.
• La sección Uso le ayuda a mejorar el rendimiento operativo mostrando cómo el agente responde a preguntas, cómo las herramientas y los orígenes de conocimiento de forma confiable admiten esas respuestas y dónde pueden aumentar la cobertura y la coherencia de las actualizaciones dirigidas.

Puede ver análisis de eventos que se produjeron en los últimos 90 días.

Métricas personalizadas

La sección Métricas personalizadas le permite definir hasta tres métricas específicas de la empresa en lenguaje natural y realizar un seguimiento de la frecuencia con la que cada resultado aparece en sesiones muestreadas. Use estas métricas para complementar la información de análisis estándar con indicadores que reflejen los objetivos y el uso empresarial del agente. Para obtener información sobre cómo crear, probar y refinar métricas personalizadas, consulte Análisis del agente con métricas personalizadas.

Efectividad

En la sección Eficacia se muestran los comentarios de los usuarios recopilados de reacciones, respuestas del agente, resultados de la encuesta y puntuación de opinión de una sesión. La eficacia se divide en muchas subsecciones:

• Resultados de la conversación: Conocer el resultado final de una conversación te ayuda a empezar a identificar en qué aspectos tu agente está funcionando bien y en cuáles necesita mejorar.
• Reacciones: respuestas de los usuarios, incluidas las valoraciones positivas o negativas y los comentarios de los usuarios sobre respuestas específicas del agente.
• Satisfacción del cliente: mostrar la puntuación de satisfacción del cliente (CSAT).
• Opinión (versión preliminar): análisis de sentimiento basado en IA para toda la sesión.
• Agentes: Consultar métricas del volumen de llamadas, índices de éxito y el estado actual de los agentes subordinados y conectados.

Los datos de comentarios se almacenan en la tabla de transcripción de conversación de Dataverse. Para obtener una lista de los canales que admiten esta característica, consulte Detalles de características.

Resultados de la conversación

En la sección Resultados de conversación se muestra un gráfico que realiza un seguimiento del tipo de resultado de cada sesión entre el agente y los usuarios.

El gráfico, tanto si se muestra como un histograma apilado como un gráfico de áreas apiladas, visualiza los volúmenes relativos de resultados, codificados por color y apilados por tipo. Cada uno de los elementos Resueltos, Escalados, Abandonados y Sin conexión se representan mediante sus respectivos colores para cada punto de datos. El eje Y señala el número de sesiones.

Para ver las métricas sobre los resultados individuales específicos de un punto de datos (un día específico), mantenga el puntero sobre un área que represente el color de un resultado de interés (por ejemplo, teal para Abandonado) el día en que le interese.

Para descargar datos de resultados de conversación (datos visualizados en el gráfico), seleccione el icono de menú y seleccione Descargar CSV.

Note

Si tiene algún resultado quitado del gráfico al descargar, sus datos no aparecen en el CSV.

Para abrir un panel lateral con información detallada sobre los resultados de la conversación, seleccione Ver detalles en el gráfico. El panel lateral Resultados de la conversación incluye:

• Un desglose circular de los resultados de la sesión, que muestra la ponderación relativa (expresada como porcentaje) de resultados Resueltos, Escalados y Abandonados.
• Gráfico de barras apiladas que muestra la ponderación relativa (expresada como porcentaje) de las razones de resultados Resolución confirmada y Resolución implícita describiendo todos los resultados de sesiones resueltas.
• Gráfico de barras apiladas que muestra la ponderación relativa (expresada como porcentaje) del Sistema previsto, Sistema no deseado y los motivos de resultados Solicitados por el usuario que describen todos los resultados de sesión escalados.
• Los temas principales que llevaron a cada resultado.

Note

Para ver un mensaje emergente con información de recuento sin procesar, pase el cursor sobre cualquiera de los segmentos del gráfico circular o del gráfico de barras apiladas.

Una sesión se divide en uno de los siguientes dos estados:

• Sin compromiso: una sesión comienza cuando un usuario interactúa con el agente o cuando el agente envía un mensaje proactivo al usuario. La sesión comienza en un estado desconectado.

• Comprometido: el usuario interactúa activamente con el agente. Hay una diferencia en el comportamiento en función del modo de orquestación del agente.

  • Orquestación clásica: una sesión se activa cuando se desencadena uno de los temas siguientes:

    • Tema personalizado desencadenado directamente por el usuario
    • Escalado de temas
    • Tema alternativo
    • Tema para mejorar la conversación

  • Orquestación de IA generativa: una sesión se activa cuando un usuario desencadena directamente un plan e incluye uno de los siguientes elementos:

    • Tema fuera del sistema
    • Escalado de temas
    • Tema alternativo
    • Un origen de conocimiento
    • Una herramienta

Una sesión activa tiene uno de los siguientes resultados:

Categoría de resultados	Resultado	Description
Resuelto		Una sesión finaliza exitosamente. Hay dos tipos de sesiones resueltas: Resueltas confirmadas y Implícitas.
	Resolución confirmada	Una sesión se considera Resuelta confirmada cuando se desencadena el tema Fin de la conversación y el usuario confirma que la interacción fue un éxito.
	Resuelto implícito	Una sesión está Resuelta implícita cuando la sesión se completa sin confirmación del usuario, sino en función de la lógica del agente. El estado implícito Resuelto depende de si el agente usa la orquestación de IA clásica o generativa: - Orquestación clásica: una sesión se considera Resuelta implícita cuando se desencadena el tema Fin de conversación y el usuario permite que se agote el tiempo de espera de la sesión sin proporcionar una confirmación. - Orquestación de IA generativa: una sesión se considera resuelta-implícitamente cuando una sesión expira y no quedan planes activos. Un plan activo es un plan que está esperando la entrada de un usuario.
Remitido a una instancia superior		Una sesión finaliza pero se considera Escalada cuando se activa el tema Escalar o se ejecuta un nodo de Transferencia al agente (la sesión de análisis actual finaliza, independientemente de si la conversación se transfiere a un agente en vivo o no). Hay tres tipos de sesiones escaladas: Sistema previsto, Sistema no deseado y Usuario solicitado.
	Sistema previsto	Una sesión se escala automáticamente como resultado de una regla de negocio automática establecida por un creador. La escalada es un resultado esperado de la conversación y no es algo que necesite investigación o cambio. Ejemplo: Un usuario desea transferir más de 25 000 $ a un tercero. Esta cantidad supera un umbral en una regla de negocios y la sesión se escala automáticamente como resultado.
	Sistema no deseado	Una escalación se produce automáticamente como resultado de que una sesión supere uno o varios umbrales establecidos por un creador. Normalmente, este resultado indica que el usuario está atrapado en la conversación y necesita ayuda. Ejemplo: Una sesión se amplía después de tres fallos al realizar una tarea específica.
	Solicitado por el usuario	Se escala una sesión porque había una solicitud de usuario explícita durante la conversación. Ejemplo: un usuario escribe Transfer me to an agent.
Abandonado		Una sesión finaliza y se considera Abandonada cuando una sesión participativa se agota después de 30 minutos y no alcanza un estado resuelto ni escalado.

También puede establecer el resultado de las herramientas con el conversationOutcome parámetro mediante el editor de código de la herramienta. Por ejemplo, conversationOutcome: ResolvedConfirmed para un éxito confirmado o conversationOutcome: ResolvedImplied para un éxito implícito.

Consulta la documentación de la guía sobre cómo medir la participación para sugerencias y mejores prácticas sobre cómo medir y mejorar la implicación.

Reacciones

En la sección Reacciones se muestran los comentarios de los usuarios recopilados de las reacciones a las respuestas del agente. El gráfico cuenta el número de veces que los usuarios seleccionaron los botones de pulgar arriba (positivo) o pulgar abajo (negativo) disponibles en cada respuesta que recibieron de su agente.

Note

• Los agentes publicados en el canal de Microsoft 365 Copilot no admiten reacciones.
• Para ver los comentarios, debe tener el rol de seguridad Visor de transcripción de bot.

La característica Reacciones está activada de forma predeterminada. Puede desactivar esta característica, si lo desea. También puede agregar o editar un descargo de responsabilidad para los usuarios sobre cómo se usan sus comentarios:

1. Abra el agente, vaya a Configuración y busque la sección Comentarios del usuario.

2. Encienda Recopilar reacciones de usuario a los mensajes del agenteActivado o Desactivado.

3. Agregue o edite un descargo de responsabilidad para que los usuarios sepan cómo se usan sus comentarios. También puede proporcionar información y consejos sobre privacidad.

Los usuarios con el privilegio Bot Transcript Viewer pueden explorar en profundidad las respuestas del agente para las reacciones individuales y filtrar por los comentarios del usuario.

Ver tendencias de reacción a lo largo del tiempo

Seleccione Ver detalles en el icono Reacciones para abrir el panel lateral Reacciones . En el panel se muestra cómo las reacciones positivas y negativas (de Pulgar hacia arriba y Pulgar hacia abajo) evolucionan a lo largo del tiempo.

Satisfacción del cliente

La sección Satisfacción del cliente muestra información sobre la satisfacción del usuario en función de los resultados de la encuesta de usuarios:

• Puntuación de satisfacción: una puntuación de 5 calculada a partir de las puntuaciones medias de satisfacción del cliente (CSAT) para las sesiones en las que los usuarios respondieron a las solicitudes de fin de sesión para realizar una encuesta.

  Note

  Las puntuaciones de 1 y 2 se asignan a Insatisfechos, una puntuación de 3 se considera Neutro y las puntuaciones de 4 y 5 se asignan a Satisfecho.

• Satisfacción por sesión: Un gráfico de barras apiladas que visualiza el peso relativo de cada una de las categorías de puntuación de la encuesta, que son Dissatisfied, Neutral, y Satisfied. Pasa el cursor sobre cada segmento del gráfico para ver el tamaño de la muestra y el valor numérico del peso de cada categoría de puntuación. Para los usuarios con el privilegio de Visualizador de Transcripciones de Bot, pueden profundizar en una lista de sesiones de clientes filtradas en función de la parte del segmento de la barra seleccionada.

Seleccione Ver detalles para ver la tendencia de puntuación de satisfacción durante el período de tiempo seleccionado.

Sentimiento (versión preliminar)

[Esta sección es documentación preliminar y está sujeto a cambios.]

El análisis de sentimiento utiliza IA para examinar los mensajes de usuario de una muestra de sesiones con el fin de evaluar el sentimiento general del usuario hacia el agente. El valor numérico representa el porcentaje de sesiones con un sentimiento negativo del usuario.

Importante

Este artículo contiene la documentación de la versión preliminar de Microsoft Copilot Studio y está sujeto a modificaciones.

Las funciones de vista previa no están diseñadas para uso en producción y pueden tener una funcionalidad restringida. Estas características están disponibles antes del lanzamiento oficial para que pueda tener acceso anticipado y proporcionar comentarios.

Si está creando un agente listo para producción, consulte Información general sobre Microsoft Copilot Studio.

Seleccione Ver detalles para ver los datos de opinión para la ponderación relativa de cada una de las categorías de opinión (siendo Positive, Neutraly Negative).

Puede activar y desactivar el análisis de sentimiento del agente en Configuración. Cuando se desactiva el análisis de sentimiento, la opinión del usuario no se analiza durante las sesiones.

1. Vaya a Configuración y seleccione Avanzadas.

2. Activar o desactivar análisis de sentimiento.

   

Agentes

La lista Agentes muestra métricas de estado, rendimiento y volumen de alto nivel para los agentes conectados y secundarios del agente principal. La lista identifica el tipo de relación que el agente listado tiene con su agente principal en la columna Tipo. Si un agente es un agente secundario, su tipo es Child. Los agentes conectados tienen un tipo enumerado que refleja dónde se crearon (por ejemplo, Copilot Studio, Fundición de IA de Azure). La métrica Llamadas para cada agente enumerado describe el volumen de llamadas del agente principal al agente conectado o secundario. La tasa de éxito refleja la proporción de llamadas (como un % de todas las llamadas) que se completaron correctamente. El estado indica el estado administrativo individual para cada agente conectado y secundario.

De forma predeterminada, la lista Agentes muestra los cinco primeros (5) agentes conectados y secundarios del agente principal, clasificados de mayor a menor número total de preguntas. Si hay más de cinco agentes, seleccione Ver todo para mostrar todos los agentes.

Note

El botón Ver todo solo está visible si hay más de cinco agentes conectados o secundarios al agente principal.

Usar

La sección Uso le ayuda a comprender cómo interactúan los usuarios con el agente y dónde mejorar la confiabilidad de las respuestas. El uso se divide entre muchas subsecciones:

• Temas: los temas le ayudan a obtener información de análisis agrupando preguntas de usuario en categorías sugeridas por IA.
• Tasa de respuestas generada y calidad: comprender cuándo el agente tiene dificultades para proporcionar respuestas a preguntas del usuario y cómo usa orígenes de conocimiento puede ayudarle a encontrar formas de mejorar la tasa de respuestas y la calidad del agente.
• Uso de herramientas: aprender con qué frecuencia se usan las herramientas y la frecuencia con la que se realizan correctamente puede ayudarle a comprender si esas herramientas son útiles y correctas para los usuarios.
• Uso del origen de conocimiento: aprender con qué frecuencia se usan los orígenes de conocimiento individuales y la frecuencia con la que devuelven errores le ayuda a mejorar la calidad y la cobertura de las respuestas del agente.

Tasa de respuesta generada y calidad

Con respuestas generativas, el agente puede usar la inteligencia artificial para generar respuestas a las consultas de usuario mediante orígenes de conocimiento y las instrucciones que proporcione. Sin embargo, es posible que el agente no pueda responder a todas las consultas de usuario. La sección Tasa de respuestas generada y calidad realiza un seguimiento, organiza y analiza las consultas sin respuesta y la calidad de respuesta para proporcionarle instrucciones para mejorar el rendimiento de respuesta del agente.

La tasa de respuestas muestra el número de preguntas respondidas y no respondidas dentro del período de tiempo seleccionado y el porcentaje de cambio a lo largo del tiempo.

La calidad de respuesta mide la calidad de las respuestas mediante la inteligencia artificial. Copilot Studio examina un conjunto de ejemplos de preguntas respondidas y analiza diferentes calidades, incluida la integridad, la relevancia y el nivel de base de una respuesta. Si la respuesta cumple un estándar establecido, Copilot Studio etiqueta la respuesta como Buena calidad. Copilot Studio etiqueta las respuestas que no cumplen ese estándar como de calidad deficiente. Para las respuestas deficientes , Copilot Studio asigna un motivo para la clasificación de calidad y muestra el porcentaje de respuestas asignadas a cada categoría.

Mantenga el puntero sobre cualquier segmento de una barra del gráfico para ver la ponderación relativa de un motivo individual para una etiqueta de calidad Buena o Mala. El cuadro de información también indica el número de respuestas muestreadas para llegar al valor de porcentaje calculado.

En la leyenda debajo del gráfico, pase el mouse por encima de cualquiera de las razones de etiqueta de calidad para resaltar esa razón en el gráfico.

Seleccione un segmento del gráfico de barras para abrir una página de preguntas de usuario filtradas en esa calidad de respuesta. Seleccione Ver preguntas para ver una lista sin filtrar de todas las preguntas dentro del período de tiempo configurado.

Uso de herramientas

La sección Uso de herramientas muestra un gráfico y métricas que realizan un seguimiento de la frecuencia con la que se inician las herramientas a lo largo del tiempo y la frecuencia con la que el agente usó esas herramientas correctamente. También muestra indicadores de tendencia para la frecuencia con la que el agente usa cada herramienta y el porcentaje de herramientas llamadas usadas correctamente.

El gráfico muestra las cinco herramientas principales usadas en el periodo de fechas definido en la parte superior de la página Análisis.

En la leyenda debajo del gráfico, mantenga el puntero sobre cualquiera de las herramientas para resaltar esa herramienta en el gráfico.

Para abrir un panel lateral con una lista de todas las herramientas usadas en el período de tiempo especificado, junto con los indicadores de tendencia, seleccione Ver detalles en el gráfico. En el panel Uso de herramientas, puede mostrar cálculos del porcentaje de preguntas usadas para cada herramienta. Si el agente tiene agentes secundarios, puede elegir mostrar cálculos tanto para el agente principal como para los agentes secundarios (Todos), solo para el agente principal o solo para el agente secundario.

Uso de origen de conocimiento

La sección Uso del origen de conocimiento proporciona información sobre cómo usa el agente sus orígenes de conocimiento y con qué frecuencia devuelven esos orígenes los errores. Para más información sobre las métricas, el filtrado y las funcionalidades de exploración en profundidad disponibles, consulte Uso del origen de conocimiento.