Analizar agentes conversacionales

La página Análisis de Copilot Studio proporciona información agregada sobre la eficacia general de su agente en todas las sesiones de análisis. La página se divide en áreas principales que se centran en diferentes contextos de rendimiento. La página también muestra un área Información general que proporciona métricas de indicadores clave de rendimiento (KPI) de alto nivel para el agente, un área Ahorro que analiza el tiempo y el ahorro de costos imputables al agente o a las herramientas del agente, y un área de Resumen que proporciona información analítica clave sobre el rendimiento del agente.

Hay cuatro secciones principales en las que hay que centrarse a la hora de revisar y mejorar la eficacia de los agentes conversacionales.

• La sección Resumen, Descripción general y Ahorro muestra información de análisis clave sobre sus agentes junto con estadísticas de facturación y ahorro de costes; consulte Resumen, Descripción general y Ahorro para saber más sobre cada subsección.
• La sección Métricas personalizadas permite definir métricas específicas de negocio para los casos de uso de sus agentes.
• La sección Efectividad ayuda a evaluar la calidad de las experiencias de los usuarios mostrando dónde las conversaciones tienen éxito, dónde fallan y cómo se sienten los usuarios respecto a los resultados.
• La sección Uso ayuda a mejorar el rendimiento operativo mostrando con qué acierto responde el agente a las preguntas, la fiabilidad de las herramientas y las fuentes de conocimientos en apoyo de esas respuestas, y dónde pueden aumentar la cobertura y la consistencia las actualizaciones dirigidas.

Puede ver análisis de eventos que se produjeron en los últimos 360 días.

Métricas de personalización

La sección Métricas personalizadas permite definir hasta tres métricas empresariales en lenguaje natural y rastrear con qué frecuencia aparece cada resultado en las sesiones muestreadas. Utilice estas métricas para complementar su información de análisis estándar con indicadores que reflejen los objetivos y el uso empresarial de su agente. Para aprender a crear, probar y refinar métricas personalizadas, consulte Analizar su agente con métricas personalizadas.

Eficacia

En la sección Efectividad se muestran los comentarios de los usuarios recopilados de reacciones, respuestas de agentes, resultados de encuestas y puntuación de opinión para una sesión. La efectividad se divide en varias subsecciones:

• Resultados de la conversación: saber el resultado final de una conversación le ayuda a empezar a identificar dónde se realiza correctamente el agente y dónde necesita mejorar.
• Reacciones: respuestas de los usuarios, incluyendo valoraciones de pulgar arriba/abajo y comentarios sobre respuestas específicas del agente.
• Satisfacción del cliente: muestre la puntuación de satisfacción del cliente (CSAT).
• Sentimiento (versión preliminar): análisis de sentimiento basado en IA para toda la sesión.
• Agentes: consulte métricas de volumen de llamadas, tasas de éxito y estado actual para agentes secundarios y conectados.

Los datos de comentarios se almacenan en la tabla de transcripción de conversación de Dataverse. Para obtener una lista de los canales que admiten esta característica, consulte Detalles de características.

Resultados de la conversación

En la sección Resultados de conversación se muestra un gráfico que realiza un seguimiento del tipo de resultado de cada sesión entre el agente y los usuarios.

El gráfico, tanto si se muestra como un histograma apilado como un gráfico de áreas apiladas, visualiza los volúmenes relativos de resultados, codificados por color y apilados por tipo. Cada uno de los elementos Resueltos, Escalados, Abandonados y Sin conexión se representan mediante sus respectivos colores para cada punto de datos. El eje Y señala el número de sesiones.

Para ver las métricas sobre los resultados individuales específicos de un punto de datos (un día específico), mantenga el puntero sobre un área que represente el color de un resultado de interés (por ejemplo, teal para Abandonado) el día en que le interese.

Para descargar datos de resultados de conversación (datos visualizados en el gráfico), seleccione el icono de menú y seleccione Descargar CSV.

Nota

Si tiene algún resultado quitado del gráfico al descargar, sus datos no aparecen en el CSV.

Para abrir un panel lateral con información detallada sobre los resultados de la conversación, seleccione Ver detalles en el gráfico. El panel lateral Resultados de la conversación incluye:

• Un desglose circular de los resultados de la sesión, que muestra la ponderación relativa (expresada como porcentaje) de resultados Resueltos, Escalados y Abandonados.
• Gráfico de barras apiladas que muestra la ponderación relativa (expresada como porcentaje) de las razones de resultados Resolución confirmada y Resolución implícita describiendo todos los resultados de sesiones resueltas.
• Gráfico de barras apiladas que muestra la ponderación relativa (expresada como porcentaje) del Sistema previsto, Sistema no deseado y los motivos de resultados Solicitados por el usuario que describen todos los resultados de sesión escalados.
• Los temas principales que llevaron a cada resultado.

Nota

Para ver una información sobre herramientas con información de recuento sin procesar, mantenga el puntero sobre cualquiera de los segmentos de gráfico circular o gráfico de barras apiladas.

Una sesión se divide en uno de los siguientes dos estados:

• Sin compromiso: una sesión comienza cuando un usuario interactúa con el agente o cuando el agente envía un mensaje proactivo al usuario. La sesión comienza en un estado desconectado.

• Comprometido: el usuario interactúa activamente con el agente. Hay una diferencia en el comportamiento en función del modo de orquestación del agente.

  • Orquestación clásica: una sesión se activa cuando se desencadena uno de los temas siguientes:

    • Tema personalizado desencadenado directamente por el usuario
    • Escalar tema
    • Tema alternativo
    • Tema de refuerzo conversacional

  • Orquestación de IA generativa: una sesión se activa cuando un usuario desencadena directamente un plan e incluye uno de los siguientes elementos:

    • Tema no del sistema
    • Escalar tema
    • Tema alternativo
    • Un Origen de conocimiento
    • Una herramienta

Una sesión activa tiene uno de los siguientes resultados:

Categoría de resultados	Resultado	Descripción
Resuelto		Una sesión finaliza correctamente. Hay dos tipos de sesiones resueltas: Confirmadas resueltas y Resueltas implícitas.
	Resolución confirmada	Una sesión se considera Resuelta confirmada cuando se desencadena el tema Fin de la conversación y el usuario confirma que la interacción fue correcta o deja que se agote el tiempo de espera de la sesión.
	Resolución implícita	Una sesión está Resuelta implícita cuando la sesión se completa sin confirmación del usuario, sino en función de la lógica del agente. El estado Resuelto implícitamente depende de si el agente utiliza la orquestación con IA clásica o genérica: - Orquestación clásica: una sesión se considera Resuelta implícita cuando se desencadena el tema Fin de conversación y el usuario permite que se agote el tiempo de espera de la sesión sin proporcionar una confirmación. - Orquestación generativa: una sesión se considera resuelta implícitamente cuando una sesión expira y no quedan planes activos. Un plan activo es un plan que está esperando la entrada de un usuario.
Remitido a una instancia superior		Una sesión finaliza pero se considera Escalada cuando se activa el tema Escalar o se ejecuta un nodo Transferir al agente (la sesión de análisis actual finaliza, ya sea que la conversación se transfiera a un agente en directo o no). Hay tres tipos de sesiones escaladas: Sistema previsto, Sistema no deseado y Usuario solicitado.
	Sistema previsto	Una sesión se escala automáticamente como resultado de una regla de negocio automática establecida por un creador. La escalación es un resultado esperado de la conversación y no es algo que necesite investigación o cambio. Ejemplo: Un usuario desea transferir más de 25 000 $ a un tercero. Esta cantidad supera un umbral en una regla de negocios y la sesión se escala automáticamente como resultado.
	Sistema no deseado	Una escalación se produce automáticamente como resultado de que una sesión supere uno o varios umbrales establecidos por un creador. Normalmente, este resultado indica que el usuario está bloqueado en la conversación y necesita ayuda. Ejemplo: se escala una sesión después de tres errores para realizar una tarea determinada.
	Solicitado por el usuario	Se escala una sesión porque había una solicitud de usuario explícita durante la conversación. Ejemplo: un usuario escribe Transfer me to an agent.
Abandonada		Una sesión finaliza y se considera Abandonada cuando se agota el tiempo de espera de una sesión en la que se ha participado (después de 30 minutos) y no se ha llegado a un estado resuelto ni remitido.

También puede establecer el resultado de las herramientas con el parámetro conversationOutcome mediante el editor de código de la herramienta. Por ejemplo, conversationOutcome: ResolvedConfirmed para un éxito confirmado o conversationOutcome: ResolvedImplied para un éxito implícito.

Consulte la documentación de orientación sobre medición de la participación para obtener sugerencias y prácticas recomendadas sobre cómo medir y mejorar la participación.

Reacciones

La sección Reacciones muestra la retroalimentación de los usuarios recopilada a partir de las reacciones a las respuestas del agente. El gráfico cuenta el número de veces que los usuarios seleccionaron los botones de pulgares hacia arriba (positivo) o pulgares hacia abajo (negativo) disponibles en cada respuesta que recibieron del agente.

Nota

• Los agentes publicados en el canal Microsoft 365 Copilot no admiten reacciones.
• Para ver los comentarios, debe tener el rol de seguridad Visor de transcripción de bot.

La característica Reacciones está activada de forma predeterminada. Puede desactivar esta característica, si lo desea. También puede agregar o editar un descargo de responsabilidad para los usuarios sobre cómo se usan sus comentarios:

1. Abra el agente, vaya a Configuración y busque la sección Comentarios del usuario.

2. Ajuste Recopilar las reacciones de los usuarios a los mensajes de los agentes en Activado o Desactivado.

3. Agregue o edite un descargo de responsabilidad para que los usuarios sepan cómo se usan sus comentarios. También puede proporcionar información y consejos sobre privacidad.

Los usuarios con el privilegio de Visualizador de transcripciones del Bot pueden explorar en profundidad las respuestas del agente para reacciones individuales y filtrar por comentarios de usuario.

Consulte las tendencias de reacción a lo largo del tiempo

Seleccione Ver detalles en el icono Reacciones para abrir el panel lateral Reacciones. El panel muestra cómo evolucionan las reacciones positivas y negativas (de Me gusta y No me gusta) a lo largo del tiempo.

Satisfacción del cliente

La sección Satisfacción del cliente presenta información sobre la satisfacción de los usuarios basada en los resultados de encuestas a usuarios.

• Puntuación de satisfacción: una puntuación sobre 5 calculada a partir del promedio de las puntuaciones de satisfacción del cliente (CSAT) en las sesiones en las que los usuarios respondieron a la encuesta al final de la sesión.

  Nota

  Las puntuaciones de 1 y 2 se asignan a Insatisfechos, una puntuación de 3 se considera Neutro y las puntuaciones de 4 y 5 se asignan a Satisfecho.

• Satisfacción por sesión: un gráfico de barras apiladas que visualiza el peso relativo de cada una de las categorías de puntuación de la encuesta (que son Dissatisfied, Neutral y Satisfied). Pase el cursor sobre cada segmento del gráfico para ver el tamaño de la muestra y el valor numérico del peso de cada categoría de puntuación. Para los usuarios con el privilegio de Visualizador de transcripciones de bot, pueden profundizar en una lista de sesiones de clientes filtradas en función de la parte del segmento de la barra seleccionada.

Seleccione Ver detalles para ver la tendencia de puntuación de satisfacción a lo largo del período de tiempo seleccionado.

Sentimiento (versión preliminar)

[Esta sección es documentación preliminar y está sujeta a modificaciones].

El análisis de sentimiento utiliza IA para analizar los mensajes de usuario de una muestra de sesiones y evaluar el sentimiento general del usuario hacia el agente. El valor numérico representa el porcentaje de sesiones con sentimiento negativo del usuario.

Importante

Este artículo contiene la documentación de la versión preliminar de Microsoft Copilot Studio y está sujeto a modificaciones.

Las vistas previas de características no se han diseñado para un uso de producción y pueden tener una funcionalidad restringida. Estas características están disponibles antes del lanzamiento oficial para que pueda tener acceso anticipado y proporcionar comentarios.

Si está creando un agente listo para producción, consulte Información general sobre Microsoft Copilot Studio.

Seleccione Ver detalles para ver los datos de sentimiento sobre la ponderación relativa de cada una de las categorías de sentimiento (siendo Positive, Neutral y Negative).

Puede activar o desactivar el análisis de sentimiento para el agente en Configuración. Cuando el análisis de sentimiento está desactivado, el sentimiento del usuario no se analiza durante las sesiones.

1. Vaya a Configuración y seleccione Avanzada.

2. Active o desactive Análisis de sentimiento.

   

Agentes

La lista Agentes muestra métricas de estado, rendimiento y volumen de alto nivel para los agentes conectados y secundarios del agente principal. La lista identifica el tipo de relación que el agente de la lista tiene en el agente principal de la columna Tipo. Si un agente es un agente secundario, su tipo es Child. Los agentes conectados tienen un tipo enumerado que refleja dónde se crearon (por ejemplo, Copilot Studio, Fundición de IA de Azure). La métrica Llamadas para cada agente enumerado describe el volumen de llamadas del agente principal al agente conectado o secundario. La tasa de éxito refleja la proporción de llamadas (como un % de todas las llamadas) que se completaron correctamente. El estado indica el estado administrativo individual para cada agente conectado y secundario.

De forma predeterminada, la lista Agentes muestra los cinco primeros (5) agentes conectados y secundarios del agente principal, clasificados de mayor a menor número total de preguntas. Si hay más de cinco agentes, seleccione Ver todo para mostrar todos los agentes.

Nota

El botón Ver todo solo está visible si hay más de cinco agentes conectados o secundarios al agente principal.

Usar

La sección Uso ayuda a entender cómo interactúan los usuarios con su agente y dónde mejorar la fiabilidad de las respuestas. El uso se divide en muchas subsecciones:

• Temas: los Temas le ayudan a obtener Analytics Insights agrupando preguntas de usuario en categorías sugeridas por IA.
• Tasa de respuestas generada y calidad: comprender cuándo el agente tiene dificultades para proporcionar respuestas a preguntas del usuario y cómo usa orígenes de conocimiento puede ayudarle a encontrar formas de mejorar la tasa de respuestas y la calidad del agente.
• Uso de herramientas: aprender con qué frecuencia se usan las herramientas y la frecuencia con la que se realizan correctamente puede ayudarle a comprender si esas herramientas son útiles y correctas para los usuarios.
• Uso de la fuente de conocimientos: aprender con qué frecuencia se usan las fuentes de conocimientos individuales y la frecuencia con la que devuelven errores ayuda a mejorar la calidad y la cobertura de las respuestas del el agente.

Tasa y calidad de las respuestas generadas

Con respuestas generativas, el agente puede usar la inteligencia artificial para generar respuestas a las consultas de usuario mediante orígenes de conocimiento y las instrucciones que proporcione. Sin embargo, es posible que el agente no pueda responder a todas las consultas de usuario. La sección Tasa de respuestas generada y calidad realiza un seguimiento, organiza y analiza las consultas sin respuesta y la calidad de respuesta para proporcionarle instrucciones para mejorar el rendimiento de respuesta del agente.

La tasa de respuestas muestra el número de preguntas respondidas y no respondidas dentro del período de tiempo seleccionado y el porcentaje de cambio a lo largo del tiempo.

La calidad de respuesta mide la calidad de las respuestas mediante la inteligencia artificial. Copilot Studio examina un conjunto de ejemplos de preguntas respondidas y analiza diferentes calidades, incluida la integridad, la relevancia y el nivel de base de una respuesta. Si la respuesta cumple un estándar establecido, Copilot Studio etiqueta la respuesta como Buena calidad. Las etiquetas de Copilot Studio responden que no cumplen ese estándar como Mala calidad. Para las respuestas Pobres, Copilot Studio asigna un motivo para la clasificación de calidad y muestra el porcentaje de respuestas asignadas a cada categoría.

Mantenga el puntero sobre cualquier segmento de una barra del gráfico para ver la ponderación relativa de un motivo individual para una etiqueta de calidad Buena o Mala. La información sobre herramientas también indica el número de respuestas muestreadas para llegar al valor de porcentaje calculado.

En la leyenda debajo del gráfico, mantenga el puntero sobre cualquiera de las razones de etiqueta de calidad de resultados para resaltar esa razón en el gráfico.

Seleccione un segmento del gráfico de barras para abrir una página de preguntas de usuario filtradas según esa calidad de respuesta. Seleccione Ver preguntas para ver una lista no filtrada de todas las preguntas dentro del período de tiempo configurado.

Uso de herramientas

La sección Uso de herramientas muestra un gráfico y métricas que realizan un seguimiento de la frecuencia con la que se inician las herramientas a lo largo del tiempo y la frecuencia con la que el agente usó esas herramientas correctamente. También muestra indicadores de tendencia para la frecuencia con la que el agente usa cada herramienta y el porcentaje de herramientas llamadas usadas correctamente.

El gráfico muestra las cinco herramientas principales usadas en el periodo de fechas definido en la parte superior de la página Análisis.

En la leyenda debajo del gráfico, mantenga el puntero sobre cualquiera de las herramientas para resaltar esa herramienta en el gráfico.

Para abrir un panel lateral con una lista de todas las herramientas usadas en el período de tiempo especificado, junto con los indicadores de tendencia, seleccione Ver detalles en el gráfico. En el panel Uso de herramientas, puede mostrar cálculos del porcentaje de preguntas usadas para cada herramienta. Si el agente tiene agentes secundarios, puede elegir mostrar cálculos tanto para el agente principal como para los agentes secundarios (Todos), solo para el agente principal o solo para el agente secundario.

Uso de origen de conocimiento

La sección Uso de fuentes de conocimientos proporciona información sobre cómo el agente utiliza sus fuentes de conocimientos y con qué frecuencia esas fuentes generan errores. Para detalles completos sobre métricas disponibles, filtrado y capacidades de explorar en profundidad, véase Uso de fuentes de conocimientos.