Analizar preguntas de usuario por tema (versión preliminar)

[Este artículo es documentación preliminar y está sujeto a modificaciones].

Los temas agrupan preguntas relacionadas de los usuarios que activan respuestas generativas. Al agrupar preguntas relacionadas, los temas permiten organizar perspectivas sobre la intención del cliente, identificar temas recurrentes y centrarse en las áreas que requieren mejora. Puede explorar preguntas individuales dentro de un tema y supervisar el desempeño para interpretar las métricas de nivel de tema.

La característica de Temas analiza automáticamente todas las preguntas no clasificadas que activaron respuestas de IA generativa en la última semana y sugiere temas basados en este análisis. Este proceso se ejecuta semanalmente. Entre las ejecuciones semanales de sugerencia de temas, la característica realiza una clasificación diaria de cualquier nueva pregunta que active respuestas generadas por IA generativa y agrega estos datos a las métricas temáticas. La lista de Temas sugeridos se actualiza regularmente para que sus temas sigan siendo relevantes y reflejen los datos más recientes de los usuarios. Esta actualización automática ahorra tiempo al:

• Evaluar de manera continua la relevancia de los temas en función de los datos más recientes.
• Clasificar automáticamente las preguntas individuales en temas.
• Automatizar la recuperación de datos métricos en bruto para cada tema.
• Calcular datos métricos agregados para cada tema.

Importante

Este artículo contiene la documentación de la versión preliminar de Microsoft Copilot Studio y está sujeto a modificaciones.

Las vistas previas de características no se han diseñado para un uso de producción y pueden tener una funcionalidad restringida. Estas características están disponibles antes del lanzamiento oficial para que pueda tener acceso anticipado y proporcionar comentarios.

Si está creando un agente listo para producción, consulte Información general sobre Microsoft Copilot Studio.

Requisitos previos

Para sacar el máximo partido a la característica de Temas, incluyendo la posibilidad de ver las preguntas y respuestas que conforman cada tema:

• Necesita el rol de seguridad Visor de transcripciones de bots para ver la lista y sus métricas. Solo los administradores pueden otorgar este rol asignando el rol de seguridad Visor de transcripciones de bots durante el uso compartido del agente.

• Los ajustes de nivel de entorno para almacenar transcripciones de conversaciones en Dataverse están activados.

Temas sugeridos y preguntas clasificadas

Copilot Studio sugiere temas basados en registros de preguntas hechas en el pasado reciente. Al personalizar cada tema sugerido para adaptarlo a la estructura de su organización y a la estrategia de experiencia del cliente, puede obtener una mejor perspectiva a través de indicadores clave de rendimiento (KPI) específicos de cada tema. Esta mayor granularidad facilita encontrar dónde los agentes presentan un desempeño inferior.

Los temas ayudan a los creadores a entender qué preguntas hacen los usuarios al agente y cómo se desempeña el agente. En la primera ejecución de los análisis basados en temas, Copilot Studio revisa todas las preguntas de la semana anterior y sugiere hasta 10 temas que agrupan las preguntas de los usuarios basándose en sus similitudes. Cada tema incluye métricas como el número total de preguntas, la tasa de respuesta y la reacción del usuario. El período seleccionado para el análisis ajusta los datos presentados en la lista Temas.

Posterior a la primera ejecución, Copilot Studio asigna las nuevas preguntas a los temas existentes de manera diaria y genera una lista actualizada de temas sugeridos semanalmente.

Nota

• Se requieren al menos 50 preguntas con respuestas generativas registradas en los últimos siete días antes de que Copilot Studio genere temas sugeridos.
• Una pregunta que desencadena una respuesta de IA generativa puede clasificarse en más de un tema. Este escenario podría volverse más común en el Orquestación generativa, donde una respuesta del agente puede provenir de varias fuentes.
• Cualquier pregunta que permanezca sin clasificar se asigna a un tema No Clasificado.
• La ejecución de las sugerencias semanales puede tardar unos minutos en completarse. Durante este tiempo, la sección Temas no está disponible para su uso.

La lista Temas

De forma predeterminada, la lista Temas muestra los cinco temas principales, ordenados por el número total de preguntas clasificadas en cada tema. Seleccione Ver todo para ampliar la lista y mostrar todos los temas.

Con las ejecuciones de sugerencias de tema semanales automáticas y la clasificación diaria de preguntas, la característica Temas evoluciona automáticamente y se adapta a los cambios en el comportamiento del usuario.

La lista Temas presenta métricas correspondientes a cada tema.

Columna	Descripción
Nombre	Nombre del tema.
Total de preguntas	Número total de preguntas clasificadas en este tema para el periodo de tiempo configurado.
Preguntas respondidas	Proporción del Total de preguntas que producen una respuesta a la pregunta del usuario.
Calidad de la respuesta	Proporción de la suma de todas las respuestas (basado en una muestra de preguntas) que tienen una respuesta de calidad Good.
Reacciones	Recuento bruto de reacciones positivas (me gusta) y negativas (no me gusta) de las preguntas clasificadas en cada tema.

Pase el cursor sobre un tema para ver el botón Evaluar. Obtenga más información en Acerca de la evaluación de agentes.

Nota

¿Por qué hay 'preguntas sin respuesta' en mi tema cuando todas las preguntas clasificadas generaron respuestas de IA generativa?

Por definición, solo las preguntas que desencadenan una respuesta de IA generativa pueden clasificarse en un tema. Pero desencadenar una llamada a respuestas generativas no es lo mismo que tener una respuesta a una consulta de usuario.

Por ejemplo, es común que haya un tema que impulse la conversación conectado a una fuente de conocimientos. En este caso, si no se reconoce una intención, es posible que el tema se desencadene, lo que llama al origen de conocimiento aunque no haya respuesta a la pregunta en ese origen de conocimiento.

Explorar un tema en profundidad

Importante

Para acceder a la funcionalidad de explorar en profundidad, ambas condiciones deben cumplirse:

• Los siguientes ajustes de entorno están habilitados:

  • Permitir a los propietarios y editores de agentes ver las transcripciones de las sesiones de interacción de conversación de sus agentes.
  • Permita guardar las transcripciones de conversaciones y los metadatos asociados en Dataverse.

  Para más información, consulte Configuración de transcripción para un único entorno.

• El usuario tiene asignado el rol de seguridad Visor de transcripciones de bots. Para obtener más información, consulte Agregar usuarios a un rol de seguridad.

Para explorar en profundidad las preguntas agrupadas en cualquier tema, seleccione el tema en la lista Temas. Cuando explora en profundidad, se abre un panel específico para el tema seleccionado, mostrando métricas de nivel de tema y de preguntas individuales.

Nota

La lista Temas incluye:

• Las 100 preguntas más recientes clasificadas dentro de cada tema.
• Preguntas de los últimos 30 días, independientemente del periodo de tiempo configurado. Si el periodo configurado está completamente fuera de los últimos 30 días, Copilot Studio muestra una notificación de que la lista no está disponible.

En el panel de exploración en profundidad temático, primero se muestran las métricas del tema.

Métrica de nivel de tema	Description
Total de preguntas	Número total de preguntas clasificadas en este tema que desencadenaron respuestas de IA generativa durante el periodo de tiempo configurado.
Preguntas respondidas	Proporción de las Preguntas totales de este tema que produjeron una respuesta a la pregunta del usuario.
Preguntas sin responder	Proporción de las Preguntas totales de este tema que no produjeron una respuesta a la pregunta del usuario.
Reacciones	Recuento bruto de reacciones positivas (me gusta) y negativas (no me gusta) de las preguntas clasificadas a este tema, tal como se registra en el mecanismo Learn Feedback.

Para ver un desglose de la calidad de la respuesta para una muestra de preguntas respondidas y todas las fuentes de conocimientos referenciadas en este tema, seleccione Ver detalles.

En el panel Métricas del tema, para ver más información sobre cualquier valor de calidad de respuesta de nivel del tema, bajo Calidad de respuesta, pase el cursor sobre un segmento de la barra. La información sobre herramientas incluye el valor de la ponderación relativa de ese segmento y el número de preguntas muestreadas para llegar a ese valor.

Para ver más información en el nivel de cualquiera de las fuentes de conocimientos enumeradas en el tema, en Uso de fuente de conocimientos seleccione una fuente de conocimientos individual. La información sobre herramientas incluye:

• Número total de preguntas a las que se hace referencia a este origen de conocimiento, así como el número de reacciones de pulgares hacia arriba y hacia abajo.
• Gráfico de barras apiladas que muestra el desglose de la calidad de las ponderaciones relativas de respuesta para las preguntas que hacen referencia a este origen de conocimiento. Pase sobre cualquier segmento del gráfico de barras para ver el valor de la ponderación relativa de ese segmento y el número de preguntas muestreadas para llegar a ese valor.

Una lista de preguntas agrupadas por tema refleja todas las preguntas que desencadenaron respuestas de IA generativa y fueron clasificadas en este tema, y muestra métricas sobre una base por pregunta.

Las métricas de nivel de pregunta incluyen:

Dimensión o métrica de nivel de pregunta	Description
Pregunta (dimensión)	Pregunta que desencadenó una respuesta de IA generativa clasificada en este tema.
¿Respondido?	Respuesta a la pregunta de si la consulta del usuario fue respondida o no. Los valores posibles son Answered y Unanswered.
Calidad de la respuesta1	Respuesta a la pregunta sobre cuál era la calidad de la respuesta a la consulta del usuario. Los valores posibles son Poor y Good.
Reacción	Dos parámetros: una métrica booleana Me gusta / No me gusta y un parámetro basado en texto Comentario.
Fecha	Fecha en la que se hizo la pregunta.
Fuente de conocimientos	Lista separada por comas de fuentes de conocimientos referenciadas por esta pregunta en este tema.

¹ La calidad de la respuesta no siempre está disponible y solo aparece si la pregunta fue muestreada para análisis de calidad.

Si lo desea, puede realizar las siguientes acciones en la página de la lista de preguntas por tema:

• Aplique más filtros para reducir aún más la lista de preguntas usando los filtros dimensionales de la lista.
• Evalúe las preguntas en la lista según los criterios que defina en el método de evaluación.
• Descargue las preguntas de la lista como archivo .csv.
• Vea información detallada específica de la respuesta de un agente individual.

Seleccione cualquier pregunta de la lista para ver información adicional sobre la pregunta en un panel Detalles de pregunta. Este panel incluye:

Parámetro detallado de nivel de pregunta	Description
Marca de fecha	Marca de tiempo de la instancia más reciente en que se respondió la pregunta.
Consulta de usuario	La pregunta formulada.
Respuesta	La respuesta de IA generativa.
Valor de Me gusta/No me gusta	Valor de la instancia más reciente de esta pregunta para el parámetro Me gusta / No me gusta.
Comentario	Comentario basado en texto adicional opcional, proporcionado por el usuario, además de la reacción Me gusta/No me gusta.
Calidad de la respuesta1	Respuesta a la pregunta sobre cuál era la calidad de la respuesta a la consulta del usuario. Los valores posibles son Poor y Good.
Razón2	En el caso en que la calidad de respuesta sea Poor, este parámetro explica por qué.

¹ La calidad de la respuesta no siempre está disponible y solo aparece si la pregunta fue muestreada para análisis de calidad.

² Si la calidad de respuesta es Good o si la pregunta no se ha muestreado, el parámetro Razón no tiene un valor.

Evalúe las respuestas de su agente por tema

Nota

Cuando selecciona Evaluar para un tema en la página Temas, crea un nuevo conjunto de pruebas por tema. El conjunto de pruebas incluye todas las preguntas asignadas a ese tema, hasta un máximo de 100 preguntas. Para aplicar más filtrado en la lista de preguntas, antes de crear un conjunto de pruebas de evaluación, primero explore en profundidad el tema. Luego, aplique filtros a la lista. Después de aplicar todos los filtros deseados, seleccione Evaluar en la página de la lista de preguntas.

Puede probar las respuestas de su agente a preguntas relacionadas con un tema utilizando la evaluación del agente (versión preliminar).

Las evaluaciones temáticas evalúan partes específicas del ámbito de su agente. Por ejemplo, si tiene un agente de servicio al cliente, puede hacer un seguimiento de la calidad de las respuestas para preguntas sobre facturación y pagos por separado de otros casos de uso como la resolución de problemas.

Obtenga más información sobre cómo crear conjuntos de pruebas a partir de un tema.