Análisis de preguntas de usuario por tema (versión preliminar)

[Este artículo es documentación preliminar y está sujeto a modificaciones].

Preguntas de usuario relacionadas con el grupo de temas que desencadenan respuestas generativas. Mediante la agrupación en clústeres de preguntas relacionadas, los temas le ayudan a organizar la información sobre la intención del cliente, identificar temas frecuentes y centrarse en áreas que necesitan mejorar. Puede explorar preguntas individuales dentro de un tema y supervisar el rendimiento para comprender las métricas de nivel de tema.

Importante

Este artículo contiene Microsoft Copilot Studio documentación de vista previa y está sujeto a cambios.

Las características en versión preliminar no están pensadas para su uso en producción y pueden tener funcionalidad restringida. Estas características están disponibles antes del lanzamiento oficial para que pueda tener acceso anticipado y proporcionar comentarios.

Si va a crear un agente listo para producción, consulte Microsoft Copilot Studio Overview.

Propuesta de valor clave

La característica Temas analiza automáticamente todas las preguntas no clasificadas que desencadenaron respuestas de IA generativas en la última semana y sugiere temas basados en este análisis. Este proceso se ejecuta semanalmente. Entre las ejecuciones semanales de sugerencias de tema, la característica realiza la clasificación diaria de cualquier nueva pregunta que desencadene respuestas de IA generativas y agregue estos datos a las métricas de tema. La lista de temas sugeridos se actualiza periódicamente para que los temas permanezcan relevantes y reflejen los datos de usuario más recientes. Esta actualización automática le ahorra tiempo:

• Evaluar continuamente la relevancia del tema con respecto a los nuevos datos.
• Clasificar automáticamente preguntas individuales en temas.
• Automatización de la recuperación de datos de métricas sin procesar para cada tema.
• Cálculo de datos de métricas agregados para cada tema.

Prerrequisitos

Para obtener el máximo valor de la característica Temas, incluida la capacidad de ver las preguntas y respuestas de los componentes de cada tema:

• Necesita el rol de seguridad Bot Transcript Viewer para ver la lista y sus métricas. Solo los administradores pueden conceder este rol asignando el rol de seguridad Visor de transcripciones del bot durante el uso compartido del agente.

• La configuración de nivel de entorno para almacenar transcripciones de conversación en Dataverse está activada.

Temas sugeridos y preguntas clasificadas

Copilot Studio sugiere temas basados en registros de preguntas que se han hecho en el pasado reciente. Al adaptar cada tema sugerido para adaptarse a la estructura de su organización y la estrategia de experiencia del cliente, puede obtener una mejor información a través de indicadores clave de rendimiento (KPI) específicos del tema. Esta granularidad más profunda facilita la búsqueda de dónde los agentes rinden por debajo de lo esperado.

Los temas ayudan a los creadores a comprender qué preguntas hacen los usuarios al agente y cómo funciona el agente. En la ejecución inicial del análisis basado en temas, Copilot Studio examina todas las preguntas de la semana pasada y sugiere hasta 10 temas que agrupan preguntas de usuario basadas en similitudes entre sí. Cada tema incluye métricas como el número total de preguntas, la tasa de respuestas y la reacción del usuario. El período de análisis seleccionado ajusta los datos mostrados en la lista Temas .

Después de la ejecución inicial, Copilot Studio clasifica las nuevas preguntas a los temas existentes de forma continua, diaria y genera una nueva lista de temas sugeridos semanalmente.

Nota:

• Se deben registrar al menos 50 preguntas con respuestas generativas en los últimos siete días antes de que Copilot Studio genere temas sugeridos.
• Una pregunta que desencadena una respuesta de IA generativa se puede clasificar en más de un tema. Este escenario puede volverse más común en el modo de orquestación generativa , donde una respuesta del agente puede provenir de varias fuentes diferentes.
• Las preguntas que permanecen sin clasificar se colocan en un tema sin clasificar .
• La ejecución de las sugerencias semanales puede tardar unos minutos en completarse. Durante este tiempo, la sección Temas no está disponible para su uso.

Lista de temas

De forma predeterminada, la lista Temas muestra los cinco temas principales, clasificados por el número total de preguntas clasificadas en cada tema. Seleccione Ver todo para expandir la lista y mostrar todos los temas.

Con las ejecuciones de sugerencias de tema semanales automáticas y la clasificación diaria de preguntas, la característica Temas evoluciona automáticamente y se adapta a los cambios en el comportamiento del usuario.

La lista Temas muestra métricas para cada tema de la lista.

Columna	Description
Nombre	Nombre del tema.
Total de preguntas	Número total de preguntas clasificadas en este tema durante el período de tiempo configurado.
Preguntas respondidas	Proporción de preguntas totales que dan lugar a una respuesta a la pregunta del usuario.
Calidad de la respuesta	Proporción de la suma de todas las respuestas (basadas en una muestra de preguntas) que tienen una Good respuesta de calidad.
Reacciones	Recuento sin procesar de reacciones positivas (pulgares hacia arriba) y negativas (pulgares hacia abajo) de las preguntas clasificadas a cada tema.

Pasa el cursor sobre un tema para ver el botón Evaluar . Infórmate más sobre la evaluación.

Nota:

¿Por qué hay "Preguntas sin responder" en mi tema cuando todas las preguntas clasificadas activaron respuestas de IA Generativa?

Por definición, solo las preguntas que desencadenan una respuesta de IA generativa se pueden clasificar en un tema. Pero desencadenar una llamada a respuestas generativas no es lo mismo que tener una respuesta a una consulta de usuario.

Por ejemplo, es habitual que haya un tema de impulso conversacional conectado a una fuente de conocimiento. En este caso, si no se reconoce una intención, es posible que el tema se desencadene, lo que llama al origen de conocimiento aunque no haya respuesta a la pregunta en ese origen de conocimiento.

Explorar en profundidad un tema

Importante

Para acceder a la funcionalidad de desglose, ambos deben ser verdaderos:

• La siguiente configuración de entorno está habilitada:

  • Permitir a los propietarios y editores de agentes ver las transcripciones de las sesiones de interacción de conversación de sus agentes.
  • Permitir que las transcripciones de conversación y sus metadatos asociados se guarden en Dataverse.

  Para obtener más información, consulte Configuración de las opciones de transcripción para un único entorno.

• El rol de seguridad Bot Transcript Viewer se asigna al usuario. Para obtener más información, consulte Incorporación de usuarios a un rol de seguridad.

Para profundizar en las preguntas agrupadas en un tema, seleccione el tema en la lista Temas . Al explorar en profundidad, se abre un panel específico del tema seleccionado, que muestra las métricas en los niveles del tema y las preguntas individuales.

Nota:

La lista de temas incluye:

• Las 100 preguntas más recientes clasificadas en cada tema.
• Preguntas de los últimos 30 días, independientemente del período de tiempo configurado. Si el período configurado está completamente fuera de los últimos 30 días, Copilot Studio muestra una notificación de que la lista no está disponible.

En el panel de exploración en profundidad de un tema, las métricas en el nivel de tema se muestran primero.

Métrica de nivel temático	Description
Total de preguntas	Número total de preguntas clasificadas en este tema que desencadenó respuestas de IA generativas para el período de tiempo configurado.
Preguntas respondidas	Proporción de las preguntas totales de este tema que dieron lugar a una respuesta a la pregunta del usuario.
Preguntas sin respuesta	Proporción de las preguntas totales de este tema que no han resultado en una respuesta a la pregunta del usuario.
Reacciones	Conteo bruto de reacciones positivas (pulgares hacia arriba) y negativas (pulgares hacia abajo) de las preguntas clasificadas bajo este tema, como se registra en el mecanismo de comentarios de Learn Feedback.

Para mostrar un desglose de la calidad de respuesta para un muestreo de preguntas respondidas y todos los orígenes de conocimiento a los que se hace referencia en este tema, seleccione Ver detalles.

En el panel Métricas del tema , para ver más información sobre cualquier valor de calidad de respuesta en el nivel del tema, en Calidad de respuesta, coloque el cursor sobre un segmento de barra individual. La información sobre herramientas incluye el valor de la ponderación relativa de ese segmento y el número de preguntas muestreadas para llegar a ese valor.

Para ver más información a nivel de cualquiera de las fuentes de conocimiento listadas en el tema, en Uso de fuentes de conocimiento, seleccione una fuente de conocimiento individual. La información sobre herramientas incluye:

• Número total de preguntas a las que se hace referencia a este origen de conocimiento, así como el número de reacciones de pulgares hacia arriba y hacia abajo.
• Gráfico de barras apiladas que muestra el desglose de la calidad de las ponderaciones relativas de respuesta para las preguntas que hacen referencia a este origen de conocimiento. Pase el cursor sobre cualquier segmento del gráfico de barras para ver el valor de la ponderación relativa de ese segmento y el número de preguntas muestreadas para llegar a ese valor.

Una lista de preguntas basada en temas refleja todas las preguntas que desencadenaron respuestas de IA generativas y se clasificaron en este tema y muestran métricas por pregunta .

Las métricas de nivel de pregunta incluyen:

Dimensión o métrica de nivel de pregunta	Description
Pregunta (dimensión)	Pregunta que desencadenó una respuesta de IA generativa clasificada a este tema.
¿Respondió?	Respuesta a la pregunta de si se respondió o no la consulta del usuario. Los valores posibles son Answered y Unanswered.
Calidad de respuesta 1	Respuesta a la pregunta de cuál era la calidad de respuesta a la consulta del usuario. Los valores posibles son Poor y Good.
Reacción	Dos parámetros, siendo la métrica booleana Pulgar hacia arriba/Pulgar hacia abajo, y un parámetro Comment basado en texto.
Fecha	Fecha en la que se hizo la pregunta.
Fuente de conocimiento	Lista separada por comas de fuentes de conocimiento a las que se hace referencia en esta pregunta en este tema.

¹ La calidad de la respuesta no siempre está disponible y solo se muestra si la pregunta se muestreó para el análisis de calidad.

Si lo desea, puede realizar las siguientes acciones en la página de lista de preguntas específica del tema:

• Aplique más filtrado para restringir aún más la lista de preguntas mediante los filtros dimensionales de la lista.
• Evalúe las preguntas enumeradas según los criterios que defina en el método de prueba de la evaluación.
• Descargue las preguntas enumeradas como un archivo .csv.

Seleccione cualquier pregunta de la lista para mostrar más información sobre la pregunta en un panel Detalles de la pregunta . Este panel incluye:

Parámetro detallado de nivel de pregunta	Description
Marca de tiempo	Marca de tiempo de la instancia más reciente de cuando se respondió a la pregunta.
Consulta de usuario	La pregunta formulada.
Respuesta	Respuesta de IA generativa.
Valor de Me gusta/No me gusta	Valor de la instancia más reciente de esta pregunta para el parámetro Thumbs up /Thumbs down .
Comentario	Comentario adicional opcional basado en texto, proporcionado por el usuario, además de la reacción Pulgar arriba / Pulgar abajo .
Calidad de respuesta 1	Respuesta a la pregunta de cuál era la calidad de respuesta a la consulta del usuario. Los valores posibles son Poor y Good.
Motivo2	En el caso de que la calidad de la respuesta sea Poor, este parámetro explica por qué.

¹ La calidad de la respuesta no siempre está disponible y solo se muestra si la pregunta se muestreó para el análisis de calidad.

² Si la calidad de la respuesta es Good o si la pregunta no se muestreó, el parámetro Reason no tiene un valor.

Evalúa las respuestas de tu agente según el tema

Nota:

Al seleccionar Evaluar para un tema que aparece en la página Temas , se crea un nuevo conjunto de pruebas en el nivel de tema. El conjunto de pruebas incluye todas las preguntas clasificadas en ese tema, hasta 100 preguntas. Para aplicar más filtrado en la lista de preguntas, antes de crear un conjunto de pruebas de evaluación, primero explore en profundidad el tema. A continuación, aplique el filtrado a la lista. Después de aplicar todo el filtrado deseado, seleccione Evaluar en la página de la lista de preguntas.

Puede probar las respuestas del agente a preguntas relacionadas con un tema mediante la evaluación del agente (versión preliminar).

Las evaluaciones temáticas ponen a prueba partes específicas del ámbito de tu agente. Por ejemplo, si tienes un agente de atención al cliente, puedes hacer un seguimiento de la calidad de las respuestas para preguntas de facturación y pagos por separado de otros casos de uso como la resolución de problemas.

Aprende más sobre cómo crear conjuntos de pruebas a partir de un tema.