Nota:
El acceso a esta página requiere autorización. Puede intentar iniciar sesión o cambiar directorios.
El acceso a esta página requiere autorización. Puede intentar cambiar los directorios.
En este artículo se responden las preguntas más frecuentes sobre las funcionalidades de inteligencia artificial que se usan en las características de análisis de Copilot Studio.
¿Cómo se usa la inteligencia artificial generativa para el análisis?
Copilot Studio usa IA para evaluar la calidad de las respuestas generativas e identificar patrones en las consultas de los usuarios mediante agrupación por clústeres. Estos clústeres proporcionan información sobre el rendimiento del agente.
Las respuestas generativas usan orígenes de conocimiento que elija para generar una respuesta. La característica también recopila los comentarios que proporcione. El análisis usa modelos de lenguaje grandes (LLM) para clasificar los mensajes de chat entre usuarios y agentes en niveles que indican la calidad de las respuestas generativas. Estas clasificaciones se agregan para proporcionar un resumen del rendimiento del agente.
La agrupación en clústeres usa LLM para ordenar los mensajes de los usuarios en grupos en función de los temas compartidos y proporcionar a cada grupo un nombre descriptivo. Copilot Studio usa los nombres de estos clústeres para proporcionar diferentes tipos de información que puede usar para mejorar el agente.
Calidad de respuestas para contestaciones generativas
¿Cuál es el uso previsto de la calidad de respuesta?
Use el análisis de calidad de respuesta para comprender el rendimiento del agente e identificar mejoras. Actualmente, puede usar análisis para comprender si la calidad de las respuestas generativas de un agente cumple sus expectativas.
Además de la calidad general, la calidad del análisis de respuesta identifica las áreas en las que un agente funciona mal o no puede realizar sus objetivos previstos. Identifique dónde las respuestas generativas funcionan mal y tome medidas para mejorar su calidad.
Al identificar un rendimiento deficiente, siga los procedimientos recomendados que pueden ayudar a mejorar la calidad. Por ejemplo, después de identificar orígenes de conocimiento con un rendimiento deficiente, puede editar el origen de conocimiento o dividir el origen de conocimiento en varios orígenes más centrados para aumentar la calidad.
¿Qué datos se usan para crear análisis de calidad de respuesta?
La calidad del análisis de las respuestas se basa en una muestra de interacciones de respuesta generativa. Requiere la consulta de usuario, la respuesta del agente y los orígenes de conocimiento pertinentes que usa el modelo generativo para la respuesta generativa. La calidad del análisis de respuesta usa esa información para evaluar si la calidad de respuesta generativa es buena y, si no es así, por qué la calidad es deficiente. Por ejemplo, la calidad de la respuesta puede identificar respuestas incompletas, irrelevantes o no totalmente fundamentadas.
¿Cuáles son las limitaciones de calidad del análisis de respuesta y cómo pueden los usuarios minimizar los efectos de estas limitaciones?
La calidad del análisis de respuesta no usa todas las respuestas generativas. En su lugar, el análisis mide una muestra de sesiones del agente de usuario. Los agentes con menos del número mínimo de respuestas generativas exitosas no pueden recibir un resumen analítico de la calidad de la respuesta.
Hay casos en los que los análisis no evalúan una respuesta individual con precisión. En un nivel agregado, debe ser preciso para la mayoría de los casos.
La calidad de la analítica de respuesta no proporciona un desglose de las consultas específicas que llevaron a un rendimiento de baja calidad. Tampoco proporcionan un desglose de los temas u orígenes de conocimiento comunes que se usaron cuando se producen respuestas de baja calidad.
Los análisis no se calculan para respuestas que usan conocimientos generativos.
La completitud de las respuestas es una de las métricas utilizadas para evaluar la calidad de la respuesta. Esta métrica mide hasta qué punto la respuesta aborda completamente el contenido del documento recuperado.
Si el sistema no recupera un documento relevante con información adicional para la pregunta, no evalúa la métrica de completitud de ese documento.
¿Qué protecciones se aplican para la calidad del análisis de respuesta dentro de Copilot Studio para la inteligencia artificial responsable?
Los usuarios de agentes no ven los resultados de análisis. Los resultados solo están disponibles para los creadores de agentes y administradores.
Los creadores y administradores solo pueden usar la calidad del análisis de respuesta para ver el porcentaje de respuestas de buena calidad y las razones predefinidas para un rendimiento deficiente. Los resultados se agregan y se presentan como porcentajes y categorías predefinidas.
Hemos probado el análisis de calidad de las respuestas exhaustivamente durante el desarrollo para garantizar un buen rendimiento. Sin embargo, en casos poco frecuentes, la calidad de las evaluaciones de respuesta puede ser inexacta.
Análisis de sentimiento para sesiones conversacionales
¿Cuál es el uso previsto del análisis de sentimiento?
Use el análisis de sentimiento para comprender el nivel de satisfacción del usuario en las sesiones de conversación en función de un análisis de IA de los mensajes de usuario al agente. Puede comprender la opinión general de la sesión (positiva, negativa o neutral), investigar las razones y tomar medidas para abordarla.
¿Qué datos se usan para el análisis de sentimiento?
El análisis de sentimiento usa mensajes de usuario al agente para un conjunto de sesiones conversacionales de ejemplo.
La analítica de sentimiento utiliza esa información para evaluar si la satisfacción del usuario durante la sesión es positiva, negativa o neutral. Por ejemplo, un usuario puede usar palabras y un tono de voz que indiquen frustración o insatisfacción según la interacción con el agente. En este caso, la sesión se clasifica como de sentimiento negativo.
¿Cuáles son las limitaciones del análisis de sentimiento y cómo pueden los usuarios mitigar estas limitaciones?
El análisis de sentimiento no se calcula usando todas las sesiones de conversación. En su lugar, el análisis mide una muestra de sesiones del agente de usuario. Los agentes que estén por debajo de un número mínimo de respuestas generativas exitosas diarias no recibirán una puntuación de sentimiento.
Actualmente, el análisis de sentimiento depende de respuestas generativas y requiere un número mínimo de respuestas exitosas diarias para calcular la puntuación de sentimiento del agente.
Para calcular el sentimiento de una sesión, debe haber al menos dos mensajes de usuario. Además, debido a las limitaciones técnicas actuales, no se realiza análisis de sentimiento en sesiones que superen un total de 26 mensajes (incluyendo mensajes tanto de usuario como de agente)
El análisis de sentimiento no proporciona un desglose de los mensajes específicos de los usuarios que llevaron a la puntuación de sentimiento.
¿Qué protecciones se aplican para el análisis de sentimiento dentro de Copilot Studio para la inteligencia artificial responsable?
Los usuarios de agentes no ven los resultados de análisis. Los resultados solo están disponibles para los creadores de agentes y administradores.
Solo puede usar el análisis de opiniones para ver el desglose de opiniones en todas las sesiones.
Probamos el análisis de sentimiento a fondo durante el desarrollo para asegurar un buen rendimiento. Sin embargo, en casos poco frecuentes, las evaluaciones de sentimiento pueden ser inexactas.
Temas de preguntas de usuario
¿Cuál es el uso previsto de temas?
La agrupación en clústeres por temas y análisis de nivel de tema le ayuda a comprender rápidamente qué preguntan los usuarios a escala. Esta característica analiza grandes volúmenes de consultas de usuario y expone temas de alto nivel ("temas") que representan a los principales usuarios interesados. Este análisis le ayuda a pasar de inspeccionar conversaciones individuales para identificar patrones más amplios, necesidades emergentes y áreas de interés.
Al proporcionar información general estructurada y controlada por datos de la actividad del usuario, el análisis de nivel de tema le ayuda a:
Identifique los temas más comunes con los que los usuarios interactúan.
Detectar brechas en la cobertura o experiencias poco claras.
Supervise cómo evolucionan los intereses del usuario con el tiempo.
Priorice las mejoras en función de la demanda real del usuario.
¿Cómo funciona el análisis de temas en un nivel alto?
Esta característica funciona como un proceso de varias fases que organiza continuamente las consultas de usuario en grupos significativos. En un nivel alto, este proceso incluye dos fases clave:
Generación de temas candidatos
El sistema analiza un conjunto reciente de consultas de usuario e identifica temas candidatos que representan distintos temas de alto nivel. El sistema detecta patrones, similitudes y temas periódicos en las consultas para derivar estos candidatos.
Atribución de consultas a temas
Una vez que el sistema genera temas candidatos, asocia consultas individuales al tema más relevante. Cada tema representa una colección de preguntas de usuario relacionadas y evoluciona a medida que el sistema procesa nuevas consultas. El sistema refina estos temas a lo largo del tiempo mediante señales como la similitud semántica y los comentarios de los usuarios. Este proceso de refinamiento permite que la representación se adapte a medida que cambia el comportamiento del usuario.
¿Qué datos se usan para crear temas?
Los usuarios generan temas a partir de consultas que dan lugar a respuestas generativas. El proceso se centra en una ventana de actividad reciente para garantizar que los temas reflejen los intereses actuales del usuario y las tendencias en evolución. A medida que los nuevos datos estén disponibles, el sistema actualiza los temas para mantenerlos relevantes.
Dado que Temas se basa en los patrones de las consultas de los usuarios, la función depende de que haya un volumen significativo de actividad para analizar. En situaciones en las que hay datos limitados o consultas muy fragmentadas, es posible que el sistema no genere temas o que proporcione información limitada.
¿Cuáles son las limitaciones del análisis de temas y cómo puedo mitigarlas?
El análisis de temas es un sistema de agrupación en clústeres controlado por datos y su eficacia depende de la naturaleza y el volumen de las consultas de usuario. Algunas posibles limitaciones incluyen:
Los datos insuficientes o muy diversos pueden dar lugar a temas demasiado amplios o estrechos.
A veces, los temas estrechamente relacionados pueden dividirse en temas independientes.
Las consultas no relacionadas pueden agruparse ocasionalmente.
Los cambios en el idioma del usuario a lo largo del tiempo pueden afectar a la coherencia de los temas.
Para obtener el máximo valor de los temas:
Revise periódicamente los temas generados.
Proporcione comentarios (por ejemplo: pulgares arriba o abajo) para mejorar la calidad.
Interprete los temas como información direccional en lugar de categorizaciones exactas.
¿Qué protecciones de inteligencia artificial responsables están en vigor?
La agrupación en clústeres y el análisis de temas se diseñan teniendo en cuenta los principios de inteligencia artificial responsables.
Los creadores y administradores autorizados son los únicos que pueden ver temas.
Solo los autorizados para ver las consultas de usuario pueden ver su desglose en temas.
Los temas reflejan el contenido de las consultas del usuario, por lo que proporcionan un resumen honesto para que los creadores y administradores puedan verlos.
Estas medidas de seguridad ayudan a garantizar que Temas proporciona información útil al tiempo que mantiene una experiencia segura y controlada.
Análisis de métricas personalizadas
¿Cuál es el uso previsto de métricas personalizadas?
Use análisis de métricas personalizados para comprender cuánto afectan los agentes conversacionales a los resultados empresariales. Estas métricas complementan el análisis de ahorros. Entre los ejemplos de métricas personalizadas se incluyen la tasa de resolución, la clasificación de intenciones del cliente y otros resultados específicos del dominio.
Las métricas personalizadas pueden mostrar dónde los agentes pierden los objetivos previstos. Defina qué medir, probar las métricas con los datos de sesión reales y refinar las definiciones en función de los resultados.
¿Qué datos se usan para calcular métricas personalizadas?
Calcule métricas personalizadas utilizando una muestra de sesiones pasadas de agentes. El cálculo usa los mensajes conversacionales intercambiados durante una sesión.
El modelo de IA clasifica los datos de sesión en función de la definición de la métrica. El agente agrega resultados en la muestra para mostrar el rendimiento general de la métrica durante el período de tiempo seleccionado.
¿Cuáles son las limitaciones de las métricas personalizadas y cómo pueden los usuarios minimizar los efectos de las limitaciones?
Las métricas personalizadas no usan todas las sesiones del agente. En su lugar, miden un ejemplo de sesiones del período de tiempo seleccionado. Dado que los resultados se basan en una muestra, tratalos como indicadores direccionales en lugar de cifras exactas.
Tenga en cuenta que el cálculo de la métrica se basa en la transcripción de mensajes al interpretar las métricas. Evite extraer conclusiones sobre los comportamientos que se producen principalmente fuera de los mensajes, como temas y herramientas.
El modelo de IA podría clasificar erróneamente las sesiones. Los resultados agregados son generalmente precisos. Las sesiones que no coinciden con una categoría definida se colocan en la categoría de reserva (Otros). Si los resultados de las pruebas no coinciden con los resultados esperados, puede actualizar la descripción de métrica y las definiciones de categoría.
Si cambia significativamente las instrucciones o la configuración de un agente después de definir una métrica, es posible que la métrica ya no refleje con precisión el comportamiento actualizado del agente. Revise sus métricas personalizadas después de realizar cambios sustantivos en el agente.
¿Qué protecciones se aplican para las métricas personalizadas dentro de Copilot Studio para la inteligencia artificial responsable?
Los creadores y administradores del agente son los únicos que pueden acceder a los resultados de las métricas personalizadas. Los usuarios del agente no tienen acceso a los resultados de análisis.
Revise y apruebe todas las métricas personalizadas antes de guardarlas. Durante la definición de métricas, probará las métricas con los datos de sesión de ejemplo y revisará los resultados individuales y el razonamiento del modelo. Si los resultados no cumplen las expectativas, puede actualizar o descartar la métrica. Las métricas no se aplican sin la confirmación explícita.
La solicitud generada por IA que se usa para clasificar las sesiones es visible en la interfaz de usuario, por lo que puede comprender cómo interpreta el modelo la definición de métrica. Puede editar o quitar métricas personalizadas en cualquier momento.
En raras ocasiones, las clasificaciones de sesión individuales pueden ser inexactas. Los resultados deben interpretarse en agregado en lugar de en el nivel de sesión individual.