Nota:
El acceso a esta página requiere autorización. Puede intentar iniciar sesión o cambiar directorios.
El acceso a esta página requiere autorización. Puede intentar cambiar los directorios.
Las señales de calidad proporcionan una forma estructurada de comprender por qué las respuestas de los agentes tienen éxito o fracasan. Ayudan a los equipos a agrupar los resultados de las evaluaciones en categorías significativas, priorizar las mejoras y realizar un seguimiento del progreso a lo largo del tiempo.
En este artículo se explica cómo derivar señales de calidad de los resultados de la evaluación para diagnosticar problemas, identificar patrones y mejorar el rendimiento del agente de Copilot.
Con el uso de señales de calidad, los equipos pueden:
- Identificar patrones de errores periódicos
- Prioriza las mejoras en función del impacto
- Realizar un seguimiento del rendimiento en distintas iteraciones
- Comunique los resultados claramente a las partes interesadas
¿Qué son las señales de calidad?
Las señales de calidad son categorías que representan patrones en los resultados de la evaluación. Provienen del comportamiento observado en lugar de reglas predefinidas.
Las aserciones y las señales de calidad funcionan juntas en un flujo de trabajo de evaluación:
- Las aserciones determinan si una respuesta se aprueba o no.
- Las señales de calidad agrupan los resultados de las aserciones en patrones de nivel superior.
| Aspecto | Aserciones | Señales de calidad |
|---|---|---|
| Nivel | Específico y concreto | Abstracto y categórico |
| Finalidad | Determinar si se supera o no | Diagnosticar patrones |
| Cantidad | Muchos por caso de prueba | Pocos por agente |
| Origen | Definido antes de realizar la prueba | Derivado de los resultados |
| Ejemplo | Contiene "15 días" | Precisión de la directiva |
Después de definir las aserciones, deriva las señales de calidad de los resultados de las aserciones y usa esas señales para realizar un seguimiento del rendimiento en todos los escenarios.
Señales de calidad comunes
Use las siguientes señales de calidad comunes al evaluar agentes de Copilot:
- Precisión de la directiva : mide si las respuestas se alinean con las fuentes de conocimiento autorizadas
- Atribución de fuente : mide si las respuestas identifican claramente las fuentes de información
- Personalización : mide si las respuestas usan el contexto del usuario relevante
- Precisión de la herramienta : mide si las llamadas a la herramienta se ejecutan correctamente
- Manejo de respuesta de la herramienta : mide si el agente interpreta correctamente la salida de la herramienta
- Idoneidad de escalación : mide si las solicitudes se enrutan a soporte técnico humano cuando sea necesario
- Protección de la privacidad : mide si se protege la información confidencial
- Habilitación de acciones : mide si las respuestas proporcionan pasos siguientes claros
Evaluación de señales y causas comunes
En la tabla siguiente se enumeran los indicadores de cada señal de calidad.
| Señal de calidad | Indicadores de aprobación | Indicadores de error | Causas comunes |
|---|---|---|---|
| Precisión de la directiva | Valores y fechas correctos Detalles precisos de la directiva Coherente con la documentación actual |
Valores obsoletos o incorrectos Detalles contradictorios o inventados |
Documentos obsoletos o duplicados Resultados de recuperación incorrectos Alucinaciones modelo |
| Atribución de origen | Referencias a documentos o secciones específicas Declaraciones de atribución claras |
No se ha proporcionado ninguna fuente Referencias vagas o genéricas |
Faltan metadatos de origen Las instrucciones no enfatizan la atribución |
| Personalización | Respuestas específicas de la región o del rol Recomendaciones contextuales |
Respuestas genéricas que ignoran el contexto del usuario Información regional o basada en roles incorrecta |
El contexto de usuario no está disponible para el agente Fuentes de conocimiento no segmentadas por audiencia |
| Precisión de la herramienta | Selección de herramientas correcta Parámetros e identificadores válidos Todos los campos obligatorios rellenados |
Parámetros faltantes o incorrectos Entradas de herramientas no válidas |
Especificaciones de API ambiguas Asignación de parámetros incorrecta |
| Manejo de respuesta de la herramienta | Comunicación precisa de los resultados de la herramienta Control correcto de los estados de éxito y error |
Reclamaciones de éxito incorrectas Errores de herramientas ignorados o malinterpretados |
Falta la guía para el control de errores Interpretación errónea de las respuestas de las herramientas |
| Escalabilidad apropiada | Los problemas confidenciales o complejos se enrutan correctamente Cumplimiento de las reglas de escalación |
El agente intenta controlar escenarios no admitidos No escalar solicitudes de alto riesgo |
Criterios de escalado no definidos Instrucciones demasiado permisivas |
| Protección de privacidad | Negativa a divulgar datos restringidos Respuestas limitadas a la información autorizada |
Divulgación o inferencia de datos confidenciales Respuestas que exponen información protegida |
Controles de acceso débiles Instrucciones de privacidad insuficientes |
| Habilitación de acciones | Instrucciones específicas Vínculos, identificadores o detalles de contacto |
Instrucciones vagas o incompletas Faltan pasos procesables |
Falta información de procedimiento en las fuentes de conocimiento Respuestas sobreresumidas |
Cómo derivar señales de calidad
Las señales de calidad se derivan de patrones en los resultados de la evaluación en lugar de listas de verificación predefinidas. Para derivar señales de calidad:
- Ejecute un conjunto inicial de casos de prueba de evaluación.
- Revise las respuestas fallidas en los casos de prueba.
- Identificar patrones recurrentes en los errores.
- Defina cada patrón como una señal de calidad.
- Etiquete las aserciones relacionadas con la señal correspondiente.
- Realice un seguimiento de las tasas de aprobación por señal.
Señales de calidad en la práctica
En el ejemplo siguiente se muestran las señales de calidad definidas para un agente de incorporación de empleados.
| Observación | Patrón identificado | Señal de calidad |
|---|---|---|
| Valores correctos de PTO devueltos | Recuperación precisa de conocimientos | Precisión de la directiva |
| Fuente citada en respuesta | Atribución incluida | Atribución de origen |
| Se devolvió información regional incorrecta | Contexto no usado | Personalización |
| Herramienta invocada con parámetros incorrectos | Error de ejecución | Precisión de la herramienta |
| Solicitud enrutada a RR. HH. correctamente | Escalación correcta | Escalabilidad apropiada |
| Datos confidenciales casi expuestos | Riesgo del límite de privacidad | Protección de privacidad |
| La respuesta incluyó los siguientes pasos | Respuesta accionable | Habilitación de acciones |
Las siguientes son medidas específicas para señales de calidad.
| Precisión de la directiva | Atribución de origen | Precisión de la herramienta |
|---|---|---|
| Contiene la duración correcta de la toma de fuerza | Cita documentos autorizados | Invoca la herramienta correcta |
| Incluye la fecha límite de inscripción correcta | Hace referencia a secciones específicas | Usa parámetros válidos |
| No hace referencia a una directiva obsoleta | Devuelve el resultado correcto |
Aplicar y comunicar señales de calidad
Use señales de calidad para impulsar los flujos de trabajo de evaluación y comunicar información. Para aplicar señales de calidad:
Afirmaciones de etiquetas : agregue etiquetas de señal a cada afirmación en sus casos de prueba.
Caso de prueba: PTO-001
Mensaje: "¿Cuántos días de vacaciones tienen los nuevos empleados?"Aserciones:
La respuesta contiene "15 días".
Señal: Precisión de directivaLa respuesta cita el Manual del Empleado.
Señal: Atribución de origenLa respuesta menciona el grupo de permanencia de <2 años.
Signal: Personalización
Calcular métricas : agregue resultados de aprobación y suspenso por señal.
Señal de calidad Casos de prueba Aprobado Error Tasa de aprobados Precisión de la directiva 25 23 2 92% Atribución de origen 25 20 5 80% Personalización 15 11 4 73% Precisión de la herramienta 1,2 10 2 83% Escalabilidad apropiada 8 8 0 100 % Protección de privacidad 10 10 0 100 % Priorizar problemas : concéntrese en señales con bajas tasas de aprobación o alto impacto.
- Personalización (73% ): la mayor brecha, investigue primero.
- Atribución de la fuente (80%) - Segunda prioridad.
- Precisión de la herramienta (83%) - Tercera prioridad.
- Precisión de la directiva (92 % ): problemas menores, supervisión.
Seguimiento del progreso : supervise las tasas de aprobación de señales en todas las versiones del agente.
- Versión 1.0 > , 1.1 > , 1.2 > , 1.3
- Personalización: 73% > 78% > 85% > 91% (mejorando)
- Atribución de fuente: 80 % > 82 % > 88 % > 90 % (mejorando)
- Precisión de la herramienta: 83 % > 85 % > 84 % > 92 % (mejorada después de la regresión v1.2)
Las señales de calidad transforman las conversaciones de las partes interesadas. Esta especificidad permite correcciones específicas, seguimiento cuantitativo del progreso y una comunicación más clara con las partes interesadas.
Sin señales: El agente no funciona bien. Los usuarios se quejan.
Con señales: La precisión de las políticas es del 92 %: estamos alcanzando nuestro objetivo. Pero la personalización cayó al 73% después de la última actualización. Específicamente, los empleados del Reino Unido están recibiendo información de vacaciones en EE. UU. Hemos identificado la causa raíz: la recuperación de contexto no pasa los datos de ubicación. La corrección está en curso para la próxima versión.
Señales de calidad por tipo de agente
Las señales y prioridades de calidad varían en función del tipo de agente que se está evaluando.
| Tipo de agente | Signal | Prioridad |
|---|---|---|
| Basado en el conocimiento | Precisión de la directiva | Máximo |
| Atribución de origen | Máximo | |
| Integridad | Medio | |
| Personalización | Medio | |
| Llamada a herramientas | Precisión de la herramienta | Máximo |
| Manejo de respuesta de la herramienta | Máximo | |
| Habilitación de acciones | Máximo | |
| Recuperación de errores | Medio | |
| Híbrido | Precisión del enrutamiento | Máximo |
| Señales de conocimiento | Medio | |
| Señales de herramientas | Medio | |
| Escalabilidad apropiada | Medio | |
| De cara al cliente | Protección de privacidad | Máximo |
| Tono y profesionalidad | Máximo | |
| Escalabilidad apropiada | Máximo | |
| Integridad de la resolución | Medio |
Evita errores comunes
Evite los siguientes problemas para asegurarse de que sus señales de calidad sigan siendo útiles, consistentes y procesables.
Usa señales específicas en lugar de categorías genéricas
Las señales que son demasiado amplias, como "Precisión", "Utilidad" o "Relevancia", no proporcionan información procesable. Las señales genéricas dificultan la identificación de las causas principales o la priorización de las mejoras.
En su lugar, defina señales basadas en patrones específicos y observables en los resultados de la evaluación.
- Evitar: Precisión
- Preferir: Precisión de directiva, atribución de origen
Evitar señales demasiado granulares
Crear demasiadas señales de alcance estrecho aumenta la complejidad sin mejorar la información. La granularidad excesiva fragmenta el análisis y dificulta el seguimiento de tendencias significativas.
En su lugar, agrupe los comportamientos relacionados en categorías de señales más amplias y reutilizables.
- Se debe evitar: precisión del PTO, precisión de los beneficios, precisión de las vacaciones
- Preferir: Precisión de la directiva
Evitar criterios vagos de aprobado y suspenso
Las definiciones de señales vagas, como "Corrección", carecen de estándares medibles. Sin criterios claros, los resultados son inconsistentes y difíciles de interpretar.
En su lugar, defina las señales utilizando comportamientos explícitos y observables vinculados a los resultados de la evaluación.
- Evitar: "La respuesta es correcta"
- Preferir: "La respuesta incluye el valor correcto y cita una fuente autorizada"