Derivar señales de calidad para la evaluación del agente de Copilot

Las señales de calidad proporcionan una forma estructurada de comprender por qué las respuestas de los agentes tienen éxito o fracasan. Ayudan a los equipos a agrupar los resultados de las evaluaciones en categorías significativas, priorizar las mejoras y realizar un seguimiento del progreso a lo largo del tiempo.

En este artículo se explica cómo derivar señales de calidad de los resultados de la evaluación para diagnosticar problemas, identificar patrones y mejorar el rendimiento del agente de Copilot.

Con el uso de señales de calidad, los equipos pueden:

  • Identificar patrones de errores periódicos
  • Prioriza las mejoras en función del impacto
  • Realizar un seguimiento del rendimiento en distintas iteraciones
  • Comunique los resultados claramente a las partes interesadas

¿Qué son las señales de calidad?

Las señales de calidad son categorías que representan patrones en los resultados de la evaluación. Provienen del comportamiento observado en lugar de reglas predefinidas.

Las aserciones y las señales de calidad funcionan juntas en un flujo de trabajo de evaluación:

  • Las aserciones determinan si una respuesta se aprueba o no.
  • Las señales de calidad agrupan los resultados de las aserciones en patrones de nivel superior.
Aspecto Aserciones Señales de calidad
Nivel Específico y concreto Abstracto y categórico
Finalidad Determinar si se supera o no Diagnosticar patrones
Cantidad Muchos por caso de prueba Pocos por agente
Origen Definido antes de realizar la prueba Derivado de los resultados
Ejemplo Contiene "15 días" Precisión de la directiva

Después de definir las aserciones, deriva las señales de calidad de los resultados de las aserciones y usa esas señales para realizar un seguimiento del rendimiento en todos los escenarios.

Señales de calidad comunes

Use las siguientes señales de calidad comunes al evaluar agentes de Copilot:

  • Precisión de la directiva : mide si las respuestas se alinean con las fuentes de conocimiento autorizadas
  • Atribución de fuente : mide si las respuestas identifican claramente las fuentes de información
  • Personalización : mide si las respuestas usan el contexto del usuario relevante
  • Precisión de la herramienta : mide si las llamadas a la herramienta se ejecutan correctamente
  • Manejo de respuesta de la herramienta : mide si el agente interpreta correctamente la salida de la herramienta
  • Idoneidad de escalación : mide si las solicitudes se enrutan a soporte técnico humano cuando sea necesario
  • Protección de la privacidad : mide si se protege la información confidencial
  • Habilitación de acciones : mide si las respuestas proporcionan pasos siguientes claros

Evaluación de señales y causas comunes

En la tabla siguiente se enumeran los indicadores de cada señal de calidad.

Señal de calidad Indicadores de aprobación Indicadores de error Causas comunes
Precisión de la directiva Valores y fechas correctos

Detalles precisos de la directiva

Coherente con la documentación actual
Valores obsoletos o incorrectos

Detalles contradictorios o inventados
Documentos obsoletos o duplicados

Resultados de recuperación incorrectos

Alucinaciones modelo
Atribución de origen Referencias a documentos o secciones específicas

Declaraciones de atribución claras
No se ha proporcionado ninguna fuente

Referencias vagas o genéricas
Faltan metadatos de origen

Las instrucciones no enfatizan la atribución
Personalización Respuestas específicas de la región o del rol

Recomendaciones contextuales
Respuestas genéricas que ignoran el contexto del usuario

Información regional o basada en roles incorrecta
El contexto de usuario no está disponible para el agente

Fuentes de conocimiento no segmentadas por audiencia
Precisión de la herramienta Selección de herramientas correcta

Parámetros e identificadores válidos

Todos los campos obligatorios rellenados
Parámetros faltantes o incorrectos

Entradas de herramientas no válidas
Especificaciones de API ambiguas

Asignación de parámetros incorrecta
Manejo de respuesta de la herramienta Comunicación precisa de los resultados de la herramienta

Control correcto de los estados de éxito y error
Reclamaciones de éxito incorrectas

Errores de herramientas ignorados o malinterpretados
Falta la guía para el control de errores

Interpretación errónea de las respuestas de las herramientas
Escalabilidad apropiada Los problemas confidenciales o complejos se enrutan correctamente

Cumplimiento de las reglas de escalación
El agente intenta controlar escenarios no admitidos

No escalar solicitudes de alto riesgo
Criterios de escalado no definidos

Instrucciones demasiado permisivas
Protección de privacidad Negativa a divulgar datos restringidos

Respuestas limitadas a la información autorizada
Divulgación o inferencia de datos confidenciales

Respuestas que exponen información protegida
Controles de acceso débiles

Instrucciones de privacidad insuficientes
Habilitación de acciones Instrucciones específicas

Vínculos, identificadores o detalles de contacto
Instrucciones vagas o incompletas

Faltan pasos procesables
Falta información de procedimiento en las fuentes de conocimiento

Respuestas sobreresumidas

Cómo derivar señales de calidad

Las señales de calidad se derivan de patrones en los resultados de la evaluación en lugar de listas de verificación predefinidas. Para derivar señales de calidad:

  • Ejecute un conjunto inicial de casos de prueba de evaluación.
  • Revise las respuestas fallidas en los casos de prueba.
  • Identificar patrones recurrentes en los errores.
  • Defina cada patrón como una señal de calidad.
  • Etiquete las aserciones relacionadas con la señal correspondiente.
  • Realice un seguimiento de las tasas de aprobación por señal.

Señales de calidad en la práctica

En el ejemplo siguiente se muestran las señales de calidad definidas para un agente de incorporación de empleados.

Observación Patrón identificado Señal de calidad
Valores correctos de PTO devueltos Recuperación precisa de conocimientos Precisión de la directiva
Fuente citada en respuesta Atribución incluida Atribución de origen
Se devolvió información regional incorrecta Contexto no usado Personalización
Herramienta invocada con parámetros incorrectos Error de ejecución Precisión de la herramienta
Solicitud enrutada a RR. HH. correctamente Escalación correcta Escalabilidad apropiada
Datos confidenciales casi expuestos Riesgo del límite de privacidad Protección de privacidad
La respuesta incluyó los siguientes pasos Respuesta accionable Habilitación de acciones

Las siguientes son medidas específicas para señales de calidad.

Precisión de la directiva Atribución de origen Precisión de la herramienta
Contiene la duración correcta de la toma de fuerza Cita documentos autorizados Invoca la herramienta correcta
Incluye la fecha límite de inscripción correcta Hace referencia a secciones específicas Usa parámetros válidos
No hace referencia a una directiva obsoleta Devuelve el resultado correcto

Aplicar y comunicar señales de calidad

Use señales de calidad para impulsar los flujos de trabajo de evaluación y comunicar información. Para aplicar señales de calidad:

  • Afirmaciones de etiquetas : agregue etiquetas de señal a cada afirmación en sus casos de prueba.

    Caso de prueba: PTO-001
    Mensaje: "¿Cuántos días de vacaciones tienen los nuevos empleados?"

    Aserciones:

    • La respuesta contiene "15 días".
      Señal: Precisión de directiva

    • La respuesta cita el Manual del Empleado.
      Señal: Atribución de origen

    • La respuesta menciona el grupo de permanencia de <2 años.
      Signal: Personalización

  • Calcular métricas : agregue resultados de aprobación y suspenso por señal.

    Señal de calidad Casos de prueba Aprobado Error Tasa de aprobados
    Precisión de la directiva 25 23 2 92%
    Atribución de origen 25 20 5 80%
    Personalización 15 11 4 73%
    Precisión de la herramienta 1,2 10 2 83%
    Escalabilidad apropiada 8 8 0 100 %
    Protección de privacidad 10 10 0 100 %
  • Priorizar problemas : concéntrese en señales con bajas tasas de aprobación o alto impacto.

    1. Personalización (73% ): la mayor brecha, investigue primero.
    2. Atribución de la fuente (80%) - Segunda prioridad.
    3. Precisión de la herramienta (83%) - Tercera prioridad.
    4. Precisión de la directiva (92 % ): problemas menores, supervisión.
  • Seguimiento del progreso : supervise las tasas de aprobación de señales en todas las versiones del agente.

    • Versión 1.0 > , 1.1 > , 1.2 > , 1.3
    • Personalización: 73% > 78% > 85% > 91% (mejorando)
    • Atribución de fuente: 80 % > 82 % > 88 % > 90 % (mejorando)
    • Precisión de la herramienta: 83 % > 85 % > 84 % > 92 % (mejorada después de la regresión v1.2)

Las señales de calidad transforman las conversaciones de las partes interesadas. Esta especificidad permite correcciones específicas, seguimiento cuantitativo del progreso y una comunicación más clara con las partes interesadas.

Sin señales: El agente no funciona bien. Los usuarios se quejan.

Con señales: La precisión de las políticas es del 92 %: estamos alcanzando nuestro objetivo. Pero la personalización cayó al 73% después de la última actualización. Específicamente, los empleados del Reino Unido están recibiendo información de vacaciones en EE. UU. Hemos identificado la causa raíz: la recuperación de contexto no pasa los datos de ubicación. La corrección está en curso para la próxima versión.

Señales de calidad por tipo de agente

Las señales y prioridades de calidad varían en función del tipo de agente que se está evaluando.

Tipo de agente Signal Prioridad
Basado en el conocimiento Precisión de la directiva Máximo
Atribución de origen Máximo
Integridad Medio
Personalización Medio
Llamada a herramientas Precisión de la herramienta Máximo
Manejo de respuesta de la herramienta Máximo
Habilitación de acciones Máximo
Recuperación de errores Medio
Híbrido Precisión del enrutamiento Máximo
Señales de conocimiento Medio
Señales de herramientas Medio
Escalabilidad apropiada Medio
De cara al cliente Protección de privacidad Máximo
Tono y profesionalidad Máximo
Escalabilidad apropiada Máximo
Integridad de la resolución Medio

Evita errores comunes

Evite los siguientes problemas para asegurarse de que sus señales de calidad sigan siendo útiles, consistentes y procesables.

Usa señales específicas en lugar de categorías genéricas

Las señales que son demasiado amplias, como "Precisión", "Utilidad" o "Relevancia", no proporcionan información procesable. Las señales genéricas dificultan la identificación de las causas principales o la priorización de las mejoras.

En su lugar, defina señales basadas en patrones específicos y observables en los resultados de la evaluación.

  • Evitar: Precisión
  • Preferir: Precisión de directiva, atribución de origen

Evitar señales demasiado granulares

Crear demasiadas señales de alcance estrecho aumenta la complejidad sin mejorar la información. La granularidad excesiva fragmenta el análisis y dificulta el seguimiento de tendencias significativas.

En su lugar, agrupe los comportamientos relacionados en categorías de señales más amplias y reutilizables.

  • Se debe evitar: precisión del PTO, precisión de los beneficios, precisión de las vacaciones
  • Preferir: Precisión de la directiva

Evitar criterios vagos de aprobado y suspenso

Las definiciones de señales vagas, como "Corrección", carecen de estándares medibles. Sin criterios claros, los resultados son inconsistentes y difíciles de interpretar.

En su lugar, defina las señales utilizando comportamientos explícitos y observables vinculados a los resultados de la evaluación.

  • Evitar: "La respuesta es correcta"
  • Preferir: "La respuesta incluye el valor correcto y cita una fuente autorizada"

Siguiente paso