Compartir a través de

Capa 4: Analiza patrones y mejora continuamente tu agente

Después de evaluar los errores de casos de prueba individuales, puede aplicar correcciones y seguir viendo poca o ninguna mejora en el rendimiento general del agente. Este resultado suele indicar un problema sistémico, no una colección de errores no relacionados.

El análisis de patrones le ayuda a buscar varios casos de prueba con errores para identificar señales periódicas y causas raíz compartidas. Use el análisis de patrones para centrarse en los cambios que abordan grupos de errores a la vez en lugar de corregir cada error de forma aislada.

Importante

Use esta guía después de completar la evaluación de errores y aplicar los cambios de corrección. El análisis de patrones es más útil después de evaluar al menos cinco errores.

Cuándo usar el análisis de patrones

El análisis de patrones es más útil cuando se observan una o varias de las condiciones siguientes:

  • Muchos errores en el mismo conjunto de evaluación.
  • Errores repetidos con síntomas similares.
  • Mejoras en casos de prueba individuales que no afectan las puntuaciones generales.
  • Mejoras en un área que provocan regresiones en otra.

La corrección de errores uno por uno es ineficaz en estas situaciones. El análisis de patrones le ayuda a identificar qué errores tienen en común para poder abordar la causa subyacente.

Análisis de concentración

Después de clasificar errores individuales, busque patrones en todo el conjunto.

Modelo Lo que indica Acción recomendada
80% o más errores son problemas de configuración de evaluación El conjunto de evaluación necesita calibración, no cambios en el agente Pausar la iteración del agente. Audite y corrija primero la calidad de evaluación y vuelva a ejecutar para obtener la señal limpia.
80% o más errores son problemas de configuración del agente en un área (por ejemplo, todo lo relacionado con el conocimiento) Brecha de configuración del agente sistémico Centrar la corrección en esa área. Este problema suele ser un problema arquitectónico (por ejemplo, estructura del origen de conocimiento), no correcciones de casos de prueba individuales.
80% o más errores son limitaciones de la plataforma El agente alcanza los límites de la plataforma. Vuelva a evaluar el alcance del agente. Escale al equipo responsable de la plataforma. Ajuste los umbrales o trate los elementos afectados como limitaciones conocidas cuando corresponda.
Errores distribuidos uniformemente entre los tipos de causa principal Ningún problema sistémico único Continúe remediando caso por caso utilizando el mapeo de remediación.

Cómo realizar análisis de concentración

  1. Indique los errores clasificados por tipo de causa principal:

    • Problemas de configuración de evaluación
    • Problemas de configuración del agente
    • Limitaciones de la plataforma
    • No Clasificado

  2. Calcule el porcentaje de cada tipo.

  3. Si cualquier tipo único es 80% o superior, lo que indica un problema sistémico, corrija la categoría, no casos individuales.

  4. Si los problemas de configuración del agente se concentran en una señal de calidad (por ejemplo, cinco de los seis son anclaje de conocimiento), ese patrón apunta a una causa arquitectónica principal.

Patrones de señales cruzadas

Cuando los errores abarcan varios conjuntos de evaluación, a menudo apuntan a una causa raíz compartida. Busque los siguientes patrones:

Modelo Lo que probablemente indica Qué investigar
Precisión fáctica y base de conocimientos deficientes Problema del origen de conocimiento (incorrecto, falta, inaccesible o obsoleto) Configuración del conocimiento, estado de indexación y actualización de contenido
Error en la invocación de herramientas y el enrutamiento del desencadenador, ambos fallando Problema de configuración de orquestación: los temas y las herramientas no están conectados correctamente Revisa cómo se enrutaron los temas hacia las herramientas. Compruebe si hay flujos desconectados o mal configurados.
Fallo de tono pero precisión cumplida El agente obtiene la respuesta correcta, pero la entrega mal Céntrese en las indicaciones de estilo del aviso; la infraestructura de exactitud es sólida.
Aprobado en seguridad, pero fallando en precisión El agente puede estar demasiado restringido, demasiado cauteloso, se niega a responder cuando debe Revise las instrucciones de seguridad para identificar restricciones excesivamente amplias que bloqueen respuestas legítimas.
Todo pasa excepto los casos límite El comportamiento principal es sólido Céntrese en expandir la solidez en los márgenes; este patrón es un buen signo.
Mejora de la precisión, pero degradación de tono Conflicto de instrucciones: las nuevas instrucciones de precisión podrían estar desplazando las directrices de tono Revise los cambios de solicitud recientes y tenga en cuenta el "presupuesto de instrucciones".
Varios conjuntos de evaluación se degradan simultáneamente Probablemente una única causa principal con un impacto amplio Compruebe si hay cambios recientes en el sistema, actualizaciones de origen de conocimiento o actualizaciones del modelo de plataforma.

Qué hacer con patrones de señal cruzada

  1. Identificar la causa principal compartida: si se producen errores en dos señales, es probable que compartan una dependencia como un origen de conocimiento, una sección de solicitud o una configuración de herramientas.
  2. Corrección de la dependencia compartida: no corrija cada señal de forma independiente.
  3. Vuelva a ejecutar ambos conjuntos de evaluación: después de la corrección, confirme que ambos conjuntos mejoran.
  4. Si solo mejora una, las señales no comparten realmente una causa principal. Evaluar los errores restantes de forma independiente.

Análisis de tendencias en iteraciones

Realice un seguimiento de cómo cambian las puntuaciones en los ciclos de iteración para comprender si la estrategia de corrección funciona.

Tendencia Interpretación Acción
Puntuaciones que mejoran entre iteraciones La remediación está funcionando Continúe hasta que se cumplan los umbrales.
Puntuaciones estables a pesar de los cambios La corrección no tiene como destino la causa principal real Reevaluación de prioridades; La clasificación de la causa raíz podría ser incorrecta.
Puntuaciones en deterioro después de un cambio Regresión: el cambio rompió algo Revierte el cambio. Investigue qué regresó y por qué.
Un conjunto de evaluación está mejorando, otro está degradando Compromiso: corregir una dimensión afectó a otra Investigue el acoplamiento, a menudo causado por un conflicto de instrucciones (consulte Journey 3).
Puntuaciones que fluctúan entre ejecuciones (más de +/-10% de variación) Inestabilidad del calificador o no determinismo del agente Valide primero la confiabilidad del calificador (consulte Validación del calificador). Ejecute al menos tres veces por iteración.

Creación de una vista de tendencia

Después de cada iteración, registre:

  • Fecha
  • Cambio realizado
  • Conjunto de evaluación
  • Puntuación antes
  • Puntuación después
  • Delta

Esta información le ayuda a:

  • Confirme que está convergiendo hacia los umbrales
  • Identificación rápida de regresiones
  • Detectar estancamientos temprano (Journey 2)

Errores de documento

Los registros de errores estructurados crean conocimientos institucionales en ciclos de iteración. Sin documentación, los equipos suelen repetir el mismo trabajo de investigación.

¿Por qué se produce un error en el documento?

  • Acelerar la evaluación de prioridades futura: Reconoce inmediatamente los patrones de error conocidos.
  • Construir evidencias para la escalación: Reúne registros de limitación de la plataforma para reforzar los argumentos frente al equipo de la plataforma.
  • Habilitación del aprendizaje en equipo: El registro ayuda a evitar investigaciones duplicadas cuando varias personas trabajan en el mismo agente.
  • Seguimiento de brechas conocidas: No olvide realizar un seguimiento de los errores clasificados como "no corregirá" ni "limitación conocida".

Uso de la plantilla de registro de errores

Use la plantilla de registro de errores para capturar errores en un formato ligero o detallado, según el tamaño del equipo y la madurez del proceso.

Qué registrar

Como mínimo, recopile la siguiente información para cada fallo analizado.

  1. Qué caso de prueba produjo un error.
  2. El tipo de causa raíz que usted clasificó como.
  3. Lo que salió mal específicamente.
  4. Qué modificaciones realizaste para corregirlo.
  5. Si la corrección funcionó.

Para errores sin resolver, registre también:

  • Lo que has intentado hasta ahora.
  • ¿Por qué sigue sin resolverse?
  • Cuándo volver a evaluar (por ejemplo, "después de actualizar la plataforma X").

Flujo de trabajo de mejora continua

Use esta lista de comprobación después de cada ciclo de evaluación de prioridades y corrección para confirmar que ha capturado los resultados y los pasos siguientes.

Lista de comprobación posterior a la iteración

¿Terminado? tarea
✓ Registre todos los errores evaluados en el registro de errores.
✓ Identifique y anote las concentraciones de causa raíz.
✓ Compruebe los patrones de señal cruzada.
✓ Registra puntuaciones para el seguimiento de tendencias.
✓ Documente limitaciones conocidas con soluciones alternativas.
✓ Identifique las prioridades de iteración siguientes en función de los errores restantes.
✓ Establecer la programación de nuevas ejecuciones (qué conjuntos de evaluación, cuándo).

Cuándo detener la iteración

Detenga la iteración cuando:

  • Todos los conjuntos de evaluación superan los umbrales establecidos.
  • Documentó lagunas conocidas.
  • Las puntuaciones son coherentes (< 5% varianza).
  • No hay problemas de configuración del agente abierto para las señales de bloqueo.

No dejes de iterar cuando:

  • No investigó los fallos persistentes.
  • Ha quitado los casos de prueba difíciles para cumplir con los umbrales.
  • No documentó las limitaciones de la plataforma.

Obtenga más información en Determinar cuándo se completa la iteración.

Pasos siguientes

  • Last updated on