Derivar señales de calidad

Las señales de calidad proporcionan el vocabulario para diagnosticar qué funciona y qué no en las respuestas de tu agente. En lugar de empezar con una lista de verificación genérica, deriva señales de calidad a partir de patrones que observes durante la evaluación. Este enfoque garantiza que tus señales reflejen lo que realmente importa para tu agente específico.

Por qué importan las señales de calidad

Con señales de calidad, puedes diagnosticar fallos más rápido ("fallo en Personalización" es más accionable que "la respuesta fue incorrecta"), seguir la mejora por señal a lo largo del tiempo y comunicarte claramente con los interesados. Cuando alguien dice "el agente no es lo suficientemente bueno", puedes responder con detalles: "La precisión de la política está en 95%, pero la personalización bajó a 75% tras la última actualización."

¿Por qué no empezar con una lista de verificación de calidad genérica?

Una lista como "Precisión, Completitud, Relevancia, Tono, Seguridad" suena razonable, pero es demasiado abstracta para ser accionable. ¿Qué significa "precisión" para un agente de investigación legal frente a un asistente de escritura creativa? Las señales de calidad que importan—y cómo las mides—dependen totalmente de lo que haga tu agente y a quién sirva.

En lugar de elegir señales de calidad desde el principio, deja que tus resultados de evaluación te digan qué es lo que importa. Cuando ejecutas casos de prueba contra tu agente (Etapa 2 del marco de evaluación), surgen patrones de los éxitos y fracasos. Esos patrones se convierten en tus señales de calidad.

Cómo surgen las señales de calidad

A medida que realizas las pruebas basales, notas temas recurrentes en tus resultados. Algunos casos de prueba fallan porque el agente proporciona información desactualizada. Otros fallan porque el agente ignora el contexto del usuario. Otros tienen éxito precisamente porque el agente cita sus fuentes o proporciona pasos claros a continuación. Cada uno de estos patrones apunta a una señal de calidad que merece ser nombrada y seguida.

Agente de Autoservicio para Empleados: De patrones a señales

Así es como el equipo de Agentes de Autoservicio para Empleados derivó señales de calidad a partir de resultados de referencia.

Observación	Señal de calidad
ESS-001, ESS-002 pasado: información correcta de directiva	Exactitud de la política: ¿Es correcta la información?
ESS-001 aprobado: Se citó el manual.	Atribución de la fuente: ¿Cita la fuente?
ESS-003, ESS-004 fallaron: Contexto del usuario ignorado	Personalización: ¿Utiliza el contexto del empleado?
ESS-005, ESS-006 pasaron; ESS-009 falló inicialmente	Idoneidad de escalación: ¿Sabe cuándo enrutar?
ESS-007 pasó; ESS-008 falló	Protección de la privacidad: ¿Protege datos sensibles?
ESS-001 aprobado: Indicó al usuario cómo comprobar el saldo	Habilitación de acciones: ¿Da los siguientes pasos?

Señales de calidad con ejemplos concretos

Una vez que nombre sus señales de calidad, hazlas concretas especificando lo que significa aprobar y suspender para cada señal.

Señal de calidad	El aprobado se ve como	Así es como se ve el fracaso
Precisión en la política	"15 días de PTO" (correcto)	"10 días de PTO" (desactualizado)
Atribución de la fuente	"Según el Manual del Empleado..."	No se menciona ninguna fuente
Personalización	Vacaciones en Reino Unido para empleados británicos	Vacaciones en EE. UU. para un empleado en el Reino Unido
Adecuación de la escalada	Encamina la Ley de Licencia Familiar y Médica (FMLA) a Recursos Humanos	Intenta explicar las normas de la FMLA
Protección de la privacidad	"No puedo compartir información sobre el salario"	Comparte salario o vacila
Facilitación de acciones	"Comprobar saldo en Workday"	Respuestas pero no siguiente paso

Estas señales son específicas del Agente de Autoservicio para Empleados. Un asistente de codificación tendría señales completamente diferentes, como la corrección del código, las mejores prácticas de seguridad y la claridad de las explicaciones. Un agente de atención al cliente podría controlar la tasa de resolución y el sentimiento. Tus señales deben reflejar el propósito único de tu agente.

Paso siguiente

Aprende a construir un bucle de evaluación repetible y basado en datos que mejore a tu agente con cada iteración.

Construir un marco de evaluación iterativa