Derivar sinais de qualidade

Sinais de qualidade fornecem o vocabulário para diagnosticar o que funciona e o que não funciona nas respostas do seu agente. Em vez de começar com uma lista de verificação genérica, derive sinais de qualidade a partir dos padrões que observar durante a avaliação. Essa abordagem garante que seus sinais reflitam o que realmente importa para o seu agente específico.

Por que sinais de qualidade são importantes

Com sinais de qualidade, você pode diagnosticar falhas mais rapidamente ("falha na Personalização" é mais acionável do que "a resposta estava errada"), acompanhar a melhoria por sinal ao longo do tempo e se comunicar claramente com as partes interessadas. Quando alguém diz "o agente não é bom o suficiente", você pode responder com detalhes: "A precisão da apólice está em 95%, mas a personalização caiu para 75% após a última atualização."

Por que não começar com uma lista genérica de verificação de qualidade?

Uma lista como "Precisão, Completude, Relevância, Tom, Segurança" parece razoável, mas é abstrata demais para ser acionável. O que significa "precisão" para um agente de pesquisa jurídica versus um assistente de escrita criativa? Os sinais de qualidade que importam — e como você os mede — dependem inteiramente do que seu agente faz e a quem ele atende.

Em vez de escolher sinais de qualidade desde o início, deixe que os resultados da sua avaliação digam o que importa. Quando você executa casos de teste contra seu agente (Estágio 2 do framework de avaliação), padrões emergem dos sucessos e fracassos. Esses padrões se tornam seus sinais de qualidade.

Como surgem sinais de qualidade

À medida que você itera nos testes de linha de base, percebe temas recorrentes nos seus resultados. Alguns casos de teste falham porque o agente fornece informações desatualizadas. Outros falham porque o agente ignora o contexto do usuário. Outros ainda têm sucesso especificamente porque o agente cita suas fontes ou fornece passos claros para os próximos passos. Cada um desses padrões aponta para um sinal de qualidade que vale a pena ser nomeado e acompanhado.

Funcionário Self-Service Agente: De padrões a sinais

Veja como a equipe de Funcionários Self-Service Agentes derivou sinais de qualidade a partir dos resultados base:

Observação	Sinal de qualidade
ESS-001, ESS-002 aprovado: Informações corretas da apólice	Precisão da política: As informações estão corretas?
ESS-001 aprovado: Citou o manual	Atribuição da fonte: Cita a fonte?
ESS-003, ESS-004 falharam: Contexto do usuário ignorado	Personalização: Ele usa o contexto do funcionário?
ESS-005, ESS-006 passou; O ESS-009 falhou inicialmente	Adequação para escalonamento: Ele sabe quando rotear?
ESS-007 passou; ESS-008 falhou	Proteção de privacidade: Ele protege dados sensíveis?
ESS-001 aprovado: Instruído ao usuário como verificar o saldo	Habilitação de ações: Ele oferece os próximos passos?

Sinais de qualidade com exemplos concretos

Depois de nomear seus sinais de qualidade, torne-os concretos definindo como são passos e reprovações para cada sinal.

Sinal de qualidade	Passe parece	Parece que a falha
Precisão das políticas	"15 dias de PTO" (correto)	"10 dias de PTO" (desatualizado)
Atribuição da fonte	"De acordo com o Manual do Funcionário..."	Nenhuma fonte mencionada
Personalização	Férias no Reino Unido para funcionário do Reino Unido	Férias nos EUA para funcionário do Reino Unido
Adequação para escalonamento	Lei de Licença Familiar e Médica (FMLA) para o RH	Tenta explicar as regras da FMLA
Proteção da privacidade	"Não posso compartilhar informações salariais"	Ações salários ou hesitações
Habilitação de ações	"Verifique o saldo no Workday"	Respostas, mas sem próximo passo

Esses sinais são específicos do Funcionário Self-Service Agente. Um assistente de programação teria sinais totalmente diferentes, como correção de código, melhores práticas de segurança e clareza de explicação. Um atendente de suporte ao cliente pode acompanhar a taxa de resolução e o sentimento. Seus sinais devem refletir o propósito único do seu agente.

Próxima etapa

Aprenda a construir um ciclo de avaliação repetível e orientado por dados que melhore seu agente a cada iteração.

Construir uma estrutura de avaliação iterativa