Adote um processo iterativo para melhorar seu agente de dados

2025-06-17

O ajuste de um agente de dados não é uma configuração única — é um processo contínuo e iterativo que envolve experimentação, observação e refinamento.

Este artigo descreve as práticas recomendadas para ajudá-lo a começar a melhorar seu agente de dados, mas é importante reconhecer que cada ambiente de dados e caso de uso é exclusivo. Você pode achar que certos tipos de instruções, exemplos ou formatação funcionam melhor para seus conjuntos de dados específicos, ou que o contexto adicional é necessário para ajudar o agente a interpretar as perguntas do usuário com mais precisão. Ao avaliar as respostas, espere passar por ciclos de tentativa e erro — revisando instruções do agente, expandindo seu conjunto de benchmarks ou ajustando consultas de exemplo para resolver confusões ou melhorar a precisão. Com o tempo, esse processo ajudará a descobrir lacunas na lógica, no alinhamento do esquema ou no fraseado da consulta que podem não ser imediatamente óbvias. A chave é tratar o agente de dados como um sistema em evolução que melhora por meio de testes, feedback e iteração regulares — não um conjunto de configurações estáticas uma vez e esquecido.

Etapa 1: Comece com um conjunto de parâmetros de referência

Comece com uma referência inicial de exemplos para orientar a configuração do agente e avaliar o desempenho. Use o seguinte formato:

Pergunta	Consulta esperada	Resposta esperada
Quantos colaboradores trabalham na equipa de RH?	SELECT COUNT(*) FROM EmployeeDim WHERE DepartmentName = 'Recursos Humanos'	25
Qual o salário médio em Marketing?	SELECT AVG(Salário) FROM EmployeeCompensation WHERE Departamento = 'Marketing'	$85.000
Quais produtos tiveram vendas no mês passado?	SELECT ProductName FROM Sales WHERE SaleDate >= '2024-05-01'	[Produto A, Produto B]

Você pode saber mais sobre como avaliar seu agente no artigo: Como avaliar seu agente de dados

Você pode continuar expandindo seu conjunto de benchmark ao longo do tempo para aumentar a cobertura dos tipos de perguntas do usuário que você espera que o agente trate.

Etapa 2: Diagnosticar respostas incorretas

Quando o agente de dados retornar um resultado incorreto ou abaixo do ideal, reserve um tempo para analisar a causa. Identificar o ponto certo de falha ajudará você a fazer melhorias direcionadas em instruções, exemplos ou lógica de consulta.

Faça as seguintes perguntas como parte da sua avaliação:

Está faltando uma explicação ou instrução necessária?
As instruções são demasiado vagas, pouco claras ou enganosas?
A consulta de exemplo é imprecisa ou não representa a pergunta do usuário?
A pergunta do usuário é ambígua dada a estrutura ou nomenclatura no esquema?
Os valores são formatados de forma inconsistente (por exemplo, "ca" vs. "CA" vs. "Ca"), dificultando a aplicação correta dos filtros pelo agente?

Cada um desses problemas pode afetar a capacidade do agente de interpretar a intenção e gerar consultas precisas. Identificá-los precocemente ajuda a orientar refinamentos mais eficazes em etapas posteriores.

Etapa 3: Orientar um melhor raciocínio com instruções mais claras do agente

Se o agente escolher consistentemente as fontes de dados erradas, interpretar incorretamente a intenção do usuário ou retornar respostas mal formatadas, é um sinal de que as instruções no nível do agente precisam de refinamento. Use estas instruções para orientar como o agente raciocina por meio de perguntas, seleciona fontes de dados e formata suas respostas.

Ao rever continuamente as instruções do agente:

Esclareça o uso da fonte de dados: Especifique quais fontes de dados usar para tipos específicos de perguntas e em que ordem de prioridade. Se determinadas fontes só devem ser utilizadas em contextos específicos, deixe isso claro.
Defina o comportamento de resposta esperado: Defina expectativas em termos de tom, estrutura e nível de detalhe. Indique se as respostas devem ser resumos concisos, incluir saída tabular ou fornecer detalhes em nível de linha.
Oriente os passos de raciocínio do agente: Forneça uma estrutura lógica que o agente deve seguir ao interpretar uma pergunta, como refraseá-la, identificar termos relevantes ou selecionar ferramentas com base no tópico.
Explicar a terminologia: Inclua definições ou mapeamentos para termos ambíguos, específicos do negócio ou comumente incompreendidos para que o agente possa interpretar com mais precisão as perguntas do usuário.

Melhorar essas instruções ao longo do tempo ajuda o agente a tomar melhores decisões em cada etapa, desde a interpretação da pergunta até a execução da consulta e a formatação da resposta final.

Etapa 4: Melhorar a compreensão do esquema por meio de melhores instruções da fonte de dados

Use informações da análise de falhas para melhorar continuamente as instruções da fonte de dados. Procure padrões em várias respostas incorretas para identificar onde o agente pode estar interpretando incorretamente a intenção, lutando com a compreensão do esquema ou falhando em aplicar a lógica de consulta correta.

Atualize sua configuração concentrando-se nas seguintes áreas:

Esclareça o uso do filtro: Descreva explicitamente quando e como os filtros devem ser aplicados dentro das suas instruções. Por exemplo, especifique se os filtros devem usar correspondências exatas, intervalos ou correspondência de padrões.
Adicione exemplos de valor típicos: Ajude o agente a entender como filtrar corretamente, fornecendo valores de amostra e formatos esperados (por exemplo, "CA", , "NY""MA"para abreviaturas de estado ou "Q1 FY25" para trimestres fiscais).
Reforçar a coerência: Certifique-se de que a terminologia, a formatação e o fraseado sejam aplicados de forma consistente em todas as instruções e exemplos. Evite misturar abreviaturas, invólucros ou rótulos alternativos para o mesmo conceito.
Atualização com base na evolução do esquema ou das regras de negócio: Se novas tabelas, colunas ou lógica forem introduzidas em suas fontes de dados, ajuste suas instruções e exemplos para refletir essas alterações.

A iteração desses detalhes garante que o agente permaneça alinhado com os dados em evolução e o contexto de negócios — e resulte em respostas mais precisas e confiáveis ao longo do tempo.

Etapa 5: usar exemplos direcionados para orientar a geração precisa de consultas

As consultas de exemplo desempenham um papel fundamental em ajudar o agente a generalizar e gerar respostas precisas, especialmente para perguntas que envolvem junções, filtragem e lógica complexa. Se o agente de dados retornar consultas incorretas, revisite e refine seus exemplos para ilustrar melhor a estrutura e a lógica esperadas.

Concentre-se nas seguintes melhorias:

Esclareça a lógica de junção: Se o agente estiver gerando junções incorretas, inclua consultas de exemplo que demonstrem explicitamente como tabelas relacionadas devem ser unidas (por exemplo, chaves de junção, tipo de junção).
Padrões de filtro corretos: Mostrar como os filtros devem ser aplicados para colunas específicas, incluindo quaisquer detalhes de formatação (por exemplo, LIKE '%keyword%'intervalos de datas ou requisitos de invólucro).
Especifique a saída esperada: Deixe claro quais colunas o agente deve retornar para diferentes tipos de perguntas. Isso ajuda a orientar a estrutura e o foco da consulta gerada.
Refine exemplos vagos ou sobrecarregados: Separe exemplos genéricos ou excessivamente amplos em consultas mais direcionadas que reflitam intenções específicas do usuário.
Garanta o alinhamento com as instruções e o esquema atuais: Mantenha os exemplos atualizados com quaisquer alterações recentes no esquema, regras de negócios ou formatos de instrução.

Ao melhorar e expandir suas consultas de exemplo com base em problemas observados, você dá ao agente pontos de referência mais fortes para gerar respostas precisas e sensíveis ao contexto.

Etapa 6: resolver problemas de associação

A lógica de junção é uma fonte comum de falha na geração de consultas. Quando o agente de dados retorna resultados incorretos ou incompletos devido a erros de junção, você precisará fornecer orientações estruturais mais claras e exemplos para ajudar o agente a entender como seus dados estão relacionados.

Para melhorar a precisão da junção:

Documente claramente as relações de junção: Especifique quais tabelas estão relacionadas, as chaves usadas para unir (por exemplo, EmployeeID, ProductKey) e a direção da relação (por exemplo, um-para-muitos). Inclua esta orientação nas instruções relevantes da fonte de dados.
Inclua exemplos de junção em consultas: Adicione consultas de exemplo que demonstrem explicitamente o comportamento correto de junção para os relacionamentos mais comuns ou complexos.
Esclareça as colunas necessárias nas tabelas associadas: Indique quais campos devem ser recuperados de qual tabela, especialmente quando nomes de colunas semelhantes existem em várias fontes.
Simplifique quando necessário: Se as junções necessárias forem muito complexas ou propensas a erros, considere achatar a estrutura em uma única tabela desnormalizada para reduzir a ambiguidade e melhorar a confiabilidade.

Definir corretamente a lógica de junção, tanto em instruções quanto em exemplos, ajuda o agente a entender como navegar na estrutura de dados e retornar respostas completas e precisas.

Partilhar via