Adotar um processo iterativo para melhorar seu agente de dados

2025-06-17

Ajustar um agente de dados não é uma configuração única, é um processo contínuo e iterativo que envolve experimentação, observação e refinamento.

Este artigo descreve as práticas recomendadas para ajudá-lo a começar a melhorar seu agente de dados, mas é importante reconhecer que cada ambiente de dados e caso de uso é exclusivo. Você pode achar que determinados tipos de instruções, exemplos ou formatação funcionam melhor para seus conjuntos de dados específicos ou esse contexto adicional é necessário para ajudar o agente a interpretar as perguntas do usuário com mais precisão. À medida que você avalia as respostas, espere passar por ciclos de avaliação e erro — revisando instruções do agente, expandindo seu conjunto de parâmetros de comparação ou ajustando consultas de exemplo para resolver confusão ou melhorar a precisão. Com o tempo, esse processo ajudará a descobrir lacunas na lógica, alinhamento de esquema ou frases de consulta que podem não ser imediatamente óbvias. A chave é tratar o agente de dados como um sistema em evolução que melhora por meio de testes regulares, feedback e iteração, não um conjunto de configurações estático definido uma vez e depois esquecido.

Etapa 1: começar com um conjunto de parâmetros de comparação

Comece com um parâmetro de comparação inicial de exemplos para orientar a configuração do agente e avaliar o desempenho. Use o seguinte formato:

Pergunta	Consulta esperada	Resposta esperada
Quantos funcionários trabalham na equipe de RH?	SELECT COUNT(*) FROM EmployeeDim WHERE DepartmentName = 'Recursos Humanos'	vinte e cinco
Qual é o salário médio em Marketing?	SELECT AVG(Salário) FROM EmployeeCompensation WHERE Department = 'Marketing'	$85.000
Quais produtos tiveram vendas no mês passado?	SELECT ProductName FROM Sales WHERE SaleDate >= '2024-05-01'	[Produto A, Produto B]

Saiba mais sobre como avaliar seu agente no artigo: Como avaliar seu agente de dados

Você pode continuar expandindo seu conjunto de referências ao longo do tempo para aumentar a cobertura dos tipos de perguntas dos usuários que você espera que o agente consiga lidar.

Etapa 2: diagnosticar respostas incorretas

Quando o agente de dados retorna um resultado incorreto ou abaixo do ideal, reserve um tempo para analisar a causa. Identificar o ponto certo da falha ajudará você a fazer melhorias direcionadas a instruções, exemplos ou lógica de consulta.

Faça as seguintes perguntas como parte de sua revisão:

Falta uma explicação ou instrução necessária?
As instruções são muito vagas, não claras ou enganosas?
O exemplo de consulta é impreciso ou não representa a pergunta do usuário?
A pergunta do usuário é ambígua dada a estrutura ou nomenclatura no esquema?
Os valores são formatados de forma inconsistente (por exemplo, "ca" vs. "CA" vs. "Ca"), tornando mais difícil para o agente aplicar filtros corretamente?

Cada um desses problemas pode afetar a capacidade do agente de interpretar a intenção e gerar consultas precisas. Identificá-los antecipadamente ajuda a orientar refinamentos mais eficazes em etapas posteriores.

Etapa 3: Orientar melhor o raciocínio com instruções mais claras do agente

Se o agente escolher consistentemente as fontes de dados erradas, interpretar mal a intenção do usuário ou retornar respostas mal formatadas, será um sinal de que as instruções no nível do agente precisam de refinamento. Use estas instruções para orientar como o agente explica as perguntas, seleciona fontes de dados e formata suas respostas.

Ao iterar sobre as instruções do agente:

Esclarecer o uso da fonte de dados: Especifique quais fontes de dados usar para determinados tipos de perguntas e em qual ordem de prioridade. Se determinadas fontes só devem ser usadas em contextos específicos, deixe isso claro.
Defina o comportamento de resposta esperado: Defina expectativas de tom, estrutura e nível de detalhes. Indique se as respostas devem ser resumos concisos, incluir saída tabular ou fornecer detalhes em nível de linha.
Guia das etapas de raciocínio do agente: Forneça uma estrutura lógica que o agente deve seguir ao interpretar uma pergunta, como reformular, identificar termos relevantes ou selecionar ferramentas com base no tópico.
Explicar a terminologia: Inclua definições ou mapeamentos para termos ambíguos, específicos aos negócios ou geralmente incompreendidos para que o agente possa interpretar as perguntas do usuário com mais precisão.

Melhorar essas instruções ao longo do tempo ajuda o agente a tomar melhores decisões a cada etapa, desde a interpretação da pergunta até a execução da consulta e a formatação de resposta final.

Etapa 4: Melhorar a compreensão do esquema por meio de uma melhor instrução de fonte de dados

Utilize os insights da análise de falhas para melhorar continuamente as instruções para fonte de dados. Procure padrões em várias respostas incorretas para identificar onde o agente pode estar interpretando mal a intenção, lutando com a compreensão do esquema ou não aplicando a lógica de consulta correta.

Atualize sua configuração focando nas seguintes áreas:

Esclarecer o uso do filtro: Descreva explicitamente quando e como os filtros devem ser aplicados em suas instruções. Por exemplo, especifique se os filtros devem usar correspondências exatas, intervalos ou correspondência de padrões.
Adicione exemplos de valor típicos: Ajude o agente a entender como filtrar corretamente fornecendo valores de exemplo e formatos esperados (por exemplo, "CA", "MA""NY" para abreviações de estado ou "Q1 FY25" para trimestres fiscais).
Reforçar a consistência: Verifique se a terminologia, a formatação e a frase são aplicadas de forma consistente entre instruções e exemplos. Evite misturar abreviações, capitalização ou rótulos alternativos para o mesmo conceito.
Atualizar com base em regras de negócios ou esquema em evolução: Se novas tabelas, colunas ou lógica forem introduzidas em suas fontes de dados, ajuste suas instruções e exemplos para refletir essas alterações.

A iteração desses detalhes garante que o agente permaneça alinhado com seus dados em evolução e contexto de negócios e resulte em respostas mais precisas e confiáveis ao longo do tempo.

Etapa 5: Usar exemplos direcionados para orientar a geração de consulta precisa

As consultas de exemplo desempenham um papel crítico para ajudar o agente a generalizar e gerar respostas precisas, especialmente para perguntas que envolvem junções, filtragem e lógica complexa. Se o agente de dados retornar consultas incorretas, reveja e refinará seus exemplos para ilustrar melhor a estrutura e a lógica esperadas.

Concentre-se nas seguintes melhorias:

Esclarecer a lógica de junção: Se o agente estiver gerando junções incorretas, inclua consultas de exemplo que demonstram explicitamente como as tabelas relacionadas devem ser unidas (por exemplo, chaves de junção, tipo de junção).
Padrões de filtro corretos: Mostre como os filtros devem ser aplicados a colunas específicas, incluindo quaisquer detalhes de formatação (por exemplo, LIKE '%keyword%', intervalos de datas ou requisitos de maiúsculas e minúsculas).
Especifique a saída esperada: Deixe claro quais colunas o agente deve retornar para diferentes tipos de perguntas. Isso ajuda a orientar a estrutura e o foco da consulta gerada.
Refinar exemplos vagos ou sobrecarregados: Divida exemplos genéricos ou excessivamente amplos em consultas mais direcionadas que refletem intenções específicas do usuário.
Verifique o alinhamento com as instruções e o esquema atuais: Mantenha os exemplos atualizados com quaisquer alterações recentes no esquema, regras de negócios ou formatos de instrução.

Ao melhorar e expandir suas consultas de exemplo com base em problemas observados, você fornece ao agente pontos de referência mais fortes para gerar respostas precisas e com reconhecimento de contexto.

Etapa 6: Resolver problemas de junção

A lógica de junção é uma fonte comum de falha na geração de consulta. Quando o agente de dados retornar resultados incorretos ou incompletos devido a erros de junção, você precisará fornecer diretrizes estruturais e exemplos mais claros para ajudar o agente a entender como seus dados estão relacionados.

Para melhorar a precisão da junção:

Esclareça as relações de junção de documentos: Especifique quais tabelas estão relacionadas, as chaves usadas para junção (por exemplo, EmployeeID, ProductKey), e a direção da relação (por exemplo, de um para muitos). Inclua essas diretrizes nas instruções de fonte de dados relevantes.
Inclua exemplos de junção em consultas: Adicione consultas de exemplo que demonstram explicitamente o comportamento correto de junção para as relações mais comuns ou complexas.
Esclareça as colunas necessárias entre tabelas unidas: Indique quais campos devem ser recuperados de qual tabela, especialmente quando existem nomes de coluna semelhantes em várias fontes.
Simplifique quando necessário: Se as junções necessárias forem muito complexas ou propensas a erros, considere nivelar a estrutura em uma única tabela desnormalizada para reduzir a ambiguidade e melhorar a confiabilidade.

Definir corretamente a lógica de junção, tanto em instruções quanto em exemplos, ajuda o agente a entender como navegar na estrutura de dados e retornar respostas completas e precisas.

Compartilhar via