Estratégias de IA generativa para consultas matemáticas e de dados

Atualmente, há opiniões variadas sobre como ferramentas como o ChatGPT ou outros modelos de linguagem lidam com consultas matemáticas e de dados. Neste artigo, vamos identificar estratégias e definir expectativas ao criar agentes no Copilot Studio que lidam com consultas matemáticas e de dados.

Definições de consultas matemáticas e de dados neste artigo

O objetivo deste artigo não é avaliar se a IA generativa pode auxiliar no cálculo do perímetro de um retângulo ou do diâmetro de um círculo. A matemática, nesse contexto, refere-se a perguntas típicas de linguagem natural que alguém faria a um agente. Essas perguntas pressupõem que a IA pode agregar e interpretar somas, médias e tendências nas fontes de conhecimento ou tabelas de dados usadas para fundamentar os modelos.

O resultado desejado, nesse caso, não é responder a uma equação matemática. Em vez disso, é para ajudar o usuário a avaliar ou entender os dados com mais eficiência. Quando os usuários estão procurando por análises de dados profundas, como análises preditivas ou prescritivas avançadas, um agente personalizado normalmente não é a ferramenta preferida. No entanto, há vários agentes na pilha Microsoft que estão mais diretamente focados em análise. Por exemplo, os agentes a seguir complementam o modelo de linguagem com o código do aplicativo Microsoft para essa finalidade:

• Adicionar o Copilot para usuários do aplicativo em aplicativos baseados em modelo
• Visualizar dados em uma exibição com o serviço do Power BI
• Microsoft 365 Copilot para Vendas
• Incorporar um relatório do Power BI com um visual de narrativa do Copilot
• Identificar insights com o Copilot no Excel

Agregações de dados em Reconhecimento de Linguagem Natural

Quando fundamentamos um agente em nossas próprias fontes de conhecimento, estamos simplificando a descoberta de informações solicitadas por um usuário em linguagem natural. Lembre-se de que os modelos de linguagem são projetados para prever a próxima palavra em uma sequência, em vez de realizar cálculos matemáticos rigorosos. No entanto, eles ainda podem fornecer insights e explicações úteis. Esses insights são mais rápidos para a descoberta de informações do que navegar pelos resultados da pesquisa de palavras-chave ou rolar manualmente por todos os registros em uma tabela.

Os agentes do Copilot Studio podem verificar fontes de conhecimento em nosso nome. Esses agentes resumem as respostas em tópicos, ações e fontes de conhecimento, independentemente de envolverem agregações de dados numéricos ou não. No entanto, à medida que fundamentamos os modelos com nossos dados, devemos contextualizar os dados necessários para que a IA responda. Com base nesse entendimento, sabemos quando devemos fornecer mais nós de contexto ou tópico. Essa compreensão extra é relevante quando termos de nicho ou linguagem altamente técnica são encontrados nas fontes de dados. A seguir estão exemplos de consultas de dados que envolvem expressões matemáticas:

Perguntas de exemplo	Itens a considerar
Quantos de nossos clientes na América do Norte compraram o produto X?	Esse prompt envolve várias tabelas estruturadas em um banco de dados relacional e, geralmente, examina centenas ou até milhares de registros.
Qual foi o impacto no custo total dos itens de trabalho de reparo após o furacão?	Esse prompt envolve uma tabela de itens reparados, com uma coluna para impacto de custo para cada item de trabalho. Se a tabela tiver mais reparos do que itens de trabalho relacionados ao furacão, uma coluna de categoria ou razão seria necessária para que a IA saiba quais estão relacionados ao furacão.
Qual dos nossos clientes enviou mais pedidos de alteração?	Esse prompt envolve uma tabela com solicitações de alteração e uma tabela relacionada com nomes de clientes. No entanto, isso primeiro conta as solicitações por cliente e, em seguida, retorna o cliente com o maior número de solicitações (e não o valor em dólar de impacto de custo mais alto).

Clareza e estrutura do prompt

Os modelos de linguagem dependem muito de quão bem a pergunta é formulada. Um prompt bem estruturado que explica claramente o problema matemático, define variáveis e divide a tarefa em etapas leva a respostas mais precisas. Por exemplo, pedir uma resposta direta para um problema aritmético simples provavelmente funciona bem, mas perguntas vagas ou de várias camadas sem contexto claro podem confundir o modelo.

Aqui estão alguns prompts de exemplo com base em uma fonte de conhecimento estruturada, como uma tabela do Dataverse. Este exemplo ilustra a adição de uma tabela do Dataverse do Power Apps, conforme mostrado na imagem a seguir.

A tabela do Dataverse foi adicionada como fonte de conhecimento e recebeu uma descrição precisa do conhecimento, juntamente com sinônimos e definições de glossário para ajudar a IA na interpretação dos dados.

Prompts específicos

Esses prompts são específicos e têm escopo para as informações que estão sendo solicitadas.

• "Você pode fornecer detalhes completos sobre a referência da ordem de alteração PCO-1003, incluindo o nome da conta, o valor solicitado e o motivo da solicitação?"
• "Quantas contas enviaram pedidos de alteração em agosto de 2024?"
• "Qual é o número total de pedidos de alteração solicitados até o momento?"
• "Qual cliente apresentou o maior impacto de custo em 2024?"

Prompts generalizados

Esses prompts são generalizados e é improvável que agreguem consistentemente todos os resultados, provavelmente retornando apenas os três primeiros resultados.

• "Por favor, liste nossas contas na ordem de suas respectivas receitas."
• "Por favor, liste os pedidos de alteração que foram enviados este ano em agosto e inclua valores de alteração e status."
• "Você pode listar todas as solicitações de ordem de alteração enviadas até o momento?"

Observação

Habilitar ou desabilitar a capacidade da IA de usar seu próprio conhecimento geral pode afetar a precisão ou a adequação das respostas retornadas.

Dicas e truques

Aqui estão algumas sugestões ao trabalhar com o Copilot Studio que ajudam você a definir expectativas em torno de respostas generativas que dependem de expressões matemáticas.

• Planeje cenários que destacam as principais tendências, em vez de esperar cálculos em milhares de registros. Aumente a conscientização para essa abordagem conversacional que resume, em vez de discriminar.

• Privilegie fontes de conhecimento estruturadas (tabulares sobre não tabulares) para otimizar expressões matemáticas.

• Ofereça suporte a cenários específicos e entenda as dependências para as diferenças. Por exemplo, observe a diferença entre essas duas perguntas:

  • Qual dos nossos clientes enviou mais pedidos de alteração? Conta as IDs de solicitação e retorna o cliente com mais solicitações – ignorando outras colunas

  • Qual de nossos clientes tem o maior impacto de custo em solicitações de mudança? Soma a coluna de impacto de custo por cliente e retorna o cliente que enviou o maior valor total em dólares. Ele só retorna essas informações se encontrar uma coluna apropriada que seja numérica ou baseada em moeda.

• Certifique-se de identificar e definir quaisquer colunas numéricas para cálculos. Verifique se eles estão formatados com o tipo de dados apropriado; tanto no nível da fonte de conhecimento, quanto quando usadas em quaisquer variáveis do Copilot Studio. Quando possível, inclua uma descrição clara e inclua sinônimos comuns para as colunas relevantes nas tabelas, colunas ou descrições de ações.

  Dica

  Com o reconhecimento de linguagem natural, se os cabeçalhos de tabela forem muito técnicos em seu protocolo de nomenclatura, a IA pode não ser capaz de responder às perguntas centradas no ser humano feitas durante o fluxo de conversa. Adicione descritores com a linguagem típica usada por seus usuários.

• Reconheça que as pessoas só obtêm respostas sobre os dados que têm permissão para ver. Por exemplo, uma tabela de Vendas no Dataverse pode expor apenas alguns registros a grupos de negócios específicos, mas não a todos. Portanto, certifique-se de que seu agente não defina as expectativas erradas sobre como os dados são resumidos. Por exemplo, uma solicitação de vendas totais em 2024 soma apenas os registros próprios ou compartilhados.

• Sempre defina as expectativas do consumidor para respostas orientadas por IA. Use o agente Início da conversa ou a primeira mensagem após os gatilhos do tópico para realçar a finalidade e as restrições de uma ou mais fontes de conhecimento relevantes.

Usar ações de prompt do AI Builder

Ações de prompt permitem que você adicione recursos de IA generativa do Power Apps aos seus agentes e soluções no Copilot Studio. Esse recurso permite que você execute tarefas como classificação, resumo, geração de conteúdo de rascunho, transformação de dados e muito mais. Com as ações de prompt, você também pode personalizar as respostas IA generativa para usar filtros e agregações específicos de tabelas.

Na captura de tela a seguir, você vê como um Copilot Studio maker usou as ações de prompt do AI Builder para o Copilot Studio resumir solicitações de ordem de alteração da tabela Conta e da tabela PCO relacionada.

No exemplo anterior, as fontes de conhecimento do agente não foram usadas. Em vez disso, o prompt inclui a variável de prompt dinâmico para o Número da Conta e uma tabela do Dataverse como Dados.

Dica

As tabelas relacionadas são assumidas pela IA e não precisam ser adicionadas nesse caso. (A tabela de PCO tem relacionamento muitos para um com Contas.)