Usar o Agente de Engenharia de Dados

Importante

Esse recurso está em Visualização Pública.

Esta página apresenta o Agente de Engenharia de Dados que adiciona recursos ao Assistente do Databricks. Para usar o Agente de Engenharia de Dados, selecione o modo Agente no Assistente.

O agente de Engenharia de Dados foi projetado especificamente para o Lakeflow Spark Declarative Pipelines (SDP) e o Lakeflow Pipelines Editor, ele explora dados, gera e executa código de pipeline e corrige erros, tudo a partir de um único prompt.

O que é o Agente de Engenharia de Dados?

O Agente de Engenharia de Dados é uma funcionalidade avançada no Modo de Agente Assistente do Databricks que transforma o Assistente em um parceiro autônomo que pode automatizar fluxos de trabalho inteiros de engenharia de dados em várias etapas no SDP e no Editor de Pipelines do Lakeflow.

Em comparação com o modo de chat do Assistente, o modo de agente expandiu os recursos: planejamento de uma solução, recuperação de ativos relevantes, execução de código, uso de saídas de pipeline para melhorar os resultados, corrigir erros automaticamente e muito mais.

O Agente de Engenharia de Dados pode planejar e gerar pipelines inteiros do início ao fim, começando do zero, ou acelerar o trabalho em pipelines já existentes. O agente trabalha com você para aprovar seus planos e confirmar suas próximas etapas antes de prosseguir. Com sua aprovação, o Agente de Engenharia de Dados pode usar ferramentas para executar tarefas como pesquisar tabelas, editar um arquivo de origem SQL ou Python, executar atualizações de pipeline e ler conjuntos de dados de pipeline.

O acesso e as ações do Agente de Engenharia de Dados são regidos pelas permissões do usuário. Ele só pode acessar dados aos quais você tem acesso e executar operações para as quais você tem permissões.

Observação

Quando você ativa o modo de agente no Assistente, o Assistente adapta seus recursos com base nos recursos que você está usando atualmente no Databricks. Por exemplo, no Editor do Lakeflow Pipelines, o Assistente se concentra em tarefas de edição de pipeline e engenharia de dados. Em notebooks e no Editor de SQL, o assistente dá suporte à exploração e análise de dados. Consulte o Agente de Ciência de Dados para obter mais informações.

Requirements

Para usar o Agente de Engenharia de Dados, seu workspace precisa do seguinte:

• Recursos de IA habilitados para parceiros habilitados para a conta e o workspace. Consulte recursos de IA impulsionados por parceiros.
• Visualização do Modo do Agente Assistente do Databricks habilitada. Consulte Gerenciar visualizações do Azure Databricks.

Usar o Agente de Engenharia de Dados

Para usar o Agente de Engenharia de Dados:

1. No Editor do Lakeflow Pipelines, abra o painel lateral assistente clicando no Assistente no canto superior direito do seu espaço de trabalho.

2. No canto inferior direito, selecione Agente. Isso alterna para o modo de agente do assistente, permitindo que você interaja com o Agente de Engenharia de Dados.

3. Insira um prompt para o agente. Por exemplo, você pode fazer perguntas sobre seu pipeline, como "descreva este pipeline". Você também pode solicitar que adicione novos conjuntos de dados, por exemplo: "criar silver_sales_data em um novo arquivo que lê de bronze_sales_data, limpa os dados e inclui expectativas de qualidade úteis".

   Observação

   O agente respeita as permissões do Catálogo do Unity do usuário, portanto, ele só pode acessar a fonte de dados e pipeline à qual você tem acesso.

4. À medida que o agente gera sua resposta, ele geralmente faz uma pausa para obter sua entrada:

   • Para tarefas mais complexas, o agente pode criar um plano passo a passo e fazer perguntas esclarecedoras. Responda às perguntas esclarecedoras do agente para ajudá-lo a aprimorar seu plano.

   • Quando o agente precisa executar o código ou atualizar um pipeline, ele solicita sua aprovação antes de continuar. Permitir ou recusar sua solicitação. Você também pode selecionar Permitir neste thread (referindo-se ao thread de conversa do Assistente) ou Sempre permitir.

     Importante

     O Agente de Engenharia de Dados pode gerar e executar código em seu pipeline. Embora tenha guardrails para evitar ações perigosas, ainda há risco. Você só deve usá-lo com dados confiáveis e deve examinar o código antes de executá-lo.

   • À medida que o agente continua seu trabalho, você pode ser solicitado a selecionar Continuar ou Rejeitar. Examine o trabalho existente do agente e, em seguida, selecione Continuar para permitir que o agente continue para suas próximas etapas ou rejeite informá-lo para tentar outra coisa.

   • Para interromper o agente enquanto ele estiver funcionando, clique no .

O agente pode criar novos arquivos, gerar texto, consultas e código, executar os arquivos ou pipelines e acessar os conjuntos de dados de saída para interpretar os resultados.

Observação

Para que o Agente de Engenharia de Dados continue seu trabalho e execute as próximas etapas, você precisa permanecer na guia atual em que o agente está trabalhando.

Dica

Você pode adicionar instruções para o agente usar na maioria das respostas. Por exemplo, se você tiver convenções de código que deseja usar ou bibliotecas preferenciais para usar, poderá adicionar essas diretrizes às instruções para o agente. Você também pode criar habilidades para estender o agente com recursos especializados para suas tarefas específicas de domínio. Para obter mais detalhes e outras dicas, consulte Personalizar e melhorar as respostas do Assistente do Databricks.

Capabilities

O Agente de Engenharia de Dados pode ajudar na maioria das tarefas de desenvolvimento de pipeline. As principais funcionalidades incluem:

• Descoberta de dados: o agente pode pesquisar tabelas no workspace para ajudá-lo a encontrar os dados necessários para uma tarefa.
• Edições de código de pipeline: o agente pode criar e editar vários arquivos ao mesmo tempo. Ele mantém você informado sobre quais arquivos ele está mudando e mostra a diferença de código em cada arquivo, para que você possa examinar as alterações individualmente ou todas juntas no final.
• Execução do pipeline: o agente pode executar arquivos individuais, realizar um teste do pipeline, executá-lo ou fazer uma atualização completa. Quando o agente quiser continuar, ele solicitará sua confirmação antes de fazer isso.
• Noções básicas e aprimoramento do comportamento do pipeline: o agente pode inspecionar conjuntos de dados e saídas de pipeline para ajudá-lo a entender o que um pipeline está fazendo de ponta a ponta e por quê. Por exemplo, ele pode resumir transformações, rastrear como os dados fluem para tabelas downstream e realçar alterações inesperadas em contagens de linhas ou esquemas. Quando surgem possíveis problemas de qualidade de dados, o agente pode ajudá-lo a raciocinar sobre suas causas e sugerir onde e como abordá-los na linha de processamento de dados.

Esses recursos dão suporte a casos de uso comuns, como:

• Criando um novo pipeline: o Agente de Engenharia de Dados pode ajudar com todas as etapas de criação de um pipeline de arquitetura de medalhão, desde a ingestão de dados até a padronização e limpeza dos dados, até a transformação e a análise dos dados.
• Explicar um pipeline: o agente pode analisar e explicar um pipeline existente para ajudá-lo a aumentar rapidamente.
• Corrigir problemas: quando você tem erros, o agente pode ajudar a diagnosticar e corrigir os problemas, iterando por vários arquivos até que o problema seja resolvido.

Exemplos

Experimente os seguintes prompts para começar:

• "Crie e execute um pipeline de arquitetura de medalhão para detecção de fraude usando as transações de tabela e os clientes em my_catalog.my_schema.".
• "Explique cada etapa deste fluxo de dados."
• Corrija a falha neste processo.

Próximas etapas

• Saiba mais sobre os recursos assistenciais de IA do Databricks
• Obter dicas para personalizar e melhorar as respostas do Assistente do Databricks
• Usar o Agente de Ciência de Dados para descoberta e exploração de dados
• Explorar o Editor de Pipelines do Lakeflow