Desenvolva código de pipeline em seu ambiente de desenvolvimento local

Pode criar código-fonte de pipeline em Python no seu ambiente integrado de desenvolvimento (IDE) preferido.

Não é possível validar ou executar atualizações no código de pipeline escrito em um IDE. Deve enviar ficheiros de código-fonte de volta para um espaço de trabalho do Azure Databricks e configurá-los como parte de um pipeline.

Este artigo fornece uma visão geral do suporte para o desenvolvimento local do IDE. Para um desenvolvimento e testes mais interativos, a Databricks recomenda o uso do Lakeflow Pipelines Editor. Consulte Desenvolver e depurar pipelines ETL com o Lakeflow Pipelines Editor.

Configurar um IDE local para desenvolvimento de pipeline

O Databricks fornece um módulo Python para desenvolvimento local distribuído através do PyPI. Para instruções de instalação e uso, consulte Python stub para DLT.

Este módulo tem as interfaces e as referências de docstring para a interface Python do pipeline, fornecendo a verificação de sintaxe, autocompletação e verificação de tipos de dados enquanto escreve código no ambiente de desenvolvimento integrado (IDE).

Este módulo inclui interfaces, mas não implementações funcionais. Não é possível usar essa biblioteca para criar ou executar pipelines localmente.

Pode usar Declarative Automation Bundles para empacotar e implementar código-fonte e configurações para uma área de trabalho alvo e iniciar uma atualização num pipeline configurado desta forma. Veja Converter um pipeline num projeto de pacote.

A extensão Databricks para Visual Studio Code tem funcionalidades adicionais para trabalhar com pipelines usando Declarative Automation Bundles. Consulte Bundle Resource Explorer.

Sincronizar código de pipeline do seu IDE para um espaço de trabalho

A tabela seguinte resume as opções para sincronizar o código-fonte do pipeline entre o seu IDE local e um espaço de trabalho do Azure Databricks:

Ferramenta ou padrão	Detalhes
Pacotes de Automação Declarativa	Use Pacotes de Automação Declarativa para implementar ativos de pipeline que variam em complexidade desde um único ficheiro de código-fonte até configurações para múltiplos pipelines, jobs e ficheiros de código-fonte. Veja Converter um pipeline num projeto de pacote.
Extensão Databricks para Visual Studio Code	O Azure Databricks oferece uma integração com o Visual Studio Code que inclui uma sincronização fácil entre o seu IDE local e os ficheiros do espaço de trabalho. Esta extensão também fornece ferramentas para usar os Declarative Automation Bundles na implementação dos recursos de pipelines. Consulte a extensão Databricks para Visual Studio Code.
Arquivos de espaço de trabalho	Você pode usar os arquivos do espaço de trabalho Databricks para carregar o código-fonte do pipeline para o espaço de trabalho do Databricks e, em seguida, importar esse código para um pipeline. Consulte O que são arquivos de espaço de trabalho?.
Diretórios Git	As pastas Git permitem-te sincronizar código entre o teu ambiente local e o espaço de trabalho do Azure Databricks usando um repositório Git como intermediário. Veja Azure Databricks repositórios Git.