Referência para desenvolvedores de pipeline

Implemente o carregamento de dados e as transformações em pipelines do Lakeflow com consultas que definem tabelas de fluxo contínuo e vistas materializadas. Os pipelines Lakeflow suportam interfaces SQL e Python. Como oferecem funcionalidades equivalentes para a maioria dos casos de processamento de dados, pode escolher a interface com que se sentir mais confortável. Para ajuda a decidir, veja Escolher entre SQL e Python.

Desenvolvimento em Python

Criar pipelines usando código Python.

Tópico	Description
Desenvolver código de pipeline com Python	Uma visão geral do desenvolvimento de pipelines em Python.
Referência da linguagem Python para pipelines do Lakeflow	Documentação de referência do Python para o módulo pipelines.
Gerir dependências do Python para pipelines	Instruções para gerir bibliotecas Python em pipelines.
Importar módulos Python de pastas Git ou ficheiros de espaço de trabalho	Instruções para usar módulos Python que tem armazenados no Azure Databricks.

Desenvolvimento SQL

Crie pipelines usando código SQL.

Tópico	Description
Desenvolver código de pipelines Lakeflow com SQL	Uma visão geral do desenvolvimento de pipelines em SQL.
Referência da linguagem SQL do pipeline	Documentação de referência da sintaxe SQL para pipelines do Lakeflow.
Pipelines autónomos	Use o Databricks SQL para trabalhar com pipelines.

Outros tópicos de desenvolvimento

Os tópicos seguintes descrevem outras formas de desenvolver pipelines.

Tópico	Description
Converter um pipeline num projeto de bundle	Converta um pipeline existente em um pacote, que permite gerenciar sua configuração de processamento de dados em um arquivo YAML controlado pela fonte para facilitar a manutenção e implantações automatizadas em ambientes de destino.
Metaprogramação com pipelines do Lakeflow	Cria pipelines com dlt-meta. Use a biblioteca open source dlt-meta para automatizar a criação de pipelines com um framework orientado por metadados. Tutorial: Crie múltiplos fluxos com parâmetros diferentes. Crie múltiplos fluxos num ciclo em Python.
Desenvolva código de pipeline em seu ambiente de desenvolvimento local	Uma visão geral das opções para o desenvolvimento de pipelines localmente.