Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
Lakeflow Declarative Pipelines é uma estrutura para criar pipelines de dados em lote e streaming em SQL e Python. Casos de uso comuns para Pipelines Declarativos do Lakeflow incluem ingestão de dados de fontes como armazenamento em nuvem (como Amazon S3, Azure ADLS Gen2 e Google Cloud Storage) e barramentos de mensagens (como Apache Kafka, Amazon Kinesis, Google Pub/Sub, Azure EventHub e Apache Pulsar) e transformações incrementais de lote e streaming.
Observação
O Lakeflow Declarative Pipelines requer o plano Premium. Entre em contato com sua equipe de conta do Databricks para obter mais informações.
Esta seção fornece informações detalhadas sobre como usar o Lakeflow Declarative Pipelines. Os tópicos a seguir ajudarão você a começar.
| Tópico | Descrição |
|---|---|
| Conceitos de Pipelines Declarativos do Lakeflow | Saiba mais sobre os conceitos de alto nível do Lakeflow Declarative Pipelines, incluindo pipelines, fluxos, tabelas de transmissão e visualizações materializadas. |
| Tutoriais | Siga os tutoriais para obter experiência prática usando o Lakeflow Declarative Pipelines. |
| Desenvolver pipelines | Saiba como desenvolver e testar pipelines que criam fluxos para ingerir e transformar dados. |
| Configurar pipelines | Saiba como agendar e configurar pipelines. |
| Monitorar pipelines | Saiba como monitorar seus pipelines e solucionar problemas em consultas de pipeline. |
| desenvolvedores | Saiba como usar Python e SQL ao desenvolver Pipelines Declarativos do Lakeflow. |
| Pipelines Declarativos do Lakeflow no Databricks SQL | Saiba mais sobre como usar tabelas de streaming do Lakeflow Declarative Pipelines e exibições materializadas no DATAbricks SQL. |