Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
O Apache Spark™ Declarative Pipelines é uma estrutura declarativa para a criação de pipelines de dados em lote e streaming no SQL e Python. Os pipelines Lakeflow são construídos sobre Apache Spark Declarative Pipelines e são interoperáveis com eles. Eles o estendem com funcionalidades adicionais e rodam no Databricks Runtime, otimizado para desempenho. Casos de uso comuns para pipelines incluem ingestão de dados de fontes como armazenamento em nuvem (como Amazon S3, Azure ADLS Gen2 e Google Cloud Storage) e barramentos de mensagens (como Apache Kafka, Amazon Kinesis, Google Pub/Sub, Azure EventHub e Apache Pulsar) e transformações incrementais de lote e streaming.
Observação
Os pipelines do Lakeflow exigem o plano Premium. Entre em contato com sua equipe de conta do Databricks para obter mais informações.
Os tópicos a seguir ajudam você a começar com pipelines.
| Tópico | Description |
|---|---|
| Como usar os pipelines do Lakeflow | Comece aqui. Entenda como usar pipelines em todo o seu ciclo de vida e por que, com links para as tarefas em cada etapa. |
| Conceitos de pipeline | Conheça os conceitos de alto nível de pipelines, incluindo fluxos, tabelas de streaming e visualizações materializadas. |
Para informações mais detalhadas sobre oleodutos, veja:
| Tópico | Description |
|---|---|
| Tutoriais | Siga os tutoriais e obtenha experiência prática no uso de pipelines. |
| Desenvolver fluxos de trabalho | Saiba como desenvolver e testar pipelines que criam fluxos para ingerir e transformar dados. |
| Configurar pipelines | Saiba como agendar e configurar pipelines. |
| Monitorar pipelines | Saiba como monitorar seus pipelines e solucionar problemas em consultas de pipeline. |
| Desenvolvedores | Saiba como usar Python e SQL ao desenvolver pipelines. |
| Pipelines independentes | Saiba mais sobre como criar tabelas de streaming autônomas e exibições materializadas no DATAbricks SQL ou Python. |
| Práticas recomendadas | Aprenda os padrões recomendados para criar pipelines confiáveis, eficientes e mantenedíveis. |