Delen via

Declaratieve pijplijnen van Lakeflow

Lakeflow-declaratieve pijplijnen is een framework voor het maken van pijplijnen voor batch- en streaminggegevens in SQL en Python. Veelvoorkomende gebruiksvoorbeelden voor Lakeflow-declaratieve pijplijnen zijn gegevensopname van bronnen zoals cloudopslag (zoals Amazon S3, Azure ADLS Gen2 en Google Cloud Storage) en berichtbussen (zoals Apache Kafka, Amazon Kinesis, Google Pub/Sub, Azure EventHub en Apache Pulsar) en incrementele batch- en streamingtransformaties.

Notitie

Voor Lakeflow-declaratieve pijplijnen is het Premium-abonnement vereist. Neem contact op met uw Databricks-accountteam voor meer informatie.

In deze sectie vindt u gedetailleerde informatie over het gebruik van Lakeflow-declaratieve pijplijnen. De volgende onderwerpen helpen u om aan de slag te gaan.

Onderwerp Beschrijving
Concepten van declaratieve pijplijnen van Lakeflow Meer informatie over de concepten op hoog niveau van Lakeflow Declarative Pipelines, waaronder pijplijnen, stromen, streamingtabellen en gematerialiseerde weergaven.
Zelfstudies Volg tutorials om praktijkervaring op te doen met Lakeflow Declarative Pipelines.
Pijplijnen ontwikkelen Leer hoe u datapijplijnen kunt ontwikkelen en testen die stromen creëren voor het invoeren en transformeren van gegevens.
Pijplijnen configureren Meer informatie over het plannen en configureren van pijplijnen.
Pijplijnen controleren Meer informatie over het bewaken van uw pijplijnen en het oplossen van problemen met pijplijnquery's.
ontwikkelaars Meer informatie over het gebruik van Python en SQL bij het ontwikkelen van Lakeflow-declaratieve pijplijnen.
Lakeflow-declaratieve pijplijnen in Databricks SQL Meer informatie over het gebruik van Lakeflow Declarative Pipelines-streamingtabellen en gerealiseerde weergaven in Databricks SQL.

Meer informatie