Declaratieve Pijplijnen van Lakeflow Spark

Lakeflow Spark Declarative Pipelines (SDP) is een framework voor het maken van pijplijnen voor batch- en streaminggegevens in SQL en Python. Lakeflow SDP breidt uit en werkt samen met Apache Spark-declaratieve pijplijnen, terwijl deze wordt uitgevoerd op de voor prestaties geoptimaliseerde Databricks Runtime. Veelvoorkomende gebruiksvoorbeelden voor pijplijnen zijn gegevensopname van bronnen zoals cloudopslag (zoals Amazon S3, Azure ADLS Gen2 en Google Cloud Storage) en berichtbussen (zoals Apache Kafka, Amazon Kinesis, Google Pub/Sub, Azure EventHub en Apache Pulsar) en incrementele batch- en streamingtransformaties.

Opmerking

Voor Lakeflow Spark-declaratieve pijplijnen is het Premium-abonnement vereist. Neem contact op met uw Databricks-accountteam voor meer informatie.

Deze sectie bevat gedetailleerde informatie over het gebruik van pijplijnen. De volgende onderwerpen helpen u om aan de slag te gaan.

Onderwerp	Description
Concepten van declaratieve Pijplijnen in Lakeflow Spark	Leer meer over de hoofdlijnen van de concepten van SDP, waaronder pijplijnen, stromen, streamingtabellen en gematerialiseerde views.
Tutorials	Volg zelfstudies om je praktische ervaring op te doen met het gebruik van pijplijnen.
Pijplijnen ontwikkelen	Leer hoe u pijplijnen ontwikkelt en test die gegevensstromen creëren voor het opnemen en transformeren van data.
Pijplijnen configureren	Meer informatie over het plannen en configureren van pijplijnen.
Pijplijnen controleren	Meer informatie over het bewaken van uw pijplijnen en het oplossen van problemen met pijplijnquery's.
Ontwikkelaars	Meer informatie over het gebruik van Python en SQL bij het ontwikkelen van pijplijnen.
Pijplijnen in Databricks SQL	Meer informatie over het gebruik van streamingtabellen en gerealiseerde weergaven in Databricks SQL.

Meer informatie

• Beperkingen voor pijplijnen
• Handleiding voor pipeline-ontwikkelaars