Lakeflow Spark Declarative Pipelines

Lakeflow Spark Declarative Pipelines (SDP) ist ein Framework zum Erstellen von Batch- und Streamingdatenpipelines in SQL und Python. Lakeflow SDP erweitert und ist mit Apache Spark Declarative Pipelines kompatibel, während sie auf der leistungsoptimierten Databricks Runtime ausgeführt wird. Häufige Anwendungsfälle für Pipelines sind Datenaufnahme aus Quellen wie Cloudspeicher (z. B. Amazon S3, Azure ADLS Gen2 und Google Cloud Storage) und Nachrichtenbusse (z. B. Apache Kafka, Amazon Kinesis, Google Pub/Sub, Azure EventHub und Apache Pulsar) sowie inkrementelle Batch- und Streamingtransformationen.

Hinweis

Lakeflow Spark Declarative Pipelines erfordert den Premium-Plan. Wenden Sie sich an Ihr Databricks-Kontoteam, um weitere Informationen zu erfahren.

Dieser Abschnitt enthält ausführliche Informationen zur Verwendung von Pipelines. Die folgenden Themen helfen Ihnen bei den ersten Schritten.

Thema	Description
Lakeflow Spark Declarative Pipelines-Konzepte	Erfahren Sie mehr über die allgemeinen Konzepte von SDP, einschließlich Pipelines, Datenflüssen, Streaming-Tabellen und materialisierten Sichten.
Tutorials	Befolgen Sie Tutorials, um praktische Erfahrungen mit Pipelines zu sammeln.
Entwickeln von Pipelines	Erfahren Sie, wie Sie Pipelines entwickeln und testen, die Abläufe zum Aufnehmen und Transformieren von Daten erstellen.
Konfigurieren von Pipelines	Erfahren Sie, wie Sie Pipelines planen und konfigurieren.
Überwachen von Pipelines	Erfahren Sie, wie Sie Ihre Pipelines überwachen und Pipelineabfragen beheben.
Entwickler	Erfahren Sie, wie Sie Python und SQL beim Entwickeln von Pipelines verwenden.
Pipelines in Databricks SQL	Erfahren Sie mehr über die Verwendung von Streamingtabellen und materialisierten Ansichten in Databricks SQL.

Mehr Informationen

• Pipelinebeschränkungen
• Referenz für Pipelineentwickler