Catatan
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba masuk atau mengubah direktori.
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba mengubah direktori.
Lakeflow Spark Declarative Pipelines (SDP) adalah kerangka kerja untuk membuat alur data batch dan streaming di SQL dan Python. Lakeflow SDP memperluas serta mendukung interoperabilitas dengan Apache Spark Declarative Pipelines, sambil beroperasi pada Databricks Runtime yang telah dioptimalkan untuk kinerja. Kasus penggunaan umum untuk alur mencakup penyerapan data dari sumber seperti penyimpanan cloud (seperti Amazon S3, Azure ADLS Gen2, dan Google Cloud Storage) dan bus pesan (seperti Apache Kafka, Amazon Kinesis, Google Pub/Sub, Azure EventHub, dan Apache Pulsar), serta transformasi batch dan streaming tambahan.
Nota
Alur Deklaratif Lakeflow Spark memerlukan paket Premium. Hubungi tim akun Databricks Anda untuk informasi selengkapnya.
Bagian ini menyediakan informasi terperinci mengenai penggunaan jalur pipa. Topik berikut akan membantu Anda memulai.
| Topik | Description |
|---|---|
| Konsep Lakeflow Spark Declarative Pipelines | Pelajari tentang konsep tingkat tinggi dari SDP, termasuk pipa, aliran, tabel streaming, dan tampilan materialisasi. |
| Tutorial | Ikuti tutorial untuk memberikan Anda pengalaman langsung dengan menggunakan pipeline. |
| Mengembangkan alur | Pelajari cara mengembangkan dan menguji pipeline yang membuat aliran untuk mengambil dan mengubah data. |
| Mengonfigurasi alur | Pelajari cara menjadwalkan dan mengonfigurasi alur. |
| Memantau alur | Pelajari cara memantau alur Anda dan memecahkan masalah kueri alur. |
| Pengembang | Pelajari cara menggunakan Python dan SQL saat mengembangkan alur. |
| Pipeline di Databricks SQL | Pelajari tentang menggunakan tabel streaming dan tampilan materialisasi di Databricks SQL. |