Bagikan melalui

Alur Deklaratif Lakeflow

Lakeflow Declarative Pipelines adalah kerangka kerja untuk membuat alur data batch dan streaming di SQL dan Python. Kasus penggunaan umum untuk Alur Deklaratif Lakeflow mencakup penyerapan data dari sumber seperti penyimpanan cloud (seperti Amazon S3, Azure ADLS Gen2, dan Google Cloud Storage) dan bus pesan (seperti Apache Kafka, Amazon Kinesis, Google Pub/Sub, Azure EventHub, dan Apache Pulsar), serta transformasi batch dan streaming tambahan.

Nota

Alur Deklaratif Lakeflow memerlukan paket Premium. Hubungi tim akun Databricks Anda untuk informasi selengkapnya.

Bagian ini menyediakan informasi terperinci tentang menggunakan Alur Deklaratif Lakeflow. Topik berikut akan membantu Anda memulai.

Topik Deskripsi
Konsep Alur Deklaratif Lakeflow Pelajari tentang konsep tingkat tinggi dari Lakeflow Declarative Pipelines, termasuk pipa pengolahan, aliran, tabel streaming, dan tampilan materialisasi.
Tutorial Ikuti tutorial untuk memberi Anda pengalaman langsung menggunakan Alur Deklaratif Lakeflow.
Mengembangkan alur Pelajari cara mengembangkan dan menguji pipeline yang menghasilkan alur untuk menyerap dan mengubah data.
Mengonfigurasi jalur Pelajari cara menjadwalkan dan mengonfigurasi alur.
Memantau alur Pelajari cara memantau alur Anda dan memecahkan masalah kueri alur.
Pengembang Pelajari cara menggunakan Python dan SQL saat mengembangkan Alur Deklaratif Lakeflow.
Alur Deklaratif Lakeflow di Databricks SQL Pelajari tentang menggunakan tabel streaming Lakeflow Declarative Pipelines dan tampilan materialisasi di Databricks SQL.

Informasi selengkapnya