Referensi pengembang pipeline

Bagian ini berisi referensi dan instruksi untuk pengembang alur.

Pemuatan dan transformasi data diimplementasikan dalam pipeline melalui kueri yang menentukan tabel streaming dan tampilan materialisasi. Untuk menerapkan kueri ini, Lakeflow Spark Declarative Pipelines mendukung antarmuka SQL dan Python. Karena antarmuka ini menyediakan fungsionalitas yang setara untuk sebagian besar kasus penggunaan pemrosesan data, pengembang alur dapat memilih antarmuka yang paling nyaman bagi mereka.

Pengembangan Python

Buat alur menggunakan kode Python.

Topik	Description
Mengembangkan kode alur dengan Python	Gambaran umum pengembangan alur di Python.
Referensi bahasa Python Lakeflow Spark Declarative Pipelines	Dokumentasi referensi Python untuk pipelines modul.
Mengelola dependensi Python untuk alur	Instruksi untuk mengelola pustaka Python dalam pipeline.
Mengimpor modul Python dari folder Git atau file ruang kerja	Instruksi untuk menggunakan modul Python yang telah Anda simpan di Azure Databricks.

Pengembangan SQL

Buat alur menggunakan kode SQL.

Topik	Description
Mengembangkan kode Alur Deklaratif Lakeflow Spark dengan SQL	Gambaran umum pengembangan alur di SQL.
Referensi Bahasa SQL Pipeline	Dokumentasi referensi untuk sintaks SQL untuk Alur Deklaratif Lakeflow Spark.
Menggunakan alur di Databricks SQL	Gunakan Databricks SQL untuk bekerja dengan alur.

Topik pengembangan lainnya

Topik berikut menjelaskan cara-cara lain untuk mengembangkan pipeline.

Topik	Description
Mengonversi alur kerja menjadi proyek Bundel Aset Databricks	Konversikan alur yang ada menjadi bundel, yang memungkinkan Anda mengelola konfigurasi pemrosesan data dalam file YAML yang dikontrol sumber untuk pemeliharaan dan penyebaran otomatis yang lebih mudah ke lingkungan target.
Membuat alur dengan dlt-meta	Gunakan pustaka sumber dlt-meta terbuka untuk mengotomatiskan pembuatan alur dengan kerangka kerja berbasis metadata.
Mengembangkan kode alur di lingkungan pengembangan lokal Anda	Gambaran umum opsi untuk mengembangkan alur secara lokal.