Referensi pengembang pipeline

Bagian ini berisi referensi dan instruksi untuk pengembang alur.

Pemuatan dan transformasi data diimplementasikan dalam pipeline melalui kueri yang menentukan tabel streaming dan tampilan materialisasi. Untuk menerapkan kueri ini, Lakeflow Spark Declarative Pipelines mendukung antarmuka SQL dan Python. Karena antarmuka ini menyediakan fungsionalitas yang setara untuk sebagian besar kasus penggunaan pemrosesan data, pengembang alur dapat memilih antarmuka yang paling nyaman bagi mereka.

pengembangan Python

Buat alur menggunakan kode Python.

Topik	Description
Mengembangkan kode pipeline dengan Python	Gambaran umum pengembangan alur di Python.
Referensi Bahasa Python untuk Lakeflow Spark Declarative Pipelines	Referensi dokumentasi Python untuk modul pipelines.
Kelola dependensi Python untuk alur	Panduan untuk mengelola pustaka Python dalam pipeline.
Apor modul Python dari folder Git atau file ruang kerja	Instruksi untuk menggunakan modul Python yang telah Anda simpan di Azure Databricks.

Pengembangan SQL

Buat alur menggunakan kode SQL.

Topik	Description
Mengembangkan kode Alur Deklaratif Lakeflow Spark dengan SQL	Gambaran umum pengembangan alur di SQL.
Referensi Bahasa SQL Pipeline	Dokumentasi referensi untuk sintaks SQL untuk Alur Deklaratif Lakeflow Spark.
Menggunakan alur di Databricks SQL	Gunakan Databricks SQL untuk bekerja dengan alur.

Topik pengembangan lainnya

Topik berikut menjelaskan cara-cara lain untuk mengembangkan pipeline.

Topik	Description
Mengonversi alur menjadi proyek bundel	Konversikan alur yang ada menjadi bundel, yang memungkinkan Anda mengelola konfigurasi pemrosesan data dalam file YAML yang dikontrol sumber untuk pemeliharaan dan penyebaran otomatis yang lebih mudah ke lingkungan target.
Metaprogram dengan Alur Deklaratif Lakeflow Spark	Buat alur dengan dlt-meta. Gunakan pustaka open source dlt-meta untuk mengotomatiskan pembuatan alur dengan kerangka kerja berbasis metadata. Tutorial: Membuat beberapa alur dengan parameter yang berbeda. Buat beberapa alur dalam perulangan di Python.
Mengembangkan kode alur di lingkungan pengembangan lokal Anda	Gambaran umum opsi untuk mengembangkan alur secara lokal.