Referensi pengembang pipeline

Terapkan pemuatan dan transformasi data di alur Lakeflow dengan kueri yang menentukan tabel streaming dan tampilan materialisasi. Alur Lakeflow mendukung antarmuka SQL dan Python. Karena menyediakan fungsionalitas yang setara untuk sebagian besar kasus penggunaan pemrosesan data, Anda dapat memilih antarmuka mana pun yang paling nyaman bagi Anda. Untuk bantuan dalam memutuskan, lihat Memilih antara SQL dan Python.

pengembangan Python

Buat alur menggunakan kode Python.

Topik	Description
Mengembangkan kode pipeline dengan Python	Gambaran umum pengembangan alur di Python.
Referensi bahasa Python untuk pipeline Lakeflow	Referensi dokumentasi Python untuk modul pipelines.
Kelola dependensi Python untuk alur	Panduan untuk mengelola pustaka Python dalam pipeline.
Apor modul Python dari folder Git atau file ruang kerja	Instruksi untuk menggunakan modul Python yang telah Anda simpan di Azure Databricks.

Pengembangan SQL

Buat alur menggunakan kode SQL.

Topik	Description
Mengembangkan kode alur Lakeflow dengan SQL	Gambaran umum pengembangan alur di SQL.
Referensi Bahasa SQL Pipeline	Dokumentasi referensi untuk sintaks SQL untuk alur Lakeflow.
Pipeline mandiri	Gunakan Databricks SQL untuk bekerja dengan alur.

Topik pengembangan lainnya

Topik berikut menguraikan cara lain untuk mengembangkan pipeline.

Topik	Description
Mengonversi alur menjadi proyek bundel	Konversikan alur yang ada menjadi bundel, yang memungkinkan Anda mengelola konfigurasi pemrosesan data dalam file YAML yang dikontrol sumber untuk pemeliharaan dan penyebaran otomatis yang lebih mudah ke lingkungan target.
Metaprogram dengan alur Lakeflow	Buat alur dengan dlt-meta. Gunakan pustaka sumber terbuka dlt-meta untuk mengotomatiskan pembuatan alur dengan kerangka kerja berbasis metadata. Tutorial: Membuat beberapa alur dengan parameter yang berbeda. Buat beberapa alur dalam perulangan di Python.
Mengembangkan kode alur di lingkungan pengembangan lokal Anda	Gambaran umum opsi untuk mengembangkan alur secara lokal.