Pipeline geliştirici referansı

Bu bölüm, işlem hattı geliştiricileri için başvuru ve yönergeler içerir.

Veri yükleme ve dönüştürme işlemleri, akış tablolarını ve gerçekleştirilmiş görünümleri tanımlayan sorgular tarafından işlem hatlarında uygulanır. Bu sorguları uygulamak için Lakeflow Spark Bildirimli İşlem Hatları SQL ve Python arabirimlerini destekler. Bu arabirimler çoğu veri işleme kullanım örneği için eşdeğer işlevler sağladığından işlem hattı geliştiricileri en rahat oldukları arabirimi seçebilir.

Python geliştirme

Python kodu kullanarak işlem hatları oluşturun.

Konu	Description
Python	Python'da işlem hattı geliştirmeye genel bakış.
Lakeflow Spark Bildirimli İşlem Hatları Python dil referansı	Python pipelines modülü için referans belgeleri.
İşlem hatları için Python bağımlılıklarını yönet	İşlem hatlarında Python kitaplıklarını yönetme yönergeleri.
Git klasörlerinden veya çalışma alanı dosyalarından Python modüllerini içeri aktar	Azure Databricks depoladığınız Python modüllerini kullanma yönergeleri.

SQL geliştirme

SQL kodunu kullanarak işlem hatları oluşturun.

Konu	Description
SQL ile Lakeflow Spark Bildirimli İşlem Hatları kodu geliştirme	SQL'de işlem hattı geliştirmeye genel bakış.
Pipeline SQL dili referansı	Lakeflow Spark Deklaratif İşlem Hatları için SQL söz dizimine ilişkin referans belgeleri.
Databricks SQL'de işlem hatlarını kullanma	İşlem hatlarıyla çalışmak için Databricks SQL kullanın.

Diğer geliştirme konuları

Aşağıdaki konularda pipline geliştirmenin diğer yolları açıklanmaktadır.

Konu	Description
İşlem hattını paket projesine dönüştürme	Hedef ortamlara daha kolay bakım ve otomatik dağıtımlar için kaynak denetimli bir YAML dosyasında veri işleme yapılandırmanızı yönetmenizi sağlayan mevcut işlem hattını bir pakete dönüştürün.
Lakeflow Spark Bildirimli İşlem Hatları ile Meta Programlama	dlt-meta ile işlem hatları oluşturun. meta veri temelli bir çerçeveyle işlem hattı oluşturmayı otomatikleştirmek için open source dlt-meta kitaplığını kullanın. Eğitim: Farklı parametrelerle birden çok akış oluşturun. Python'da bir döngü içinde birden çok kontrol akışı oluşturun.
Yerel geliştirme ortamınızda işlem hattı kodu geliştirme	İşlem hatlarını yerel olarak geliştirmeye yönelik seçeneklere genel bakış.