Pipeline geliştirici referansı

Bu bölüm, işlem hattı geliştiricileri için başvuru ve yönergeler içerir.

Veri yükleme ve dönüştürme işlemleri, akış tablolarını ve gerçekleştirilmiş görünümleri tanımlayan sorgular tarafından işlem hatlarında uygulanır. Bu sorguları uygulamak için Lakeflow Spark Bildirimli İşlem Hatları SQL ve Python arabirimlerini destekler. Bu arabirimler çoğu veri işleme kullanım örneği için eşdeğer işlevler sağladığından işlem hattı geliştiricileri en rahat oldukları arabirimi seçebilir.

Python geliştirme

Python kodunu kullanarak işlem hatları oluşturun.

Konu	Description
Python ile işlem hattı kodu geliştirme	Python'da işlem hattı geliştirmeye genel bakış.
Lakeflow Spark Deklaratif İşlem Hatları Python dil referansı	Python pipelines modülü için başvuru belgeleri.
İşlem hatları için Python bağımlılıklarını yönetme	İşlem hatlarında Python kitaplıklarını yönetme yönergeleri.
Git klasörlerinden veya çalışma alanı dosyalarından Python modüllerini içeri aktarma	Azure Databricks'te depoladığınız Python modüllerini kullanma yönergeleri.

SQL geliştirme

SQL kodunu kullanarak işlem hatları oluşturun.

Konu	Description
SQL ile Lakeflow Spark Bildirimli İşlem Hatları kodu geliştirme	SQL'de işlem hattı geliştirmeye genel bakış.
Pipeline SQL dili referansı	Lakeflow Spark Deklaratif İşlem Hatları için SQL söz dizimine ilişkin referans belgeleri.
Databricks SQL'de işlem hatlarını kullanma	İşlem hatlarıyla çalışmak için Databricks SQL kullanın.

Diğer geliştirme konuları

Aşağıdaki konularda pipline geliştirmenin diğer yolları açıklanmaktadır.

Konu	Description
İşlem hattını Databricks Varlık Paketi projesine dönüştürme	Hedef ortamlara daha kolay bakım ve otomatik dağıtımlar için kaynak denetimli bir YAML dosyasında veri işleme yapılandırmanızı yönetmenizi sağlayan mevcut işlem hattını bir pakete dönüştürün.
dlt-meta ile işlem hatları oluşturma	Meta veri temelli bir çerçeveyle işlem hattı oluşturmayı otomatikleştirmek için açık kaynak dlt-meta kitaplığını kullanın.
Yerel geliştirme ortamınızda işlem hattı kodu geliştirme	İşlem hatlarını yerel olarak geliştirmeye yönelik seçeneklere genel bakış.