Yerel geliştirme ortamınızda işlem hattı kodu geliştirme

Python işlem hattı kaynak kodunu tercih ettiğiniz tümleşik geliştirme ortamına (IDE) yazabilirsiniz.

IDE'de yazılmış işlem hattı kodunda güncelleştirmeleri doğrulayamaz veya çalıştıramazsınız. Kaynak kod dosyalarını bir Azure Databricks çalışma alanına geri dağıtmanız ve bunları bir işlem hattının parçası olarak yapılandırmanız gerekir.

Bu makalede yerel IDE geliştirme desteğine genel bir bakış sağlanmaktadır. Daha etkileşimli geliştirme ve test için Databricks, Lakeflow Pipelines Düzenleyicisi'nin kullanılmasını önerir. Bkz. Lakeflow Pipelines Düzenleyicisi ile ETL işlem hatlarını geliştirme ve hatalarını ayıklama.

İşlem hattı geliştirme için yerel IDE yapılandırma

Databricks, PyPI aracılığıyla dağıtılan yerel geliştirme için bir Python modülü sağlar. Yükleme ve kullanım yönergeleri için bkz. DLT için Python saplaması.

Bu modülde, IDE'nizde kod yazarken söz dizimi denetimi, otomatik tamamlama ve veri türü denetimi sağlayan işlem hattı Python arabirimi için arabirimler ve docstring başvuruları bulunur.

Bu modül arabirimleri içerir ancak işlevsel uygulama içermez. İşlem hatlarını yerel olarak oluşturmak veya çalıştırmak için bu kitaplığı kullanamazsınız.

Databricks Varlık Paketleri'ni kullanarak kaynak kodu ve yapılandırmaları bir hedef çalışma alanına paketleyip dağıtabilir ve bu şekilde yapılandırılmış bir işlem hattında güncelleştirme çalıştırmayı tetikleyebilirsiniz. Bkz. Bir işlem hattını Databricks Varlık Paketi projesine dönüştürme.

Visual Studio Code için Databricks uzantısı, Databricks Varlık Paketlerini kullanarak işlem hatlarıyla çalışmaya yönelik ek işlevlere sahiptir. Bkz. Paket Kaynak Gezgini.

IDE'nizden çalışma alanına işlem hattı kodunu senkronize etme

Aşağıdaki tabloda, yerel IDE'niz ile Azure Databricks çalışma alanı arasında işlem hattı kaynak kodunu eşitleme seçenekleri özetlenmiştir:

Araç veya desen	Ayrıntılar
Databricks Varlık Paketleri	Tek bir kaynak kod dosyasından birden çok işlem hattı, iş ve kaynak kod dosyasının yapılandırmalarına karmaşıklık açısından değişen işlem hattı varlıklarını dağıtmak için Databricks Varlık Paketleri'ni kullanın. Bkz. Bir işlem hattını Databricks Varlık Paketi projesine dönüştürme.
Visual Studio Code için Databricks uzantısı	Azure Databricks, yerel IDE ve çalışma alanı dosyalarınız arasında kolay eşitleme içeren Visual Studio Code ile tümleştirme sağlar. Bu uzantı, işlem hattı varlıklarını dağıtmak için Databricks Varlık Paketlerini kullanmaya yönelik araçlar da sağlar. Bkz . Visual Studio Code için Databricks uzantısı nedir?.
Çalışma alanı dosyaları	databricks çalışma alanı dosyalarını kullanarak işlem hattı kaynak kodunuzu Databricks çalışma alanınıza yükleyebilir ve ardından bu kodu bir işlem hattına aktarabilirsiniz. Bkz. Çalışma alanı dosyaları nedir?.
Git klasörleri	Git klasörleri, aracı olarak bir Git deposu kullanarak kodu yerel ortamınızla Azure Databricks çalışma alanı arasında eşitlemenize olanak tanır. Bkz. Azure Databricks Git klasörleri.