Mengembangkan kode alur di lingkungan pengembangan lokal Anda

Anda dapat menulis Python kode sumber alur di lingkungan pengembangan terintegrasi (IDE) pilihan Anda.

Anda tidak dapat memvalidasi atau menjalankan pembaruan pada kode alur yang ditulis dalam IDE. Anda harus menyebarkan file kode sumber kembali ke ruang kerja Azure Databricks dan mengonfigurasinya sebagai bagian dari alur.

Artikel ini menyediakan gambaran umum dukungan untuk pengembangan IDE lokal. Untuk pengembangan dan pengujian yang lebih interaktif, Databricks merekomendasikan penggunaan Editor Alur Lakeflow. Lihat Mengembangkan dan men-debug alur ETL dengan Editor Alur Lakeflow.

Mengonfigurasi IDE lokal untuk pengembangan pipeline

Databricks menyediakan modul Python untuk pengembangan lokal yang didistribusikan melalui PyPI. Untuk petunjuk penginstalan dan penggunaan, lihat Python stub untuk DLT.

Modul ini memiliki antarmuka dan referensi docstring untuk antarmuka Python pipeline, menyediakan pemeriksaan sintaks, pelengkapan otomatis, dan pemeriksaan jenis data saat Anda menulis kode di IDE Anda.

Modul ini mencakup antarmuka tetapi tidak ada implementasi fungsional. Anda tidak dapat menggunakan pustaka ini untuk membuat atau menjalankan alur kerja secara lokal.

Anda dapat menggunakan Bundel Otomatisasi Deklaratif untuk mengemas dan menyebarkan kode sumber dan konfigurasi ke ruang kerja target, dan untuk memicu menjalankan pembaruan pada alur yang dikonfigurasi dengan cara ini. Lihat Mengonversi alur menjadi proyek bundel.

Ekstensi Databricks untuk Visual Studio Code memiliki fungsionalitas tambahan untuk bekerja dengan alur menggunakan Bundel Automasi Deklaratif. Lihat Penjelajah Sumber Daya Bundel.

Menyinkronkan kode alur dari IDE Anda ke ruang kerja

Tabel berikut ini meringkas opsi untuk menyinkronkan kode sumber alur antara IDE lokal Anda dan ruang kerja Azure Databricks:

Alat atau pola	Detail lebih lanjut
Paket Otomatisasi Deklaratif	Gunakan Bundel Otomatisasi Deklaratif untuk menyebarkan aset alur mulai dari satu file kode sumber hingga konfigurasi untuk beberapa alur, pekerjaan, dan file kode sumber. Lihat Mengonversi alur menjadi proyek bundel.
Ekstensi Databricks untuk Visual Studio Code	Azure Databricks menyediakan integrasi dengan Visual Studio Code yang mencakup sinkronisasi mudah antara IDE lokal dan file ruang kerja Anda. Ekstensi ini juga menyediakan alat untuk menggunakan Bundel Otomatisasi Deklaratif untuk menyebarkan aset alur. Lihat ekstensi Databricks untuk Visual Studio Code.
Berkas Ruang Kerja	Anda dapat menggunakan file ruang kerja Databricks untuk mengunggah kode sumber alur ke ruang kerja Databricks Anda lalu mengimpor kode tersebut ke dalam alur. Lihat Apa itu file ruang kerja?.
Folder Git	Folder Git memungkinkan Anda menyinkronkan kode antara lingkungan lokal dan ruang kerja Azure Databricks menggunakan repositori Git sebagai perantara. Lihat folder Git Azure Databricks.