Mengembangkan kode alur di lingkungan pengembangan lokal Anda

Anda dapat menulis kode sumber alur Python di lingkungan pengembangan terintegrasi (IDE) pilihan Anda.

Anda tidak dapat memvalidasi atau menjalankan pembaruan pada kode alur yang ditulis dalam IDE. Anda harus menyebarkan file kode sumber kembali ke ruang kerja Azure Databricks dan mengonfigurasinya sebagai bagian dari alur.

Artikel ini menyediakan gambaran umum dukungan untuk pengembangan IDE lokal. Untuk pengembangan dan pengujian yang lebih interaktif, Databricks merekomendasikan penggunaan Editor Alur Lakeflow. Lihat Mengembangkan dan men-debug alur ETL dengan Editor Alur Lakeflow.

Mengonfigurasi IDE lokal untuk pengembangan pipeline

Databricks menyediakan modul Python untuk pengembangan lokal yang didistribusikan melalui PyPI. Untuk instruksi penginstalan dan penggunaan, lihat Python stub untuk DLT.

Modul ini memiliki antarmuka dan referensi docstring untuk antarmuka Python alur, menyediakan pemeriksaan sintaks, lengkapi otomatis, dan pemeriksaan jenis data saat Anda menulis kode di IDE Anda.

Modul ini mencakup antarmuka tetapi tidak ada implementasi fungsional. Anda tidak dapat menggunakan pustaka ini untuk membuat atau menjalankan alur kerja secara lokal.

Anda dapat menggunakan Bundel Aset Databricks untuk mengemas dan menyebarkan kode sumber dan konfigurasi ke ruang kerja target, dan untuk memicu menjalankan pembaruan pada alur yang dikonfigurasi dengan cara ini. Lihat Mengonversi pipelin menjadi proyek Bundel Aset Databricks.

Ekstensi Databricks untuk Visual Studio Code memiliki fungsionalitas tambahan untuk bekerja dengan alur menggunakan Bundel Aset Databricks. Lihat Penjelajah Sumber Daya Bundel.

Menyinkronkan kode alur dari IDE Anda ke ruang kerja

Tabel berikut ini meringkas opsi untuk menyinkronkan kode sumber alur antara IDE lokal Anda dan ruang kerja Azure Databricks:

Alat atau pola	Detail lebih lanjut
Paket Aset Databricks	Gunakan Bundel Aset Databricks untuk menyebarkan aset alur mulai dari satu file kode sumber hingga konfigurasi untuk beberapa alur, pekerjaan, dan file kode sumber. Lihat Mengonversi pipelin menjadi proyek Bundel Aset Databricks.
Ekstensi Databricks untuk Visual Studio Code	Azure Databricks menyediakan integrasi dengan Visual Studio Code yang mencakup sinkronisasi mudah antara IDE lokal dan file ruang kerja Anda. Ekstensi ini juga menyediakan alat untuk menggunakan Bundel Aset Databricks untuk menyebarkan sumber daya pipeline. Lihat Apa itu ekstensi Databricks untuk Visual Studio Code?.
Berkas Ruang Kerja	Anda dapat menggunakan file ruang kerja Databricks untuk mengunggah kode sumber alur ke ruang kerja Databricks Anda lalu mengimpor kode tersebut ke dalam alur. Lihat Apa itu file ruang kerja?.
Folder Git	Folder Git memungkinkan Anda menyinkronkan kode antara lingkungan lokal dan ruang kerja Azure Databricks menggunakan repositori Git sebagai perantara. Lihat Folder Git Azure Databricks.