Mengembangkan dan men-debug alur ETL dengan Editor Alur Lakeflow

Anda mengembangkan dan men-debug alur ETL (ekstrak, transformasi, dan muat) di Editor Alur Lakeflow, IDE yang dibangun untuk pengembangan alur.

Apa itu Pengedit Jalur Lakeflow?

Editor Lakeflow Pipelines adalah IDE yang dibangun untuk mengembangkan pipelines. Ini menggabungkan semua tugas pengembangan alur pada satu permukaan, mendukung alur kerja code-first, organisasi kode berbasis folder, eksekusi selektif, pratinjau data, dan grafik alur. Terintegrasi dengan platform Azure Databricks, platform ini juga memungkinkan kontrol versi, tinjauan kode, dan eksekusi terjadwal.

Ikhtisar Antarmuka Editor Pipeline Lakeflow

Gambar berikut menunjukkan Editor Alur Lakeflow:

Gambar menunjukkan fitur-fitur berikut:

1. Browser aset alur: Membuat, menghapus, mengganti nama, dan mengatur aset alur. Juga termasuk pintasan ke konfigurasi alur.
2. Editor kode multi-file dengan tab: Bekerja di beberapa file kode yang terkait dengan alur.
3. Toolbar khusus alur: Menyertakan opsi konfigurasi alur dan memiliki tindakan eksekusi tingkat alur.
4. Grafik alur interaktif: Dapatkan gambaran umum tabel Anda, buka bilah bawah pratinjau data, dan lakukan tindakan terkait tabel lainnya.
5. Wawasan tingkat eksekusi tabel: Dapatkan wawasan eksekusi untuk semua tabel atau satu tabel dalam pipeline. Wawasan merujuk pada proses pipeline terbaru.
6. Panel masalah: Fitur ini meringkas kesalahan, peringatan, dan wawasan di semua file dalam alur, dan Anda dapat menavigasi ke tempat kesalahan terjadi di dalam file tertentu. Ini melengkapi indikator kesalahan yang di-afiks kode.
7. Eksekusi selektif: Editor kode memiliki fitur untuk pengembangan langkah demi langkah, seperti kemampuan untuk me-refresh hanya tabel dalam file saat ini menggunakan tindakan Jalankan file , atau untuk merefresh satu tabel.
8. Genie Code: Buat, perbarui, dan men-debug pipeline Anda menggunakan Genie Code, pengalaman berbasis agen yang mengotomatiskan alur kerja multitahap, mulai dari penemuan data dan pembuatan kode hingga eksekusi pipeline dan penyelesaian masalah kualitas data.

Fitur penting lainnya:

• Pratinjau data: Periksa data tabel streaming anda dan tampilan materialisasi.
• Struktur folder alur default: Alur baru menyertakan struktur folder yang telah ditentukan sebelumnya dan kode sampel yang dapat Anda gunakan sebagai titik awal untuk alur Anda.

Membuat alur ETL baru

Untuk membuat alur ETL baru menggunakan Editor Alur Lakeflow, ikuti langkah-langkah berikut:

1. Di bagian atas bar samping, klik Baru lalu pilih Alur ETL.

   Alur secara otomatis dibuat dengan pengaturan default berikut:

   • Katalog Unity
   • Saluran saat ini
   • Komputasi tanpa server

   Anda dapat menyesuaikan pengaturan ini dari toolbar alur.

2. Di bagian atas, beri nama yang unik pada alur Anda.

3. Di samping nama, katalog dan skema default yang dipilih untuk Anda ditampilkan.

   Katalog bawaan dan skema bawaan adalah tempat himpunan data dibaca atau ditulis ketika Anda tidak menentukan himpunan data dengan katalog atau skema dalam kode Anda. Lihat Objek database di Azure Databricks untuk informasi selengkapnya.

   Klik katalog dan skema untuk mengubah default untuk alur Anda.

4. Alur Anda memiliki file kosong my_transformation secara default. Alihkan file ini antara Python dan SQL dengan memilih dari daftar drop-down bahasa. Tulis kode dalam file ini secara langsung, atau pilih salah satu opsi berikut untuk memulai dengan cepat:

   • Buat dengan Genie Code: Jelaskan pipeline Anda menggunakan bahasa alami dan biarkan Genie Code membuatnya untuk Anda.
   • Gunakan kode sampel: Buat struktur folder default dan kode sampel dalam bahasa file saat ini.

   

   Untuk opsi tingkat lanjut, perluas menu (di sebelah kanan Gunakan tombol kode sampel ) untuk:

   • Menambahkan kode sumber yang ada: Kaitkan alur Anda dengan file kode yang sudah tersedia di ruang kerja Anda, termasuk folder Git.
   • Siapkan dengan kontrol sumber: Gunakan proyek Bundel Otomatisasi Deklaratif untuk kontrol sumber dan dukungan CI/CD. Lihat Membuat alur yang dikontrol sumber.
   • Gunakan metastore Hive: Buat alur dengan setelan lama.

Atau, Anda dapat membuat alur ETL dari browser ruang kerja:

1. Klik Ruang Kerja di panel sisi kiri.
2. Pilih folder apa pun, termasuk folder Git.
3. Klik Buat di sudut kanan atas, dan klik alur ETL.

Anda juga dapat membuat alur ETL dari halaman tugas dan alur:

1. Di ruang kerja Anda, klik ikon Alur Kerja.Pekerjaan & Alur Kerja di bar samping.
2. Di bawah Baru, klik Alur ETL.

Petunjuk / Saran

Databricks CLI menyediakan perintah untuk membuat, memodifikasi, dan mengelola alur Anda dari terminal. Lihat pipelines grup perintah.

Buka alur ETL yang ada

Ada beberapa cara untuk membuka alur ETL yang ada di Editor Alur Lakeflow:

• Buka file sumber apa pun yang terkait dengan alur:

  1. Klik Ruang Kerja di panel samping.
  2. Navigasi ke folder dengan file kode sumber untuk alur Anda.
  3. Klik file kode sumber untuk membuka alur di editor.

• Buka alur yang baru diedit:

  • Dari editor, Anda dapat menavigasi ke alur lain yang baru saja Anda edit dengan mengklik nama alur di bagian atas browser aset dan memilih alur lain dari daftar terbaru yang muncul.
  • Dari luar editor, dari halaman Terbaru di bilah sisi kiri, buka alur atau file yang dikonfigurasi sebagai kode sumber untuk alur.

• Saat melihat alur di seluruh produk, Anda dapat memilih untuk mengedit alur:

  • Di halaman pemantauan alur, klik Edit alur.
  • Pada halaman Jobs & Pipelines di bilah sisi kiri, klik untuk mengedit pipeline.
  • Saat mengedit pekerjaan dan menambahkan tugas ke alur, Anda bisa mengklik tombol saat memilih alur di bawah Alur.

• Jika Anda menelusuri Semua file di browser aset, dan membuka file kode sumber dari alur lain, banner ditampilkan di bagian atas editor, meminta Anda untuk membuka alur terkait tersebut.

Browser aset alur

Saat Anda mengedit pipeline, bilah sisi kiri ruang kerja berada dalam mode khusus yang disebut peramban aset pipeline. Secara bawaan, peramban aset pipeline berfokus pada root pipeline, serta folder dan file di dalam root tersebut. Anda juga dapat memilih untuk melihat Semua file untuk melihat file di luar akar alur. Tab yang dibuka di editor pipeline saat mengedit pipeline tertentu akan diingat, dan ketika Anda beralih ke pipeline lain, tab yang terbuka saat terakhir kali Anda mengedit pipeline tersebut akan dipulihkan.

Nota

Editor juga memiliki konteks untuk mengedit file SQL (disebut Editor SQL Databricks) dan konteks umum untuk mengedit file ruang kerja yang bukan file SQL atau file alur. Masing-masing konteks ini mengingat dan memulihkan tab yang telah Anda buka terakhir kali Anda menggunakan konteks tersebut. Anda dapat mengalihkan konteks dari bagian atas bilah sisi kiri. Klik header untuk memilih antara Ruang Kerja, Editor SQL, atau alur yang baru saja diedit.

Saat Anda membuka file dari halaman browser Ruang Kerja, file akan terbuka di editor terkait untuk file tersebut. Jika file dikaitkan dengan alur, itu adalah Editor Alur Lakeflow.

Untuk membuka file yang bukan bagian dari alur, tetapi pertahankan konteks alur, buka file dari tab Semua file browser aset.

Penjelajah aset pipeline memiliki dua tab:

• Alur: Di sinilah Anda dapat menemukan semua file yang terkait dengan alur. Anda dapat membuat, menghapus, mengganti nama, dan mengaturnya ke dalam folder. Tab ini juga mencakup pintasan untuk konfigurasi alur, dan tampilan grafis dari eksekusi terbaru.
• Semua file: Semua aset ruang kerja lainnya tersedia di sini. Ini dapat berguna untuk menemukan file untuk ditambahkan ke alur, atau melihat file lain yang terkait dengan alur, seperti file YAML yang menentukan Bundel Otomatisasi Deklaratif.

Anda dapat memiliki jenis file berikut di alur Anda:

• File kode sumber: File-file ini adalah bagian dari definisi kode sumber alur, yang dapat dilihat di Pengaturan. Databricks merekomendasikan untuk selalu menyimpan file kode sumber di dalam folder akar alur; jika tidak, mereka ditampilkan di bagian file eksternal di bagian bawah browser dan memiliki set fitur yang kurang kaya.
• File kode non-sumber: File-file ini disimpan di dalam folder akar alur tetapi bukan bagian dari definisi kode sumber alur.

Penting

Anda harus menggunakan browser aset alur di bawah tab Alur untuk mengelola file dan folder untuk alur Anda. Ini memperbarui pengaturan alur dengan benar. Memindahkan atau mengganti nama file dan folder dari browser ruang kerja Anda atau tab Semua file merusak konfigurasi alur, dan Anda kemudian harus mengatasinya secara manual di Pengaturan.

Direktori akar

Peramban aset pipeline ditambatkan pada folder akar pipeline. Saat Anda membuat alur baru, folder akar alur dibuat di folder beranda pengguna Anda.

Anda dapat mengubah folder root di peramban aset pipeline. Ini berguna jika Anda membuat alur dalam folder dan kemudian ingin memindahkan semuanya ke folder yang berbeda. Misalnya, Anda membuat alur di folder normal dan ingin memindahkan kode sumber ke folder Git untuk kontrol versi.

1. Klik pada menu overflow untuk folder akar.
2. Klik Konfigurasikan folder akar baru.
3. Di bawah Folder akar alur klik dan pilih folder lain sebagai folder akar alur.
4. Kliklah Simpan.

Di untuk folder akar, Anda juga dapat mengklik Ganti nama folder akar untuk mengganti nama folder. Di sini, Anda juga dapat mengklik Pindahkan folder akar untuk memindahkan folder akar, misalnya, ke folder Git.

Anda juga dapat mengubah folder akar alur dalam pengaturan:

1. Klik Pengaturan.
2. Di bawah Aset kode klik Konfigurasikan jalur.
3. Klik untuk mengubah folder di bawah Folder akar alur.
4. Kliklah Simpan.

Nota

Jika Anda mengubah folder akar alur, daftar file yang ditampilkan oleh browser aset alur terpengaruh, karena file di folder akar sebelumnya ditampilkan sebagai file eksternal.

Jalur yang ada tanpa folder induk

Alur yang sudah ada yang dibuat menggunakan pengalaman pengeditan buku catatan lama tidak akan memiliki folder akar yang dikonfigurasi. Saat Anda membuka alur yang tidak memiliki folder akar yang dikonfigurasi, jika Anda ingin mengonfigurasi folder akar untuk alur Anda, ikuti langkah-langkah berikut:

1. Di browser aset pipeline, klik Konfigurasikan.
2. Klik untuk memilih folder akar di bawah Folder akar alur.
3. Kliklah Simpan.

Struktur folder bawaan

Saat Anda membuat alur baru, struktur folder default dibuat. Ini adalah struktur yang direkomendasikan untuk mengatur file sumber alur dan kode non-sumber Anda, seperti yang dijelaskan di bawah ini.

Sejumlah kecil file kode sampel dibuat dalam struktur folder ini.

Nama folder	Lokasi yang direkomendasikan untuk jenis file ini
<pipeline_root_folder>	Folder induk yang berisi semua folder dan file untuk alur kerja Anda.
transformations	File kode sumber, seperti file kode Python atau SQL dengan definisi tabel.
explorations	File kode non-sumber, seperti notebook, kueri, dan file kode yang digunakan untuk analisis data eksploratif.
utilities	File kode non-sumber dengan modul Python yang dapat diimpor dari file kode lain. Jika Anda memilih SQL sebagai bahasa Anda untuk kode sampel, folder ini tidak dibuat.

Anda dapat mengganti nama folder atau mengubah struktur agar sesuai dengan alur kerja Anda. Untuk menambahkan folder kode sumber baru, ikuti langkah-langkah berikut:

1. Klik Tambahkan di browser aset alur.
2. Klik Buat folder kode sumber alur.
3. Masukkan nama folder dan klik Buat.

File kode sumber

File kode sumber adalah bagian dari definisi kode sumber alur. Saat Anda menjalankan alur pemrosesan, file-file ini dievaluasi. File dan folder yang merupakan bagian dari definisi kode sumber memiliki ikon khusus dengan ikon mini Pipeline ditumpangkan.

Untuk menambahkan file kode sumber baru:

1. Klik di samping folder akar.
2. Klik Transformasi.
3. Masukkan Nama untuk file dan pilih Python atau SQL sebagai Bahasa.
4. Klik Buat.

Gunakan asisten sebaris untuk mulai menulis kode dengan menggunakan Genie Code atau buat cuplikan kode singkat untuk jenis set data yang diinginkan (misalnya, tampilan terwujud atau tabel streaming).

transformations Folder untuk kode sumber dibuat secara default saat Anda membuat alur baru. Folder ini adalah lokasi yang direkomendasikan untuk kode sumber alur, seperti file kode Python atau SQL dengan definisi tabel alur.

File kode non-sumber

File kode non-sumber disimpan di dalam folder akar alur tetapi bukan bagian dari definisi kode sumber alur. Berkas-berkas ini tidak dievaluasi saat Anda menjalankan jalur pemrosesan. File kode non-sumber tidak boleh berupa file eksternal.

Anda dapat menggunakan ini untuk file yang terkait dengan pekerjaan Anda pada alur yang ingin Anda simpan bersama dengan kode sumber. Contohnya:

• Notebook yang Anda gunakan untuk eksplorasi ad hoc yang dijalankan pada komputasi di luar siklus hidup alur.
• Modul Python yang tidak akan dievaluasi dengan kode sumber Anda kecuali Anda secara eksplisit mengimpor modul ini di dalam file kode sumber Anda.

Untuk menambahkan file kode non-sumber baru:

1. Klik di samping folder akar.
2. Klik Eksplorasi atau Utilitas.
3. Masukkan Nama untuk file tersebut.
4. Klik Buat.

Saat Anda membuat alur baru, folder berikut untuk file kode non-sumber dibuat secara default:

Nama folder	Description
explorations	Folder ini adalah lokasi yang direkomendasikan untuk notebook, kueri, dasbor, dan file lainnya, lalu Anda menjalankannya pada sumber daya komputasi, seperti yang biasanya Anda lakukan di luar siklus eksekusi pipeline.
utilities	Folder ini adalah lokasi yang direkomendasikan untuk modul Python yang dapat diimpor dari file lain melalui impor langsung yang dinyatakan sebagai from <filename> import, selama folder induknya secara hierarkis di bawah folder akar.

Anda juga dapat mengimpor modul Python yang terletak di luar folder akar, tetapi dalam hal ini, Anda harus menambahkan jalur folder ke sys.path dalam kode Python Anda:

import sys, os
sys.path.append(os.path.abspath('<alternate_path_for_utilities>/utilities'))
from utils import \*

File eksternal

Bagian Berkas Eksternal dari penjelajah pipeline menunjukkan berkas-berkas kode sumber di luar folder akar.

Untuk memindahkan file eksternal ke folder akar, seperti transformations folder , ikuti langkah-langkah berikut:

1. Klik di penjelajah aset untuk file tersebut dan klik Pindahkan.
2. Pilih folder tempat Anda ingin memindahkan file dan klik Pindahkan.

File yang terkait dengan beberapa alur

Lencana ditampilkan di header file jika file dikaitkan dengan lebih dari satu alur. Ini memiliki jumlah pipeline terkait dan memungkinkan beralih ke yang lainnya.

Semua bagian file

Selain bagian Alur , ada bagian Semua file , tempat Anda dapat membuka file apa pun di ruang kerja Anda. Di sini Anda dapat:

• Buka file di luar folder akar di tab tanpa meninggalkan Lakeflow Pipelines Editor.
• Akses file-file kode sumber dari alur lain dan membukanya. Ini membuka file di editor, dan memberi Anda banner dengan opsi untuk beralih fokus di editor ke alur kedua ini.
• Pindahkan file ke folder akar alur.
• Sertakan file di luar folder akar dalam definisi kode sumber alur.

Mengedit file sumber alur

Saat Anda membuka file sumber alur dari browser ruang kerja, atau browser aset alur, file tersebut terbuka di tab editor di Editor Alur Lakeflow. Membuka lebih banyak file membuka tab terpisah, memungkinkan Anda mengedit beberapa file sekaligus.

Nota

Membuka file yang tidak terkait dengan alur dari browser ruang kerja akan membuka editor dalam konteks yang berbeda (baik editor Ruang Kerja umum atau, untuk file SQL, Editor SQL).

Saat Anda membuka file non-pipeline di tab Semua file dari browser aset pipeline, file tersebut akan terbuka di tab baru dalam konteks pipeline.

Kode sumber pipeline mencakup beberapa berkas. Secara default, file sumber berada di folder transformasi di browser aset alur. File kode sumber dapat berupa file Python (*.py) atau SQL (*.sql). Sumber Anda dapat menyertakan campuran file Python dan SQL dalam satu alur, dan kode dalam satu file dapat mereferensikan tabel atau tampilan yang ditentukan dalam file lain.

Anda juga dapat menyertakan file markdown (*.md) di folder tranformasi Anda. File markdown dapat digunakan untuk dokumentasi atau catatan, tetapi diabaikan saat menjalankan pembaruan alur.

Fitur berikut khusus untuk Editor Alur Lakeflow:

1. Hubungkan: Hubungkan ke komputasi nirserver atau klasik untuk menjalankan pipeline. Semua file yang terkait dengan alur menggunakan koneksi komputasi yang sama, jadi setelah Anda tersambung, Anda tidak perlu menyambungkan untuk file lain dalam alur yang sama. Untuk informasi selengkapnya tentang opsi komputasi, lihat Opsi konfigurasi komputasi.

   Untuk file bukan pipeline, seperti notebook eksplorasi, opsi hubungkan tersedia, tetapi hanya berlaku untuk file tersebut secara individual.

2. Jalankan file: Jalankan kode untuk memperbarui tabel yang ditentukan dalam file sumber ini. Bagian berikutnya menjelaskan berbagai cara untuk menjalankan kode alur Anda.

3. Edit: Gunakan Genie Code untuk mengedit atau menambahkan kode di file.

4. Perbaikan cepat: Gunakan Kode Genie untuk memperbaiki kesalahan atau bertindak berdasarkan wawasan dalam kode Anda.

Panel bawah juga menyesuaikan, berdasarkan tab saat ini. Melihat informasi alur di panel bawah selalu tersedia. File terkait non-alur, seperti file editor SQL, juga menampilkan outputnya di panel bawah di tab terpisah. Gambar berikut ini memperlihatkan pemilih tab vertikal untuk mengalihkan panel bawah antara menampilkan informasi alur atau informasi untuk buku catatan yang dipilih.

Jalankan kode alur

Anda memiliki empat opsi untuk menjalankan kode alur Anda:

1. Menjalankan semua file kode sumber dalam alur

   Klik Jalankan alur atau Jalankan alur dengan refresh tabel penuh untuk menjalankan semua definisi tabel di semua file yang didefinisikan sebagai kode sumber alur. Untuk detail tentang jenis refresh, lihat Semantik refresh pipeline.

   

   Anda juga dapat mengklik Eksekusi kering untuk memvalidasi alur tanpa memperbarui data apa pun.

2. Menjalankan kode dalam satu file

   Klik Jalankan file atau Jalankan file dengan refresh tabel lengkap untuk menjalankan semua definisi tabel dalam file saat ini. File lain dalam proses tidak dievaluasi.

   Jalankan file

   Opsi ini berguna untuk debugging saat mengedit dan melakukan iterasi pada berkas dengan cepat. Ada efek samping ketika hanya menjalankan kode dalam satu file.

   • Ketika file lain tidak dievaluasi, kesalahan dalam file tersebut tidak ditemukan.
   • Tabel yang diwujudkan dalam file lain menggunakan materialisasi terbaru tabel, bahkan jika ada data sumber yang lebih baru.
   • Anda dapat mengalami kesalahan jika tabel yang dirujuk belum terwujud.
   • Grafik pipeline mungkin salah atau tidak tersambung untuk tabel di file lain yang belum dimaterialisasi. Azure Databricks melakukan upaya terbaik untuk menjaga grafik tetap benar, tetapi tidak mengevaluasi file lain untuk melakukannya.

   Setelah Anda selesai men-debug dan mengedit file, Databricks merekomendasikan untuk menjalankan semua file kode sumber dalam alur untuk memverifikasi bahwa alur berfungsi end-to-end sebelum menempatkan alur dalam produksi.

3. Menjalankan kode untuk satu tabel

   Di samping definisi tabel dalam file kode sumber, klik ikon Jalankan tabel lalu pilih Refresh tabel atau Tabel refresh penuh dari menu drop-down. Menjalankan kode untuk satu tabel memiliki efek samping yang sama seperti menjalankan kode dalam satu file.

   

   Nota

   Menjalankan kode untuk sebuah tabel dapat dilakukan pada tabel streaming dan tampilan materialisasi. Sink dan tampilan tidak didukung.

4. Menjalankan kode untuk sekumpulan tabel

   Anda dapat memilih tabel dari grafik alur untuk membuat daftar tabel yang akan dijalankan. Arahkan mouse ke atas tabel dalam grafik alur, klik , dan pilih Pilih tabel untuk refresh. Setelah Anda memilih tabel untuk di-refresh, pilih opsi Jalankan atau Jalankan dengan refresh penuh dari bagian bawah grafik alur.

   

5. Jalankan kode yang dipilih

   Sorot kode SQL dan klik Jalankan kode yang dipilih untuk meninjau output dengan cepat tanpa mematerialisasi data. Output ditampilkan di tab Hasil Kueri di panel bawah.

Grafik alur

Setelah Anda menjalankan atau memvalidasi semua file kode sumber dalam alur, Anda melihat grafik alur, juga disebut grafik siklik terarah (DAG). Grafik memperlihatkan grafik dependensi tabel. Setiap simpul memiliki status yang berbeda di sepanjang siklus hidup alur, seperti divalidasi, berjalan, atau kesalahan.

1. Grafik alur: Buka grafik dengan mengklik tab Grafik alur di panel bawah.
2. Simpul: Menampilkan dependensi tabel yang merupakan bagian dari alur Anda serta metrik apa pun yang berkaitan dengannya. Simpul yang merupakan bagian dari file yang saat ini terbuka disorot dalam grafik alur. Mengarahkan mouse ke atas simpul akan menampilkan toolbar dengan opsi, termasuk memperbarui kueri. Mengklik kanan simpul memberi Anda opsi yang sama di menu konteks. Mengklik simpul memperlihatkan pratinjau data dan definisi tabel. Saat Anda mengedit file, tabel yang ditentukan dalam file tersebut disorot dalam grafik.
3. Buka di tab: Untuk memaksimalkan grafik, pilih ikon di kanan atas panel bawah untuk membukanya di tab terpisah.
4. Opsi lainnya: Opsi tambahan ada di kanan bawah, termasuk opsi zoom dan Opsi lainnya untuk menampilkan grafik dalam tata letak vertikal atau horizontal.

Pratinjau data

Bagian pratinjau data memperlihatkan data sampel untuk tabel yang dipilih.

Anda akan melihat pratinjau data tabel saat mengklik simpul di grafik pipeline. Untuk menavigasi ke pratinjau data tabel lain langsung di panel bawah, pilih Kembali ke grafik atau klik simpul yang berbeda jika Anda membuka grafik alur di tab terpisah.

Atau, buka bagian Tabel dan klik Lihat pratinjau data. Jika Anda telah memilih tabel, klik Semua tabel untuk kembali ke semua tabel.

Saat mempratinjau data tabel, Anda bisa memfilter atau mengurutkan data di tempat. Jika Anda ingin melakukan analisis yang lebih kompleks, Anda bisa menggunakan atau membuat buku catatan di folder Eksplorasi (dengan asumsi Anda menyimpan struktur folder default). Secara default, kode sumber dalam folder ini tidak dijalankan selama pembaruan alur, sehingga Anda dapat membuat kueri tanpa memengaruhi output alur.

Wawasan eksekusi

Anda dapat melihat wawasan eksekusi dari tabel tentang pembaruan alur terbaru di panel-panel yang terdapat di bagian bawah editor.

Panel	Description
Tables	Mencantumkan semua tabel dengan status dan metriknya. Jika Anda memilih satu tabel, Anda akan melihat metrik dan performa untuk tabel tersebut dan tab untuk pratinjau data. Untuk tampilan materialisasi, kolom Incrementalization menunjukkan bagaimana tabel telah atau akan diperbarui dan menampilkan wawasan incrementalisasi. Lihat Wawasan inkrementalisasi.
Performance	Riwayat dan profil kueri untuk semua aliran dalam pipa alur kerja ini. Anda dapat mengakses metrik eksekusi dan rencana kueri terperinci selama dan setelah eksekusi. Lihat Mengakses riwayat kueri untuk alur untuk informasi selengkapnya.
Panel masalah	Klik panel tersebut untuk melihat tampilan kesalahan, peringatan, dan analisis yang lebih sederhana untuk pipeline. Klik entri untuk melihat detail selengkapnya, lalu navigasikan ke tempat dalam kode tempat kesalahan terjadi. Jika kesalahan ada dalam file selain yang saat ini ditampilkan, ini akan mengarahkan Anda ke file tempat kesalahan berada. Klik Tampilkan detail untuk melihat entri log peristiwa terkait untuk detail lengkapnya. Klik Tampilkan log untuk melihat log kejadian lengkap. Klik Diagnosis error untuk mendiagnosis masalah pada Genie Code. Indikator kesalahan yang memiliki kode ditampilkan untuk kesalahan yang terkait dengan bagian tertentu dari kode. Untuk mendapatkan detail selengkapnya, klik ikon kesalahan atau arahkan mouse ke atas garis merah. Pop-up dengan informasi selengkapnya muncul. Anda kemudian dapat mengklik Perbaikan cepat untuk mengungkapkan serangkaian tindakan untuk memecahkan masalah kesalahan.
Catatan peristiwa	Semua peristiwa yang dipicu selama jalannya jalur pemrosesan terakhir. Klik Tampilkan log atau entri apa pun di kotak masalah.

Konfigurasi pipeline

Anda dapat mengonfigurasi alur dari editor alur. Anda dapat membuat perubahan pada pengaturan alur, jadwal, atau izin.

Masing-masing dapat diakses dari tombol di header editor, atau dari ikon di browser aset (bilah sisi kiri).

• Pengaturan (atau pilih di browser aset):

  Anda dapat mengedit pengaturan untuk alur dari panel pengaturan, termasuk informasi umum, folder akar dan konfigurasi kode sumber, konfigurasi komputasi, pemberitahuan, pengaturan tingkat lanjut, dan banyak lagi.

• Jadwalkan (atau pilih di browser aset):

  Anda dapat membuat satu atau beberapa jadwal untuk alur Anda dari dialog jadwal. Misalnya, jika Anda ingin menjalankannya setiap hari, Anda dapat mengaturnya di sini. Ini membuat pekerjaan untuk menjalankan alur pada jadwal yang Anda pilih. Anda dapat menambahkan jadwal baru atau menghapus jadwal yang sudah ada dari dialog jadwal.

• Bagikan (atau, dari menu di browser aset, pilih ):

  Anda dapat mengelola izin pada pipeline untuk pengguna dan grup dari dialog izin pipeline.

Log Peristiwa

Anda dapat menerbitkan log acara untuk alur kerja ke Katalog Unity. Secara bawaan, log peristiwa untuk alur Anda ditampilkan di UI dan dapat diakses untuk dikuieri oleh pemilik.

1. Buka Pengaturan.
2. Klik panah di samping Pengaturan tingkat lanjut.
3. Klik Sunting pengaturan lanjutan.
4. Di bawah Log peristiwa, klik Terbitkan ke katalog.
5. Berikan nama, katalog, dan skema untuk log peristiwa.
6. Kliklah Simpan.

Peristiwa alur Anda diterbitkan ke tabel yang Anda tentukan.

Untuk mempelajari selengkapnya tentang menggunakan log peristiwa alur, lihat Mengkueri log peristiwa.

Lingkungan alur

Anda dapat membuat lingkungan untuk kode sumber Anda dengan menambahkan dependensi di Pengaturan.

1. Buka Pengaturan.
2. Pada Lingkungan pipeline, klik Edit lingkungan.
3. Klik Tambahkan dependensi untuk menambahkan dependensi, seolah-olah Anda menambahkannya ke requirements.txt file. Untuk informasi selengkapnya tentang dependensi, lihat Menambahkan dependensi ke buku catatan.

Databricks merekomendasikan agar Anda menyematkan versi dengan ==. Lihat paket PyPI.

Lingkungannya berlaku untuk semua file kode sumber di pipeline Anda.

Pemberitahuan

Anda dapat menambahkan pemberitahuan menggunakan pengaturan Alur.

1. Buka Pengaturan.
2. Di bagian Pemberitahuan , klik Tambahkan pemberitahuan.
3. Tambahkan satu atau beberapa alamat email dan peristiwa yang Anda inginkan untuk dikirim.
4. Klik Tambahkan pemberitahuan.

Nota

Buat respons kustom terhadap peristiwa, termasuk pemberitahuan atau penanganan kustom, dengan menggunakan kait peristiwa Python.

Memantau alur

Azure Databricks juga menyediakan fitur untuk memantau alur yang sedang berjalan. Editor menunjukkan hasil dan analisis eksekusi dari jalankan terbaru. Ini dioptimalkan untuk membantu Anda melakukan iterasi secara efisien saat Anda mengembangkan alur Anda secara interaktif.

Halaman pemantauan pipeline memungkinkan Anda melihat riwayat eksekusi, yang berguna saat pipeline berjalan sesuai jadwal menggunakan Job.

Nota

Ada pengalaman pemantauan default, dan pengalaman pemantauan pratinjau yang diperbarui. Bagian berikut menjelaskan cara mengaktifkan atau menonaktifkan pengalaman pemantauan pratinjau. Untuk informasi tentang kedua pengalaman, lihat Memantau alur di UI.

Pengalaman pemantauan dapat diakses dari tombol Pekerjaan & Pipelines di sisi kiri ruang kerja Anda. Anda juga dapat langsung menuju halaman pemantauan dari editor dengan mengeklik hasil eksekusi di browser aset pipeline.

Untuk informasi selengkapnya tentang halaman pemantauan, lihat Memantau alur di UI. Antarmuka pengguna pemantauan mencakup kemampuan untuk kembali ke Editor Alur Lakeflow dengan memilih Edit alur dari header UI.

Kode Genie untuk pengembangan alur

Penting

Fitur ini ada di Pratinjau Umum.

Editor Alur Lakeflow terintegrasi dengan Kode Genie, yang dapat menghasilkan, memodifikasi, dan men-debug seluruh alur langsung dari bahasa alami. Untuk informasi selengkapnya, lihat Menggunakan Kode Genie untuk pengembangan alur.

Batasan dan masalah yang diketahui

Lihat batasan berikut dan masalah yang diketahui untuk editor alur ETL:

1. Bilah samping browser ruang kerja tidak berfokus pada alur jika Anda mulai dengan membuka file di explorations folder atau buku catatan, karena file atau buku catatan ini bukan bagian dari definisi kode sumber alur.

   Untuk memasuki mode fokus alur di browser ruang kerja, buka file yang terkait dengan alur.

2. Pratinjau data tidak didukung untuk tampilan reguler.

3. Modul-modul Python tidak ditemukan dari dalam UDF, meskipun mereka berada di direktori root Anda atau berada di sys.path. Anda dapat mengakses modul ini dengan menambahkan jalur ke sys.path dari dalam UDF, misalnya: sys.path.append(os.path.abspath(“/Workspace/Users/path/to/modules”))

4. %pip install tidak didukung dari file (jenis aset default dengan editor baru). Anda dapat menambahkan dependensi dalam pengaturan. Lihat Lingkungan Pipeline.

   Secara bergantian, Anda dapat terus menggunakan %pip install dari buku catatan yang terkait dengan alur, dalam definisi kode sumbernya.

FAQ

1. Mengapa menggunakan file dan bukan buku catatan untuk kode sumber?

   Eksekusi notebook berbasis sel tidak kompatibel dengan alur. Fitur standar notebook dinonaktifkan atau diubah saat bekerja dengan pipeline, yang menyebabkan kebingungan bagi pengguna yang terbiasa dengan perilaku notebook.

   Di Editor Pipeline Lakeflow, editor file digunakan sebagai fondasi untuk editor unggulan untuk pipeline. Fitur ditargetkan secara eksplisit ke alur, seperti Jalankan tabel, daripada membebani fitur yang sudah dikenal dengan perilaku yang berbeda.

2. Masih bisakah saya menggunakan buku catatan sebagai kode sumber?

   Ya, Anda bisa. Namun, beberapa fitur, seperti Jalankan tabel atau Jalankan file, tidak ada.

   Jika Anda memiliki alur yang sudah ada menggunakan notebook, alur tersebut masih berfungsi di editor baru. Namun, Databricks merekomendasikan untuk beralih menggunakan file untuk alur baru.

3. Bagaimana cara menambahkan kode yang sudah ada ke Alur yang baru dibuat?

   Anda dapat menambahkan file kode sumber yang ada ke alur baru. Untuk menambahkan folder dengan file yang sudah ada, ikuti langkah-langkah berikut:

   1. Klik Pengaturan.
   2. Di bawah Kode sumber klik Konfigurasikan jalur.
   3. Klik Tambahkan jalur dan pilih folder untuk file yang ada.
   4. Kliklah Simpan.

   Anda juga dapat menambahkan file individual:

   1. Klik Semua file di browser aset pipeline.
   2. Navigasi ke file Anda, klik , dan klik Sertakan dalam alur.

   Pertimbangkan untuk memindahkan file ini ke folder akar alur. Jika dibiarkan di luar folder akar alur, folder tersebut ditampilkan di bagian File eksternal .

4. Dapatkah saya mengelola kode sumber Alur di Git?

   Anda dapat mengelola sumber alur di Git dengan memilih folder Git saat Anda awalnya membuat alur.

   Nota

   Mengelola sumber Anda di folder Git menambahkan kontrol versi untuk kode sumber Anda. Namun, untuk mengontrol konfigurasi Anda secara versi, Databricks merekomendasikan penggunaan Bundel Otomatisasi Deklaratif untuk menentukan konfigurasi alur dalam file konfigurasi bundel yang dapat disimpan di Git (atau sistem kontrol versi lainnya). Untuk informasi selengkapnya, lihat Apa itu Bundel Otomatisasi Deklaratif?.

   Jika Anda tidak membuat alur di folder Git pada awalnya, Anda dapat memindahkan sumber Anda ke folder Git. Databricks merekomendasikan penggunaan tindakan editor untuk memindahkan seluruh folder akar ke folder Git. Ini memperbarui semua pengaturan yang sesuai. Lihat Folder root.

   Untuk memindahkan folder utama ke dalam folder Git di browser aset alur kerja:

   1. Klik untuk membuka folder akar.
   2. Klik Pindahkan folder akar.
   3. Pilih lokasi baru untuk folder akar Anda dan klik Pindahkan.

   Lihat bagian Folder akar untuk informasi selengkapnya.

   Setelah pemindahan, Anda akan melihat ikon Git yang akrab di samping nama folder akar Anda.

   Penting

   Untuk memindahkan folder root pipeline, gunakan browser aset pipeline dan langkah-langkah di atas. Memindahkannya dengan cara lain merusak konfigurasi alur, dan Anda harus mengonfigurasi jalur folder yang benar secara manual di Pengaturan.

5. Dapatkah saya memiliki beberapa Alur di folder akar yang sama?

   Anda dapat melakukannya, tetapi Databricks merekomendasikan untuk hanya memiliki satu Alur per folder utama.

6. Kapan saya harus menjalankan dry run?

   Klik Eksekusi kering untuk memeriksa kode Anda tanpa memperbarui tabel.

7. Kapan saya harus menggunakan Tampilan sementara, dan kapan saya harus menggunakan tampilan materialisasi dalam kode saya?

   Gunakan tampilan sementara saat Anda tidak ingin mematerialkan data. Misalnya, ini adalah langkah dalam urutan langkah-langkah untuk menyiapkan data sebelum siap untuk terwujud menggunakan tabel streaming atau tampilan materialisasi yang terdaftar di Katalog.