Gunakan parameter di Lakeflow Designer

Parameter adalah nilai bernama yang didefinisikan untuk persiapan data visual secara keseluruhan. Anda dapat merujuk parameter dalam kode operator SQL dan Python, di bidang konfigurasi operator yang didukung, serta dalam ekspresi yang mengaktifkan atau menonaktifkan operator. Parameter memungkinkan Anda menjalankan persiapan data visual yang sama terhadap lingkungan yang berbeda, misalnya, katalog uji saat pengembangan dan katalog produksi saat produksi.

Tentukan parameter

Untuk mengelola parameter, pilih Parameter di panel kiri. Setiap parameter memiliki nilai yang Anda tetapkan saat Menentukannya. Ketika persiapan data visual berjalan sesuai jadwal atau sebagai job, Anda dapat menimpa nilai tersebut. Lihat Mengganti nilai parameter di produksi.

Panel tersebut mencantumkan operator yang menggunakan setiap parameter. Pilih nama operator untuk memfokuskannya di kanvas.

Mereferensikan parameter dari operator

Bagaimana Anda mereferensikan sebuah parameter tergantung pada tempat Anda menggunakannya:

  • Operator SQL: Gunakan sintaks penanda parameter bernama, seperti :environment. Lihat Gunakan penanda parameter bernama.
  • operator Python: Panggil dbutils.widgets.get(), seperti dbutils.widgets.get("environment"). Lihat Alat Widget (dbutils.widgets).
  • Bidang konfigurasi operator yang didukung: Di panel konfigurasi operator, pilih Parameter di pojok kanan atas. Pilih sebuah bidang dan masukkan ekspresi seperti :source_table. Bidang yang didukung meliputi:
    • Sumber: Tabel, Jalur file, dan format file.
    • Output: Katalog, Skema, Tabel, Tampilan, Volume, Nama file, dan Mode tulis.
    • Batas: Batas.
    • Gabungkan: Atur operasi, Gabungkan strategi, Gabungkan berdasarkan nama, dan Izinkan kolom yang hilang.

Saat Anda membuka operator SQL atau Python untuk pengeditan, Lakeflow Designer menunjukkan contoh cara mereferensikan parameter yang tersedia di atas editor sumber.

Gabungkan parameter dengan teks tetap

Dalam ekspresi parameter untuk operator Sumber atau Output, gunakan :parameter_name untuk mengganti seluruh nilai. Untuk menggabungkan parameter dengan teks tetap, apit teks tersebut dengan tanda kutip tunggal dan gunakan ||. Sebagai contoh, ekspresi Tabel Sumber berikut membangun nama tabel yang sepenuhnya terkualifikasi:

:catalog || '.' || :schema || '.' || :table

Aktifkan atau nonaktifkan operator dengan parameter

Anda dapat menggunakan parameter untuk mengaktifkan atau menonaktifkan operator yang dikonfigurasi. Di panel Parameter , pilih Dinonaktifkan dan masukkan ekspresi Boolean. Misalnya, :skip_operator menonaktifkan operator ketika parameternya adalah true. Operator yang dinonaktifkan tidak menghasilkan baris output.

Untuk mengaktifkan atau menonaktifkan operator secara manual sebagai gantinya, lihat Ganti nama, salin, hapus, dan nonaktifkan operator.

Timpa nilai parameter di produksi

Saat runtime, Visual Data Prep membaca parameternya dengan cara yang sama, baik secara interaktif maupun sebagai job, sehingga file yang sama dapat digunakan di semua lingkungan Anda tanpa perubahan. Sediakan nilai berbeda untuk setiap lingkungan sebagai berikut:

  • Saat Anda menjadwalkan pekerjaan di UI: Ambil alih nilai parameter untuk setiap jadwal. Misalnya, jadwalkan persiapan data visual yang sama untuk berjalan setiap hari pada siang hari dengan environment parameter diatur ke test, dan lagi pada pukul 2 siang dengan environment pengaturan ke production. Lihat Jadwalkan sebagai tugas.
  • Saat Anda menyebarkan dengan bundel: Atur nilai parameter melalui pekerjaan parameters, dan gunakan target bundel untuk menyediakan nilai yang berbeda per lingkungan. Target pengembangan dan produksi untuk bundle memungkinkan Anda menyebarkan job yang sama ke lingkungan yang terpisah dengan pengaturan khusus untuk tiap lingkungan. Lihat Mode penyebaran Bundel Otomatisasi Deklaratif dan konfigurasi Bundel Otomatisasi Deklaratif.

Sumber daya tambahan

  • Terakhir diperbarui pada