Menambahkan parameter ke komponen pabrik data

  • 7 menit

Parameterisasi layanan tertaut di Azure Data Factory

Dalam Azure Data Factory, Layanan tertaut dapat diparameterisasi, di mana Anda dapat melewati nilai dinamis selama waktu eksekusi. Kasus penggunaan untuk skenario ini adalah terhubung ke beberapa database yang berada di server SQL yang sama, di mana Anda mungkin ingin melakukan parameterisasi nama database dalam penentuan layanan tertaut. Manfaat upaya ini adalah Anda tidak perlu membuat satu layanan tertaut untuk setiap database yang berada di SQL Server yang sama.

Parameterisasi properti layanan tertaut lainnya seperti nama pengguna dapat dilakukan.

Jika Anda memutuskan untuk melakukan parameterisasi layanan tertaut di Azure Data Factory, Anda dapat melakukannya di antarmuka pengguna Azure Data Factory, portal Azure, atau antarmuka pemrograman sesuai keinginan Anda.

Jika Anda memilih untuk membuat layanan tertaut melalui antarmuka pengguna, Data Factory dapat memberi Anda parameterisasi bawaan untuk beberapa konektor:

  • Amazon Redshift
  • Azure Cosmos DB (SQL API)
  • Azure Database untuk MySQL
  • Database Azure SQL
  • Azure Synapse Analytics (sebelumnya SQL DW)
  • MySQL
  • Oracle
  • SQL Server
  • HTTP Generik
  • REST Umum

Jika bilah pembuatan/edit layanan tertaut dibuka, Anda akan menemukan opsi untuk parameterisasi.

Pengaturan parameter di Layanan Tertaut

Jika Anda tidak dapat menggunakan parameterisasi bawaan karena Anda menggunakan jenis konektor yang berbeda, Anda dapat mengedit JSON melalui antarmuka pengguna.

Di panel pembuatan/edit layanan tertaut, perluas Tingkat Lanjut di bagian bawah panel, pilih kotak centang Tentukan konten dinamis dalam format JSON, dan tentukan payload JSON layanan tertaut.

Pengaturan parameter mengedit JSON melalui UI

Atau, setelah Anda membuat layanan tertaut tanpa parameterisasi, di hub Pengelolaan, pilih Layanan tertaut, lalu cari layanan tertaut tertentu. Kemudian, pilih {} (Tombol kode) untuk mengedit JSON.

Parameter global di Azure Data Factory

Mengatur parameter global dalam alur Azure Data Factory memungkinkan Anda menggunakan konstanta ini untuk dikonsumsi dalam ekspresi alur. Kasus penggunaan untuk mengatur parameter global adalah ketika Anda memiliki beberapa alur ketika nama dan nilainya parameter identik.

Jika Anda menggunakan integrasi berkelanjutan dan proses penyebaran berkelanjutan (CI/CD) dengan Azure Data Factory, parameter global dapat diganti, jika diinginkan, untuk setiap lingkungan yang telah Anda buat.

Membuat parameter global di Azure Data Factory

Untuk membuat parameter global, buka tab Parameter global di bagian Kelola. Pilih Baru untuk membuka panel menu sisi pembuatan.

Di panel menu samping, masukkan nama, pilih jenis data, dan tentukan nilai parameter Anda.

Setelah parameter global dibuat, Anda dapat mengeditnya dengan memilih nama parameter. Untuk mengubah beberapa parameter secara bersamaan, pilih Edit semua.

Parameter global dalam penyiapan Azure Data Factory

Menggunakan parameter global dalam alur

Saat menggunakan parameter global dalam alur di Azure Data Factory, sebagian besar dirujuk dalam ekspresi alur. Misalnya, jika alur mereferensikan ke sumber daya seperti himpunan data atau aliran data, Anda dapat menurunkan nilai parameter global melalui parameter sumber daya. Perintah atau referensi parameter global di Azure Data Factory mengalir sebagai berikut: pipeline().globalParameters.<parameterName>.

Parameter global dalam CI/CD

Saat Anda mengintegrasikan parameter global dalam alur menggunakan CI/CD dengan Azure Data Factory, Anda memiliki dua cara untuk melakukannya:

  • Menyertakan parameter global dalam templat Azure Resource Manager
  • Menyebarkan parameter global melalui skrip PowerShell

Di sebagian besar praktik CI/CD, sebaiknya sertakan parameter global dalam template Azure Resource Manager. Tindakan ini direkomendasikan karena integrasi native-nya dengan CI/CD, di mana parameter global ditambahkan sebagai parameter Template Azure Resource Manager. Hal ini disebabkan oleh perubahan di beberapa lingkungan yang dikerjakan.

Untuk mengaktifkan parameter global dalam template Azure Resource Manager, buka hub Pengelolaan. Perlu diketahui bahwa setelah Anda menambahkan parameter global ke template Azure Resource Manager, upaya ini akan menambahkan pengaturan tingkat Azure Data Factory, yang dapat mengganti pengaturan lain seperti konfigurasi git.

Kasus penggunaan untuk menyebarkan parameter global melalui skrip PowerShell bisa jadi karena Anda mungkin telah mengaktifkan pengaturan yang dijelaskan sebelumnya di lingkungan yang ditinggikan seperti UAT atau PROD.

Membuat parameter aliran data pemetaan

Dalam Azure Data Factory, Anda dapat menggunakan aliran data pemetaan, yang memungkinkan Anda menggunakan parameter. Jika Anda mengatur parameter dalam definisi aliran data, Anda dapat menggunakan parameter dalam ekspresi. Nilai parameter akan diatur dengan memanggil alur melalui aktivitas Menjalankan Aliran Data.

Anda memiliki tiga opsi untuk mengatur nilai dalam ekspresi aktivitas aliran data:

  • Gunakan bahasa ekspresi alur kontrol alur untuk mengatur nilai dinamis.
  • Gunakan bahasa ekspresi aliran data untuk mengatur nilai dinamis.
  • Gunakan salah satu bahasa ekspresi untuk mengatur nilai literal statik.

Alasan parameterisasi aliran data pemetaan adalah untuk memastikan bahwa aliran data Anda disamaratakan, fleksibel, dan dapat digunakan kembali.

Membuat parameter dalam aliran data

Untuk menambahkan parameter ke aliran data Anda, pilih bagian kosong dari kanvas aliran data untuk melihat properti umum.

Di panel Pengaturan, Anda akan melihat tab Parameter.

Pilih Baru untuk membuat parameter baru. Untuk setiap parameter, Anda harus menetapkan nama, memilih jenis, dan secara opsional menetapkan nilai default.

Parameter Global dalam Aliran Data di Pengaturan Azure Data Factory

Menetapkan parameter dari alur dalam aliran data pemetaan

Jika Anda telah membuat aliran data tempat Anda telah mengatur parameter, Anda dapat mengeksekusinya dari alur menggunakan Jalankan Aktivitas Aliran Data.

Setelah menambahkan aktivitas ke kanvas alur, Anda akan menemukan parameter aliran data di tab Parameter aktivitas.

Penetapan nilai parameter akan memastikan bahwa Anda dapat menggunakan parameter dalam bahasa ekspresi alur atau bahasa ekspresi aliran data berdasarkan jenis spark. Anda juga dapat menggabungkan keduanya, yakni parameter ekspresi aliran data dan alur.