Mengatur dan menggunakan variabel lingkungan dengan skrip init
Skrip init memiliki akses ke semua variabel lingkungan yang ada pada kluster. Azure Databricks menetapkan banyak variabel default yang dapat berguna dalam logika skrip init.
Variabel lingkungan yang diatur dalam konfigurasi Spark tersedia untuk skrip init. Lihat Variabel lingkungan.
Skrip init lingkup kluster dan global mendukung variabel lingkungan berikut:
DB_CLUSTER_ID
: ID kluster tempat skrip berjalan. Lihat API Kluster.DB_CONTAINER_IP
: alamat IP pribadi dari kontainer tempat Spark berjalan. Skrip init dijalankan di dalam kontainer ini. Lihat API Kluster.DB_IS_DRIVER
: apakah skrip berjalan pada node driver.DB_DRIVER_IP
Alamat IP node driver.DB_INSTANCE_TYPE
: jenis instans VM host.DB_CLUSTER_NAME
: nama kluster yang dijalankan skrip.DB_IS_JOB_CLUSTER
: apakah kluster dibuat untuk menjalankan pekerjaan. Lihat Mengonfigurasi komputasi untuk pekerjaan.
Misalnya, jika Anda ingin menjalankan bagian skrip hanya pada node driver, Anda dapat menulis skrip seperti:
echo $DB_IS_DRIVER
if [[ $DB_IS_DRIVER = "TRUE" ]]; then
<run this part only on driver>
else
<run this part only on workers>
fi
<run this part on both driver and workers>
Anda dapat menggunakan nama variabel yang valid saat mereferensikan rahasia. Akses ke rahasia yang direferensikan dalam variabel lingkungan ditentukan oleh izin pengguna yang mengonfigurasi kluster. Rahasia yang disimpan dalam variabel lingkungan dapat diakses oleh semua pengguna kluster, tetapi diredaksi dari tampilan teks biasa.
Lihat Menggunakan rahasia dalam properti konfigurasi Spark atau variabel lingkungan.