File apa yang dapat saya referensikan dalam skrip init?

Dukungan untuk mereferensikan file lain dalam skrip init bergantung pada tempat file yang dirujuk disimpan. Artikel ini menguraikan perilaku ini dan memberikan rekomendasi.

Databricks merekomendasikan untuk mengelola semua skrip init sebagai skrip init yang terlingkup kluster.

Identitas apa yang digunakan untuk menjalankan skrip init?

Dalam mode akses pengguna tunggal, identitas prinsipal yang ditetapkan (pengguna atau prinsipal layanan) digunakan.

Dalam mode akses bersama atau mode akses bersama tanpa isolasi, skrip init menggunakan identitas pemilik kluster.

Tidak semua lokasi untuk menyimpan skrip init didukung pada semua versi Runtime Databricks dan mode akses. Lihat Di mana skrip init bisa diinstal?.

Dapatkah saya mengacu pada file dalam volume Katalog Unity dari skrip inisialisasi?

Anda dapat merujuk pustaka dan skrip init yang disimpan dalam volume Katalog Unity melalui skrip init lainnya yang juga tersimpan dalam volume tersebut.

Penting

Kredensial yang diperlukan untuk mengakses file lain yang disimpan dalam volume Katalog Unity hanya tersedia dalam skrip init yang disimpan dalam volume Katalog Unity. Anda tidak dapat mereferensikan file apa pun dalam volume Katalog Unity dari skrip init yang dikonfigurasi dari lokasi lain.

Untuk kluster dengan mode akses bersama, hanya skrip init yang dikonfigurasi yang perlu ditambahkan ke daftar yang diizinkan. Akses ke file lain yang direferensikan dalam skrip init diatur oleh Katalog Unity.

Bisakah saya mereferensikan file ruang kerja dari skrip init?

Di Databricks Runtime 11.3 LTS ke atas, Anda dapat mereferensikan file ruang kerja lain seperti pustaka, file konfigurasi, atau skrip shell dari skrip init yang disimpan dengan file ruang kerja.

Dapatkah saya mereferensikan file di penyimpanan objek cloud dari skrip init?

Anda dapat mendapatkan referensi pustaka dan skrip inisialisasi yang disimpan di penyimpanan objek cloud dari skrip inisialisasi.

Untuk kluster dengan mode akses bersama, hanya skrip init yang dikonfigurasi yang perlu ditambahkan ke daftar yang diizinkan. Akses ke file lain yang dirujuk dalam skrip init ditentukan oleh akses yang dikonfigurasi ke penyimpanan objek cloud.

Databricks merekomendasikan penggunaan perwakilan layanan ID Microsoft Entra untuk mengelola akses ke pustaka dan skrip init yang disimpan di Azure Data Lake Storage Gen2. Gunakan dokumentasi tertaut berikut untuk menyelesaikan penyiapan ini:

1. Buat perwakilan layanan dengan izin baca dan izin daftar pada blob yang Anda inginkan. Lihat Mengakses penyimpanan menggunakan perwakilan layanan & ID Microsoft Entra(Azure Active Directory).

2. Simpan kredensial Anda menggunakan rahasia. Lihat Mengelola Rahasia.

3. Atur properti dalam konfigurasi Spark dan variabel lingkungan saat membuat kluster, seperti dalam contoh berikut:

   Konfigurasi Spark:

   spark.hadoop.fs.azure.account.auth.type.<storage-account>.dfs.core.windows.net OAuth
   spark.hadoop.fs.azure.account.oauth.provider.type.<storage-account>.dfs.core.windows.net org.apache.hadoop.fs.azurebfs.oauth2.ClientCredsTokenProvider
   spark.hadoop.fs.azure.account.oauth2.client.id.<storage-account>.dfs.core.windows.net <application-id>
   spark.hadoop.fs.azure.account.oauth2.client.secret.<storage-account>.dfs.core.windows.net {{secrets/<secret-scope>/<service-credential-key>}}
   spark.hadoop.fs.azure.account.oauth2.client.endpoint.<storage-account>.dfs.core.windows.net https://login.microsoftonline.com/<tenant-id>/oauth2/token
   

   Variabel lingkungan:

   SERVICE_CREDENTIAL={{secrets/<secret-scope>/<service-credential-key>}}
   

4. (Opsional) Memfaktorkan ulang skrip inisialisasi menggunakan azcopy atau Azure CLI.

   Anda dapat mereferensikan variabel lingkungan yang ditetapkan selama konfigurasi kluster dalam skrip init Anda untuk meneruskan kredensial yang disimpan sebagai rahasia untuk validasi.