Pengelogan skrip init

Peristiwa mulai dan selesai skrip init dicatat dalam log peristiwa klaster. Detailnya diambil di log kluster. Peristiwa pembuatan, pengeditan, dan penghapusan skrip inisialisasi global juga dicatat dalam log diagnostik level akun.

Kejadian skrip inisialisasi

Log peristiwa kluster menangkap dua peristiwa skrip init: INIT_SCRIPTS_STARTED dan INIT_SCRIPTS_FINISHED, menunjukkan skrip mana yang dijadwalkan untuk eksekusi dan yang telah berhasil diselesaikan. INIT_SCRIPTS_FINISHED juga mencatat durasi eksekusi.

Dalam detail peristiwa log, skrip init global ditandai dengan kunci "global", dan skrip init dengan cakupan kluster ditandai dengan kunci "cluster".

Catatan

Log peristiwa kluster tidak mencatat peristiwa skrip init untuk setiap simpul kluster; hanya satu node yang dipilih untuk mewakili semuanya.

Di mana log skrip init ditulis?

Jika pengiriman log kluster diaktifkan untuk kluster, log skrip inisialisasi ditulis ke /<cluster-log-path>/<cluster-id>/init_scripts.

Log untuk setiap kontainer dalam kluster ditulis ke subdirektori yang disebut init_scripts/<cluster-id>_<container-ip>.

Misalnya, jika jalur log diatur ke volume /Volumes/<catalog>/<schema>/<volume>Unity Catalog , jalur ke log untuk kontainer tertentu adalah: /Volumes/<catalog>/<schema>/<volume>/<cluster-id>/init_scripts/<cluster-id>_<container-ip>.

Anda dapat melihat log menggunakan utilitas sistem file (dbutils.fs) atau fs grup perintah. Misalnya, untuk mencantumkan log klaster 1001-234039-abcde739 yang dikirim ke volume /Volumes/<catalog>/<schema>/<volume>:

databricks fs ls dbfs:/Volumes/<catalog>/<schema>/<volume>/1001-234039-abcde739/init_scripts

1001-234039-abcde739_10_97_225_166
1001-234039-abcde739_10_97_231_88
1001-234039-abcde739_10_97_244_199

databricks fs ls dbfs:/Volumes/<catalog>/<schema>/<volume>/1001-234039-abcde739/init_scripts/1001-234039-abcde739_10_97_225_166

<timestamp>_<log-id>_<init-script-name>.sh.stderr.log
<timestamp>_<log-id>_<init-script-name>.sh.stdout.log

Ketika pengiriman log kluster tidak dikonfigurasi, log ditulis ke /databricks/init_scripts. Anda dapat menggunakan perintah shell standar di buku catatan untuk mencantumkan dan melihat log:

%sh
ls /databricks/init_scripts/
cat /databricks/init_scripts/<timestamp>_<log-id>_<init-script-name>.sh.stdout.log

Setiap kali kluster diluncurkan, ia menulis log ke folder log skrip init.

Penting

Setiap pengguna yang membuat kluster dan memungkinkan pengiriman log kluster dapat melihat stderr dan stdout output dari skrip init global. Anda harus memastikan bahwa skrip init global Anda tidak menghasilkan informasi sensitif apa pun.

Peristiwa skrip init dalam log diagnostik

Log diagnostik Azure Databricks mencatat peristiwa pembuatan, pengeditan, dan penghapusan skrip init global di bawah jenis peristiwa globalInitScripts. Lihat kejadian skrip init global.