Pengelogan skrip init

Peristiwa mulai dan selesai skrip Init ditangkap dalam log peristiwa kluster. Detailnya diambil di log kluster. Skrip init global membuat, mengedit, dan menghapus peristiwa juga diambil di log diagnostik tingkat akun.

Peristiwa skrip Init

Log peristiwa kluster menangkap dua peristiwa skrip init: INIT_SCRIPTS_STARTED dan INIT_SCRIPTS_FINISHED, menunjukkan skrip mana yang dijadwalkan untuk eksekusi dan yang telah berhasil diselesaikan. INIT_SCRIPTS_FINISHED juga menangkap durasi eksekusi.

Skrip init global ditunjukkan dalam detail peristiwa log oleh skrip init kunci "global" dan cakupan kluster ditunjukkan oleh kunci "cluster".

Catatan

Log peristiwa kluster tidak mencatat peristiwa skrip init untuk setiap simpul kluster; hanya satu node yang dipilih untuk mewakili semuanya.

Di mana log skrip init ditulis?

Jika pengiriman log kluster dikonfigurasi untuk kluster, log skrip init ditulis ke /<cluster-log-path>/<cluster-id>/init_scripts.

Log untuk setiap kontainer dalam kluster ditulis ke subdirektori yang disebut init_scripts/<cluster-id>_<container-ip>.

Misalnya, jika cluster-log-path diatur ke cluster-logs, jalur ke log untuk kontainer tertentu adalah: dbfs:/cluster-logs/<cluster-id>/init_scripts/<cluster-id>_<container-ip>.

Jika kluster dikonfigurasi untuk menulis log ke DBFS, Anda dapat melihat log menggunakan utilitas sistem file (dbutils.fs) atau DBFS CLI (warisan). Misalnya, jika ID kluster adalah 1001-234039-abcde739:

dbfs ls dbfs:/cluster-logs/1001-234039-abcde739/init_scripts

1001-234039-abcde739_10_97_225_166
1001-234039-abcde739_10_97_231_88
1001-234039-abcde739_10_97_244_199

dbfs ls dbfs:/cluster-logs/1001-234039-abcde739/init_scripts/1001-234039-abcde739_10_97_225_166

<timestamp>_<log-id>_<init-script-name>.sh.stderr.log
<timestamp>_<log-id>_<init-script-name>.sh.stdout.log

Ketika pengiriman log kluster tidak dikonfigurasi, log ditulis ke /databricks/init_scripts. Anda dapat menggunakan perintah shell standar di buku catatan untuk mencantumkan dan melihat log:

%sh
ls /databricks/init_scripts/
cat /databricks/init_scripts/<timestamp>_<log-id>_<init-script-name>.sh.stdout.log

Setiap kali kluster diluncurkan, ia menulis log ke folder log skrip init.

Penting

Setiap pengguna yang membuat kluster dan memungkinkan pengiriman log kluster dapat melihat stderr dan stdout output dari skrip init global. Anda harus memastikan bahwa skrip init global Anda tidak menghasilkan informasi sensitif apa pun.

Kejadian skrip init dalam log diagnostik

Log diagnostik Azure Databricks menangkap skrip init global membuat, mengedit, dan menghapus peristiwa di bawah jenis globalInitScriptsperistiwa . Lihat Peristiwa skrip init global.