Loggning av Init-skript

Start- och avslutshändelser för Init-skript registreras i klusterhändelseloggar. Information samlas in i klusterloggar. Globala init-skript för att skapa, redigera och ta bort händelser samlas också in i diagnostikloggar på kontonivå.

Init-skripthändelser

Klusterhändelseloggar samlar in två init-skripthändelser: INIT_SCRIPTS_STARTED och INIT_SCRIPTS_FINISHED, som anger vilka skript som är schemalagda för körning och som har slutförts. INIT_SCRIPTS_FINISHED registrerar också exekveringstiden.

Globala init-skript indikeras i detaljerna för logghändelsen med nyckeln "global", och klusterbegränsade init-skript indikeras med nyckeln "cluster".

Kommentar

Klusterhändelseloggar loggar inte init-skripthändelser för varje klusternod. endast en nod har valts för att representera dem alla.

Var skrivs init-skriptloggar?

Om klusterloggleverans har konfigurerats för ett kluster skrivs init-skriptloggarna till /<cluster-log-path>/<cluster-id>/init_scripts.

Loggar för varje container i klustret skrivs till en underkatalog med namnet init_scripts/<cluster-id>_<container-ip>.

Till exempel, om loggvägen sätts till Unity Catalog-volymen /Volumes/<catalog>/<schema>/<volume>, skulle vägen till loggarna för en specifik container vara: /Volumes/<catalog>/<schema>/<volume>/<cluster-id>/init_scripts/<cluster-id>_<container-ip>.

Du kan se loggarna med filsystemverktyget (dbutils.fs) eller fs kommandogruppen. Till exempel, för att lista loggarna för klustret 1001-234039-abcde739 som levererats till volymen /Volumes/<catalog>/<schema>/<volume>:

databricks fs ls dbfs:/Volumes/<catalog>/<schema>/<volume>/1001-234039-abcde739/init_scripts

1001-234039-abcde739_10_97_225_166
1001-234039-abcde739_10_97_231_88
1001-234039-abcde739_10_97_244_199

databricks fs ls dbfs:/Volumes/<catalog>/<schema>/<volume>/1001-234039-abcde739/init_scripts/1001-234039-abcde739_10_97_225_166

<timestamp>_<log-id>_<init-script-name>.sh.stderr.log
<timestamp>_<log-id>_<init-script-name>.sh.stdout.log

När klusterloggleveransen inte har konfigurerats skrivs loggarna till /databricks/init_scripts. Du kan använda standard shell-kommandon i en notebook för att lista och visa loggarna.

%sh
ls /databricks/init_scripts/
cat /databricks/init_scripts/<timestamp>_<log-id>_<init-script-name>.sh.stdout.log

Varje gång ett kluster startas skriver det en logg till init-skriptloggmappen.

Viktigt!

Alla användare som skapar ett kluster och aktiverar leverans av klusterloggar kan visa stderr och stdout utdata från globala init-skript. Du bör se till att dina globala init-skript inte matar ut någon känslig information.

Init-skripthändelser i diagnostikloggar

Azure Databricks-diagnostikloggar samlar in globala init-skript för att skapa, redigera och ta bort händelser under händelsetypen globalInitScripts. Se Händelser för globala init-skript.