Loggning av Init-skript

  • Artikel

Start- och avslutshändelser för Init-skript registreras i klusterhändelseloggar. Information samlas in i klusterloggar. Globala init-skript för att skapa, redigera och ta bort händelser samlas också in i diagnostikloggar på kontonivå.

Init-skripthändelser

Klusterhändelseloggar samlar in två init-skripthändelser: INIT_SCRIPTS_STARTED och INIT_SCRIPTS_FINISHED, som anger vilka skript som är schemalagda för körning och som har slutförts. INIT_SCRIPTS_FINISHED samlar också in körningstiden.

Globala init-skript anges i logghändelseinformationen av nyckel "global" - och klusteromfattande init-skript som anges av nyckeln "cluster".

Kommentar

Klusterhändelseloggar loggar inte init-skripthändelser för varje klusternod. endast en nod har valts för att representera dem alla.

Var skrivs init-skriptloggar?

Om klusterloggleverans har konfigurerats för ett kluster skrivs init-skriptloggarna till /<cluster-log-path>/<cluster-id>/init_scripts.

Loggar för varje container i klustret skrivs till en underkatalog med namnet init_scripts/<cluster-id>_<container-ip>.

Om cluster-log-path till exempel är inställt på cluster-logsär sökvägen till loggarna för en specifik container: dbfs:/cluster-logs/<cluster-id>/init_scripts/<cluster-id>_<container-ip>.

Om klustret är konfigurerat för att skriva loggar till DBFS kan du visa loggarna med filsystemverktyget (dbutils.fs) eller DBFS CLI (äldre). Om kluster-ID:t till exempel är 1001-234039-abcde739:

dbfs ls dbfs:/cluster-logs/1001-234039-abcde739/init_scripts

1001-234039-abcde739_10_97_225_166
1001-234039-abcde739_10_97_231_88
1001-234039-abcde739_10_97_244_199

dbfs ls dbfs:/cluster-logs/1001-234039-abcde739/init_scripts/1001-234039-abcde739_10_97_225_166

<timestamp>_<log-id>_<init-script-name>.sh.stderr.log
<timestamp>_<log-id>_<init-script-name>.sh.stdout.log

När klusterloggleveransen inte har konfigurerats skrivs loggarna till /databricks/init_scripts. Du kan använda standardgränssnittskommandon i en notebook-fil för att visa loggarna:

%sh
ls /databricks/init_scripts/
cat /databricks/init_scripts/<timestamp>_<log-id>_<init-script-name>.sh.stdout.log

Varje gång ett kluster startas skriver det en logg till init-skriptloggmappen.

Viktigt!

Alla användare som skapar ett kluster och aktiverar leverans av stderr klusterloggar kan visa och stdout utdata från globala init-skript. Du bör se till att dina globala init-skript inte matar ut någon känslig information.

Init-skripthändelser i diagnostikloggar

Azure Databricks-diagnostikloggar samlar in globala init-skript för att skapa, redigera och ta bort händelser under händelsetypen globalInitScripts. Se Händelser för globala init-skript.