Protokolování inicializačního skriptu

Události spuštění a dokončení inicializačního skriptu se zaznamenávají v protokolech událostí clusteru. Podrobnosti se zaznamenávají v protokolech clusteru. Události vytváření, úprav a odstraňování globálního inicializačního skriptu se zaznamenávají také v diagnostických protokolech na úrovni účtu.

Události inicializačního skriptu

Protokoly událostí clusteru zaznamenávají dvě události inicializačního skriptu: INIT_SCRIPTS_STARTED a INIT_SCRIPTS_FINISHEDoznačující, které skripty jsou naplánovány pro spuštění a které byly úspěšně dokončeny. INIT_SCRIPTS_FINISHED zaznamenává také dobu trvání provádění.

Globální inicializační skripty jsou uvedeny v podrobnostech události protokolu pomocí klíčů "global" a inicializačních skriptů v oboru clusteru jsou označeny klíčem "cluster".

Poznámka:

Protokoly událostí clusteru nepřihlašují události inicializačních skriptů pro každý uzel clusteru; Je vybrán pouze jeden uzel, který je znázorní všechny.

Kde se zapisují protokoly inicializačních skriptů?

Pokud je pro cluster nakonfigurované doručování protokolů clusteru, zapisují /<cluster-log-path>/<cluster-id>/init_scriptsse do protokolu inicializačních skriptů .

Protokoly pro každý kontejner v clusteru se zapisují do podadresáře s názvem init_scripts/<cluster-id>_<container-ip>.

Pokud cluster-log-path je například nastavená hodnota cluster-logs, cesta k protokolům pro konkrétní kontejner by byla: dbfs:/cluster-logs/<cluster-id>/init_scripts/<cluster-id>_<container-ip>.

Pokud je cluster nakonfigurovaný tak, aby zapisoval protokoly do systému souborů DBFS, můžete protokoly zobrazit pomocí nástroje systému souborů (dbutils.fs) nebo rozhraní příkazového řádku DBFS (starší verze). Pokud je například ID 1001-234039-abcde739clusteru:

dbfs ls dbfs:/cluster-logs/1001-234039-abcde739/init_scripts

1001-234039-abcde739_10_97_225_166
1001-234039-abcde739_10_97_231_88
1001-234039-abcde739_10_97_244_199

dbfs ls dbfs:/cluster-logs/1001-234039-abcde739/init_scripts/1001-234039-abcde739_10_97_225_166

<timestamp>_<log-id>_<init-script-name>.sh.stderr.log
<timestamp>_<log-id>_<init-script-name>.sh.stdout.log

Pokud není nakonfigurované doručování protokolů clusteru, zapisují se do /databricks/init_scriptsprotokolu . K výpisu a zobrazení protokolů můžete použít standardní příkazy prostředí v poznámkovém bloku:

%sh
ls /databricks/init_scripts/
cat /databricks/init_scripts/<timestamp>_<log-id>_<init-script-name>.sh.stdout.log

Při každém spuštění clusteru zapíše protokol do složky protokolu inicializačních skriptů.

Důležité

Každý uživatel, který vytvoří cluster a povolí doručování protokolů clusteru, může zobrazit stderr a stdout výstup z globálních inicializačních skriptů. Měli byste zajistit, aby globální inicializační skripty nevytvádaly žádné citlivé informace.

Události inicializačních skriptů v diagnostických protokolech

Diagnostické protokoly Azure Databricks zaznamenávají globální inicializační skript pro vytváření, úpravy a odstraňování událostí v rámci typu globalInitScriptsudálosti . Viz události globálních inicializačních skriptů.