Protokolování inicializačního skriptu

Události spuštění a dokončení inicializačního skriptu se zaznamenávají v protokolech událostí clusteru. Podrobnosti se zaznamenávají v protokolech clusteru. Události vytváření, úprav a odstraňování globálního inicializačního skriptu se zaznamenávají také v diagnostických protokolech na úrovni účtu.

Události inicializačního skriptu

Protokoly událostí clusteru zaznamenávají dvě události inicializačního skriptu: INIT_SCRIPTS_STARTED a INIT_SCRIPTS_FINISHEDoznačující, které skripty jsou naplánovány pro spuštění a které byly úspěšně dokončeny. INIT_SCRIPTS_FINISHED zaznamenává také dobu trvání provádění.

Globální inicializační skripty jsou v podrobnostech události protokolu označeny klíčem "global" a inicializační skripty s působností clusteru jsou označeny klíčem "cluster".

Poznámka:

Protokoly událostí clusteru nepřihlašují události inicializačních skriptů pro každý uzel clusteru; Je vybrán pouze jeden uzel, který je znázorní všechny.

Kde se zapisují protokoly inicializačních skriptů?

Pokud je pro cluster nakonfigurováno doručování protokolů clusteru, protokoly inicializačních skriptů se zapisují do /<cluster-log-path>/<cluster-id>/init_scripts.

Protokoly pro každý kontejner v clusteru se zapisují do podadresáře s názvem init_scripts/<cluster-id>_<container-ip>.

Například pokud je cesta k protokolům nastavena na svazek /Volumes/<catalog>/<schema>/<volume> v Unity Catalog, cesta k protokolům pro konkrétní kontejner by byla: /Volumes/<catalog>/<schema>/<volume>/<cluster-id>/init_scripts/<cluster-id>_<container-ip>.

Logy můžete zobrazit pomocí nástroje pro souborový systém (dbutils.fs) nebo příkazovéfs skupiny. Například pro seznam logů pro cluster 1001-234039-abcde739 dodaných do svazku /Volumes/<catalog>/<schema>/<volume>:

databricks fs ls dbfs:/Volumes/<catalog>/<schema>/<volume>/1001-234039-abcde739/init_scripts

1001-234039-abcde739_10_97_225_166
1001-234039-abcde739_10_97_231_88
1001-234039-abcde739_10_97_244_199

databricks fs ls dbfs:/Volumes/<catalog>/<schema>/<volume>/1001-234039-abcde739/init_scripts/1001-234039-abcde739_10_97_225_166

<timestamp>_<log-id>_<init-script-name>.sh.stderr.log
<timestamp>_<log-id>_<init-script-name>.sh.stdout.log

Pokud není nakonfigurováno doručování protokolů clusteru, protokoly se zapisují do /databricks/init_scripts. V notebooku můžete ke zobrazení a výpisu protokolů použít standardní příkazy prostředí:

%sh
ls /databricks/init_scripts/
cat /databricks/init_scripts/<timestamp>_<log-id>_<init-script-name>.sh.stdout.log

Pokaždé, když se cluster spustí, zapíše protokol do složky protokolů inicializačních skriptů.

Důležité

Každý uživatel, který vytvoří cluster a povolí doručování logů clusteru, může zobrazit výstup stderr a stdout z globálních inicializačních skriptů. Měli byste zajistit, aby globální inicializační skripty nevytvádaly žádné citlivé informace.

Události inicializačních skriptů v diagnostických protokolech

Diagnostické protokoly Azure Databricks zaznamenávají události vytvoření, úpravy a odstranění globálního inicializačního skriptu v rámci typu události globalInitScripts. Viz Události globálních inicializačních skriptů.