Protokollierung von Initialisierungsskripten

Start- und Abschlussereignisse von Initialisierungsskripts werden in den Clusterereignisprotokollen erfasst. Details werden in den Clusterprotokollen gespeichert. Ereignisse zum Erstellen, Bearbeiten und Löschen globaler Initialisierungsskripte werden ebenfalls in den Diagnoseprotokollen auf Kontoebene erfasst.

Initialisierungsskript-Ereignisse

In Clusterereignisprotokollen werden die beiden Ereignisse für Initialisierungsskripts INIT_SCRIPTS_STARTED und INIT_SCRIPTS_FINISHED erfasst. Diese geben an, welche Skripts ausgeführt werden sollen und welche erfolgreich abgeschlossen wurden. In INIT_SCRIPTS_FINISHED wird auch die Dauer der Ausführung aufgezeichnet.

Globale Initialisierungsskripts werden in den Protokollereignisdetails durch den Schlüssel "global" angegeben, clusterspezifische Initialisierungsskripts durch "cluster".

Hinweis

Cluster-Ereignisprotokolle protokollieren keine Ereignisse von Initialisierungsskripts für jeden Clusterknoten; stattdessen wird nur ein Knoten ausgewählt, um sie alle zu repräsentieren.

Wo werden die Protokolle der Init-Skripte geschrieben?

Wird die Übermittlung von Clusterprotokollen für einen Cluster konfiguriert, werden die Protokolle der Initialisierungsskripts in /<cluster-log-path>/<cluster-id>/init_scripts geschrieben.

Die Protokolle für die einzelnen Container im Cluster werden in ein Unterverzeichnis mit dem Namen init_scripts/<cluster-id>_<container-ip> geschrieben.

Wenn zum Beispiel der Logpfad auf das Unity-Catalog-Volume /Volumes/<catalog>/<schema>/<volume>gesetzt wird, wäre der Pfad zu den Logs für einen bestimmten Container: /Volumes/<catalog>/<schema>/<volume>/<cluster-id>/init_scripts/<cluster-id>_<container-ip>.

Du kannst die Logs mit dem Dateisystem-Tool (dbutils.fs) oder der fs Kommandogruppe ansehen. Zum Beispiel, um die Logs für den Cluster 1001-234039-abcde739 aufzulisten, die an das Volumen /Volumes/<catalog>/<schema>/<volume>geliefert wurden:

databricks fs ls dbfs:/Volumes/<catalog>/<schema>/<volume>/1001-234039-abcde739/init_scripts

1001-234039-abcde739_10_97_225_166
1001-234039-abcde739_10_97_231_88
1001-234039-abcde739_10_97_244_199

databricks fs ls dbfs:/Volumes/<catalog>/<schema>/<volume>/1001-234039-abcde739/init_scripts/1001-234039-abcde739_10_97_225_166

<timestamp>_<log-id>_<init-script-name>.sh.stderr.log
<timestamp>_<log-id>_<init-script-name>.sh.stdout.log

Wurde die Übermittlung von Clusterprotokollen nicht konfiguriert, werden die Protokolle in /databricks/init_scripts geschrieben. Mithilfe von Standardshellbefehlen können Sie die Protokolle in einem Notebook auflisten und anzeigen:

%sh
ls /databricks/init_scripts/
cat /databricks/init_scripts/<timestamp>_<log-id>_<init-script-name>.sh.stdout.log

Bei jedem Startvorgang eines Clusters wird ein Protokoll in den Protokollordner für Initialisierungsskripts geschrieben.

Wichtig

Jeder Benutzer, der einen Cluster erstellt und die Übermittlung von Clusterprotokollen aktiviert, kann die Ausgaben stderr und stdout von globalen Initialisierungsskripts anzeigen. Stellen Sie daher sicher, dass die Ausgaben Ihrer globalen Initialisierungsskripts keine vertraulichen Informationen enthalten.

Init-Skriptereignisse in Diagnoseprotokollen

In den Azure Databricks-Diagnoseprotokollen werden die Ereignisse zum Erstellen, Bearbeiten und Löschen von globalen Initialisierungsskripts unter dem Ereignistyp globalInitScripts erfasst. Siehe Globale Initialisierungsskriptereignisse.