Журналирование init-скрипта

События начала и окончания скрипта инициализации фиксируются в журналах событий кластера. Сведения фиксируются в журналах кластера. События создания, редактирования и удаления глобальных скриптов инициализации также фиксируются в диагностических журналах уровня учетной записи.

События скриптов инициализации

В журналы событий кластера заносятся события скриптов инициализации двух типов: INIT_SCRIPTS_STARTED и INIT_SCRIPTS_FINISHED, указывающие, какие скрипты запланированы к выполнению и какие были успешно выполнены. INIT_SCRIPTS_FINISHED также отражает длительность выполнения.

В сведениях о событиях журнала глобальные скрипты инициализации обозначаются ключом "global", а скрипты инициализации на уровне кластера — ключом "cluster".

Примечание.

В журналах событий кластера события скриптов инициализации не фиксируются для каждого отдельного узла кластера: выбирается только один узел, который представляет их все.

Где написаны журналы скриптов инициализации?

Если для кластера настроена доставка журналов кластера, журналы скриптов инициализации записываются в /<cluster-log-path>/<cluster-id>/init_scripts.

Журналы каждого контейнера в кластере записываются в подкаталог с именем init_scripts/<cluster-id>_<container-ip>.

Например, если путь к журналам задан как том Unity Catalog /Volumes/<catalog>/<schema>/<volume>, то путь к журналам для определённого контейнера будет следующим: /Volumes/<catalog>/<schema>/<volume>/<cluster-id>/init_scripts/<cluster-id>_<container-ip>.

Вы можете просматривать логи с помощью утилиты файловой системы (dbutils.fs ) или fs командной группы. Например, чтобы вывести список журналов для кластера 1001-234039-abcde739, переданных в том /Volumes/<catalog>/<schema>/<volume>:

databricks fs ls dbfs:/Volumes/<catalog>/<schema>/<volume>/1001-234039-abcde739/init_scripts

1001-234039-abcde739_10_97_225_166
1001-234039-abcde739_10_97_231_88
1001-234039-abcde739_10_97_244_199

databricks fs ls dbfs:/Volumes/<catalog>/<schema>/<volume>/1001-234039-abcde739/init_scripts/1001-234039-abcde739_10_97_225_166

<timestamp>_<log-id>_<init-script-name>.sh.stderr.log
<timestamp>_<log-id>_<init-script-name>.sh.stdout.log

Если доставка журналов кластера не настроена, журналы записываются в /databricks/init_scripts. Вы можете использовать стандартные команды оболочки в записной книжке для перечисления и просмотра журналов.

%sh
ls /databricks/init_scripts/
cat /databricks/init_scripts/<timestamp>_<log-id>_<init-script-name>.sh.stdout.log

Каждый раз при запуске кластера он добавляет запись в папку журнала инициализации скрипта.

Внимание

Любой пользователь, создающий кластер и включающий доставку журналов кластера, может просматривать выходные данные stderr и stdout из глобальных скриптов инициализации. Необходимо следить за тем, чтобы глобальные скрипты инициализации не выводили никаких конфиденциальных сведений.

События скрипта Init в журналах диагностики

Журналы диагностики Azure Databricks регистрируют события создания, изменения и удаления глобального скрипта инициализации с типом события globalInitScripts. См. события глобальных сценариев инициализации.