Поделиться через

Ведение журнала скриптов init

  • Статья

События начала и окончания скрипта инициализации фиксируются в журналах событий кластера. Сведения фиксируются в журналах кластера. События создания, изменения и удаления для глобальных скриптов инициализации также фиксируются в журналах диагностики уровня учетной записи.

События скриптов инициализации

В журналы событий кластера заносятся события скриптов инициализации двух типов: INIT_SCRIPTS_STARTED и INIT_SCRIPTS_FINISHED, указывающие, какие скрипты запланированы к выполнению и какие были успешно выполнены. INIT_SCRIPTS_FINISHED также отражает длительность выполнения.

В подробных сведениях о событиях в журнале глобальные скрипты инициализации идентифицируются ключом "global", а скрипты инициализации в области кластера — ключом "cluster".

Примечание.

В журналах событий кластера события скриптов инициализации не фиксируются для каждого отдельного узла кластера: выбирается только один узел, который представляет их все.

Где записываются журналы скриптов init?

Если для кластера настроена доставка журналов кластера, журналы скриптов инициализации записываются в /<cluster-log-path>/<cluster-id>/init_scripts.

Журналы для каждого контейнера в кластере записываются в подкаталог init_scripts/<cluster-id>_<container-ip>.

Например, если для cluster-log-path задано значение cluster-logs, путь к журналам для определенного контейнера выглядит так: dbfs:/cluster-logs/<cluster-id>/init_scripts/<cluster-id>_<container-ip>.

Если кластер настроен для записи журналов в DBFS, можно просмотреть журналы с помощью служебной программы файловой системы (dbutils.fs) или ИНТЕРФЕЙСА командной строки DBFS (устаревшая версия).>. Предположим, что идентификатор кластера равен 1001-234039-abcde739:

dbfs ls dbfs:/cluster-logs/1001-234039-abcde739/init_scripts

1001-234039-abcde739_10_97_225_166
1001-234039-abcde739_10_97_231_88
1001-234039-abcde739_10_97_244_199

dbfs ls dbfs:/cluster-logs/1001-234039-abcde739/init_scripts/1001-234039-abcde739_10_97_225_166

<timestamp>_<log-id>_<init-script-name>.sh.stderr.log
<timestamp>_<log-id>_<init-script-name>.sh.stdout.log

Если доставка журналов кластера не настроена, журналы записываются в /databricks/init_scripts. Чтобы вывести список журналов и просмотреть их, можно использовать стандартные команды оболочки в записной книжке.

%sh
ls /databricks/init_scripts/
cat /databricks/init_scripts/<timestamp>_<log-id>_<init-script-name>.sh.stdout.log

Каждый раз при запуске кластера он добавляет запись в папку журнала инициализации скрипта.

Внимание

Любой пользователь, создающий кластер и включающий доставку журналов кластера, может просматривать выходные данные stderr и stdout из глобальных скриптов инициализации. Необходимо следить за тем, чтобы глобальные скрипты инициализации не выводили никаких конфиденциальных сведений.

События скрипта Init в журналах диагностики

Журналы диагностики Azure Databricks записывают глобальный скрипт инициализации, создание, изменение и удаление событий в типе globalInitScriptsсобытия. См . события глобальных сценариев инициализации.