Registro em log do script de inicialização

Os eventos de início e de término do script de inicialização são capturados nos logs de eventos do cluster. Os detalhes são capturados nos logs do cluster. Os eventos de criação, edição e exclusão do script de inicialização global também são capturados nos logs de diagnóstico na conta.

Eventos do script de inicialização

Os logs de eventos do cluster capturam dois eventos do script de inicialização: INIT_SCRIPTS_STARTED e INIT_SCRIPTS_FINISHED, indicando quais scripts estão agendados para execução e quais foram concluídos com êxito. INIT_SCRIPTS_FINISHED também captura a duração da execução.

Os scripts de inicialização global são indicados nos detalhes do evento de log pela chave "global", e os scripts de inicialização no escopo do cluster são indicados pela chave "cluster".

Observação

Os logs de eventos do cluster não registram eventos de script de inicialização para cada nó de cluster. Apenas um nó é selecionado para representar todos eles.

Onde os logs de script de inicialização são escritos?

Se a entrega de log de cluster estiver configurada para um cluster, os logs do script de inicialização serão gravados em /<cluster-log-path>/<cluster-id>/init_scripts.

Os logs de cada contêiner no cluster são gravados em um subdiretório chamado init_scripts/<cluster-id>_<container-ip>.

Por exemplo, se cluster-log-path for definido como cluster-logs, o caminho para os logs de um contêiner específico será: dbfs:/cluster-logs/<cluster-id>/init_scripts/<cluster-id>_<container-ip>.

Se o cluster estiver configurado para gravar logs no DBFS, veja os logs usando o Utilitário do sistema de arquivos (dbutils.fs) ou a CLI do DBFS (herdada). Por exemplo, se a ID do cluster for 1001-234039-abcde739:

dbfs ls dbfs:/cluster-logs/1001-234039-abcde739/init_scripts

1001-234039-abcde739_10_97_225_166
1001-234039-abcde739_10_97_231_88
1001-234039-abcde739_10_97_244_199

dbfs ls dbfs:/cluster-logs/1001-234039-abcde739/init_scripts/1001-234039-abcde739_10_97_225_166

<timestamp>_<log-id>_<init-script-name>.sh.stderr.log
<timestamp>_<log-id>_<init-script-name>.sh.stdout.log

Quando a entrega de log de cluster não está configurada, os logs são gravados em /databricks/init_scripts. Você pode usar comandos de shell padrão em um notebook para listar e ver os logs:

%sh
ls /databricks/init_scripts/
cat /databricks/init_scripts/<timestamp>_<log-id>_<init-script-name>.sh.stdout.log

Sempre que um cluster é gerado, ele grava um log na pasta de log do script de inicialização.

Importante

Qualquer usuário que cria um cluster e habilita a entrega de log de cluster pode ver a saída stderr e stdout dos scripts de inicialização global. Você deve garantir que os scripts de inicialização global não produzam nenhuma informação confidencial.

Eventos de script de inicialização em logs de diagnóstico

Os logs de diagnóstico do Azure Databricks capturam os eventos dos scripts de inicialização global de criação, edição e exclusão no tipo de evento globalInitScripts. Veja Eventos de scripts de inicialização global.