Init 스크립트 로깅

Init 스크립트 시작 및 완료 이벤트는 클러스터 이벤트 로그에 캡처됩니다. 세부 정보는 클러스터 로그에 캡처됩니다. 글로벌 init 스크립트 만들기, 편집 및 삭제 이벤트도 계정 수준의 진단 로그에 캡처됩니다.

Init 스크립트 이벤트

클러스터 이벤트 로그는 두 개의 init 스크립트 이벤트(INIT_SCRIPTS_STARTED 및 INIT_SCRIPTS_FINISHED)를 캡처합니다. 즉 실행이 예약된 스크립트와 성공적으로 완료된 스크립트를 표시합니다. INIT_SCRIPTS_FINISHED 또한 실행 기간을 캡처합니다.

글로벌 init 스크립트는 키 "global"를 통해 로그 이벤트 세부 정보가 표시되고 클러스터 범위 init 스크립트는 키 "cluster"를 통해 표시됩니다.

참고 항목

클러스터 이벤트 로그는 각 클러스터 노드에 대한 init 스크립트 이벤트를 기록하지 않습니다. 노드를 모두 나타내는 데 하나의 노드만 선택됩니다.

init 스크립트 로그는 어디에 기록되어 있나요?

클러스터에 대해 클러스터 로그 전달이 구성된 경우 init 스크립트 로그가 /<cluster-log-path>/<cluster-id>/init_scripts에 기록됩니다.

클러스터의 각 컨테이너에 대한 로그는 init_scripts/<cluster-id>_<container-ip>라는 하위 디렉터리에 기록됩니다.

예를 들어 cluster-log-path가 cluster-logs로 설정된 경우 특정 컨테이너에 대한 로그 경로는 dbfs:/cluster-logs/<cluster-id>/init_scripts/<cluster-id>_<container-ip>입니다.

클러스터가 DBFS에 로그를 쓰도록 구성된 경우 파일 시스템 유틸리티(dbutils.fs) 또는 DBFS CLI(레거시)를 사용하여 로그를 볼 수 있습니다. 예를 들어 클러스터 ID가 1001-234039-abcde739인 경우:

dbfs ls dbfs:/cluster-logs/1001-234039-abcde739/init_scripts

1001-234039-abcde739_10_97_225_166
1001-234039-abcde739_10_97_231_88
1001-234039-abcde739_10_97_244_199

dbfs ls dbfs:/cluster-logs/1001-234039-abcde739/init_scripts/1001-234039-abcde739_10_97_225_166

<timestamp>_<log-id>_<init-script-name>.sh.stderr.log
<timestamp>_<log-id>_<init-script-name>.sh.stdout.log

클러스터 로그 전달이 구성되지 않으면 로그가 /databricks/init_scripts에 기록됩니다. Notebook의 표준 셸 명령을 사용하여 로그를 나열하고 볼 수 있습니다.

%sh
ls /databricks/init_scripts/
cat /databricks/init_scripts/<timestamp>_<log-id>_<init-script-name>.sh.stdout.log

클러스터가 시작될 때마다 init 스크립트 로그 폴더에 로그를 씁니다.

Important

클러스터를 만들고 클러스터 로그 전달을 사용하도록 설정하는 모든 사용자는 글로벌 init 스크립트에서 stderr 및 stdout 출력을 볼 수 있습니다. 글로벌 init 스크립트가 중요한 정보를 출력하지 않도록 해야 합니다.

진단 로그의 Init 스크립트 이벤트

Azure Databricks 진단 로그는 이벤트 유형 globalInitScripts에 따라 전역 init 스크립트 만들기, 편집 및 삭제 이벤트를 캡처합니다. Global init 스크립트 이벤트를 참조 하세요.