Lakeflow 작업 모니터링

Azure Databricks UI를 사용하면 액세스할 수 있는 작업을 보고, 각 작업에 대한 실행 기록을 찾아보고, 개별 작업 실행의 세부 정보를 검사할 수 있습니다. 작업에 대한 알림을 구성하려면 작업알림 추가를 참조하세요.

Databricks CLI를 사용하여 작업을 보고 작업을 실행하는 방법을 알아보려면 CLI 명령 databricks jobs list -h, databricks jobs get -h, databricks jobs run-now -h을 실행하세요. 작업 API 사용에 대한 자세한 내용은 작업 API를 참조하세요.

system.lakeflow 스키마에 액세스할 수 있는 경우 계정 전체에서 작업 실행 및 태스크의 레코드를 보고 쿼리할 수도 있습니다. 작업 시스템 테이블을 참조하세요. 작업 시스템 테이블을 청구 테이블과 조인하여 계정 전체에서 작업 비용을 모니터링할 수도 있습니다. 시스템 테이블사용하여 작업 비용 & 성능 모니터링을 참조하세요.

작업 및 파이프라인 보기

액세스할 수 있는 작업 목록을 보려면 사이드바의 작업 및 파이프라인입니다. Lakeflow 작업 UI의 작업 및 파이프라인 탭에는 작성자, 트리거(있는 경우) 및 마지막 5개 실행의 결과와 같은 사용 가능한 모든 작업 및 파이프라인에 대한 정보가 나열됩니다.

목록에 표시된 열을 변경하려면 을 클릭하고 열을 선택하거나 선택 취소합니다.

중요하다

통합 작업 및 파이프라인 목록은 공개 미리 보기로 제공됩니다. 통합 관리, 검색 및 필터링과 같은 작업 및 파이프라인을 사용하지 않도록 설정하여 기능을 사용하지 않도록 설정하고 기본 환경으로 돌아갈 수 있습니다. 자세한 내용은 Azure Databricks 미리 보기 관리를 참조하세요.

다음 스크린샷과 같이 작업 및 파이프라인 목록에서 작업을 필터링할 수 있습니다.

설명선이 있는

1. 텍스트 검색: 이름 및 작업 ID 필드에 대해 키워드 검색이 지원됩니다. 키와 값으로 만든 태그를 검색하려면 키, 값 또는 키와 값 모두로 검색할 수 있습니다. 예를 들어 키 department와 값 finance가 있는 태그의 경우 department 또는 finance를 검색하여 일치하는 작업을 찾을 수 있습니다. 키와 값으로 검색하려면 콜론으로 구분된 키와 값을 입력합니다(예: department:finance).
2. 형식: 작업, 파이프라인 또는 모두만 선택합니다.
3. 소유자: 소유한 작업 또는 파이프라인만 선택합니다.
4. 즐겨찾기: 즐겨찾기로 표시한 모든 작업 또는 파이프라인을 선택합니다.
5. 태그: 태그를 사용합니다. 태그별로 검색하려면 태그 드롭다운 메뉴를 사용하여 최대 5개의 태그를 동시에 필터링하거나 키워드 검색을 직접 사용할 수 있습니다.
6. 다음으로 실행: 최대 2개의 run as 값으로 필터할 수 있습니다.

작업 또는 파이프라인을 시작하려면 재생 단추를 클릭합니다. 워크플로를 중지하려면 단추를 클릭합니다. 다른 작업에 액세스하려면 케밥 메뉴 을 클릭합니다. 예를 들어 이 메뉴에서 파이프라인에 대한 워크플로 또는 액세스 설정을 삭제할 수 있습니다.

모든 작업 및 파이프라인에서 최근 실행 보기

Apache Airflow 또는 Azure Data Factory 같은 외부 오케스트레이션 도구에서 시작한 실행을 포함하여 사용자가 액세스할 수 있는 작업 영역의 모든 작업 및 파이프라인에 대한 실행 및 최근에 완료된 실행 목록을 볼 수 있습니다. 최근 실행 목록을 보려면 다음을 수행합니다.

1. 사이드바의 작업 및 파이프라인입니다.
2. 실행 탭을 클릭하여 완료된 실행 개수 그래프와 작업 및 파이프라인 실행 목록을 표시합니다.
3. (선택 사항) 작업 또는 파이프라인을 클릭하여 목록을 유형별로 필터링합니다.

실행 목록에는 위쪽의 필터링 옵션, 최근에 완료된 실행 및 상위 5개 오류 의 그래프 , 최근에 완료된 실행 목록이 포함됩니다.

다음을 기준으로 필터링할 수 있습니다.

• 작업 또는 파이프라인의 이름입니다.
• 모든, 작업 또는 파이프라인.
• 파이프라인 유형 (ETL, 수집, MV/ST 또는 데이터베이스 테이블 동기화).
• 다른 사용자로 실행
• ID를 실행 하여 특정 실행을 찾습니다.
• 실행 시작 시간 (지난 48시간 이내)입니다.
• 실행 상태입니다.
• 실패한 실행에 대한 오류 코드 입니다.

필터는 그래프, 오류 코드 및 실행 목록에 적용됩니다.

참고

Apache Airflowruns/submit의 실행을 포함하여 작업 API DatabricksSubmitRunOperator 엔드포인트를 통해 제출된 실행은 저장된 작업에서 지원되지 않는 일회성 실행입니다. 이러한 실행에는 연결된 작업이 없으므로 작업 이름을 필터링하여 찾을 수 없습니다. 대신 실행 ID, 실행 계정 또는 시작 시간으로 필터링하세요. 이름 검색에 표시되고 재시도를 지원하는 지속성 작업을 만들려면 작업을 만든 다음 사용하는 runs/submit대신 실행합니다.

완료된 실행 개수 그래프

완료된 실행 수 그래프는 지난 48시간 동안 완료된 실행 수를 보여줍니다. 기본적으로 그래프에는 실패, 건너뛰기 및 성공한 실행이 표시됩니다. 그래프를 필터링하여 특정 실행 상태를 표시하거나 특정 시간 범위로 그래프를 제한할 수도 있습니다.

참고

완료된 실행 개수 그래프는 작업 또는 파이프라인으로 필터링할 때만 표시됩니다. 모두 선택되면 표시되지 않습니다. 그래프는 모든 실행에 대해 관리자에게 표시됩니다. 관리자가 아닌 경우 [실행 ]을 클릭하고 나를 선택해야 합니다.

실행 탭의 맨 위에 있는 필터가 그래프에 적용됩니다.

완료된 실행 개수 그래프에 표시되는 시간 범위를 제한하려면 필터에서 시간 범위를 정의합니다. 또는 그래프에서 커서를 클릭하고 끌어 시간 범위를 선택할 수 있습니다. 그래프 및 실행 테이블이 업데이트되어 정의된 시간 범위의 실행만 표시합니다.

상위 5개 오류 유형 테이블에는 선택한 시간 범위에서 가장 자주 발생하는 오류 유형 목록이 표시되어 작업 영역에서 문제의 가장 일반적인 원인을 빠르게 확인할 수 있습니다.

실행 목록

실행 탭에는 지난 60일 동안의 작업 및 파이프라인 실행 테이블도 포함됩니다. Azure Databricks 작업 및 파이프라인 모두에 대해 60일 동안 실행 기록을 유지합니다. 기본적으로 테이블에는 실패, 건너뛰기 및 성공적인 실행에 대한 세부 정보가 포함됩니다.

실행 탭의 맨 위에 있는 필터가 목록에 적용됩니다.

기본적으로 실행 테이블의 실행 목록에는 다음이 표시됩니다.

• 실행 시작 시간입니다.
• 실행과 연결된 작업 또는 파이프라인의 이름입니다.
• 실행의 형식(작업 또는 파이프라인)입니다.
• 이 실행을 실행하는 사용자 이름입니다.
• 실행을 트리거한 항목(시작됨): 일정, API 요청 또는 수동 시작.
• 실행 중인 작업 또는 파이프라인에 대해 경과된 시간 또는 완료된 실행의 총 실행 시간입니다. 기간이 구성된 예상 완료 시간을 초과하는 경우 UI에 경고가 표시됩니다.
• 실행 상태: 대기 중, 보류 중, 실행 중, 건너뜀, 성공, 실패가 있지만 성공함, 실패, 시간 초과, 취소 중 또는 취소됨.
• 실행이 종료된 모든 오류 코드입니다.
• 실행을 위한 모든 매개변수입니다.
• 실행 중인 작업 또는 파이프라인을 중지하려면 중지 단추를 클릭합니다. 실행에 대한 작업을 열려면 을 클릭합니다.(예: 활성 실행을 중지하거나 완료된 실행을 삭제하려면).

실행 목록에 표시되는 열을 변경하려면 클릭하고 열을 선택하거나 지웁니다.

작업 실행 세부 정보를 보려면 시작 시간 열의 링크를 클릭합니다. 작업 또는 파이프라인 세부 정보를 보려면 작업 열에서 이름을 클릭합니다.

단일 작업에 대한 보기 실행

Apache Airflow 또는 Azure Data Factory와 같은 외부 오케스트레이션 도구에서 시작한 실행을 포함하여 액세스 권한이 있는 작업에 대해 현재 실행되고 최근에 완료된 실행 목록을 볼 수 있습니다. 최근 작업 실행 목록을 보려면 다음을 수행합니다.

1. Azure Databricks 작업 영역의 사이드바에서 작업 및 파이프라인을 클릭합니다.

2. 필요에 따라 작업 필터와 내 소유 필터를 선택합니다.

3. 작업의 이름 링크를 클릭합니다.

   실행 탭은 활성 및 완료된 실행의 행렬 및 목록 보기와 함께 표시됩니다.

행렬 보기는 각 작업 태스크를 포함하여 작업에 대한 실행 기록을 보여 줍니다.

행렬의 실행 총 기간 행에는 실행의 총 기간 및 실행 상태가 표시됩니다. 시작 시간, 실행 시간, 상태를 포함한 실행의 세부 정보를 보려면 총 실행 시간 행의 막대 위로 마우스를 가져갑니다.

작업 행의 각 셀은 작업의 작업 및 해당 상태를 나타냅니다. 시작 시간, 기간, 클러스터 및 상태를 포함하여 각 작업의 세부 정보를 보려면 해당 작업의 셀을 마우스로 가리킵니다.

작업 실행 및 작업 실행 막대는 실행 상태를 나타내기 위해 색으로 구분됩니다. 성공적인 실행은 초록색입니다. 실패한 실행은 빨간색, 건너뛴 실행은 분홍색, 재시도를 기다리는 경우는 노란색입니다. 보류 중, 취소 또는 시간 초과됨은 회색으로 표시됩니다. 개별 작업 실행 및 작업 실행 막대의 높이는 실행 기간을 시각적으로 나타냅니다.

예상 완료 시간을 구성한 경우, 실행 간이 구성된 예상 시간을 초과하면 행렬 보기에 경고가 표시됩니다.

기본적으로 실행 목록 보기에는 다음이 표시됩니다.

• 실행 시작 시간입니다.
• 실행 식별자입니다. 실행 URL을 찾고 공유하는 방법은 작업 실행 URL 및 ID를 참조하세요.
• 실행이 작업 일정 또는 API 요청에 의해 트리거되었거나 수동으로 시작되었는지 여부입니다.
• 현재 실행 중인 작업의 경과 시간 또는 완료된 실행의 총 실행 시간 실행 시간이 구성된 예상 완료 시간을 초과한 경우, 경고 표시
• 실행 상태( 대기 중, 보류 중, 실행 중, 건너뛰기, 성공, 실패, 실패, 시간 초과, 취소 또는 취소됨)입니다.
• 실행이 종료된 오류 코드입니다.
• 실행 매개 변수입니다.

현재 활성 작업은 중지 버튼을 표시합니다. 모든 활성 실행 및 대기 중인 실행을 중지하려면 실행 취소를 선택하거나 드롭다운 메뉴에서 대기 중인 모든 실행 취소를 선택합니다.

실행에 대한 상황에 맞는 작업에 액세스하려면 kebab 메뉴 을 클릭합니다.(예: 활성 실행을 중지하거나 완료된 실행을 삭제하려면).

실행 목록 보기에 표시되는 열을 변경하려면 클릭하고 열을 선택하거나 선택 취소합니다.

작업 실행의 세부 정보를 보려면 실행 목록 보기에서 시작 시간 열의 실행 링크를 클릭합니다. 이 작업의 가장 최근 실행 성공에 대한 세부 정보를 보려면 성공한 최신 실행으로 이동을 클릭합니다.

Azure Databricks는 작업 실행 기록을 최대 60일 동안 유지합니다. 작업 실행을 보존해야 하는 경우, 결과 만료되기 전에 결과를 내보내기를 Databricks는 권장합니다. 자세한 내용은 작업 실행 결과 내보내기를 참조하세요.

작업 실행 세부 정보 보기

작업 실행 세부 정보 페이지에는 작업 실행에서 각 작업의 성공 또는 실패에 대한 정보를 포함하여 작업 출력 및 로그에 대한 링크가 포함되어 있습니다. 작업 실행 세부 정보는 작업의 실행 탭에서 액세스할 수 있습니다.

실행 탭에서 작업 실행 세부 정보를 보려면 실행 목록 보기의 시작 시간 열에서 실행 링크를 클릭합니다. 실행 탭으로 돌아가려면 작업 ID 값을 클릭하십시오.

또한 여러 작업이 있는 작업에는 그래프, 타임라인 및 목록 보기가 있습니다.

그래프 보기

그래프에서 작업 노드를 클릭하여 다음을 비롯한 작업 실행 세부 정보를 봅니다.

• 실행, 작업이 시작된 방법, 시작 시간, 종료 시간, 기간 및 상태를 포함한 작업 세부 정보입니다.
• 소스 코드입니다.
• 작업을 실행하고 쿼리 기록 및 로그에 연결되는 클러스터입니다.
• 작업에 대한 지표입니다.

타임라인 보기

작업이 여러 작업을 포함할 경우, 타임라인 보기를 통해 완료 시간이 오래 걸리는 작업을 식별하고 종속성과 겹침을 이해하여 이러한 업무를 디버그하고 최적화할 수 있습니다.

서버리스 작업의 경우 쿼리 및 쿼리 프로필이 타임라인 보기에 통합됩니다. 작업 이름 옆에 있는 화살표를 클릭하여 쿼리 문 및 해당 기간을 확인한 다음 문을 클릭하여 해당 쿼리 프로필로 이동합니다. 작업 실행에 대한 쿼리 세부 정보 보기를 참조하세요.

목록 보기

기본적으로 목록 보기에는 상태, 이름, 유형, 리소스, 기간 및 종속성이 표시됩니다. 이 보기에서 열을 추가하고 제거할 수 있습니다.

이름으로 작업을 검색하고, 작업 상태 또는 작업 유형별로 필터링하고, 상태, 이름 또는 기간별로 작업을 정렬할 수 있습니다.

작업 ID 값을 클릭하여 작업의 실행 탭으로 돌아갑니다.

실행에서 소요되는 시간과 이를 줄이기 위해 수행할 수 있는 작업을 확인하려면 단계 분석을 확인합니다. 단계별 실행 분석 보기를 참조하세요.

Azure Databricks 작업 실행 상태를 결정하는 방법

Azure Databricks는 작업의 리프 태스크 결과에 따라 작업 실행이 성공했는지 여부를 결정합니다. 리프 태스크는 다운스트림 종속성이 없습니다. 작업 실행에는 다음 결과 중 하나가 있을 수 있습니다.

• 성공: 모든 태스크가 성공했습니다.
• 성공과 실패: 일부 작업이 실패했지만, 모든 리프 작업은 성공했습니다.
• 실패: 하나 이상의 리프 태스크가 실패했습니다.
• 건너뛰기: 작업 실행을 건너뛰었음(예: 작업 또는 작업 영역에 대한 최대 동시 실행을 초과했기 때문에 작업을 건너뛸 수 있음).
• 작업 시간 초과: 작업 실행 완료에 너무 많은 시간이 소요되어 시간이 초과되었습니다.
• 취소됨: 작업 실행이 취소되었습니다(예: 사용자가 진행 중인 실행을 수동으로 취소).

작업 설정에서 명시적으로 작업을 사용하지 않도록 설정하면 개별 작업이 \Disabled 상태로 종료될 수 있으며, 또는 업스트림 작업이 비활성화되어 Lakeflow Jobs에서 해당 작업을 실행할 수 없을 때도 마찬가지입니다. 사용하지 않도록 설정된 작업에는 DAG의 오른쪽 위 모서리에 있습니다. Lakeflow 작업에서 비활성 작업을 참조하세요.

작업 성능 메트릭 보기

스트리밍 작업 메트릭 및 서버리스 쿼리 성능 메트릭은 다른 작업 성능 도구와 함께 설명되어 있습니다. Lakeflow 작업 성능 진단을 참조하세요.

태스크 실행 기록 보기

성공 및 실패 실행을 포함하여 태스크의 실행 기록을 보려면 다음을 수행합니다.

1. 작업 실행 세부 정보 페이지에서 작업을 클릭합니다. 작업 실행 세부 정보 페이지가 나타납니다.
2. 실행 기록 드롭다운 메뉴에서 실행할 작업을 선택합니다.

For each 태스크에 대한 태스크 실행 기록 보기

작업의 실행 기록에 For each 액세스하는 것은 표준 Lakeflow 작업 태스크와 동일합니다. 작업 실행 세부 정보 페이지에서 태스크 노드를 클릭하거나 행렬 보기에서 해당 셀을 클릭합니다. 그러나 표준 작업과 달리 작업에 대한 For each 실행 세부 정보는 중첩된 작업의 반복 테이블로 표시됩니다.

실패한 반복만 보려면 실패한 반복 한정을 클릭합니다.

반복의 출력을 보려면 시작 시간 또는 종료 시간 반복 값을 클릭합니다.

각 작업 실행 기록에 대한 일자리

작업의 계보 정보 보기

작업 영역에서 Unity 카탈로그가 활성화된 경우, 워크플로 내 모든 Unity 카탈로그 테이블에 대한 계보 정보를 볼 수 있습니다. 워크플로에 계보 정보를 사용할 수 있는 경우 작업의 작업 세부 정보 창, 작업 실행에 대한 작업 실행 세부 정보 창 또는 작업 실행에 대한 작업 실행 세부 정보 창에 업스트림 및 다운스트림 테이블 수가 포함된 링크가 표시됩니다. 링크를 클릭하여 테이블 목록을 표시합니다. 카탈로그 탐색기에서 표를 클릭하면 자세한 정보를 볼 수 있습니다.

선언적 자동화 번들을 사용하여 만든 작업 보기 및 실행

Lakeflow 작업 UI를 사용하여 선언적 자동화 번들에 의해 배포된 작업을 보고 실행할 수 있습니다. 기본적으로 이러한 작업은 작업 UI에서 읽기 전용입니다. 번들에 의해 배포된 작업을 편집하려면 번들 구성 파일을 변경하고 작업을 다시 배포합니다. 번들 구성에만 변경 내용을 적용하면 번들 원본 파일이 항상 현재 작업 구성을 캡처할 수 있습니다.

그러나 작업을 즉시 변경해야 하는 경우 번들 구성에서 작업의 연결을 끊어 UI에서 작업 설정을 편집할 수 있습니다. 작업 연결을 끊으려면 원본에서 연결 끊기를 클릭합니다. 원본에서 연결 끊기 대화 상자에서 연결 끊기를 클릭하여 확인합니다.

UI에서 작업을 변경한 내용은 번들 구성에 적용되지 않습니다. UI에서 변경한 내용을 번들에 적용하려면 번들 구성을 수동으로 업데이트해야 합니다. 번들 구성에 작업을 다시 연결하려면 번들을 사용하여 작업을 다시 배포합니다.

작업 실행 결과 내보내기

모든 작업 유형에 대한 Notebook 실행 결과 및 작업 실행 로그를 내보낼 수 있습니다.

Notebook 실행 결과 내보내기

결과를 내보내 작업 실행을 보존할 수 있습니다. Notebook 작업 실행의 경우 나중에 Azure Databricks 작업 영역으로 가져올 수 있는 렌더링된 Notebook을 내보낼 수 있습니다.

단일 태스크가 있는 작업에 대한 Notebook 실행 결과를 내보내려면,

1. 작업 세부 정보 페이지에서 완료된 실행(지난 60일) 테이블의 실행 열에 있는 실행에 대해 세부 정보 보기 링크를 클릭합니다.
2. HTML로 내보내기를 클릭합니다.

여러 태스크가 있는 작업에 대한 Notebook 실행 결과를 내보내려면,

1. 작업 세부 정보 페이지에서 완료된 실행(지난 60일) 테이블의 실행 열에 있는 실행에 대해 세부 정보 보기 링크를 클릭합니다.
2. 내보낼 노트북 태스크를 클릭합니다.
3. HTML로 내보내기를 클릭합니다.

참고

실행을 HTML로 내보내면 노트북의 소스와 셀 출력이 정적 파일로 캡처됩니다. 자격이 있는 서버리스 컴퓨트 노트북 런의 경우, 대신 런의 Python 변수와 Spark 세션을 새로운 인터랙티브 노트북으로 복원하여 작업을 재실행하지 않고도 디버싱하거나 탐색할 수 있습니다. 서버리스 작업의 세션 복원을 참조하세요.

작업 실행 로그 내보내기

작업 실행에 대한 로그를 내보낼 수도 있습니다. 작업 컴퓨팅을 구성하는 동안(컴퓨팅 구성 참조참조) 또는 작업 API를 통해 DBFS에 로그를 자동으로 배달하도록 작업을 설정할 수 있습니다. 작업 API의 new_cluster.cluster_log_conf 작업에 전달된 요청 본문의 개체를 확인하세요.