이 문서에서는 작업 및 파이프라인 작업 영역 UI를 사용하여 작업을 만들고, 구성하고, 편집하기 위한 지침에 중점을 둡니다.
Azure Databricks는 작업을 Lakeflow 작업의 구성 요소로 관리합니다. 작업에는 하나 이상의 태스크가 있습니다. 첫 번째 태스크를 구성하여 작업 영역 UI에서 새 작업을 만듭니다. 새 작업을 구성하려면 Lakeflow 작업 구성 및 편집을 참조하세요.
각 태스크에는 태스크 논리를 실행하는 연결된 컴퓨팅 리소스가 있습니다. 서버리스를 사용하는 경우 Azure Databricks는 컴퓨팅 리소스를 구성합니다. 서버리스를 사용하지 않는 경우 작업용 컴퓨팅 구성을 참조하세요.
Azure Databricks에는 다음과 같은 태스크 구성을 위한 진입점 및 도구가 있습니다.
태스크 만들기 또는 구성
기존 작업을 편집하거나 작업 영역 UI를 사용하여 새 작업을 추가하려면 다음 단계를 사용하여 기존 작업을 선택합니다.
- Azure Databricks 작업 영역의 사이드바에서 작업 및 파이프라인을 클릭합니다.
- 필요에 따라 작업 필터와 내 소유 필터를 선택합니다.
- 작업의 이름 링크를 클릭합니다.
- 태스크 탭을 클릭합니다. 그러면 태스크 그래프가 나타납니다.
- 태스크를 편집하려면 태스크 이름을 클릭합니다. 그러면 태스크 구성이 태스크 그래프 아래에 표시됩니다.
- 태스크를 추가하려면
을 클릭합니다.
태스크 유형
구성 옵션 및 지침은 작업에 따라 다릅니다. 사용 가능한 태스크 유형은 다음과 같습니다.
- 노트북
- Python 스크립트
- Python 휠
- SQL
- 파이프라인
- 대시보드
- Power BI
- dbt
- dbt platform (베타)
- 독
- Spark 서브밋
- 작업 실행
- If/else
- 각각에 대해
태스크 복제
태스크를 복제하여 업스트림 종속성을 포함하여 기존 태스크의 모든 구성을 복사합니다.
태스크를 복제하려면 다음을 수행합니다.
- 작업 그래프에서 작업을 선택합니다.
-
을 클릭합니다. - 복제된 태스크 이름을 지정하고 복제를 클릭합니다.
태스크 삭제
태스크를 삭제하려면 다음을 수행합니다.
- 작업 그래프에서 작업을 선택합니다.
-
클릭하십시오. 그런 다음 삭제 작업선택합니다.
태스크 경로 복사
특정 태스크 유형(예: Notebook 태스크)을 사용하면 태스크 소스 코드에 대한 경로를 복사할 수 있습니다.
- 태스크 탭을 클릭합니다.
- 복사할 경로가 포함된 작업을 선택합니다.
- 태스크 경로 옆에 있는
을 클릭하여 경로를 클립보드에 복사합니다.
고급 작업 설정
다음 고급 설정은 실패한 태스크에 대한 재시도 및 응답하지 않는 태스크에 대한 시간 제한 정책을 제어합니다.
참고
작업 또는 작업 수준에서 알림을 설정할 수 있습니다. 작업에 대한 알림 추가를
재시도 정책 설정
태스크 재시도에 대한 기본 설정은 작업 구성에 따라 달라집니다. 대부분의 구성에서 기본 설정은 태스크 실패 시 태스크를 다시 시도하지 않습니다.
서버리스 작업은 기본적으로 재시도를 자동으로 최적화합니다. 재시도를 허용하지 않도록 서버리스 컴퓨팅 자동 최적화 구성을 참조하세요.
연속 작업은 지수적 후퇴 재시도 정책을 사용합니다. 연속 작업에 대한 오류 처리 방법을 참조하세요.
실패한 태스크 실행이 다시 시도되는 시기와 횟수를 결정하는 정책을 구성하려면 다시 시도 옆에 있는 + 추가를 클릭합니다.
다시 시도 간격은 실패한 실행 시작과 후속 다시 시도 실행 사이의 밀리초 단위로 계산됩니다.
참고
시간 제한 및 다시 시도를 모두 구성하는 경우 시간 제한이 각 다시 시도에 적용됩니다.
작업 실행 기간 또는 스트리밍 백로그 메트릭에 대한 임계값 구성
중요하다
Lakeflow 작업에 대한 스트리밍 관찰 가능성은 공개 미리 보기로 제공됩니다.
작업 실행 기간 또는 스트리밍 백로그 메트릭에 대한 선택적 임계값을 구성할 수 있습니다. 기간 임계값 또는 스트리밍 메트릭 임계값을 구성하려면 작업 구성 패널에서
작업의 예상 완료 시간 및 최대 완료 시간을 포함하여 작업 기간 임계값을 구성하려면 메트릭 드롭다운 메뉴에서 실행 기간 선택합니다. 경고 필드에 기간을 입력하여 작업의 예상 완료 시간을 구성합니다. 태스크 실행이 이 임계값을 초과하면 이벤트가 트리거됩니다. 태스크에 대한 최대 완료 시간을 구성하려면 시간 제한 필드에 최대 기간을 입력합니다. 태스크가 이 시간 내에 완료되지 않으면 Azure Databricks에서 상태를 "시간 초과"로 설정합니다.
스트리밍 백로그 메트릭에 대한 임계값을 구성하려면 메트릭 드롭다운 메뉴에서 메트릭을 선택하고 임계값을 입력합니다. 스트리밍 원본에서 지원하는 특정 메트릭에 대해 알아보려면스트리밍 작업에 대한
경고 필드에 기간을 입력하여 작업의 예상 완료 시간을 구성합니다. 태스크가 이 임계값을 초과하면 이벤트가 트리거됩니다. 이 이벤트를 사용하여 태스크가 느리게 실행되는 경우 알릴 수 있습니다. 느린 작업대한 알림 구성을 참조하세요.
태스크에 대한 최대 완료 시간을 구성하려면 시간 제한 필드에 최대 기간을 입력합니다. 태스크가 이 시간 내에 완료되지 않으면 Azure Databricks에서 상태를 "시간 초과"로 설정합니다.
임계값을 초과하여 이벤트가 트리거되는 경우 이벤트를 사용하여 알림을 보낼 수 있습니다. 느린 작업대한 알림 구성을 참조하세요.