일정에 따라 또는 지속적으로 작업 실행

예약된 트리거 유형을 사용하여 Azure Databricks 작업을 주기적으로 실행하거나 연속 트리거 유형을 사용하여 항상 활성 작업 실행이 있는지 확인할 수 있습니다.

일정을 사용하여 지정된 시간 및 기간에 Azure Databricks 작업을 자동으로 실행할 수 있습니다. 분, 매시간, 매일, 매주 또는 매월 및 지정된 시간에 작업을 실행하는 일정을 정의할 수 있습니다. 일정에 대한 표준 시간대를 지정하고 언제든지 예약된 작업을 일시 중지할 수도 있습니다.

연속 트리거를 사용하여 작업을 실행하는 경우 Azure Databricks 작업은 항상 하나의 활성 작업 실행이 있는지 확인합니다. 이전 실행이 성공적으로 완료되거나 실패한 상태 또는 현재 실행 중인 작업의 인스턴스가 없는 경우 새 작업 실행이 시작됩니다.

작업 일정 추가

작업 일정을 정의하려면,

1. 사이드바에서 워크플로를 클릭합니다.
2. 작업 탭의 이름 열에서 작업 이름을 클릭합니다.
3. 작업 세부 정보 패널에서 트리거 추가를 클릭하고 트리거 유형에서 예약을 선택합니다.
4. 기간, 시작 시간 및 표준 시간대를 지정합니다. 필요에 따라 Cron 구문 표시 확인란을 선택하여 Quartz Cron 구문에서 일정을 표시하고 편집합니다.
5. 저장을 클릭합니다.

Notebook UI에서 직접 Notebook 작업을 예약할 수도 있습니다.

참고 항목

• Azure Databricks는 cron 식의 초 구성에 관계없이 작업 일정에서 트리거된 후속 실행 간에 10초 이상의 간격을 적용합니다.
• 일광 절약 시간 또는 UTC를 준수하는 표준 시간대를 선택할 수 있습니다. 일광 절약 시간을 관찰하는 표준 시간대를 선택하면 시간당 작업이 건너뛰거나 일광 절약 시간이 시작되거나 끝날 때 1~2시간 지연될 수 있습니다. 매시간(절대 시간)에 실행하려면 UTC를 선택합니다.
• 작업 스케줄러는 대기 시간이 짧은 작업을 위한 것이 아닙니다. 네트워크 또는 클라우드 문제로 인해 작업 실행이 몇 분까지 지연될 수 있습니다. 이러한 상황에서 예약된 작업은 서비스 가용성에 따라 즉시 실행됩니다.

작업 일정 일시 중지 및 다시 시작

작업을 일시 중지하려면 작업 세부 정보 패널에서 일시 중지를 클릭합니다.

일시 중지된 작업 일정을 다시 시작하려면 다시 시작을 클릭합니다.

연속 작업 실행

1. 사이드바에서 워크플로를 클릭합니다.
2. 작업 탭의 이름 열에서 작업 이름을 클릭합니다.
3. 작업 세부 정보 패널에서 트리거 추가를 클릭하고, 작업 세부 정보 패널에서 트리거 추가를 클릭하고, 트리거 유형에서 연속을 선택하고, 저장을 클릭합니다.

연속 작업을 중지하려면 지금 실행 옆을 클릭하고중지를 클릭합니다.

참고 항목

• 연속 작업의 실행 중인 인스턴스는 하나만 있을 수 있습니다.
• 실행 완료와 새 실행 시작 사이에 약간의 지연이 있습니다. 이 지연 시간은 60초 미만이어야 합니다.
• 연속 작업에서는 작업 종속성을 사용할 수 없습니다.
• 연속 작업에서는 재시도 정책을 사용할 수 없습니다. 대신 연속 작업은 지수 백오프를 사용하여 작업 실행 실패를 관리합니다.
• 일시 중지된 연속 작업에서 지금 실행을 선택하면 새 작업 실행이 트리거됩니다. 작업이 일시 중지되지 않으면 예외가 throw됩니다.
• 연속 작업이 새 작업 구성을 선택하도록 하려면 기존 실행을 취소한 다음 새 실행이 자동으로 시작됩니다. 다시 시작 실행을 클릭하여 업데이트된 구성으로 작업 실행을 다시 시작할 수도 있습니다.

연속 작업에 대한 오류는 어떻게 처리되는가?

Azure Databricks 작업은 지수 백오프 체계를 사용하여 연속 오류가 여러 차례 발생한 연속 작업을 관리합니다. 지수 백오프를 사용하면 일시 중지하지 않고 연속 작업을 실행하고 복구 가능한 오류가 발생할 때 정상 상태로 돌아갈 수 있습니다.

연속 작업이 연속 실패에 대해 허용되는 임계값을 초과하는 경우 다음에서는 후속 작업 실행이 관리되는 방법을 설명합니다.

1. 시스템에서 설정한 재시도 기간 후에 작업이 다시 시작됩니다.
2. 다음 작업 실행이 실패하면 재시도 기간이 늘어나고 이 새 재시도 기간 후에 작업이 다시 시작됩니다.
   1. 이후의 각 작업 실행 실패에 대해 재시도 기간은 시스템에서 설정한 최대 재시도 기간까지 다시 증가합니다. 최대 재시도 기간에 도달하면 최대 재시도 기간을 사용하여 작업을 계속 다시 시도합니다. 연속 작업에 대한 재시도 횟수에는 제한이 없습니다.
   2. 작업 실행이 성공적으로 완료되고 새 실행을 시작하거나 실행이 실패 없이 임계값을 초과하는 경우 작업이 정상으로 간주되고 백오프 시퀀스가 다시 설정됩니다.

작업 UI의 지수 백오프 상태에서 연속 작업을 다시 시작하거나 작업 2.1 API 또는 작업 2.0 API의 POST /api/2.0/jobs/run-now 요청에서 POST /api/2.1/jobs/run-now 요청에 작업 ID를 전달하여 연속 작업을 다시 시작할 수 있습니다.