파이프라인은 끊김 없이 계속 작동하기 때문에, Azure Databricks는 파이프라인이 끝나기를 기다릴 수 없고 새로운 런타임 버전이나 인프라 유지보수와 같은 플랫폼 업데이트를 적용할 수 없습니다. 이 업데이트를 적용하기 위해 Azure Databricks는 파이프라인을 재시작합니다. 유지보수 창은 재시작 시점을 조절할 수 있게 해줍니다: 요일, 시작 시간, 시간대를 선택하면 Azure Databricks는 그 창 내에서만 유지보수를 시작합니다.
유지보수 윈도우는 파이프라인을 실행하는 연속 작업에 설정되는 것입니다. 설정하지 않으면 언제든지 유지보수가 진행될 수 있습니다.
Azure Databricks가 업데이트를 적용하는 방법
연속 파이프라인을 업데이트하려면 Azure Databricks가 새 클러스터에서 새 파이프라인 업데이트를 시작하고 이전 클러스터를 종료합니다. 연속적인 파이프라인이 스트리밍 체크포인트에서 진행 상황을 추적하기 때문에, 새로운 업데이트는 이전 업데이트가 중단된 지점에서 다시 시작됩니다. 데이터 처리는 교환 중에 잠시 멈췄다가 데이터를 잃지 않고 계속됩니다.
Azure Databricks는 선택한 날 시작 시간부터 시작하는 1시간 이내에 유지보수를 시작합니다. 재시작 자체는 보통 짧습니다.
업무량에 맞는 짧은 재시작이 허용되는 요일과 시작 시간을 선택하세요.
어떤 업데이트가 포함됩니까?
연속 파이프라인의 유지보수에는 다음이 포함될 수 있습니다:
- Databricks 런타임 버전 업그레이드
- 보안 패치 및 업데이트
- 운영 체제 업데이트
- Lakeflow의 Spark 선언적 파이프라인 기능 및 개선 사항
- 서버리스 인프라 유지보수, 예를 들어 장기간 운영된 서버리스 클러스터의 주기적 재활용
런타임 업그레이드(서비스 업그레이드)와 서버리스 인프라 유지보수 모두 설정한 유지보수 윈도우를 존중합니다.
Important
서버리스 클러스터는 최대 수명을 가집니다. 다음 유지 관리 창 전에 해당 한도에 도달하면, Azure Databricks는 현재 시간이 유지 관리 창에 해당하지 않더라도 한도를 준수하기 위해 파이프라인을 다시 시작합니다. 이렇게 하면 장기 운용 파이프라인이 결국 재활용될 수 있습니다.
업데이트가 적용되는 빈도는 얼마인가요?
Azure Databricks는 유지보수가 필요할 때만 업데이트를 적용합니다. 새로운 런타임 버전은 주기적으로 출시되며, 서버리스 인프라 유지보수는 주기적으로 이루어집니다. 개별 파이프라인이 재시작하는 빈도는 다음과 같습니다:
- 파이프라인에 적용되는 새로운 Databricks 런타임 릴리스의 주기
- 서버리스 파이프라인의 경우, 서버리스 클러스터 재활용 스케줄이 적용됩니다
- 정비 기간이 얼마나 자주 발생하는지는
유지 관리 기간이 되었을 때 대기 중인 업데이트가 없으면 그 기간은 재시작 없이 지나갑니다.
유지보수 창을 설정하세요
Azure Databricks UI에서 Jobs REST API, 또는 Declarative Automation Bundles를 통해 유지보수 창을 설정할 수 있습니다.
정비 창은 세 가지 필수 요소로 구성됩니다:
| Setting | 설명 |
|---|---|
| 요일 | 월요일부터 일요일까지 단 하루. |
| 시작 시간 | 창이 시작되는 시간으로, 24시간제 기준 0에서 23까지의 정수입니다. |
| 시간대 |
Java 시간대 ID와 예: America/New_York. Azure Databricks는 이 시간대에서 윈도우를 평가합니다. |
메모
유지보수 창은 연속적인 작업과 파이프라인에만 적용됩니다. 이 설정은 일정이나 다른 트리거 유형으로 실행되는 작업에는 제공되지 않습니다.
UI에서 유지보수 창을 설정하세요
작업 UI나 파이프라인 UI 중 어디에서든 유지보수 창을 구성할 수 있습니다.
채용 UI에서
- Azure Databricks 작업 공간 사이드바에서
작업 및 파이프라인. - 일자리 이름을 클릭하세요.
- 작업 세부 창에서 연속 트리거를 열고 고급(Advanced)을 펼치면 유지보수 창을 찾으세요.
- 요일, 시작 시간, 시간대를 선택하세요.
- 저장을 클릭합니다.
파이프라인 UI에서
- Azure Databricks 작업 공간 사이드바에서 작업 및 파이프라인.
- 파이프라인 이름을 클릭하세요.
- 일정을 열고 고급 설정을 펼치면 유지보수 창을 찾으세요.
- 요일, 시작 시간, 시간대를 선택하세요.
- 저장을 클릭합니다.
Jobs API로 유지보수 창을 설정하세요
Jobs REST API로 작업을 생성하거나 업데이트할 때 설정 내에서 continuous 필드를 maintenance_window 설정하세요. 다음 예시는 화요일 동부 표준시 기준 오전 2시에 유지보수를 시작하도록 구성합니다:
{
"continuous": {
"pause_status": "UNPAUSED",
"maintenance_window": {
"start_hour": 2,
"day_of_week": "TUESDAY",
"timezone_id": "America/New_York"
}
}
}
유지보수 창을 설정할 때 세 필드(start_hour, day_of_week, , , timezone_id) 모두 필요합니다.
start_hour는 0에서 23 사이의 정수여야 합니다.
선언적 자동화 번들로 유지보수 창을 구성하세요
작업의 continuous 매핑 안에 maintenance_window 매핑을 설정하세요.
maintenance_window 매핑을 사용하려면 Databricks CLI 버전 1.16.0 이상이 필요합니다. 이전 버전에서 검증이 실패하도록 하려면 bundle.databricks_cli_version을 '>= 1.16.0'으로 설정하세요. 다음 예시는 화요일 동부 표준시 기준 오전 2시에 유지보수를 시작하도록 구성합니다:
bundle:
name: continuous_pipeline_bundle
databricks_cli_version: '>= 1.16.0'
resources:
jobs:
continuous_pipeline_job:
name: continuous_pipeline_job
continuous:
pause_status: UNPAUSED
maintenance_window:
start_hour: 2
day_of_week: TUESDAY
timezone_id: America/New_York
tasks:
- task_key: refresh_pipeline
pipeline_task:
pipeline_id: ${resources.pipelines.example_pipeline.id}
유지보수 알림 구성
Azure Databricks는 유지보수 재시작과 완료 시 알림을 받을 수 있습니다. 유지보수 알림은 표준 Lakeflow Jobs 알림 시스템을 사용하므로, 이메일 주소나 Slack, PagerDuty, Microsoft Teams 같은 대상 시스템으로 전달할 수 있습니다. 작업에 알림 추가하기
연속 작업에서는 두 가지 이벤트가 제공됩니다:
- 유지보수 시작: 유지보수 재시작이 시작될 때 전송됩니다. 작업, 원인(예: 서비스 업그레이드), 시작 시간이 포함됩니다.
- 유지보수 완료: 재시작이 끝나면 전송됩니다. 원인, 완료 시간, 재시작 시간, 재시작 후 파이프라인 상태를 포함합니다.
일광절약 시간 전환
Azure Databricks는 설정한 시간대의 유지보수 창을 평가하므로, 그 창은 해당 구역의 일광절약 시간 전환을 따라갑니다. 대부분의 날에는 창이 지정된 현지 시간부터 시작됩니다. 시계가 바뀌는 날에는 시작 시간이 최대 한 시간까지 이동할 수 있습니다. 운영 일정에 맞는 시간대를 선택하세요.
업데이트 중 중단 상황 처리
유지보수 재시작은 데이터 처리를 일시정지하고 새 업데이트가 진행됩니다. 스트리밍 소스는 일시정지 동안 데이터를 계속 누적하며, 새로운 업데이트는 파이프라인의 체크포인트에서 재개되므로 데이터가 손실되지 않습니다.
파이프라인에 엄격한 지연 요건이 있다면, 잠시 일시정지가 허용되는 기간 동안 유지보수 창을 선택하세요. 재시작 후 파이프라인이 정상 상태로 돌아왔는지 확인하려면 유지보수 완료 알림을 모니터링하세요.