Delta Live Tables 릴리스 정보 및 릴리스 업그레이드 프로세스

  • 아티클

이 문서에서는 Delta Live Tables 릴리스 프로세스, Delta Live Tables 런타임을 관리하는 방법을 설명하고 각 Delta Live Tables 릴리스에 대한 릴리스 정보 링크를 제공합니다.

Delta Live Tables 런타임 채널

Delta Live Tables 클러스터는 Databricks 런타임 릴리스 정보 버전 및 호환성을 기반으로 런타임을 사용합니다. Databricks는 델타 라이브 테이블 런타임을 자동으로 업그레이드하여 플랫폼에 대한 향상된 기능 및 업그레이드를 지원합니다. Delta Live Tables 파이프라인 설정의 필드를 사용하여 channel 파이프라인을 실행하는 Delta Live Tables 런타임 버전을 제어할 수 있습니다. 지원되는 값은 다음과 같습니다.

  • current: 현재 런타임 버전을 사용합니다.
  • preview: 런타임 버전에 대한 예정된 변경 내용으로 파이프라인을 테스트합니다.

기본적으로 파이프라인은 current 런타임 버전을 사용하여 실행됩니다. Databricks에서는 프로덕션 워크로드에 current 런타임 사용을 권장합니다. preview 설정을 사용하여 다음 런타임 버전으로 파이프라인을 테스트하는 방법을 알아보려면 다음 런타임 버전을 사용하여 파이프라인 테스트 자동화를 참조하세요.

Delta Live Tables 릴리스와 함께 사용되는 Databricks 런타임 버전을 보려면 해당 릴리스의 릴리스 정보를 참조하세요.

Delta Live Tables 채널에 대한 자세한 내용은 Delta Live Tables 파이프라인 설정의 필드를 참조 channel 하세요.

Delta Live Tables가 각 릴리스의 업그레이드 프로세스를 관리하는 방법을 이해하려면 Delta Live Tables 업그레이드가 작동하는 방식을 참조 하세요.

파이프라인 업데이트에 대한 Databricks 런타임 버전을 찾을 어떻게 할까요? 있나요?

Delta Live Tables 이벤트 로그를 쿼리하여 파이프라인 업데이트에 대한 Databricks 런타임 버전을 찾을 수 있습니다. 런타임 정보를 참조하세요.

Delta Live Tables 릴리스 정보

Delta Live Tables 릴리스 정보는 연도별 및 주차별로 정리되어 있습니다. Delta Live Tables는 버전이 없으므로 작업 영역과 런타임 변경 내용이 모두 자동으로 수행됩니다. 다음 릴리스 정보는 각 릴리스의 변경 내용 및 버그 수정에 대한 개요를 제공합니다.

Delta Live Tables 업그레이드는 어떻게 작동합니까?

Delta Live Tables는 버전이 없는 제품으로 간주됩니다. 즉, Databricks는 델타 라이브 테이블 런타임을 자동으로 업그레이드하여 플랫폼에 대한 향상된 기능 및 업그레이드를 지원합니다. Databricks는 델타 라이브 테이블 파이프라인에 대한 외부 종속성을 제한하는 것이 좋습니다.

Databricks는 자동 업그레이드가 프로덕션 Delta Live Tables 파이프라인에 오류 또는 문제를 발생시키는 것을 방지하기 위해 사전에 작동합니다. Delta Live Tables 업그레이드 프로세스를 참조 하세요.

특히 외부 종속성이 있는 Delta Live Tables 파이프라인을 배포하는 사용자의 경우 Databricks는 채널을 사용하여 파이프라인을 사전에 테스트하는 preview 것이 좋습니다. 다음 런타임 버전을 사용하여 파이프라인 테스트 자동화를 참조하세요.

Delta Live Tables 업그레이드 프로세스

Databricks는 Delta Live Tables 컴퓨팅 리소스에서 사용하는 Databricks 런타임 을 관리합니다. Delta Live Tables는 Azure Databricks 작업 영역에서 런타임을 자동으로 업그레이드하고 업그레이드 후 파이프라인의 상태를 모니터링합니다.

Delta Live Tables에서 업그레이드로 인해 파이프라인을 시작할 수 없음을 감지하면 파이프라인의 런타임 버전이 안정적인 것으로 알려진 이전 버전으로 되돌리기 다음 단계가 자동으로 트리거됩니다.

  • 파이프라인의 Delta Live Tables 런타임은 이전의 정상 작동이 확인된 버전에 고정됩니다.
  • Delta Live Tables UI는 업그레이드 실패로 인해 파이프라인이 이전 버전에 고정되었다는 시각적 표시기를 보여줍니다.
  • Databricks 지원에서 이 문제에 대해 알림을 받습니다.
    • 문제가 런타임의 회귀와 관련된 경우 Databricks는 문제를 해결합니다.
    • 파이프라인에서 사용하는 사용자 지정 라이브러리 또는 패키지로 인해 문제가 발생하는 경우 Databricks는 문제를 해결하기 위해 사용자에게 연락합니다.
  • 문제가 해결되면 Databricks는 업그레이드를 다시 시작합니다.

Important

Delta Live Tables는 채널이 로 설정된 current프로덕션 모드에서 실행되는 파이프라인만 되돌리기.

다음 런타임 버전을 사용하여 파이프라인 테스트 자동화

다음 Delta Live Tables 런타임 버전의 변경 내용이 파이프라인에 영향을 주지 않도록 하려면 Delta Live Tables 채널 기능을 사용합니다.

  1. 스테이징 파이프라인을 만들고 채널을 preview로 설정합니다.
  2. Delta Live Tables UI에서 매주 파이프라인을 실행하도록 일정을 만들고 파이프라인 오류에 대한 이메일 알림을 받을 수 있도록 경고를 활성화합니다. Databricks는 특히 사용자 지정 파이프라인 종속성을 사용하는 경우 파이프라인의 주간 테스트 실행을 예약하는 것이 좋습니다.
  3. 오류 알림을 받았지만 해결할 수 없는 경우 Databricks로 지원 티켓을 엽니다.

파이프라인 종속성

Delta Live Tables는 파이프라인의 외부 종속성을 지원합니다. 예를 들어 %pip install 명령을 사용하여 모든 Python 패키지를 설치할 수 있습니다. Delta Live Tables는 전역 및 클러스터 범위 init 스크립트 사용도 지원합니다. 그러나 이러한 외부 종속성, 특히 init 스크립트는 런타임 업그레이드와 관련된 문제의 위험을 높입니다. 이러한 위험을 완화하려면 파이프라인에서 init 스크립트 사용을 최소화합니다. 처리에 init 스크립트가 필요한 경우 파이프라인 테스트를 자동화하여 문제를 조기에 감지합니다. 다음 런타임 버전을 사용하여 파이프라인 테스트 자동화를 참조하세요. init 스크립트를 사용하는 경우 Databricks는 테스트 빈도를 늘리는 것이 좋습니다.