다음 Lakeflow Spark 선언적 파이프라인 기능, 개선 사항 및 버그 수정은 2026년에 릴리스되었습니다.
비고
Lakeflow Spark 선언적 파이프라인 채널 릴리스는 롤링 업그레이드 프로세스를 따르므로 채널 업그레이드는 서로 다른 시간에 다른 지역에 배포됩니다. Databricks Runtime 버전을 포함한 해당 릴리스는 초기 릴리스 날짜 후 일주일 이후까지 업데이트되지 않을 수 있습니다. 파이프라인에 대한 Databricks 런타임 버전을 찾으려면 런타임 정보를 참조하세요.
2026년 1월
이러한 기능 및 Lakeflow Spark 선언적 파이프라인의 개선 사항은 2025년 11월 14일부터 2026년 1월 13일 사이에 릴리스되었습니다.
이 릴리스에서 사용하는 Databricks의 런타임 버전
채널:
- CURRENT(기본값): Databricks Runtime 16.4
- 미리 보기: Databricks Runtime 17.3
새로운 기능 및 개선 사항
이제 데이터 관리 프레임워크를 사용하여 데이터 품질 규칙을 중앙 집중화하여 Unity 카탈로그 테이블에 직접 데이터 품질 기대치를 저장하고 관리할 수 있습니다. 이렇게 하면 여러 파이프라인에서 공유할 수 있는 버전 제어 감사 가능한 품질 규칙을 사용할 수 있습니다.
이제 7일 이상 실행되는 연속 파이프라인은 기본 컴퓨팅을 새로 고쳐야 할 때 갑자기 다시 시작하는 대신 가동 중지 시간을 최소화하고 명시적 업데이트 원인(
INFRASTRUCTURE_MAINTENANCE)으로 정상적으로 다시 시작합니다.파이프라인은 이제 여러 업데이트 요청이 충돌로 실패하지 않고 자동으로 대기 큐에 들어가 순차적으로 실행되는 큐 대기 실행 모드를 지원합니다. 이렇게 하면 자주 업데이트 트리거가 있는 파이프라인에 대한 작업이 간소화되고 수동 재시도 조정이 필요하지 않습니다.
이제 단일 변경 데이터 원본에서 여러 SCD 형식 2 보기를 구체화하여 동일한 데이터의 여러 기록 보기를 만들 때 효율성을 향상시킬 수 있습니다. 이렇게 하면 각 SCD 형식 2 출력에 대한 원본 데이터를 다시 처리할 필요가 없습니다.
이제 Unity 카탈로그 테이블 속성에서 파이프라인 일정 및 구성을 저장하고 읽을 수 있으므로 데이터 거버넌스를 통해 중앙 집중식 설정 관리를 사용할 수 있습니다. 이렇게 하면 데이터 정의와 함께 파이프라인 동작을 관리할 수 있습니다.
MANAGE이제 권한이 Unity 카탈로그의 구체화된 뷰 및 스트리밍 테이블에 자동으로 전파되어 파이프라인 출력에 대한 권한 관리가 간소화됩니다. 이렇게 하면 수동 권한 부여 없이 일관된 액세스 제어가 보장됩니다.SCD 형식 2 작업은 이제 동일한 자연 키를 가진 중복 레코드를 자동으로 병합하여 데이터 일관성을 보장하고, 느리게 변하는 차원 테이블 내 중복 기록을 방지합니다.
이제 파이프라인에는 파이프라인 정의에 더 이상 포함되지 않은 비활성 테이블을 자동으로 삭제하는 옵션이 있습니다. 이렇게 하면 깨끗한 데이터 웨어하우스를 유지하고 사용되지 않는 테이블의 스토리지 비용을 줄일 수 있습니다. 파이프라인에서 Unity 카탈로그 사용을 참조하세요.
이제 파이프라인 정의, 패치 작업 및 실행 ID 변경 내용이 감사 로그에 포함되어 규정 준수 및 보안 모니터링을 위한 구성 변경 내용을 포괄적으로 추적할 수 있습니다. 파이프라인 이벤트 로그를 참조하세요.
버그 수정
이 릴리스 기간에는 중요한 버그 수정이 포함되지 않았습니다. 모든 변경 내용은 새로운 기능과 향상된 기능이었습니다.