다음 Lakeflow 파이프라인 기능, 개선 사항 및 버그 수정은 2026년에 릴리스되었습니다.
비고
Lakeflow 파이프라인 채널 릴리스는 롤링 업그레이드 프로세스를 따르므로 채널 업그레이드는 서로 다른 시간에 다른 지역에 배포됩니다. Databricks Runtime 버전을 포함한 해당 릴리스는 초기 릴리스 날짜 후 일주일 이후까지 업데이트되지 않을 수 있습니다. 파이프라인에 대한 현재 Databricks 런타임 버전을 찾으려면 런타임 정보를 참조하세요.
2026년 7월
이러한 기능과 개선된 Lakeflow 파이프라인은 2026년 7월 7일부터 2026년 8월 12일 사이에 공개되었습니다.
이 릴리스에서 사용하는 Databricks의 런타임 버전
다음 버전들은 2026년 8월 12일 기준으로 최신 버전입니다.
채널:
- CURRENT(기본값): Databricks Runtime 17.3
- 미리 보기: Databricks Runtime 18
새로운 기능 및 개선 사항
- 파이프라인은 이제 버전 없는 모드를 지원하는데, 이 모드에서는 Azure Databricks가 특정 버전을 고정하는 대신 자동으로 Databricks 런타임 버전을 관리합니다. 이렇게 하면 수동 버전 업그레이드 없이 파이프라인이 유지되는 런타임을 유지할 수 있습니다.
- 카탈로그 커밋은 이제 모든 작업 공간에서 스트리밍 테이블과 물질화된 뷰에 대한 공개 미리보기 로 제공됩니다. 멀티테이블, 다중 명세서 트랜잭션 내에서 카탈로그 커밋이 활성화된 스트리밍 테이블에 대해 데이터 조작 문장(DML) 작업을 실행할 수 있습니다. 카탈로그 커밋을 참조하세요.
- 파이프라인은 이제 기존 체크포인트를 가져올 수 있어 마이그레이션 및 복구 시나리오가 간소화되었습니다.
- 연속 파이프라인은 이제 쿼리 이력과 통합되어 장기 지속 업데이트로 인한 변경 사항에 대한 추적성을 향상시킵니다.
- 이제 동시 활성 파이프라인 업데이트 최대 수를 설정할 수 있어 파이프라인 동시성에 대한 제어가 더 커집니다.
- 새로운 파이프라인은 이제 자동으로 현재 퍼블리싱 모드로 전환되어 파이프라인 생성이 간소화되었습니다.
- 예약된 새로고침은 이제 임시 뷰를 참조하는 독립형 물질화된 뷰와 스트리밍 테이블에서 차단되어 새로고침 실패를 방지합니다.
버그 수정
이 릴리스 기간에는 중요한 버그 수정이 포함되지 않았습니다. 모든 변경 내용은 새로운 기능과 향상된 기능이었습니다.
2026년 6월
이러한 기능 및 Lakeflow 파이프라인 개선 사항은 2026년 6월 10일부터 2026년 7월 7일 사이에 릴리스되었습니다.
이 릴리스에서 사용하는 Databricks의 런타임 버전
다음 버전은 2026년 7월 7일 현재입니다.
채널:
- CURRENT(기본값): Databricks Runtime 17.3
- 미리 보기: Databricks 런타임 18
새로운 기능 및 개선 사항
-
AUTO CDC이제 대상 테이블은 액체 클러스터링을 지원하며, 기본 키 또는 수집 사양을 통해 사용하도록 설정할 수 있습니다. 이렇게 하면 수동 클러스터링 유지 관리 없이 변경 데이터 캡처 대상에 대한 쿼리 성능이 향상됩니다. - 이제
CONSTRAINT expectation_name EXPECT (expectation_expr)절을 사용하여 독립 실행형 구체화된 뷰에 데이터 품질 기대 사항을 추가할 수 있습니다. 이렇게 하면 파이프라인 정의 없이 독립 실행형 구체화된 뷰에 데이터 품질 규칙을 적용할 수 있습니다. -
REPLACE WHERE흐름은 이제 증분 새로 고침을 지원합니다. 적격한 흐름은 전체 입력을 다시 처리하는 대신 변경된 데이터만 다시 계산하여 새로 고침 비용을 줄입니다. - 클래식 컴퓨팅에서 실행되는 파이프라인은 이제 환경 버전을 지원하므로 클래식 컴퓨팅에 대한 종속성 관리를 더 많이 제어할 수 있습니다.
버그 수정
- 유휴 상태였던 커넥터가 재개될 때 커밋된 커서가 멈춘 상태가 되어 수집 진행이 중단될 수 있는 문제가 해결되었습니다.
2026년 5월
이러한 기능 및 Lakeflow 파이프라인의 개선 사항은 2026년 5월 6일부터 2026년 6월 9일 사이에 릴리스되었습니다.
이 릴리스에서 사용하는 Databricks의 런타임 버전
다음 버전은 2026년 6월 9일 현재입니다.
채널:
- CURRENT(기본값): Databricks Runtime 17.3
- 미리 보기: Databricks Runtime 18.1
새로운 기능 및 개선 사항
-
AUTO CDC이제 각 행에 대해 시스템 시간(레코드가 저장된 시점)과 유효 시간(해당 내용이 실제로 유효했던 시점)을 모두 유지하는 이중 시간 추적을 지원합니다. 이를 통해 재무, 감사 및 규제 워크로드에 대한 특정 시점의 정확성을 구현할 수 있습니다. - Python 기반 파이프라인은 이제 이전 업데이트의 가상 환경을 다시 사용합니다. 웜 풀 REPL은 캐시된 환경을 미리 로드하므로 업데이트 간에 환경이 변경되지 않은 경우 종속성 설치를 건너뜁니다. 이렇게 하면 시작 시간이 줄어듭니다.
- 이제 Notebook 셀에서 호출을 사용하는
%pip install대신 파이프라인 정의에서 직접 Python 라이브러리 종속성을 선언할 수 있습니다. 종속성은 업데이트가 시작될 때 Python 환경에 설치됩니다. 파이프라인에 대한 Python 종속성 관리를 참조하세요. - 이제 자동 액체 클러스터링(
CLUSTER BY AUTO)을 사용하는 파이프라인은 구체화된 뷰 스키마에서 해당 열을 제거할 때 클러스터링 열을 자동으로 삭제합니다. 이전에는 수동 전체 새로 고침이 필요했습니다. - 이제
ALTER MATERIALIZED VIEW또는ALTER STREAMING TABLE ... SET OWNER TO을 사용하여 구체화 뷰 또는 스트리밍 테이블의 소유자를 서비스 주체로 변경할 수 있습니다. 이전에는 카탈로그 탐색기를 통해서만 소유권을 변경할 수 있습니다. -
ALTER TABLE ... DROP FEATURE는 이제 구체화된 뷰 및 스트리밍 테이블에 대해 지원됩니다.
버그 수정
- 중복
StartUpdate호출이 여러 개의 동시 파이프라인 업데이트를 트리거할 수 있는 경합 상태를 해결했습니다. 이제 중복 실행을 방지하기 위해 Idempotency 토큰의 유효성을 검사하고 저장합니다.
2026년 4월
이러한 기능 및 Lakeflow 파이프라인 개선 사항은 2026년 4월 5일부터 2026년 5월 6일 사이에 릴리스되었습니다.
이 릴리스에서 사용하는 Databricks의 런타임 버전
다음 버전은 2026년 5월 6일 현재입니다.
채널:
- CURRENT(기본값): Databricks Runtime 17.3
- 미리 보기: Databricks Runtime 18.1
새로운 기능 및 개선 사항
- 독립 실행형 구체화된 뷰 및 스트리밍 테이블(이전에 Databricks SQL의 파이프라인이라고 함)은 이제 서버리스 컴퓨팅(베타)에서 사용할 수 있으므로 전용 파이프라인 클러스터를 프로비전하지 않고도 이러한 개체를 만들고 관리할 수 있습니다. 이렇게 하면 독립 실행형 선언적 개체에 대한 운영 오버헤드 및 비용이 줄어듭니다.
- 파이프라인 및 독립 실행형 스트리밍 테이블은 이제
REPLACE WHERE플로우(베타)를 지원합니다.REPLACE WHERE흐름은 조인 및 집계의 증분 일괄 처리에 적합합니다. REPLACE WHERE 흐름을 사용한 Batch 처리를 참조하세요. - SCD 형식 2 처리는 이제 읽기 및 쓰기 작업 중에 버전 맵에서 null 항목을 생략하여 느린 변경 차원 워크로드에 대한 스토리지 효율성 및 쿼리 성능을 향상합니다.
- 이제 Databricks SQL 편집기에서는 구체화된 뷰를 만들고 편집기에서 직접 안내된 지원 및 구문 도움말을 제공하는 전용 기술을 포함합니다. 이렇게 하면 구체화된 뷰를 정의하고 구성하는 워크플로가 간소화됩니다.
- 이제 Databricks SQL 편집기에서 CDC(변경 데이터 캡처) 파이프라인을 설정하는 데 도움이 되는 기술이 포함되어
AUTO CDC있습니다. 이렇게 하면 CDC 파이프라인을 구성하기 위한 학습 곡선이 줄어듭니다.
버그 수정
이 릴리스 기간에는 중요한 버그 수정이 포함되지 않았습니다. 모든 변경 내용은 새로운 기능과 향상된 기능이었습니다.
2026년 3월
이러한 기능과 Lakeflow 파이프라인의 개선 사항은 2026년 2월 26일부터 2026년 3월 31일 사이에 릴리스되었습니다.
이 릴리스에서 사용하는 Databricks의 런타임 버전
다음 버전은 2026년 3월 31일 현재입니다.
채널:
- CURRENT(기본값): Databricks Runtime 17.3.8
- 미리 보기: Databricks Runtime 18.1.0
새로운 기능 및 개선 사항
- 서버리스 파이프라인은 이제 CPU 기반 수직 자동 크기 조정을 지원합니다. 이 기능은 워크로드 안정성을 개선하기 위해 실제 CPU 사용률에 따라 클러스터 리소스를 동적으로 조정합니다.
- 이제 파이프라인을 삭제할 때 Unity 카탈로그 테이블을 유지하고 파이프라인 제거 후에도 데이터 자산을 유지할 수 있습니다. 이렇게 하면 데이터 손실의 위험 없이 파이프라인 수명 주기를 보다 유연하게 관리할 수 있습니다.
- 이제 스트리밍 데이터 파이프라인을 정의하는 보다 직접적이고 선언적인 방법을 제공하는 새 흐름 구문을 사용하여 스트리밍 테이블을 만들 수 있습니다. 이렇게 하면 파이프라인 작성이 간소화되고 현재 데이터 엔지니어링 패턴과 일치합니다.
- 이제 파이프라인은 테이블 업데이트 중에 행 필터 및 열 마스크 구성을 유지하므로 Unity 카탈로그 보안 정책은 파이프라인 새로 고침에서 그대로 유지됩니다. 이렇게 하면 스키마가 진화하는 동안 실수로 보안 정책이 제거되지 않습니다.
- CDC 적용 변경 내용이 이제 날짜/시간 재베이스 모드를 지원합니다. 이 기능은 레거시 및 최신 일정 시스템 간의 타임스탬프 변환을 올바르게 처리합니다. 이렇게 하면 변경 데이터 캡처 흐름을 통해 기록 날짜/시간 데이터를 처리할 때 데이터 불일치가 방지됩니다.
- 이제 스트리밍 파이프라인의 작업 내에서
foreachBatchSQL 문을 사용하여 보다 유연한 마이크로 일괄 처리 논리를 사용할 수 있습니다. 이렇게 하면 사용자 지정 일괄 처리를 위해 Python 또는 Scala가 필요한 이전 제한 사항이 제거됩니다. - 파이프라인은 이제 싱크 등록에서 전방 참조를 지원합니다. 선언되기 전에 다운스트림 테이블을 참조하는 데이터 흐름을 정의할 수 있습니다. 이렇게 하면 복잡한 파이프라인 정의가 간소화되고 순서 지정 제약 조건이 제거됩니다.
- 한 번만 추가하는 흐름은 이제 테스트 실행 동안 유효성을 검사하여 파이프라인 실행이 시작되기 전에 구성 오류를 발견합니다. 이렇게 하면 파이프라인 작성 워크플로의 앞부분에서 문제를 표시하여 개발 환경을 개선합니다.
버그 수정
이 릴리스 기간에는 중요한 버그 수정이 포함되지 않았습니다. 모든 변경 내용은 새로운 기능과 향상된 기능이었습니다.
2026년 2월
이러한 기능 및 Lakeflow 파이프라인 개선 사항은 2026년 1월 14일부터 2026년 2월 25일 사이에 릴리스되었습니다.
이 릴리스에서 사용하는 Databricks의 런타임 버전
다음 버전은 2026년 2월 25일 현재입니다.
채널:
- CURRENT(기본값): Databricks Runtime 17.3
- 미리 보기: Databricks Runtime 17.3
새로운 기능 및 개선 사항
- 이제 파이프라인은 델타 테이블에 대한 유형 확장을 지원하므로 전체 파이프라인을 재설정하지 않고도 열 데이터 유형을 안전하게 확대할 수 있습니다(예:
INT에서LONG,FLOAT에서DOUBLE로). 이렇게 하면 이전에 수동 개입이 필요했던 스키마 진화 워크플로를 사용할 수 있습니다. - 이제 SCD Type 1 구체화를
AUTO CDC사용하여 전체 변경 기록을 유지하지 않고 최신 값을 upsert하는 더 간단한 CDC 패턴을 제공할 수 있습니다. 이렇게 하면 전체 기록이 필요하지 않은 사용 사례에 대한 스토리지 오버헤드가 줄어듭니다. - 이제 파이프라인은 실패한 업데이트를 다시 시도할 때 기존 클러스터를 재사용하여 재시도 대기 시간을 줄이고 중복 클러스터 시작 시간을 제거하여 컴퓨팅 비용을 절감합니다.
- 이제 예측 최적화 사용이 지난 달 내에 새로 고쳐진 경우 구체화된 뷰 및 스트리밍 테이블에 올바르게 표시됩니다.
- 이제 파이프라인은 여러 흐름의 유효성을 함께 검사하여, 실행에 앞서 마무리 단계에서 흐름 간의 구성 충돌 및 종속성 문제를 찾아냅니다.
- 이제 파이프라인 업데이트 시 변경 가능한 메타데이터가 유지되어 데이터 입력 스트리밍 테이블에서 'ALTER' 명령을 완전히 지원할 수 있습니다.
- 파이프라인의 Python 오류는 이제 SQL 상태 코드를 전달하여 오류 진단을 개선하고 다운스트림 도구에서 더 나은 프로그래밍 방식 오류 처리를 가능하게 합니다.
- 이제 파이프라인은 클래식 컴퓨팅을 위한 ARM 인스턴스를 지원합니다.
버그 수정
- 이제 첫 번째 업데이트 실행 시 추가 전용 스트리밍 테이블의 ID 열 값이 올바르게 생성됩니다.
2026년 1월
이러한 기능 및 Lakeflow 파이프라인 개선 사항은 2025년 11월 14일부터 2026년 1월 13일 사이에 릴리스되었습니다.
이 릴리스에서 사용하는 Databricks의 런타임 버전
다음 버전은 2026년 1월 13일 현재입니다.
채널:
- CURRENT(기본값): Databricks Runtime 17.3
- 미리 보기: Databricks Runtime 17.3
새로운 기능 및 개선 사항
이제 데이터 관리 프레임워크를 사용하여 데이터 품질 규칙을 중앙 집중화하여 Unity 카탈로그 테이블에 직접 데이터 품질 기대치를 저장하고 관리할 수 있습니다. 이렇게 하면 여러 파이프라인에서 공유할 수 있는 버전 제어 감사 가능한 품질 규칙을 사용할 수 있습니다.
이제 7일 이상 실행되는 연속 파이프라인은 기본 컴퓨팅을 새로 고쳐야 할 때 갑자기 다시 시작하는 대신 가동 중지 시간을 최소화하고 명시적 업데이트 원인(
INFRASTRUCTURE_MAINTENANCE)으로 정상적으로 다시 시작합니다.파이프라인은 이제 여러 업데이트 요청이 충돌로 실패하지 않고 자동으로 대기 큐에 들어가 순차적으로 실행되는 큐 대기 실행 모드를 지원합니다. 이렇게 하면 자주 업데이트 트리거가 있는 파이프라인에 대한 작업이 간소화되고 수동 재시도 조정이 필요하지 않습니다.
이제 단일 변경 데이터 원본에서 여러 SCD 형식 2 보기를 구체화하여 동일한 데이터의 여러 기록 보기를 만들 때 효율성을 향상시킬 수 있습니다. 이렇게 하면 각 SCD 형식 2 출력에 대한 원본 데이터를 다시 처리할 필요가 없습니다.
이제 Unity 카탈로그 테이블 속성에서 파이프라인 일정 및 구성을 저장하고 읽을 수 있으므로 데이터 거버넌스를 통해 중앙 집중식 설정 관리를 사용할 수 있습니다. 이렇게 하면 데이터 정의와 함께 파이프라인 동작을 관리할 수 있습니다.
MANAGE이제 권한이 Unity 카탈로그의 구체화된 뷰 및 스트리밍 테이블에 자동으로 전파되어 파이프라인 출력에 대한 권한 관리가 간소화됩니다. 이렇게 하면 수동 권한 부여 없이 일관된 액세스 제어가 보장됩니다.SCD 형식 2 작업은 이제 동일한 자연 키를 가진 중복 레코드를 자동으로 병합하여 데이터 일관성을 보장하고, 느리게 변하는 차원 테이블 내 중복 기록을 방지합니다.
이제 파이프라인에는 파이프라인 정의에 더 이상 포함되지 않은 비활성 테이블을 자동으로 삭제하는 옵션이 있습니다. 이렇게 하면 깨끗한 데이터 웨어하우스를 유지하고 사용되지 않는 테이블의 스토리지 비용을 줄일 수 있습니다. 파이프라인에서 Unity 카탈로그 사용을 참조하세요.
이제 파이프라인 정의, 패치 작업 및 실행 ID 변경 내용이 감사 로그에 포함되어 규정 준수 및 보안 모니터링을 위한 구성 변경 내용을 포괄적으로 추적할 수 있습니다. 파이프라인 이벤트 로그를 참조하세요.
버그 수정
이 릴리스 기간에는 중요한 버그 수정이 포함되지 않았습니다. 모든 변경 내용은 새로운 기능과 향상된 기능이었습니다.