Delta Live Tables 릴리스 2022.37

2022년 9월 14일~22일

이러한 기능 및 개선 사항은 Delta Live Tables의 2022.37 릴리스와 함께 릴리스되었습니다.

이 릴리스에서 사용하는 Databricks 런타임 버전

채널:

파이프라인 업데이트 시작 API 요청은 이제 응답 본문에 request_id 필드를 반환합니다. request_id는 업데이트를 시작하는 원래 요청의 안정적인 식별자입니다. 업데이트가 다시 시도되거나 다시 시작되면 새 업데이트는 request_id를 상속합니다.

{
  "update_id": "the ID of the update that was started",
  "request_id": "The ID of the request that started this update"
}

새 requests API 요청(GET /pipelines/{pipeline_id}/requests/{request_id})은 request_id와 연결된 파이프라인 업데이트의 상태를 반환합니다. 응답에는 최신 업데이트에 대한 정보가 포함됩니다.

{
   "status": "ACTIVE",
   "latest_update": {
   }
 }

이제 작업이 라이브 테이블에서 읽지 않는 한 Python 코드는 dlt.table() 또는 dlt.view() 함수 외부에서 spark.sql 작업을 호출할 수 있습니다.
이제 이벤트 로그 항목에는 이벤트 스키마의 안정성을 나타내는 maturity 속성이 포함됩니다. 가능한 값은 stable, evolving 및 deprecated 입니다. Delta Live Tables 이벤트 로그에 대한 자세한 내용은 Delta Live Tables 이벤트 로그란?을 참조하세요.
스트리밍 테이블에서 사용하는 원본 테이블에 호환되지 않는 변경 내용이 적용될 때 오류 메시지가 개선됩니다.
이제 파이프라인을 만들거나 편집할 때 Delta Live Tables UI에서 클러스터 정책을 선택할 수 있습니다. 이전에는 파이프라인에 대한 클러스터 정책을 설정하려면 파이프라인의 JSON 설정을 편집해야 했습니다.
파이프라인 시작 속도가 빨라졌습니다. 이 릴리스에는 파이프라인이 시작될 때 SETTING_UP_TABLES 단계를 가속화하는 향상된 기능이 포함되어 있습니다.