DLT выпуск 2025.04

23 января – 30 января 2025

Эти функции и улучшения были выпущены с выпуском DLT 2025.04.

Версии среды выполнения Databricks, используемые этим выпуском

Channel:

• "CURRENT (по умолчанию): Databricks Runtime 15.4"
• ПРЕДВАРИТЕЛЬНАЯ ВЕРСИЯ: Databricks Runtime 15.4 или 16.1

Note

Так как выпуски канала DLT следуют последовательному процессу обновления, обновления каналов развертываются в разных регионах в разные времена. Ваш выпуск, включая версии среды выполнения Databricks, может не обновляться неделю или более после начальной даты выпуска. Сведения о том, как найти версию среды выполнения Databricks для конвейера, см. в сведения о среде выполнения.

Новые функции и улучшения

• По умолчанию новые декларативные конвейеры Spark Lakeflow поддерживают создание и обновление материализованных представлений и потоковых таблиц в нескольких каталогах и схемах. Это новое поведение по умолчанию для конфигурации конвейера требует, чтобы пользователи указали целевую схему, которая становится схемой по умолчанию для конвейера. Виртуальная схема LIVE и связанный с ней синтаксис больше не требуются. Дополнительные сведения см. в разделах "Установка целевого каталога и схемы", "Настройка конвейеров" и "LIVE схема" (устаревшая версия).

• Теперь общедоступен запрос clone a pipeline в REST API Databricks. Вы можете использовать этот запрос для копирования существующего конвейера, который публикует данные в хранилище метаданных Hive, в новый конвейер, публикующий данные в Unity Catalog. См. статью Создание конвейера каталога Unity путем клонирования конвейера хранилища метаданных Hive.

• Поддержка просмотра метрик потоковой рабочей нагрузки для обновлений конвейера доступна в общедоступной предварительной версии. При просмотре обновлений конвейера в пользовательском интерфейсе Декларативного конвейера Spark Lakeflow теперь можно просматривать метрики, такие как секунды невыполненной работы, байты невыполненной работы, записи невыполненной работы и файлы невыполненной работы для каждого потока потоковой передачи в конвейере. Метрики потоковой передачи поддерживаются для источников структурированной потоковой передачи Spark, включая Apache Kafka, Amazon Kinesis и автозагрузчик. См. просмотр метрик потоковой передачи.