Заметки о выпуске Декларативных конвейеров Spark Lakeflow 2026

В 2026 году были выпущены следующие функции, улучшения и исправления ошибок Lakeflow Spark декларативных конвейеров данных.

Замечание

Поскольку выпуски канала Декларативные конвейеры Lakeflow Spark следуют последовательному процессу обновления, обновления каналов разворачиваются в различных регионах в разное время. Ваш релиз, включая версии Databricks Runtime, может не обновляться в течение недели или более после первоначальной даты выхода. Чтобы найти версию Databricks Runtime для конвейера, см. раздел Сведения о среде выполнения.

Февраль 2026 г.

Эти функции и улучшения декларативных конвейеров Lakeflow Spark были выпущены в период с 14 января 2026 г. по 25 февраля 2026 г.

Версии среды выполнения Databricks, используемые этим выпуском

канал:

• CURRENT (по умолчанию): Databricks Runtime 16.4
• ПРЕДВАРИТЕЛЬНАЯ ВЕРСИЯ: Databricks Runtime 17.3

Новые функции и улучшения

• Конвейеры теперь поддерживают расширение типов для таблиц Delta, что дает возможность безопасно расширить типы данных столбцов (например, с INT до LONG, с FLOAT до DOUBLE) без необходимости полного сброса конвейера. Это позволяет автоматизировать рабочие процессы адаптации схемы, которые ранее требовали ручного вмешательства.
• Теперь можно использовать материализацию SCD Типа 1 с AUTO CDC, обеспечивая более простой шаблон CDC, который обновляет последнее значение без ведения полного журнала изменений. Это снижает затраты на хранение для вариантов использования, для которых не требуется полный журнал.
• Конвейеры теперь повторно используют существующие кластеры при повторе неудачных обновлений, уменьшая задержку повторных попыток и уменьшая затраты на вычислительные ресурсы, устраняя избыточное время запуска кластера.
• Включение прогнозной оптимизации теперь отображается правильно для материализованных представлений и потоковых таблиц, если они были обновлены в течение последнего месяца.
• Конвейеры теперь проверяют несколько потоков вместе, выявляя конфликты конфигурации и проблемы зависимостей между потоками на этапе пробного запуска перед выполнением.
• Изменяемые метаданные теперь сохраняются во время обновлений конвейера загрузки данных, что обеспечивает полную поддержку команд ALTER в потоковых таблицах для загрузки данных.
• Ошибки Python в конвейерах теперь содержат коды состояний SQL, что улучшает диагностику ошибок и позволяет более эффективно программно обрабатывать ошибки в инструментах нижнего уровня.
• Конвейеры теперь поддерживают экземпляры ARM для классических вычислений.

Исправления ошибок

• Значения идентификаторов в таблицах потоковой передачи только для добавления теперь правильно создаются при первом обновлении.

Январь 2026 г.

Эти функции и улучшения декларативных конвейеров Lakeflow Spark были выпущены в период с 14 ноября 2025 г. по 13 января 2026 г.

Версии среды выполнения Databricks, используемые этим выпуском

канал:

• CURRENT (по умолчанию): Databricks Runtime 16.4
• ПРЕДВАРИТЕЛЬНАЯ ВЕРСИЯ: Databricks Runtime 17.3

Новые функции и улучшения

• Теперь вы можете хранить и управлять ожиданиями качества данных непосредственно в таблицах каталога Unity, централизуя правила качества данных в рамках вашей системы управления данными. Это позволяет создавать правила качества с управлением версиями и аудитом, которые можно совместно использовать в нескольких потоках.

• Непрерывные конвейеры, выполняющиеся дольше 7 дней, теперь перезапускаются с минимальным временем простоя и явной причиной обновления (INFRASTRUCTURE_MAINTENANCE), вместо резкого перезапуска, когда необходимо обновить основную вычислительную инфраструктуру.

• Конвейеры теперь поддерживают режим выполнения в очереди, в котором несколько запросов на обновление автоматически помещаются в очередь и выполняются последовательно, вместо того чтобы завершаться с конфликтами. Это упрощает операции для конвейеров с частыми триггерами обновления и устраняет необходимость в координации повторных попыток вручную.

• Теперь можно материализовать несколько представлений SCD Type 2 из одного источника измененных данных, повышая эффективность при создании нескольких исторических представлений одних и того же данных. Это устраняет необходимость повторной обработки исходных данных для каждого выходного данных типа 2 SCD.

• Теперь расписания и конфигурации конвейера можно хранить и считывать из свойств таблицы каталога Unity, что позволяет централизованно управлять параметрами с помощью управления данными. Это позволяет управлять поведением конвейера вместе с определениями данных.

• MANAGE Теперь разрешения автоматически распространяются на материализованные представления и потоковые таблицы в Unity Catalog, упрощая управление разрешениями для выходных данных в конвейере. Это обеспечивает согласованное управление доступом без предоставления разрешений вручную.

• Операции SCD Type 2 теперь автоматически сливают записи-дубликаты с одинаковым естественным ключом, обеспечивая согласованность данных и предотвращая создание повторяющихся исторических записей в таблицах размерностей с медленно изменяющимися данными.

• Теперь конвейеры могут автоматически удалять неактивные таблицы, которые больше не являются частью определения конвейера. Это помогает поддерживать чистоту хранилищ данных и сокращать затраты на хранение за счет выведения из эксплуатации устаревших таблиц. См. раздел "Использование каталога Unity с конвейерами".

• Определения конвейера, операции исправления и изменения удостоверений для запуска теперь включены в журнал аудита, что обеспечивает всестороннее отслеживание изменений конфигурации для мониторинга соответствия требованиям и безопасности. См. журнал событий конвейера.

Исправления ошибок

В этот период выпуска не было включено никаких существенных исправлений ошибок. Все изменения были новыми функциями и улучшениями.