Что будет?

Узнайте о функциях и изменениях поведения в предстоящих выпусках Azure Databricks.

Управление статистикой, включенное по умолчанию с прогнозной оптимизацией

Начиная с 21 января Databricks начнет включать управление статистикой для всех учетных записей с поддержкой прогнозной оптимизации. Управление статистикой расширяет существующие функции прогнозной оптимизации, добавляя коллекцию статистики при записи и автоматически выполняя команды ANALYZE для управляемых таблиц каталога Unity. Дополнительные сведения о прогнозной оптимизации см. в прогнозной оптимизации для таблиц, управляемых каталогом Unity.

Изменение поведения при удалении определений набора данных из конвейера Delta Live Tables

Предстоящий выпуск новой версии Delta Live Tables изменит поведение, когда материализованное представление или потоковая таблица удаляются из конвейера. При этом изменении удаленное материализованное представление или потоковая таблица не будет автоматически удалена при выполнении следующего обновления конвейера. Вместо этого вы сможете использовать команду DROP MATERIALIZED VIEW для удаления материализованного представления или команды DROP TABLE для удаления таблицы потоковой передачи. После удаления объекта, запуск обновления конвейера не восстановит объект автоматически. Новый объект создается, если материализованное представление или потоковая таблица с тем же определением повторно добавляется в конвейер. Однако можно восстановить объект с помощью команды UNDROP.

Записные книжки IPYNB становятся форматом записной книжки по умолчанию для Azure Databricks

В настоящее время Databricks создает все новые записные книжки в формате источника Databricks по умолчанию, который записывает только код. В январе 2025 г. новый формат записной книжки по умолчанию будет IPYNB (.ipynb), который также записывает среду записной книжки, определения визуализации и мини-приложения записной книжки. Это новое значение по умолчанию можно изменить в области настроек пользователя рабочей области . Дополнительные сведения о форматах записных книжек см. в разделе Форматы записных книжек.

Файлы рабочей области будут активированы для всех рабочих областей Azure Databricks 1 февраля 2025 г.

Databricks включит файлы рабочей области для всех рабочих областей Azure Databricks 1 февраля 2025 г. Это изменение позволяет пользователям рабочей области использовать новые функции файлов рабочей области. После 1 февраля 2025 г. вы не сможете отключить файлы рабочей области с помощью свойства enableWorkspaceFilesystem с REST API Azure Databricks для включения и отключения функций рабочей области. Дополнительные сведения о файлах рабочей области см. в разделе Что такое файлы рабочей области?.

Таблицы по умолчанию делятся с историей в Delta Sharing

Databricks планирует изменить настройки по умолчанию для таблиц, совместно используемых с помощью Delta Sharing, чтобы включить историю изменений по умолчанию. Ранее общий доступ к журналу был отключен по умолчанию. Ведение истории таблиц улучшает производительность чтения и обеспечивает автоматическую поддержку расширенных оптимизаций Delta.

Снижение затрат и больше контроля над производительностью и затратами на бессерверные вычислительные ресурсы для рабочих нагрузок рабочих процессов

Помимо поддерживаемых в настоящее время автоматических оптимизаций производительности усовершенствования бессерверных вычислений для функций оптимизации рабочих процессов обеспечивают больше контроля над оптимизацией рабочих нагрузок для повышения производительности или затрат. Дополнительные сведения см. в статье "Экономия затрат на бессерверные вычисления для записных книжек, заданий и конвейеров".

Изменения в устаревшей версии панели мониторинга

Databricks рекомендует использовать панели мониторинга AI/BI (ранее — панели мониторинга Lakeview). Более ранние версии панелей мониторинга, ранее называемые панелями мониторинга Databricks SQL, теперь называются устаревшими панелями мониторинга. Databricks не рекомендует создавать новые устаревшие панели мониторинга. Панели мониторинга AI/BI предлагают улучшенные функции по сравнению с устаревшей версией, включая разработку с помощью ИИ, черновик и опубликованные режимы, а также перекрестную фильтрацию.

График окончания поддержки для устаревших панелей мониторинга

• 7 апреля 2025 г.: официальная поддержка устаревшей версии панелей мониторинга завершится. Будут устранены только критические проблемы безопасности и сбоя служб.
• 3 ноября 2025 г.: Databricks начнет архивацию устаревших панелей мониторинга, которые не были доступны за последние шесть месяцев. Архивные панели мониторинга больше не будут доступны, и процесс архивации будет выполняться на последовательной основе. Доступ к активно используемым панелям мониторинга остается неизменным.

Databricks будет работать с клиентами для разработки планов миграции для активных устаревших панелей мониторинга после 3 ноября 2025 года.

Для перехода на панели мониторинга ИИ/BI средства обновления доступны как в пользовательском интерфейсе, так и в API. Инструкции по использованию встроенного средства миграции в пользовательском интерфейсе см. в разделе Клонирование устаревшей панели мониторинга на панель мониторинга AI/BI. Руководства по созданию панелей мониторинга и управлению ими с помощью REST API с помощью API Azure Databricks для управления панелями мониторинга.

Изменения для бессерверной вычислительной рабочей нагрузки attribution

В настоящее время системной таблицы использования могут включать бессерверные записи выставления счетов SKU со значениями NULL для , , и . Эти записи представляют затраты, связанные с общими ресурсами, которые не относятся непосредственно к определенной рабочей нагрузке.

Чтобы упростить отчеты о затратах, Databricks скоро будет атрибутировать эти общие затраты на определенные рабочие нагрузки, которые они нанесли. Вы больше не увидите записи выставления счетов со значениями NULL в полях идентификатора рабочей нагрузки. По мере увеличения использования бессерверных вычислений и добавления дополнительных рабочих нагрузок доля этих общих затрат на счет уменьшится, так как они используются для дополнительных рабочих нагрузок.

Дополнительные сведения о затратах на бессерверные вычисления см. в разделе "Мониторинг затрат на бессерверные вычисления".

Поле sourceIpAddress в журналах аудита больше не будет включать номер порта

Из-за ошибки некоторые журналы аудита авторизации и проверки подлинности включают номер порта в дополнение к IP-адресу в sourceIPAddress поле (например, "sourceIPAddress":"10.2.91.100:0"). Номер порта, который регистрируется как 0, не предоставляет никакого реального значения и не соответствует остальным журналам аудита Databricks. Чтобы повысить согласованность журналов аудита, Databricks планирует изменить формат IP-адреса для этих событий журнала аудита. Это изменение будет постепенно развернуто в начале августа 2024 года.

Если журнал аудита содержит объект sourceIpAddress0.0.0.0, Databricks может прекратить ведение журнала.

JDK8 и JDK11 будут неподдерживаемы

Azure Databricks планирует удалить поддержку JDK 8 со следующим основным выпуском Databricks Runtime, когда выйдет Spark 4.0. Azure Databricks планирует удалить поддержку JDK 11 со следующей версией LTS Databricks Runtime 14.x.

Автоматическое включение каталога Unity для новых рабочих областей

Databricks начал автоматически включать каталог Unity для новых рабочих областей. Это устраняет необходимость администраторам учетных записей настраивать каталог Unity после создания рабочей области. Развертывание продолжается постепенно между учетными записями.

обновление sqlite-jdbc

Databricks Runtime планирует обновить версию sqlite-jdbc с версии 3.8.11.2 до 3.42.0.0 во всех выпусках обслуживания Databricks Runtime. API версии 3.42.0.0.0 не полностью совместимы с 3.8.11.2. Убедитесь, что методы и тип возврата используют версию 3.42.0.0.

Если вы используете sqlite-jdbc в коде, проверьте отчет о совместимости sqlite-jdbc.