Что будет?

Узнайте о предстоящих выпусках Azure Databricks.

Прогнозная оптимизация, включенная по умолчанию для всех новых учетных записей Azure Databricks

11 ноября Databricks включает прогнозную оптимизацию в качестве значения по умолчанию для всех новых учетных записей Azure Databricks. Ранее он был отключен по умолчанию и может быть включен администратором учетной записи. Если включена прогнозная оптимизация, Azure Databricks автоматически выполняет операции обслуживания для управляемых таблиц каталога Unity. Дополнительные сведения об прогнозной оптимизации см. в разделе "Прогнозная оптимизация" для управляемых таблиц каталога Unity.

Снижение затрат и больше контроля над производительностью и затратами на бессерверные вычислительные ресурсы для рабочих нагрузок рабочих процессов

Помимо поддерживаемых в настоящее время автоматических оптимизаций производительности усовершенствования бессерверных вычислений для функций оптимизации рабочих процессов обеспечивают больше контроля над оптимизацией рабочих нагрузок для повышения производительности или затрат. Дополнительные сведения см. в статье "Экономия затрат на бессерверные вычисления для записных книжек, заданий и конвейеров".

Изменения для включения по умолчанию для AI/BI Genie

11 ноября 2024 г. переключатель для включения в общедоступную предварительную версию Genie будет включен по умолчанию. Сведения об управлении предварительными версиями см. в статье "Управление предварительными версиями Azure Databricks". Ai/BI Genie станет общедоступным 9 декабря 2024 г., когда пользователи с повышенными привилегиями, такими как администраторы учетной записи и рабочей области, могут управлять доступом к Genie с помощью переключателя, который управляет доступом к службам ИИ, управляемым службами ИИ, с поддержкой искусственного интеллекта. Ознакомьтесь с помощником по использованию Databricks.

Изменения в устаревшей версии панели мониторинга

Databricks рекомендует использовать панели мониторинга AI/BI (ранее — панели мониторинга Lakeview). Более ранние версии панелей мониторинга, ранее называемые панелями мониторинга Databricks SQL, теперь называются устаревшими панелями мониторинга. Databricks не рекомендует создавать новые устаревшие панели мониторинга. Панели мониторинга AI/BI предлагают улучшенные функции по сравнению с устаревшими панелями мониторинга, включая разработку с помощью ИИ, черновик и опубликованные режимы, а также перекрестную фильтрацию.

Чтобы помочь перейти к последней версии, средства обновления доступны как в пользовательском интерфейсе, так и в API. Инструкции по использованию встроенного средства миграции в пользовательском интерфейсе см. в разделе "Клонирование устаревшей панели мониторинга" на панель мониторинга AI/BI. Руководства по созданию панелей мониторинга и управлению ими с помощью REST API с помощью API Azure Databricks для управления панелями мониторинга.

Изменения для бессерверной вычислительной рабочей нагрузки attribution

В настоящее время оплачиваемая система использования может включать бессерверные записи выставления счетов SKU со значениями NULL для run_as, job_idи job_run_idnotebook_id. Эти записи представляют затраты, связанные с общими ресурсами, которые не относятся непосредственно к определенной рабочей нагрузке.

Чтобы упростить отчеты о затратах, Databricks скоро будет атрибутировать эти общие затраты на определенные рабочие нагрузки, которые они нанесли. Вы больше не увидите записи выставления счетов со значениями NULL в полях идентификатора рабочей нагрузки. По мере увеличения использования бессерверных вычислений и добавления дополнительных рабочих нагрузок доля этих общих затрат на счет уменьшится, так как они используются для дополнительных рабочих нагрузок.

Дополнительные сведения о затратах на бессерверные вычисления см. в разделе "Мониторинг затрат на бессерверные вычисления".

Поле sourceIpAddress в журналах аудита больше не будет включать номер порта

Из-за ошибки некоторые журналы аудита авторизации и проверки подлинности включают номер порта в дополнение к IP-адресу в sourceIPAddress поле (например, "sourceIPAddress":"10.2.91.100:0"). Номер порта, который регистрируется как 0, не предоставляет никакого реального значения и не соответствует остальным журналам аудита Databricks. Чтобы повысить согласованность журналов аудита, Databricks планирует изменить формат IP-адреса для этих событий журнала аудита. Это изменение будет постепенно развернуто в начале августа 2024 года.

Если журнал аудита содержит объект sourceIpAddress 0.0.0.0, Databricks может прекратить ведение журнала.

Устаревшая интеграция Git — EOL 31 января

После 31 января 2024 г. Databricks удаляет устаревшие интеграции Git записной книжки. Эта функция была в состоянии устаревшей версии более двух лет, и уведомление об отключении отображается в пользовательском интерфейсе продукта с ноября 2023 года.

Дополнительные сведения о миграции в папки Databricks Git (прежнее название — Репозиторий) из устаревшей интеграции Git см. в разделе "Переключение на Databricks Repos" из интеграции с устаревшей версией Git. Если это удаление влияет на вас и вам нужно расширение, обратитесь к группе учетной записи Databricks.

JDK8 и JDK11 будут неподдерживаемы

Azure Databricks планирует удалить поддержку JDK 8 со следующей основной версией Databricks Runtime, когда выпуски Spark 4.0. Azure Databricks планирует удалить поддержку JDK 11 со следующей версией LTS Databricks Runtime 14.x.

Автоматическое включение каталога Unity для новых рабочих областей

Databricks начал автоматически включать каталог Unity для новых рабочих областей. Это позволяет администраторам учетных записей настраивать каталог Unity после создания рабочей области. Развертывание продолжается постепенно между учетными записями.

обновление sqlite-jdbc

Databricks Runtime планирует обновить версию sqlite-jdbc с версии 3.8.11.2 до 3.42.0.0 во всех выпусках обслуживания Databricks Runtime. API версии 3.42.0.0.0 не полностью совместимы с 3.8.11.2. Убедитесь, что методы и тип возврата используют версию 3.42.0.0.

Если вы используете sqlite-jdbc в коде, проверьте отчет о совместимости sqlite-jdbc.