Обновления Databricks Runtime для сервисного обслуживания

На этой странице перечислены обновления обслуживания для поддерживаемых версий среды выполнения Databricks. Чтобы добавить обновление обслуживания в существующий кластер, перезапустите кластер. Обновления обслуживания для неподдерживаемых версий Databricks Runtime см. в архиве обновлений обслуживания для Databricks Runtime.

Выпуски являются поэтапными. Учетная запись Azure Databricks может не обновляться через несколько дней после начальной даты выпуска.

Note

Начиная с Databricks Runtime 19 обновления обслуживания публикуются непосредственно на странице с унифицированными заметками о выпуске каждой версии. На этой странице рассматриваются только Databricks Runtime 18 и более ранние версии. См. статью о жизненном цикле поддержки Databricks Runtime.

Выпуски Databricks Runtime

Обновления обслуживания по версиям:

Databricks Runtime 18 LTS

См. раздел Databricks Runtime 18 LTS.

  • 10 ноября 2026 г.

    • Обновленные библиотеки Python:
      • HF-XET с 1.2.0 по 1.3.2
      • Pytz с 2024.1 по 2026.5
      • tzdata с 2024.1 по 2026.5
    • [SPARK-59242][SQL] Защитить очистку DAGScheduler в SQLExecution при остановленном SparkContext
    • [SPARK-58175] Кэшировать дескрипторы FileDescriptorSet
    • [SPARK-57988][SQL] Заключить в скобки операнды IN и других предикатов, отличных от предикатов сравнения, у IS [NOT] NULL в V2ExpressionSQLBuilder
    • [SPARK-58204][SQL] Исправления stateful expression, перенесённые в предыдущую версию
    • Обновления системы безопасности операционной системы.
  • 3 ноября 2026 г.

    • [SPARK-59580][SQL] Уменьшить выделение кэша TreeNode
    • [SPARK-60228][SQL] Избегайте квадратичного поиска кэша по имени таблицы в CacheManager
    • [SPARK-60246][CORE] Закрыть канал загрузки при сбое fetchFile
    • Обновления системы безопасности операционной системы.
  • 23 октября 2026 года

    • Обновленные библиотеки Java:
      • org.apache.zookeeper.zookeeper с 3.9.4 по 3.9.5
      • org.apache.zookeeper.zookeeper-jute с 3.9.4 по 3.9.5
    • Обновленные библиотеки Python:
      • certifi с 26.04.2025 по 19.10.2026
    • [SPARK-57547][SQL] Исправление NPE в PartitionKeyedAccumulator при состоянии гонки во время инициализации
    • [SPARK-59998][CORE] Сделайте конкатенацию LogEntry ленивой
    • Обновления системы безопасности операционной системы.
  • 8 октября 2026 г.

    • Для управляемых представлений Unity Catalog теперь CREATE OR REPLACE VIEW поддерживает предложения COPY * и NOCOPY *. Эти положения регулируют, сохраняет ли замена метаданные существующего представления, такие как гранты, комментарии и теги. См. CREATE VIEW.
  • 29 сентября 2026 г.

    • [SPARK-57540][SQL] Создание shaded Woodstox WstxOutputFactory напрямую в StaxXmlGenerator
    • Обновления системы безопасности операционной системы.
  • 15 сентября 2026 г.

    • Обновления системы безопасности операционной системы.
  • 1 сентября 2026 г.

    • (Изменение поведения) RESTORE и CLONE команды, изменяющие разбиение таблицы, могут быть заблокированы, если исходная и целевая таблицы имеют общий файл.
    • [SPARK-58751][SPARK-58977] Бэкпорт очистки рабочих Python и завершения работы сервера состояния
    • [SPARK-58386][SS] Восстановить обратную совместимость SupportsRealTimeRead.nextWithTimeout
    • [SPARK-51268][SQL] Сделать TreeNode без блокировок
    • [SPARK-58531][SQL][CONNECT] Сделайте spark.sql.artifact.copyFromLocalToFs.allowDestLocal статической конфигурацией
    • Обновления системы безопасности операционной системы.
  • 18 августа 2026 г.

    • [SPARK-58292][CORE] Повторное создание netty-worker EventLoopGroup при завершении потока цикла событий worker
    • Обновления системы безопасности операционной системы.
  • 4 августа 2026 г.

    • Обновленные библиотеки Java:
      • io.delta.delta-sharing-client_2.13 с 1.4.0 до 1.4.1
    • Отменить «[SPARK-57778][ТОЛЬКО ТЕСТ] Добавить покрытие HiFi для неизбираемых объектов Oracle JDBC»
    • [SPARK-58107] Обратный порт dedup-and-seal локальной контрольной точки + проверка контрольной суммы материализованного источника MERGE
    • [SPARK-57547][SQL] Повторно применить InMemoryRelation фикс параллельной материализации
    • Обновления системы безопасности операционной системы.
  • 24 июля 2026 г.

    • (Изменение поведения) Пользователи, которые используют пользовательские или сторонние типы в замыканиях DStream, теперь должны задать spark.streaming.checkpoint.allowedClasses для этих типов перед восстановлением из контрольной точки.
    • Исправлена ошибка правильности, из-за которой окно min/maxнад BinaryType столбцом с скользящим кадром (любой RANGE кадр или ROWS кадр размером 10 или больше) возвращало запущенное глобальное min/max значение вместо значения каждого кадра.
    • [SPARK-53454][SQL][backport] Обработка AlwaysTrue/AlwaysFalse в JDBCSQLBuilder
    • [SPARK-57778][SQL] Обрабатывать объекты Oracle JDBC, которые нельзя выбирать как таблицы
    • Обновления системы безопасности операционной системы.
  • 10 июля 2026 г.

    • [SPARK-57195][SQL] Surface MALFORMED_CSV_RECORD вместо исключения ArrayIndexOutOfBoundsException при выводе схемы CSV
    • [SPARK-57593][SQL][PYTHON] Ограничить по размеру в байтах и добавить инструментирование входного пакета Python UDF
    • [SPARK-57243][18.3.2][SQL] Оберните IsNull и IsNotNull в квадратные скобки для конструктора SQL V2
    • Прочие исправления ошибок.
  • 29 июня 2026 г.
    • (Изменение поведения) Теперь представления метрик отклоняют меры окна, ссылающиеся на другие меры окна. Ранее этот шаблон успешно работал на этапе CREATE, но во время выполнения запроса либо завершался без сообщения об ошибке, либо выдавал неверные результаты. Теперь Azure Databricks возвращает понятную ошибку во время CREATE или ALTER (METRIC_VIEW_WINDOW_MEASURE_REFERENCES_WINDOW_MEASURE). Чтобы отключить эту проверку, установите значение spark.databricks.sql.metricView.rejectWindowOnWindowMeasure.enabledfalse.
    • [SPARK-57088][SQL] Разрешить недетерминированное выражение ранжирования для EXACT NEAREST BY
    • [SPARK-56652][SQL] Всегда выводить RELY/NORELY в выводе DESCRIBE EXTENDED ограничения
    • [SPARK-57355][PYTHON] Исправлена проверка модуля в профайлере UDF
    • [SPARK-56720][SS] Неудача в последующих асинхронных записях логов после предыдущей ошибки в асинхронном отслеживании прогресса
    • [SPARK-56977][SQL] RewriteNearestByJoin должен уважать joinType в синтетическом соединении
    • [SPARK-57371][Connect] Исправить гонку данных в ArrowDeserializers
    • Обновления системы безопасности операционной системы.

Databricks Runtime 17.3 LTS

См. раздел Databricks Runtime 17.3 LTS.

  • 10 ноября 2026 г.

    • Обновленные библиотеки Python:
      • Pytz с 2024.1 по 2026.5
      • tzdata с 2024.1 по 2026.5
    • [SPARK-58204][SQL] Обратное портирование исправлений stateful expression
    • [SPARK-55062] Обратное портирование расширений proto2 в функции protobuf
    • [SPARK-58175] Кэшировать разобранные дескрипторы FileDescriptorSet
    • Обновления системы безопасности операционной системы.
  • 3 ноября 2026 г.

    • Обновленные библиотеки Java:
      • com.microsoft.sqlserver.mssql-jdbc с 11.2.3.jre8, 11.2.3.jre8 до 11.2.4.jre8, 11.2.4.jre8
    • [SPARK-55133][CONNECT] Исправлена гонка в управлении жизненным циклом IsolatedSessionState
    • [SPARK-60246][CORE] Закрыть канал загрузки, если fetchFile завершается с ошибкой
    • Обновления системы безопасности операционной системы.
  • 23 октября 2026 года

    • Обновленные библиотеки Java:
      • com.microsoft.sqlserver.mssql-jdbc с 11.2.2.jre8, 11.2.3.jre8 до 11.2.3.jre8, 11.2.3.jre8
      • org.apache.zookeeper.zookeeper с 3.9.3 по 3.9.5
      • org.apache.zookeeper.zookeeper-jute с 3.9.3 по 3.9.5
    • Обновленные библиотеки Python:
      • certifi с 26.04.2025 по 19.10.2026
    • [SPARK-57547][SQL] Исправление NPE в PartitionKeyedAccumulator во время условия гонки инициализации
    • Обновления системы безопасности операционной системы.
  • 29 сентября 2026 г.

    • Обновления системы безопасности операционной системы.
  • 15 сентября 2026 г.

    • Обновления системы безопасности операционной системы.
  • 1 сентября 2026 г.

    • (Изменение поведения) RESTORE и CLONE команды, изменяющие разбиение таблицы, могут быть заблокированы, если исходная и целевая таблицы имеют общий файл.
    • Обновленные библиотеки Java:
      • io.netty.netty-all с 4.1.118.Final до 4.1.137.Final
      • io.netty.netty-buffer с 4.1.118.Final до 4.1.137.Final
      • io.netty.netty-codec с 4.1.118.Final до 4.1.137.Final
      • io.netty.netty-codec-http с 4.1.118.Final до 4.1.137.Final
      • io.netty.netty-codec-http2 с 4.1.118.Final до 4.1.137.Final
      • io.netty.netty-codec-socks с версии 4.1.118.Final до версии 4.1.137.Final
      • io.netty.netty-common с 4.1.118.Final до 4.1.137.Final
      • io.netty.netty-handler с 4.1.118.Final до 4.1.137.Final
      • io.netty.netty-handler-proxy с 4.1.118.Final до 4.1.137.Final
      • io.netty.netty-resolver с версии 4.1.118.Final до версии 4.1.137.Final
      • io.netty.netty-transport с версии 4.1.118.Final до версии 4.1.137.Final
      • io.netty.netty-transport-classes-epoll с 4.1.118.Final до 4.1.137.Final
      • io.netty.netty-transport-classs-kqueue с 4.1.118.Final до 4.1.137.Final
      • io.netty.netty-transport-native-epoll с 4.1.118.Финал, 4.1.118.Финал, 4.1.118.Финал, 4.1.118.Финал до 4.1.137.Финал, 4.1.137.Финал, 4.1.137.Финал, 4.1.137.Финал
      • io.netty.netty-transport-native-kqueue с 4.1.118.Final, 4.1.118.Final до 4.1.137.Final, 4.1.137.Final
      • io.netty.netty-transport-native-unix-common с 4.1.118.Final до 4.1.137.Final
      • org.eclipse.jetty.jetty-client с 9.4.53.v20231009 до 9.4.57.v20241219
      • org.eclipse.jetty.jetty-continuation с 9.4.53.v20231009 до 9.4.57.v20241219
      • org.eclipse.jetty.jetty-http с 9.4.53.v20231009 до 9.4.57.v20241219
      • org.eclipse.jetty.jetty-io с 9.4.53.v20231009 до 9.4.57.v20241219
      • org.eclipse.jetty.jetty-jndi с 9.4.53.v20231009 до 9.4.57.v20241219
      • org.eclipse.jetty.jetty-plus с 9.4.53.v20231009 до 9.4.57.v20241219
      • org.eclipse.jetty.jetty-proxy с версии 9.4.53.v20231009 до версии 9.4.57.v20241219
      • org.eclipse.jetty.jetty-security с 9.4.53.v20231009 до 9.4.57.v20241219
      • org.eclipse.jetty.jetty-server с версии 9.4.53.v20231009 до версии 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlet с 9.4.53.v20231009 до 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlets с 9.4.53.v20231009 до 9.4.57.v20241219
      • org.eclipse.jetty.jetty-util с 9.4.53.v20231009 по 9.4.57.v20241219
      • org.eclipse.jetty.jetty-util-ajax с 9.4.53.v20231009 до 9.4.57.v20241219
      • org.eclipse.jetty.jetty-webapp с 9.4.53.v20231009 по 9.4.57.v20241219
      • org.eclipse.jetty.jetty-xml с 9.4.53.v20231009 до 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-api с 9.4.53.v20231009 до 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-client с 9.4.53.v20231009 до 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-common с 9.4.53.v20231009 до 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-server с 9.4.53.v20231009 до 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-servlet с 9.4.53.v20231009 до 9.4.57.v20241219
    • [SPARK-58531][SQL][CONNECT] Сделайте spark.sql.artifact.copyFromLocalToFs.allowDestLocal статической конфигурацией
    • [SPARK-58751][SPARK-58977] Портирование исправления для очистки рабочих Python и отключения сервера состояния
    • [SPARK-58292][CORE] Повторное создание netty-worker EventLoopGroup, когда поток цикла событий worker выходит из строя
    • Обновления системы безопасности операционной системы.
  • 18 августа 2026 г.

    • Обновления системы безопасности операционной системы.
  • 4 августа 2026 г.

    • [SPARK-57778][ТОЛЬКО ТЕСТ] Исправлен нестабильный невыбираемый HiFi-тест Oracle (выделенная схема)
    • [SPARK-58107] Обратное портирование dedup-and-seal для local-checkpoint и проверки контрольной суммы materialized-source для MERGE
    • Обновления системы безопасности операционной системы.
  • 24 июля 2026 г.

    • Исправлена ошибка правильности, из-за которой окно min/maxнад BinaryType столбцом с скользящим кадром (любой RANGE кадр или ROWS кадр размером 10 или больше) возвращало запущенное глобальное min/max значение вместо значения каждого кадра.
    • [SPARK-57778][SQL] Обрабатывать объекты Oracle JDBC, которые нельзя использовать как таблицы
    • [SPARK-57371][Connect] Исправить гонку данных в ArrowDeserializers
    • Обновления системы безопасности операционной системы.
  • 10 июля 2026 г.

    • [SPARK-57547][SQL] Обратное портирование исправления параллельной материализации на 17.3 (с kill switch)
    • Прочие исправления ошибок.
  • 29 июня 2026 г.
    • (Изменение поведения) Теперь представления метрик отклоняют меры окна, ссылающиеся на другие меры окна. Ранее этот шаблон успешно работал на этапе CREATE, но во время выполнения запроса либо завершался без сообщения об ошибке, либо выдавал неверные результаты. Теперь Azure Databricks возвращает понятную ошибку во время CREATE или ALTER (METRIC_VIEW_WINDOW_MEASURE_REFERENCES_WINDOW_MEASURE). Чтобы отключить эту проверку, установите значение spark.databricks.sql.metricView.rejectWindowOnWindowMeasure.enabledfalse.
    • Обновления системы безопасности операционной системы.
  • 9 июня 2026 г.
    • (Изменение в поведении) SET TAG теперь является идемпотентным. Повторение SET TAG операции с ресурсом, который уже имеет тег, больше не вызывает ошибку.
    • Обновления системы безопасности операционной системы.
  • 26 мая 2026 г.
    • [SPARK-34591][ML] Добавить обрезку дерева принятия решений в качестве параметра
    • Обновления системы безопасности операционной системы.
  • 13 мая 2026 г.
    • (Behavior change) Перечисление таблиц с помощью шаблона схемы больше не обновляет метаданные каталога Unity для внешних таблиц (например, SQL Server, PostgreSQL или AWS Glue). Это изменение влияет на SHOW TABLES IN SCHEMA LIKE ... вызовы getMetaData.getTables в драйвере JDBC, если передаётся шаблон схемы, и на API Thrift SparkGetTablesOperation. Если рабочая нагрузка зависит от обновления метаданных с помощью шаблона схемы, обратитесь в службу поддержки Databricks.
    • Обновленные библиотеки Java:
      • io.delta.delta-sharing-client_2.13 от 1.3.10 до 1.3.11
    • [SPARK-56361][SS] Улучшить сообщение об ошибке с логированием при NPE в соединении потока и потока
    • Прочие исправления ошибок.
  • 20 апреля 2026 г.

    • Исправлен орган CRS для типа GEOMETRY(102100). Теперь сообщение о ESRI:102100, вместо EPSG:102100.
    • Исправлена ошибка корректности данных в запросах MERGE, UPDATE, и запросах потоковой записи, где структуры NULL в источнике преобразовывались в структуры не NULL с полями NULL в целевом объекте. Структуры NULL в источнике теперь сохраняются как NULL в целевом объекте. Исправление применяется к следующим операциям:
      • MERGE с UPDATE SET t.structCol = s.structCol действиями, использующими приведения типа struct.
      • MERGE когда UPDATE SET * эволюция схемы включена и целевая структура не имеет дополнительных полей или изначально была NULL.
      • MERGE при UPDATE SET * EXCEPT, когда у структуры нет полей в списке EXCEPT.
      • MERGE с INSERT (structCol) VALUES (s.structCol) действиями, использующими приведения типов struct.
      • MERGE с INSERT * [EXCEPT] действиями, использующими приведением типов struct.
      • UPDATE запросы с приведением типа struct.
      • Потоковая передача записей с приведениями типов структур.
  • 2 апреля 2026 г.

    • Обновленные библиотеки Java:
      • io.delta.delta-sharing-client_2.13 от 1.3.9 до 1.3.10
    • [SPARK-55811] [SQL] Перехват NonFatal вместо UnresolvedException при вызове nodeWithOutputColumnsString
    • [SPARK-55892][SS] Исправление: нельзя загрузить хранилище состояния, потому что повторно использованный SST-файл был удалён из-за технического обслуживания
    • [Backports][OSS Cherrypick] [SPARK-55945][SDP] Поддерживает структурированные идентификаторы для потоков в прото анализа с поддержкой SDP
    • Обновления системы безопасности операционной системы.
  • 10 марта 2026 г.

    • [SPARK-55493] [SS] Не делать mkdir в каталоге состояний контрольных точек в StateDataSource
    • [SPARK-55111][SS] Повторная проверка обнаружения незавершённого переразбиения при перезапуске запроса
    • [SPARK-55701] ES-1694761[SS] Исправить состояние гонки в CompactibleFileStreamLog.allFiles
    • Обновления системы безопасности операционной системы.
  • 26 февраля 2026 г.

    • Обновленные библиотеки Java:
      • org.mlflow.mlflow-spark_2.13 от 2.9.1 до 2.20.4
    • Обновления системы безопасности операционной системы.
  • 19 февраля 2026 г.

    • При выводе схемы файлов Excel строковые ячейки теперь выводятся как Spark StringType. Это учитывает тип ячейки, заданный в Excel. Ранее строки с числовыми значениями автоматически приводились к более узким типам данных, например Long или Decimal.
    • [SPARK-54887][CONNECT] Всегда устанавливайте код состояния SQL в клиенте Spark Connect
    • [SPARK-54887][CONNECT] Добавить опциональное sqlstate в SparkThrowables
    • [SPARK-55097][SQL] Исправьте проблему, при которой повторное добавление кэшированных артефактов молча приводит к потере блоков
    • [SPARK-55282][PYTHON][CONNECT] Избегайте использования worker_util на стороне драйвера
    • [SPARK-49110][SQL] Упростить SubqueryAlias.metadataOutput для постоянного распространения столбцов метаданных
    • [SPARK-55243][CONNECT] Разрешить настраивать бинарные заголовки через суффикс -bin в клиенте Scala Connect
    • Обновления системы безопасности операционной системы.
  • 27 января 2026 г.

    • Обновленные библиотеки Java:
      • io.delta.delta-sharing-client_2.13 от 1.3.8 до 1.3.9
    • См. выше
    • [SPARK-54768][SS]Python Stream Data Source должен классифицировать ошибку, если возвращаемые данные не совпадают с настроенной схемой
    • [SPARK-54803] Поддержка BY NAME с INSERT ... REPLACE WHERE
    • [SPARK-53564][CORE] Избегайте выходов DAGScheduler из-за тайм-аута blockManager RPC в DAGSchedulerEventProcessLoop
    • [SPARK-55015][SS][SQL] Исправить вычисление decodeRemainingKey numFields в PrefixKeyScanStateEncoder
    • Обновления системы безопасности операционной системы.
  • 9 января 2026 г.
    • Обновленные библиотеки Python:
      • pmdarima от 2.0.4 до 2.1.1
    • Обновленные библиотеки Java:
      • io.delta.delta-sharing-client_2.13 от 1.3.6 до 1.3.8
    • Теперь можно использовать функции окна SQL в качестве скалярной функции в измерениях представления метрик и выражениях мер.
    • [SPARK-54562][SDP][17.3 backport] Блокировать преждевременный анализ / выполнение внутри функции потока со стороны сервера
    • [SPARK-54679][SQL] Переименование spark.sql.(xml.legacyXMLParser.enabled -> legacy.useLegacyXMLParser)
    • [SPARK-54711][PYTHON] Добавить тайм-аут для соединения с рабочим процессом, созданным демоном
    • [SPARK-53127][SQL] Исправлено LIMIT ALL для неограниченной рекурсии с нормализацией CTE
    • [SPARK-54708] Оптимизировать очистку кэша ML с помощью ленивого создания каталогов
    • [SPARK-54581][SQL] Обеспечение нечувствительности к регистру для опции fetchsize в коннекторе Postgres
    • [SPARK-41916] [ML] дистрибьютор Torch: поддерживает несколько процессов torchrun на задачу, если task.gpu.amount > 1
    • [SPARK-54564] [SQL] Сделать QueryPlanningTracker полем HybridAnalyzer
    • [SPARK-54620][SQL] Добавлена проверка безопасности в ObservationManager, чтобы избежать блокировки Observation
    • Обновления системы безопасности операционной системы.
  • 9 декабря 2025 г.
    • Обновленные библиотеки Java:
      • io.delta.delta-sharing-client_2.13 от 1.3.5 до 1.3.6
    • [SPARK-50906][SQL] Исправьте проверку нулевости Avro для перестроенных полей структуры
    • [SPARK-54180][SQL] Переопределить toString of BinaryFileFormat
    • [SPARK-54427][SQL] Разрешить ColumnarRow вызывать copy с вариантными типами
    • Обновления системы безопасности операционной системы.
  • 18 ноября 2025 г.
    • [SPARK-54047][PYTHON] Использовать другую ошибку при принудительном завершении по тайм-ауту простоя
    • [SPARK-52762][SDP] Добавить сообщение PipelineAnalysisContext для поддержки анализа конвейера во время выполнения запроса Spark Connect
    • [SPARK-54156][PROTOBUF] Классифицировать ошибки при сбое приведения типа ProtobufOptions
    • [SPARK-54078][SS] Новый тест для StateStoreSuite SPARK-40492: maintenance before unload и удаление инфраструктуры из старого теста
    • [SPARK-54015][PYTHON] Смягчение требования Py4J до py4j>=0.10.9.7,<0.10.9.10
    • [SPARK-54099][SQL] XML-парсер вариантов должен переключаться на строку при ошибках десятичного разбора
    • [SPARK-54191][17.3 Backport][SDP] Добавить once в Defineflow Proto
    • Обновления системы безопасности операционной системы.
  • 4 ноября 2025 г.
    • [SPARK-53729][PYTHON][CONNECT] Исправлена сериализация pyspark.sql.connect.window.WindowSpec
    • [SPARK-46679][SQL] Исправление для SparkUnsupportedOperationException Не найдено кодировщика типа T при использовании класса Parametized
    • [SPARK-53973][Avro] Классифицировать ошибки для ошибки приведения к булеву типу в AvroOptions
    • [SPARK-53794][SS] Добавить опцию ограничения удаления по каждой операции по обслуживанию, связанной с провайдером состояния rocksdb
    • [SPARK-53908][CONNECT] Исправлены проблемы с observations при использовании кэша плана
    • [SPARK-53972][SS] Исправить регрессию в потоковом запросе recentProgress в классической pyspark
    • Обновления системы безопасности операционной системы.

Databricks Runtime 16.4 LTS

См. раздел Databricks Runtime 16.4 LTS.

  • 10 ноября 2026 г.

    • Обновленные библиотеки Python:
      • Pytz с 2024.1 по 2026.5
      • Добавлено tzdata 2026.5
    • Обновления системы безопасности операционной системы.
  • 3 ноября 2026 г.

    • Обновления системы безопасности операционной системы.
  • 23 октября 2026 года

    • Обновленные библиотеки Java:
      • com.microsoft.sqlserver.mssql-jdbc с 11.2.2.jre8, 11.2.3.jre8 до 11.2.3.jre8, 11.2.3.jre8
    • Обновленные библиотеки Python:
      • certifi с 26.04.2025 по 19.10.2026
    • [SPARK-57547][SQL] Исправление NPE в PartitionKeyedAccumulator во время условия гонки инициализации
    • Обновления системы безопасности операционной системы.
  • 29 сентября 2026 г.

    • [SPARK-53069][SS] Исправление некорректных метрик хранилища состояния с виртуальными семействами столбцов
    • Обновления системы безопасности операционной системы.
  • 15 сентября 2026 г.

    • Обновленные библиотеки Java:
      • org.apache.zookeeper.zookeeper с 3.9.2 по 3.9.5
      • org.apache.zookeeper.zookeeper-jute с 3.9.2 по 3.9.5
    • Обновления системы безопасности операционной системы.
  • 1 сентября 2026 г.

    • (Изменение поведения) RESTORE и CLONE команды, изменяющие разбиение таблицы, могут быть заблокированы, если исходная и целевая таблицы имеют общий файл.
    • Обновленные библиотеки Java:
      • org.eclipse.jetty.jetty-client с 9.4.52.v20230823 до 9.4.57.v20241219
      • org.eclipse.jetty.jetty-continuation с 9.4.52.v20230823 до 9.4.57.v20241219
      • org.eclipse.jetty.jetty-http с 9.4.52.v20230823 по 9.4.57.v20241219
      • org.eclipse.jetty.jetty-io с 9.4.52.v20230823 до 9.4.57.v20241219
      • org.eclipse.jetty.jetty-jndi с 9.4.52.v20230823 до 9.4.57.v20241219
      • org.eclipse.jetty.jetty-plus с 9.4.52.v20230823 до 9.4.57.v20241219
      • org.eclipse.jetty.jetty-proxy с 9.4.52.v20230823 до 9.4.57.v20241219
      • org.eclipse.jetty.jetty-security с 9.4.52.v20230823 по 9.4.57.v20241219
      • org.eclipse.jetty.jetty-server с 9.4.52.v20230823 до 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlet с 9.4.52.v20230823 по 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlets с 9.4.52.v20230823 до 9.4.57.v20241219
      • org.eclipse.jetty.jetty-util с 9.4.52.v20230823 до 9.4.57.v20241219
      • org.eclipse.jetty.jetty-util-ajax с версии 9.4.52.v20230823 до версии 9.4.57.v20241219
      • org.eclipse.jetty.jetty-webapp с 9.4.52.v20230823 до 9.4.57.v20241219
      • org.eclipse.jetty.jetty-xml с 9.4.52.v20230823 по 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-api с 9.4.52.v20230823 до 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-client с 9.4.52.v20230823 до 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-common с версии 9.4.52.v20230823 до версии 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-server с 9.4.52.v20230823 до 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-servlet с 9.4.52.v20230823 по 9.4.57.v20241219
    • [SPARK-58292][CORE] Повторно создавать worker Netty EventLoopGroup, когда поток цикла событий worker выходит из строя
    • [SPARK-58531][SQL][CONNECT] Сделайте spark.sql.artifact.copyFromLocalToFs.allowDestLocal статической конфигурацией
    • Обновления системы безопасности операционной системы.
  • 18 августа 2026 г.

    • Обновления системы безопасности операционной системы.
  • 4 августа 2026 г.

    • [SPARK-57547][SQL] Обратное портирование исправления для параллельной материализации InMemoryRelation в 16.4 (с флагом отключения)
    • [SPARK-58107] Бэкпорт dedup-and-seal для local-checkpoint и проверки контрольной суммы materialized-source для MERGE
    • Обновления системы безопасности операционной системы.
  • 24 июля 2026 г.

    • Исправлена ошибка правильности, из-за которой окно min/maxнад BinaryType столбцом с скользящим кадром (любой RANGE кадр или ROWS кадр размером 10 или больше) возвращало запущенное глобальное min/max значение вместо значения каждого кадра.
    • Обновления системы безопасности операционной системы.
  • 10 июля 2026 г.

    • Прочие исправления ошибок.
  • 29 июня 2026 г.

    • (Изменение поведения) Теперь представления метрик отклоняют меры окна, ссылающиеся на другие меры окна. Ранее этот шаблон успешно работал на этапе CREATE, но во время выполнения запроса либо завершался без сообщения об ошибке, либо выдавал неверные результаты. Теперь Azure Databricks возвращает понятную ошибку во время CREATE или ALTER (METRIC_VIEW_WINDOW_MEASURE_REFERENCES_WINDOW_MEASURE). Чтобы отключить эту проверку, установите значение spark.databricks.sql.metricView.rejectWindowOnWindowMeasure.enabledfalse.

    • Исправлена проблема с корректностью данных, из-за которой значения NULL типа struct в исходных данных ошибочно преобразовывались в структуры, отличные от NULL, с полями NULL в целевых данных в MERGE, UPDATE и в запросах потоковой записи. После изменения структуры NULL в исходных данных корректно сохраняются как NULL в целевых данных.

      Затронутые операции:

      • MERGE Запросы с UPDATE SET t.structCol = s.structCol действиями с приведением типов struct
      • MERGE запросы при UPDATE SET * включении эволюции схемы (Когда исходная структура — NULL, перезаписать цель на NULL, если у целевой структуры нет лишних полей или она изначально была NULL)
      • MERGE запросы с UPDATE SET * EXCEPT (Когда исходная структура — NULL, перезапишите цель на NULL, если в списке EXCEPT нет полей)
      • MERGE Запросы с действиями INSERT (structCol) VALUES (s.structCol) с приведением типов struct
      • MERGE Запросы с INSERT * [EXCEPT] действиями с приведением типов struct
      • UPDATE Запросы с приведением типов struct
      • Потоковая запись с приведением типов структур
    • Обновления системы безопасности операционной системы.

  • 9 июня 2026 г.

    • (Изменение в поведении) SET TAG теперь является идемпотентным. Повторение SET TAG операции с ресурсом, который уже имеет тег, больше не вызывает ошибку.
    • Обновления системы безопасности операционной системы.
  • 26 мая 2026 г.
    • [SPARK-34591][ML] Добавить обрезку дерева принятия решений в качестве параметра
    • Обновления системы безопасности операционной системы.
  • 13 мая 2026 г.
    • (Behavior change) Перечисление таблиц с помощью шаблона схемы больше не обновляет метаданные каталога Unity для внешних таблиц (например, SQL Server, PostgreSQL или AWS Glue). Это изменение влияет на SHOW TABLES IN SCHEMA LIKE ... вызовы getMetaData.getTables в драйвере JDBC, если передаётся шаблон схемы, и на API Thrift SparkGetTablesOperation. Если рабочая нагрузка зависит от обновления метаданных с помощью шаблона схемы, обратитесь в службу поддержки Databricks.
    • Обновленные библиотеки Java:
      • (только Scala 2.12) io.delta.delta-sharing-client_2.12 с 1.2.11 до 1.2.12
      • (Только Scala 2.13) io.delta.delta-sharing-client_2.13 с 1.2.11 до 1.2.12
    • [SPARK-56361][SS] Выдавать более понятное сообщение об ошибке с логированием NPE в соединении поток-поток
    • Прочие исправления ошибок.
  • 29 апреля 2026 г.
    • Прочие исправления ошибок.
  • 20 апреля 2026 г.
    • Прочие исправления ошибок.
  • 2 апреля 2026 г.

    • Обновленные библиотеки Java:
      • (Только Scala 2.12) io.delta.delta-sharing-client_2.12 с 1.2.10 до 1.2.11
      • (Только Scala 2.13) io.delta.delta-sharing-client_2.13 с 1.2.10 до 1.2.11
    • [SPARK-55701] ES-1694761[SS] Исправить состояние гонки в CompactibleFileStreamLog.allFiles
    • [Backports][OSS Cherrypick] [SPARK-55945][SDP] Поддерживает структурированные идентификаторы для потоков в прото анализа с поддержкой SDP
    • Обновления системы безопасности операционной системы.
  • 10 марта 2026 г.

    • [SPARK-55111][SS] Повторная проверка обнаружения незавершённого переразбиения при перезапуске запроса
    • [SPARK-55493] [SS] Не делать mkdir в каталоге состояний контрольных точек в StateDataSource
    • Обновления системы безопасности операционной системы.
  • 26 февраля 2026 г.

    • Обновления системы безопасности операционной системы.
  • 19 февраля 2026 г.

    • [SPARK-55282][PYTHON][CONNECT] Избегайте использования worker_util на стороне драйвера
    • [SPARK-55243][CONNECT] Разрешить настраивать бинарные заголовки через суффикс -bin в клиенте Scala Connect
    • Обновления системы безопасности операционной системы.
  • 27 января 2026 г.
    • Обновленные библиотеки Java:
      • (Только Scala 2.12) io.delta.delta-sharing-client_2.12 с версии 1.2.9 по версию 1.2.10
      • (Только Scala 2.12) org.mlflow.mlflow-spark_2.12 от 2.9.1 до 2.19.0
      • (Только для Scala 2.13) io.delta.delta-sharing-client_2.13 с 1.2.9 до 1.2.10
      • (Только Scala 2.13) org.mlflow.mlflow-spark_2.13 с версии 2.9.1 до версии 2.19.0
    • [SPARK-55015][SS][SQL] Исправить вычисление decodeRemainingKey numFields в PrefixKeyScanStateEncoder
    • Обновления системы безопасности операционной системы.
  • 9 января 2026 г.
    • Обновленные библиотеки Java:
      • (Scala 2.12 только) io.delta.delta-sharing-client_2.12 с 1.2.8 до 1.2.9
      • (Только Scala 2.13) io.delta.delta-sharing-client_2.13 с версии 1.2.8 на версию 1.2.9
    • [SPARK-54620][SQL] Добавьте проверку безопасности в ObservationManager, чтобы избежать блокировки Observation
    • [SPARK-54711][PYTHON] Добавить тайм-аут для соединения с рабочим процессом, созданным демоном
    • [SPARK-41916] [ML] дистрибьютор Torch: поддерживает несколько процессов torchrun на задачу, если task.gpu.amount > 1
    • Обновления системы безопасности операционной системы.
  • 9 декабря 2025 г.
    • Секционированные таблицы Delta будут содержать столбцы секционирования, материализованные в файлах данных Parquet. Это позволяет улучшить взаимодействие с процессами обработки таблиц Iceberg и UniForm, а также увеличивает совместимость с внешними неподдерживающими Delta средствами чтения.
    • Для соединителя Snowflake и федерации Snowflake Lakehouse TIMESTAMP_NTZ (метки времени без часового пояса) больше не передаются в Snowflake. Это изменение предотвращает сбои запросов, вызванные несовместимой обработкой меток времени и повышение надежности затронутых запросов.
    • [SPARK-54427][SQL] Разрешить ColumnarRow вызывать copy с вариантными типами
    • [SPARK-54180][SQL] Переопределить метод toString для BinaryFileFormat
    • Обновления системы безопасности операционной системы.
  • 18 ноября 2025 г.
    • [SPARK-54099][SQL] XML-парсер вариантов должен переключаться на строку при ошибках разбора десятичных чисел
    • [SPARK-54015][PYTHON] Смягчено требование к Py4J до py4j>=0.10.9.7,<0.10.9.10
    • [SPARK-54078][SS] Новый тест для StateStoreSuite SPARK-40492: maintenance before unload и удалить infra из старого теста
    • [SPARK-54156][PROTOBUF] Классифицировать ошибки при сбое приведения типа ProtobufOptions
    • [SPARK-54047][PYTHON] Использовать ошибку несоответствия при завершении по тайм-ауту простоя
    • Обновления системы безопасности операционной системы.
  • 4 ноября 2025 г.
    • Обновленные библиотеки R:
      • стрелка от 16.1.0 до 21.0.0
    • [SPARK-53973][Avro] Классифицировать ошибки для ошибки приведения к логическому типу в AvroOptions
    • Обновления системы безопасности операционной системы.
  • 21 октября 2025 г.
    • Обновления системы безопасности операционной системы.
  • 7 октября 2025 г.
    • [SPARK-53568][CONNECT][PYTHON] Исправлены несколько мелких ошибок в логике обработки ошибок клиента Spark Connect Python
    • [SPARK-53574] Исправлено стирание AnalysisContext при разрешении вложенных планов
    • [SPARK-53623][SQL] улучшить чтение свойства большой таблицы...
    • [SPARK-53598][SQL] Проверьте наличие numParts перед чтением свойства большой таблицы
    • [SPARK-53549][SS] Всегда закрывайте аллокатор Arrow после завершения процесса запроса состояния списка
    • Обновления системы безопасности операционной системы.
  • 16 сентября 2025 г.
    • Соединитель Snowflake теперь использует INFORMATION_SCHEMA таблицу вместо SHOW SCHEMAS команды для перечисления схем. Это изменение удаляет ограничение схемы в 10 000 схем предыдущего подхода и улучшает поддержку баз данных с большим количеством схем.
    • Обновления системы безопасности операционной системы.
  • 9 сентября 2025 г.
    • Исправлена проблема, из-за которой автозагрузчик зависает на неопределенный срок.
    • Исправлена временная ошибка в автозагрузчике, которая может привести к сбою заданий
    • [SPARK-49872][CORE] Убрать ограничение на длину JSON-строк Jackson
    • [SPARK-51821][CORE] Вызов interrupt() без удержания uninterruptibleLock, чтобы избежать возможного тупика
    • Обновления системы безопасности операционной системы.
  • 26 августа 2025 г.
    • Обновленные библиотеки Java:
      • (Только Scala 2.12) io.delta.delta-sharing-client_2.12 с 1.2.7 до 1.2.8
      • (Только Scala 2.13) io.delta.delta-sharing-client_2.13 от 1.2.7 до 1.2.8
    • [SPARK-52482][SQL][CORE] Улучшить обработку исключений для чтения некоторых повреждённых zstd-файлов
    • [SPARK-53192][CONNECT] Всегда кэшируйте DataSource в кэше плана Spark Connect
    • Обновления системы безопасности операционной системы.
  • 14 августа 2025 г.
    • [SPARK-51011][CORE] Добавьте логирование, чтобы определить, будет ли задача прервана при принудительном завершении
    • [SPARK-52833][SQL] Исправление VariantBuilder.appendFloat
    • [SPARK-51505][SQL] Всегда показывайте метрики количества пустых разделов в AQEShuffleReadExec
    • Обновления системы безопасности операционной системы.
  • 29 июля 2025 г.
    • [SPARK-52753][SQL] Сделать парсDataType бинарно совместимым с предыдущими версиями
    • Обновления системы безопасности операционной системы.
  • 15 июля 2025 г.
    • Исправлена недетерминированная проблема с потерей данных при использовании структурированной потоковой передачи Spark для потоковой передачи данных из Pulsar.
    • [SPARK-52579][PYTHON] Задать периодический дамп трассировки для работников Python
    • [SPARK-52553][SS] Исправление NumberFormatException при чтении журнала изменений v1
    • [SPARK-52450] Улучшить производительность глубокой копии схемы
    • [SPARK-52503][SQL][CONNECT] Исправлено drop, если входной столбец отсутствует
    • [SPARK-52599][PYTHON] Поддержка периодического трассировочного дампа в работниках на стороне водителя
    • Обновления системы безопасности операционной системы.
  • 1 июля 2025 г.
    • Поддержка декомпрессии ZStandard для средств чтения источников данных файлов (json, csv, xml и text.)
    • [SPARK-52521][SQL] Right#replacement не должен динамически обращаться к SQLConf
    • [SPARK-52482][SQL][CORE] Поддержка ZStandard для считывателя файловых источников
    • [SPARK-52312][SQL] Игнорировать V2WriteCommand при кэшировании DataFrame
    • Обновления системы безопасности операционной системы.
  • 17 июня 2025 г.
    • Исправлено ограничение, что табличную функцию cloud_files_state с табличным значением (TVF) нельзя использовать для чтения состояния на уровне файла потоковых таблиц в различных конвейерах.
    • Исправлены проблемы с авторизацией в Unity Catalog для запросов на временные представления.
    • [SPARK-52040][Python][SQL][CONNECT] ResolveLateralColumnAliasReference должен сохранять идентификатор плана
    • Обновления системы безопасности операционной системы.
  • 3 июня 2025 г.
    • [SPARK-52195][PYTHON][SS] Исправлена проблема с удалением столбца в начальном состоянии для Python TWS
    • [SPARK-52159][SQL] Корректная обработка проверки существования таблицы для диалектов JDBC
    • Прочие исправления ошибок.
  • 7 мая 2025 г.
    • Обновленные библиотеки Java:
      • io.delta.delta-sharing-client_2.13 от 1.2.3 до 1.2.7
      • org.apache.avro.avro с 1.11.3 по 1.11.4
      • org.apache.avro.avro-ipc от 1.11.3 до 1.11.4
      • org.apache.avro.avro-mapred с 1.11.3 по 1.11.4
    • Клонированные сеансы потоковой передачи будут использоваться внутри пользовательской функции foreachBatch в общих или бессерверных кластерах. Это соответствует поведению в классических «Назначенных Кластерах».
    • Клонированные сеансы потоковой передачи будут использоваться внутри пользовательской функции foreachBatch в общих или бессерверных кластерах. Это соответствует поведению в классических «Назначенных Кластерах».
    • До этого изменения ведущие пробелы и вкладки в пути в variant_get выражении игнорируются с отключенным фотоном. Например, select variant_get(parse_json('{"key": "value"}'), '$['key']') не будет эффективным при извлечении значения "key". Однако теперь пользователи смогут извлечь такие ключи.
    • [SPARK-51935][SQL] Исправить ленивое поведение итераторов в интерпретируемом df.collect()
    • [SPARK-51921][SS][PYTHON] Используйте long type для длительности TTL в миллисекунде в transformWithState
    • [SPARK-51940][SS] Добавить интерфейс для управления метаданными потоковых контрольных точек
    • [SPARK-52049] Исправьте ошибку, из-за которой атрибуты XML нельзя разобрать как вариант
    • [SPARK-51904][SS] Удаление асинхронной очистки метаданных для StateSchemaV3 и игнорирование непакетных файлов при перечислении файлов OperatorMetadata
    • [SPARK-51869][SS] Создать классификацию ошибок пользователя внутри UDF для Scala TransformWithState
    • [SPARK-51889][PYTHON][SS] Исправлена ошибка для MapState clear() в Python TWS
    • [SPARK-51922] [SS] Исправлено исключение UTFDataFormatException, вызванное в StateStoreChangelogReaderFactory для v1
    • [SPARK-51848][SQL] Исправить разбор XML-записей с определённой схемой массивов/структур/отображений Variant
    • Обновления системы безопасности операционной системы.

Databricks Runtime версия 15.4 LTS

См. Databricks Runtime 15.4 LTS.

  • 10 ноября 2026 г.

    • Обновленные библиотеки Python:
      • Pytz с 2022.7 по 2026.5
      • tzdata с 2022.1 по 2026.5
    • Обновленные библиотеки Java:
      • Добавлено at.yawk.lz4.lz4-java 1.8.1
      • Удален org.lz4.lz4-java 1.8.0
    • Обновления системы безопасности операционной системы.
  • 3 ноября 2026 г.

    • Обновления системы безопасности операционной системы.
  • 23 октября 2026 года

    • Обновленные библиотеки Python:
      • certifi с 26.04.2025 по 19.10.2026
    • [SPARK-57547][SQL] Исправление NPE в PartitionKeyedAccumulator во время условия гонки инициализации
    • Обновления системы безопасности операционной системы.
  • 29 сентября 2026 г.

    • Обновления системы безопасности операционной системы.
  • 15 сентября 2026 г.

    • Обновленные библиотеки Java:
      • com.microsoft.sqlserver.mssql-jdbc с 11.2.3.jre8, 11.2.3.jre8 до 11.2.3.jre8, 11.2.4.jre8
    • [SPARK-41246][CORE] Быстрое завершение при переполнении идентификатора RDD; разбор отрицательных идентификаторов блоков в качестве меры предосторожности (выбор в dbr-branch-15.4)
    • Обновления системы безопасности операционной системы.
  • 1 сентября 2026 г.

    • (Изменение поведения) RESTORE и CLONE команды, изменяющие разбиение таблицы, могут быть заблокированы, если исходная и целевая таблицы имеют общий файл.
    • Обновленные библиотеки Java:
      • org.eclipse.jetty.jetty-client с 9.4.52.v20230823 до 9.4.57.v20241219
      • org.eclipse.jetty.jetty-continuation с 9.4.52.v20230823 до 9.4.57.v20241219
      • org.eclipse.jetty.jetty-http с 9.4.52.v20230823 по 9.4.57.v20241219
      • org.eclipse.jetty.jetty-io с 9.4.52.v20230823 до 9.4.57.v20241219
      • org.eclipse.jetty.jetty-jndi с 9.4.52.v20230823 до 9.4.57.v20241219
      • org.eclipse.jetty.jetty-plus с 9.4.52.v20230823 до 9.4.57.v20241219
      • org.eclipse.jetty.jetty-proxy с 9.4.52.v20230823 до 9.4.57.v20241219
      • org.eclipse.jetty.jetty-security с 9.4.52.v20230823 по 9.4.57.v20241219
      • org.eclipse.jetty.jetty-server с 9.4.52.v20230823 до 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlet с 9.4.52.v20230823 по 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlets с 9.4.52.v20230823 до 9.4.57.v20241219
      • org.eclipse.jetty.jetty-util с 9.4.52.v20230823 до 9.4.57.v20241219
      • org.eclipse.jetty.jetty-util-ajax с версии 9.4.52.v20230823 до версии 9.4.57.v20241219
      • org.eclipse.jetty.jetty-webapp с 9.4.52.v20230823 до 9.4.57.v20241219
      • org.eclipse.jetty.jetty-xml с 9.4.52.v20230823 по 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-api с 9.4.52.v20230823 до 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-client с 9.4.52.v20230823 до 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-common с версии 9.4.52.v20230823 до версии 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-server с 9.4.52.v20230823 до 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-servlet с 9.4.52.v20230823 по 9.4.57.v20241219
    • [SPARK-58292][CORE] Пересоздание netty-worker EventLoopGroup, когда поток цикла обработки событий worker завершается
    • [SPARK-58531][SQL][CONNECT] Сделать spark.sql.artifact.copyFromLocalToFs.allowDestLocal статической конфигурацией
    • Обновления системы безопасности операционной системы.
  • 18 августа 2026 г.

    • Обновленные библиотеки Java:
      • com.microsoft.sqlserver.mssql-jdbc с 11.2.2.jre8, 11.2.3.jre8 до 11.2.3.jre8, 11.2.3.jre8
    • Обновления системы безопасности операционной системы.
  • 4 августа 2026 г.

    • [SPARK-58107] Обратный порт dedup-and-seal локального контрольного пункта и проверки контрольной суммы материализованного источника MERGE
    • [SPARK-57547][SQL] Портирование исправления для параллельной материализации InMemoryRelation в 15.4 (с kill switch)
    • Обновления системы безопасности операционной системы.
  • 24 июля 2026 г.

    • Обновления системы безопасности операционной системы.
  • 10 июля 2026 г.

    • Обновления системы безопасности операционной системы.
  • 29 июня 2026 г.

    • (Изменение поведения) Теперь представления метрик отклоняют меры окна, ссылающиеся на другие меры окна. Ранее этот шаблон успешно работал на этапе CREATE, но во время выполнения запроса либо завершался без сообщения об ошибке, либо выдавал неверные результаты. Теперь Azure Databricks возвращает понятную ошибку во время CREATE или ALTER (METRIC_VIEW_WINDOW_MEASURE_REFERENCES_WINDOW_MEASURE). Чтобы отключить эту проверку, установите значение spark.databricks.sql.metricView.rejectWindowOnWindowMeasure.enabledfalse.

    • Исправлена проблема с корректностью данных, из-за которой значения NULL типа struct в исходных данных ошибочно преобразовывались в структуры, отличные от NULL, с полями NULL в целевых данных в MERGE, UPDATE и в запросах потоковой записи. После изменения структуры NULL в исходных данных корректно сохраняются как NULL в целевых данных.

      Затронутые операции:

      • MERGE Запросы с UPDATE SET t.structCol = s.structCol действиями с приведением типов struct
      • MERGE запросы с UPDATE SET * при включенной эволюции схемы (Когда исходная структура — NULL, перезаписать цель значением NULL, если у целевой структуры нет лишних полей или она изначально была NULL)
      • MERGE запросы с UPDATE SET * EXCEPT (Когда исходная структура — NULL, перезапишите цель на NULL, если в списке EXCEPT нет полей)
      • MERGE Запросы с INSERT (structCol) VALUES (s.structCol) действиями с приведением типов struct
      • MERGE Запросы с INSERT * [EXCEPT] действиями с приведением типов struct
      • UPDATE Запросы с приведением типов к struct
      • Потоковая запись с приведением типов структур
    • Обновления системы безопасности операционной системы.

  • 9 июня 2026 г.

    • Обновления системы безопасности операционной системы.
  • 26 мая 2026 г.
    • Обновления системы безопасности операционной системы.
  • 13 мая 2026 г.
    • (Behavior change) Перечисление таблиц с помощью шаблона схемы больше не обновляет метаданные каталога Unity для внешних таблиц (например, SQL Server, PostgreSQL или AWS Glue). Это изменение влияет на SHOW TABLES IN SCHEMA LIKE ... вызовы getMetaData.getTables в драйвере JDBC, если передаётся шаблон схемы, и на API Thrift SparkGetTablesOperation. Если рабочая нагрузка зависит от обновления метаданных с помощью шаблона схемы, обратитесь в службу поддержки Databricks.
    • Обновления системы безопасности операционной системы.
  • 29 апреля 2026 г.
    • Прочие исправления ошибок.
  • 20 апреля 2026 г.
    • Прочие исправления ошибок.
  • 2 апреля 2026 г.

    • Обновленные библиотеки Java:
      • io.delta.delta-sharing-client_2.12 от 1.1.10 до 1.1.11
    • Автозагрузчик включает две новые функции, связанные с управлением расположением источника и видимостью в DBR 16.3: 1. Изменения событий записи: с этим изменением клиенты смогут использовать cloud_files_state TVF для просмотра деталей обнаружения и обработки файлов, таких как время первоначального обнаружения файла, время его зафиксирования, архивирование и т.д. Смотрите текущую публичную документацию этого TVF здесь. 2. Очистка источника: с этой функцией клиенты могут настроить Auto Loader так, чтобы он автоматически удалял обработанные файлы. Клиенты могут подключить эту функцию, используя опцию cloudFiles.cleanSource Auto Loader. Дополнительные сведения см. в документации по параметрам автозагрузчика.
    • Обновления системы безопасности операционной системы.
  • 10 марта 2026 г.

    • [SPARK-55701] ES-1694761[SS] Исправить состояние гонки в CompactibleFileStreamLog.allFiles
    • [SPARK-55111][SS] Повторная проверка обнаружения незавершённого переразбиения при перезапуске запроса
    • Обновления системы безопасности операционной системы.
  • 26 февраля 2026 г.

    • Обновленные библиотеки Java:
      • org.mlflow.mlflow-spark_2.12 от 2.9.1 до 2.11.3
    • Обновления системы безопасности операционной системы.
  • 19 февраля 2026 г.

    • [SPARK-55243][CONNECT] Разрешить настраивать бинарные заголовки через суффикс -bin в клиенте Scala Connect
    • [SPARK-55282][Python][CONNECT] Избегайте использования worker_util на стороне драйвера
    • Обновления системы безопасности операционной системы.
  • 27 января 2026 г.
    • Обновленные библиотеки Java:
      • io.delta.delta-sharing-client_2.12 от 1.1.9 до 1.1.10
    • Обновления системы безопасности операционной системы.
  • 9 января 2026 г.
    • Секционированные таблицы Delta будут содержать столбцы секционирования, материализованные в файлах данных Parquet. Это позволяет улучшить взаимодействие с процессами обработки таблиц Iceberg и UniForm, а также увеличивает совместимость с внешними неподдерживающими Delta средствами чтения.
    • [SPARK-54620][SQL] Добавьте проверку безопасности в ObservationManager, чтобы избежать блокировки наблюдения
    • [SPARK-54711][PYTHON] Добавить тайм-аут для соединения с рабочим процессом, созданным демоном
    • Обновления системы безопасности операционной системы.
  • 9 декабря 2025 г.
    • Обновленные библиотеки Java:
      • io.delta.delta-sharing-client_2.12 от 1.1.7 до 1.1.9
    • [SPARK-54427][SQL] Разрешить ColumnarRow вызывать copy с вариантными типами
    • [SPARK-52579][PYTHON] Задать периодический дамп трассировки для работников Python
    • [SPARK-54180][SQL] Переопределить toString для BinaryFileFormat
    • Обновления системы безопасности операционной системы.
  • 18 ноября 2025 г.
    • [SPARK-54078][SS] Новый тест для StateStoreSuite SPARK-40492: maintenance before unload и удаление инфраструктуры из старого теста
    • [SPARK-54047][PYTHON] Использовать другую ошибку при тайм-ауте завершения из-за простоя
    • Обновления системы безопасности операционной системы.
  • 4 ноября 2025 г.
    • Обновленные библиотеки R:
      • стрелка от 14.0.0.2 до 21.0.0
    • Обновления системы безопасности операционной системы.
  • 21 октября 2025 г.
    • Критерии фотонизации сканирования обновляются, чтобы разрешить фотонизацию сканирования при необходимости проверки контрольной суммы.
      Определение того, требуется ли проверка контрольной суммы, теперь поступает из conf hadoop вместо SQLConf.
    • Обновления системы безопасности операционной системы.
  • 7 октября 2025 г.
    • [SPARK-53568][CONNECT][PYTHON] Исправлены несколько мелких ошибок в логике обработки ошибок клиента Spark Connect Python
    • [SPARK-53574] Исправлено стирание AnalysisContext при разрешении вложенных планов
    • Прочие исправления ошибок.
  • 16 сентября 2025 г.
    • Соединитель Snowflake теперь использует INFORMATION_SCHEMA таблицу вместо SHOW SCHEMAS команды для перечисления схем. Это изменение удаляет ограничение схемы в 10 000 схем предыдущего подхода и улучшает поддержку баз данных с большим количеством схем.
    • [SPARK-50870][SQL] Добавление часового пояса при приведении к временной метке в V2ScanRelationPushDown
    • Обновления системы безопасности операционной системы.
  • 9 сентября 2025 г.
    • Исправлена проблема, из-за которой автозагрузчик зависает на неопределенный срок.
    • Исправлена временная ошибка в автозагрузчике, которая может привести к сбою заданий
    • [SPARK-51821][CORE] Вызов interrupt() без удержания uninterruptibleLock, чтобы избежать возможного тупика
    • [SPARK-49872][CORE] Убрать ограничение на длину строк JSON в Jackson
    • Обновления системы безопасности операционной системы.
  • 26 августа 2025 г.
    • Обновленные библиотеки Java:
      • io.delta.delta-sharing-client_2.12 от 1.1.6 до 1.1.7
    • [SPARK-52482][SQL][CORE] Улучшить обработку исключений для чтения некоторых повреждённых zstd-файлов
    • [SPARK-53192][CONNECT] Всегда кэшируйте DataSource в кэше плана Spark Connect
    • Обновления системы безопасности операционной системы.
  • 14 августа 2025 г.
    • [SPARK-51011][CORE] Добавлено логирование того, будет ли задача прервана при завершении
    • Обновления системы безопасности операционной системы.
  • 29 июля 2025 г.
    • Обновления системы безопасности операционной системы.
  • 21 июля 2025 г.

    • Для вычислений, которые включены для Photon или использует ЦП на основе Arm64, mlflow-skinny обновляется до версии 2.19.0, ray обновляется до версии 2.37.0 и databricks-feature-engineering обновляется до версии 0.8.0.
  • 15 июля 2025 г.

    • Исправлена недетерминированная проблема с потерей данных при использовании структурированной потоковой передачи Spark для потоковой передачи данных из Pulsar.
    • [SPARK-52503][SQL][CONNECT] Исправлено drop, если входной столбец отсутствует
  • 1 июля 2025 г.
    • Обновленные библиотеки Java:
      • org.mlflow.mlflow-spark_2.12 от 2.9.1 до 2.11.3
      • Удален com.fasterxml.jackson.dataformat.jackson-dataformat-yaml 2.15.2
      • Удален org.slf4j.slf4j-simple 1.7.25
    • Поддержка декомпрессии ZStandard для средств чтения источников данных файлов (json, csv, xml и text.)
    • Поддержка декомпрессии ZStandard для средств чтения источников данных файлов (json, csv, xml и text.)
    • [SPARK-52521][SQL] Right#replacement не должен динамически обращаться к SQLConf
    • [SPARK-52482][SQL][CORE] Поддержка ZStandard для считывателя файловых источников
    • [SPARK-52312][SQL] Игнорировать V2WriteCommand при кэшировании DataFrame
    • Обновления системы безопасности операционной системы.
  • 17 июня 2025 г.
    • Исправлено ограничение, что табличную функцию cloud_files_state с табличным значением (TVF) нельзя использовать для чтения состояния на уровне файла потоковых таблиц в различных конвейерах.
    • [SPARK-49646][SQL] исправлена декорреляция подзапроса для операций объединения/множества, когда parentOuterReferences имеет ссылки, не охваченные в collectedChildOuterReferences
    • [SPARK-52040][Python][SQL][CONNECT] ResolveLateralColumnAliasReference должен сохранять идентификатор плана
  • 3 июня 2025 г.
    • Обновленные библиотеки Python:
      • криптография от 3.4.8, 41.0.3 до 41.0.3
      • блокировка файлов от 3.13.4, 3.15.4 до 3.13.4
      • importlib-metadata от 4.6.4, 6.0.0 до 6.0.0
      • platformdirs от 3.10.0, 3.11.0 до 3.10.0
      • pyparsing от 2.4.7, 3.0.9 до 3.0.9
      • zipp от 1.0.0, 3.11.0 до 3.11.0
      • Добавлен pip 23.2.1
      • Добавлена программа установки 68.0.0
      • Добавлен wcwidth 0.2.5
      • Добавлен колесо 0.38.4
      • Удален дистрибутив 1.7.0
      • Удалена дистрибутивная информация 1.1+ubuntu0.2
      • Удален python-apt 2.4.0+ubuntu4
    • Обновленные библиотеки Java:
      • com.github.fommil.netlib.native_ref-java с версии 1.1, 1.1-natives до 1.1, 1.1
      • com.github.fommil.netlib.native_system-java с версии 1.1, 1.1-natives до 1.1, 1.1
      • com.github.fommil.netlib.netlib-native_ref-linux-x86_64 от 1.1 до 1.1
      • com.github.fommil.netlib.netlib-native_system-linux-x86_64 от версии 1.1-natives до 1.1
      • io.netty.netty-tcnative-boringssl-static обновлено с 2.0.61.Final-db-r16-linux-aarch_64, 2.0.61.Final-db-r16-linux-x86_64, 2.0.61.Final-db-r16-osx-aarch_64, 2.0.61.Final-db-r16-osx-x86_64, 2.0.61.Final-db-r16-windows-x86_64 до 2.0.61.Final-db-r16 для всех перечисленных версий.
      • io.netty.netty-transport-native-epoll от 4.1.96.Final, 4.1.96.Final-linux-aarch_64, 4.1.96.Final-linux-x86_64 до 4.1.96.Final, 4.1.96.Final, 4.1.96.Final
      • io.netty.netty-transport-native-kqueue от 4.1.96.Final-osx-aarch_64, 4.1.96.Final-osx-x86_64 до 4.1.96.Final, 4.1.96.Final
      • org.apache.orc.orc-core с 1.9.2-shaded-protobuf до 1.9.2
      • org.apache.orc.orc-mapreduce с 1.9.2-shaded-protobuf до 1.9.2
      • Изменение версии software.amazon.cryptools.AmazonCorrettoCryptoProvider с 1.6.2-linux-x86_64 на 1.6.2
    • [SPARK-52159][SQL] Правильная обработка проверки существования таблиц для диалектов jdbc
    • Обновления системы безопасности операционной системы.
  • 20 мая 2025 г.
    • Обновленные библиотеки Java:
      • io.delta.delta-sharing-client_2.12 от 1.1.5 до 1.1.6
    • Клонированные сеансы потоковой передачи будут использоваться внутри пользовательской функции foreachBatch в общих или бессерверных кластерах. Это соответствует поведению в классических «Назначенных Кластерах».
    • До этого изменения ведущие пробелы и вкладки в пути в variant_get выражении игнорируются с отключенным фотоном. Например, select variant_get(parse_json('{"key": "value"}'), '$['key']') не будет эффективным при извлечении значения "key". Однако теперь пользователи смогут извлечь такие ключи.
    • [SPARK-51935][SQL] Исправить ленивое поведение итераторов в интерпретируемом df.collect()
    • Обновления системы безопасности операционной системы.
  • 22 апреля 2025 г.
    • Обновленные библиотеки Java:
      • org.apache.avro.avro с 1.11.3 по 1.11.4
      • org.apache.avro.avro-ipc от 1.11.3 до 1.11.4
      • org.apache.avro.avro-mapred с 1.11.3 по 1.11.4
    • Отменить "[SPARK-47895][SQL] group by alias должно быть идемпотентным" в 15.4, 16.0, 16.1, 16.2 и 16.3
    • [SPARK-50682][SQL] Внутренний псевдоним должен быть приведен к каноническому виду
    • Обновления системы безопасности операционной системы.
  • 9 апреля 2025 г.
    • (Behavioral change) Чтобы применить критически важные исправления безопасности, версия Python по умолчанию обновляется до Python 3.11.11 с Python 3.11.0rc1. Это обновление может повлиять на некоторые рабочие нагрузки, выполняемые в Databricks Runtime 15.4 LTS, например рабочие нагрузки, использующие сериализацию Python для хранения и восстановления состояния между выполнением или рабочими нагрузками, закрепленными в версии 3.11.0 Python.
    • Обновленные библиотеки Java:
      • Удален io.starburst.openjson.openjson 1.8-e.12
      • Удалён io.starburst.openx.data.json-serde 1.3.9-e.12
      • Удалён io.starburst.openx.data.json-serde-generic-shim 1.3.9-e.12
    • [SPARK-47895][SQL] операция GROUP BY по псевдониму должна быть идемпотентной
    • [SPARK-51624][SQL] Распространить метаданные GetStructField в CreateNamedStruct.dataType
    • Обновления системы безопасности операционной системы.
  • 31 марта 2025 г.
    • Для вычислений, не включенных для Photon, databricks-feature-engineering обновляется до версии 0.8.0. Для вычислений с поддержкой Photon databricks-feature-engineering остаётся на уровне 0.6.0.
  • 11 марта 2025 г.

    • Databricks Runtime 14.3 LTS и более поздних версий включают исправление проблемы, вызвавшей несовместимость двоичного кода с кодом, создающим SparkListenerApplicationEnd экземпляр класса и скомпилированным в Apache Spark. Эта несовместимость привела к слиянию SPARK-46399 с Apache Spark. Это слияние включало изменение, которое добавило аргумент по умолчанию в конструктор SparkListenerApplicationEnd. Чтобы восстановить двоичную совместимость, это исправление добавляет один конструктор аргументов в класс SparkListenerApplicationEnd.
    • [SPARK-50985][SS] Классифицировать ошибку несоответствия Kafka Timestamp Offsets вместо assert и выброса ошибки для отсутствующего сервера в KafkaTokenProvider
    • [SPARK-50791][SQL] Исправьте NPE в обработке ошибок State Store
    • [SPARK-50310][PYTHON] Улучшить производительность столбцов при отключении DQC
    • [SPARK-51222][SQL] Оптимизировать ReplaceCurrentLike
    • [SPARK-49525][SS][CONNECT] Небольшое улучшение лога в ListenerBus Listener серверной стороны потоковых запросов
    • [SPARK-51084][SQL] Присвоить соответствующий класс ошибки для negativeScaleNotAllowedError
    • Обновления системы безопасности операционной системы.
  • 11 февраля 2025 г.

    • Этот выпуск включает исправление проблемы, влияющей на преобразование определенных типов данных при сериализации спасенных столбцов XML-данных. Затронутые типы данных — даты, метки времени, отличные от NTZ, и десятичные знаки при включении prefersDecimal. Дополнительные сведения о спасаемом столбце данных см. в статье "Что такое столбец спасенных данных?".
    • [SPARK-50492][SS] Исправление java.util.NoSuchElementException, когда столбец времени события удаляется после dropDuplicatesWithinWatermark
    • Обновления системы безопасности операционной системы.
    • Для вычислений, не включенных для Photon, mlflow-skinny обновляется до версии 2.19.0. Для вычислений с поддержкой Photon mlflow-skinny остается в версии 2.13.1.
  • 10 декабря 2024 г.
    • Оператор USE CATALOG теперь поддерживает условие IDENTIFIER. С помощью этой поддержки можно параметризовать текущий каталог на основе строковой переменной или маркера параметров.
    • Этот выпуск включает исправление проблемы, которая может привести к тому, что первичный ключ в таблице Delta будет удален при определенных крайних случаях, связанных с фоновым автоматическим сжатием.
    • В этом выпуске размер кэша, используемый SSD в вычислительном узле Databricks, динамически расширяется до начального размера SSD и уменьшается по мере необходимости до предела spark.databricks.io.cache.maxDiskUsage . См. раздел Оптимизация производительности с помощью кэширования в Azure Databricks.
    • Пакет pyodbc обновляется с версии 4.0.38 до версии 4.0.39. Это изменение необходимо, так как ошибка была обнаружена в версии 4.0.38 и была удалена из PyPI.
    • [SPARK-50329][SQL] Исправлен InSet$toString
    • [SPARK-47435][SQL] Исправьте проблему переполнения MySQL UNSIGNED TINYINT
    • [SPARK-49757][SQL] Добавлена поддержка выражения IDENTIFIER в инструкции SETCATALOG
    • [SPARK-50426][PYTHON] Избегайте статического поиска источников данных Python при использовании встроенных или Java-источников
    • [SPARK-48863][SQL] Исправьте ClassCastException при парсинге JSON с включённым "spark.sql.json.enablePartialResults"
    • [SPARK-50310][PYTHON] Добавить флаг для отключения DataFrameQueryContext для PySpark
    • [15.3-15.4] [SPARK-50034][CORE] Исправлено неправильное отображение фатальных ошибок как неперехваченные исключения в SparkUncaughtExceptionHandler
    • Обновления системы безопасности операционной системы.
  • 26 ноября 2024 г.
    • В этом выпуске теперь можно запросить функцию vector_search с помощью query_text для ввода текста или query_vector для внедрения входных данных.
    • Теперь можно задать время ожидания для запросов Spark Connect с помощью свойства конфигурации Spark spark.databricks.execution.timeout. Для записных книжек, работающих на бессерверных вычислениях, значение по умолчанию — 9000 (секунды). Задания, выполняемые на бессерверных вычислениях и вычислениях с стандартным режимом доступа, не имеют времени ожидания, если это свойство конфигурации не задано. Выполнение, которое длится дольше указанного времени ожидания, приводит к ошибке QUERY_EXECUTION_TIMEOUT_EXCEEDED.
    • [SPARK-50322][SQL] Исправьте параметризованный идентификатор в подзапросе
    • [SPARK-49615] [ML] Привести проверку схемы датасета всех ML-трансформеров в соответствие с параметром "spark.sql.caseSensitive".
    • [SPARK-50124][SQL] LIMIT/OFFSET должны сохранять порядок данных
    • Обновления системы безопасности операционной системы.
  • 5 ноября 2024 г.
    • (Критическое изменение) В Databricks Runtime 15.4 LTS и более поздних версиях обработка регулярных выражений в Photon обновляется в соответствии с поведением обработки регулярных выражений Apache Spark. Ранее функции регулярного выражения, выполняемые Photon, такие как split() и regexp_extract(), приняли некоторые регулярные выражения, отклоненные средством синтаксического анализа Spark. Чтобы обеспечить согласованность с Apache Spark, запросы Photon теперь завершаются ошибкой в случае регулярных выражений, которые Spark считает недопустимыми. Из-за этого изменения могут возникнуть ошибки, если код Spark содержит недопустимые регулярные выражения. Например, выражение split(str_col, '{'), содержащее несоответствующую фигурную скобку и ранее принимавшееся Фотоном, теперь вызывает ошибку. Чтобы исправить это выражение, можно экранировать символ фигурной скобки: split(str_col, '\\{'). Поведение фотона и Spark также отличается для некоторых регулярных выражений, соответствующих символам, отличным от ASCII. Это также обновляется так, чтобы Фотон соответствовал поведению Apache Spark.
    • [SPARK-49782][SQL] Правило ResolveDataFrameDropColumns разрешает UnresolvedAttribute с дочерним выводом
    • [SPARK-49867][SQL] Улучшение сообщения об ошибке, когда индекс выходит за пределы при вызове GetColumnByOrdinal
    • [SPARK-49863][SQL] Исправьте NormalizeFloatingNumbers для сохранения допустимости null вложенных структур
    • [SPARK-49829] Пересмотрена оптимизация добавления входных данных в хранилище состояний при соединении поток-поток (исправление корректности)
    • [SPARK-49905] Используйте выделенный ShuffleOrigin для оператора состояния, чтобы AQE не изменял shuffle
    • [SPARK-46632][SQL] Исправьте устранение субвыражений, когда эквивалентные тернарные выражения имеют разные дочерние узлы
    • [SPARK-49443][SQL][Python] Реализовать to_variant_object выражение и заставить schema_of_variant выражения печатать OBJECT для вариантных объектов
    • [SPARK-49615] Исправление ошибки: Сделать так, чтобы проверка схемы столбцов ML соответствовала конфигурации spark.sql.caseSensitive Spark.
  • 22 октября 2024 г.
    • [SPARK-49782][SQL] Правило ResolveDataFrameDropColumns разрешает UnresolvedAttribute с дочерним выводом
    • [SPARK-49867][SQL] Улучшение сообщения об ошибке, когда индекс выходит за пределы при вызове GetColumnByOrdinal
    • [SPARK-49863][SQL] Исправьте NormalizeFloatingNumbers для сохранения допустимости null вложенных структур
    • [SPARK-49829] Пересмотрена оптимизация добавления входных данных в хранилище состояний при соединении двух потоков (исправление корректности)
    • [SPARK-49905] Используйте выделенный ShuffleOrigin для оператора состояния, чтобы предотвратить изменение перемешивания из AQE
    • [SPARK-46632][SQL] Исправьте устранение субвыражений, когда эквивалентные тернарные выражения имеют разные потомки
    • [SPARK-49443][SQL][PYTHON] Реализовать выражение to_variant_object и заставить выражения schema_of_variant печатать OBJECT для объектов Variant
    • [SPARK-49615] Исправление ошибки: Сделать так, чтобы проверка схемы столбцов ML соответствовала конфигурации spark.sql.caseSensitivespark.
  • 10 октября 2024 г.
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr не должен менять поля схемы при обрезке GetArrayStructFields
    • [SPARK-49688][CONNECT] Исправлена гонка данных между прерыванием и выполнением плана
    • [BACKPORT] [SPARK-49474][SS] Классифицировать класс ошибки для функции пользователя FlatMapGroupsWithState
    • [SPARK-49460][SQL] Дополнение: устранить потенциальный риск NPE
  • 25 сентября 2024 г.
    • [SPARK-49628][SQL] ConstantFolding должен копировать выражение с состоянием перед вычислением
    • [SPARK-49000][SQL] Исправлено «select count(distinct 1) from t», где t — пустая таблица, развернув RewriteDistinctAggregates
    • [SPARK-49492][CONNECT] Выполнена попытка повторного подключения к неактивному ExecutionHolder
    • [SPARK-49458][CONNECT][PYTHON] Предоставить идентификатор сессии на стороне сервера через ReattachExecute
    • [SPARK-49017][SQL] Оператор вставки не работает при использовании нескольких параметров
    • [SPARK-49451] Разрешить дублирующиеся ключи в parse_json.
    • Прочие исправления ошибок.
  • 17 сентября 2024 г.
    • [SPARK-48463][ML] Добавить поддержку вложенных входных столбцов для Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor
    • [SPARK-49409][CONNECT] Изменено значение по умолчанию для CONNECT_SESSION_PLAN_CACHE_SIZE
    • [SPARK-49526][CONNECT][HOTFIX-15.4.2] Поддержка путей в стиле Windows в ArtifactManager
    • Отмена изменений "[SPARK-48482][PYTHON] dropDuplicates и dropDuplicatesWithinWatermark должно принимать аргументы переменной длины".
    • [SPARK-43242][CORE] Исправлено выбрасывание 'Unexpected type of BlockId' при диагностике повреждения shuffle
    • [SPARK-49366][CONNECT] Рассматривать узел Union как лист в разрешении столбцов dataframe
    • [SPARK-49018][SQL] Исправлена некорректная работа approx_count_distinct с колляцией
    • [SPARK-49460][SQL] Удаление cleanupResource() из EmptyRelationExec
    • [SPARK-49056][SQL] ErrorClassesJsonReader не может корректно обрабатывать null
    • [SPARK-49336][CONNECT] Ограничить уровень вложения при усечении сообщения протобуфа
  • 29 августа 2024 г.
    • Выходные данные из инструкции SHOW CREATE TABLE теперь включают любые фильтры строк или маски столбцов, определенные в материализованном представлении или потоковой таблице. См. SHOW CREATE TABLE. Дополнительные сведения о фильтрах строк и масках столбцов см. в статьях "Фильтры строк" и "Маски столбцов".
    • При вычислительных процессах, настроенных в режиме общего доступа, пакетное чтение и запись в Kafka теперь имеют такие же ограничения, как и задокументированные для структурированной потоковой передачи. См. ограничения потоковой передачи.
    • [SPARK-48941][SPARK-48970] Исправления writer/reader ML для бэкпорта
    • [SPARK-49074][SQL] Исправление варианта с df.cache()
    • [SPARK-49263][CONNECT] Python-клиент Spark Connect: Единообразно обрабатывает булевы параметры чтения DataFrame
    • [SPARK-48955][SQL] Включить изменения ArrayCompact в версии 15.4
    • [SPARK-48937][SQL] Добавить поддержку правил сопоставления для строковых выражений StringToMap
    • [SPARK-48929] Исправление внутренней ошибки просмотра и очистка контекста исключений парсера
    • [SPARK-49125][SQL] Разрешить дублирование названий столбцов при записи CSV
    • [SPARK-48934][SS] Типы datetime в Python неправильно конвертируются при установке тайм-аута в applyInPandasWithState
    • [SPARK-48843] Предотвращение бесконечного цикла с помощью BindParameters
    • [SPARK-48981] Исправлен метод simpleString типа StringType в PySpark для правил сортировки
    • [SPARK-49065][SQL] Ребазирование в устаревших форматтерах/парсерах должно поддерживать временные пояса, отличные от часового пояса JVM по умолчанию.
    • [SPARK-48896][SPARK-48909][SPARK-48883] Исправления бэкпорта для Spark ML writer
    • [SPARK-48725][SQL] Интегрировать CollationAwareUTF8String.lowerCaseCodePoints в строковые выражения
    • [SPARK-48978][SQL] Реализовать ASCII-быстрый путь в поддержке колляции для UTF8_LCASE
    • [SPARK-49047][Python][CONNECT] Сократить сообщение для логирования
    • [SPARK-49146][SS] Переместить ошибки утверждения, связанные с отсутствием водяных знаков в потоковых запросах в режиме добавления, в фреймворк ошибок
    • [SPARK-48977][SQL] Оптимизировать поиск по строкам в UTF8_LCASE колляции
    • [SPARK-48889][SS] testStream выгружает хранилища состояния перед завершением
    • [SPARK-48463] Сделать StringIndexer с поддержкой вложенных входных столбцов
    • [SPARK-48954] try_mod() заменяет try_remainder()
    • Обновления системы безопасности операционной системы.

Databricks Runtime 14.3 LTS

См. раздел Databricks Runtime 14.3 LTS.

  • 10 ноября 2026 г.

    • Обновленные библиотеки Python:
      • Pytz с 2022.7 по 2026.5
      • Добавлено tzdata 2026.5
    • Обновленные библиотеки Java:
      • org.postgresql.postgresql с 42.6.0 до 42.6.1
      • Добавлено at.yawk.lz4.lz4-java 1.8.1
      • Удален org.lz4.lz4-java 1.8.0
    • Обновления системы безопасности операционной системы.
  • 3 ноября 2026 г.

    • Обновленные библиотеки Java:
      • com.microsoft.sqlserver.mssql-jdbc с 11.2.3.jre8, 11.2.3.jre8 до 11.2.4.jre8, 11.2.4.jre8
    • Обновления системы безопасности операционной системы.
  • 23 октября 2026 года

    • Обновленные библиотеки Python:
      • Certifi с 2022.12.7 по 2026.10.19
    • [SPARK-57547][SQL] Исправление NPE в PartitionKeyedAccumulator во время условия гонки инициализации
    • Обновления системы безопасности операционной системы.
  • 29 сентября 2026 г.

    • Обновления системы безопасности операционной системы.
  • 15 сентября 2026 г.

    • Обновления системы безопасности операционной системы.
  • 1 сентября 2026 г.

    • (Изменение поведения) RESTORE и CLONE команды, изменяющие разбиение таблицы, могут быть заблокированы, если исходная и целевая таблицы имеют общий файл.
    • Обновленные библиотеки Java:
      • org.eclipse.jetty.jetty-client с 9.4.52.v20230823 до 9.4.57.v20241219
      • org.eclipse.jetty.jetty-continuation с 9.4.52.v20230823 до 9.4.57.v20241219
      • org.eclipse.jetty.jetty-http с 9.4.52.v20230823 по 9.4.57.v20241219
      • org.eclipse.jetty.jetty-io с 9.4.52.v20230823 до 9.4.57.v20241219
      • org.eclipse.jetty.jetty-jndi с 9.4.52.v20230823 до 9.4.57.v20241219
      • org.eclipse.jetty.jetty-plus с 9.4.52.v20230823 до 9.4.57.v20241219
      • org.eclipse.jetty.jetty-proxy с 9.4.52.v20230823 до 9.4.57.v20241219
      • org.eclipse.jetty.jetty-security с 9.4.52.v20230823 по 9.4.57.v20241219
      • org.eclipse.jetty.jetty-server с 9.4.52.v20230823 до 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlet с 9.4.52.v20230823 по 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlets с 9.4.52.v20230823 до 9.4.57.v20241219
      • org.eclipse.jetty.jetty-util с 9.4.52.v20230823 до 9.4.57.v20241219
      • org.eclipse.jetty.jetty-util-ajax с версии 9.4.52.v20230823 до версии 9.4.57.v20241219
      • org.eclipse.jetty.jetty-webapp с 9.4.52.v20230823 до 9.4.57.v20241219
      • org.eclipse.jetty.jetty-xml с 9.4.52.v20230823 по 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-api с 9.4.52.v20230823 до 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-client с 9.4.52.v20230823 до 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-common с версии 9.4.52.v20230823 до версии 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-server с 9.4.52.v20230823 до 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-servlet с 9.4.52.v20230823 по 9.4.57.v20241219
    • [SPARK-58531][SQL][CONNECT] Сделайте spark.sql.artifact.copyFromLocalToFs.allowDestLocal статической конфигурацией
    • Обновления системы безопасности операционной системы.
  • 18 августа 2026 г.

    • Обновленные библиотеки Java:
      • com.microsoft.sqlserver.mssql-jdbc с 11.2.2.jre8, 11.2.3.jre8 до 11.2.3.jre8, 11.2.3.jre8
    • Обновления системы безопасности операционной системы.
  • 4 августа 2026 г.

    • [SPARK-58107] Обратное портирование дедупликации и sealing локальной контрольной точки + проверки контрольной суммы материализованного источника MERGE
    • [SPARK-57547][SQL] Обратное портирование исправления параллельной материализации InMemoryRelation в 14.3 (с флагом отключения)
    • Обновления системы безопасности операционной системы.
  • 24 июля 2026 г.

    • Обновления системы безопасности операционной системы.
  • 10 июля 2026 г.

    • Обновления системы безопасности операционной системы.
  • 29 июня 2026 г.
    • (Изменение поведения) Теперь представления метрик отклоняют меры окна, ссылающиеся на другие меры окна. Ранее этот шаблон успешно работал на этапе CREATE, но во время выполнения запроса либо завершался без сообщения об ошибке, либо выдавал неверные результаты. Теперь Azure Databricks возвращает понятную ошибку во время CREATE или ALTER (METRIC_VIEW_WINDOW_MEASURE_REFERENCES_WINDOW_MEASURE). Чтобы отключить эту проверку, установите значение spark.databricks.sql.metricView.rejectWindowOnWindowMeasure.enabledfalse.
    • Обновления системы безопасности операционной системы.
  • 9 июня 2026 г.
    • Обновления системы безопасности операционной системы.
  • 26 мая 2026 г.
    • Обновления системы безопасности операционной системы.
  • 13 мая 2026 г.
    • (Behavior change) Перечисление таблиц с помощью шаблона схемы больше не обновляет метаданные каталога Unity для внешних таблиц (например, SQL Server, PostgreSQL или AWS Glue). Это изменение влияет на SHOW TABLES IN SCHEMA LIKE ... вызовы getMetaData.getTables в драйвере JDBC, если передаётся шаблон схемы, и на API Thrift SparkGetTablesOperation. Если рабочая нагрузка зависит от обновления метаданных с помощью шаблона схемы, обратитесь в службу поддержки Databricks.
    • Обновления системы безопасности операционной системы.
  • 29 апреля 2026 г.
    • Прочие исправления ошибок.
  • 20 апреля 2026 г.
    • Прочие исправления ошибок.
  • 2 апреля 2026 г.

    • Обновленные библиотеки Java:
      • io.delta.delta-sharing-client_2.12 от 1.1.7 до 1.1.11
    • Автозагрузчик включает две новые функции, связанные с управлением расположением источника и видимостью в DBR 16.3: 1. Изменения событий записи: с этим изменением клиенты смогут использовать cloud_files_state TVF для просмотра деталей обнаружения и обработки файлов, таких как время первоначального обнаружения файла, время его зафиксирования, архивирование и т.д. Смотрите текущую публичную документацию этого TVF здесь. 2. Очистка источника: с этой функцией клиенты могут указать Auto Loader автоматически удалять обработанные файлы. Клиенты могут подключить эту функцию, используя опцию cloudFiles.cleanSource Auto Loader. Дополнительные сведения см. в документации по параметрам автозагрузчика.
    • Обновления системы безопасности операционной системы.
  • 10 марта 2026 г.

    • [SPARK-55111][SS] Повторная проверка обнаружения незавершённого переразбиения при перезагрузке запроса
    • [SPARK-55701] ES-1694761[SS] Исправить состояние гонки в CompactibleFileStreamLog.allFiles
    • Обновления системы безопасности операционной системы.
  • 26 февраля 2026 г.

    • Обновления системы безопасности операционной системы.
  • 19 февраля 2026 г.

    • Обновления системы безопасности операционной системы.
  • 27 января 2026 г.

    • Обновления системы безопасности операционной системы.
  • 9 января 2026 г.

    • Секционированные таблицы Delta будут содержать столбцы секционирования, материализованные в файлах данных Parquet. Это позволяет улучшить взаимодействие с процессами обработки таблиц Iceberg и UniForm, а также увеличивает совместимость с внешними неподдерживающими Delta средствами чтения.
    • [SPARK-54711][PYTHON] Добавить тайм-аут для соединения с worker-процессом, созданным демоном
    • Обновления системы безопасности операционной системы.
  • 9 декабря 2025 г.

    • [SPARK-52579][PYTHON] Задать периодический дамп трассировки для воркеров Python
    • [SPARK-54180][SQL] Переопределить toString для BinaryFileFormat
    • Обновления системы безопасности операционной системы.
  • 18 ноября 2025 г.
    • [SPARK-54078][SS] Новый тест для StateStoreSuite SPARK-40492: maintenance before unload и удалить инфраструктуру из старого теста
    • [SPARK-54047][PYTHON] Использовать ошибку difference при тайм-ауте завершения по бездействию
    • Обновления системы безопасности операционной системы.
  • 4 ноября 2025 г.
    • Обновленные библиотеки R:
      • стрелка от 12.0.1 до 21.0.0
    • Обновления системы безопасности операционной системы.
  • 21 октября 2025 г.
    • Обновления системы безопасности операционной системы.
  • 7 октября 2025 г.
    • [SPARK-53568][CONNECT][PYTHON] Исправление нескольких мелких ошибок в логике обработки ошибок клиента Spark Connect Python
    • [SPARK-53574] Исправлено стирание AnalysisContext при разрешении вложенных планов
    • Прочие исправления ошибок.
  • 16 сентября 2025 г.
    • Обновления системы безопасности операционной системы.
  • 9 сентября 2025 г.
    • Исправлена проблема, из-за которой автозагрузчик зависает на неопределенный срок.
    • [SPARK-49872][CORE] Убрать ограничение на длину JSON-строк Jackson
    • Обновления системы безопасности операционной системы.
  • 26 августа 2025 г.
    • Обновленные библиотеки Java:
      • io.delta.delta-sharing-client_2.12 от 1.1.6 до 1.1.7
    • [SPARK-52482][SQL][CORE] Улучшить обработку исключений для чтения некоторых повреждённых zstd-файлов
    • Обновления системы безопасности операционной системы.
  • 14 августа 2025 г.
    • Обновления системы безопасности операционной системы.
  • 29 июля 2025 г.
    • Обновления системы безопасности операционной системы.
  • 15 июля 2025 г.
    • [SPARK-52503][SQL][CONNECT] Исправлено drop, если входной столбец отсутствует
    • Прочие исправления ошибок.
  • 1 июля 2025 г.
    • Поддержка декомпрессии ZStandard для средств чтения источников данных файлов (json, csv, xml и text.)
    • Поддержка декомпрессии ZStandard для средств чтения источников данных файлов (json, csv, xml и text.)
    • [SPARK-52521][SQL] Right#replacement не должен динамически обращаться к SQLConf
    • [SPARK-52482][SQL][CORE] Поддержка ZStandard для считывателя файловых источников
    • Обновления системы безопасности операционной системы.
  • 17 июня 2025 г.
    • Исправлено ограничение, что табличную функцию cloud_files_state с табличным значением (TVF) нельзя использовать для чтения состояния на уровне файла потоковых таблиц в различных конвейерах.
    • [SPARK-49646][SQL] исправить декорреляцию подзапроса для операций объединения/множества, когда parentOuterReferences имеет ссылки, не охваченные в collectedChildOuterReferences
  • 3 июня 2025 г.
    • Обновленные библиотеки Python:
      • криптография от 3.4.8, 39.0.1 до 39.0.1
      • platformdirs от 2.5.2, 2.6.2 до 2.5.2
      • pyparsing от 2.4.7, 3.0.9 до 3.0.9
      • Добавлен pip 22.3.1
      • Добавлена программа установки 65.6.3
      • Добавлен tomli 2.0.1
      • Добавлен wcwidth 0.2.5
      • Добавлен колесо 0.38.4
      • Удален дистрибутив 1.7.0
      • Удалена дистрибутивная информация 1.1+ubuntu0.2
      • Удален python-apt 2.4.0+ubuntu4
    • Обновленные библиотеки Java:
      • com.github.fommil.netlib.native_ref-java с версии 1.1, 1.1-natives до 1.1, 1.1
      • com.github.fommil.netlib.native_system-java с версии 1.1, 1.1-natives до 1.1, 1.1
      • com.github.fommil.netlib.netlib-native_ref-linux-x86_64 от 1.1 до 1.1
      • com.github.fommil.netlib.netlib-native_system-linux-x86_64 от версии 1.1-natives до 1.1
      • io.netty.netty-tcnative-boringssl-static обновлено с 2.0.61.Final-db-r16-linux-aarch_64, 2.0.61.Final-db-r16-linux-x86_64, 2.0.61.Final-db-r16-osx-aarch_64, 2.0.61.Final-db-r16-osx-x86_64, 2.0.61.Final-db-r16-windows-x86_64 до 2.0.61.Final-db-r16 для всех перечисленных версий.
      • io.netty.netty-transport-native-epoll от 4.1.96.Final, 4.1.96.Final-linux-aarch_64, 4.1.96.Final-linux-x86_64 до 4.1.96.Final, 4.1.96.Final, 4.1.96.Final
      • io.netty.netty-transport-native-kqueue от 4.1.96.Final-osx-aarch_64, 4.1.96.Final-osx-x86_64 до 4.1.96.Final, 4.1.96.Final
      • org.apache.orc.orc-core с 1.9.2-shaded-protobuf до 1.9.2
      • org.apache.orc.orc-mapreduce с 1.9.2-shaded-protobuf до 1.9.2
      • software.amazon.cryptools.AmazonCorrettoCryptoProvider от 1.6.1-linux-x86_64 до 1.6.1
    • [SPARK-52040][Python][SQL][CONNECT] ResolveLateralColumnAliasReference должен сохранять идентификатор плана
    • [SPARK-52159][SQL] Корректная обработка проверки существования таблицы для диалектов JDBC
    • Обновления системы безопасности операционной системы.
  • 20 мая 2025 г.
    • Обновленные библиотеки Java:
      • io.delta.delta-sharing-client_2.12 от 1.1.5 до 1.1.6
    • [SPARK-51935][SQL] Исправлено ленивое поведение итераторов в интерпретируемом df.collect()
    • Обновления системы безопасности операционной системы.
  • 22 апреля 2025 г.
    • Обновления системы безопасности операционной системы.
  • 9 апреля 2025 г.

    • [Изменение поведения] Теперь операции вакуумирования выполняют проверки протоколов записи, аналогичные другим операциям, предотвращая непредвиденные очистки таблиц с новейшими функциями при запуске из более ранних несовместимых версий Databricks Runtime.
    • [SPARK-51624][SQL] Распространение метаданных GetStructField в CreateNamedStruct.dataType
    • Обновления системы безопасности операционной системы.
  • 11 марта 2025 г.

    • Databricks Runtime 14.3 LTS и более поздних версий включают исправление проблемы, вызвавшей несовместимость двоичного кода с кодом, создающим SparkListenerApplicationEnd экземпляр класса и скомпилированным в Apache Spark. Эта несовместимость привела к слиянию SPARK-46399 с Apache Spark. Это слияние включало изменение, которое добавило аргумент по умолчанию в конструктор SparkListenerApplicationEnd. Чтобы восстановить двоичную совместимость, это исправление добавляет один конструктор аргументов в класс SparkListenerApplicationEnd.
    • [SPARK-50791][SQL] Исправлена NPE в обработке ошибок State Store
    • [SPARK-50705][SQL] Сделать QueryPlan без блокировок
    • [SPARK-49525][SS][CONNECT] Небольшое улучшение логирования для ListenerBus Listener серверного потокового запроса
    • Обновления системы безопасности операционной системы.
  • 11 февраля 2025 г.

    • Этот выпуск включает исправление проблемы, влияющей на преобразование определенных типов данных при сериализации спасенных столбцов XML-данных. Затронутые типы данных — даты, метки времени, отличные от NTZ, и десятичные знаки при включении prefersDecimal. Дополнительные сведения о спасаемом столбце данных см. в статье "Что такое столбец спасенных данных?".
    • [SPARK-50492][SS] Исправление java.util.NoSuchElementException, когда столбец времени события удаляется после dropDuplicatesWithinWatermark
    • [SPARK-51084][SQL] Присвоить соответствующий класс ошибки для negativeScaleNotAllowedError
    • Обновления системы безопасности операционной системы.
  • 10 декабря 2024 г.
    • Этот выпуск включает исправление проблемы, которая может привести к тому, что первичный ключ в таблице Delta будет удален при определенных крайних случаях, связанных с фоновым автоматическим сжатием.
    • [SPARK-50329][SQL] исправление InSet$toString
    • Обновления системы безопасности операционной системы.
  • 26 ноября 2024 г.
    • [SPARK-49615] [ML] Проверка схемы датасета всех ML-трансформеров приведена в соответствие с конфигурацией "spark.sql.caseSensitive".
    • Обновления системы безопасности операционной системы.
  • 5 ноября 2024 г.
    • [SPARK-48843] Предотвращение бесконечного цикла с помощью BindParameters
    • [SPARK-49829] Пересмотрена оптимизация добавления входных данных в хранилище состояний при join двух потоков (исправление корректности)
    • [SPARK-49863][SQL] Исправьте NormalizeFloatingNumbers для сохранения допустимости null вложенных структур
    • [BACKPORT] [SPARK-49326][SS] Классифицировать класс ошибки для ошибки функции пользователя в приемнике foreach
    • [SPARK-49782][SQL] Правило ResolveDataFrameDropColumns разрешает UnresolvedAttribute с дочерним выводом
    • [SPARK-46632][SQL] Исправьте устранение субвыражений, когда эквивалентные тернарные выражения имеют разные потомки
    • [SPARK-49905] Используйте выделенный ShuffleOrigin для оператора состояния, чтобы предотвратить изменение shuffle со стороны AQE
    • Обновления системы безопасности операционной системы.
  • 22 октября 2024 г.
    • [SPARK-48843] Предотвращение бесконечного цикла с помощью BindParameters
    • [SPARK-49863][SQL] Исправьте NormalizeFloatingNumbers для сохранения возможности значения null во вложенных структурах
    • [SPARK-49905] Используйте выделенный ShuffleOrigin для оператора с состоянием, чтобы предотвратить изменение перемешивания из AQE
    • [SPARK-46632][SQL] Исправьте устранение субвыражений, когда эквивалентные тернарные выражения имеют разные дочерние элементы
    • [SPARK-49782][SQL] Правило ResolveDataFrameDropColumns разрешает UnresolvedAttribute с дочерним выводом
    • [BACKPORT] [SPARK-49326][SS] Классифицировать класс ошибки для ошибки функции пользователя в приемнике foreach
    • [SPARK-49829] Пересмотр оптимизации добавления входных данных в хранилище состояний при соединении поток-поток (исправление корректности)
    • Обновления системы безопасности операционной системы.
  • 10 октября 2024 г.
    • [BACKPORT] [SPARK-49474][SS] Классифицировать класс ошибки для функции пользователя FlatMapGroupsWithState
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr не должен менять поля схемы при обрезке GetArrayStructFields
    • [SPARK-49688][CONNECT] Исправлена гонка данных между прерыванием и выполнением плана
  • 25 сентября 2024 г.
    • [SPARK-48810][CONNECT] API Session stop() должен быть идемпотентным и не должен завершаться с ошибкой, если сессия уже закрыта сервером
    • [SPARK-48719][SQL] Исправлена ошибка вычислений `RegrS...`
    • [SPARK-49000][SQL] Исправлена ошибка для `select count(distinct 1) from t`, где t — пустая таблица, путём расширения RewriteDistinctAggregates
    • [SPARK-49628][SQL] ConstantFolding должен копировать выражение с состоянием перед вычислением
    • [SPARK-49492][CONNECT] Предпринята попытка повторного присоединения к неактивному ExecutionHolder
    • Обновления системы безопасности операционной системы.
  • 17 сентября 2024 г.
    • [SPARK-49336][CONNECT] Ограничить уровень вложения при усечении сообщения протобуфа
    • [SPARK-43242][CORE] Исправлено выбрасывание ошибки "Неожиданный тип BlockId" при диагностике повреждения shuffle
    • [SPARK-48463][ML] Добавить поддержку вложенных входных столбцов у Binarizer, Bucketizer, Vector Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor
    • [SPARK-49526][CONNECT] Поддержка путей в стиле Windows в ArtifactManager
    • [SPARK-49409][CONNECT] Изменено значение по умолчанию CONNECT_SESSION_PLAN_CACHE_SIZE
    • [SPARK-49366][CONNECT] Рассматривать узел Union как лист в разрешении столбцов dataframe
  • 29 августа 2024 г.
    • [SPARK-49146][SS] Переместить ошибки assert, связанные с отсутствием водяных знаков в потоковых запросах в режиме добавления, в фреймворк ошибок
    • [SPARK-48862][PYTHON][CONNECT] Избегайте вызова _proto_to_string , когда уровень INFO не включён
    • [SPARK-49263][CONNECT] Python-клиент Spark Connect: Стабильно обрабатывает булевы параметры чтения DataFrame
  • 14 августа 2024 г.
    • [SPARK-48941][SPARK-48970] Исправления writer/reader для ML, перенесённые при обратном портировании
    • [SPARK-48706][PYTHON] Python UDF в функциях высшего порядка не должен выдавать внутренние ошибки
    • [SPARK-49056][SQL] ErrorClassesJsonReader не может корректно обрабатывать null
    • [SPARK-48597][SQL] Введите маркер для свойства isStreaming в текстовом представлении логического плана
    • [SPARK-49065][SQL] Ребазирование в устаревших форматтерах/парсерах должно поддерживать часовые пояса, отличные от часового пояса JVM по умолчанию.
    • [SPARK-48934][SS] типы datetime Python неправильно конвертируются при установке тайм-аута в applyInPandasWithState
  • 1 августа 2024 г.
    • Этот выпуск содержит исправление ошибок для классов ColumnVector и ColumnarArray в интерфейсе Spark Java. До этого исправления могла возникать ошибка ArrayIndexOutOfBoundsException или возвращаться неверные данные, если экземпляр одного из этих классов содержал значения null.
    • В бессерверных вычислительных ресурсах для записных книжек и заданий режим ANSI SQL включен по умолчанию. См. раздел "Поддерживаемые параметры конфигурации Spark".
    • При вычислительных процессах, настроенных в режиме общего доступа, пакетное чтение и запись в Kafka теперь имеют такие же ограничения, как и задокументированные для структурированной потоковой передачи. См. ограничения потоковой передачи.
    • Выходные данные из инструкции SHOW CREATE TABLE теперь включают любые фильтры строк или маски столбцов, определенные в материализованном представлении или потоковой таблице. См. SHOW CREATE TABLE. Дополнительные сведения о фильтрах строк и масках столбцов см. в статьях "Фильтры строк" и "Маски столбцов".
    • При вычислительных процессах, настроенных в режиме общего доступа, пакетное чтение и запись в Kafka теперь имеют такие же ограничения, как и задокументированные для структурированной потоковой передачи. См. ограничения потоковой передачи.
    • Выходные данные из инструкции SHOW CREATE TABLE теперь включают любые фильтры строк или маски столбцов, определенные в материализованном представлении или потоковой таблице. См. SHOW CREATE TABLE. Дополнительные сведения о фильтрах строк и масках столбцов см. в статьях "Фильтры строк" и "Маски столбцов".
    • [SPARK-48896][SPARK-48909][SPARK-48883] Исправления backport для writer Spark ML
    • [SPARK-48889][SS] testStream для выгрузки хранилищ состояния перед завершением
    • [SPARK-48705][PYTHON] Явно используйте worker_main, если он начинается с pyspark
    • [SPARK-48047][SQL] Снижение давления на память пустых тегов TreeNode
    • [SPARK-48544][SQL] Снижение нагрузки на память из-за пустых битовых наборов TreeNode
    • [SPARK-46957][CORE] Выведенные из эксплуатации мигрированные файлы перемешивания должны уметь очищаться на исполнителе
    • [SPARK-48463] Добавлена поддержка вложенных входных столбцов в StringIndexer
    • [SPARK-47202][PYTHON] Исправлена опечатка, ломающая объекты datetime с tzinfo
    • [SPARK-47713][SQL][CONNECT] Исправьте сбой самосоединения
    • Обновления системы безопасности операционной системы.
  • 11 июля 2024 г.
    • (Изменение поведения) Кадры данных, кэшированные в источниках таблиц Delta, теперь недействительны, если исходная таблица перезаписана. Это изменение означает, что все изменения состояния в таблицах Delta теперь делают кэшированные результаты недействительными. Используйте .checkpoint() для сохранения состояния таблицы на протяжении всего времени жизни фрейма данных.
    • Драйвер Snowflake JDBC обновлен до версии 3.16.1.
    • Этот выпуск содержит исправление проблемы, которая не позволяла правильно отображать вкладку "Среда" в пользовательском интерфейсе Spark при запуске в службах контейнеров Databricks.
    • В бессерверных вычислительных ресурсах для записных книжек и заданий режим ANSI SQL включен по умолчанию. См. раздел "Поддерживаемые параметры конфигурации Spark".
    • Чтобы игнорировать недопустимые секции при чтении данных, файловые источники данных, такие как Parquet, ORC, CSV или JSON, могут задать параметру источника данных ignoreInvalidPartitionPaths значение true. Например: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...). Также можно использовать конфигурацию SQL spark.sql.files.ignoreInvalidPartitionPaths. Однако параметр источника данных имеет приоритет над конфигурацией SQL. Этот параметр имеет значение false по умолчанию.
    • [SPARK-48648][Python][CONNECT] Сделать SparkConnectClient.tags по-настоящему локальным для потока
    • [SPARK-48445][SQL] Не встраивайте UDF с ресурсоемкими дочерними выражениями
    • [SPARK-48481][SQL][SS] Не применяйте OptimizeOneRowPlan против потокового набора данных
    • [SPARK-48383][SS] Выдавать более понятную ошибку для несовпадающих разделов в опции startOffset в Kafka
    • [SPARK-48503][SQL] Исправить некорректные скалярные подзапросы с группировкой по неэквивалентным столбцам, которые были неправильно разрешены
    • [SPARK-48100][SQL] Исправьте проблемы с пропуском вложенных полей структуры, не выбранных в схеме
    • [SPARK-48273][SQL] Исправление поздней перезаписи идентификатора PlanWithUnresolvedIdentifier
    • [SPARK-48252][SQL] Обновить CommonExpressionRef при необходимости
    • [SPARK-48475][PYTHON] Оптимизировать _get_jvm_function в PySpark.
    • [SPARK-48292][CORE] Откат [SPARK-39195][SQL] Spark OutputCommitCoordinator должен прервать стадию, если зафиксированный файл не соответствует статусу задачи
    • Обновления системы безопасности операционной системы.
  • 17 июня 2024 г.
    • applyInPandasWithState() доступна на вычислительных ресурсах со стандартным режимом доступа.
    • Исправлена ошибка, из-за которой оптимизация рангового окна с помощью Photon TopK неправильно обрабатывала секции со структурами.
    • [SPARK-48310][PYTHON][CONNECT] Кэшированные свойства должны возвращать копии
    • [SPARK-48276][PYTHON][CONNECT] Добавьте отсутствующий __repr__ метод для SQLExpression
    • [SPARK-48294][SQL] Обработка строчных букв в nestedTypeMissingElementTypeError
    • Обновления системы безопасности операционной системы.
  • 21 мая 2024 г.
    • (Изменение поведения) dbutils.widgets.getAll() Поддерживается получение всех значений мини-приложений в блокноте.
    • Исправлена ошибка в функции try_divide(), в которой входные данные, содержащие десятичные разряды, привели к непредвиденным исключениям.
    • [SPARK-48056][CONNECT][Python] Повторно выполнить план, если возникает ошибка SESSION_NOT_FOUND и частичный ответ не был получен
    • [SPARK-48146][SQL] Исправить агрегатную функцию в утверждении для дочернего элемента выражения With
    • [SPARK-47986][CONNECT][PYTHON] Невозможно создать новую сессию, если сервер закрыл сессию по умолчанию
    • [SPARK-48180][SQL] Улучшено сообщение об ошибке, если при вызове UDTF с аргументом TABLE забыты скобки вокруг нескольких выражений PARTITION/ORDER BY
    • [SPARK-48016][SQL] Исправление ошибки в функции try_divide при использовании десятичных чисел
    • [SPARK-48197][SQL] Избегайте ошибки assert для неверной лямбда-функции
    • [SPARK-47994][SQL] Исправлена ошибка с проталкиванием фильтра по столбцу CASE WHEN в SQLServer
    • [SPARK-48173][SQL] CheckAnalysis должен увидеть полный план запросов
    • [SPARK-48105][SS] Исправьте состояние гонки между выгрузкой хранилища состояния и созданием снимков
    • Обновления системы безопасности операционной системы.
  • 9 мая 2024 г.
    • (Изменение поведения) applyInPandas И mapInPandas типы UDF теперь поддерживаются в вычислительных ресурсах в режиме общего доступа под управлением Databricks Runtime 14.3 LTS и более поздних версий.
    • [SPARK-47739][SQL] Регистрация логического типа Avro
    • [SPARK-47941] [SS] [Connect] Передавать пользователям ошибки инициализации рабочих ForeachBatch для PySpark
    • [SPARK-48010][SQL] Избегайте повторных вызовов conf.resolver в resolveExpression
    • [SPARK-48044][PYTHON][CONNECT] Кэш DataFrame.isStreaming
    • [SPARK-47956][SQL] Проверка корректности для неразрешённой ссылки LCA
    • [SPARK-47543][CONNECT][PYTHON] Определение типа dict как MapType из Pandas DataFrame для создания DataFrame
    • [SPARK-47819][CONNECT][Cherry-pick-14.3] Используйте асинхронный обратный вызов для очистки после выполнения
    • [SPARK-47764][CORE][SQL] Очистка зависимостей shuffle на основе ShuffleCleanupMode
    • [SPARK-48018][SS] Исправлена ошибка отсутствующего параметра при выбросе KafkaException.couldNotReadOffsetRange, вызванная null groupId
    • [SPARK-47839][SQL] Исправлена ошибка агрегирования в RewriteWithExpression
    • [SPARK-47371] [SQL] XML: Игнорировать теги строк, найденные в CDATA
    • [SPARK-47895][SQL] GROUP BY ALL должен быть идемпотентным
    • [SPARK-47973][CORE] Логировать место вызова в SparkContext.stop() и позже в SparkContext.assertNotStopped()
    • Обновления системы безопасности операционной системы.
  • 25 апреля 2024 г.
    • [SPARK-47543][CONNECT][PYTHON] Вывод dict из MapType Pandas DataFrame, что позволяет создавать DataFrame
    • [SPARK-47694][CONNECT] Сделайте максимальный размер сообщения настраиваемым на стороне клиента
    • [SPARK-47664][PYTHON][CONNECT][Cherry-pick-14.3] Проверьте имя столбца с кэшированной схемой
    • [SPARK-47862][PYTHON][CONNECT] Исправление генерации proto-файлов
    • Отмена "[SPARK-47543][CONNECT][PYTHON] Определение dict как MapType из DataFrame Pandas для создания DataFrame"
    • [SPARK-47704][SQL] Сбой при разборе JSON с исключением «java.lang.ClassCastException», когда включен spark.sql.json.enablePartialResults
    • [SPARK-47812][CONNECT] Поддержка сериализации SparkSession для работника ForEachBatch
    • [SPARK-47818][CONNECT][Cherry-pick-14.3] Добавлен кэш планов в SparkConnectPlanner для повышения производительности запросов анализа
    • [SPARK-47828][CONNECT][PYTHON] DataFrameWriterV2.overwrite завершается с ошибкой при некорректном плане
    • Обновления системы безопасности операционной системы.
  • 11 апреля 2024 г.
    • (Изменения в поведении) Чтобы обеспечить согласованное поведение в разных типах вычислительных ресурсов, UDFs PySpark на ресурсах с обычным режимом доступа теперь соответствуют поведению UDFs без изоляции и назначенных кластерах. Это обновление включает следующие изменения, которые могут нарушить существующий код:
      • Определяемые пользователем функции с типом возврата string больше не преобразовывают значения, отличные отstring, неявным образом в значения string. Ранее пользовательские функции (UDF) с возвращаемым типом str оборачивали возвращаемое значение с помощью функции str(), независимо от фактического типа данных возвращаемого значения.
      • Определяемые пользователем функции с timestamp возвращаемыми типами больше не применяют неявное преобразование к timestamptimezone.
      • Конфигурации кластера Spark spark.databricks.sql.externalUDF.* больше не применяются к UDF PySpark на вычислительных ресурсах со стандартным режимом доступа.
      • Конфигурация кластера Spark spark.databricks.safespark.externalUDF.plan.limit больше не влияет на PySpark UDF, что снимает ограничение публичной предварительной версии на 5 UDF на запрос для PySpark.
      • Конфигурация кластера Spark spark.databricks.safespark.sandbox.size.default.mib больше не применяется к PySpark UDF на вычислительных ресурсах со стандартным режимом доступа. Вместо этого используется доступная память в системе. Чтобы ограничить объем памяти пользовательских функций PySpark, используйте spark.databricks.pyspark.udf.isolation.memoryLimit с минимальным значением 100m.
    • Тип данных TimestampNTZ теперь поддерживается как столбец кластеризации с использованием технологии liquid clustering. См. раздел "Использование кластеризации жидкости" для таблиц.
    • [SPARK-47511][SQL] Канонизировать выражения WITH путём переназначения идентификаторов
    • [SPARK-47509][SQL] Блокировать выражения подзапросов в лямбда-функциях и функциях высшего порядка
    • [SPARK-46990][SQL] Исправьте загрузку пустых файлов Avro, исходящих от Event Hubs
    • [SPARK-47638][PS][CONNECT] Пропустить проверку имен столбцов в PS
    • Обновления системы безопасности операционной системы.
  • 14 марта 2024 г.
    • [SPARK-47135][SS] Реализовать классы ошибок для исключений при потере данных Kafka
    • [SPARK-47176][SQL] Добавить вспомогательную функцию ResolveAllExpressionsUpWithPruning
    • [SPARK-47145][SQL] Передайте идентификатор таблицы исполнителю сканирования источника данных для стратегии V2.
    • [SPARK-47044][SQL] Добавить выполненный запрос для внешних источников данных JDBC для объяснения вывода
    • [SPARK-47167][SQL] Добавить конкретный класс для анонимного отношения JDBC
    • [SPARK-47070] Исправлено некорректное агрегирование после переписки подзапроса
    • [SPARK-47121][CORE] Избегайте исключений RejectedExecutionException во время выключения StandaloneSchedulerBackend
    • Возврат "[SPARK-46861][CORE] Избегайте взаимоблокировки в DAGScheduler"
    • [SPARK-47125][SQL] Возвращать null, если Univocity никогда не запускает разбор
    • [SPARK-46999][SQL] ExpressionWithUnresolvedIdentifier должен включать другие выражения в дерево выражений
    • [SPARK-47129][CONNECT][SQL] Обеспечьте корректное кэширование плана Connect
    • [SPARK-47241][SQL] Исправьте проблемы с порядком правил для ExtractGenerator
    • [SPARK-47035][SS][CONNECT] Протокол для слушателя на стороне клиента
    • Обновления системы безопасности операционной системы.
  • 29 февраля 2024 г.
    • Исправлена проблема, из-за которой использование локальной коллекции в качестве источника в команде MERGE могло привести к тому, что метрика numSourceRows сообщает о вдвое большем количестве строк, чем следует.
    • Создание схемы с определенным расположением теперь требует, чтобы у пользователя были привилегии SELECT и MODIFY на любой файл.
    • [SPARK-47071][SQL] Встраивание выражения With, если оно содержит специальное выражение
    • [SPARK-47059][SQL] Прикрепить контекст ошибки для команды ALTER COLUMN v1
    • [SPARK-46993][SQL] Исправить константную свертку для переменных сессии
    • Обновления системы безопасности операционной системы.
  • 3 января 2024 г.
    • [SPARK-46933] Добавьте метрику времени выполнения запроса в соединители, использующие JDBCRDD.
    • [SPARK-46763] Исправьте сбой проверки утверждения в ReplaceDeduplicateWithAggregate для дублирующих атрибутов.
    • [SPARK-46954] XML: Оберни InputStreamReader с помощью BufferedReader.
    • [SPARK-46655] Пропустить перехват контекста запроса в методах DataFrame.
    • [SPARK-44815] Кэшировать df.schema, чтобы избежать лишнего RPC.
    • [SPARK-46952] XML: Ограничить размер некорректной записи.
    • [SPARK-46794] Удалить подзапросы из ограничений LogicalRDD.
    • [SPARK-46736] сохранять пустое поле сообщения в разъёме protobuf.
    • [SPARK-45182] Игнорировать завершение задачи из старой стадии после повторной попытки родительской стадии с неопределенным состоянием, определяемым по контрольной сумме.
    • [SPARK-46414] Используйте prependBaseUri для рендеринга импортов javascript.
    • [SPARK-46383] Сократить использование памяти кучи драйвера, сократив время жизни TaskInfo.accumulables().
    • [SPARK-46861] Избегайте deadlock в DAGScheduler.
    • [SPARK-46954] XML: Оптимизировать поиск по индексу схемы.
    • [SPARK-46676] dropDuplicatesWithinWatermark не должен провалиться при канонизации плана.
    • [SPARK-46644] Измените добавление и слияние в SQLMetric, чтобы использовать isZero.
    • [SPARK-46731] Управление экземпляром провайдера хранилища состояния по источнику данных состояния — считыватель.
    • [SPARK-46677] Исправлено разрешение dataframe["*"].
    • [SPARK-46610] Создание таблицы должно выдавать исключение, когда нет значения для ключа в опциях.
    • [SPARK-46941] Нельзя вставить узел ограничения оконной группы для вычисления top-k, если он содержит SizeBasedWindowFunction.
    • [SPARK-45433] Исправьте определение схемы CSV/JSON, если временные метки не совпадают с указанным временным форматом.
    • [SPARK-46930] Добавьте поддержку пользовательского префикса для полей типа Union в Avro.
    • [SPARK-46227] Бэкпорт в 14.3.
    • [SPARK-46822] Учитывается spark.sql.legacy.charVarcharAsString при приведении типа JDBC к типу Catalyst в JDBC.
    • Обновления системы безопасности операционной системы.

Databricks Runtime версия 9.1 LTS

  • 9 апреля 2025 г.
    • Обновления системы безопасности операционной системы.
  • 11 марта 2025 г.
    • Обновления системы безопасности операционной системы.
  • 11 февраля 2025 г.
    • Обновления системы безопасности операционной системы.
  • 10 декабря 2024 г.
    • Обновления системы безопасности операционной системы.
  • 26 ноября 2024 г.
    • Обновления системы безопасности операционной системы.
  • 5 ноября 2024 г.
    • Обновления системы безопасности операционной системы.
  • 22 октября 2024 г.
    • Обновления системы безопасности операционной системы.
  • 10 октября 2024 г.
    • Обновления системы безопасности операционной системы.
  • 25 сентября 2024 г.
    • [SPARK-49000][SQL] Исправлено «select count(distinct 1) from t», где t — пустая таблица, за счет развертывания RewriteDistinctAggregates
    • Обновления системы безопасности операционной системы.
  • 6 сентября 2024 г.
    • Обновления системы безопасности операционной системы.
  • 29 августа 2024 г.
    • [SPARK-49065][SQL] Ребазирование в устаревших форматтерах/парсерах должно поддерживать временные пояса, отличные от часового пояса JVM по умолчанию.
  • 14 августа 2024 г.
  • 1 августа 2024 г.
    • Обновления системы безопасности операционной системы.
  • 11 июля 2024 г.
    • Обновления системы безопасности операционной системы.
  • 17 июня 2024 г.
    • Обновления системы безопасности операционной системы.
  • 21 мая 2024 г.
    • [SPARK-48105][SS] Исправлено состояние гонки между выгрузкой хранилища состояния и созданием снимков
    • Обновления системы безопасности операционной системы.
  • 9 мая 2024 г.
    • [SPARK-47973][CORE] Логировать место вызова в SparkContext.stop() и позже в SparkContext.assertNotStopped()
    • [SPARK-44251][SQL] Правильно устанавливается nullable на коалесцированном ключе соединения в полном внешнем USING join
    • Обновления системы безопасности операционной системы.
  • 25 апреля 2024 г.
    • Прочие исправления ошибок.
  • 11 апреля 2024 г.
    • Обновления системы безопасности операционной системы.
  • 1 апреля 2024 г.
    • Возврат "[SPARK-46861][CORE] Избегайте взаимоблокировки в DAGScheduler"
    • Обновления системы безопасности операционной системы.
  • 14 марта 2024 г.
    • Обновления системы безопасности операционной системы.
  • 29 февраля 2024 г.
    • Исправлена проблема, из-за которой использование локальной коллекции в качестве источника в команде MERGE могло привести к тому, что метрика numSourceRows сообщает о вдвое большем количестве строк, чем следует.
    • Обновления системы безопасности операционной системы.
  • 13 февраля 2024 г.
    • [SPARK-46861] Избегайте Deadlock в DAGScheduler.
    • Обновления системы безопасности операционной системы.
  • 31 января 2024 г.
    • Обновления системы безопасности операционной системы.
  • 25 декабря 2023 г.
    • Чтобы избежать повышенной задержки при обмене данными по протоколу TLSv1.3, этот выпуск обслуживания включает исправление для установки JDK 8, чтобы устранить ошибку JDK-8293562.
    • [SPARK-46058] Добавьте отдельный флаг для privateKeyPassword.
    • [SPARK-39440] Добавлена конфигурация для отключения хронологии событий.
    • [SPARK-46132] Поддержка пароля ключа для JKS-ключей для RPC SSL.
  • 14 декабря 2023 г.
    • Обновления системы безопасности операционной системы.
  • 29 ноября 2023 г.
    • Был установлен новый пакет, pyarrow-hotfix, чтобы устранить уязвимость PyArrow RCE.
    • [SPARK-45859] Сделал объекты UDF в ml.functions ленивыми.
    • [SPARK-45544] В TransportContext интегрирована поддержка SSL.
    • [SPARK-45730] Улучшены временные ограничения для ReloadingX509TrustManagerSuite.
    • Обновления системы безопасности операционной системы.
  • 14 ноября 2023 г.
    • [SPARK-45545]SparkTransportConf Наследование SSLOptions при создании.
    • [SPARK-45429] Добавлены вспомогательные классы для связи SSL RPC.
    • [SPARK-45427] Добавлены настройки RPC SSL в SSLOptions и SparkTransportConf.
    • [SPARK-45584] Исправлена ошибка запуска подзапроса с TakeOrderedAndProjectExec.
    • [SPARK-45541] Добавлено SSLFactory.
    • [SPARK-42205] Удалены аккумуляторы логирования в событиях начала Stage и Task.
    • Обновления системы безопасности операционной системы.
  • 24 октября 2023 г.
    • [SPARK-45426] Добавлена поддержка для ReloadingX509TrustManager.
    • Обновления системы безопасности операционной системы.
  • 13 октября 2023 г.
    • Обновления системы безопасности операционной системы.
  • 10 сентября 2023 г.
    • Прочие исправления.
  • 30 августа 2023 г.
    • Обновления системы безопасности операционной системы.
  • 15 августа 2023 г.
    • Обновления системы безопасности операционной системы.
  • 23 июня 2023 г.
    • Библиотека Snowflake-jdbc обновляется до версии 3.13.29, чтобы устранить проблему безопасности.
    • Обновления системы безопасности операционной системы.
  • 15 июня 2023 г.
    • [SPARK-43098] Исправлена ошибка корректности COUNT, когда скалярный подзапрос содержит предложение GROUP BY.
    • [SPARK-43156][SPARK-43098] Расширен тест ошибки COUNT в скалярном подзапросе при отключённом decorrelateInnerQuery.
    • [SPARK-40862] Поддержка неагрегированных подзапросов в RewriteCorrelatedScalarSubquery.
    • Обновления системы безопасности операционной системы.
  • 2 июня 2023 г.
    • Средство синтаксического анализа JSON в failOnUnknownFields режиме удаляет запись в DROPMALFORMED режиме и прямо дает сбой в режиме FAILFAST.
    • Исправлена проблема в синтаксическом анализе восстановленных данных JSON, чтобы предотвратить UnknownFieldException.
    • Исправлена проблема в Auto Loader, из-за которой разные форматы исходных файлов были несовместимыми, если предоставленная схема не включала выведенные разделы. Эта проблема может привести к непредвиденным сбоям при чтении файлов с отсутствующими столбцами в схеме выводимой секции.
    • [SPARK-37520] Добавлены строковые функции startswith() и endswith()
    • [SPARK-43413] Исправлена IN нулевость ListQuery подзапроса.
    • Обновления системы безопасности операционной системы.
  • 17 мая 2023 г.
    • Обновления системы безопасности операционной системы.
  • 25 апреля 2023 г.
    • Обновления системы безопасности операционной системы.
  • 11 апреля 2023 г.
    • Исправлена проблема, из-за которой эволюция схемы автозагрузчика может перейти в бесконечный цикл сбоя при обнаружении нового столбца в схеме вложенного объекта JSON.
    • [SPARK-42967] Исправлено SparkListenerTaskStart.stageAttemptId, когда задача запускается после отмены стадии.
  • 29 марта 2023 г.
    • Обновления системы безопасности операционной системы.
  • 14 марта 2023 г.
    • [SPARK-42484] Улучшено сообщение об ошибке для UnsafeRowUtils.
    • Прочие исправления.
  • 28 февраля 2023 г.
    • Теперь пользователи могут читать и записывать определенные таблицы Delta, требующие чтения версии 3 и записи версии 7, с помощью Databricks Runtime 9.1 LTS или более поздней версии. Для успешного выполнения функции таблиц, перечисленные в протоколе таблиц, должны поддерживаться текущей версией Databricks Runtime.
    • Обновления системы безопасности операционной системы.
  • 16 февраля 2023 г.
    • Обновления системы безопасности операционной системы.
  • 31 января 2023 г.
    • По умолчанию типы таблиц JDBC являются внешними.
  • 18 января 2023 г.
    • Обновления системы безопасности операционной системы.
  • 29 ноября 2022 г.
    • Исправлена проблема с синтаксическим анализом JSON в Auto Loader, когда все столбцы оставались в виде строк (не были установленыcloudFiles.inferColumnTypes или установлены false), и JSON содержал вложенные объекты.
    • Обновления системы безопасности операционной системы.
  • 15 ноября 2022 г.
    • Обновление Apache commons-text до версии 1.10.0.
    • Обновления системы безопасности операционной системы.
    • Прочие исправления.
  • 1 ноября 2022 г.
    • Исправлена проблема, из-за которой в таблице Delta существовал пользовательский столбец с именем _change_type, но если в этой таблице была отключена функция изменения данных, в этом столбце данные неверно заполнялись NULL-значениями при выполнении .
    • Исправлена проблема с автозагрузчиком, из-за которой файл можно дублировать в одном микропакете при включении allowOverwrites
    • [SPARK-40596] Заполнить Executor Decommission сообщениями в ExecutorDecommissionInfo
    • Обновления системы безопасности операционной системы.
  • 18 октября 2022 г.
    • Обновления системы безопасности операционной системы.
  • 5 октября 2022 г.
    • Прочие исправления.
    • Обновления системы безопасности операционной системы.
  • 22 сентября 2022 г.
    • Пользователи могут задать spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") для повторного включения встроенного списка для автозагрузчика в ADLS. Встроенный список ранее был отключен из-за проблем с производительностью, но это может привести к увеличению затрат на хранение для клиентов.
    • [SPARK-40315] Добавить hashCode() для литерала типа ArrayBasedMapData
    • [SPARK-40089] Исправьте сортировку для некоторых десятичных типов
    • [SPARK-39887] RemoveRedundantAliases должен сохранять псевдонимы, делающие вывод проекционных узлов уникальным
  • 6 сентября 2022 г.
    • [SPARK-40235] Используйте прерываемую блокировку вместо синхронизации в Executor.updateDependencies()
    • [SPARK-35542] Исправление: Bucketizer, созданный для нескольких столбцов с параметрами splitsArray, inputCols и outputCols нельзя загрузить после сохранения
    • [SPARK-40079] Добавлена проверка inputCols в Imputer для случая с пустым входом
  • 24 августа 2022 г.
    • [SPARK-39666] Используйте UnsafeProjection.create, чтобы учитывать spark.sql.codegen.factoryMode в ExpressionEncoder
    • [SPARK-39962] Применить проекцию, когда атрибуты группы пусты
    • Обновления системы безопасности операционной системы.
  • 9 августа 2022 г.
    • Обновления системы безопасности операционной системы.
  • 27 июля 2022 г.
    • Сделайте результаты операции Delta MERGE согласованными, когда источник является недетерминированным.
    • [SPARK-39689] Поддержка 2-символов lineSep в источнике данных CSV
    • [SPARK-39575] Добавлено ByteBuffer#rewind после ByteBuffer#get в AvroDeserializer.
    • [SPARK-37392] Исправлена ошибка производительности для оптимизатора Catalyst.
    • Обновления системы безопасности операционной системы.
  • 13 июля 2022 г.
    • [SPARK-39419]ArraySort вызывает исключение, когда компаратор возвращает null.
    • Отключено использование встроенных облачных API-интерфейсов автозагрузчика для перечисления каталогов на Azure.
    • Обновления системы безопасности операционной системы.
  • 5 июля 2022 г.
    • Обновления системы безопасности операционной системы.
    • Прочие исправления.
  • 15 июня 2022 г.
    • [SPARK-39283] Устранить взаимоблокировку между TaskMemoryManager и UnsafeExternalSorter.SpillableIterator.
  • 2 июня 2022 г.
    • [SPARK-34554] Реализован copy() метод в ColumnarMap.
    • Обновления системы безопасности операционной системы.
  • 18 мая 2022 г.
    • Исправлена потенциальная утечка встроенной памяти в автозагрузчике.
    • Версия пакета SDK AWS обновлена с 1.11.655 до 1.11.678.
    • [SPARK-38918] Обрезание вложенных столбцов должно фильтровать атрибуты, не относящиеся к текущему отношению
    • [SPARK-39084] Исправлено df.rdd.isEmpty() с использованием TaskContext для остановки итератора при завершении задачи
    • Обновления системы безопасности операционной системы.
  • 19 апреля 2022 г.
    • Обновления системы безопасности операционной системы.
    • Прочие исправления.
  • 6 апреля 2022 г.
    • [SPARK-38631] Использует реализацию на базе Java для распаковки tar-архивов в Utils.unpack.
    • Обновления системы безопасности операционной системы.
  • 22 марта 2022 г.
    • Изменен текущий рабочий каталог записных книжек в кластерах высокой параллельности с управлением доступом к таблицам или прозрачной передачей учетных данных на домашний каталог пользователя. Ранее Active Directory был /databricks/driver.
    • [SPARK-38437] Мягкая сериализация даты и времени из источника данных
    • [SPARK-38180] Разрешить безопасные восходящие выражения в коррелированных предикатах равенства
    • [SPARK-38155] Запретить агрегатную функцию DISTINCT в латеральных подзапросах с неподдерживаемыми предикатами
    • [SPARK-27442] Удалено проверочное поле при чтении или записи данных в формате Parquet.
  • 14 марта 2022 г.
    • [SPARK-38236] Абсолютные пути к файлам, указанные в операциях create/alter table, рассматриваются как относительные
    • [SPARK-34069] Прервать поток задачи, если локальное свойство SPARK_JOB_INTERRUPT_ON_CANCEL установлено в true.
  • 23 февраля 2022 г.
    • [SPARK-37859] SQL-таблицы, созданные через JDBC в Spark 3.1, не могут быть прочитаны с помощью Spark 3.2.
  • 8 февраля 2022 г.
    • [SPARK-27442] Удалено проверочное поле при чтении или записи данных в формате Parquet.
    • Обновления системы безопасности операционной системы.
  • 1 февраля 2022 г.
    • Обновления системы безопасности операционной системы.
  • 26 января 2022 г.
    • Исправлена проблема, из-за которой параллельные транзакции в таблицах Delta могли фиксироваться не в сериализуемом порядке при определенных редких условиях.
    • Исправлена проблема, из-за которой команда OPTIMIZE могла выйти из строя при включении диалекта SQL ANSI.
  • 19 января 2022 г.
    • Незначительные исправления и улучшения безопасности.
    • Обновления системы безопасности операционной системы.
  • 4 ноября 2021 г.
    • Исправлена проблема, из-за которой структурированные стримы могли завершаться ошибкой ArrayIndexOutOfBoundsException.
    • Исправлено условие гонки, которое могло привести к сбою запроса с ошибкой IOException, подобной java.io.IOException: No FileSystem for scheme, или могло привести к тому, что изменения в sparkContext.hadoopConfiguration не вступят в силу в запросах.
    • Соединитель Apache Spark для Delta Sharing был обновлен до версии 0.2.0.
  • 20 октября 2021 г.
    • Обновлен соединитель BigQuery с версии 0.18.1 до версии 0.22.2. Добавлена поддержка типа BigNumeric.