Обновления Databricks Runtime для сервисного обслуживания

На этой странице перечислены обновления обслуживания для поддерживаемых версий среды выполнения Databricks. Чтобы добавить обновление обслуживания в существующий кластер, перезапустите кластер. Обновления обслуживания для неподдерживаемых версий Databricks Runtime см. в архиве обновлений обслуживания для Databricks Runtime.

Выпуски являются поэтапными. Учетная запись Azure Databricks может не обновляться через несколько дней после начальной даты выпуска.

Note

Начиная с Databricks Runtime 19 обновления обслуживания публикуются непосредственно на странице с унифицированными заметками о выпуске каждой версии. На этой странице рассматриваются только Databricks Runtime 18 и более ранние версии. См. статью о жизненном цикле поддержки Databricks Runtime.

Выпуски Databricks Runtime

Обновления обслуживания по версиям:

• Databricks Runtime 18 LTS
• Databricks Runtime 18.2
• Databricks Runtime 18.1
• Databricks Runtime 17.3 LTS
• Databricks Runtime 16.4 LTS
• Databricks Runtime 15.4 LTS
• Databricks Runtime 14.3 LTS
• Databricks Runtime 13.3 LTS
• Databricks Runtime 9.1 LTS

Databricks Runtime 18 LTS

См. раздел Databricks Runtime 18 LTS.

• 18 августа 2026 г.

  • [SPARK-58292][CORE] Пересоздание EventLoopGroup рабочего потока Netty при завершении потока цикла обработки событий рабочего процесса
  • Обновления системы безопасности операционной системы.

• 4 августа 2026 г.

  • Обновленные библиотеки Java:
    • io.delta.delta-sharing-client_2.13 с 1.4.0 до 1.4.1
  • Отменить «[SPARK-57778][ТОЛЬКО ТЕСТ] Добавить покрытие HiFi для неизбираемых объектов Oracle JDBC»
  • [SPARK-58107] Портирование local-checkpoint dedup-and-seal + проверка контрольной суммы материализованного источника MERGE
  • [SPARK-57547][SQL] Повторно применить фикс параллельной материализации InMemoryRelation
  • Обновления системы безопасности операционной системы.

• 24 июля 2026 г.

  • (Изменение поведения) Пользователи, которые используют пользовательские или сторонние типы в замыканиях DStream, теперь должны задать spark.streaming.checkpoint.allowedClasses для этих типов перед восстановлением из контрольной точки.
  • Исправлена ошибка правильности, из-за которой окно min/maxнад BinaryType столбцом с скользящим кадром (любой RANGE кадр или ROWS кадр размером 10 или больше) возвращало запущенное глобальное min/max значение вместо значения каждого кадра.
  • [SPARK-53454][SQL][backport] Handle AlwaysTrue/AlwaysFalse в JDBCSQLBuilder
  • [SPARK-57778][SQL] Обработка объектов Oracle JDBC, которые недоступны для выбора в виде таблиц
  • Обновления системы безопасности операционной системы.

• 10 июля 2026 г.

  • [SPARK-57195][SQL] Показывать MALFORMED_CSV_RECORD вместо ArrayIndexOutOfBoundsException при выводе схемы CSV
  • [SPARK-57593][SQL][PYTHON] Ограничение по размеру в байтах и инструментирование входного пакета pickle Python UDF
  • [SPARK-57243][18.3.2][SQL] Заключить IsNull и IsNotNull в скобки в построителе SQL V2
  • Прочие исправления ошибок.

• 29 июня 2026 г.
  • (Изменение поведения) Теперь представления метрик отклоняют меры окна, ссылающиеся на другие меры окна. Ранее этот шаблон успешно работал на этапе CREATE, но во время выполнения запроса либо завершался без сообщения об ошибке, либо выдавал неверные результаты. Теперь Azure Databricks возвращает понятную ошибку во время CREATE или ALTER (METRIC_VIEW_WINDOW_MEASURE_REFERENCES_WINDOW_MEASURE). Чтобы отключить эту проверку, установите значение spark.databricks.sql.metricView.rejectWindowOnWindowMeasure.enabledfalse.
  • [SPARK-57088][SQL] Разрешить недетерминированное выражение ранжирования в EXACT NEAREST BY
  • [SPARK-56652][SQL] Всегда выводить RELY/NORELY в выводе ограничений DESCRIBE EXTENDED
  • [SPARK-57355][PYTHON] Исправить проверку модуля в профилировщике UDF
  • [SPARK-56720][SS] Сбой последующих асинхронных записей в журнал после предыдущего сбоя при асинхронном отслеживании прогресса
  • [SPARK-56977][SQL] RewriteNearestByJoin должен уважать joinType в искусственном соединении
  • [SPARK-57371][Connect] Исправление гонки данных в ArrowDeserializers
  • Обновления системы безопасности операционной системы.

Databricks Runtime 18.2

См. раздел Databricks Runtime 18.2.

• 18 августа 2026 г.

  • Обновления системы безопасности операционной системы.

• 4 августа 2026 г.

  • Обновленные библиотеки Java:
    • io.delta.delta-sharing-client_2.13 с 1.4.0 до 1.4.1
  • Отменить «[SPARK-57778][ТОЛЬКО ТЕСТ] Добавить покрытие HiFi для неизбираемых объектов Oracle JDBC»
  • [SPARK-58107] Портирование local-checkpoint dedup-and-seal + проверка контрольной суммы материализованного источника для MERGE
  • [SPARK-57547][SQL] Перенести в 18.2 исправление параллельной материализации InMemoryRelation (с возможностью отключения)
  • Обновления системы безопасности операционной системы.

• 24 июля 2026 г.

  • (Изменение поведения) Пользователи, которые используют пользовательские или сторонние типы в замыканиях DStream, теперь должны задать spark.streaming.checkpoint.allowedClasses для этих типов перед восстановлением из контрольной точки.
  • Исправлена ошибка правильности, из-за которой окно min/maxнад BinaryType столбцом с скользящим кадром (любой RANGE кадр или ROWS кадр размером 10 или больше) возвращало запущенное глобальное min/max значение вместо значения каждого кадра.
  • [SPARK-53454][SQL][backport] Handle AlwaysTrue/AlwaysFalse в JDBCSQLBuilder
  • [SPARK-57778][SQL] Обработка объектов Oracle JDBC, которые недоступны для выбора в виде таблиц
  • [SPARK-57758][SQL] Восстановление встроенного разрешения функций O(1)
  • Обновления системы безопасности операционной системы.

• 10 июля 2026 г.

  • [SPARK-57593][SQL][PYTHON] Ограничение по размеру в байтах и инструментирование входного пакета pickle Python UDF
  • [SPARK-57243][SQL] Заключить IsNull и IsNotNull в скобки в построителе SQL V2
  • Прочие исправления ошибок.

• 29 июня 2026 г.
  • (Изменение поведения) Теперь представления метрик отклоняют меры окна, ссылающиеся на другие меры окна. Ранее этот шаблон успешно работал на этапе CREATE, но во время выполнения запроса либо завершался без сообщения об ошибке, либо выдавал неверные результаты. Теперь Azure Databricks возвращает понятную ошибку во время CREATE или ALTER (METRIC_VIEW_WINDOW_MEASURE_REFERENCES_WINDOW_MEASURE). Чтобы отключить эту проверку, установите значение spark.databricks.sql.metricView.rejectWindowOnWindowMeasure.enabledfalse.
  • [SPARK-57355][PYTHON] Исправить проверку модуля в профилировщике UDF
  • [SPARK-57371][Connect] Исправление гонки данных в ArrowDeserializers
  • Обновления системы безопасности операционной системы.

• 18 июня 2026 г.

  • (Изменение поведения) Раздел свойств SQL и кадра данных в пользовательском интерфейсе Spark был удален для dbSQL Serverless.

• 9 июня 2026 г.

  • [SPARK-56410][SQL][CORE] Добавить поддержку ограниченного k-путевого слияния в UnsafeExternalSorter для снижения риска OOM
  • (Изменение поведения) Теперь для создания внешнего каталога Microsoft Fabric (OneLake) требуется item_type параметр (LAKEHOUSEилиWAREHOUSE) при использовании SQL CREATE FOREIGN CATALOG или REST API. Пользовательский интерфейс Databricks автоматически задает этот параметр. Существующие внешние каталоги не затрагиваются.
  • (Изменение в поведении) SET TAG теперь является идемпотентным. Повторение SET TAG операции с ресурсом, который уже имеет тег, больше не вызывает ошибку.
  • Обновления системы безопасности операционной системы.

• 26 мая 2026 г.
  • Обновленные библиотеки Java:
    • io.delta.delta-sharing-client_2.13 от 1.3.11 до 1.4.0
  • Обновления системы безопасности операционной системы.

• 13 мая 2026 г.
  • Обновленные библиотеки Java:
    • io.delta.delta-sharing-client_2.13 от 1.3.10 до 1.3.11
  • [SPARK-56511][CORE] Исправление NPE в ShuffleInMemorySorter.getMemoryUsage после сбоя сброса
  • [SPARK-56554][SQL] Учитывает параметр inferSchema при приеме XML в качестве варианта
  • [SPARK-56302][CORE] Заранее освобождать память, занятую результатом задачи, во время сериализации на исполнителе
  • Отменить "[SPARK-55356][SQL] Поддержку псевдонима для конструкции PIVOT"
  • [SPARK-56502][CORE] Исправление целочисленного переполнения в проверке емкости DirectByteBufferOutputStream
  • [SPARK-56043][SQL] Обернуть NullPointerException из метода Avro 1.12.x ParseContext.resolve() в SchemaParseException
  • [SPARK-56652][SQL] Всегда выводить RELY/NORELY в выводе ограничений DESCRIBE EXTENDED
  • [SPARK-56328][SQL] Исправление обработки сопоставления для встроенной таблицы для INSERTVALUES и DEFAULT COLLATION
  • Прочие исправления ошибок.

Databricks Runtime 18.1

См. раздел Databricks Runtime 18.1.

• 18 августа 2026 г.

  • Обновления системы безопасности операционной системы.

• 4 августа 2026 г.

  • Обновленные библиотеки Java:
    • io.delta.delta-sharing-client_2.13 с 1.4.0 до 1.4.1
  • [SPARK-58107] Обратное портирование local-checkpoint dedup-and-seal + проверка контрольной суммы материализованного источника для MERGE
  • [SPARK-57547][SQL] Портировать исправление конкурентной материализации InMemoryRelation в версию 18.1 (с возможностью отключения)
  • [SPARK-57371][Connect] Исправить состояние гонки данных в ArrowDeserializers (бэкпорт в 18.1)
  • [SPARK-57778][ТОЛЬКО ДЛЯ ТЕСТОВ] Исправление нестабильного HiFi-теста Oracle, не поддерживающего SELECT (выделенная схема)
  • Обновления системы безопасности операционной системы.

• 24 июля 2026 г.

  • (Изменение поведения) Пользователи, которые используют пользовательские или сторонние типы в замыканиях DStream, теперь должны задать spark.streaming.checkpoint.allowedClasses для этих типов перед восстановлением из контрольной точки.
  • Исправлена ошибка правильности, из-за которой окно min/maxнад BinaryType столбцом с скользящим кадром (любой RANGE кадр или ROWS кадр размером 10 или больше) возвращало запущенное глобальное min/max значение вместо значения каждого кадра.
  • [SPARK-57778][SQL] Обработка объектов Oracle JDBC, которые недоступны для выбора в виде таблиц
  • Обновления системы безопасности операционной системы.

• 10 июля 2026 г.

  • Прочие исправления ошибок.

• 29 июня 2026 г.
  • (Изменение поведения) Теперь представления метрик отклоняют меры окна, ссылающиеся на другие меры окна. Ранее этот шаблон успешно работал на этапе CREATE, но во время выполнения запроса либо завершался без сообщения об ошибке, либо выдавал неверные результаты. Теперь Azure Databricks возвращает понятную ошибку во время CREATE или ALTER (METRIC_VIEW_WINDOW_MEASURE_REFERENCES_WINDOW_MEASURE). Чтобы отключить эту проверку, установите значение spark.databricks.sql.metricView.rejectWindowOnWindowMeasure.enabledfalse.
  • Обновления системы безопасности операционной системы.

• 9 июня 2026 г.
  • (Изменение поведения) Теперь для создания внешнего каталога Microsoft Fabric (OneLake) требуется item_type параметр (LAKEHOUSEилиWAREHOUSE) при использовании SQL CREATE FOREIGN CATALOG или REST API. Пользовательский интерфейс Databricks автоматически задает этот параметр. Существующие внешние каталоги не затрагиваются.
  • Обновления системы безопасности операционной системы.

• 26 мая 2026 г.
  • Обновленные библиотеки Java:
    • io.delta.delta-sharing-client_2.13 от 1.3.11 до 1.4.0
  • Обновления системы безопасности операционной системы.

• 13 мая 2026 г.
  • (Behavior change) Перечисление таблиц с помощью шаблона схемы больше не обновляет метаданные каталога Unity для внешних таблиц (например, SQL Server, PostgreSQL или AWS Glue). Это изменение влияет на SHOW TABLES IN SCHEMA LIKE ... вызовы getMetaData.getTables в драйвере JDBC, если передаётся шаблон схемы, и на API Thrift SparkGetTablesOperation. Если рабочая нагрузка зависит от обновления метаданных с помощью шаблона схемы, обратитесь в службу поддержки Databricks.
  • Обновленные библиотеки Java:
    • io.delta.delta-sharing-client_2.13 от 1.3.10 до 1.3.11
  • [SPARK-56361][SS] Улучшить сообщение об ошибке с логированием при возникновении NPE в соединении поток-поток
  • Обновления системы безопасности операционной системы.

• 20 апреля 2026 г.
  • Исправлен орган CRS для типа GEOMETRY(102100). Теперь сообщение о ESRI:102100, вместо EPSG:102100.
  • [SPARK-55646][SQL] Рефакторинг SQLExecution.withThreadLocalCaptured для отделения захвата данных потока от выполнения
  • Вернитесь на "[SPARK-55252][CORE] Улучшение HttpSecurityFilter для добавления заголовка Content-Security-Policy"
  • Отменить "[SPARK-54285][PYTHON] Кэширование информации о часовом поясе, чтобы избежать дорогостоящего преобразования временных меток".
  • Обновления системы безопасности операционной системы.

• 2 апреля 2026 г.
  • Обновленные библиотеки Java:
    • io.delta.delta-sharing-client_2.13 от 1.3.9 до 1.3.10
  • Улучшена обработка ошибок для запросов, записывающих данные в таблицы Delta, содержащие столбец VOID (NullType) внутри определяемого пользователем типа (UDT).
  • Добавлено стандартное 30-секундное время ожидания сокета для подключений потокового приема данных JDBC, чтобы предотвратить бесконечное зависание при неответственных базах данных.
  • Добавлена логика повторных попыток с экспоненциальным увеличением интервала ожидания для транзитных ошибок JDBC (сбоев подключений, взаимоблокировок, ограничения скорости) как при создании подключения, так и при пакетном исполнении задач.
  • Добавлен безопасный откат для корректной обработки сбоев при сломанных подключениях
  • Заголовок: Автозагрузчик по умолчанию использует события файлов, когда это возможно. Начиная С DBR 18.1 автозагрузчик будет использовать события файлов при загрузке из внешнего расположения с включенными событиями файлов. События файлов обеспечивают улучшенную производительность и снижение затрат по сравнению со списком каталогов. См. Обзор автозагрузчика с событиями файлов. События файлов не будут использоваться, если существующие наборы кода потока: useIncrementalListing или useNotifications. Чтобы сохранить предыдущий параметр по умолчанию с отображением списка каталогов, задайте useManagedFileEvents на false в коде вашего потока автозагрузчика.
  • [SPARK-55701]ES-1694761[SS] Исправление состояния гонки в CompactibleFileStreamLog.allFiles
  • [SPARK-55505][SQL] Исправление NPE при чтении EXECUTION_ROOT_ID_KEY в параллельных сценариях
  • [SPARK-55372][SQL] Исправление SHOW CREATE TABLE для таблиц и представлений с параметрами сортировки по умолчанию
  • [SPARK-55510][SS] Исправить deleteRange в хранилище состояний Rocksdb, чтобы вызвать changelogWriter
  • [Backports][OSS Cherrypick] [SPARK-55945][SDP] Поддерживает структурированные идентификаторы для потоков в прото анализа с поддержкой SDP
  • [SPARK-55111][SS] Повторная проверка обнаружения незавершенной репартируемости при перезапуске запроса
  • [SPARK-55892][SS] Исправление не удалось загрузить хранилище состояний, так как повторно использованный SST-файл был удален по обслуживанию
  • [SPARK-55811] [SQL] Обработать NonFatal вместо UnresolvedException при вызове nodeWithOutputColumnsString
  • [SPARK-55991] Исправление повреждения текста SQL в юникоде с параметрами
  • [SPARK-55493] [ SS] Не создавать каталоги в директории состояния контрольной точки для потоковой передачи в StateDataSource
  • [SPARK-55584] Создание более эффективной ошибки при скалярном подзапросе в EXEC IMMEDIATE
  • Обновления системы безопасности операционной системы.

Databricks Runtime 17.3 LTS

См. раздел Databricks Runtime 17.3 LTS.

• 18 августа 2026 г.

  • Обновления системы безопасности операционной системы.

• 4 августа 2026 г.

  • [SPARK-57778][ТОЛЬКО ДЛЯ ТЕСТОВ] Исправить нестабильный HiFi-тест Oracle, не поддерживающий SELECT (выделенная схема)
  • [SPARK-58107] Бэкпорт локального чекпоинта dedup-and-seal + проверка контрольной суммы материализованного источника для MERGE
  • Обновления системы безопасности операционной системы.

• 24 июля 2026 г.

  • Исправлена ошибка правильности, из-за которой окно min/maxнад BinaryType столбцом с скользящим кадром (любой RANGE кадр или ROWS кадр размером 10 или больше) возвращало запущенное глобальное min/max значение вместо значения каждого кадра.
  • [SPARK-57778][SQL] Обработка объектов Oracle JDBC, которые недоступны для выбора в виде таблиц
  • [SPARK-57371][Connect] Исправление гонки данных в ArrowDeserializers
  • Обновления системы безопасности операционной системы.

• 10 июля 2026 г.

  • [SPARK-57547][SQL] Бэкпорт исправления ошибки параллельной материализации InMemoryRelation в 17.3 (с механизмом отключения)
  • Прочие исправления ошибок.

• 29 июня 2026 г.
  • (Изменение поведения) Теперь представления метрик отклоняют меры окна, ссылающиеся на другие меры окна. Ранее этот шаблон успешно работал на этапе CREATE, но во время выполнения запроса либо завершался без сообщения об ошибке, либо выдавал неверные результаты. Теперь Azure Databricks возвращает понятную ошибку во время CREATE или ALTER (METRIC_VIEW_WINDOW_MEASURE_REFERENCES_WINDOW_MEASURE). Чтобы отключить эту проверку, установите значение spark.databricks.sql.metricView.rejectWindowOnWindowMeasure.enabledfalse.
  • Обновления системы безопасности операционной системы.

• 9 июня 2026 г.
  • (Изменение в поведении) SET TAG теперь является идемпотентным. Повторение SET TAG операции с ресурсом, который уже имеет тег, больше не вызывает ошибку.
  • Обновления системы безопасности операционной системы.

• 26 мая 2026 г.
  • [SPARK-34591][ML] Добавление обрезки дерева принятия решений в качестве параметра
  • Обновления системы безопасности операционной системы.

• 13 мая 2026 г.
  • (Behavior change) Перечисление таблиц с помощью шаблона схемы больше не обновляет метаданные каталога Unity для внешних таблиц (например, SQL Server, PostgreSQL или AWS Glue). Это изменение влияет на SHOW TABLES IN SCHEMA LIKE ... вызовы getMetaData.getTables в драйвере JDBC, если передаётся шаблон схемы, и на API Thrift SparkGetTablesOperation. Если рабочая нагрузка зависит от обновления метаданных с помощью шаблона схемы, обратитесь в службу поддержки Databricks.
  • Обновленные библиотеки Java:
    • io.delta.delta-sharing-client_2.13 от 1.3.10 до 1.3.11
  • [SPARK-56361][SS] Улучшить сообщение об ошибке с логированием при возникновении NPE в соединении поток-поток
  • Прочие исправления ошибок.

• 20 апреля 2026 г.

  • Исправлен орган CRS для типа GEOMETRY(102100). Теперь сообщение о ESRI:102100, вместо EPSG:102100.
  • Исправлена ошибка корректности данных в запросах MERGE, UPDATE, и запросах потоковой записи, где структуры NULL в источнике преобразовывались в структуры не NULL с полями NULL в целевом объекте. Структуры NULL в источнике теперь сохраняются как NULL в целевом объекте. Исправление применяется к следующим операциям:
    • MERGE с UPDATE SET t.structCol = s.structCol действиями, используюющими приведение типов структуры.
    • MERGE при UPDATE SET * включении эволюции схемы, если целевая структура не имеет дополнительных полей или изначально была NULL.
    • MERGE если UPDATE SET * EXCEPT в структуре нет полей в списке EXCEPT .
    • MERGE с INSERT (structCol) VALUES (s.structCol) действиями, используюющими приведение типов структуры.
    • MERGE с INSERT * [EXCEPT] действиями, используюющими приведение типов структуры.
    • UPDATE запросы с приведением типов структур.
    • Потоковая передача записей с приведениями типов структур.

• 2 апреля 2026 г.

  • Обновленные библиотеки Java:
    • io.delta.delta-sharing-client_2.13 от 1.3.9 до 1.3.10
  • [SPARK-55811] [SQL] Перехватить NonFatal вместо UnresolvedException при вызове nodeWithOutputColumnsString
  • [SPARK-55892][SS] Исправление не удалось загрузить хранилище состояний, так как повторно использованный SST-файл был удален по обслуживанию
  • [Backports][OSS Cherrypick] [SPARK-55945][SDP] Поддерживает структурированные идентификаторы для потоков в прото анализа с поддержкой SDP
  • Обновления системы безопасности операционной системы.

• 10 марта 2026 г.

  • [SPARK-55493] [ SS] Не создавать каталоги в директории состояния контрольной точки для потоковой передачи в StateDataSource
  • [SPARK-55111][SS] Повторная проверка обнаружения незавершенной репартируемости при перезапуске запроса
  • [SPARK-55701]ES-1694761[SS] Исправление состояния гонки в CompactibleFileStreamLog.allFiles
  • Обновления системы безопасности операционной системы.

• 26 февраля 2026 г.

  • Обновленные библиотеки Java:
    • org.mlflow.mlflow-spark_2.13 от 2.9.1 до 2.20.4
  • Обновления системы безопасности операционной системы.

• 19 февраля 2026 г.

  • При выводе схемы файлов Excel строковые ячейки теперь выводятся как Spark StringType. Это учитывает тип ячейки, заданный в Excel. Ранее строки с числовыми значениями автоматически приводились к более узким типам данных, например Long или Decimal.
  • [SPARK-54887][CONNECT] Всегда устанавливать состояние SQL в клиенте spark connect
  • [SPARK-54887][CONNECT] Добавьте необязательный sqlstate в sparkthrowables
  • [SPARK-55097][SQL] Исправление проблемы незаметного удаления блоков при повторном добавлении кэшированных артефактов
  • [SPARK-55282][PYTHON][CONNECT] Избегайте использования worker_util на стороне драйвера
  • [SPARK-49110][SQL] Упрощение subqueryAlias.metadataOutput для постоянного распространения столбцов метаданных
  • [SPARK-55243][CONNECT] Разрешить настройку двоичных заголовков с помощью суффикса -bin в клиенте Scala Connect
  • Обновления системы безопасности операционной системы.

• 27 января 2026 г.

  • Обновленные библиотеки Java:
    • io.delta.delta-sharing-client_2.13 от 1.3.8 до 1.3.9
  • См. выше
  • [SPARK-54768][SS]Python Stream Data Source должен классифицировать ошибку, если возвращенные данные не соответствуют настроенной схеме
  • [SPARK-54803] Поддержка ПО ИМЕНИ с INSERT ... ЗАМЕНА WHERE
  • [SPARK-53564][CORE] Избежание отказа DAGScheduler из-за превышения времени ожидания RPC в BlockManager в DAGSchedulerEventProcessLoop
  • [SPARK-55015][SS][SQL] Исправлено вычисление decodeRemainingKey numFields в PrefixKeyScanStateEncoder
  • Обновления системы безопасности операционной системы.

• 9 января 2026 г.
  • Обновленные библиотеки Python:
    • pmdarima от 2.0.4 до 2.1.1
  • Обновленные библиотеки Java:
    • io.delta.delta-sharing-client_2.13 от 1.3.6 до 1.3.8
  • Теперь можно использовать функции окна SQL в качестве скалярной функции в измерениях представления метрик и выражениях мер.
  • [SPARK-54562][SDP][17.3 backport] Блокировать преждевременный анализ и выполнение внутри функции потока со стороны сервера
  • [SPARK-54679][SQL] Переименование spark.sql. (xml.legacyXMLParser.enabled —> legacy.useLegacyXMLParser)
  • [SPARK-54711][PYTHON] Добавление времени ожидания для подключения рабочего, создаваемого демоном.
  • [SPARK-53127][SQL] Исправление LIMIT ALL для неограниченной рекурсии с нормализацией CTE
  • [SPARK-54708] Оптимизация очистки кэша ML с отложенным созданием каталога
  • [SPARK-54581][SQL] Делание параметра fetchsize нечувствительным к регистру для соединителя Postgres
  • [SPARK-41916] [ML] Распределитель Torch: поддержка нескольких процессов torchrun для каждой задачи, если task.gpu.amount > 1
  • [SPARK-54564] [SQL] Сделать QueryPlanningTracker полем в HybridAnalyzer
  • [SPARK-54620][SQL] Добавьте проверку безопасности в ObservationManager, чтобы избежать блокировки наблюдения
  • Обновления системы безопасности операционной системы.

• 9 декабря 2025 г.
  • Обновленные библиотеки Java:
    • io.delta.delta-sharing-client_2.13 от 1.3.5 до 1.3.6
  • [SPARK-50906][SQL] Исправление проверки null-значений Avro для переупорядоченных полей в структурах
  • [SPARK-54180][SQL] Переопределите toString binaryFileFormat
  • [SPARK-54427][SQL] Разрешить ColumnarRow вызывать copy с типами вариантов
  • Обновления системы безопасности операционной системы.

• 18 ноября 2025 г.
  • [SPARK-54047][PYTHON] Используйте ошибку расхождения для отключения при превышении времени бездействия
  • [SPARK-52762][SDP] Добавление сообщения PipelineAnalysisContext для поддержки анализа конвейера во время выполнения запроса Spark Connect
  • [SPARK-54156][PROTOBUF] Классификация ошибок при ошибке приведения ProtobufOptions
  • [SPARK-54078][SS] Новый тест для StateStoreSuite SPARK-40492: maintenance before unload и удаление инфраструктуры из старого теста
  • [SPARK-54015][PYTHON] Ослабьте требование к Py4J py4j>=0.10.9.7,<0.10.9.10
  • [SPARK-54099][SQL] Средство синтаксического анализа XML должно вернуться к строке при ошибках синтаксического анализа десятичных разрядов
  • [SPARK-54191][17.3 Backport][SDP] Добавьте один раз в Defineflow Proto
  • Обновления системы безопасности операционной системы.

• 4 ноября 2025 г.
  • [SPARK-53729][PYTHON][CONNECT] Исправлена сериализация pyspark.sql.connect.window.WindowSpec
  • [SPARK-46679][SQL] Исправление для SparkUnsupportedOperationException Не найдено кодировщик типа T при использовании параметризованного класса
  • [SPARK-53973][Avro] Классификация ошибок в avroOptions при приведении типа 'boolean' (логического)
  • [SPARK-53794][SS] Добавьте параметр ограничения удаления на операцию обслуживания, связанную с поставщиком состояний rocksdb
  • [SPARK-53908][CONNECT] Исправление наблюдений в Spark Connect с помощью кэша планов
  • [SPARK-53972][SS] Исправлена последняя регрессия потокового запроса в классическом pyspark
  • Обновления системы безопасности операционной системы.

Databricks Runtime 16.4 LTS

См. раздел Databricks Runtime 16.4 LTS.

• 18 августа 2026 г.

  • Обновления системы безопасности операционной системы.

• 4 августа 2026 г.

  • [SPARK-57547][SQL] Перенести в 16.4 исправление параллельной материализации InMemoryRelation (с возможностью отключения)
  • [SPARK-58107] Бэкпорт локальной контрольной точки: дедупликация и запечатывание + проверка контрольной суммы материализованного источника для MERGE
  • Обновления системы безопасности операционной системы.

• 24 июля 2026 г.

  • Исправлена ошибка правильности, из-за которой окно min/maxнад BinaryType столбцом с скользящим кадром (любой RANGE кадр или ROWS кадр размером 10 или больше) возвращало запущенное глобальное min/max значение вместо значения каждого кадра.
  • Обновления системы безопасности операционной системы.

• 10 июля 2026 г.

  • Прочие исправления ошибок.

• 29 июня 2026 г.

  • (Изменение поведения) Теперь представления метрик отклоняют меры окна, ссылающиеся на другие меры окна. Ранее этот шаблон успешно работал на этапе CREATE, но во время выполнения запроса либо завершался без сообщения об ошибке, либо выдавал неверные результаты. Теперь Azure Databricks возвращает понятную ошибку во время CREATE или ALTER (METRIC_VIEW_WINDOW_MEASURE_REFERENCES_WINDOW_MEASURE). Чтобы отключить эту проверку, установите значение spark.databricks.sql.metricView.rejectWindowOnWindowMeasure.enabledfalse.

  • Исправлена проблема с корректностью данных, из-за которой значения NULL типа struct в исходных данных ошибочно преобразовывались в структуры, отличные от NULL, с полями NULL в целевых данных в MERGE, UPDATE и в запросах потоковой записи. После изменения структуры NULL в исходных данных корректно сохраняются как NULL в целевых данных.

    Затронутые операции:

    • MERGE запросы с действиями с UPDATE SET t.structCol = s.structCol приведением типов структур
    • MERGE запросы с UPDATE SET * при включенной эволюции схемы (Если исходная структура имеет значение NULL, перезаписывать целевую структуру значением NULL, если в целевой структуре нет дополнительных полей или она изначально имела значение NULL)
    • MERGE запросы с UPDATE SET * EXCEPT (если исходная структура имеет значение NULL, перезаписать целевой объект с значением NULL, если он не имеет полей в списке EXCEPT)
    • MERGE запросы с действиями с INSERT (structCol) VALUES (s.structCol) приведением типов структур
    • MERGE запросы с действиями с INSERT * [EXCEPT] приведением типов структур
    • UPDATE запросы с приведением типов структур
    • Потоковая запись с приведением типов структур

  • Обновления системы безопасности операционной системы.

• 9 июня 2026 г.

  • (Изменение в поведении) SET TAG теперь является идемпотентным. Повторение SET TAG операции с ресурсом, который уже имеет тег, больше не вызывает ошибку.
  • Обновления системы безопасности операционной системы.

• 26 мая 2026 г.
  • [SPARK-34591][ML] Добавление обрезки дерева принятия решений в качестве параметра
  • Обновления системы безопасности операционной системы.

• 13 мая 2026 г.
  • (Behavior change) Перечисление таблиц с помощью шаблона схемы больше не обновляет метаданные каталога Unity для внешних таблиц (например, SQL Server, PostgreSQL или AWS Glue). Это изменение влияет на SHOW TABLES IN SCHEMA LIKE ... вызовы getMetaData.getTables в драйвере JDBC, если передаётся шаблон схемы, и на API Thrift SparkGetTablesOperation. Если рабочая нагрузка зависит от обновления метаданных с помощью шаблона схемы, обратитесь в службу поддержки Databricks.
  • Обновленные библиотеки Java:
    • (только Scala 2.12) io.delta.delta-sharing-client_2.12 с 1.2.11 до 1.2.12
    • (Только Scala 2.13) io.delta.delta-sharing-client_2.13 с 1.2.11 до 1.2.12
  • [SPARK-56361][SS] Улучшить сообщение об ошибке с логированием при возникновении NPE в соединении поток-поток
  • Прочие исправления ошибок.

• 29 апреля 2026 г.
  • Прочие исправления ошибок.

• 20 апреля 2026 г.
  • Прочие исправления ошибок.

• 2 апреля 2026 г.

  • Обновленные библиотеки Java:
    • (Только Scala 2.12) io.delta.delta-sharing-client_2.12 с 1.2.10 до 1.2.11
    • (Только Scala 2.13) io.delta.delta-sharing-client_2.13 с 1.2.10 до 1.2.11
  • [SPARK-55701]ES-1694761[SS] Исправление состояния гонки в CompactibleFileStreamLog.allFiles
  • [Backports][OSS Cherrypick] [SPARK-55945][SDP] Поддерживает структурированные идентификаторы для потоков в прото анализа с поддержкой SDP
  • Обновления системы безопасности операционной системы.

• 10 марта 2026 г.

  • [SPARK-55111][SS] Повторная проверка обнаружения незавершенной репартируемости при перезапуске запроса
  • [SPARK-55493] [ SS] Не создавать каталоги в директории состояния контрольной точки для потоковой передачи в StateDataSource
  • Обновления системы безопасности операционной системы.

• 26 февраля 2026 г.

  • Обновления системы безопасности операционной системы.

• 19 февраля 2026 г.

  • [SPARK-55282][PYTHON][CONNECT] Избегайте использования worker_util на стороне драйвера
  • [SPARK-55243][CONNECT] Разрешить настройку двоичных заголовков с помощью суффикса -bin в клиенте Scala Connect
  • Обновления системы безопасности операционной системы.

• 27 января 2026 г.
  • Обновленные библиотеки Java:
    • (Только Scala 2.12) io.delta.delta-sharing-client_2.12 с версии 1.2.9 по версию 1.2.10
    • (Только Scala 2.12) org.mlflow.mlflow-spark_2.12 от 2.9.1 до 2.19.0
    • (Только для Scala 2.13) io.delta.delta-sharing-client_2.13 с 1.2.9 до 1.2.10
    • (Только Scala 2.13) org.mlflow.mlflow-spark_2.13 с версии 2.9.1 до версии 2.19.0
  • [SPARK-55015][SS][SQL] Исправлено вычисление decodeRemainingKey numFields в PrefixKeyScanStateEncoder
  • Обновления системы безопасности операционной системы.

• 9 января 2026 г.
  • Обновленные библиотеки Java:
    • (Scala 2.12 только) io.delta.delta-sharing-client_2.12 с 1.2.8 до 1.2.9
    • (Только Scala 2.13) io.delta.delta-sharing-client_2.13 с версии 1.2.8 на версию 1.2.9
  • [SPARK-54620][SQL] Добавьте проверку безопасности в ObservationManager, чтобы избежать блокировки наблюдения
  • [SPARK-54711][PYTHON] Добавление времени ожидания для подключения рабочего, создаваемого демоном.
  • [SPARK-41916] [ML] Распределитель Torch: поддержка нескольких процессов torchrun для каждой задачи, если task.gpu.amount > 1
  • Обновления системы безопасности операционной системы.

• 9 декабря 2025 г.
  • Секционированные таблицы Delta будут содержать столбцы секционирования, материализованные в файлах данных Parquet. Это позволяет улучшить взаимодействие с процессами обработки таблиц Iceberg и UniForm, а также увеличивает совместимость с внешними неподдерживающими Delta средствами чтения.
  • Для соединителя Snowflake и федерации Snowflake Lakehouse TIMESTAMP_NTZ (метки времени без часового пояса) больше не передаются в Snowflake. Это изменение предотвращает сбои запросов, вызванные несовместимой обработкой меток времени и повышение надежности затронутых запросов.
  • [SPARK-54427][SQL] Разрешить ColumnarRow вызывать copy с типами вариантов
  • [SPARK-54180][SQL] Переопределите toString binaryFileFormat
  • Обновления системы безопасности операционной системы.

• 18 ноября 2025 г.
  • [SPARK-54099][SQL] Средство синтаксического анализа XML должно вернуться к строке при ошибках синтаксического анализа десятичных разрядов
  • [SPARK-54015][PYTHON] Ослабьте требование к Py4J py4j>=0.10.9.7,<0.10.9.10
  • [SPARK-54078][SS] Новый тест для StateStoreSuite SPARK-40492: maintenance before unload и удаление инфраструктуры из старого теста
  • [SPARK-54156][PROTOBUF] Классификация ошибок при ошибке приведения ProtobufOptions
  • [SPARK-54047][PYTHON] Используйте ошибку расхождения для отключения при превышении времени бездействия
  • Обновления системы безопасности операционной системы.

• 4 ноября 2025 г.
  • Обновленные библиотеки R:
    • стрелка от 16.1.0 до 21.0.0
  • [SPARK-53973][Avro] Классификация ошибок в avroOptions при приведении типа 'boolean' (логического)
  • Обновления системы безопасности операционной системы.

• 21 октября 2025 г.
  • Обновления системы безопасности операционной системы.

• 7 октября 2025 г.
  • [SPARK-53568][CONNECT][PYTHON] Исправлены несколько небольших ошибок в логике обработки ошибок клиента Spark Connect Python.
  • [SPARK-53574] Исправление проблемы удаления AnalysisContext во время обработки вложенного плана
  • [SPARK-53623][SQL] улучшить чтение большого табличного свойства...
  • [SPARK-53598][SQL] Проверьте наличие numParts перед чтением свойства большой таблицы
  • [SPARK-53549][SS] Всегда закрывайте распределитель со стрелками при завершении процесса запроса состояния списка
  • Обновления системы безопасности операционной системы.

• 16 сентября 2025 г.
  • Соединитель Snowflake теперь использует INFORMATION_SCHEMA таблицу вместо SHOW SCHEMAS команды для перечисления схем. Это изменение удаляет ограничение схемы в 10 000 схем предыдущего подхода и улучшает поддержку баз данных с большим количеством схем.
  • Обновления системы безопасности операционной системы.

• 9 сентября 2025 г.
  • Исправлена проблема, из-за которой автозагрузчик зависает на неопределенный срок.
  • Исправлена временная ошибка в автозагрузчике, которая может привести к сбою заданий
  • [SPARK-49872][CORE] Удаление ограничения длины строки JSON джексона
  • [SPARK-51821][CORE] Вызов interrupt() без удержания uninterruptibleLock, чтобы избежать возможной взаимоблокировки
  • Обновления системы безопасности операционной системы.

• 26 августа 2025 г.
  • Обновленные библиотеки Java:
    • (Только Scala 2.12) io.delta.delta-sharing-client_2.12 с 1.2.7 до 1.2.8
    • (Только Scala 2.13) io.delta.delta-sharing-client_2.13 от 1.2.7 до 1.2.8
  • [SPARK-52482][SQL][CORE] Улучшена обработка исключений для чтения определенных поврежденных zstd-файлов
  • [SPARK-53192][CONNECT] Всегда кэшировать источник данных в кэше плана Spark Connect
  • Обновления системы безопасности операционной системы.

• 14 августа 2025 г.
  • [SPARK-51011][CORE] Добавьте ведение журнала для того, будет ли задача прервана при убийстве
  • [SPARK-52833][SQL] Исправление VariantBuilder.appendFloat
  • [SPARK-51505][SQL] Всегда отображать метрики пустого номера секции в AQEShuffleReadExec
  • Обновления системы безопасности операционной системы.

• 29 июля 2025 г.
  • [SPARK-52753][SQL] Сделайте двоичный файл parseDataType совместимым с предыдущими версиями
  • Обновления системы безопасности операционной системы.

• 15 июля 2025 г.
  • Исправлена недетерминированная проблема с потерей данных при использовании структурированной потоковой передачи Spark для потоковой передачи данных из Pulsar.
  • [SPARK-52579][PYTHON] Установить периодический дамп трассировки для процессов Python
  • [SPARK-52553][SS] Исправление NumberFormatException при чтении журнала изменений версии 1
  • [SPARK-52450] Повышение производительности глубокого копирования схемы
  • [SPARK-52503][SQL][CONNECT] Исправлено drop, когда входной столбец не существует
  • [SPARK-52599][PYTHON] Поддержка периодического дампа трассировки в рабочих процессах на стороне драйвера
  • Обновления системы безопасности операционной системы.

• 1 июля 2025 г.
  • Поддержка декомпрессии ZStandard для средств чтения источников данных файлов (json, csv, xml и text.)
  • [15.4-16.4][spark-52521]](https://issues.apache.org/jira/browse/SPARK-52521)[SQL] Right#replacement не должен динамически обращаться к SQLConf
  • [SPARK-52482][SQL][CORE] ZStandard поддерживает средство чтения источников данных файлов
  • [SPARK-52312][SQL] Игнорировать V2WriteCommand при кэшировании кадра данных
  • Обновления системы безопасности операционной системы.

• 17 июня 2025 г.
  • Исправлено ограничение, что табличную функцию cloud_files_state с табличным значением (TVF) нельзя использовать для чтения состояния на уровне файла потоковых таблиц в различных конвейерах.
  • Исправлены проблемы с авторизацией в Unity Catalog для запросов на временные представления.
  • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference должен сохранить идентификатор плана
  • Обновления системы безопасности операционной системы.

• 3 июня 2025 г.
  • [SPARK-52195][PYTHON][SS] Исправлена проблема с удалением исходного столбца состояния для Python TWS
  • [SPARK-52159][SQL] Правильно обрабатывать проверку существования таблицы для диалектов JDBC
  • Прочие исправления ошибок.

• 7 мая 2025 г.
  • Обновленные библиотеки Java:
    • io.delta.delta-sharing-client_2.13 от 1.2.3 до 1.2.7
    • org.apache.avro.avro с 1.11.3 по 1.11.4
    • org.apache.avro.avro-ipc от 1.11.3 до 1.11.4
    • org.apache.avro.avro-mapred с 1.11.3 по 1.11.4
  • Клонированные сеансы потоковой передачи будут использоваться внутри пользовательской функции foreachBatch в общих или бессерверных кластерах. Это соответствует поведению в классических «Назначенных Кластерах».
  • Клонированные сеансы потоковой передачи будут использоваться внутри пользовательской функции foreachBatch в общих или бессерверных кластерах. Это соответствует поведению в классических «Назначенных Кластерах».
  • До этого изменения ведущие пробелы и вкладки в пути в variant_get выражении игнорируются с отключенным фотоном. Например, select variant_get(parse_json('{"key": "value"}'), '$['key']') не будет эффективным при извлечении значения "key". Однако теперь пользователи смогут извлечь такие ключи.
  • [SPARK-51935][SQL] Исправлено отложенное поведение итераторов в функции интерпретации df.collect()
  • [SPARK-51921][SS][PYTHON] Использовать тип long для длительности TTL в миллисекундах в transformWithState
  • [SPARK-51940][SS] Добавление интерфейса для управления метаданными контрольной точки потоковой передачи
  • [SPARK-52049] Исправлена ошибка, из-за которой атрибуты XML не могут анализироваться как Variant
  • [SPARK-51904][SS] Удаление асинхронной очистки метаданных для StateSchemaV3 и игнорирование непакетных файлов при перечислении файлов OperatorMetadata
  • [SPARK-51869][SS] Создание классификации ошибок пользователей в пользовательских определяемых функциях для Scala TransformWithState
  • [SPARK-51889][PYTHON][SS] Исправлена ошибка для MapState clear() в Python TWS
  • [SPARK-51922] [ SS] Исправление ошибки UTFDataFormatException, вызываемое из StateStoreChangelogReaderFactory для версии 1
  • [SPARK-51848][SQL] Исправление синтаксического анализа XML-записей с определенной схемой массива/структуры/карты Variant
  • Обновления системы безопасности операционной системы.

Databricks Runtime версия 15.4 LTS

См. Databricks Runtime 15.4 LTS.

• 18 августа 2026 г.

  • Обновленные библиотеки Java:
    • com.microsoft.sqlserver.mssql-jdbc с 11.2.2.jre8, 11.2.3.jre8 до 11.2.3.jre8, 11.2.3.jre8
  • Обновления системы безопасности операционной системы.

• 4 августа 2026 г.

  • [SPARK-58107] Backport локального контрольного пункта dedup-and-seal + проверка контрольной суммы материализированного источника MERGE
  • [SPARK-57547][SQL] Портировать в 15.4 исправление конкурентной материализации InMemoryRelation (с возможностью отключения)
  • Обновления системы безопасности операционной системы.

• 24 июля 2026 г.

  • Обновления системы безопасности операционной системы.

• 10 июля 2026 г.

  • Обновления системы безопасности операционной системы.

• 29 июня 2026 г.

  • (Изменение поведения) Теперь представления метрик отклоняют меры окна, ссылающиеся на другие меры окна. Ранее этот шаблон успешно работал на этапе CREATE, но во время выполнения запроса либо завершался без сообщения об ошибке, либо выдавал неверные результаты. Теперь Azure Databricks возвращает понятную ошибку во время CREATE или ALTER (METRIC_VIEW_WINDOW_MEASURE_REFERENCES_WINDOW_MEASURE). Чтобы отключить эту проверку, установите значение spark.databricks.sql.metricView.rejectWindowOnWindowMeasure.enabledfalse.

  • Исправлена проблема с корректностью данных, из-за которой значения NULL типа struct в исходных данных ошибочно преобразовывались в структуры, отличные от NULL, с полями NULL в целевых данных в MERGE, UPDATE и в запросах потоковой записи. После изменения структуры NULL в исходных данных корректно сохраняются как NULL в целевых данных.

    Затронутые операции:

    • MERGE запросы с действиями с UPDATE SET t.structCol = s.structCol приведением типов структур
    • MERGE запросы с UPDATE SET * при включенной эволюции схемы (Если исходная структура имеет значение NULL, перезаписывать целевую структуру значением NULL, если в целевой структуре нет дополнительных полей или она изначально имела значение NULL)
    • MERGE запросы с UPDATE SET * EXCEPT (если исходная структура имеет значение NULL, перезаписать целевой объект с значением NULL, если он не имеет полей в списке EXCEPT)
    • MERGE запросы с действиями с INSERT (structCol) VALUES (s.structCol) приведением типов структур
    • MERGE запросы с действиями с INSERT * [EXCEPT] приведением типов структур
    • UPDATE запросы с приведением типов структур
    • Потоковая запись с приведением типов структур

  • Обновления системы безопасности операционной системы.

• 9 июня 2026 г.

  • Обновления системы безопасности операционной системы.

• 26 мая 2026 г.
  • Обновления системы безопасности операционной системы.

• 13 мая 2026 г.
  • (Behavior change) Перечисление таблиц с помощью шаблона схемы больше не обновляет метаданные каталога Unity для внешних таблиц (например, SQL Server, PostgreSQL или AWS Glue). Это изменение влияет на SHOW TABLES IN SCHEMA LIKE ... вызовы getMetaData.getTables в драйвере JDBC, если передаётся шаблон схемы, и на API Thrift SparkGetTablesOperation. Если рабочая нагрузка зависит от обновления метаданных с помощью шаблона схемы, обратитесь в службу поддержки Databricks.
  • Обновления системы безопасности операционной системы.

• 29 апреля 2026 г.
  • Прочие исправления ошибок.

• 20 апреля 2026 г.
  • Прочие исправления ошибок.

• 2 апреля 2026 г.

  • Обновленные библиотеки Java:
    • io.delta.delta-sharing-client_2.12 от 1.1.10 до 1.1.11
  • Автозагрузчик включает две новые функции, связанные с управлением расположением источника и видимостью в DBR 16.3: 1. Изменения событий записи: с этим изменением клиенты смогут использовать cloud_files_state TVF для просмотра сведений об обнаружении и обработке файлов, таких как время обнаружения файла, время его фиксации, архивирования и т. д. См. текущую общедоступную документацию по этому TVF здесь. 2. Чистый источник: с помощью этой функции клиенты могут указать автозагрузчику автоматически удалять файлы, которые были обработаны. Клиенты могут подключить эту функцию, используя опцию cloudFiles.cleanSource Auto Loader. Дополнительные сведения см. в документации по параметрам автозагрузчика.
  • Обновления системы безопасности операционной системы.

• 10 марта 2026 г.

  • [SPARK-55701]ES-1694761[SS] Исправление состояния гонки в CompactibleFileStreamLog.allFiles
  • [SPARK-55111][SS] Повторная проверка обнаружения незавершенной репартируемости при перезапуске запроса
  • Обновления системы безопасности операционной системы.

• 26 февраля 2026 г.

  • Обновленные библиотеки Java:
    • org.mlflow.mlflow-spark_2.12 от 2.9.1 до 2.11.3
  • Обновления системы безопасности операционной системы.

• 19 февраля 2026 г.

  • [SPARK-55243][CONNECT] Разрешить настройку двоичных заголовков с помощью суффикса -bin в клиенте Scala Connect
  • [SPARK-55282][PYTHON][CONNECT] Избегайте использования worker_util на стороне драйвера
  • Обновления системы безопасности операционной системы.

• 27 января 2026 г.
  • Обновленные библиотеки Java:
    • io.delta.delta-sharing-client_2.12 от 1.1.9 до 1.1.10
  • Обновления системы безопасности операционной системы.

• 9 января 2026 г.
  • Секционированные таблицы Delta будут содержать столбцы секционирования, материализованные в файлах данных Parquet. Это позволяет улучшить взаимодействие с процессами обработки таблиц Iceberg и UniForm, а также увеличивает совместимость с внешними неподдерживающими Delta средствами чтения.
  • [SPARK-54620][SQL] Добавьте проверку безопасности в ObservationManager, чтобы избежать блокировки наблюдения
  • [SPARK-54711][PYTHON] Добавление времени ожидания для подключения рабочего, создаваемого демоном.
  • Обновления системы безопасности операционной системы.

• 9 декабря 2025 г.
  • Обновленные библиотеки Java:
    • io.delta.delta-sharing-client_2.12 от 1.1.7 до 1.1.9
  • [SPARK-54427][SQL] Разрешить ColumnarRow вызывать copy с типами вариантов
  • [SPARK-52579][PYTHON] Установить периодический дамп трассировки для процессов Python
  • [SPARK-54180][SQL] Переопределите toString binaryFileFormat
  • Обновления системы безопасности операционной системы.

• 18 ноября 2025 г.
  • [SPARK-54078][SS] Новый тест для StateStoreSuite SPARK-40492: maintenance before unload и удаление инфраструктуры из старого теста
  • [SPARK-54047][PYTHON] Используйте ошибку расхождения для отключения при превышении времени бездействия
  • Обновления системы безопасности операционной системы.

• 4 ноября 2025 г.
  • Обновленные библиотеки R:
    • стрелка от 14.0.0.2 до 21.0.0
  • Обновления системы безопасности операционной системы.

• 21 октября 2025 г.
  • Критерии фотонизации сканирования обновляются, чтобы разрешить фотонизацию сканирования при необходимости проверки контрольной суммы.
    Определение того, требуется ли проверка контрольной суммы, теперь поступает из conf hadoop вместо SQLConf.
  • Обновления системы безопасности операционной системы.

• 7 октября 2025 г.
  • [SPARK-53568][CONNECT][PYTHON] Исправлены несколько небольших ошибок в логике обработки ошибок клиента Spark Connect Python.
  • [SPARK-53574] Исправление проблемы удаления AnalysisContext во время обработки вложенного плана
  • Прочие исправления ошибок.

• 16 сентября 2025 г.
  • Соединитель Snowflake теперь использует INFORMATION_SCHEMA таблицу вместо SHOW SCHEMAS команды для перечисления схем. Это изменение удаляет ограничение схемы в 10 000 схем предыдущего подхода и улучшает поддержку баз данных с большим количеством схем.
  • [SPARK-50870][SQL] Добавьте часовой пояс при приведении к метке времени в V2ScanRelationPushDown
  • Обновления системы безопасности операционной системы.

• 9 сентября 2025 г.
  • Исправлена проблема, из-за которой автозагрузчик зависает на неопределенный срок.
  • Исправлена временная ошибка в автозагрузчике, которая может привести к сбою заданий
  • [SPARK-51821][CORE] Вызов interrupt() без удержания uninterruptibleLock, чтобы избежать возможной взаимоблокировки
  • [SPARK-49872][CORE] Удаление ограничения длины строки JSON джексона
  • Обновления системы безопасности операционной системы.

• 26 августа 2025 г.
  • Обновленные библиотеки Java:
    • io.delta.delta-sharing-client_2.12 от 1.1.6 до 1.1.7
  • [SPARK-52482][SQL][CORE] Улучшена обработка исключений для чтения определенных поврежденных zstd-файлов
  • [SPARK-53192][CONNECT] Всегда кэшировать источник данных в кэше плана Spark Connect
  • Обновления системы безопасности операционной системы.

• 14 августа 2025 г.
  • [SPARK-51011][CORE] Добавьте ведение журнала для того, будет ли задача прервана при убийстве
  • Обновления системы безопасности операционной системы.

• 29 июля 2025 г.
  • Обновления системы безопасности операционной системы.

• 21 июля 2025 г.

  • Для вычислений, которые включены для Photon или использует ЦП на основе Arm64, mlflow-skinny обновляется до версии 2.19.0, ray обновляется до версии 2.37.0 и databricks-feature-engineering обновляется до версии 0.8.0.

• 15 июля 2025 г.

  • Исправлена недетерминированная проблема с потерей данных при использовании структурированной потоковой передачи Spark для потоковой передачи данных из Pulsar.
  • [SPARK-52503][SQL][CONNECT] Исправлено drop, когда входной столбец не существует

• 1 июля 2025 г.
  • Обновленные библиотеки Java:
    • org.mlflow.mlflow-spark_2.12 от 2.9.1 до 2.11.3
    • Удален com.fasterxml.jackson.dataformat.jackson-dataformat-yaml 2.15.2
    • Удален org.slf4j.slf4j-simple 1.7.25
  • Поддержка декомпрессии ZStandard для средств чтения источников данных файлов (json, csv, xml и text.)
  • Поддержка декомпрессии ZStandard для средств чтения источников данных файлов (json, csv, xml и text.)
  • [15.4-16.4][spark-52521]](https://issues.apache.org/jira/browse/SPARK-52521)[SQL] Right#replacement не должен динамически обращаться к SQLConf
  • [SPARK-52482][SQL][CORE] ZStandard поддерживает средство чтения источников данных файлов
  • [SPARK-52312][SQL] Игнорировать V2WriteCommand при кэшировании кадра данных
  • Обновления системы безопасности операционной системы.

• 17 июня 2025 г.
  • Исправлено ограничение, что табличную функцию cloud_files_state с табличным значением (TVF) нельзя использовать для чтения состояния на уровне файла потоковых таблиц в различных конвейерах.
  • [SPARK-49646][SQL] исправление декорреляции вложенных запросов для операций объединения и множеств, когда в parentOuterReferences содержатся ссылки, не охваченные собранными childOuterReferences.
  • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference должен сохранить идентификатор плана

• 3 июня 2025 г.
  • Обновленные библиотеки Python:
    • криптография от 3.4.8, 41.0.3 до 41.0.3
    • блокировка файлов от 3.13.4, 3.15.4 до 3.13.4
    • importlib-metadata от 4.6.4, 6.0.0 до 6.0.0
    • platformdirs от 3.10.0, 3.11.0 до 3.10.0
    • pyparsing от 2.4.7, 3.0.9 до 3.0.9
    • zipp от 1.0.0, 3.11.0 до 3.11.0
    • Добавлен pip 23.2.1
    • Добавлена программа установки 68.0.0
    • Добавлен wcwidth 0.2.5
    • Добавлен колесо 0.38.4
    • Удален дистрибутив 1.7.0
    • Удалена дистрибутивная информация 1.1+ubuntu0.2
    • Удален python-apt 2.4.0+ubuntu4
  • Обновленные библиотеки Java:
    • com.github.fommil.netlib.native_ref-java с версии 1.1, 1.1-natives до 1.1, 1.1
    • com.github.fommil.netlib.native_system-java с версии 1.1, 1.1-natives до 1.1, 1.1
    • com.github.fommil.netlib.netlib-native_ref-linux-x86_64 от 1.1 до 1.1
    • com.github.fommil.netlib.netlib-native_system-linux-x86_64 от версии 1.1-natives до 1.1
    • io.netty.netty-tcnative-boringssl-static обновлено с 2.0.61.Final-db-r16-linux-aarch_64, 2.0.61.Final-db-r16-linux-x86_64, 2.0.61.Final-db-r16-osx-aarch_64, 2.0.61.Final-db-r16-osx-x86_64, 2.0.61.Final-db-r16-windows-x86_64 до 2.0.61.Final-db-r16 для всех перечисленных версий.
    • io.netty.netty-transport-native-epoll от 4.1.96.Final, 4.1.96.Final-linux-aarch_64, 4.1.96.Final-linux-x86_64 до 4.1.96.Final, 4.1.96.Final, 4.1.96.Final
    • io.netty.netty-transport-native-kqueue от 4.1.96.Final-osx-aarch_64, 4.1.96.Final-osx-x86_64 до 4.1.96.Final, 4.1.96.Final
    • org.apache.orc.orc-core с 1.9.2-shaded-protobuf до 1.9.2
    • org.apache.orc.orc-mapreduce с 1.9.2-shaded-protobuf до 1.9.2
    • Изменение версии software.amazon.cryptools.AmazonCorrettoCryptoProvider с 1.6.2-linux-x86_64 на 1.6.2
  • [SPARK-52159][SQL] Правильно обрабатывать проверку существования таблицы для диалектов JDBC
  • Обновления системы безопасности операционной системы.

• 20 мая 2025 г.
  • Обновленные библиотеки Java:
    • io.delta.delta-sharing-client_2.12 от 1.1.5 до 1.1.6
  • Клонированные сеансы потоковой передачи будут использоваться внутри пользовательской функции foreachBatch в общих или бессерверных кластерах. Это соответствует поведению в классических «Назначенных Кластерах».
  • До этого изменения ведущие пробелы и вкладки в пути в variant_get выражении игнорируются с отключенным фотоном. Например, select variant_get(parse_json('{"key": "value"}'), '$['key']') не будет эффективным при извлечении значения "key". Однако теперь пользователи смогут извлечь такие ключи.
  • [SPARK-51935][SQL] Исправлено отложенное поведение итераторов в функции интерпретации df.collect()
  • Обновления системы безопасности операционной системы.

• 22 апреля 2025 г.
  • Обновленные библиотеки Java:
    • org.apache.avro.avro с 1.11.3 по 1.11.4
    • org.apache.avro.avro-ipc от 1.11.3 до 1.11.4
    • org.apache.avro.avro-mapred с 1.11.3 по 1.11.4
  • Отменить "[SPARK-47895][SQL] group by alias должно быть идемпотентным" в 15.4, 16.0, 16.1, 16.2 и 16.3
  • [SPARK-50682][SQL] Внутренний псевдоним должен быть канонизирован
  • Обновления системы безопасности операционной системы.

• 9 апреля 2025 г.
  • (Behavioral change) Чтобы применить критически важные исправления безопасности, версия Python по умолчанию обновляется до Python 3.11.11 с Python 3.11.0rc1. Это обновление может повлиять на некоторые рабочие нагрузки, выполняемые в Databricks Runtime 15.4 LTS, например рабочие нагрузки, использующие сериализацию Python для хранения и восстановления состояния между выполнением или рабочими нагрузками, закрепленными в версии 3.11.0 Python.
  • Обновленные библиотеки Java:
    • Удален io.starburst.openjson.openjson 1.8-e.12
    • Удалён io.starburst.openx.data.json-serde 1.3.9-e.12
    • Удалён io.starburst.openx.data.json-serde-generic-shim 1.3.9-e.12
  • [SPARK-47895][SQL] группировка по псевдониму должна быть идемпотентной
  • [SPARK-51624][SQL] Распространение метаданных GetStructField в CreateNamedStruct.dataType
  • Обновления системы безопасности операционной системы.

• 31 марта 2025 г.
  • Для вычислений, не включенных для Photon, databricks-feature-engineering обновляется до версии 0.8.0. Для вычислений с поддержкой Photon databricks-feature-engineering остаётся на уровне 0.6.0.

• 11 марта 2025 г.

  • Databricks Runtime 14.3 LTS и более поздних версий включают исправление проблемы, вызвавшей несовместимость двоичного кода с кодом, создающим SparkListenerApplicationEnd экземпляр класса и скомпилированным в Apache Spark. Эта несовместимость привела к слиянию SPARK-46399 с Apache Spark. Это слияние включало изменение, которое добавило аргумент по умолчанию в конструктор SparkListenerApplicationEnd. Чтобы восстановить двоичную совместимость, это исправление добавляет один конструктор аргументов в класс SparkListenerApplicationEnd.
  • [SPARK-50985][SS] Классифицировать ошибку несоответствия смещений метки времени Kafka, вместо использования утверждения и генерации ошибки при отсутствии сервера в KafkaTokenProvider.
  • [SPARK-50791][SQL] Исправление NPE в обработке ошибок в хранилище состояний
  • [SPARK-50310][PYTHON] Повышение производительности столбцов при отключении DQC
  • [SPARK-51222][SQL] Оптимизация ReplaceCurrentLike
  • [SPARK-49525][SS][CONNECT] Незначительное улучшение журнала для прослушивателя ListenerBus потоковых запросов на стороне сервера
  • [SPARK-51084][SQL] Назначьте соответствующий класс ошибок для отрицательного классаScaleNotAllowedError
  • Обновления системы безопасности операционной системы.

• 11 февраля 2025 г.

  • Этот выпуск включает исправление проблемы, влияющей на преобразование определенных типов данных при сериализации спасенных столбцов XML-данных. Затронутые типы данных — даты, метки времени, отличные от NTZ, и десятичные знаки при включении prefersDecimal. Дополнительные сведения о спасаемом столбце данных см. в статье "Что такое столбец спасенных данных?".
  • [SPARK-50492][SS] Исправление java.util.NoSuchElementException при удалении столбца времени события после вызова функции dropDuplicatesWithinWatermark
  • Обновления системы безопасности операционной системы.
  • Для вычислений, не включенных для Photon, mlflow-skinny обновляется до версии 2.19.0. Для вычислений с поддержкой Photon mlflow-skinny остается в версии 2.13.1.

• 10 декабря 2024 г.
  • Оператор USE CATALOG теперь поддерживает условие IDENTIFIER. С помощью этой поддержки можно параметризовать текущий каталог на основе строковой переменной или маркера параметров.
  • Этот выпуск включает исправление проблемы, которая может привести к тому, что первичный ключ в таблице Delta будет удален при определенных крайних случаях, связанных с фоновым автоматическим сжатием.
  • В этом выпуске размер кэша, используемый SSD в вычислительном узле Databricks, динамически расширяется до начального размера SSD и уменьшается по мере необходимости до предела spark.databricks.io.cache.maxDiskUsage . См. раздел Оптимизация производительности с помощью кэширования в Azure Databricks.
  • Пакет pyodbc обновляется с версии 4.0.38 до версии 4.0.39. Это изменение необходимо, так как ошибка была обнаружена в версии 4.0.38 и была удалена из PyPI.
  • [SPARK-50329][SQL] исправить InSet$toString
  • [SPARK-47435][SQL] Исправлена проблема переполнения MySQL UNSIGNED TINYINT
  • [SPARK-49757][SQL] Поддержка выражения IDENTIFIER в инструкции SETCATALOG
  • [SPARK-50426][PYTHON] Избегайте поиска статических Python источников данных при использовании встроенных или Java источников данных
  • [SPARK-48863][SQL] Исправление ClassCastException при анализе JSON с включенным параметром "spark.sql.json.enablePartialResults"
  • [SPARK-50310][PYTHON] Добавьте флаг для отключения DataFrameQueryContext для PySpark
  • [15.3-15.4] [SPARK-50034][CORE] Исправлено неправильное отображение фатальных ошибок как неперехваченные исключения в SparkUncaughtExceptionHandler
  • Обновления системы безопасности операционной системы.
• 26 ноября 2024 г.
  • В этом выпуске теперь можно запросить функцию vector_search с помощью query_text для ввода текста или query_vector для внедрения входных данных.
  • Теперь можно задать время ожидания для запросов Spark Connect с помощью свойства конфигурации Spark spark.databricks.execution.timeout. Для записных книжек, работающих на бессерверных вычислениях, значение по умолчанию — 9000 (секунды). Задания, выполняемые на бессерверных вычислениях и вычислениях с стандартным режимом доступа, не имеют времени ожидания, если это свойство конфигурации не задано. Выполнение, которое длится дольше указанного времени ожидания, приводит к ошибке QUERY_EXECUTION_TIMEOUT_EXCEEDED.
  • [SPARK-50322][SQL] Исправлен параметризованный идентификатор в подзапросе
  • [SPARK-49615] [ML] Сделать так, чтобы все преобразователи признаков машинного обучения соответствовали проверке схемы набора данных в соответствии с конфигурацией spark.sql.caseSensitive.
  • [SPARK-50124][SQL] LIMIT/OFFSET должен сохранять порядок данных
  • Обновления системы безопасности операционной системы.

• 5 ноября 2024 г.
  • (Критическое изменение) В Databricks Runtime 15.4 LTS и более поздних версиях обработка регулярных выражений в Photon обновляется в соответствии с поведением обработки регулярных выражений Apache Spark. Ранее функции регулярного выражения, выполняемые Photon, такие как split() и regexp_extract(), приняли некоторые регулярные выражения, отклоненные средством синтаксического анализа Spark. Чтобы обеспечить согласованность с Apache Spark, запросы Photon теперь завершаются ошибкой в случае регулярных выражений, которые Spark считает недопустимыми. Из-за этого изменения могут возникнуть ошибки, если код Spark содержит недопустимые регулярные выражения. Например, выражение split(str_col, '{'), содержащее несоответствующую фигурную скобку и ранее принимавшееся Фотоном, теперь вызывает ошибку. Чтобы исправить это выражение, можно экранировать символ фигурной скобки: split(str_col, '\\{'). Поведение фотона и Spark также отличается для некоторых регулярных выражений, соответствующих символам, отличным от ASCII. Это также обновляется так, чтобы Фотон соответствовал поведению Apache Spark.
  • [SPARK-49782][SQL] Правило ResolveDataFrameDropColumns разрешает неразрешенный атрибут с выходными данных дочерних элементов
  • [SPARK-49867][SQL] Улучшение сообщения об ошибке, возникающей при выходе индекса за пределы допустимого диапазона во время вызова функции GetColumnByOrdinal
  • [SPARK-49863][SQL] Исправлено в NormalizeFloatingNumbers: сохранение null-пособности вложенных структур
  • [SPARK-49829] Изменение оптимизации при добавлении входных данных в хранилище состояний в потоковом соединении (исправление ошибки)
  • [SPARK-49905] Используйте выделенный ShuffleOrigin для оператора с отслеживанием состояния, чтобы предотвратить изменение перетасовки из AQE
  • [SPARK-46632][SQL] Исправьте исключение вложенных выражений, если эквивалентные тернарные выражения имеют разные дочерние элементы
  • [SPARK-49443][SQL][PYTHON] Реализовать выражение to_variant_object и заставить выражения schema_of_variant выводить слово OBJECT для объектов Variant.
  • [SPARK-49615] Исправление ошибки: проверка схемы столбца МО соответствует конфигурации Sparkspark.sql.caseSensitive.

• 22 октября 2024 г.
  • [SPARK-49782][SQL] Правило ResolveDataFrameDropColumns разрешает неразрешенный атрибут с выходными данных дочерних элементов
  • [SPARK-49867][SQL] Улучшение сообщения об ошибке, возникающей при выходе индекса за пределы допустимого диапазона во время вызова функции GetColumnByOrdinal
  • [SPARK-49863][SQL] Исправлено в NormalizeFloatingNumbers: сохранение null-пособности вложенных структур
  • [SPARK-49829] Изменение оптимизации при добавлении входных данных в хранилище состояний в потоковом соединении (исправление ошибки)
  • [SPARK-49905] Используйте выделенный ShuffleOrigin для оператора с отслеживанием состояния, чтобы предотвратить изменение перетасовки из AQE
  • [SPARK-46632][SQL] Исправьте исключение вложенных выражений, если эквивалентные тернарные выражения имеют разные дочерние элементы
  • [SPARK-49443][SQL][PYTHON] Реализовать выражение to_variant_object и заставить выражения schema_of_variant выводить слово OBJECT для объектов Variant.
  • [SPARK-49615] Исправление ошибки: проверка схемы столбца МО соответствует конфигурации Sparkspark.sql.caseSensitive.
• 10 октября 2024 г.
  • [SPARK-49743][SQL] OptimizeCsvJsonExpr не должно изменять поля схемы при обрезке GetArrayStructFields
  • [SPARK-49688][CONNECT] Исправить гонку данных между прерыванием и выполнением плана
  • [BACKPORT] [SPARK-49474][SS] Классифицировать класс ошибки для функции пользователя FlatMapGroupsWithState
  • [SPARK-49460][SQL] Отслеживание: исправление потенциального риска NPE
• 25 сентября 2024 г.
  • [SPARK-49628][SQL] ConstantFolding должен скопировать состоящее выражение перед вычислением
  • [SPARK-49000][SQL] Исправлено "select count(distinct 1) from t", где t является пустой таблицей путем расширения RewriteDistinctAggregates
  • [SPARK-49492][CONNECT] Предпринята повторная попытка подключения к неактивному объекту ExecutionHolder
  • [SPARK-49458][CONNECT][PYTHON] Укажите идентификатор сеанса на стороне сервера с помощью ReattachExecute
  • [SPARK-49017][SQL] Оператор INSERT выдает ошибку при использовании нескольких параметров
  • [SPARK-49451] Разрешить повторяющиеся ключи в parse_json.
  • Прочие исправления ошибок.
• 17 сентября 2024 г.
  • [SPARK-48463][ML] Сделать Binarizer, Bucketizer, Векторный сборщик, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor поддерживающими вложенные входные столбцы
  • [SPARK-49409][CONNECT] Скорректируйте значение по умолчанию CONNECT_SESSION_PLAN_CACHE_SIZE
  • [SPARK-49526][CONNECT][HOTFIX-15.4.2] Поддержка путей стиля Windows в ArtifactManager
  • Отмена изменений "[SPARK-48482][PYTHON] dropDuplicates и dropDuplicatesWithinWatermark должно принимать аргументы переменной длины".
  • [SPARK-43242][CORE] Исправление вызывает исключение "Неожиданный тип BlockId" при диагностике повреждения при перетасовке
  • [SPARK-49366][CONNECT] Обрабатывать узел объединения как лист при разрешении столбцов в наборе данных
  • [SPARK-49018][SQL] Исправление approx_count_distinct не работает правильно с учетом сортировки
  • [SPARK-49460][SQL] Удаление cleanupResource() из EmptyRelationExec
  • [SPARK-49056][SQL] ErrorClassesJsonReader не может правильно обрабатывать значение NULL
  • [SPARK-49336][CONNECT] Ограничить уровень вложенности при усечении сообщения Protocol Buffers
• 29 августа 2024 г.
  • Выходные данные из инструкции SHOW CREATE TABLE теперь включают любые фильтры строк или маски столбцов, определенные в материализованном представлении или потоковой таблице. См. SHOW CREATE TABLE. Дополнительные сведения о фильтрах строк и масках столбцов см. в статьях "Фильтры строк" и "Маски столбцов".
  • При вычислительных процессах, настроенных в режиме общего доступа, пакетное чтение и запись в Kafka теперь имеют такие же ограничения, как и задокументированные для структурированной потоковой передачи. См. ограничения потоковой передачи.
  • [SPARK-48941][SPARK-48970] Исправления записи и чтения ML для обратной совместимости
  • [SPARK-49074][SQL] Вариант исправления с помощью df.cache()
  • [SPARK-49263][CONNECT] Клиент Python Spark Connect: согласованно обрабатывать логические параметры чтения кадров данных
  • [SPARK-48955][SQL] Включение изменений ArrayCompact в 15.4
  • [SPARK-48937][SQL] Добавление поддержки сортировки для строковых выражений StringToMap
  • [SPARK-48929] Исправление внутренней ошибки и очистка контекста исключения синтаксического анализа
  • [SPARK-49125][SQL] Разрешить повторяющиеся имена столбцов в csv-записи
  • [SPARK-48934][SS] Python типы даты и времени, преобразованные неправильно для настройки времени ожидания в applyInPandasWithState
  • [SPARK-48843] Предотвращение бесконечного цикла с помощью BindParameters
  • [SPARK-48981] Исправить метод simpleString для StringType в pyspark для упорядочивания текста
  • [SPARK-49065][SQL] Повторное масштабирование в устаревших модулях форматирования и синтаксических анализаторах должно поддерживать часовые пояса, отличные от JVM по умолчанию
  • [SPARK-48896][SPARK-48909][SPARK-48883] Возврат исправлений записи Spark ML
  • [SPARK-48725][SQL] Интеграция CollationAwareUTF8String.lowerCaseCodePoints в строковые выражения
  • [SPARK-48978][SQL] Реализация быстрого пути ASCII в поддержке сортировки для UTF8_LCASE
  • [SPARK-49047][PYTHON][CONNECT] Усечение сообщения для логирования
  • [SPARK-49146][SS] Перемещение ошибок утверждения, связанных с отсутствием временной метки в запросах потоковой передачи в режиме добавления данных, в фреймворк ошибок
  • [SPARK-48977][SQL] Оптимизация поиска строк в коллации UTF8_LCASE
  • [SPARK-48889][SS] testStream для выгрузки хранилищ состояний перед завершением
  • [SPARK-48463] Создание StringIndexer с поддержкой вложенных входных столбцов
  • [SPARK-48954] try_mod() заменяет try_remainder()
  • Обновления системы безопасности операционной системы.

Databricks Runtime 14.3 LTS

См. раздел Databricks Runtime 14.3 LTS.

• 18 августа 2026 г.

  • Обновленные библиотеки Java:
    • com.microsoft.sqlserver.mssql-jdbc с 11.2.2.jre8, 11.2.3.jre8 до 11.2.3.jre8, 11.2.3.jre8
  • Обновления системы безопасности операционной системы.

• 4 августа 2026 г.

  • [SPARK-58107] Backport локального контрольного пункта dedup-and-seal + проверка контрольной суммы материализированного источника MERGE
  • [SPARK-57547][SQL] Перенос в 14.3 исправления InMemoryRelation для параллельной материализации (с возможностью отключения)
  • Обновления системы безопасности операционной системы.

• 24 июля 2026 г.

  • Обновления системы безопасности операционной системы.

• 10 июля 2026 г.

  • Обновления системы безопасности операционной системы.

• 29 июня 2026 г.
  • (Изменение поведения) Теперь представления метрик отклоняют меры окна, ссылающиеся на другие меры окна. Ранее этот шаблон успешно работал на этапе CREATE, но во время выполнения запроса либо завершался без сообщения об ошибке, либо выдавал неверные результаты. Теперь Azure Databricks возвращает понятную ошибку во время CREATE или ALTER (METRIC_VIEW_WINDOW_MEASURE_REFERENCES_WINDOW_MEASURE). Чтобы отключить эту проверку, установите значение spark.databricks.sql.metricView.rejectWindowOnWindowMeasure.enabledfalse.
  • Обновления системы безопасности операционной системы.

• 9 июня 2026 г.
  • Обновления системы безопасности операционной системы.

• 26 мая 2026 г.
  • Обновления системы безопасности операционной системы.

• 13 мая 2026 г.
  • (Behavior change) Перечисление таблиц с помощью шаблона схемы больше не обновляет метаданные каталога Unity для внешних таблиц (например, SQL Server, PostgreSQL или AWS Glue). Это изменение влияет на SHOW TABLES IN SCHEMA LIKE ... вызовы getMetaData.getTables в драйвере JDBC, если передаётся шаблон схемы, и на API Thrift SparkGetTablesOperation. Если рабочая нагрузка зависит от обновления метаданных с помощью шаблона схемы, обратитесь в службу поддержки Databricks.
  • Обновления системы безопасности операционной системы.

• 29 апреля 2026 г.
  • Прочие исправления ошибок.

• 20 апреля 2026 г.
  • Прочие исправления ошибок.

• 2 апреля 2026 г.

  • Обновленные библиотеки Java:
    • io.delta.delta-sharing-client_2.12 от 1.1.7 до 1.1.11
  • Автозагрузчик включает две новые функции, связанные с управлением расположением источника и видимостью в DBR 16.3: 1. Изменения событий записи: с этим изменением клиенты смогут использовать cloud_files_state TVF для просмотра сведений об обнаружении и обработке файлов, таких как время обнаружения файла, время его фиксации, архивирования и т. д. См. текущую общедоступную документацию по этому TVF здесь. 2. Чистый источник: с помощью этой функции клиенты могут указать автозагрузчику автоматически удалять файлы, которые были обработаны. Клиенты могут подключить эту функцию, используя опцию cloudFiles.cleanSource Auto Loader. Дополнительные сведения см. в документации по параметрам автозагрузчика.
  • Обновления системы безопасности операционной системы.

• 10 марта 2026 г.

  • [SPARK-55111][SS] Повторная проверка обнаружения незавершенной репартируемости при перезапуске запроса
  • [SPARK-55701]ES-1694761[SS] Исправление состояния гонки в CompactibleFileStreamLog.allFiles
  • Обновления системы безопасности операционной системы.

• 26 февраля 2026 г.

  • Обновления системы безопасности операционной системы.

• 19 февраля 2026 г.

  • Обновления системы безопасности операционной системы.

• 27 января 2026 г.

  • Обновления системы безопасности операционной системы.

• 9 января 2026 г.

  • Секционированные таблицы Delta будут содержать столбцы секционирования, материализованные в файлах данных Parquet. Это позволяет улучшить взаимодействие с процессами обработки таблиц Iceberg и UniForm, а также увеличивает совместимость с внешними неподдерживающими Delta средствами чтения.
  • [SPARK-54711][PYTHON] Добавление времени ожидания для подключения рабочего, создаваемого демоном.
  • Обновления системы безопасности операционной системы.

• 9 декабря 2025 г.

  • [SPARK-52579][PYTHON] Установить периодический дамп трассировки для процессов Python
  • [SPARK-54180][SQL] Переопределите toString binaryFileFormat
  • Обновления системы безопасности операционной системы.

• 18 ноября 2025 г.
  • [SPARK-54078][SS] Новый тест для StateStoreSuite SPARK-40492: maintenance before unload и удаление инфраструктуры из старого теста
  • [SPARK-54047][PYTHON] Используйте ошибку расхождения для отключения при превышении времени бездействия
  • Обновления системы безопасности операционной системы.

• 4 ноября 2025 г.
  • Обновленные библиотеки R:
    • стрелка от 12.0.1 до 21.0.0
  • Обновления системы безопасности операционной системы.

• 21 октября 2025 г.
  • Обновления системы безопасности операционной системы.

• 7 октября 2025 г.
  • [SPARK-53568][CONNECT][PYTHON] Исправлены несколько небольших ошибок в логике обработки ошибок клиента Spark Connect Python.
  • [SPARK-53574] Исправление проблемы удаления AnalysisContext во время обработки вложенного плана
  • Прочие исправления ошибок.

• 16 сентября 2025 г.
  • Обновления системы безопасности операционной системы.

• 9 сентября 2025 г.
  • Исправлена проблема, из-за которой автозагрузчик зависает на неопределенный срок.
  • [SPARK-49872][CORE] Удаление ограничения длины строки JSON джексона
  • Обновления системы безопасности операционной системы.

• 26 августа 2025 г.
  • Обновленные библиотеки Java:
    • io.delta.delta-sharing-client_2.12 от 1.1.6 до 1.1.7
  • [SPARK-52482][SQL][CORE] Улучшена обработка исключений для чтения определенных поврежденных zstd-файлов
  • Обновления системы безопасности операционной системы.

• 14 августа 2025 г.
  • Обновления системы безопасности операционной системы.

• 29 июля 2025 г.
  • Обновления системы безопасности операционной системы.

• 15 июля 2025 г.
  • [SPARK-52503][SQL][CONNECT] Исправлено drop, когда входной столбец не существует
  • Прочие исправления ошибок.

• 1 июля 2025 г.
  • Поддержка декомпрессии ZStandard для средств чтения источников данных файлов (json, csv, xml и text.)
  • Поддержка декомпрессии ZStandard для средств чтения источников данных файлов (json, csv, xml и text.)
  • [SPARK-52521][SQL] Right#replacement не должен динамически обращаться к SQLConf
  • [SPARK-52482][SQL][CORE] ZStandard поддерживает средство чтения источников данных файлов
  • Обновления системы безопасности операционной системы.

• 17 июня 2025 г.
  • Исправлено ограничение, что табличную функцию cloud_files_state с табличным значением (TVF) нельзя использовать для чтения состояния на уровне файла потоковых таблиц в различных конвейерах.
  • [SPARK-49646][SQL] исправление декорреляции вложенных запросов для операций объединения и множеств, когда в parentOuterReferences содержатся ссылки, не охваченные собранными childOuterReferences.

• 3 июня 2025 г.
  • Обновленные библиотеки Python:
    • криптография от 3.4.8, 39.0.1 до 39.0.1
    • platformdirs от 2.5.2, 2.6.2 до 2.5.2
    • pyparsing от 2.4.7, 3.0.9 до 3.0.9
    • Добавлен pip 22.3.1
    • Добавлена программа установки 65.6.3
    • Добавлен tomli 2.0.1
    • Добавлен wcwidth 0.2.5
    • Добавлен колесо 0.38.4
    • Удален дистрибутив 1.7.0
    • Удалена дистрибутивная информация 1.1+ubuntu0.2
    • Удален python-apt 2.4.0+ubuntu4
  • Обновленные библиотеки Java:
    • com.github.fommil.netlib.native_ref-java с версии 1.1, 1.1-natives до 1.1, 1.1
    • com.github.fommil.netlib.native_system-java с версии 1.1, 1.1-natives до 1.1, 1.1
    • com.github.fommil.netlib.netlib-native_ref-linux-x86_64 от 1.1 до 1.1
    • com.github.fommil.netlib.netlib-native_system-linux-x86_64 от версии 1.1-natives до 1.1
    • io.netty.netty-tcnative-boringssl-static обновлено с 2.0.61.Final-db-r16-linux-aarch_64, 2.0.61.Final-db-r16-linux-x86_64, 2.0.61.Final-db-r16-osx-aarch_64, 2.0.61.Final-db-r16-osx-x86_64, 2.0.61.Final-db-r16-windows-x86_64 до 2.0.61.Final-db-r16 для всех перечисленных версий.
    • io.netty.netty-transport-native-epoll от 4.1.96.Final, 4.1.96.Final-linux-aarch_64, 4.1.96.Final-linux-x86_64 до 4.1.96.Final, 4.1.96.Final, 4.1.96.Final
    • io.netty.netty-transport-native-kqueue от 4.1.96.Final-osx-aarch_64, 4.1.96.Final-osx-x86_64 до 4.1.96.Final, 4.1.96.Final
    • org.apache.orc.orc-core с 1.9.2-shaded-protobuf до 1.9.2
    • org.apache.orc.orc-mapreduce с 1.9.2-shaded-protobuf до 1.9.2
    • software.amazon.cryptools.AmazonCorrettoCryptoProvider от 1.6.1-linux-x86_64 до 1.6.1
  • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference должен сохранить идентификатор плана
  • [SPARK-52159][SQL] Правильно обрабатывать проверку существования таблицы для диалектов JDBC
  • Обновления системы безопасности операционной системы.

• 20 мая 2025 г.
  • Обновленные библиотеки Java:
    • io.delta.delta-sharing-client_2.12 от 1.1.5 до 1.1.6
  • [SPARK-51935][SQL] Исправлено отложенное поведение итераторов в функции интерпретации df.collect()
  • Обновления системы безопасности операционной системы.

• 22 апреля 2025 г.
  • Обновления системы безопасности операционной системы.

• 9 апреля 2025 г.

  • [Изменение поведения] Теперь операции вакуумирования выполняют проверки протоколов записи, аналогичные другим операциям, предотвращая непредвиденные очистки таблиц с новейшими функциями при запуске из более ранних несовместимых версий Databricks Runtime.
  • [SPARK-51624][SQL] Распространение метаданных GetStructField в CreateNamedStruct.dataType
  • Обновления системы безопасности операционной системы.

• 11 марта 2025 г.

  • Databricks Runtime 14.3 LTS и более поздних версий включают исправление проблемы, вызвавшей несовместимость двоичного кода с кодом, создающим SparkListenerApplicationEnd экземпляр класса и скомпилированным в Apache Spark. Эта несовместимость привела к слиянию SPARK-46399 с Apache Spark. Это слияние включало изменение, которое добавило аргумент по умолчанию в конструктор SparkListenerApplicationEnd. Чтобы восстановить двоичную совместимость, это исправление добавляет один конструктор аргументов в класс SparkListenerApplicationEnd.
  • [SPARK-50791][SQL] Исправление NPE в обработке ошибок в хранилище состояний
  • [SPARK-50705][SQL] Сделать QueryPlan без блокировок
  • [SPARK-49525][SS][CONNECT] Незначительное улучшение журнала для прослушивателя ListenerBus потоковых запросов на стороне сервера
  • Обновления системы безопасности операционной системы.

• 11 февраля 2025 г.

  • Этот выпуск включает исправление проблемы, влияющей на преобразование определенных типов данных при сериализации спасенных столбцов XML-данных. Затронутые типы данных — даты, метки времени, отличные от NTZ, и десятичные знаки при включении prefersDecimal. Дополнительные сведения о спасаемом столбце данных см. в статье "Что такое столбец спасенных данных?".
  • [SPARK-50492][SS] Исправление java.util.NoSuchElementException при удалении столбца времени события после вызова функции dropDuplicatesWithinWatermark
  • [SPARK-51084][SQL] Назначьте соответствующий класс ошибок для отрицательного классаScaleNotAllowedError
  • Обновления системы безопасности операционной системы.

• 10 декабря 2024 г.
  • Этот выпуск включает исправление проблемы, которая может привести к тому, что первичный ключ в таблице Delta будет удален при определенных крайних случаях, связанных с фоновым автоматическим сжатием.
  • [SPARK-50329][SQL] исправить InSet$toString
  • Обновления системы безопасности операционной системы.
• 26 ноября 2024 г.
  • [SPARK-49615] [ML] Сделать так, чтобы все преобразователи признаков машинного обучения соответствовали проверке схемы набора данных в соответствии с конфигурацией spark.sql.caseSensitive.
  • Обновления системы безопасности операционной системы.
• 5 ноября 2024 г.
  • [SPARK-48843] Предотвращение бесконечного цикла с помощью BindParameters
  • [SPARK-49829] Изменение оптимизации при добавлении входных данных в хранилище состояний в потоковом соединении (исправление ошибки)
  • [SPARK-49863][SQL] Исправлено в NormalizeFloatingNumbers: сохранение null-пособности вложенных структур
  • [BACKPORT] [SPARK-49326][SS] Классифицировать класс ошибки для ошибки функции пользователя в приемнике foreach
  • [SPARK-49782][SQL] Правило ResolveDataFrameDropColumns разрешает неразрешенный атрибут с выходными данных дочерних элементов
  • [SPARK-46632][SQL] Исправьте исключение вложенных выражений, если эквивалентные тернарные выражения имеют разные дочерние элементы
  • [SPARK-49905] Используйте выделенный ShuffleOrigin для оператора с отслеживанием состояния, чтобы предотвратить изменение перетасовки из AQE
  • Обновления системы безопасности операционной системы.
• 22 октября 2024 г.
  • [SPARK-48843] Предотвращение бесконечного цикла с помощью BindParameters
  • [SPARK-49863][SQL] Исправлено в NormalizeFloatingNumbers: сохранение null-пособности вложенных структур
  • [SPARK-49905] Используйте выделенный ShuffleOrigin для оператора с отслеживанием состояния, чтобы предотвратить изменение перетасовки из AQE
  • [SPARK-46632][SQL] Исправьте исключение вложенных выражений, если эквивалентные тернарные выражения имеют разные дочерние элементы
  • [SPARK-49782][SQL] Правило ResolveDataFrameDropColumns разрешает неразрешенный атрибут с выходными данных дочерних элементов
  • [BACKPORT] [SPARK-49326][SS] Классифицировать класс ошибки для ошибки функции пользователя в приемнике foreach
  • [SPARK-49829] Изменение оптимизации при добавлении входных данных в хранилище состояний в потоковом соединении (исправление ошибки)
  • Обновления системы безопасности операционной системы.
• 10 октября 2024 г.
  • [BACKPORT] [SPARK-49474][SS] Классифицировать класс ошибки для функции пользователя FlatMapGroupsWithState
  • [SPARK-49743][SQL] OptimizeCsvJsonExpr не должно изменять поля схемы при обрезке GetArrayStructFields
  • [SPARK-49688][CONNECT] Исправить гонку данных между прерыванием и выполнением плана
• 25 сентября 2024 г.
  • [SPARK-48810][CONNECT] Api остановки сеанса () должен быть идемпотентным и не завершается, если сеанс уже закрыт сервером
  • [SPARK-48719][SQL] Исправлена ошибка вычисления RegrS...
  • [SPARK-49000][SQL] Исправлено "select count(distinct 1) from t", где t является пустой таблицей путем расширения RewriteDistinctAggregates
  • [SPARK-49628][SQL] ConstantFolding должен скопировать состоящее выражение перед вычислением
  • [SPARK-49492][CONNECT] Предпринята повторная попытка подключения к неактивному объекту ExecutionHolder
  • Обновления системы безопасности операционной системы.
• 17 сентября 2024 г.
  • [SPARK-49336][CONNECT] Ограничить уровень вложенности при усечении сообщения Protocol Buffers
  • [SPARK-43242][CORE] Исправление вызывает исключение "Неожиданный тип BlockId" при диагностике повреждения при перетасовке
  • [SPARK-48463][ML] Сделать Binarizer, Bucketizer, Векторный сборщик, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor поддерживающими вложенные входные столбцы
  • [SPARK-49526][CONNECT] Поддержка путей Windows-стиля в ArtifactManager
  • [SPARK-49409][CONNECT] Скорректируйте значение по умолчанию CONNECT_SESSION_PLAN_CACHE_SIZE
  • [SPARK-49366][CONNECT] Обрабатывать узел объединения как лист при разрешении столбцов в наборе данных
• 29 августа 2024 г.
  • [SPARK-49146][SS] Перемещение ошибок утверждения, связанных с отсутствием временной метки в запросах потоковой передачи в режиме добавления данных, в фреймворк ошибок
  • [SPARK-48862][PYTHON][CONNECT] Избегайте вызова _proto_to_string , если уровень INFO не включен
  • [SPARK-49263][CONNECT] Клиент Python Spark Connect: согласованно обрабатывать логические параметры чтения кадров данных
• 14 августа 2024 г.
  • [SPARK-48941][SPARK-48970] Исправления записи и чтения ML для обратной совместимости
  • [SPARK-48706][PYTHON] Python UDF в функциях более высокого порядка не должно вызывать внутреннюю ошибку
  • [SPARK-49056][SQL] ErrorClassesJsonReader не может правильно обрабатывать значение NULL
  • [SPARK-48597][SQL] Введите маркер свойства isStreaming в текстовом представлении логического плана
  • [SPARK-49065][SQL] Повторное масштабирование в устаревших модулях форматирования и синтаксических анализаторах должно поддерживать часовые пояса, отличные от JVM по умолчанию
  • [SPARK-48934][SS] Python типы даты и времени, преобразованные неправильно для настройки времени ожидания в applyInPandasWithState
• 1 августа 2024 г.
  • Этот выпуск содержит исправление ошибок для классов ColumnVector и ColumnarArray в интерфейсе Spark Java. До этого исправления могла возникать ошибка ArrayIndexOutOfBoundsException или возвращаться неверные данные, если экземпляр одного из этих классов содержал значения null.
  • В бессерверных вычислительных ресурсах для записных книжек и заданий режим ANSI SQL включен по умолчанию. См. раздел "Поддерживаемые параметры конфигурации Spark".
  • При вычислительных процессах, настроенных в режиме общего доступа, пакетное чтение и запись в Kafka теперь имеют такие же ограничения, как и задокументированные для структурированной потоковой передачи. См. ограничения потоковой передачи.
  • Выходные данные из инструкции SHOW CREATE TABLE теперь включают любые фильтры строк или маски столбцов, определенные в материализованном представлении или потоковой таблице. См. SHOW CREATE TABLE. Дополнительные сведения о фильтрах строк и масках столбцов см. в статьях "Фильтры строк" и "Маски столбцов".
  • При вычислительных процессах, настроенных в режиме общего доступа, пакетное чтение и запись в Kafka теперь имеют такие же ограничения, как и задокументированные для структурированной потоковой передачи. См. ограничения потоковой передачи.
  • Выходные данные из инструкции SHOW CREATE TABLE теперь включают любые фильтры строк или маски столбцов, определенные в материализованном представлении или потоковой таблице. См. SHOW CREATE TABLE. Дополнительные сведения о фильтрах строк и масках столбцов см. в статьях "Фильтры строк" и "Маски столбцов".
  • [SPARK-48896][SPARK-48909][SPARK-48883] Возврат исправлений записи Spark ML
  • [SPARK-48889][SS] testStream для выгрузки хранилищ состояний перед завершением
  • [SPARK-48705][PYTHON] Явно используйте worker_main при запуске с помощью pyspark
  • [SPARK-48047][SQL] Уменьшите давление памяти пустых тегов TreeNode
  • [SPARK-48544][SQL] Снижение давления на память пустых битсетов TreeNode
  • [SPARK-46957][CORE] Перенесенные файлы перемешивания должны иметь возможность удаления средствами исполнительного процесса
  • [SPARK-48463] Создание StringIndexer с поддержкой вложенных входных столбцов
  • [SPARK-47202][PYTHON] Исправление опечатки, нарушающей обработку дат и времени с tzinfo
  • [SPARK-47713][SQL][CONNECT] Исправлена ошибка сбоя самосоединения
  • Обновления системы безопасности операционной системы.
• 11 июля 2024 г.
  • (Изменение поведения) Кадры данных, кэшированные в источниках таблиц Delta, теперь недействительны, если исходная таблица перезаписана. Это изменение означает, что все изменения состояния в таблицах Delta теперь делают кэшированные результаты недействительными. Используйте .checkpoint() для сохранения состояния таблицы на протяжении всего времени жизни фрейма данных.
  • Драйвер Snowflake JDBC обновлен до версии 3.16.1.
  • Этот выпуск содержит исправление проблемы, которая не позволяла правильно отображать вкладку "Среда" в пользовательском интерфейсе Spark при запуске в службах контейнеров Databricks.
  • В бессерверных вычислительных ресурсах для записных книжек и заданий режим ANSI SQL включен по умолчанию. См. раздел "Поддерживаемые параметры конфигурации Spark".
  • Чтобы игнорировать недопустимые секции при чтении данных, файловые источники данных, такие как Parquet, ORC, CSV или JSON, могут задать параметру источника данных ignoreInvalidPartitionPaths значение true. Например: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...). Также можно использовать конфигурацию SQL spark.sql.files.ignoreInvalidPartitionPaths. Однако параметр источника данных имеет приоритет над конфигурацией SQL. Этот параметр имеет значение false по умолчанию.
  • [SPARK-48648][PYTHON][CONNECT] Сделать SparkConnectClient.tags правильно threadlocal
  • [SPARK-48445][SQL] Не встраивайте пользовательские функции с ресурсоемкими дочерними элементами
  • [SPARK-48481][SQL][SS] Не применять OptimizeOneRowPlan к потоковому набору данных
  • [SPARK-48383][SS] Создает более высокую ошибку для несовпадений секций в параметре startOffset в Kafka
  • [SPARK-48503][SQL] Исправление недопустимых скалярных подзапросов с группировкой по неравнозначным столбцам, которые были неправомерно разрешены.
  • [SPARK-48100][SQL] Устранение проблем при пропуске вложенных полей структуры, не выбранных в схеме
  • [SPARK-48273][SQL] Исправление запоздалой перезаписи PlanWithUnresolvedIdentifier
  • [SPARK-48252][SQL] При необходимости обновите CommonExpressionRef
  • [SPARK-48475][PYTHON] Оптимизация _get_jvm_function в PySpark.
  • [SPARK-48292][CORE] Откат [SPARK-39195][SQL] Spark OutputCommitCoordinator должен прервать этап, когда коммитированный файл не соответствует состоянию задачи
  • Обновления системы безопасности операционной системы.
• 17 июня 2024 г.
  • applyInPandasWithState() доступен в вычислительных средах со стандартным режимом доступа.
  • Исправлена ошибка, из-за которой оптимизация рангового окна с помощью Photon TopK неправильно обрабатывала секции со структурами.
  • [SPARK-48310][PYTHON][CONNECT] Кэшированные свойства должны возвращать копии
  • [SPARK-48276][PYTHON][CONNECT] Добавьте отсутствующий __repr__ метод для SQLExpression
  • [SPARK-48294][SQL] Обработка нижнего регистра в вложенных типахTypeMissingElementTypeError
  • Обновления системы безопасности операционной системы.
• 21 мая 2024 г.
  • (Изменение поведения) dbutils.widgets.getAll() Поддерживается получение всех значений мини-приложений в блокноте.
  • Исправлена ошибка в функции try_divide(), в которой входные данные, содержащие десятичные разряды, привели к непредвиденным исключениям.
  • [SPARK-48056][CONNECT][PYTHON] Повторное выполнение плана, если возникает ошибка SESSION_NOT_FOUND, и не было получено частичного ответа.
  • [SPARK-48146][SQL] Исправление агрегатной функции в утверждении дочернего выражения "With"
  • [SPARK-47986][CONNECT][PYTHON] Не удается создать новый сеанс при закрытии сеанса по умолчанию сервером
  • [SPARK-48180][SQL] Улучшение сообщения об ошибке при вызове UDTF с аргументом TABLE, если забыты круглые скобки вокруг нескольких выражений PARTITION/ORDER BY.
  • [SPARK-48016][SQL] Исправлена ошибка в функции try_divide при использовании десятичных разрядов
  • [SPARK-48197][SQL] Избегать ошибки утверждения для недопустимой лямбда-функции
  • [SPARK-47994][SQL] Исправлена ошибка с проталкиванием фильтра столбцов CASE WHEN в SQL Server
  • [SPARK-48173][SQL] CheckAnalysis должен видеть весь план запроса
  • [SPARK-48105][SS] Исправить гонку данных между выгрузкой и моментальным снимком хранилища состояний
  • Обновления системы безопасности операционной системы.

• 9 мая 2024 г.
  • (Изменение поведения) applyInPandas И mapInPandas типы UDF теперь поддерживаются в вычислительных ресурсах в режиме общего доступа под управлением Databricks Runtime 14.3 LTS и более поздних версий.
  • [SPARK-47739][SQL] Регистрация логического типа avro
  • [SPARK-47941] [SS] [Connect] Передача ошибок инициализации рабочих процессов ForeachBatch пользователям для PySpark
  • [SPARK-48010][SQL] Избегайте повторных вызовов conf.resolver в resolveExpression
  • [SPARK-48044][PYTHON][CONNECT] Кэш DataFrame.isStreaming
  • [SPARK-47956][SQL] Проверка корректности для неразрешенной ссылки на LCA
  • [SPARK-47543][CONNECT][PYTHON] Определение словаря как MapType из DataFrame Pandas для возможности создания DataFrame.
  • [SPARK-47819][CONNECT][Cherry-pick-14.3] Используйте асинхронный вызов обратной процедуры для очистки после завершения выполнения
  • [SPARK-47764][CORE][SQL] Очистка зависимостей с использованием ShuffleCleanupMode
  • [SPARK-48018][SS] Исправлено наличие null в groupId, что вызывает ошибку параметра при вызове KafkaException.couldNotReadOffsetRange.
  • [SPARK-47839][SQL] Исправлена статистическая ошибка в RewriteWithExpression
  • [SPARK-47371] [SQL] XML: игнорировать теги строк, найденные в CDATA
  • [SPARK-47895][SQL] группа всех должна быть идемпотентной
  • [SPARK-47973][CORE] Записывать местоположение вызова в SparkContext.stop() и затем в SparkContext.assertNotStopped().
  • Обновления системы безопасности операционной системы.

• 25 апреля 2024 г.
  • [SPARK-47543][CONNECT][PYTHON] Определение в качестве dict на основе DataFrame Pandas для возможности создания DataFrame
  • [SPARK-47694][CONNECT] Настройте максимальный размер сообщения на стороне клиента.
  • [SPARK-47664][PYTHON][CONNECT][Cherry-pick-14.3] Проверка имени столбца с кэшированной схемой
  • [SPARK-47862][PYTHON][CONNECT]Исправление генерации протофайлов
  • Отмена "[SPARK-47543][CONNECT][PYTHON] Определение dict как MapType из DataFrame Pandas для создания DataFrame"
  • [SPARK-47704][SQL] JSON-синтаксический анализ терпит неудачу с ошибкой "java.lang.ClassCastException" при включении spark.sql.json.enablePartialResults
  • [SPARK-47812][CONNECT] Поддержка сериализации SparkSession в рабочем процессе ForEachBatch
  • [SPARK-47818][CONNECT][Cherry-pick-14.3] Введите кэш планов в SparkConnectPlanner для повышения производительности запросов анализа
  • [SPARK-47828][CONNECT][PYTHON] DataFrameWriterV2.overwrite выдает ошибку из-за недопустимого плана
  • Обновления системы безопасности операционной системы.
• 11 апреля 2024 г.
  • (Изменения в поведении) Чтобы обеспечить согласованное поведение в разных типах вычислительных ресурсов, UDFs PySpark на ресурсах с обычным режимом доступа теперь соответствуют поведению UDFs без изоляции и назначенных кластерах. Это обновление включает следующие изменения, которые могут нарушить существующий код:
    • Определяемые пользователем функции с типом возврата string больше не преобразовывают значения, отличные отstring, неявным образом в значения string. Ранее пользовательские функции (UDF) с возвращаемым типом str оборачивали возвращаемое значение с помощью функции str(), независимо от фактического типа данных возвращаемого значения.
    • Определяемые пользователем функции с timestamp возвращаемыми типами больше не применяют неявное преобразование к timestamptimezone.
    • Конфигурации кластера Spark spark.databricks.sql.externalUDF.* больше не применяются к UDF PySpark на вычислительных ресурсах со стандартным режимом доступа.
    • Конфигурация кластера Spark spark.databricks.safespark.externalUDF.plan.limit больше не влияет на PySpark UDF, что снимает ограничение публичной предварительной версии на 5 UDF на запрос для PySpark.
    • Конфигурация кластера Spark spark.databricks.safespark.sandbox.size.default.mib больше не применяется к PySpark UDF на вычислительных ресурсах со стандартным режимом доступа. Вместо этого используется доступная память в системе. Чтобы ограничить объем памяти пользовательских функций PySpark, используйте spark.databricks.pyspark.udf.isolation.memoryLimit с минимальным значением 100m.
  • Тип данных TimestampNTZ теперь поддерживается как столбец кластеризации с использованием технологии liquid clustering. См. раздел "Использование кластеризации жидкости" для таблиц.
  • [SPARK-47511][SQL] Канонизация с помощью выражений путем повторного назначения идентификаторов
  • [SPARK-47509][SQL] Блокировать выражения вложенных запросов в лямбда-функциях и функциях высшего порядка
  • [SPARK-46990][SQL] Исправлена загрузка пустых файлов Avro, создаваемых концентраторами событий
  • [SPARK-47638][PS][CONNECT] Пропустить проверку имени столбца в PS
  • Обновления системы безопасности операционной системы.
• 14 марта 2024 г.
  • [SPARK-47135][SS] Реализация классов ошибок для исключений потери данных Kafka
  • [SPARK-47176][SQL] Есть вспомогательные функции ResolveAllExpressionsUpWithPruning
  • [SPARK-47145][SQL] Передайте идентификатор таблицы в exec для проверки источника данных строк для стратегии V2.
  • [SPARK-47044][SQL] Добавьте выполненный запрос для внешних источников данных JDBC для объяснения выходных данных
  • [SPARK-47167][SQL] Добавление конкретного класса для анонимного отношения JDBC
  • [SPARK-47070] Исправление недопустимой агрегации после переписывания подзапроса
  • [SPARK-47121][CORE] Избежание исключений RejectedExecutionExceptions при завершении работы StandaloneSchedulerBackend
  • Возврат "[SPARK-46861][CORE] Избегайте взаимоблокировки в DAGScheduler"
  • [SPARK-47125][SQL] Возвращает значение NULL, если Univocity никогда не активирует синтаксический анализ
  • [SPARK-46999][SQL] ExpressionWithUnresolvedIdentifier должен содержать другие выражения в дереве выражений
  • [SPARK-47129][CONNECT][SQL] Обеспечение правильного плана подключения кэша ResolveRelations
  • [SPARK-47241][SQL] Устранение проблем с порядком правил для ExtractGenerator
  • [SPARK-47035][SS][CONNECT] Протокол для прослушивателя Client-Side
  • Обновления системы безопасности операционной системы.
• 29 февраля 2024 г.
  • Исправлена проблема, из-за которой использование локальной коллекции в качестве источника в команде MERGE могло привести к тому, что метрика numSourceRows сообщает о вдвое большем количестве строк, чем следует.
  • Создание схемы с определенным расположением теперь требует, чтобы у пользователя были привилегии SELECT и MODIFY на любой файл.
  • [SPARK-47071][SQL] Встраивание выражения With, если оно содержит специальное выражение
  • [SPARK-47059][SQL] Добавление контекста ошибки для команды ALTER COLUMN v1
  • [SPARK-46993][SQL] Исправлено константное свертывание для переменных сеанса
  • Обновления системы безопасности операционной системы.
• 3 января 2024 г.
  • [SPARK-46933] Добавьте метрику времени выполнения запроса в соединители, использующие JDBCRDD.
  • [SPARK-46763] Исправлена ошибка утверждения в ReplaceDeduplicateWithAggregate для повторяющихся атрибутов.
  • [SPARK-46954] XML: обернуть InputStreamReader с помощью BufferedReader.
  • [SPARK-46655] Пропускаем улавливание контекста запроса в DataFrame методах.
  • [SPARK-44815] Кэширование df.schema для избегания дополнительных RPC.
  • [SPARK-46952] XML: ограничение размера поврежденной записи.
  • [SPARK-46794] Удалите вложенные запросы из ограничений LogicalRDD.
  • [SPARK-46736] сохраняет пустое поле сообщения в соединителе protobuf.
  • [SPARK-45182] Игнорировать завершение задачи из старой стадии после повторного выполнения предыдущей не определённой стадии, как определено контрольной суммой.
  • [SPARK-46414] Используйте prependBaseUri для обработки импорта JavaScript.
  • [SPARK-46383] Сокращение использования кучи драйверов путем уменьшения срока существования TaskInfo.accumulables().
  • [SPARK-46861] Избегайте взаимоблокировки в DAGScheduler.
  • [SPARK-46954] XML: оптимизация поиска по индексу схемы.
  • [SPARK-46676] dropDuplicatesWithinWatermark не должен завершаться сбоем на этапе канонизации плана.
  • [SPARK-46644] Измените добавление и слияние в SQLMetric для использования isZero.
  • [SPARK-46731] Управление экземпляром провайдера хранилища состояния по источнику данных состояния — считывателю.
  • [SPARK-46677] Исправить dataframe["*"] разрешение.
  • [SPARK-46610] Создание таблицы должно вызывать исключение, если отсутствует значение для ключа в параметрах.
  • [SPARK-46941] Не удается вставить узел ограничения группы окон для вычислений top-k, если содержит SizeBasedWindowFunction.
  • [SPARK-45433] Исправлена ошибка вывода схемы CSV/JSON, если временные метки не соответствуют заданному формату времени.
  • [SPARK-46930] Добавьте поддержку настраиваемого префикса для полей типа Union в Avro.
  • [SPARK-46227] Обратная адаптация для 14.3.
  • [SPARK-46822] Учитывайте spark.sql.legacy.charVarcharAsString при приведении типа jdbc к типу Catalyst в jdbc.
  • Обновления системы безопасности операционной системы.

Databricks Runtime 13.3 LTS

См. раздел Databricks Runtime 13.3 LTS.

• 18 августа 2026 г.

  • Обновленные библиотеки Java:
    • org.eclipse.jetty.jetty-client с 9.4.51.v20230217 до 9.4.57.v20241219
    • org.eclipse.jetty.jetty-continuation с 9.4.51.v20230217 до 9.4.57.v20241219
    • org.eclipse.jetty.jetty-http с 9.4.51.v20230217 до 9.4.57.v20241219
    • org.eclipse.jetty.jetty-io с 9.4.51.v20230217 до 9.4.57.v20241219
    • org.eclipse.jetty.jetty-jndi с 9.4.51.v20230217 по 9.4.57.v20241219
    • org.eclipse.jetty.jetty-plus с 9.4.51.v20230217 до 9.4.57.v20241219
    • org.eclipse.jetty.jetty-proxy с 9.4.51.v20230217 до 9.4.57.v20241219
    • org.eclipse.jetty.jetty-security с 9.4.51.v20230217 по 9.4.57.v20241219
    • org.eclipse.jetty.jetty-server с 9.4.51.v20230217 до 9.4.57.v20241219
    • org.eclipse.jetty.jetty-servlet с 9.4.51.v20230217 по 9.4.57.v20241219
    • org.eclipse.jetty.jetty-servlets с 9.4.51.v20230217 до 9.4.57.v20241219
    • org.eclipse.jetty.jetty-util с 9.4.51.v20230217 до 9.4.57.v20241219
    • org.eclipse.jetty.jetty-util-ajax с 9.4.51.v20230217 до 9.4.57.v20241219
    • org.eclipse.jetty.jetty-webapp с 9.4.51.v20230217 по 9.4.57.v20241219
    • org.eclipse.jetty.jetty-xml с 9.4.51.v20230217 до 9.4.57.v20241219
    • org.eclipse.jetty.websocket.websocket-api с 9.4.51.v20230217 до 9.4.57.v20241219
    • org.eclipse.jetty.websocket.websocket-client с 9.4.51.v20230217 по 9.4.57.v20241219
    • org.eclipse.jetty.websocket.websocket-common с 9.4.51.v20230217 по 9.4.57.v20241219
    • org.eclipse.jetty.websocket.websocket-server с 9.4.51.v20230217 по 9.4.57.v20241219
    • org.eclipse.jetty.websocket.websocket-servlet с 9.4.51.v20230217 по 9.4.57.v20241219
  • Обновления системы безопасности операционной системы.

• 4 августа 2026 г.

  • [SPARK-58107] Бэкпорт локального чекпойнта dedup-and-seal + проверка контрольной суммы материализованного источника для MERGE
  • Обновления системы безопасности операционной системы.

• 24 июля 2026 г.

  • Обновления системы безопасности операционной системы.

• 10 июля 2026 г.

  • Обновленные библиотеки Java:
    • com.microsoft.sqlserver.mssql-jdbc с 11.2.2.jre8, 11.2.3.jre8 до 11.2.3.jre8, 11.2.3.jre8
  • Обновления системы безопасности операционной системы.

• 29 июня 2026 г.
  • Обновления системы безопасности операционной системы.

• 9 июня 2026 г.
  • Обновления системы безопасности операционной системы.

• 26 мая 2026 г.
  • Обновления системы безопасности операционной системы.

• 13 мая 2026 г.
  • (Behavior change) Перечисление таблиц с помощью шаблона схемы больше не обновляет метаданные каталога Unity для внешних таблиц (например, SQL Server, PostgreSQL или AWS Glue). Это изменение влияет на SHOW TABLES IN SCHEMA LIKE ... вызовы getMetaData.getTables в драйвере JDBC, если передаётся шаблон схемы, и на API Thrift SparkGetTablesOperation. Если рабочая нагрузка зависит от обновления метаданных с помощью шаблона схемы, обратитесь в службу поддержки Databricks.
  • Обновления системы безопасности операционной системы.

• 29 апреля 2026 г.
  • Обновления системы безопасности операционной системы.

• 20 апреля 2026 г.
  • Обновления системы безопасности операционной системы.

• 2 апреля 2026 г.

  • Обновления системы безопасности операционной системы.

• 10 марта 2026 г.

  • [SPARK-55701]ES-1694761[SS] Исправление состояния гонки в CompactibleFileStreamLog.allFiles
  • [SPARK-55111][SS] Повторная проверка обнаружения незавершенной репартируемости при перезапуске запроса
  • Обновления системы безопасности операционной системы.

• 26 февраля 2026 г.

  • Обновления системы безопасности операционной системы.

• 19 февраля 2026 г.

  • Откат [SPARK-55111][SS] незавершенного обнаружения повторного разбиения при перезапуске запроса
  • [SPARK-55111][SS] Обнаружение незавершенного перераспределения при перезапуске запроса
  • Обновления системы безопасности операционной системы.

• 27 января 2026 г.
  • Обновления системы безопасности операционной системы.

• 9 января 2026 г.
  • Секционированные таблицы Delta будут содержать столбцы секционирования, материализованные в файлах данных Parquet. Это позволяет улучшить взаимодействие с процессами обработки таблиц Iceberg и UniForm, а также увеличивает совместимость с внешними неподдерживающими Delta средствами чтения.
  • Обновления системы безопасности операционной системы.

• 9 декабря 2025 г.
  • [SPARK-54180][SQL] Переопределите toString binaryFileFormat
  • [SPARK-52579][PYTHON] Установить периодический дамп трассировки для процессов Python
  • Обновления системы безопасности операционной системы.

• 18 ноября 2025 г.
  • [SPARK-54047][PYTHON] Используйте ошибку расхождения для отключения при превышении времени бездействия
  • Обновления системы безопасности операционной системы.

• 4 ноября 2025 г.
  • Обновленные библиотеки R:
    • стрелка от 10.0.1 до 21.0.0
  • Обновления системы безопасности операционной системы.

• 21 октября 2025 г.
  • Обновления системы безопасности операционной системы.

• 7 октября 2025 г.
  • Обновления системы безопасности операционной системы.

• 24 сентября 2025 г.
  • Обновления системы безопасности операционной системы.

• 9 сентября 2025 г.
  • Обновления системы безопасности операционной системы.

• 26 августа 2025 г.
  • Обновленные библиотеки Java:
    • io.delta.delta-sharing-spark_2.12 от 0.7.12 до 0.7.13
  • Обновления системы безопасности операционной системы.

• 14 августа 2025 г.
  • Обновления системы безопасности операционной системы.

• 29 июля 2025 г.
  • Обновления системы безопасности операционной системы.

• 15 июля 2025 г.

  • Обновления системы безопасности операционной системы.

• 1 июля 2025 г.

  • Обновления системы безопасности операционной системы.

• 17 июня 2025 г.
  • Исправлено ограничение, что табличную функцию cloud_files_state с табличным значением (TVF) нельзя использовать для чтения состояния на уровне файла потоковых таблиц в различных конвейерах.
  • Обновления системы безопасности операционной системы.

• 3 июня 2025 г.
  • Обновленные библиотеки Python:
    • криптография от 3.4.8, 37.0.1 до 37.0.1
    • platformdirs от 2.5.2, 2.6.2 до 2.5.2
    • pyparsing от 2.4.7, 3.0.9 до 3.0.9
    • Добавлен pip 22.2.2
    • Добавлена программа установки 63.4.1
    • Добавлен tomli 2.0.1
    • Добавлен wcwidth 0.2.5
    • Добавлено колесо 0.37.1
    • Удален дистрибутив 1.7.0
    • Удалена дистрибутивная информация 1.1+ubuntu0.2
    • Удален python-apt 2.4.0+ubuntu4
  • Обновленные библиотеки Java:
    • com.github.fommil.netlib.native_ref-java с версии 1.1, 1.1-natives до 1.1, 1.1
    • com.github.fommil.netlib.native_system-java с версии 1.1, 1.1-natives до 1.1, 1.1
    • com.github.fommil.netlib.netlib-native_ref-linux-x86_64 от 1.1 до 1.1
    • com.github.fommil.netlib.netlib-native_system-linux-x86_64 от версии 1.1-natives до 1.1
    • io.netty.netty-transport-native-epoll от 4.1.87.Final, 4.1.87.Final-linux-aarch_64, 4.1.87.Final-linux-x86_64 до 4.1.87.Final, 4.1.87.Final, 4.1.87.Final
    • io.netty.netty-transport-native-kqueue от 4.1.87.Final-osx-aarch_64, 4.1.87.Final-osx-x86_64 до 4.1.87.Final, 4.1.87.Final
    • org.apache.orc.orc-core с 1.8.4-shaded-protobuf до 1.8.4
    • org.apache.orc.orc-mapreduce с 1.8.4-shaded-protobuf до 1.8.4
    • software.amazon.cryptools.AmazonCorrettoCryptoProvider от 1.6.1-linux-x86_64 до 1.6.1
  • [SPARK-52159][SQL] Правильно обрабатывать проверку существования таблицы для диалектов JDBC
  • Обновления системы безопасности операционной системы.

• 20 мая 2025 г.
  • Обновленные библиотеки Java:
    • io.delta.delta-sharing-spark_2.12 от 0.7.11 до 0.7.12
  • Обновления системы безопасности операционной системы.

• 22 апреля 2025 г.
  • [Изменение поведения] Теперь операции вакуумирования выполняют проверки протоколов записи, аналогичные другим операциям, предотвращая непредвиденные очистки таблиц с новейшими функциями при запуске из более ранних несовместимых версий Databricks Runtime.
  • Обновления системы безопасности операционной системы.

• 9 апреля 2025 г.
  • [SPARK-51624][SQL] Распространение метаданных GetStructField в CreateNamedStruct.dataType
  • Обновления системы безопасности операционной системы.

• 11 марта 2025 г.
  • Обновления системы безопасности операционной системы.

• 11 февраля 2025 г.
  • [SPARK-50492][SS] Исправление java.util.NoSuchElementException при удалении столбца времени события после вызова функции dropDuplicatesWithinWatermark
  • [SPARK-45915][SQL] Рассматривать десятичный (x, 0) так же, как целочисленный тип в PromoteStrings.
  • Обновления системы безопасности операционной системы.

• 10 декабря 2024 г.
  • Обновления системы безопасности операционной системы.
• 26 ноября 2024 г.
  • [SPARK-49615] [ML] Сделать так, чтобы все преобразователи признаков машинного обучения соответствовали проверке схемы набора данных в соответствии с конфигурацией spark.sql.caseSensitive.
  • Обновления системы безопасности операционной системы.
• 5 ноября 2024 г.
  • [SPARK-48843] Предотвращение бесконечного цикла с помощью BindParameters
  • [BACKPORT] [SPARK-49326][SS] Классифицировать класс ошибки для ошибки функции пользователя в приемнике foreach
  • [SPARK-49905] Используйте выделенный ShuffleOrigin для оператора с отслеживанием состояния, чтобы предотвратить изменение перетасовки из AQE
  • Обновления системы безопасности операционной системы.
• 22 октября 2024 г.
  • [SPARK-48843] Предотвращение бесконечного цикла с помощью BindParameters
  • [BACKPORT] [SPARK-49326][SS] Классифицировать класс ошибки для ошибки функции пользователя в приемнике foreach
  • [SPARK-49905] Используйте выделенный ShuffleOrigin для оператора с отслеживанием состояния, чтобы предотвратить изменение перетасовки из AQE
  • Обновления системы безопасности операционной системы.
• 10 октября 2024 г.
  • [SPARK-49743][SQL] OptimizeCsvJsonExpr не должно изменять поля схемы при обрезке GetArrayStructFields
• 25 сентября 2024 г.
  • [SPARK-46601] [CORE] Исправлена ошибка журнала в handleStatusMessage
  • [SPARK-48719][SQL] Исправьте ошибку вычисления RegrSlope и RegrIntercept, если первый параметр имеет значение NULL
  • [SPARK-43242][CORE] Исправление вызывает исключение "Неожиданный тип BlockId" при диагностике повреждения при перетасовке
  • [SPARK-49000][SQL] Исправлено "select count(distinct 1) from t", где t является пустой таблицей путем расширения RewriteDistinctAggregates
  • Обновления системы безопасности операционной системы.
• 17 сентября 2024 г.
  • [SPARK-49526][CONNECT] Поддержка путей Windows-стиля в ArtifactManager
  • [SPARK-48463][ML] Сделать Binarizer, Bucketizer, Векторный сборщик, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor поддерживающими вложенные входные столбцы
  • Обновления системы безопасности операционной системы.
• 29 августа 2024 г.
• 14 августа 2024 г.
  • [SPARK-49056][SQL] ErrorClassesJsonReader не может правильно обрабатывать значение NULL
  • [SPARK-49065][SQL] Повторное масштабирование в устаревших модулях форматирования и синтаксических анализаторах должно поддерживать часовые пояса, отличные от JVM по умолчанию
  • [SPARK-48597][SQL] Введите маркер свойства isStreaming в текстовом представлении логического плана
• 1 августа 2024 г.
  • Этот выпуск содержит исправление ошибок для классов ColumnVector и ColumnarArray в интерфейсе Spark Java. До этого исправления могла возникать ошибка ArrayIndexOutOfBoundsException или возвращаться неверные данные, если экземпляр одного из этих классов содержал значения null.
  • [SPARK-47202][PYTHON] Исправление опечатки, нарушающей обработку дат и времени с tzinfo
  • [SPARK-48896][SPARK-48909][SPARK-48883] Возврат исправлений записи Spark ML
  • [SPARK-48463] Создание StringIndexer с поддержкой вложенных входных столбцов
  • Обновления системы безопасности операционной системы.
• 11 июля 2024 г.
  • (Изменение поведения) Кадры данных, кэшированные в источниках таблиц Delta, теперь недействительны, если исходная таблица перезаписана. Это изменение означает, что все изменения состояния в таблицах Delta теперь делают кэшированные результаты недействительными. Используйте .checkpoint() для сохранения состояния таблицы на протяжении всего времени жизни фрейма данных.
  • Этот выпуск содержит исправление проблемы, которая не позволяла правильно отображать вкладку "Среда" в пользовательском интерфейсе Spark при запуске в службах контейнеров Databricks.
  • [SPARK-48383][SS] Создает более высокую ошибку для несовпадений секций в параметре startOffset в Kafka
  • [SPARK-48292][CORE] Откат [SPARK-39195][SQL] Spark OutputCommitCoordinator должен прервать этап, когда коммитированный файл не соответствует состоянию задачи
  • [SPARK-48503][SQL] Исправление недопустимых скалярных подзапросов с группировкой по неравнозначным столбцам, которые были неправомерно разрешены.
  • [SPARK-48481][SQL][SS] Не применять OptimizeOneRowPlan к потоковому набору данных
  • [SPARK-48475][PYTHON] Оптимизация _get_jvm_function в PySpark.
  • [SPARK-48273][SQL] Исправление запоздалой перезаписи PlanWithUnresolvedIdentifier
  • [SPARK-48445][SQL] Не встраивайте пользовательские функции с ресурсоемкими дочерними элементами
  • Обновления системы безопасности операционной системы.
• 17 июня 2024 г.
  • [SPARK-48277] Улучшение сообщения об ошибке для ErrorClassesJsonReader.getErrorMessage
  • Обновления системы безопасности операционной системы.
• 21 мая 2024 г.
  • (Изменение поведения) dbutils.widgets.getAll() Поддерживается получение всех значений мини-приложений в блокноте.
  • [SPARK-48105][SS] Исправить гонку данных между выгрузкой и моментальным снимком хранилища состояний
  • [SPARK-47994][SQL] Исправлена ошибка с проталкиванием фильтра столбцов CASE WHEN в SQL Server
  • Обновления системы безопасности операционной системы.
• 9 мая 2024 г.
  • [SPARK-47956][SQL] Проверка корректности для неразрешенной ссылки на LCA
  • [SPARK-46822][SQL] Соблюдение spark.sql.legacy.charVarcharAsString при приведении типа jdbc к типу Catalyst
  • [SPARK-47895][SQL] группа всех должна быть идемпотентной
  • [SPARK-48018][SS] Исправлено наличие null в groupId, что вызывает ошибку параметра при вызове KafkaException.couldNotReadOffsetRange.
  • [SPARK-47973][CORE] Записывать местоположение вызова в SparkContext.stop() и затем в SparkContext.assertNotStopped().
  • Обновления системы безопасности операционной системы.
• 25 апреля 2024 г.
  • [SPARK-44653][SQL] Нетривиальные объединения DataFrame не должны нарушать кэширование
  • Прочие исправления ошибок.
• 11 апреля 2024 г.
  • [SPARK-47509][SQL] Блокировать выражения вложенных запросов в лямбда-функциях и функциях высшего порядка
  • Обновления системы безопасности операционной системы.
• 1 апреля 2024 г.
  • [SPARK-47385] Исправьте кодировщики кортежей с помощью входных данных Option.
  • [SPARK-38708][SQL] Обновление клиента хранилища метаданных Hive до версии 3.1.3 для Hive 3.1
  • [SPARK-47200][SS] Класс ошибок для ошибки пользовательской функции приемника пакетной обработки foreach
  • [SPARK-47368][SQL] Удалить проверку конфигурации inferTimestampNTZ в ParquetRowConverter
  • [SPARK-44252][SS] Определите новый класс ошибок и примените для случая, когда состояние загрузки из DFS завершается ошибкой
  • [SPARK-47135][SS] Реализация классов ошибок для исключений потери данных Kafka
  • [SPARK-47300][SQL] quoteIfNeeded должен заключать в кавычки идентификаторы, начинающиеся с цифр
  • [SPARK-47305][SQL] Исправление PruneFilters для правильной пометки флага isStreaming в LocalRelation, когда план содержит как пакетную, так и потоковую обработку.
  • [SPARK-47070] Исправление недопустимой агрегации после переписывания подзапроса
  • Обновления системы безопасности операционной системы.
• 14 марта 2024 г.
  • [SPARK-47145][SQL] Передайте идентификатор таблицы в exec для проверки источника данных строк для стратегии V2.
  • [SPARK-47167][SQL] Добавление конкретного класса для анонимного отношения JDBC
  • [SPARK-47176][SQL] Есть вспомогательные функции ResolveAllExpressionsUpWithPruning
  • [SPARK-47044][SQL] Добавьте выполненный запрос для внешних источников данных JDBC для объяснения выходных данных
  • [SPARK-47125][SQL] Возвращает значение NULL, если Univocity никогда не активирует синтаксический анализ
  • Обновления системы безопасности операционной системы.
• 29 февраля 2024 г.
  • Исправлена проблема, из-за которой использование локальной коллекции в качестве источника в команде MERGE могло привести к тому, что метрика numSourceRows сообщает о вдвое большем количестве строк, чем следует.
  • Создание схемы с определенным расположением теперь требует, чтобы у пользователя были привилегии SELECT и MODIFY на любой файл.
  • Обновления системы безопасности операционной системы.
• 8 февраля 2024 г.
  • Запросы изменения данных (CDF) не поддерживаются в материализованных представлениях Unity Catalog. Попытка запустить такой запрос с материализованным представлением в Unity Catalog приводит к ошибке. Таблицы потоковой передачи в каталоге Unity поддерживают запросы CDF для таблиц, не являющихся AUTO CDC, в Databricks Runtime 14.1 и более поздних версиях. Запросы CDF не поддерживаются в потоковых таблицах каталога Unity в Databricks Runtime 14.0 и более ранних версиях.
  • [SPARK-46794] Удалите вложенные запросы из ограничений LogicalRDD.
  • [SPARK-46933] Добавьте метрику времени выполнения запроса в соединители, использующие JDBCRDD.
  • [SPARK-45582] Убедитесь, что экземпляр хранилища не используется после вызова commit в режиме потоковой передачи.
  • [SPARK-46396] Определение метки времени не должно вызывать исключение.
  • [SPARK-46861] Избегайте взаимоблокировки в DAGScheduler.
  • [SPARK-46941] Не удается вставить узел ограничения группы окон для вычислений top-k, если содержит SizeBasedWindowFunction.
  • Обновления системы безопасности операционной системы.
• 31 января 2024 г.
  • [SPARK-46610] Создание таблицы должно вызывать исключение, если отсутствует значение для ключа в параметрах.
  • [SPARK-46383] Сокращение использования кучи драйверов путем уменьшения срока действия taskInfo.accumulables().
  • [SPARK-46600] Переместите общий код между SqlConf и SqlApiConf в SqlApiConfHelper.
  • [SPARK-46676] dropDuplicatesWithinWatermark не должен завершаться сбоем на этапе канонизации плана.
  • [SPARK-46763] Исправлена ошибка утверждения в ReplaceDeduplicateWithAggregate для повторяющихся атрибутов.
  • Обновления системы безопасности операционной системы.
• 17 января 2024 г.
  • Узел shuffle в плане объяснения, возвращаемым запросом Photon, обновляется, чтобы добавить флаг causedBroadcastJoinBuildOOM=true, если во время перетасовки, являющейся частью стримингового соединения, происходит ошибка нехватки памяти.
  • Чтобы избежать повышенной задержки при обмене данными по протоколу TLSv1.3, этот выпуск обслуживания включает исправление для установки JDK 8, чтобы устранить ошибку JDK-8293562.
  • [SPARK-46058] Добавьте отдельный флаг для privateKeyPassword.
  • [SPARK-46173] Пропуск вызова trimAll во время синтаксического анализа даты.
  • [SPARK-46370] Исправлена ошибка при запросе из таблицы после изменения значений по умолчанию столбца.
  • [SPARK-46370] Исправлена ошибка при запросе из таблицы после изменения значений по умолчанию столбца.
  • [SPARK-46370] Исправлена ошибка при запросе из таблицы после изменения значений по умолчанию столбца.
  • [SPARK-46609] Избегайте экспоненциального взрыва в PartitioningPreservingUnaryExecNode.
  • [SPARK-46132] Поддержка пароля для ключей JKS для SSL для RPC.
  • [SPARK-46602] Пропагандировать allowExisting при создании представления, если представление или таблица не существуют.
  • [SPARK-46249] Требовать блокировку экземпляра для получения метрик RocksDB, чтобы предотвратить гонку с фоновыми операциями.
  • [SPARK-46417] Не вызывайте ошибку при вызове hive.getTable, когда throwException равно false.
  • [SPARK-46538] Исправлена проблема с неоднозначной ссылкой на столбецALSModel.transform.
  • [SPARK-46478] Вернуть SPARK-43049 для использования oracle varchar(255) для строки.
  • [SPARK-46250] Сделать тест test_parity_listener менее нестабильным.
  • [SPARK-46394] Исправьте проблемы spark.catalog.listDatabases() со схемами со специальными символами, если spark.sql.legacy.keepCommandOutputSchema задано значение true.
  • [SPARK-46056] Исправление NPE при векторном чтении Parquet со значением по умолчанию byteArrayDecimalType.
  • [SPARK-46145] spark.catalog.listTables не создает исключение, если таблица или представление не найдены.
  • [SPARK-46466] Векторный читатель parquet никогда не должен выполнять корректировку для timestamp ntz.
• 14 декабря 2023 г.
  • Исправлена проблема, из-за которой экранированные символы подчеркивания в операциях getColumns, исходящих от клиентов JDBC или ODBC, обрабатывались неправильно и интерпретировались как подстановочные знаки.
  • Группа SPARK-45920 по порядковой номеру должна быть идемпотентной.
  • [SPARK-44582] Пропустить итератор на SMJ, если он был очищен.
  • [SPARK-45433] Исправлена ошибка вывода схемы CSV/JSON, если временные метки не соответствуют заданному формату времени.
  • [SPARK-45655] Разрешить недетерминированные выражения внутри AggregateFunctions в CollectMetrics.
  • Обновления системы безопасности операционной системы.
• 29 ноября 2023 г.
  • Был установлен новый пакет, pyarrow-hotfix, чтобы устранить уязвимость PyArrow RCE.
  • Соединитель Spark-snowflake обновляется до версии 2.12.0.
  • [SPARK-44846] Удалены сложные выражения группировки после RemoveRedundantAggregates.
  • [SPARK-45544] Встроенная поддержка SSL в TransportContext.
  • [SPARK-45892] Рефакторинг процесса валидации плана оптимизатора для разделения validateSchemaOutput и validateExprIdUniqueness.
  • [SPARK-45730] Улучшенные ограничения времени для ReloadingX509TrustManagerSuite.
  • [SPARK-45859] Сделал объекты UDF ленивыми ml.functions.
  • Обновления системы безопасности операционной системы.
• 10 ноября 2023 г.
  • Фильтры секций в запросах потоковой передачи Delta Lake отправляются вниз до ограничения скорости, чтобы повысить эффективность использования.
  • Изменены запросы загрузки данных в потоковых таблицах и материализованных представлениях Unity Catalog для отображения сообщений об ошибках.
  • [SPARK-45545]SparkTransportConf наследуется SSLOptions при создании.
  • [SPARK-45584] Исправлен сбой выполнения вложенного запроса.TakeOrderedAndProjectExec
  • [SPARK-45427] Добавлены параметры SSL RPC в SSLOptions и SparkTransportConf.
  • [SPARK-45541] Добавлен.SSLFactory
  • [SPARK-45430]FramelessOffsetWindowFunction больше не завершается ошибкой, когда IGNORE NULLS и offset > rowCount.
  • [SPARK-45429] Добавлены вспомогательные классы для обмена данными SSL RPC.
  • [SPARK-44219] Добавлены дополнительные проверки для каждого правила для перезаписи оптимизации.
  • [SPARK-45543] Исправлена проблема, из-за которой InferWindowGroupLimit возникла проблема, если другие функции окна не имели того же кадра окна, что и функции ранжирования.
  • Обновления системы безопасности операционной системы.
• 23 октября 2023 г.
  • [SPARK-45256] Исправлена проблема, из-за которой DurationWriter завершался с ошибкой при записи большего количества значений, чем начальная емкость.
  • [SPARK-45419] Избегайте повторного использования rocksdb sst файлов в другом rocksdb экземпляре, удалив записи в карте версий файлов для более крупных версий.
  • [SPARK-45426] Добавлена поддержка ReloadingX509TrustManager.
  • Прочие исправления.
• 13 октября 2023 г.
  • Зависимость Snowflake-jdbc была обновлена с версии 3.13.29 до 3.13.33.
  • Функция array_insert основана на 1 для положительных и отрицательных индексов, в то время как раньше она была основана на 0 для отрицательных индексов. Теперь он вставляет новый элемент в конец входных массивов для индекса -1. Чтобы восстановить предыдущее поведение, задайте для spark.sql.legacy.negativeIndexInArrayInsert значение true.
  • Исправлена проблема, из-за которой при включении ignoreCorruptFiles во время определения схемы CSV с Auto Loader не игнорировались поврежденные файлы.
  • Вернитесь на "[SPARK-42946]".
  • [SPARK-42205] Обновлен протокол JSON, чтобы прекратить ведение журнала Accumulables в событиях начала задачи или этапа.
  • [SPARK-45178] Переход к выполнению одиночного пакета для Trigger.AvailableNow в условиях неподдерживаемых источников вместо использования оболочки.
  • [SPARK-45316] Добавление новых параметров ignoreCorruptFiles и ignoreMissingFiles в HadoopRDD и NewHadoopRDD.
  • [SPARK-44740] Исправлены значения метаданных для артефактов.
  • [SPARK-45360] Инициализированная конфигурация построителя сеансов Spark из SPARK_REMOTE.
  • [SPARK-44551] Измененные примечания для синхронизации с OSS.
  • [SPARK-45346] Вывод схемы Parquet теперь учитывает регистрозависимые флаги при слиянии схем.
  • [SPARK-44658]ShuffleStatus.getMapStatus теперь возвращается None вместо Some(null).
  • [SPARK-44840] Сделано так, что для отрицательных индексов используется система отсчета с 1.
• 14 сентября 2023 г.
  • [SPARK-44873] Добавлена поддержка alter view вложенных столбцов в клиенте Hive.
  • [SPARK-44878] Отключен строгий предел для диспетчера записи, RocksDB чтобы избежать исключения вставки при завершении кэша.
• 30 августа 2023 г.
  • Команда dbutils cp (dbutils.fs.cp) оптимизирована для ускорения копирования. Благодаря этому улучшению операции копирования могут занять до 100 меньше времени в зависимости от размера файла. Эта функция доступна на всех облачных платформах и файловых системах, доступных в Databricks, в том числе для томов каталога Unity и точек подключения DBFS.
  • [SPARK-44455] Идентификаторы кавычек с обратными знаками в SHOW CREATE TABLE результате.
  • [SPARK-44763] Исправлена проблема, показывающая строку как двойную в двоичном арифметике с интервалом.
  • [SPARK-44871] Исправлено percentile_disc поведение.
  • [SPARK-44714] Упрощение ограничения разрешения LCA относительно запросов.
  • [SPARK-44818] Исправлена гонка за ожидающие прерывания задачи, выданные до инициализации taskThread .
  • [SPARK-44505] Добавлено переопределение для поддержки колоннарной в Scan для DSv2.
  • [SPARK-44479] Исправлено преобразование protobuf для пустого типа структуры.
  • [SPARK-44718] Сопоставление ColumnVector конфигурации в режиме памяти по умолчанию со OffHeapMemoryMode значением конфигурации.
  • [SPARK-42941] Добавлена поддержка StreamingQueryListener в Python.
  • [SPARK-44558] Экспорт уровня логирования Spark Connect PySpark.
  • [SPARK-44464] Исправлено applyInPandasWithStatePythonRunner, чтобы строки выходных данных имели значение Null в первом столбце.
  • [SPARK-44643] Исправлено Row.__repr__ , когда поле является пустой строкой.
  • Обновления системы безопасности операционной системы.

Databricks Runtime версия 9.1 LTS

• 9 апреля 2025 г.
  • Обновления системы безопасности операционной системы.

• 11 марта 2025 г.
  • Обновления системы безопасности операционной системы.

• 11 февраля 2025 г.
  • Обновления системы безопасности операционной системы.

• 10 декабря 2024 г.
  • Обновления системы безопасности операционной системы.
• 26 ноября 2024 г.
  • Обновления системы безопасности операционной системы.
• 5 ноября 2024 г.
  • Обновления системы безопасности операционной системы.
• 22 октября 2024 г.
  • Обновления системы безопасности операционной системы.
• 10 октября 2024 г.
  • Обновления системы безопасности операционной системы.
• 25 сентября 2024 г.
  • [SPARK-49000][SQL] Исправлено "select count(distinct 1) from t", где t является пустой таблицей путем расширения RewriteDistinctAggregates
  • Обновления системы безопасности операционной системы.
• 6 сентября 2024 г.
  • Обновления системы безопасности операционной системы.
• 29 августа 2024 г.
  • [SPARK-49065][SQL] Повторное масштабирование в устаревших модулях форматирования и синтаксических анализаторах должно поддерживать часовые пояса, отличные от JVM по умолчанию
• 14 августа 2024 г.
• 1 августа 2024 г.
  • Обновления системы безопасности операционной системы.
• 11 июля 2024 г.
  • Обновления системы безопасности операционной системы.
• 17 июня 2024 г.
  • Обновления системы безопасности операционной системы.
• 21 мая 2024 г.
  • [SPARK-48105][SS] Исправить гонку данных между выгрузкой и моментальным снимком хранилища состояний
  • Обновления системы безопасности операционной системы.
• 9 мая 2024 г.
  • [SPARK-47973][CORE] Записывать местоположение вызова в SparkContext.stop() и затем в SparkContext.assertNotStopped().
  • [SPARK-44251][SQL] Правильно задать свойство nullable для ключа объединения при полном внешнем соединении с USING
  • Обновления системы безопасности операционной системы.
• 25 апреля 2024 г.
  • Прочие исправления ошибок.
• 11 апреля 2024 г.
  • Обновления системы безопасности операционной системы.
• 1 апреля 2024 г.
  • Возврат "[SPARK-46861][CORE] Избегайте взаимоблокировки в DAGScheduler"
  • Обновления системы безопасности операционной системы.
• 14 марта 2024 г.
  • Обновления системы безопасности операционной системы.
• 29 февраля 2024 г.
  • Исправлена проблема, из-за которой использование локальной коллекции в качестве источника в команде MERGE могло привести к тому, что метрика numSourceRows сообщает о вдвое большем количестве строк, чем следует.
  • Обновления системы безопасности операционной системы.
• 13 февраля 2024 г.
  • [SPARK-46861] Избегайте взаимоблокировки в DAGScheduler.
  • Обновления системы безопасности операционной системы.
• 31 января 2024 г.
  • Обновления системы безопасности операционной системы.
• 25 декабря 2023 г.
  • Чтобы избежать повышенной задержки при обмене данными по протоколу TLSv1.3, этот выпуск обслуживания включает исправление для установки JDK 8, чтобы устранить ошибку JDK-8293562.
  • [SPARK-46058] Добавьте отдельный флаг для privateKeyPassword.
  • [SPARK-39440] Добавьте конфигурацию для отключения временной шкалы событий.
  • [SPARK-46132] Поддержка пароля для ключей JKS для SSL для RPC.
• 14 декабря 2023 г.
  • Обновления системы безопасности операционной системы.
• 29 ноября 2023 г.
  • Был установлен новый пакет, pyarrow-hotfix, чтобы устранить уязвимость PyArrow RCE.
  • [SPARK-45859] Сделал объекты UDF ленивыми ml.functions.
  • [SPARK-45544] Встроенная поддержка SSL в TransportContext.
  • [SPARK-45730] Улучшенные ограничения времени для ReloadingX509TrustManagerSuite.
  • Обновления системы безопасности операционной системы.
• 14 ноября 2023 г.
  • [SPARK-45545]SparkTransportConf наследуется SSLOptions при создании.
  • [SPARK-45429] Добавлены вспомогательные классы для обмена данными SSL RPC.
  • [SPARK-45427] Добавлены параметры SSL RPC в SSLOptions и SparkTransportConf.
  • [SPARK-45584] Исправлен сбой выполнения вложенного запроса.TakeOrderedAndProjectExec
  • [SPARK-45541] Добавлен.SSLFactory
  • [SPARK-42205] Удалены сведения о ведении журнала в событиях запуска этапов и задач.
  • Обновления системы безопасности операционной системы.
• 24 октября 2023 г.
  • [SPARK-45426] Добавлена поддержка ReloadingX509TrustManager.
  • Обновления системы безопасности операционной системы.
• 13 октября 2023 г.
  • Обновления системы безопасности операционной системы.
• 10 сентября 2023 г.
  • Прочие исправления.
• 30 августа 2023 г.
  • Обновления системы безопасности операционной системы.
• 15 августа 2023 г.
  • Обновления системы безопасности операционной системы.
• 23 июня 2023 г.
  • Библиотека Snowflake-jdbc обновляется до версии 3.13.29, чтобы устранить проблему безопасности.
  • Обновления системы безопасности операционной системы.
• 15 июня 2023 г.
  • [SPARK-43098] Исправление ошибки COUNT корректности, когда скалярный вложенный запрос содержит предложение GROUP BY.
  • [SPARK-43156][SPARK-43098] Дополнение теста на ошибки подсчета в скалярном подзапросе с отключенным decorrelateInnerQuery.
  • [SPARK-40862] Поддержка неагрегированных вложенных запросов в RewriteCorrelatedScalarSubquery.
  • Обновления системы безопасности операционной системы.
• 2 июня 2023 г.
  • Средство синтаксического анализа JSON в failOnUnknownFields режиме удаляет запись в DROPMALFORMED режиме и прямо дает сбой в режиме FAILFAST.
  • Исправлена проблема в синтаксическом анализе восстановленных данных JSON, чтобы предотвратить UnknownFieldException.
  • Исправлена проблема в Auto Loader, из-за которой разные форматы исходных файлов были несовместимыми, если предоставленная схема не включала выведенные разделы. Эта проблема может привести к непредвиденным сбоям при чтении файлов с отсутствующими столбцами в схеме выводимой секции.
  • [SPARK-37520] Добавить строковые функции startswith() и endswith()
  • [SPARK-43413] Исправлена IN обрабатываемость значений NULL в подзапросах ListQuery.
  • Обновления системы безопасности операционной системы.
• 17 мая 2023 г.
  • Обновления системы безопасности операционной системы.
• 25 апреля 2023 г.
  • Обновления системы безопасности операционной системы.
• 11 апреля 2023 г.
  • Исправлена проблема, из-за которой эволюция схемы автозагрузчика может перейти в бесконечный цикл сбоя при обнаружении нового столбца в схеме вложенного объекта JSON.
  • [SPARK-42967] Исправление SparkListenerTaskStart.stageAttemptId при запуске задачи после отмены этапа.
• 29 марта 2023 г.
  • Обновления системы безопасности операционной системы.
• 14 марта 2023 г.
  • [SPARK-42484] Улучшено сообщение об ошибке для UnsafeRowUtils.
  • Прочие исправления.
• 28 февраля 2023 г.
  • Теперь пользователи могут читать и записывать определенные таблицы Delta, требующие чтения версии 3 и записи версии 7, с помощью Databricks Runtime 9.1 LTS или более поздней версии. Для успешного выполнения функции таблиц, перечисленные в протоколе таблиц, должны поддерживаться текущей версией Databricks Runtime.
  • Обновления системы безопасности операционной системы.
• 16 февраля 2023 г.
  • Обновления системы безопасности операционной системы.
• 31 января 2023 г.
  • По умолчанию типы таблиц JDBC являются внешними.
• 18 января 2023 г.
  • Обновления системы безопасности операционной системы.
• 29 ноября 2022 г.
  • Исправлена проблема с синтаксическим анализом JSON в Auto Loader, когда все столбцы оставались в виде строк (не были установленыcloudFiles.inferColumnTypes или установлены false), и JSON содержал вложенные объекты.
  • Обновления системы безопасности операционной системы.
• 15 ноября 2022 г.
  • Обновление Apache commons-text до версии 1.10.0.
  • Обновления системы безопасности операционной системы.
  • Прочие исправления.
• 1 ноября 2022 г.
  • Исправлена проблема, из-за которой в таблице Delta существовал пользовательский столбец с именем _change_type, но если в этой таблице была отключена функция изменения данных, в этом столбце данные неверно заполнялись NULL-значениями при выполнении .
  • Исправлена проблема с автозагрузчиком, из-за которой файл можно дублировать в одном микропакете при включении allowOverwrites
  • [SPARK-40596] Заполнение объекта ExecutorDecommission сообщениями в ExecutorDecommissionInfo
  • Обновления системы безопасности операционной системы.
• 18 октября 2022 г.
  • Обновления системы безопасности операционной системы.
• 5 октября 2022 г.
  • Прочие исправления.
  • Обновления системы безопасности операционной системы.
• 22 сентября 2022 г.
  • Пользователи могут задать spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") для повторного включения встроенного списка для автозагрузчика в ADLS. Встроенный список ранее был отключен из-за проблем с производительностью, но это может привести к увеличению затрат на хранение для клиентов.
  • [SPARK-40315] Добавить функцию hashCode() для литерала ArrayBasedMapData
  • [SPARK-40089] Исправление сортировки для некоторых десятичных типов
  • [SPARK-39887] RemoveRedundantAliases должен сохранять псевдонимы, которые делают выходные данные узлов проекции уникальными
• 6 сентября 2022 г.
  • [SPARK-40235] Использовать прерываемую блокировку вместо синхронизации в Executor.updateDependencies()
  • [SPARK-35542] Исправление: бакетайзер, созданный для нескольких столбцов для параметров splitsArray, inputCols и outputCols, не может быть загружен после сохранения.
  • [SPARK-40079] Добавление проверки InputCols Imputer для случая пустого ввода
• 24 августа 2022 г.
  • [SPARK-39666] Использование UnsafeProjection.create для учета spark.sql.codegen.factoryMode в ExpressionEncoder
  • [SPARK-39962] Применение проекции при пустых атрибутах группы
  • Обновления системы безопасности операционной системы.
• 9 августа 2022 г.
  • Обновления системы безопасности операционной системы.
• 27 июля 2022 г.
  • Сделайте результаты операции Delta MERGE согласованными, когда источник является недетерминированным.
  • [SPARK-39689] Поддержка 2 символов в источнике данных CSV
  • [SPARK-39575] Добавлено ByteBuffer#rewind после ByteBuffer#get в AvroDeserializer.
  • [SPARK-37392] Исправлена ошибка производительности для оптимизатора катализатора.
  • Обновления системы безопасности операционной системы.
• 13 июля 2022 г.
  • [SPARK-39419]ArraySort создает исключение, когда средство сравнения возвращает значение NULL.
  • Отключено использование встроенных облачных API-интерфейсов автозагрузчика для перечисления каталогов на Azure.
  • Обновления системы безопасности операционной системы.
• 5 июля 2022 г.
  • Обновления системы безопасности операционной системы.
  • Прочие исправления.
• 15 июня 2022 г.
  • [SPARK-39283] Исправлена взаимоблокировка между TaskMemoryManager и UnsafeExternalSorter.SpillableIterator.
• 2 июня 2022 г.
  • [SPARK-34554]copy() Реализуйте метод в ColumnarMap.
  • Обновления системы безопасности операционной системы.
• 18 мая 2022 г.
  • Исправлена потенциальная утечка встроенной памяти в автозагрузчике.
  • Версия пакета SDK AWS обновлена с 1.11.655 до 1.11.678.
  • [SPARK-38918] Обрезание вложенных столбцов должно отфильтровать атрибуты, которые не относятся к текущему отношению
  • [SPARK-39084] Исправление df.rdd.isEmpty() с помощью TaskContext для остановки итератора при завершении задачи
  • Обновления системы безопасности операционной системы.
• 19 апреля 2022 г.
  • Обновления системы безопасности операционной системы.
  • Прочие исправления.
• 6 апреля 2022 г.
  • [SPARK-38631] использует реализацию на основе Java для распаковки tar-архивов в Utils.unpack.
  • Обновления системы безопасности операционной системы.
• 22 марта 2022 г.
  • Изменен текущий рабочий каталог записных книжек в кластерах высокой параллельности с управлением доступом к таблицам или прозрачной передачей учетных данных на домашний каталог пользователя. Ранее Active Directory был /databricks/driver.
  • [SPARK-38437] Не строгая сериализация даты и времени из источника данных
  • [SPARK-38180] Разрешить безопасное повышение типов в коррелированных предикатах равенства
  • [SPARK-38155] Запретить отдельный агрегат в боковых вложенных запросах с неподдерживаемыми предикатами
  • [SPARK-27442] Удалено поле проверки при чтении или записи данных в паркете.
• 14 марта 2022 г.
  • [SPARK-38236] Абсолютные пути к файлам, указанным в таблице create/alter, рассматриваются как относительные
  • [SPARK-34069] Прерывание потока задач, если для локального свойства SPARK_JOB_INTERRUPT_ON_CANCEL задано значение true.
• 23 февраля 2022 г.
  • [SPARK-37859] Таблицы SQL, созданные с помощью JDBC с Spark 3.1, недоступны для чтения с помощью Spark 3.2.
• 8 февраля 2022 г.
  • [SPARK-27442] Удалено поле проверки при чтении или записи данных в паркете.
  • Обновления системы безопасности операционной системы.
• 1 февраля 2022 г.
  • Обновления системы безопасности операционной системы.
• 26 января 2022 г.
  • Исправлена проблема, из-за которой параллельные транзакции в таблицах Delta могли фиксироваться не в сериализуемом порядке при определенных редких условиях.
  • Исправлена проблема, из-за которой команда OPTIMIZE могла выйти из строя при включении диалекта SQL ANSI.
• 19 января 2022 г.
  • Незначительные исправления и улучшения безопасности.
  • Обновления системы безопасности операционной системы.
• 4 ноября 2021 г.
  • Исправлена проблема, из-за которой структурированные стримы могли завершаться ошибкой ArrayIndexOutOfBoundsException.
  • Исправлено условие гонки, которое могло привести к сбою запроса с ошибкой IOException, подобной java.io.IOException: No FileSystem for scheme, или могло привести к тому, что изменения в sparkContext.hadoopConfiguration не вступят в силу в запросах.
  • Соединитель Apache Spark для Delta Sharing был обновлен до версии 0.2.0.
• 20 октября 2021 г.
  • Обновлен соединитель BigQuery с версии 0.18.1 до версии 0.22.2. Добавлена поддержка типа BigNumeric.