Databricks Runtime 18.0

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 18.0, на базе Apache Spark 4.1.0.

Azure Databricks выпустила эту версию в январе 2026 года.

Новые функции и улучшения

• Скриптинг SQL теперь общедоступен
• Драйвер JDBC Redshift обновлен до версии 2.1.0.28
• Общая среда выполнения с изоляцией для определяемых пользователем функций (UDF) в каталоге Unity
• Функции окна SQL в представлениях метрик
• Корректное завершение работы для приложений Spark
• Динамическая перестановка разделов в потоковых запросах без сохранения состояния
• Адаптивное выполнение запросов и автоматическое перетасовка в запросах потоковой передачи без отслеживания состояния
• FILTER предложение для статистических функций мер в представлениях метрик
• Литеральная строка объединяется везде
• Маркеры параметров везде
• IDENTIFIER предложение везде
• Новая функция BITMAP_AND_AGG
• Новая библиотека функций KLL_Sketch
• Библиотека Apache Parquet обновлена до версии 1.16.0

Скрипты SQL теперь доступны в массовом использовании.

Теперь функция сценариев SQL общедоступна.

Драйвер JDBC Redshift обновлен до версии 2.1.0.28

Драйвер Redshift JDBC обновлен до версии 2.1.0.28.

Общая среда исполнения в изолированной среде для определяемых пользователем UDF каталога Unity

Пользовательские функции каталога Unity с тем же владельцем теперь могут по умолчанию использовать общую среду изоляции. Это может повысить производительность и уменьшить использование памяти, уменьшая количество отдельных сред, которые необходимо запустить.

Чтобы убедиться, что UDF всегда выполняется в полностью изолированной среде, добавьте классификатор STRICT ISOLATION. См. раздел изоляции среды.

Функции окна SQL в представлениях метрик

Теперь можно использовать функции окна SQL в представлениях метрик для вычисления итогов выполнения, ранжирования и других вычислений на основе окон.

Корректное завершение работы для приложений Spark

Теперь приложения Spark поддерживают корректное завершение работы, что позволяет завершить выполнение задач до завершения работы приложения.

Динамическая настройка разделения на секции в потоковых запросах без состояния

Теперь можно изменить количество разделов шифрования в статических потоковых запросах без перезапуска запроса.

Адаптивное выполнение запросов и автоматическая оптимизация перемешивания в потоковых запросах без сохранения состояния

Адаптивное выполнение запросов (AQE) и автоматически оптимизированная переброска (AOS) теперь поддерживаются в бесстатусных потоковых запросах.

FILTER предложение для статистических функций мер в представлениях метрик

Теперь вы можете использовать FILTER условие с функциями агрегирования мер в представлениях метрик, чтобы определить фильтры для каждого агрегата при ссылке на меры представления метрик.

Литеральная строка объединяется везде

Возможность объединения последовательных строковых литералов, таких как 'Hello' ' World', в 'Hello World', была расширена с выражений на любые места, где допускаются строковые литералы. Например: COMMENT 'This' ' is a ' 'comment'. Для получения подробностей смотрите STRING тип.

Маркеры параметров везде

Теперь маркеры параметров именованного (:param) и неназванного (?) можно использовать практически в любом месте, где требуется литеральное значение нужного типа. К ним относятся маркеры параметров в инструкциях DDL, таких как CREATE VIEW v AS SELECT ? AS c1, типы DECIMAL(:p, :s)столбцов или COMMENT ON t IS :comment. Благодаря этой функции можно параметризировать большое количество инструкций SQL, не подвергая ваш код атакам внедрения SQL. См. маркеры параметров для получения подробной информации.

IDENTIFIER предложение везде

Охват IDENTIFIER предложения, преобразующего строки в имена объектов SQL, был расширен почти везде, где разрешен идентификатор. Наряду с усовершенствованиями в объединении литеральных строк и параметров, теперь можно параметризовать всё, от псевдонимов столбцов (AS IDENTIFIER(:name)) до определений столбцов (IDENTIFIER(:pk) BIGINT NOT NULL). См. IDENTIFIER для подробностей.

Новая функция BITMAP_AND_AGG

Существующая библиотека BITMAP функций была округлена с помощью новой функции BITMAP_AND_AGG .

Новая библиотека функций KLL_Sketch

Теперь вы можете использовать новую библиотеку функций, создающую KLL Sketches для приблизительного вычисления квантилей.

• kll_sketch_agg_bigint агрегатная функция
• kll_sketch_get_quantile_bigint функция
• kll_sketch_merge_bigint функция
• kll_sketch_agg_double агрегатная функция
• kll_sketch_get_quantile_double функция
• kll_sketch_merge_double функция
• kll_sketch_agg_float агрегатная функция
• kll_sketch_get_quantile_float функция
• kll_sketch_merge_float функция
• kll_sketch_get_n_bigint функция
• kll_sketch_get_rank_bigint функция
• kll_sketch_to_string_bigint функция
• kll_sketch_get_n_double функция
• kll_sketch_get_rank_double функция
• kll_sketch_to_string_double функция
• kll_sketch_get_n_float функция
• kll_sketch_get_rank_float функция
• kll_sketch_to_string_float функция

Библиотека Apache Parquet обновлена до версии 1.16.0

Библиотека Apache Parquet была обновлена до версии 1.16.0.

Изменения поведения

• JDK 21 теперь является пакетом разработки Java по умолчанию
• FSCK REPAIR TABLE включает восстановление метаданных по умолчанию
• Значение NULL, сохраненное для типов массивов и карт в клиенте Spark Connect Scala
• FSCK REPAIR TABLE DRY RUN обновленная схема вывода
• SHOW TABLES DROPPED уважает LIMIT предложение
• Факторы распределения, согласованные между чтением и автоматически оптимизированной записью
• Единое выполнение UDF Python в PySpark и каталоге Unity
• Улучшены сообщения об ошибках при возникновении проблем с модулем аутентификации соединителя Kafka
• Ограничения на поездки по времени и VACUUM поведение хранения
• BinaryType отображается на bytes по умолчанию в PySpark
• Структуры NULL, сохраненные в Delta MERGE, UPDATEи операции потоковой записи
• Столбцы секционирования, материализованные в файлах Parquet
• Значения разделов метки времени теперь учитывают часовой пояс сеанса Spark
• DESCRIBE TABLE Выходные данные включают столбец метаданных

JDK 21 теперь является пакетом разработки Java по умолчанию

Databricks Runtime 18.0 использует JDK 21 в качестве пакета разработки Java по умолчанию. JDK 21 общедоступен и является выпуском с долгосрочной поддержкой (LTS). Ранее по умолчанию использовался JDK 17.

Важные изменения в JDK 21:

• Double.toString() и Float.toString() теперь создают самые короткие уникальные строковые представления, которые могут отличаться от выходных данных JDK 17 в некоторых пограничных случаях.
• Thread.stop(), Thread.suspend() и Thread.resume() теперь вызывают UnsupportedOperationException.
• Обновленные локальные данные (CLDR версии 42) могут повлиять на форматирование даты, времени и чисел.

При возникновении проблем совместимости вернитесь к JDK 17. Сведения о настройке версий JDK см. в статье "Создание кластера с определенной версией JDK". Полный список изменений между JDK 17 и JDK 21 см. в релизных заметках поставщика JDK.

FSCK REPAIR TABLE включает восстановление метаданных по умолчанию

Теперь команда FSCK REPAIR TABLE включает начальный этап восстановления метаданных перед проверкой отсутствующих файлов данных. Команда может работать с таблицами с поврежденными контрольными точками или недопустимыми значениями секций.

Значение NULL, сохраненное для типов массивов и карт в клиенте Spark Connect Scala

Теперь нулевые значения для типов массивов и карт сохраняются в типизированных литералах клиента Spark Connect Scala. Ранее элементы массивов и значения отображений всегда могли иметь значение NULL.

FSCK REPAIR TABLE DRY RUN обновленная схема вывода

Столбец dataFilePath в выходной FSCK REPAIR TABLE DRY RUN схеме теперь может принимать значение NULL для поддержки отчетности по новым типам проблем, где путь к файлу данных неприменим.

SHOW TABLES DROPPED уважает положение LIMIT

Теперь SHOW TABLES DROPPED команда правильно соответствует LIMIT условию.

Факторы пропорциональности, согласованные между чтением и автооптимизируемой записью

Факторы пропорционирования для размера секционирования теперь последовательно используют дробные значения в операциях чтения и автоматически оптимизированных записях. Это изменение может привести к другому количеству задач для операций чтения.

Унифицированное выполнение Python UDF в PySpark и Unity Catalog

Функции UDF каталога Unity теперь используют Apache Arrow в качестве формата обмена по умолчанию, что улучшает общую производительность и согласуется с поведением пользовательских функций Python, оптимизированных с помощью Arrow, в Apache Spark. В рамках этого изменения значения TIMESTAMP, передаваемые в определяемые пользователем функции Python, больше не включают сведения о часовом поясе в атрибут datetime объекта tzinfo. Значения метки времени остаются в формате UTC, но метаданные часового пояса теперь удаляются.

Если UDF использует сведения о часовом поясе, необходимо восстановить его с помощью date = date.replace(tzinfo=timezone.utc). Дополнительные сведения см. в разделе о поведении метки времени в часовом поясе для входных данных.

Улучшены сообщения об ошибках для проблем с модулем входа соединителя Kafka

При использовании коннектора Kafka с классом модуля входа без префикса затенения Azure Databricks теперь предоставляет сообщения об ошибках с предложением использовать правильный префикс затененного класса (kafkashaded.org.apache.kafka или kafkashaded.software.amazon.msk.auth.iam).

Ограничения на поездки по времени и VACUUM поведение хранения

Azure Databricks теперь блокирует запросы на временное путешествие за пределы порога deletedFileRetentionDuration для всех таблиц. Команда VACUUM игнорирует аргумент длительности хранения, за исключением случаев, когда значение равно 0 часов. Невозможно задать deletedFileRetentionDuration размер больше logRetentionDuration или наоборот.

BinaryType сопоставляется с bytes по умолчанию в PySpark

В PySparkBinaryType теперь последовательно сопоставляется с Pythonbytes. Ранее PySpark сопоставлял BinaryType либо с bytes, либо с bytearray, в зависимости от контекста. Чтобы восстановить старое поведение, установите значение spark.sql.execution.pyspark.binaryAsBytesfalse.

Структуры NULL, сохраненные в Delta MERGE, UPDATE, и операции потоковой записи

Теперь структуры NULL сохраняются как NULL в Delta MERGE, а также в потоковых операциях записи, включающих приведение типов для структур. Ранее структуры NULL преобразовывались в структуры с NULL полями. Теперь шаблон NULL остаётся NULL вместо того, чтобы расширяться в структуру со всеми полями с значениями NULL.

Столбцы секционирования, материализованные в файлах Parquet

Секционированные таблицы Delta теперь материализуют столбцы секций в недавно записанных файлах данных Parquet. Ранее значения секций хранятся в метаданных журнала транзакций Delta и отражаются в путях к каталогу, но не записываются как столбцы в самих файлах Parquet. Это изменение соответствует поведению Apache Iceberg и UniForm и может повлиять на рабочие нагрузки, которые напрямую считывают файлы Parquet, записанные с помощью Delta Lake, так как новые файлы содержат дополнительные столбцы разбиений.

Значения разделов временных меток теперь учитывают часовой пояс сеанса Spark.

Ранее значения временной отметки были неправильно преобразованы в формат UTC с использованием часового пояса JVM вместо того, чтобы учитывать spark.sql.session.timeZone конфигурацию. Теперь значения разделов метки времени правильно корректируются с использованием параметра часового пояса сеанса Spark.

DESCRIBE TABLE Выходные данные включают столбец метаданных

Выходные данные DESCRIBE TABLE [EXTENDED] теперь включают новый metadata столбец для всех типов таблиц. Этот столбец содержит семантические метаданные (отображаемое имя, формат и синонимы), определенные в таблице в виде строки JSON.

Обновления библиотек

Обновленные библиотеки Python:

• anyio от 4.6.2 до 4.7.0
• asttokens от 2.0.5 до 3.0.0
• azure-core от 1.34.0 до 1.37.0
• azure-mgmt-core от 1.5.0 до 1.6.0
• azure-storage-blob с 12.23.0 до 12.28.0
• azure-storage-file-datalake с 12.17.0 до 12.22.0
• boto3 от 1.36.2 до 1.40.45
• botocore от 1.36.3 до 1.40.45
• сертификат от 2025.1.31 до 2025.4.26
• Нажмите, чтобы перейти с версии 8.1.7 на 8.1.8
• криптография от 43.0.3 до 44.0.1
• Cython от 3.0.12 до 3.1.5
• databricks-sdk от 0.49.0 до 0.67.0
• Не рекомендуется использовать от 1.2.13 до 1.2.18
• выполнение перехода с версии 0.8.3 на 1.2.0
• fastapi от 0.115.12 до 0.128.0
• блокировка файлов от 3.18.0 до 3.17.0
• google-api-core от 2.20.0 до 2.28.1
• google-auth от 2.40.0 до 2.47.0
• google-cloud-core от 2.4.3 до 2.5.0
• Обновление google-cloud-storage с версии 3.1.0 до 3.7.0
• Переход google-crc32c с версии 1.7.1 на 1.8.0
• Обновление google-resumable-media с версии 2.7.2 до 2.8.0
• h11 от 0.14.0 до 0.16.0
• httpcore от 1.0.2 до 1.0.9
• httpx от 0.27.0 до 0.28.1
• isodate от 0.6.1 до 0.7.2
• Jinja2 от 3.1.5 до 3.1.6
• jupyter-events от 0.10.0 до 0.12.0
• jupyter-lsp от 2.2.0 до 2.2.5
• jupyter_server от 2.14.1 до 2.15.0
• jupyter_server_terminals от 0.4.4 до 0.5.3
• mistune с версии 2.0.4 до 3.1.2
• mlflow-skinny от 3.0.1 до 3.8.1
• mmh3 от 5.1.0 до 5.2.0
• msal от 1.32.3 до 1.34.0
• nbclient от 0.8.0 до 0.10.2
• nbconvert от 7.16.4 до 7.16.6
• nodeenv от 1.9.1 до 1.10.0
• notebook_shim от 0.2.3 до 0.2.4
• opentelemetry-api от 1.32.1 до 1.39.1
• opentelemetry-sdk от 1.32.1 до 1.39.1
• opentelemetry-semantic-conventions от 0.53b1 до 0.60b1
• platformdirs от 3.10.0 до 4.3.7
• prometheus_client от 0.21.0 до 0.21.1
• proto-plus от 1.26.1 до 1.27.0
• psycopg2 от 2.9.3 до 2.9.11
• pyarrow от 19.0.1 до 21.0.0
• Pygments от 2.15.1 до 2.19.1
• pyiceberg от 0.9.0 до 0.10.0
• python-lsp-server с 1.12.0 до 1.12.2
• веревка от 1.12.0 до 1.13.0
• s3transfer от 0.11.3 до 0.14.0
• scipy от 1.15.1 до 1.15.3
• setuptools от 74.0.0 до 78.1.1
• шесть от 1.16.0 до 1.17.0
• sqlparse от 0.5.3 до 0.5.5
• stack-data от 0.2.0 до 0.6.3
• starlette от 0.46.2 до 0.50.0
• tornado от 6.4.2 до 6.5.1
• types-python-dateutil от 2.9.0.20241206 до 2.9.0.2025115
• uvicorn от 0.34.2 до 0.40.0
• webcolors от 24.11.1 до 25.10.0

Обновленные библиотеки R:

• стрелка от 19.0.1 до 22.0.0
• база от 4.4.2 до 4.5.1
• bigD от 0.3.0 до 0.3.1
• broom с версии 1.0.7 до 1.0.10
• часы от 0.7.2 до 0.7.3
• commonmark от 1.9.5 до 2.0.0
• компилятор от 4.4.2 до 4.5.1
• учетные данные от 2.0.2 до 2.0.3
• curl от 6.4.0 до 7.0.0
• data.table от 1.17.0 до 1.17.8
• наборы данных от 4.4.2 до 4.5.1
• dbplyr от 2.5.0 до 2.5.1
• средства разработки от 2.4.5 до 2.4.6
• diffobj от 0.3.5 до 0.3.6
• дайджест от 0.6.37 до 0.6.39
• Обновление downlit с версии 0.4.4 до версии 0.4.5
• dtplyr от 1.3.1 до 1.3.2
• оценка от 1.0.3 до 1.0.5
• fansi от 1.0.6 до 1.0.7
• forcats от 1.0.0 до 1.0.1
• fs от 1.6.5 до 1.6.6
• будущее от 1.34.0 до 1.68.0
• future.apply от 1.11.3 до 1.20.0
• обновление gargle с версии 1.5.2 до версии 1.6.0
• gert от 2.1.4 до 2.2.0
• ggplot2 от 3.5.1 до 4.0.1
• gh от 1.4.1 до 1.5.0
• git2r от 0.35.0 до 0.36.2
• glmnet от 4.1-8 до 4.1-10
• googledrive от 2.1.1 до 2.1.2
• googlesheets4 от 1.1.1 до 1.1.2
• графика от 4.4.2 до 4.5.1
• grDevices от 4.4.2 до 4.5.1
• сетка от 4.4.2 до 4.5.1
• gt; от 0.11.1 до 1.1.0
• hardhat от 1.4.1 до 1.4.2
• обновление версии haven от 2.5.4 до 2.5.5
• hms от 1.1.3 до 1.1.4
• httpuv от 1.6.15 до 1.6.16
• httr2 от 1.1.1 до 1.2.1
• jsonlite от 1.9.1 до 2.0.0
• позднее с версии 1.4.1 до 1.4.4
• лава от 1.8.1 до 1.8.2
• listenv с версии 0.9.1 до 0.10.0
• magrittr от 2.0.3 до 2.0.4
• markdown от 1.13 до 2.0
• Методы от 4.4.2 до 4.5.1
• miniUI от 0.1.1.1 до 0.1.2
• mlflow от 2.20.4 до 3.6.0
• opensl от 2.3.3 до 2.3.4
• параллельная от 4.4.2 до 4.5.1
• параллельно от 1.42.0 до 1.45.1
• столб с 1.11.0 до 1.11.1
• pkgbuild от 1.4.6 до 1.4.8
• pkgdown от 2.1.1 до 2.2.0
• pkgload от 1.4.0 до 1.4.1
• pROC от 1.18.5 до 1.19.0.1
• prodlim с 2024.06.25 по 2025.04.28
• progressr от 0.15.1 до 0.18.0
• обещания от 1.3.2 до 1.5.0
• ps от 1.9.0 до 1.9.1
• purrr от 1.0.4 до 1.2.0
• ragg от 1.3.3 до 1.5.0
• Rcpp от 1.0.14 до 1.1.0
• readr от 2.1.5 до 2.1.6
• рецепты от 1.2.0 до 1.3.1
• Обновление reshape2 с версии 1.4.4 до 1.4.5
• rmarkdown от 2.29 до 2.30
• roxygen2 от 7.3.2 до 7.3.3
• rprojroot от 2.0.4 до 2.1.1
• RSQLite от 2.3.9 до 2.4.4
• Версии r от 2.1.2 до 3.0.0
• rvest от 1.0.4 до 1.0.5
• sass от 0.4.9 до 0.4.10
• Переход от версии 1.3.0 к версии 1.4.0
• блестящий от 1.10.0 до 1.11.1
• sparklyr от 1.9.1 до 1.9.3
• SparkR от 4.0.0 до 4.1.0
• sparsevctrs от 0.3.1 до 0.3.4
• сплайны от 4.4.2 до 4.5.1
• статистика от 4.4.2 до 4.5.1
• stats4 от 4.4.2 до 4.5.1
• stringr от 1.5.1 до 1.6.0
• systemfonts от 1.2.1 до 1.3.1
• tcltk от 4.4.2 до 4.5.1
• testthat от 3.2.3 до 3.3.0
• формирование текста с 1.0.0 до 1.0.4
• timeDate от 4041.110 до 4051.111
• tinytex от 0,56 до 0,58
• инструменты от 4.4.2 до 4.5.1
• Пакет usethis с версии 3.1.0 до версии 3.2.1
• utils от 4.4.2 до 4.5.1
• V8 с версии 6.0.2 до 8.0.1
• vroom от 1.6.5 до 1.6.6.6
• waldo от 0.6.1 до 0.6.2
• xfun от 0,51 до 0,54
• xml2 от 1.3.8 до 1.5.0
• zeallot от 0.1.0 до 0.2.0
• zip от 2.3.2 до 2.3.3

Обновленные библиотеки Java:

• com.amazonaws.amazon-kinesis-client с 1.12.0 до 1.15.3
• com.amazonaws.aws-java-sdk-autoscaling от 1.12.638 до 1.12.681
• com.amazonaws.aws-java-sdk-cloudformation от 1.12.638 до 1.12.681
• com.amazonaws.aws-java-sdk-cloudfront с 1.12.638 до 1.12.681
• com.amazonaws.aws-java-sdk-cloudhsm с 1.12.638 по 1.12.681
• com.amazonaws.aws-java-sdk-cloudsearch с 1.12.638 по 1.12.681
• com.amazonaws.aws-java-sdk-cloudtrail с 1.12.638 по 1.12.681
• com.amazonaws.aws-java-sdk-cloudwatch с 1.12.638 до 1.12.681
• com.amazonaws.aws-java-sdk-cloudwatchmetrics от 1.12.638 до 1.12.681
• com.amazonaws.aws-java-sdk-codedeploy с 1.12.638 по 1.12.681
• com.amazonaws.aws-java-sdk-cognitoidentity от 1.12.638 до 1.12.681
• com.amazonaws.aws-java-sdk-cognitosync с 1.12.638 по 1.12.681
• com.amazonaws.aws-java-sdk-config с 1.12.638 по 1.12.681
• com.amazonaws.aws-java-sdk-core с 1.12.638 до 1.12.681
• com.amazonaws.aws-java-sdk-datapipeline с 1.12.638 до 1.12.681
• com.amazonaws.aws-java-sdk-directconnect с 1.12.638 до 1.12.681
• com.amazonaws.aws-java-sdk-directory с 1.12.638 по 1.12.681
• com.amazonaws.aws-java-sdk-dynamodb с 1.12.638 до 1.12.681
• com.amazonaws.aws-java-sdk-ec2 с 1.12.638 до 1.12.681
• com.amazonaws.aws-java-sdk-ecs с 1.12.638 до 1.12.681
• com.amazonaws.aws-java-sdk-efs от 1.12.638 до 1.12.681
• com.amazonaws.aws-java-sdk-elasticache с 1.12.638 по 1.12.681
• com.amazonaws.aws-java-sdk-elasticbeanstalk от 1.12.638 до 1.12.681
• com.amazonaws.aws-java-sdk-elasticloadbalancing с 1.12.638 по 1.12.681
• com.amazonaws.aws-java-sdk-elastictranscoder с 1.12.638 по 1.12.681
• com.amazonaws.aws-java-sdk-emr от 1.12.638 до 1.12.681
• com.amazonaws.aws-java-sdk-glacier с 1.12.638 до 1.12.681
• com.amazonaws.aws-java-sdk-glue от 1.12.638 до 1.12.681
• com.amazonaws.aws-java-sdk-iam с 1.12.638 до 1.12.681
• com.amazonaws.aws-java-sdk-importexport с 1.12.638 до 1.12.681
• com.amazonaws.aws-java-sdk-kinesis с 1.12.638 до 1.12.681
• com.amazonaws.aws-java-sdk-kms от 1.12.638 до 1.12.681
• com.amazonaws.aws-java-sdk-lambda с 1.12.638 до 1.12.681
• com.amazonaws.aws-java-sdk-logs от 1.12.638 до 1.12.681
• com.amazonaws.aws-java-sdk-machinelearning с 1.12.638 до 1.12.681
• com.amazonaws.aws-java-sdk-opsworks с 1.12.638 по 1.12.681
• com.amazonaws.aws-java-sdk-rds от 1.12.638 до 1.12.681
• com.amazonaws.aws-java-sdk-redshift от 1.12.638 до 1.12.681
• com.amazonaws.aws-java-sdk-route53 с 1.12.638 по 1.12.681
• com.amazonaws.aws-java-sdk-s3 от 1.12.638 до 1.12.681
• com.amazonaws.aws-java-sdk-ses с 1.12.638 по 1.12.681
• com.amazonaws.aws-java-sdk-simpledb с 1.12.638 до 1.12.681
• com.amazonaws.aws-java-sdk-simpleworkflow с 1.12.638 по 1.12.681
• com.amazonaws.aws-java-sdk-sns от 1.12.638 до 1.12.681
• com.amazonaws.aws-java-sdk-sqs с 1.12.638 до 1.12.681
• com.amazonaws.aws-java-sdk-ssm от 1.12.638 до 1.12.681
• com.amazonaws.aws-java-sdk-storagegateway с 1.12.638 по 1.12.681
• com.amazonaws.aws-java-sdk-sts с 1.12.638 по 1.12.681
• com.amazonaws.aws-java-sdk-support от 1.12.638 до 1.12.681
• com.amazonaws.aws-java-sdk-workspaces от 1.12.638 до 1.12.681
• com.amazonaws.jmespath-java с 1.12.638 до 1.12.681
• com.databricks.databricks-sdk-java с 0.27.0 до 0.53.0
• com.fasterxml.jackson.datatype.jackson-datatype-jsr310 с 2.18.2 до 2.18.3
• com.github.luben.zstd-jni от 1.5.6-10 до 1.5.7-6
• com.google.flatbuffers.flatbuffers-java с 24.3.25 до 25.2.10
• com.google.guava.failureaccess от 1.0.2 до 1.0.3
• com.google.guava.guava с 33.4.0-jre до 33.4.8-jre
• com.microsoft.sqlserver.mssql-jdbc с 11.2.3.jre8 до 12.8.0.jre8
• commons-cli.commons-cli от 1.9.0 до 1.10.0
• commons-codec.commons-codec с 1.17.2 по 1.19.0
• commons-fileupload.commons-fileupload с 1.5 по 1.6.0
• commons-io.commons-io с 2.18.0 до 2.21.0
• dev.ludovic.netlib.arpack от 3.0.3 до 3.0.4
• dev.ludovic.netlib.blas от 3.0.3 до 3.0.4
• dev.ludovic.netlib.lapack от 3.0.3 до 3.0.4
• io.dropwizard.metrics.metrics-annotation от 4.2.30 до 4.2.37
• io.dropwizard.metrics.metrics-core от 4.2.30 до 4.2.37
• io.dropwizard.metrics.metrics-graphite от 4.2.30 до 4.2.37
• io.dropwizard.metrics.metrics-healthchecks с 4.2.30 до 4.2.37
• io.dropwizard.metrics.metrics-jmx от 4.2.30 до 4.2.37
• io.dropwizard.metrics.metrics-json от 4.2.30 до 4.2.37
• io.dropwizard.metrics.metrics-jvm от 4.2.30 до 4.2.37
• io.dropwizard.metrics.metrics-servlets от 4.2.30 до 4.2.37
• io.netty.netty-all от 4.1.118.Final до 4.2.7.Final
• io.netty.netty-buffer от 4.1.118.Final до 4.2.7.Final
• io.netty.netty-codec от 4.1.118.Final до 4.2.7.Final
• io.netty.netty-codec-http с 4.1.118.Final до 4.2.7.Final
• io.netty.netty-codec-http2 с 4.1.118.Final до 4.2.7.Final
• io.netty.netty-codec-socks от 4.1.118.Final до 4.2.7.Final
• Переход с версии io.netty.netty-common 4.1.118.Final на 4.2.7.Final
• io.netty.netty-handler от 4.1.118.Final до 4.2.7.Final
• io.netty.netty-handler-proxy от 4.1.118.Final до 4.2.7.Final
• io.netty.netty-resolver от 4.1.118.Final до 4.2.7.Final
• io.netty.netty-tcnative-boringssl-static от 2.0.70.Final-db-r0-windows-x86_64 до 2.0.74.Final-db-r0-windows-x86_64
• io.netty.netty-tcnative-классы от версии 2.0.70.Final до версии 2.0.74.Final
• io.netty.netty-transport с 4.1.118.Final до 4.2.7.Final
• io.netty.netty-transport-classes-epoll от 4.1.118.Final до 4.2.7.Final
• io.netty.netty-transport-classes-kqueue от 4.1.118.Final до 4.2.7.Final
• io.netty.netty-transport-native-epoll от 4.1.118.Final-linux-x86_64 до 4.2.7.Final-linux-x86_64
• io.netty.netty-transport-native-kqueue от версии 4.1.118.Final-osx-x86_64 до версии 4.2.7.Final-osx-x86_64
• io.netty.netty-transport-native-unix-common от 4.1.118.Final до 4.2.7.Final
• joda-time.joda-time с 2.13.0 до 2.14.0
• org.apache.arrow.arrow-format от 18.2.0 до 18.3.0
• Обновление org.apache.arrow.arrow-memory-core с версии 18.2.0 до 18.3.0
• org.apache.arrow.arrow-memory-netty от 18.2.0 до 18.3.0
• Обновление org.apache.arrow.arrow-memory-netty-buffer-patch с версии 18.2.0 до 18.3.0
• org.apache.arrow.arrow-vector от 18.2.0 до 18.3.0
• org.apache.avro.avro с 1.12.0 до 1.12.1
• org.apache.avro.avro-ipc с 1.12.0 до 1.12.1
• org.apache.avro.avro-mapred с 1.12.0 до 1.12.1
• org.apache.commons.commons-collections4 с 4.4 по 4.5.0
• org.apache.commons.commons-compress от 1.27.1 до 1.28.0
• org.apache.commons.commons-lang3 от 3.17.0 до 3.19.0
• org.apache.commons.commons-text от 1.13.0 до 1.14.0
• org.apache.curator.curator-client с 5.7.1 по 5.9.0
• org.apache.curator.curator-framework от 5.7.1 до 5.9.0
• org.apache.curator.curator-recipes от 5.7.1 до 5.9.0
• org.apache.datasketches.datasketches-java от 6.1.1 до 6.2.0
• org.apache.hadoop.hadoop-client-runtime с 3.4.1 до 3.4.2
• org.apache.orc.orc-core от 2.1.1-shaded-protobuf до 2.2.0-shaded-protobuf
• org.apache.orc.orc-format от версии 1.1.0-shaded-protobuf до версии 1.1.1-shaded-protobuf
• org.apache.orc.orc-mapreduce от 2.1.1-shaded-protobuf до 2.2.0-shaded-protobuf
• org.apache.orc.orc-shims от 2.1.1 до 2.2.0
• org.apache.xbean.xbean-asm9-shaded с 4.26 до 4.28
• org.apache.zookeeper.zookeeper с 3.9.3 по 3.9.4
• org.apache.zookeeper.zookeeper-jute от 3.9.3 до 3.9.4
• org.eclipse.jetty.jetty-client с 9.4.53.v20231009 до 10.0.26
• org.eclipse.jetty.jetty-http с 9.4.53.v20231009 до 10.0.26
• org.eclipse.jetty.jetty-io с 9.4.53.v20231009 до 10.0.26
• org.eclipse.jetty.jetty-jndi от 9.4.53.v20231009 до 10.0.26
• org.eclipse.jetty.jetty-plus от 9.4.53.v20231009 до 10.0.26
• org.eclipse.jetty.jetty-proxy от 9.4.53.v20231009 до 10.0.26
• org.eclipse.jetty.jetty-security с 9.4.53.v20231009 до 10.0.26
• org.eclipse.jetty.jetty-server с 9.4.53.v20231009 до 10.0.26
• org.eclipse.jetty.jetty-servlet от 9.4.53.v20231009 до 10.0.26
• org.eclipse.jetty.jetty-servlets от 9.4.53.v20231009 до 10.0.26
• org.eclipse.jetty.jetty-util от 9.4.53.v20231009 до 10.0.26
• org.eclipse.jetty.jetty-webapp с 9.4.53.v20231009 до 10.0.26
• org.eclipse.jetty.jetty-xml с 9.4.53.v20231009 до 10.0.26
• org.mlflow.mlflow-spark_2.13 от 2.9.1 до 2.22.1
• org.objenesis.objenesis с 3.3 по 3.4
• org.scala-lang.modules.scala-xml_2.13 от 2.3.0 до 2.4.0

Apache Spark

Databricks Runtime 18.0 включает Apache Spark 4.1.0. Этот выпуск включает все исправления Spark и улучшения, включенные в предыдущую версию, а также следующие:

• SPARK-54182 Отмена "[SQL][python] Оптимизация преобразования df.toPandas без использования Arrow"
• SPARK-54134 Оптимизация использования памяти Arrow
• SPARK-54536 Shuffle FetchWaitTime отсутствует сбор затрат на создание клиента или ожидания
• SPARK-54534 Миграция устаревших кодов ошибок, связанных с Hive, в корректные условия ошибок
• SPARK-54565 SparkBuildInfo должна загружаться через собственный classloader
• SPARK-54533 Установить для ExecutorSource.METRIC_RESULT_SIZE правильное значение метрики
• SPARK-54478 Повторное включение потоковых тестов для подключения к compat test CI
• SPARK-54552 Исправление SparkConnectResultSet.getString для обработки типа данных BINARY с помощью UTF_8
• SPARK-54501 Улучшение обработки ошибок при сбоях фильтра секций хранилища метаданных Hive
• SPARK-54550 Обработать ConnectException корректно в SparkConnectStatement.close()
• SPARK-54020 Поддержка spark.sql(...) API Python внутри функций запросов для декларативного конвейера Spark
• SPARK-53127 Исправление проблемы LIMIT ALL для неограниченной рекурсии с помощью нормализации CTE
• SPARK-50072 Обработка ArithmeticException при разборе интервалов с большими значениями
• SPARK-54299 Исправление неправильного примера запроса в WindowGroupLimit
• SPARK-54505 Исправьте порядок аргументов вызова createMetrics в makeNegative
• SPARK-54462 Добавить SupportsV1OverwriteWithSaveAsTable миксин для TableProvider
• SPARK-54540 Пары незначительных исправлений для драйвера Connect JDBC
• SPARK-54508 Исправить spark-pipelines для более надежного разрешения spec пути к файлу
• SPARK-54087 Сбой при запуске задачи исполнителя Spark должен возвращать сообщение об уничтожении задачи
• SPARK-53797 Исправить FileStreamSource.takeFilesUntilMax для использования zipWithIndex, чтобы избежать использования indices
• SPARK-54418 Исправление сообщений об ошибках и форматирование кода
• SPARK-54114 Поддержка метода getColumns в SparkConnectDatabaseMetaData
• SPARK-54209 Поддержка типа TIMESTAMP в SparkConnectResultSet
• SPARK-54208 Поддержка типа TIME в SparkConnectResultSet
• SPARK-54528 Закрыть URLClassLoader немедленно, чтобы избежать OOM
• SPARK-54464 Удаление повторяющихся output.reserve вызовов в assembleVariantBatch
• SPARK-53635 Поддержка Scala-функций, определяемых пользователем, с входными аргументами типа Seq[Row]
• SPARK-54493 Исправление assertSchemaEqual для MapType
• SPARK-52515 Проверка approx_top_k с флагом включено и выключено.
• SPARK-54413 Обновить Bootstrap с версии 4.4.1 до 4.6.2
• SPARK-54497 Применение functools.lru_cache в кэшировании конвертера
• SPARK-54306 Аннотация столбцов Variant с аннотацией логического типа Variant
• SPARK-54350 ORDINAL_POSITION в SparkGetColumnsOperation должен начинаться с 1
• SPARK-54130 Добавить подробные сообщения об ошибках утверждения каталога
• SPARK-54220 Поддержка типов NullType/VOID/UNKNOWN в Parquet
• SPARK-54163 Канонизация сканирования для секционирования и упорядочивания данных
• SPARK-54377 Исправление COMMENT ONTABLE IS NULL для корректного удаления комментария таблицы
• SPARK-52767 Оптимизация параметров maxRows и maxRowsPerPartition для соединения и объединения данных
• SPARK-54063 Активация снимка для следующего пакета при задержке загрузки
• SPARK-54384 Модернизация метода _batched для batchedSerializer
• SPARK-54378 Удаление CreateXmlParser.scala из catalyst модуля
• SPARK-53103 Отменить "[SC-204946][ss] Выдает ошибку, если каталог состояний не пуст, когда запрос запускается".
• SPARK-53103 Создает ошибку, если каталог состояния не пуст при запуске запроса
• SPARK-54397 Сделать UserDefinedType хэшируемым
• SPARK-54440 Присвойте файлу спецификации конвейера по умолчанию больше идиоматического имени, spark-pipeline.yml
• SPARK-54324 Добавление теста для расширений client-user-context-extensions
• SPARK-54456 Импорт модуля процесса после разветвления, чтобы избежать взаимоблокировки
• SPARK-54427 Разрешить ColumnarRow вызывать copy с вариантными типами
• SPARK-54136 Извлечение логики объединения планов из MergeScalarSubqueries и переноса в PlanMerger
• SPARK-54389 Исправлена ошибка недопустимой метки в хранилище состояний RocksDB, когда задача помечена как завершившаяся ошибкой во время инициализации.
• SPARK-54346 Введение API перераспределения состояния и перераспределитель
• SPARK-53809 Добавление канонизации для DataSourceV2ScanRelation
• SPARK-54280 Требовать, чтобы директория хранения контрольных точек конвейера была в виде абсолютного пути
• SPARK-54206 Поддержка данных типа BINARY в SparkConnectResultSet
• SPARK-54319 Ошибка BHJ LeftAnti update numOutputRows при отключении кодегена
• SPARK-54355 Сделать spark.connect.session.planCompression.defaultAlgorithm совместимым с NONE
• SPARK-54341 Запомните TimeTravelSpec для таблиц, загружаемых с помощью TableProvider
• SPARK-54280 Отменить "[SC-212148][sdp] требование, чтобы путь к директории для хранения контрольных точек конвейера был абсолютным".
• SPARK-54354 Исправление проблемы зависания Spark при недостаточности памяти кучи JVM для передачи хэшированных отношений
• SPARK-54439 Несоответствие размеров ключей в KeyGroupedPartitioning и соединении
• SPARK-54280 Требовать, чтобы директория хранения контрольных точек конвейера была в виде абсолютного пути
• SPARK-54395 Класс RemoteBlockPushResolver неоднократно инициализирует ObjectMapper
• SPARK-54207 Поддержка данных типа даты в SparkConnectResultSet
• SPARK-54182 Оптимизация преобразования без использования стрелок df.toPandas
• SPARK-54312 Избегайте повторяющегося расписания задач для SendHeartbeat/WorkDirClean в автономном рабочем узле
• SPARK-54394 Перемещение isJavaVersionAtMost17 и isJavaVersionAtLeast21 из core в common/utils
• SPARK-53927 Обновление клиента kinesis
• SPARK-54358 Директории контрольных точек конфликтуют, когда потоковые таблицы в разных схемах имеют одно и то же имя
• SPARK-54310 Отмена изменений "[SC-212003][sql] Добавление numSourceRows метрики для MergeIntoExec"
• SPARK-54310 Добавление numSourceRows метрики для MergeIntoExec
• SPARK-53322 Выберите KeyGroupedShuffleSpec только когда позиции ключей соединения могут быть полностью переданы
• SPARK-54270 Методы SparkConnectResultSet get* должны вызывать checkOpen и проверять границу индекса
• SPARK-53849 Обновление netty и netty tc native
• SPARK-54205 Поддерживает данные десятичного типа в SparkConnectResultSet
• SPARK-54417 Исправление сообщения об ошибке для скалярного подзапроса в IDENTIFIER выражении
• SPARK-54113 Поддержка getTables для SparkConnectDatabaseMetaData
• SPARK-54303 Канонизация условия ошибки MISSING_CATALOG_ABILITY
• SPARK-54153 Поддержка профилирования итераторов на основе пользовательских функций (UDF) в Python
• SPARK-54349 Немного рефакторинга кода для упрощения расширения интеграции модуля обработки ошибок
• SPARK-54317 Унификация логики преобразования Arrow для класcической модели и подключения к Pandas
• SPARK-54339 Исправление недетерминированности AttributeMap
• SPARK-54112 Поддержка getSchemas для SparkConnectDatabaseMetaData
• SPARK-54180 Переопределите toString BinaryFileFormat
• SPARK-54213 Удаление Python 3.9 из Spark Connect
• SPARK-54215 Добавление признака SessionStateHelper в FilePartition
• SPARK-54115 Эскалация приоритета упорядочения потоков операций сервера подключения на странице дампа потоков
• SPARK-54193 Устаревший spark.shuffle.server.finalizeShuffleMergeThreadsPercent
• SPARK-54149 Включение хвостовой рекурсии по возможности
• SPARK-54185 Устаревший spark.shuffle.server.chunkFetchHandlerThreadsPercent
• Spark-54056 разрешает подстановку параметров SQLConf в каталогах
• SPARK-54147 Установите значение OMP_NUM_THREADS в spark.task.cpus по умолчанию в BaseScriptTransformationExec
• SPARK-54229 Обеспечить, чтобы PySparkLogger в UDFs сохранял одну запись журнала для каждого вызова функции журнала
• SPARK-53337 XSS: убедитесь, что название приложения на странице истории экранируется
• SPARK-54229 Отменить "[SC-211321][python] Изменение, чтобы PySparkLogger в UDFs хранил одну запись журнала на каждый вызов функции журнала".
• SPARK-54373 Увеличьте атрибут SVG viewBox для инициализации Job DAG
• SPARK-54323 Изменение способа доступа к журналам в TVF вместо системного представления
• SPARK-54229 Обеспечить, чтобы PySparkLogger в UDFs сохранял одну запись журнала для каждого вызова функции журнала
• SPARK-53978 Поддержка ведения журнала на стороне водителя
• SPARK-54146 Очистка использования устаревшего API Джексона
• SPARK-54383 Добавление предварительно компьютированного варианта схемы для util InternalRowComparableWrapper
• SPARK-54030 Добавление удобного для пользователя сообщения об ошибке метаданных представления
• SPARK-54144 Вывод типа при короткой оценке
• SPARK-54030 Отменить изменение "[SC-210301][sql] Добавьте понятное сообщение о проверке повреждения метаданных в представлении"
• SPARK-54028 Использование пустой схемы при изменении представления, которое не совместимо с Hive
• SPARK-54030 Добавление удобного для пользователя сообщения об ошибке метаданных представления
• SPARK-54085 Исправление initialize для добавления CREATE параметра дополнительно в DriverRunner
• SPARK-53482MERGE INTO поддержка, если в источнике меньше вложенных полей, чем в целевом объекте
• SPARK-53905 Рефакторинг RelationResolution для обеспечения повторного использования кода
• SPARK-53732 Запомните TimeTravelSpec в DataSourceV2Relation
• SPARK-54014 Поддержка максимальных строк для SparkConnectStatement
• SPARK-50906 Исправление проверки допустимости null в Avro для переупорядоченных полей структуры
• SPARK-54396 Оптимизация вызовов Py4J в Dataframe.toArrow
• SPARK-54344 Завершать работу рабочего процесса при сбое сброса в daemon.py
• SPARK-53977 Поддержка ведения журнала в определяемых пользователем табличных функциях
• SPARK-52515 Повторное применение "[SC-199815][sql] Добавление функции approx_top_k"
• SPARK-54340 Добавьте возможность использования viztracer на управляющей программе pyspark/workers
• SPARK-54379 Перемещение лямбда-привязки к отдельному LambdaBinder объекту
• SPARK-54029 Добавление подробного сообщения об ошибке для повреждения метаданных таблицы для упрощения отладки
• SPARK-54002 Поддержка интеграции BeeLine с драйвером JDBC Connect
• SPARK-54336 Исправление BloomFilterMightContain проверки типа входных данных с помощью ScalarSubqueryReference
• SPARK-53406 Избегайте ненужного shuffle-соединения в типе shuffle с прямой передачей id.
• SPARK-54347 Оптимизация вызовов Py4J в классическом кадре данных
• SPARK-54062 Очистка кода MergeScalarSubqueries
• SPARK-54054 Поддержка позиции строки для SparkConnectResultSet
• SPARK-54330 Оптимизация вызовов Py4J в spark.createDataFrame
• SPARK-54332 Не нужно присоединять PlanId к именам столбцов группировки в свертках, кубах или наборах группировки.
• SPARK-53976 Поддержка ведения журнала в Pandas/Arrow UDFs
• SPARK-54123 Добавление часового пояса для создания абсолютной временной метки
• SPARK-54356 Исправление EndToEndAPISuite, вызванное отсутствием корневой схемы хранилища
• SPARK-54292 Поддержка агрегатных функций и GROUP BY операторов канала |>SELECT (#180106) (#180368)
• SPARK-54376 Пометьте большинство параметров конфигурации конвейера как внутренние
• SPARK-53975 Добавляет базовую поддержку ведения журнала рабочих ролей Python
• SPARK-54361 Исправление версии Spark до предполагаемого значения 4.2.0 для spark.sql.parser.singleCharacterPipeOperator.enabled
• SPARK-51518 Поддержка | в качестве альтернативы |> для маркера оператора канала SQL
• SPARK-53535 Исправление ошибки, из-за которой отсутствующие структуры всегда принимались за nullы
• SPARK-54294 Нормализация печатного IP-адреса сервера Connect
• SPARK-52439 Поддержка ограничения проверки со значением NULL
• SPARK-54352 Внедрить SQLConf.canonicalize для централизованной нормализации строк
• SPARK-54183 Отмена возврата "[SC-211824][python][CONNECT] Избегайте одного промежуточного временного кадра данных при подключении Spark к Pandas()"
• SPARK-53573IDENTIFIER везде
• SPARK-53573 Разрешить объединение строковых литералы везде
• SPARK-54240 Преобразование выражения катализатора элемента массива в выражение соединителя
• SPARK-54334 Переместите проверку выражений вложенных запросов под лямбда-функции и функции более высокого порядка в SubqueryExpressionInLambdaOrHigherOrderFunctionValidator
• SPARK-54183 Возврат "[SC-211824][python][CONNECT] Избегайте одного промежуточного кадра данных temp во время подключения spark кPandas()"
• SPARK-54183 Избегайте создания одного промежуточного временного кадра данных при выполнении spark connect toPandas()
• SPARK-54264 Оператор DeDup может использовать keyExists() из RocksDB
• SPARK-54269 Обновление cloudpickle до версии 3.1.2 для Python 3.14
• SPARK-54300 Оптимизация вызовов Py4J в df.toPandas
• SPARK-54307 Выдать ошибку при перезапуске потокового запроса с операцией с состоянием, но существует пустой каталог состояния
• SPARK-54117 Выдать более понятную ошибку для указания, что TWS поддерживается только с поставщиком хранилища состояний RocksDB
• SPARK-53917 Поддержка крупных местных отношений - дальнейшие действия
• SPARK-54275 Очистка неиспользуемого кода из pipeline модуля
• SPARK-54287 Добавление поддержки Python 3.14 в pyspark-client и pyspark-connect
• SPARK-53614 Добавление Iterator[pandas.DataFrame] поддержки в applyInPandas
• SPARK-54191 Добавить единожды в Defineflow Proto
• SPARK-54234 Не нужно добавлять PlanId в имена столбцов группировки в df.groupBy
• SPARK-54231 Заполнение пробелов в документах SDP
• SPARK-54199 Добавление поддержки API DataFrame для новых функций скетчей KLL (#178526)
• SPARK-52463 Переиспользовать "[SC-211221][sdp] Добавление поддержки cluster_by в API конвейеров на Python"
• SPARK-52463 Отменить "[SC-211221][sdp] Добавление поддержки cluster_by в API конвейеров Python".
• SPARK-53786 Значение по умолчанию со специальным именем столбца не должно конфликтовать с реальным столбцом
• SPARK-54200 Обновление KafkaConsumerPoolRealTimeModeSuite для использования groupIdPrefix для обеспечения безопасности параллельных запусков
• SPARK-52463 Добавление поддержки cluster_by в API конвейеров Python
• SPARK-52509 Очистка отдельных перестановок из резервного хранилища на событие RemoveShuffle
• SPARK-54187 Повторное применение "[SC-211150][python][CONNECT] Получение всех конфигураций в пакете в toPandas"
• SPARK-53942 Поддержка изменения секций без отслеживания состояния при перезапуске потокового запроса
• SPARK-52515 Отмена "[SC-199815][sql] Добавление функции approx_top_k"
• SPARK-52515 Добавление функции approx_top_k
• SPARK-54078 Новый тест для StateStoreSuite SPARK-40492: maintenance before unload и удаление инфраструктуры из старого теста
• SPARK-54178 Улучшение ошибки для ResolveSQLOnFile
• SPARK-53455 Добавить CloneSession RPC
• SPARK-54178 Вернитесь на "[SC-211111][sql] Улучшение ошибки для ResolveSQLOnFile"
• SPARK-53489 Удалить использование v2ColumnsToStructType в ApplyDefaultCollationToStringType
• SPARK-54178 Улучшение ошибки для ResolveSQLOnFile
• SPARK-54187 Возврат "[SC-211150][python][CONNECT] Получение всех конфигураций в пакете в toPandas"
• SPARK-53942 Возврат "[SC-209873][ss] Поддержка изменения секций без отслеживания состояния при перезапуске потокового запроса"
• SPARK-54187 Получение всех конфигов в пакетном режиме в toPandas
• SPARK-54145 Исправлена проверка столбца вложенного типа в числовом агрегате
• SPARK-53942 Поддержка изменения секций без отслеживания состояния при перезапуске потокового запроса
• SPARK-53991 Добавление поддержки SQL для функций KLL quantiles на основе DataSketches (#178089) (#178234)
• SPARK-53128 Включение неуправляемых байтов памяти в журнал использования перед выполнением OOM
• SPARK-53731 Обновление подсказок типа API итератора
• SPARK-53967 Избегайте создания промежуточного pandas DataFrame в df.toPandas
• SPARK-53455 Отмена "[SC-208758][connect] Добавить CloneSession RPC"
• SPARK-54108 Пересмотр методов execute* в SparkConnectStatement
• SPARK-54052 Добавить объект моста, чтобы обойти ограничение Py4J
• SPARK-54128 Преобразование IllegalArgumentException в SparkException с соответствующими классами ошибок на сервере Spark Connect
• SPARK-53880 Исправление DSv2 в PushVariantIntoScan путем добавления функции SupportsPushDownVariants
• SPARK-54111 Поддержка getCatalogs для SparkConnectDatabaseMetaData
• SPARK-53455 Добавить CloneSession RPC
• SPARK-54118 Улучшение операции put/merge в ListState при наличии нескольких значений
• SPARK-54038 Поддержка getSQLKeywords для SparkConnectDatabaseMetaData
• SPARK-54013 Реализация простых методов SparkConnectDatabaseMetaData
• SPARK-53934 Начальная реализация драйвера JDBC Connect
• SPARK-53959 Создает ошибку на стороне клиента при создании кадра данных из кадра данных pandas с индексом, но нет данных
• SPARK-53573 Отменить "[SC-210255][sql] Разрешить объединение литералов строк везде"
• SPARK-54094 Извлечение распространенных методов в KafkaOffsetReaderBase
• SPARK-53573 Разрешить объединение строковых литералы везде
• SPARK-54039 Добавление сведений TaskContext в журналы выпуска KafkaDataConsumer() для улучшения отладки
• SPARK-54031 Добавление новых тестов золотого файла для пограничных вариантов анализа
• SPARK-54067 Улучшить SparkSubmit, чтобы вызвать exitFn с указанием на первопричину вместо SparkUserAppException
• SPARK-54047 Используйте ошибку разницы при истечении времени ожидания в режиме простоя
• SPARK-54078 Устранение неполадок в StateStoreSuite SPARK-40492: maintenance before unload
• SPARK-54061 Оборачивание IllegalArgumentException с соответствующим кодом ошибки для недопустимых шаблонов даты и времени
• SPARK-54031 Возврат "[SC-210084][sql] Добавьте новые тесты золотого файла для анализа пограничных вариантов"
• SPARK-54075 Сделать ResolvedCollation оцениваемым
• SPARK-54001 Оптимизация использования памяти при клонировании сеансов с использованием кэшированных локальных связей с учетом их ref-counted состояния.
• SPARK-54031 Добавление новых тестов золотого файла для пограничных вариантов анализа
• SPARK-53923 Переименовать spark.executor.(log -> logs).redirectConsoleOutputs
• SPARK-54007 Использование Java Set.of вместо Collections.emptySet
• SPARK-53755 Добавление поддержки журналов в BlockManager
• SPARK-54041 Рефакторинг проверки аргументов ParameterizedQuery
• SPARK-53696 По умолчанию использовать байты для BinaryType в PySpark
• SPARK-53921 Введение GeometryType и GeographyType в API PySpark
• SPARK-537888 Перемещение VersionUtils в common модуль
• SPARK-53999 Поддержка нативного транспорта KQueue в BSD/MacOS
• SPARK-54021 Реализация аксессоров Geography и Geometry в Catalyst
• SPARK-53921 Вернуть "[SC-209482][geo][PYTHON] Введение GeometryType и GeographyType в API PySpark"
• SPARK-53920 Введение GeometryType и GeographyType в API Java
• SPARK-53610 Ограничение размеров пакетов Arrow в CoGrouped applyInPandas и applyInArrow
• SPARK-53659 Определение схемы обработки вариантов при записи в Parquet
• SPARK-53922 Знакомство с физическими типами Geometry и Geography
• SPARK-54059 Уменьшение размера страницы по умолчанию на величину LONG_ARRAY_OFFSET при использовании ZGC или ShenandoahGC и ON_HEAP.
• SPARK-53921 Введение GeometryType и GeographyType в API PySpark
• SPARK-54048 Обновление dev/requirements.txt для установки torch(vision) в Python 3.14
• SPARK-53917 Поддержка крупных локальных соединений
• SPARK-53760 Представление типов GeometryType и GeographyType
• SPARK-53530 Очистка бесполезного кода, связанного с TransformWithStateInPySparkStateServer
• SPARK-53636 Исправлена проблема с безопасностью потока в SortShuffleManager.unregisterShuffle
• SPARK-52762 Добавление сообщения PipelineAnalysisContext для поддержки анализа конвейера во время выполнения запроса Spark Connect
• SPARK-53631 Оптимизация памяти и производительности во время начальной загрузки SHS
• SPARK-53857 Включить распространение messageTemplate в SparkThrowable
• SPARK-53891 API сводки фиксации записи модели DSV2
• SPARK-53966 Добавить служебные функции для обнаружения GC JVM
• SPARK-53149 Исправлено тестирование, проверяющее, выполняется ли процесс BeeLine в фоновом режиме
• SPARK-53738 Исправление запланированной записи при выводе запроса со свертываемыми упорядочиваниями
• SPARK-53949 Используйте Utils.getRootCause вместо Throwables.getRootCause
• SPARK-53696 Возврат "[SC-209330][python][CONNECT][sql] По умолчанию для BinaryType в PySpark"
• SPARK-53804 Поддержка сортировки с радиальной шкалой для TIME
• SPARK-54004 Исправление удаления кэша таблицы по имени без каскадирования
• SPARK-53261 Использование Java String.join|StringJoiner вместо Guava Joiner
• SPARK-53319 Поддержка типа времени с помощью try_make_timestamp_ltz()
• SPARK-53280 Использование Java instanceof вместо Throwables.throwIf* методов
• SPARK-53696 По умолчанию использовать байты для BinaryType в PySpark
• SPARK-53258 Используйте JavaUtilscheck(Argument|State)
• SPARK-53773 Восстановление алфавитного упорядочения правил в RuleIdCollection
• SPARK-53256 Продвижение check(Argument|State) на JavaUtils
• SPARK-54008 Пропустить QO для DESCRIBE QUERY
• SPARK-53573 Использование предварительного процессора для обработки маркеров обобщенных параметров
• SPARK-53980 Добавить SparkConf.getAllWithPrefix(String, String => K) API
• SPARK-54009 Поддержка spark.io.mode.default
• SPARK-51903 Проверка данных о добавлении ограничения CHECK
• SPARK-53573 Отмена изменений "[SC-209126][sql] Использование предварительного процессора для универсальной обработки меток параметров"
• SPARK-53573 Использование предварительного процессора для обработки маркеров обобщенных параметров
• SPARK-53573 Отмена изменений "[SC-209126][sql] Использование предварительного процессора для универсальной обработки меток параметров"
• SPARK-53956 Поддержка TIME в функции try_make_timestamp в PySpark
• SPARK-53930 Поддержка TIME в функции make_timestamp в PySpark
• SPARK-53573 Использование предварительного процессора для обработки маркеров обобщенных параметров
• SPARK-53564 Избегайте выхода DAGScheduler из-за блокировки времени ожидания RPC в DAGSchedulerEventProcessLoop
• SPARK-53879 Обновление Ammonite до версии 3.0.3
• SPARK-53938 Исправить масштабирование десятичных чисел в LocalDataToArrowConversion
• SPARK-53845 Приемники SDP
• SPARK-53908 Устранение наблюдений в Spark Connect с помощью кэша планов
• SPARK-53841 Реализация transform() в API столбцов
• SPARK-53929 Поддержка TIME в функциях make_timestamp и try_make_timestamp в Scala
• SPARK-53902 Добавление битов шаблона узла дерева для поддерживаемых выражений в ParameterizedQuery списке аргументов
• SPARK-53064 Переопределение MDC LogKey в Java
• SPARK-53762 Добавление упрощенного правила преобразования даты и времени в оптимизатор
• SPARK-53916 Дедупликация переменных в PythonArrowInput
• SPARK-53690 Исправление экспоненциального форматирования avgOffsetsBehindLatest и estimatedTotalBytesBehindLatest в объекте источников Kafka в файле progress json
• SPARK-53789 Канонизировать условие ошибки CANNOT_MODIFY_STATIC_CONFIG
• SPARK-53720 Упрощение извлечения таблицы из DataSourceV2Relation (#52460)
• SPARK-45530 Используйте java.lang.ref.Cleaner вместо finalize для NioBufferedFileInputStream
• SPARK-53789 Отмена "[SC-208902][sql][CONNECT] Приведение условия ошибки к каноническому виду CANNOT_MODIFY_STATIC_CONFIG"
• SPARK-53789 Канонизировать условие ошибки CANNOT_MODIFY_STATIC_CONFIG
• SPARK-53111 Реализация функции time_diff в PySpark
• SPARK-53896 Включить spark.io.compression.lzf.parallel.enabled по умолчанию
• SPARK-53856 Удаление альтернативных имен конфигурации
• SPARK-53611 Ограничение размеров пакетов Arrow в оконных агрегирующих пользовательских функциях
• SPARK-53575 Выполнять повторно все этапы консумеров при обнаружении несоответствия контрольной суммы для задачи повторной перетасовки карты
• SPARK-53867 Ограничение размеров пакетов Arrow в SQL_GROUPED_AGG_ARROW_UDF
• SPARK-53877 Введение функции BITMAP_AND_AGG
• SPARK-51426 Исправление "Настройка метаданных для пустого дикта не работает"
• SPARK-53868 Использование проверки длины массива вместо прямой проверки ссылок в V2ExpressionBuilder
• SPARK-53609 Ограничение размеров пакетов Arrow в SQL_GROUPED_AGG_PANDAS_UDF
• SPARK-53892 Используйте DescribeTopicsResult.allTopicNames вместо нерекомендуемого all API
• SPARK-53878 Устранение проблемы с состоянием гонки, связанной с наблюдаемой метрикой
• SPARK-53796 Добавление extension поля в несколько прототипов конвейера для поддержания будущей совместимости
• SPARK-53850 Определение прототипа для приемников и переименование DefineDataset в DefineOutput
• SPARK-53812 Рефакторинг протоколов DefineDataset и DefineFlow для группировки связанных свойств и обеспечения их актуальности в будущем.
• SPARK-53870 Исправлена ошибка частичного чтения для больших сообщений proto в TransformWithStateInPySparkStateServer
• SPARK-53751 Явное расположение контрольных точек с указанием версии
• SPARK-52407 Добавление поддержки Theta Sketch (#171135)
• SPARK-53779 Реализация transform() в API столбцов
• SPARK-49547 Добавление итератора RecordBatch API в applyInArrow
• SPARK-53802 Поддержка строковых значений для указанной пользователем схемы в таблицах SDP
• SPARK-53865 Извлечение общей логики из правила ResolveGenerate
• SPARK-53113 Поддержка типа времени по try_make_timestamp()
• SPARK-53868 Использовать только сигнатуру с выражением[] visitAggregateFunction в V2ExpressionSQBuilder
• SPARK-53792 Исправление rocksdbPinnedBlocksMemoryUsage при ограниченной памяти ...
• SPARK-53248 Поддержка checkedCast в JavaUtils
• SPARK-52640 Пропагировать расположение исходного кода Python
• SPARK-52924 Поддержка стратегии ZSTD для сжатия
• SPARK-53562 Повторное применение "[SC-207233][python] Ограничение размеров пакетов Arrow в applyInArrow и applyInPandas"
• SPARK-51272 Прерывание, а не продолжение частично завершенного недетерминированного этапа результата на ResubmitFailedStages
• SPARK-53795 Удаление неиспользуемых параметров в LiteralValueProtoConverter
• SPARK-53808 Разрешить передавать необязательные аргументы JVM в spark-connect-scala-client
• SPARK-52614 Поддержка RowEncoder внутри кодировщика продукта
• SPARK-53833 Обновление dev/requirements.txt для пропуска torch/torchvision в Python 3.14
• SPARK-53715 Рефакторизация getWritePrivileges для MergeIntoTable
• SPARK-53516 Исправление spark.api.mode процесса arg в SparkPipelines
• SPARK-53507 Не используйте класс вариантов для BreakingChangeInfo
• SPARK-53645 Реализуйте параметр для ps.DataFrame skipna
• SPARK-53717 Более правильное изменение комментария к параметру MapType.valueContainsNull
• SPARK-53700 Удаление избыточности в DataSourceV2RelationBase.simpleString
• SPARK-53667 Исправление EXPLAIN для вызова с помощью IDENTIFIER
• SPARK-53562 Вернитесь на "[SC-207233][python] Ограничение размеров пакетов со стрелками в applyInArrow и applyInPandas"
• SPARK-51169 Добавление поддержки Python 3.14 в Классической версии Spark
• SPARK-53562 Ограничение размеров пакетов Arrow в applyInArrow и applyInPandas
• SPARK-53806 Разрешить пустые входные данные в расшифровке AES иметь класс ошибок
• SPARK-51756 Вычисляет RowBasedChecksum в ShuffleWriters
• SPARK-52807 Изменения в proto для поддержки анализа функций запросов внутри декларативных конвейеров
• SPARK-53728 Вывод сообщения PipelineEvent об ошибке в тесте
• SPARK-53207 Отправка события конвейера клиенту асинхронно
• SPARK-53829 Поддержка datetime.time в операторах столбцов
• SPARK-53638 Ограничение размера байтов пакета со стрелками для TWS, чтобы избежать OOM
• SPARK-53593 Исправление: использование без кавычек для полей ответа
• SPARK-53734 Предпочитать столбец таблицы над LCA при разрешении индекса массива
• SPARK-53593 Добавление поля ответа для DefineDataset и DefineFlow RPC
• SPARK-53734 АННУЛИРОВАТЬ "[SC-207697][sql] Предпочтение столбца таблицы над LCA при решении индекса массива"
• SPARK-53621 Добавление поддержки для выполнения CONTINUE HANDLER
• SPARK-53734 Предпочитать столбец таблицы над LCA при разрешении индекса массива
• SPARK-53507 Добавить сведения о критических изменениях в ошибки
• SPARK-53707 Улучшена обработка метаданных атрибутов.
• SPARK-53629 Реализация расширения типов для MERGE INTO WITH SCHEMA EVOLUTION
• SPARK-53719 Улучшение функции проверки _to_col типов
• SPARK-53735 Скрытие трассировок стека JVM на стороне сервера по умолчанию в выходных данных spark-pipelines
• SPARK-53651 Добавление поддержки постоянных представлений в конвейерах
• SPARK-53678 Исправление NPE при создании подкласса ColumnVector с null DataType
• SPARK-46679 Исправление для исключения SparkUnsupportedOperationException: Не найден кодировщик типа T при использовании параметризованного класса.
• SPARK-53444 Повторная работа немедленной повторной работы выполняется немедленно
• SPARK-53578 Упрощение обработки типов данных в LiteralValueProtoConverter
• SPARK-53438 Использование CatalystConverter в LiteralExpressionProtoConverter
• SPARK-53444 Возврат "[SC-206535][sql][CORE] Повторная работа выполняет немедленную переработку немедленного выполнения повторной работы".
• SPARK-53444 Повторная работа немедленной повторной работы выполняется немедленно
• SPARK-53112 Поддержка TIME в функциях make_timestamp_ntz и try_make_timestamp_ntz в PySpark
• SPARK-53492 Отклонить второй ExecutePlan с идентификатором операции, который уже был завершен
• SPARK-52772 Переадресация исправлений золотых файлов
• SPARK-53591 Упрощение сопоставления шаблонов спецификаций конвейера
• SPARK-53553 Исправлена обработка значений NULL в LiteralValueProtoConverter
• SPARK-52772 Несогласованная обработка атрибутов таблицы во время обновлений
• SPARK-53544 Поддержка сложных типов в наблюдениях
• SPARK-53357 Обновление pandas до версии 2.3.2
• SPARK-53402 Поддержка API набора данных прямого сквозного секционирования в Spark Connect в Scala
• SPARK-53372 SDP комплексное тестирование системы
• SPARK-53402 Отмена "[SC-206163][connect] Поддержка API набора данных для прямого сквозного разделения в Spark Connect в Scala"
• SPARK-53402 Поддержка API набора данных прямого сквозного секционирования в Spark Connect в Scala
• SPARK-53233 Сделать код, связанный с streaming, использовать правильное имя пакета
• SPARK-53233 Отменить "[SC-203716][sql][SS][mllib][CONNECT] Сделайте код, связанный с streaming использованием правильного имени пакета"
• SPARK-53233 Сделать код, связанный с streaming, использовать правильное имя пакета
• SPARK-53561 Перехват исключения прерывания в TransformWithStateInPySparkStateServer во время outputStream.flush, чтобы избежать сбоя рабочего процесса
• SPARK-53486 Избегайте настройки weights_only=False в загрузке модели факела
• SPARK-53391 Удаление неиспользуемого файла PrimitiveKeyOpenHashMap
• SPARK-52431 Завершающие штрихи на механизме выполнения декларативных конвейеров
• SPARK-52980 Поддержка Python UDTF с использованием Apache Arrow
• SPARK-53453 Разблокируйте "факел<2.6.0"
• SPARK-52582 Remerge "[SC-199314][sc-204581][SQL] Улучшение использования памяти средства синтаксического анализа XML"
• SPARK-52582 Отменить изменения "[SC-199314][sc-204581][SQL] Улучшение использования памяти XML-парсера"
• SPARK-52582 Улучшение использования памяти средства синтаксического анализа XML
• SPARK-51906 Выражения Dsv2 в alter table add columns
• SPARK-53150 Улучшить list(File|Path)s для обработки несуществующих входных данных, данных, не относящихся к каталогу, и симлинков.
• SPARK-53091 Запрещение org.apache.commons.lang3.Strings
• SPARK-52844 Обновление numpy до версии 1.22
• SPARK-52912 Улучшить SparkStringUtils для поддержки is(Not)?(Blank|Empty)
• SPARK-52877 Повышение производительности сериализатора стрелок UDF Python
• SPARK-52877 Вернитесь на "[SC-201914][python] Повышение производительности сериализатора UDF со стрелками Python"
• SPARK-52238 Клиент Python для декларативных конвейеров
• SPARK-52877 Повышение производительности сериализатора стрелок UDF Python
• SPARK-53287 Добавление руководства по миграции ANSI
• SPARK-52110 Реализация поддержки синтаксиса SQL для конвейеров
• SPARK-52897 Обновление pandas до версии 2.3.1
• SPARK-52451 Отмена "[SC-202894][connect][SQL] Сделать WriteOperation в SparkConnectPlanner нейтральным к побочным эффектам"
• SPARK-52976 Исправление ошибки, когда Python UDF не принимает строку с учетом порядка как входной параметр/тип возвращаемого значения.
• SPARK-52904 Включить convertToArrowArraySafely по умолчанию
• Spark-52821 add int-DecimalType> pyspark udf return type coercion
• SPARK-52971 Ограничение размера очереди рабочей роли Python бездействия
• SPARK-53013 Исправлено исправление UDTF Python, оптимизированное со стрелками, не возвращающее строк при боковом соединении
• SPARK-51834 Синхронизация ОСS: поддержка сквозного ограничения таблицы alter add/drop
• SPARK-52675 Прерывание зависания обработчиков машинного обучения в тестах
• SPARK-52959 Поддержка определяемого пользователем протокола UDT в UDTF, оптимизированном для стрелки
• SPARK-52961 Исправление Python UDTF, оптимизированного с помощью Arrow, с 0-arg eval при боковом соединении
• SPARK-52949 Избегайте циклического обхода между RecordBatch и таблицей в UDTF Python, оптимизированной со стрелками
• SPARK-52946 Исправление UDTF Python, оптимизированного со стрелками, для поддержки больших типов var
• SPARK-52934 Разрешить получение скалярных значений с помощью Python UDTF, оптимизированного для Arrow
• SPARK-52861 Пропуск создания объекта Row в оптимизированном для Arrow выполнении UDTF.
• SPARK-51834 Синхронизация осs поддержки сквозного создания и замены таблицы ограничением
• SPARK-44856 Повышение производительности сериализатора стрелок на Python UDTF
• SPARK-51834 Вернитесь на "[SQL] Исправление TableSpec путем добавления конструктора"
• SPARK-51834 Исправление TableSpec путем добавления конструктора
• SPARK-51834 Отмена "[SQL] Синхронизация OSS (частично): поддержка полных ограничений таблицы при создании/замене таблицы"
• SPARK-51834 Синхронизация OSS (частично): поддержка ограничения таблицы end-to-end при создании и замене таблицы
• SPARK-52885 Реализация часов, минут и второй функций в Scala для типа TIME
• SPARK-51834 Синхронизация вызовов с обновлением OSS ResolvedIdentifier
• SPARK-44856 Вернитесь на "[SC-195808][python] Улучшение производительности сериализатора стрелок UDTF Python"
• SPARK-51834 Откатить "[SQL] Синхронизация обновлений OSS для операций unapply ResolvedIdentifier"
• SPARK-44856 Повышение производительности сериализатора стрелок на Python UDTF
• SPARK-51834 Синхронизация вызовов с обновлением OSS ResolvedIdentifier
• SPARK-52787 Реорганизация потоковой передачи dir вокруг областей выполнения и контрольных точек
• SPARK-51695 Синхронизация OSS create/replace/alter table for unique constraint via DSv2
• SPARK-51695 Ограничение удаления OSS синхронизации с помощью DSv2
• SPARK-51695 Введите изменения средства синтаксического анализа для ограничений таблиц (CHECK, PK, FK)
• SPARK-51695 Отменить "[SQL] Внесение изменений в синтаксический анализ для ограничений таблиц (CHECK, PK, FK)"
• SPARK-51695 Введите изменения средства синтаксического анализа для ограничений таблиц (CHECK, PK, FK)
• SPARK-49428 Перемещение клиента Scala из соединителя в SQL
• SPARK-52422 Обновление pandas до версии 2.3.0
• SPARK-52228 Интеграция микробенчмарка взаимодействия состояния в Quicksilver (TCP)
• SPARK-52300 Реализация разрешения SQL UDTVF с конфигурациями, согласованными с разрешением представления
• SPARK-52228 Создание бенчмаркингового сервера состояний TWS с реализацией состояния в памяти и бенчмаркинговым кодом на Python.
• SPARK-52174 Включить spark.checkpoint.compress по умолчанию
• SPARK-52224 Введение pyyaml в качестве зависимости для клиента Python
• SPARK-52122 Исправлена уязвимость DefaultParamsReader RCE
• SPARK-51147 Переработка классов, связанных с потоковой передачей, в выделенную директорию для потоковой передачи
• SPARK-51789 Учитывать параметры "spark.api.mode" и "spark.remote" при правильном разборе аргументов в процессе отправки запроса в Spark.
• SPARK-51212 Добавление разделенного пакета PySpark для Spark Connect по умолчанию
• SPARK-50762 Добавление правила анализа для разрешения скалярных определяемых пользователем функций (SQL scalar UDF)
• SPARK-49748 Добавить getCondition и объявить устаревшим getErrorClass в SparkThrowable
• SPARK-50605 Поддержка режима API SQL для упрощения миграции в Spark Connect
• SPARK-50458 Правильная обработка ошибок для неподдерживаемой файловой системы при чтении файлов
• SPARK-49700 Унифицированный интерфейс Scala для подключения и классической версии
• SPARK-51779 Использование семейств виртуальных столбцов для потоковых соединений
• SPARK-51820 Перемещение UnresolvedOrdinal построения перед анализом, чтобы избежать проблемы с группировкой по порядку.
• SPARK-51814 Знакомство с новым API transformWithState в PySpark
• SPARK-51635 Слияние PushProjectionThroughLimit и PushProjectionThroughOffset
• SPARK-51165 Включить spark.master.rest.enabled по умолчанию
• SPARK-516888 Использование сокета домена Unix между взаимодействием Python и JVM
• SPARK-51503 Поддержка типа Variant в сканировании XML
• SPARK-50564 Обновление protobuf пакета Python до версии 5.29.1
• SPARK-50359 Обновление PyArrow до 18.0
• SPARK-51340 Оценка размера модели
• SPARK-50657 Обновление минимальной версии pyarrow до версии 11.0.0
• SPARK-49282 Создайте общий интерфейс SparkSessionBuilder.
• SPARK-51371 Изменение с ToString на ToPrettySQL при построении псевдонимов в ResolveAggregateFunctions.
• SPARK-50694 Поддержка переименований в вложенных запросах
• SPARK-50601 Отменить "[SC-186342][sql] Поддержка функций withColumns / withColumnsRenamed в подзапросах"
• SPARK-50601 Поддержка withColumns / withColumnsRenamed в подзапросах

Поддержка драйвера ODBC/JDBC для Azure Databricks

Databricks поддерживает драйверы ODBC/JDBC, выпущенные за последние 2 года. Скачайте недавно выпущенные драйверы и обновление (скачайте ODBC, скачайте JDBC).

Технические обновления

Ознакомьтесь с обновлениями обслуживания Databricks Runtime.

Системная среда

• Операционная система: Ubuntu 24.04.3 LTS
• Java: Zulu21.42+19-CA
• Scala: 2.13.16
• Python: 3.12.3
• R: 4.5.1
• Delta Lake: 4.0.0

Установленные библиотеки Python

Библиотека	Версия	Библиотека	Версия	Библиотека	Версия
аннотированный документ	0.0.3	аннотированные типы	0.7.0	anyio	4.7.0
argon2-cffi	21.3.0	argon2-cffi-связки	21.2.0	arro3-core	0.6.5
стрела	1.3.0	асттокенс	3.0.0	астунпарс	1.6.3
async-lru	2.0.4	атрибуты	24.3.0	автоматическая команда	2.2.2
azure-common	1.1.28	azure-core	1.37.0	azure-identity	1.20.0
Платформа управления Azure (azure-mgmt-core)	1.6.0	azure-mgmt-web	8.0.0	azure-storage-blob (облако сохранения Azure)	12.28.0
хранилище файлов данных Azure Data Lake	12.22.0	Вавилон	2.16.0	backports.tarfile	1.2.0
beautifulsoup4	4.12.3	черный	24.10.0	отбеливатель	6.2.0
указатель поворота	1.7.0	boto3	1.40.45	botocore	1.40.45
инструменты для кэша	5.5.1	сертификат	2025.4.26	cffi	1.17.1
chardet	4.0.0	нормализатор кодировки	3.3.2	щелчок	8.1.8
Клаудпикл	3.0.0	коммуникация	0.2.1	Contourpy	1.3.1
криптография	44.0.1	велосипедист	0.11.0	Cython	3.1.5
databricks-агенты	1.4.0	databricks-connect	17.3.1	databricks-sdk	0.67.0
dataclasses-json	0.6.7	dbus-python	1.3.2	debugpy	1.8.11
декоратор	5.1.1	defusedxml	0.7.1	deltalake	1.1.4
Deprecated	1.2.18	Дистлиб	0.3.9	Конвертация docstring в markdown	0.11
исполнение	1.2.0	Обзор аспектов	1.1.1	fastapi	0.128.0
fastjsonschema	2.21.1	файловая блокировка	3.17.0	шрифтовые инструменты	4.55.3
Полное доменное имя (FQDN)	1.5.1	fsspec	2023.5.0	gitdb	4.0.11
GitPython	3.1.43	google-api-core	2.28.1	google-auth (аутентификация от Google)	2.47.0
google-cloud-core (основной модуль Google Cloud)	2.5.0	облачное хранилище Google	3.7.0	google-crc32c	1.8.0
гугл-возобновляемые-медиа	2.8.0	googleapis-common-protos (общие протоколы googleapis)	1.65.0	grpcio	1.67.0
grpcio-status	1.67.0	h11	0.16.0	httpcore	1.0.9
httplib2	0.20.4	httpx	0.28.1	IDNA	3,7
importlib-metadata	6.6.0	склонять	7.3.1	iniconfig	1.1.1
ipyflow-core	0.0.209	ipykernel	6.29.5	ipython	8.30.0
ipython-genutils (утилиты для iPython)	0.2.0	ipywidgets	7.8.1	isodate (стандартная дата ISO)	0.7.2
изодурация	20.11.0	jaraco.collections	5.1.0	jaraco.context	5.3.0
jaraco.functools	4.0.1	jaraco.text	3.12.1	джедаи	0.19.2
Джинджа2	3.1.6	джиттер	0.11.1	jmespath	1.0.1
joblib	1.4.2	json5	0.9.25	jsonpatch	1.33
Джсонпоинтер (jsonpointer)	3.0.0	jsonschema (JSON-схема)	4.23.0	jsonschema-спецификации	2023.7.1
Jupyter-события	0.12.0	jupyter-lsp	2.2.5	клиент Jupyter	8.6.3
jupyter_core (ядро Jupyter)	5.7.2	Джупитер_сервер	2.15.0	терминалы_сервера_jupyter	0.5.3
jupyterlab	4.3.4	jupyterlab_pygments	0.3.0	jupyterlab_server (сервер для JupyterLab)	2.27.3
jupyterlab_widgets	1.1.11	Кивисолвер	1.4.8	langchain-core	1.0.3
langchain-openai	1.0.2	langsmith	0.4.41	launchpadlib	1.11.0
lazr.restfulclient	0.14.6	lazr.uri	1.0.6	markdown-it-py	2.2.0
MarkupSafe	3.0.2	зефир	3.26.1	matplotlib	3.10.0
матплотлиб-инлайн	0.1.7	МакКейб	0.7.0	mdurl	0.1.0
Мистун	3.1.2	mlflow-skinny (упрощённая версия пакета mlflow)	3.8.1	mmh3	5.2.0
more-itertools	10.3.0	msal	1.34.0	msal-extensions	1.3.1
mypy-extensions (расширения для mypy)	1.0.0	nbclient	0.10.2	Перекодировщик nbconvert	7.16.6
nbformat	5.10.4	nest-asyncio	1.6.0	nodeenv	1.10.0
notebook	7.3.2	ноутбук_шим	0.2.4	numpy (библиотека для работы с массивами и матрицами в Python)	2.1.3
OAuthlib	3.2.2	openai	2.7.1	opentelemetry-api	1.39.1
opentelemetry-proto	1.39.1	opentelemetry-sdk	1.38.0	cемантические соглашения opentelemetry	0.60b1
orjson	3.11.4	Переопределения	7.4.0	упаковка	24,2
Панды	2.2.3	пандокфильтры	1.5.0	Парсо	0.8.4
спецификация пути	0.10.3	простак	1.0.1	pexpect (библиотека Python для автоматизации взаимодействия с приложениями)	4.8.0
подушка	11.1.0	пит	25.0.1	Platformdirs	4.3.7
библиотека Plotly для визуализации данных	5.24.1	менеджер плагинов Pluggy	1.5.0	prometheus_client	0.21.1
prompt-toolkit (инструментарий подсказок)	3.0.43	proto-plus	1.27.0	protobuf (протобуф)	5.29.4
psutil (пакет Python для работы с процессами и системами)	5.9.0	psycopg2	2.9.11	ptyprocess	0.7.0
пьюр-эвэл	0.2.2	py4j	0.10.9.9	pyarrow	21.0.0
pyasn1	0.4.8	pyasn1-modules	0.2.8	Пикколо	0.0.71
pycparser	2.21	pydantic (библиотека Python для валидации данных)	2.10.6	pydantic_core	2.27.2
pyflakes (аналитический инструмент для Python)	3.2.0	Пигменты	2.19.1	PyGObject	3.48.2
pyiceberg	0.10.0	PyJWT	2.10.1	pyodbc	5.2.0
pyparsing (библиотека для синтаксического анализа в Python)	3.2.0	pyright	1.1.394	пироаринг	1.0.3
pytest	8.3.5	python-dateutil (библиотека для работы с датами и временем в Python)	Версия 2.9.0.post0	python-dotenv	1.2.1
python-json-logger (пакет для логирования JSON в Python)	3.2.1	python-lsp-jsonrpc	1.1.2	python-lsp-server (сервер Python LSP)	1.12.2
Pytoolconfig	1.2.6	pytz (библиотека Python для работы с часовыми поясами)	2024.1	PyYAML	6.0.2
pyzmq	26.2.0	Ссылки	0.30.2	regex	2024.11.6
Запросы	2.32.3	requests-toolbelt	1.0.0	rfc3339-валидатор	0.1.4
rfc3986-validator	0.1.1	богатый	13.9.4	верёвка	1.13.0
rpds-py	0.22.3	rsa	4.9.1	s3transfer	0.14.0
scikit-learn (библиотека машинного обучения)	1.6.1	scipy (библиотека Python)	1.15.3	мореборн	0.13.2
Send2Trash	1.8.2	setuptools (пакет для установки и управления Python-пакетами)	78.1.1	шесть	1.17.0
сммап	5.0.0	сниффио	1.3.0	отсортированные контейнеры	2.4.0
ситечко для супа	2.5	sqlparse	0.5.5	ssh-import-id (импортировать идентификатор SSH)	5.11
стековые данные	0.6.3	старлетка	0.50.0	strictyaml	1.7.3
упорство	9.0.0	закончено	0.17.1	Threadpoolctl	3.5.0
тиктокен	0.12.0	tinycss2	1.4.0	tokenize_rt	6.1.0
томли	2.0.1	торнадо	6.5.1	tqdm	4.67.1
Трейтлеты	5.14.3	типгард	4.3.0	types-python-dateutil	2.9.0.20251115
ввод текста и проверка	0.9.0	typing_extensions (расширения для ввода текста)	4.12.2	tzdata	2024.1
ujson	5.10.0	автоматические обновления без участия пользователя	0,1	URI-шаблон	1.3.0
urllib3	2.3.0	uvicorn	0.38.0	virtualenv	20.29.3
wadllib	1.3.6	wcwidth (ширина символа в Unicode)	0.2.5	webcolors	25.10.0
веб-энкодинги	0.5.1	websocket-клиент	1.8.0	чтоэто за патч	1.0.2
колесо	0.45.1	когда бы ни	0.7.3	widgetsnbextension	3.6.6
завёрнут	1.17.0	yapf (форматировщик Python кода)	0.40.2	ZIPP	3.21.0
zstandard	0.23.0

Установленные библиотеки R

Библиотеки R устанавливаются из снимка состояния CRAN диспетчера пакетов Posit от 20.11.2025.

Библиотека	Версия	Библиотека	Версия	Библиотека	Версия
стрела	22.0.0	аскпасс	1.2.1	утверждать, что	0.2.1
обратные порты	1.5.0	основа	4.5.1	base64enc	0.1-3
bigD	0.3.1	кусочек	4.6.0	64-бит	4.6.0-1
bitops	1.0-9	комок	1.2.4	сапог	1.3-30
варить	1.0-10	жизнерадостность	1.1.5	метла	1.0.10
bslib	0.9.0	кашемир	1.1.0	звонящий	3.7.6
каретка	7.0-1	целлрейнджер	1.1.0	хронометр	2.3-62
класс	7.3-22	интерфейс командной строки (CLI)	3.6.5	клиппер	0.8.0
часы	0.7.3	кластер	2.1.6	codetools	0.2-20
коммонмарк	2.0.0	компилятор	4.5.1	config	0.3.2
испытывающий противоречивые чувства	1.2.0	cpp11	0.5.2	карандаш	1.5.3
credentials	2.0.3	завиток	7.0.0	таблица данных	1.17.8
Наборы данных	4.5.1	DBI	1.2.3	dbplyr	2.5.1
описание	1.4.3	средства разработки	2.4.6	Схема	1.6.5
diffobj	0.3.6	дайджест	0.6.39	направленное вниз освещение	0.4.5
dplyr (пакет для обработки данных в R)	1.1.4	dtplyr	1.3.2	e1071	1.7-16
многоточие	0.3.2	оценивать	1.0.5	поклонники	1.0.7
Цвета	2.1.2	фастмап	1.2.0	fontawesome	0.5.3
Forcats (форкатс)	1.0.1	foreach	1.5.2	иностранный	0.8-86
fs	1.6.6	будущее	1.68.0	будущее.применить	1.20.0
полоскать горло	1.6.0	Дженерики	0.1.4	Герт	2.2.0
ggplot2	4.0.1	gh	1.5.0	git2r	0.36.2
gitcreds	0.1.2	glmnet	4.1-10	глобальные переменные	0.18.0
клей	1.8.0	googledrive	2.1.2	googlesheets4	1.1.2
Говер	1.0.2	графика	4.5.1	grDevices	4.5.1
сеть	4.5.1	gridExtra	2.3	gsubfn	0.7
gt	1.1.0	гтабл	0.3.6	каска	1.4.2
убежище	2.5.5	выше	0.11	HMS	1.1.4
инструменты для HTML	0.5.8.1	HTML-виджеты	1.6.4	httpuv	1.6.16
httr	1.4.7	httr2	1.2.1	удостоверения личности	1.0.1
ini	0.3.1	ипред	0,9–15	изо-лента	0.2.7
Itераторы	1.0.14	jquerylib	0.1.4	jsonlite	2.0.0
сочный сок	0.1.0	KernSmooth	2,23-22	knitr (пакет для динамической генерации отчетов в языке программирования R)	1.50
маркирование	0.4.3	позже	1.4.4	решётка	0,22–5
лава	1.8.2	жизненный цикл	1.0.4	слушай	0.10.0
litedown	0.8	лубридейт	1.9.4	магриттр	2.0.4
Markdown	2.0	Масса	7.3-60.0.1	«Матрица»	1.6-5
Запоминание	2.0.1	методы	4.5.1	mgcv	1.9-1
mime	0,13	мини-интерфейс	0.1.2	mlflow	3.6.0
ModelMetrics	1.2.2.2	модельер	0.1.11	nlme	3.1-164
ннейронная сеть	7.3-19	numDeriv	2016.8-1.1	OpenSSL	2.3.4
otel	0.2.0	параллельный	4.5.1	параллельно	1.45.1
столб	1.11.1	пакджбилд	1.4.8	pkgconfig	2.0.3
pkgdown	2.2.0	пкглоад (pkgload)	1.4.1	Плогр	0.2.0
плайр	1.8.9	похвала	1.0.0	prettyunits	1.2.0
pROC	1.19.0.1	Processx	3.8.6	Prodlim	2025.04.28
profvis	0.4.0	прогресс	1.2.3	progressr	0.18.0
обещания	1.5.0	прото	1.0.0	прокси	0.4-27
п.с.	1.9.1	мурлыканье	1.2.0	Р6	2.6.1
ragg	1.5.0	randomForest (рандомФорест)	4.7-1.2	рэпдирс	0.3.3
rcmdcheck	1.4.0	RColorBrewer	1.1-3	Rcpp	1.1.0
RcppEigen	0.3.4.0.2	реактивный	0.4.4	ReactR	0.6.1
readr	2.1.6	readxl (пакет для чтения Excel-файлов)	1.4.5	Рецепты	1.3.1
реванш	2.0.0	реванш2	2.1.2	пульты дистанционного управления	2.5.0
репрекс	2.1.1	Изменить форму2	1.4.5	rlang	1.1.6
rmarkdown (инструмент для создания динамических документов в R)	2,30	RODBC	1.3-26	roxygen2	7.3.3
rpart (пакет для построения деревьев решений в языке программирования R)	4.1.23	rprojroot	2.1.1	Rserve (Рcерве)	1.8-15
RSQLite	2.4.4	рстудиоапи	0.17.1	rversions	3.0.0
Рвест	1.0.5	S7	0.2.1	дерзость	0.4.10
весы	1.4.0	селектор	0.4-2	информация о сессии	1.2.3
форма	1.4.6.1	блестящий	1.11.1	sourcetools	0.1.7-1
sparklyr	1.9.3	SparkR	4.1.0	Sparsevctrs	0.3.4
пространственный	7.3-17	Сплайны	4.5.1	SQLDF	0,4-11
SQUAREM	январь 2021	статистика	4.5.1	статистика4	4.5.1
стринги	1.8.7	стрингр	1.6.0	выживание	3.5-8
самоуверенность и стильный вид	5.17.14.1	sys	3.4.3	systemfonts	1.3.1
язык программирования Tcl/Tk	4.5.1	testthat	3.3.0	форматирование текста	1.0.4
Tibble	3.3.0	Тидыр	1.3.1	tidyselect	1.2.1
tidyverse (тайдивёрс)	2.0.0	смена времени	0.3.0	ТаймДата	4051.111
tinytex	0.58	инструменты	4.5.1	База данных часовых зон (tzdb)	0.5.0
URL-чекер	1.0.1	используйэто	3.2.1	utf8	1.2.6
утилиты	4.5.1	UUID (Универсальный уникальный идентификатор)	1.2-1	V8	8.0.1
vctrs	0.6.5	viridisLite	0.4.2	брррм	1.6.6
Уолдо	0.6.2	ус	0.4.1	увядать	3.0.2
xfun	0.54	xml2	1.5.0	xopen	1.0.1
xtable	1.8-4	YAML	2.3.10	зилот	0.2.0
ZIP-архив	2.3.3

Установленные библиотеки Java и Scala (версия кластера Scala 2.13)

Идентификатор группы	Идентификатор артефакта	Версия
Антлер	Антлер	2.7.7
com.amazonaws	Клиент Amazon Kinesis	1.15.3
com.amazonaws	aws-java-sdk-autoscaling (автоматическое масштабирование)	1.12.681
com.amazonaws	aws-java-sdk-cloudformation	1.12.681
com.amazonaws	aws-java-sdk-cloudfront	1.12.681
com.amazonaws	aws-java-sdk-cloudhsm	1.12.681
com.amazonaws	AWS Java SDK для CloudSearch	1.12.681
com.amazonaws	aws-java-sdk-cloudtrail	1.12.681
com.amazonaws	aws-java-sdk-cloudwatch	1.12.681
com.amazonaws	aws-java-sdk-cloudwatchmetrics	1.12.681
com.amazonaws	aws-java-sdk-codedeploy (AWS Java SDK для CodeDeploy)	1.12.681
com.amazonaws	aws-java-sdk-cognitoidentity	1.12.681
com.amazonaws	aws-java-sdk-cognitosync	1.12.681
com.amazonaws	Конфигурация SDK для Java от AWS	1.12.681
com.amazonaws	aws-java-sdk-core	1.12.681
com.amazonaws	aws-java-sdk-datapipeline (пакет для работы с Data Pipeline на Java)	1.12.681
com.amazonaws	aws-java-sdk-directconnect	1.12.681
com.amazonaws	aws-java-sdk-directory	1.12.681
com.amazonaws	aws-java-sdk-dynamodb	1.12.681
com.amazonaws	aws-java-sdk-ec2	1.12.681
com.amazonaws	aws-java-sdk-ecs	1.12.681
com.amazonaws	aws-java-sdk-efs	1.12.681
com.amazonaws	aws-java-sdk-elasticache	1.12.681
com.amazonaws	aws-java-sdk-elasticbeanstalk	1.12.681
com.amazonaws	aws-java-sdk-elasticloadbalancing (пакет программного обеспечения для балансировки нагрузки в AWS, написанный на Java)	1.12.681
com.amazonaws	aws-java-sdk-elastictranscoder (Java SDK для Elastic Transcoder)	1.12.681
com.amazonaws	aws-java-sdk-emr	1.12.681
com.amazonaws	aws-java-sdk-glacier (пакет программного обеспечения для работы с Glacier)	1.12.681
com.amazonaws	aws-java-sdk-glue	1.12.681
com.amazonaws	aws-java-sdk-iam	1.12.681
com.amazonaws	aws-java-sdk-importexport (пакет для импорта и экспорта данных)	1.12.681
com.amazonaws	aws-java-sdk-kinesis	1.12.681
com.amazonaws	aws-java-sdk-kms (пакет программного обеспечения для работы с AWS KMS)	1.12.681
com.amazonaws	aws-java-sdk-lambda	1.12.681
com.amazonaws	aws-java-sdk-logs	1.12.681
com.amazonaws	AWS Java SDK для машинного обучения	1.12.681
com.amazonaws	aws-java-sdk-opsworks	1.12.681
com.amazonaws	AWS Java SDK для RDS	1.12.681
com.amazonaws	AWS Java SDK для Redshift	1.12.681
com.amazonaws	aws-java-sdk-route53	1.12.681
com.amazonaws	aws-java-sdk-s3	1.12.681
com.amazonaws	aws-java-sdk-ses	1.12.681
com.amazonaws	aws-java-sdk-simpledb	1.12.681
com.amazonaws	aws-java-sdk-simpleworkflow	1.12.681
com.amazonaws	aws-java-sdk-sns	1.12.681
com.amazonaws	aws-java-sdk-sqs	1.12.681
com.amazonaws	aws-java-sdk-ssm (AWS SDK для Java — SSM модуль)	1.12.681
com.amazonaws	AWS Java SDK для Storage Gateway	1.12.681
com.amazonaws	aws-java-sdk-sts	1.12.681
com.amazonaws	Поддержка AWS Java SDK	1.12.681
com.amazonaws	aws-java-sdk-workspaces	1.12.681
com.amazonaws	jmespath-java	1.12.681
com.clearspring.analytics	поток	2.9.8
com.databricks	Rserve (Рcерве)	1.8-3
com.databricks	SDK для Java от Databricks	0.53.0
com.databricks	jets3t	0.7.1-0
com.databricks.scalapb	scalapb-runtime_2.13	0.4.15-11
com.esotericsoftware	криогенное затенение	4.0.3
com.esotericsoftware	минлог	1.3.0
com.fasterxml	одноклассник	1.5.1
com.fasterxml.jackson.core	аннотации Джексона	2.18.2
com.fasterxml.jackson.core	джексон-ядро	2.18.2
com.fasterxml.jackson.core	джексон-databind	2.18.2
com.fasterxml.jackson.dataformat	Джексон-формат-данных-CBOR	2.18.2
com.fasterxml.jackson.dataformat	Джексон-датаформат-ЯМЛ	2.15.2
com.fasterxml.jackson.datatype	джексон-дейтайп-джода	2.18.2
com.fasterxml.jackson.datatype	jackson-datatype-jsr310	2.18.3
com.fasterxml.jackson.module	джексон-модуль-паранэймер	2.18.2
com.fasterxml.jackson.module	jackson-module-scala_2.13	2.18.2
com.github.ben-manes.caffeine	кофеин	2.9.3
com.github.blemale	scaffeine_2.13	4.1.0
com.github.fommil	jniloader	1.1
com.github.fommil.netlib	нативная_ссылка-java	1.1
com.github.fommil.netlib	нативная_ссылка-java	1.1-коренные жители
com.github.fommil.netlib	Нативная_система-java	1.1
com.github.fommil.netlib	Нативная_система-java	1.1-коренные жители
com.github.fommil.netlib	netlib-native_ref-linux-x86_64	1.1-коренные жители
com.github.fommil.netlib	netlib-native_system-linux-x86_64	1.1-коренные жители
com.github.luben	zstd-jni	1.5.7-6
com.github.virtuald	курвесапи	1,08
com.github.wendykierp	JTransforms	3.1
com.google.api.grpc	proto-google-common-protos	2.5.1
com.google.auth	google-auth-library-учетные данные	1.20.0
com.google.auth	google-auth-library-oauth2-http	1.20.0
com.google.auto.value	автоматические аннотации значений	1.10.4
com.google.code.findbugs	jsr305	3.0.0
com.google.code.gson	Gson	2.11.0
com.google.crypto.tink	тинк	1.16.0
com.google.errorprone	ошибкоопасные аннотации	2.36.0
com.google.flatbuffers	flatbuffers-java	25.2.10
com.google.guava	ошибка доступа	1.0.3
com.google.guava	гуава	33.4.8-jre
com.google.http-client	google-http-client	1.43.3
com.google.http-client	google-http-client-gson	1.43.3
com.google.j2objc	j2objc-аннотации	3.0.0
com.google.protobuf	protobuf-java	3.25.5
com.google.protobuf	protobuf-java-util	3.25.5
com.helger	Профилировщик	1.1.1
com.ibm.icu	icu4j	75.1
com.jcraft	jsch	0.1.55
com.lihaoyi	sourcecode_2.13	0.1.9
com.microsoft.azure	azure-data-lake-store-sdk (SDK для Azure Data Lake Store)	2.3.10
com.microsoft.sqlserver	mssql-jdbc	12.8.0.jre11
com.microsoft.sqlserver	mssql-jdbc	12.8.0.jre8
com.ning	compress-lzf (метод сжатия данных)	1.1.2
com.sun.mail	javax.mail	1.5.2
com.sun.xml.bind	jaxb-core	2.2.11
com.sun.xml.bind	jaxb-impl	2.2.11
com.tdunning	JSON (формат обмена данными JavaScript)	1.8
com.thoughtworks.paranamer	Паранэймер	2.8
com.trueaccord.lenses	лензы_2.13	0.4.13
com.twitter	chill-java	0.10.0
com.twitter	chill_2.13	0.10.0
com.twitter	util-app_2.13	19.8.1
com.twitter	util-core_2.13	19.8.1
com.twitter	util-function_2.13	19.8.1
com.twitter	util-jvm_2.13	19.8.1
com.twitter	util-lint_2.13	19.8.1
com.twitter	util-registry_2.13	19.8.1
com.twitter	util-stats_2.13	19.8.1
com.typesafe	config	1.4.3
com.typesafe.scala-logging	scala-logging_2.13	3.9.2
com.uber	h3	3.7.3
com.univocity	юнивосити-парсерс	2.9.1
com.zaxxer	ХикариCP	4.0.3
com.zaxxer	СпарсБитСет	1.3
commons-cli	commons-cli	1.10.0
commons-codec	commons-codec	1.19.0
общие коллекции	общие коллекции	3.2.2
commons-dbcp	commons-dbcp	1.4
загрузка файлов через модуль commons	загрузка файлов через модуль commons	1.6.0
commons-httpclient	commons-httpclient	3.1
commons-io	commons-io	2.21.0
commons-lang	commons-lang	2.6
коммонс-логгинг	коммонс-логгинг	1.1.3
коммонс-пул	коммонс-пул	1.5.4
dev.ludovic.netlib	arpack	3.0.4
dev.ludovic.netlib	Блас	3.0.4
dev.ludovic.netlib	LAPACK (программная библиотека для линейной алгебры)	3.0.4
info.ganglia.gmetric4j	gmetric4j	1.0.10
io.airlift	компрессор воздуха	2.0.2
io.delta	delta-sharing-client_2.13	1.3.6
io.dropwizard.metrics	аннотирование метрик	4.2.37
io.dropwizard.metrics	основные метрики	4.2.37
io.dropwizard.metrics	«metrics-graphite»	4.2.37
io.dropwizard.metrics	Метрики-Чек здоровья	4.2.37
io.dropwizard.metrics	метрики-jetty10	4.2.37
io.dropwizard.metrics	Метрики-JMX	4.2.37
io.dropwizard.metrics	metrics-json	4.2.37
io.dropwizard.metrics	метрики для JVM	4.2.37
io.dropwizard.metrics	метрики и сервлеты	4.2.37
io.github.java-diff-utils	java-diff-utils	4.15
io.netty	netty-all (все пакеты netty)	4.2.7.Final
io.netty	буфер Netty	4.2.7.Final
io.netty	netty-codec (кодек Netty)	4.2.7.Final
io.netty	netty-codec-base	4.2.7.Final
io.netty	netty-codec-classes-quic	4.2.7.Final
io.netty	netty-codec-compression	4.2.7.Final
io.netty	netty-codec-http	4.2.7.Final
io.netty	netty-codec-http2	4.2.7.Final
io.netty	netty-codec-http3	4.2.7.Final
io.netty	netty-codec-маршаллинг	4.2.7.Final
io.netty	netty-codec-native-quic	4.2.7.Final-linux-aarch_64
io.netty	netty-codec-native-quic	4.2.7.Final-linux-x86_64
io.netty	netty-codec-native-quic	4.2.7.Final-osx-aarch_64
io.netty	netty-codec-native-quic	4.2.7.Final-osx-x86_64
io.netty	netty-codec-native-quic	4.2.7.Final-windows-x86_64
io.netty	netty-codec-protobuf	4.2.7.Final
io.netty	netty-codec-socks	4.2.7.Final
io.netty	нетти-общий	4.2.7.Final
io.netty	нетти-хэндлер	4.2.7.Final
io.netty	нетти-обработчик-прокси	4.2.7.Final
io.netty	Netty-резолвер	4.2.7.Final
io.netty	netty-tcnative-boringssl-static	2.0.74.Final-db-r0-linux-aarch_64
io.netty	netty-tcnative-boringssl-static	2.0.74.Final-db-r0-linux-x86_64
io.netty	netty-tcnative-boringssl-static	2.0.74.Final-db-r0-osx-aarch_64
io.netty	netty-tcnative-boringssl-static	2.0.74.Final-db-r0-osx-x86_64
io.netty	netty-tcnative-boringssl-static	2.0.74.Final-db-r0-windows-x86_64
io.netty	netty-tcnative-classes (классы netty-tcnative)	2.0.74.Final
io.netty	netty-transport	4.2.7.Final
io.netty	netty-transport-classes-epoll	4.2.7.Final
io.netty	netty-transport-classes-io_uring	4.2.7.Final
io.netty	netty-transport-classes-kqueue	4.2.7.Final
io.netty	netty-transport-native-epoll	4.2.7.Final
io.netty	netty-transport-native-epoll	4.2.7.Final-linux-aarch_64
io.netty	netty-transport-native-epoll	4.2.7.Final-linux-riscv64
io.netty	netty-transport-native-epoll	4.2.7.Final-linux-x86_64
io.netty	netty-transport-native-io_uring	4.2.7.Final-linux-aarch_64
io.netty	netty-transport-native-io_uring	4.2.7.Final-linux-riscv64
io.netty	netty-transport-native-io_uring	4.2.7.Final-linux-x86_64
io.netty	netty-transport-native-kqueue	4.2.7.Final-osx-aarch_64
io.netty	netty-transport-native-kqueue	4.2.7.Final-osx-x86_64
io.netty	нетти-транспорт-натив-уникс-коммон	4.2.7.Final
io.opencensus	opencensus-api	0.31.1
io.opencensus	opencensus-contrib-http-util	0.31.1
io.prometheus	simpleclient	0.16.1-databricks
io.prometheus	простыйклиент_общий	0.16.1-databricks
io.prometheus	Симплклиент_дропвизард	0.16.1-databricks
io.prometheus	simpleclient_pushgateway	0.16.1-databricks
io.prometheus	simpleclient_servlet	0.16.1-databricks
io.prometheus	simpleclient_servlet_common	0.16.1-databricks
io.prometheus	simpleclient_tracer_common	0.16.1-databricks
io.prometheus	simpleclient_tracer_otel	0.16.1-databricks
io.prometheus	simpleclient_tracer_otel_agent	0.16.1-databricks
io.prometheus.jmx	коллекционер	0.18.0
jakarta.annotation	jakarta.annotation-api (аннотация API Джакарты)	1.3.5
jakarta.servlet	jakarta.servlet-api	4.0.3
jakarta.validation	jakarta.validation-api	2.0.2
jakarta.ws.rs	jakarta.ws.rs-api	2.1.6
javax.activation	активация	1.1.1
javax.annotation	javax.annotation-api	1.3.2
javax.el	javax.el-api	2.2.4
javax.jdo	jdo-api	3.0.1
javax.media	jai_core	jai_core_dummy
javax.transaction	джта	1.1
javax.transaction	интерфейс транзакций	1.1
javax.xml.bind	jaxb-api	2.2.11
javolution	javolution	5.5.1
джлайн	джлайн	2.14.6
joda-time	joda-time	2.14.0
net.java.dev.jna	джна	5.8.0
net.razorvine	рассол	1.5
net.sf.jpam	джпам	1.1
net.sf.opencsv	opencsv	2.3
net.sf.supercsv	super-csv — инструмент для работы с CSV файлами	2.2.0
net.snowflake	snowflake-ingest-sdk (SDK для обработки данных Snowflake)	0.9.6
net.sourceforge.f2j	арпак_комбинированный_все	0,1
org.acplt.remotetea	«remotetea-oncrpc»	1.1.2
org.antlr	ST4	4.0.4
org.antlr	antlr-runtime	3.5.2
org.antlr	antlr4-runtime	4.13.1
org.antlr	шаблон строки	3.2.1
org.apache.ant	муравей	1.10.11
org.apache.ant	ant-jsch	1.10.11
org.apache.ant	ant-launcher	1.10.11
org.apache.arrow	Сжатие со стрелками	18.3.0
org.apache.arrow	формат стрелок	18.3.0
org.apache.arrow	ядро памяти Arrow	18.3.0
org.apache.arrow	арроу-мемори-нетти	18.3.0
org.apache.arrow	стрелка-память-netty-buffer-patch	18.3.0
org.apache.arrow	вектор стрелки	18.3.0
org.apache.avro	Авро	1.12.1
org.apache.avro	avro-ipc	1.12.1
org.apache.avro	avro-mapred	1.12.1
org.apache.commons	commons-collections4	4.5.0
org.apache.commons	Коммонс-компресс	1.28.0
org.apache.commons	commons-configuration2	2.11.0
org.apache.commons	commons-crypto	1.1.0
org.apache.commons	commons-lang3	3.19.0
org.apache.commons	коммонс-матх3	3.6.1
org.apache.commons	Общедоступный текст	1.14.0
org.apache.curator	куратор-клиент	5.9.0
org.apache.curator	кураторский фреймворк	5.9.0
org.apache.curator	куратор рецептов	5.9.0
org.apache.datasketches	datasketches-java	6.2.0
org.apache.datasketches	Датаскетчес-мемори	3.0.2
org.apache.derby	дерби	10.14.2.0
org.apache.hadoop	среда выполнения hadoop-клиента	3.4.2
org.apache.hive	hive-beeline (инструмент командной строки для работы с Apache Hive)	2.3.10
org.apache.hive	hive-cli	2.3.10
org.apache.hive	hive-jdbc	2.3.10
org.apache.hive	hive-llap-client	2.3.10
org.apache.hive	hive-llap-common	2.3.10
org.apache.hive	Hive-Serde	2.3.10
org.apache.hive	хив-шимы	2.3.10
org.apache.hive	hive-storage-api (интерфейс хранения данных Hive)	2.8.1
org.apache.hive.shims	hive-shims-0.23	2.3.10
org.apache.hive.shims	хив-шимс-коммон	2.3.10
org.apache.hive.shims	планировщик hive-shims	2.3.10
org.apache.httpcomponents	httpclient	4.5.14
org.apache.httpcomponents	httpcore	4.4.16
org.apache.ivy	плющ	2.5.3
org.apache.logging.log4j	log4j-1.2-api	2.24.3
org.apache.logging.log4j	log4j-api	2.24.3
org.apache.logging.log4j	log4j-core	2.24.3
org.apache.logging.log4j	log4j-layout-template-json (шаблон компоновки для log4j в формате JSON)	2.24.3
org.apache.logging.log4j	log4j-slf4j2-impl	2.24.3
org.apache.orc	орк-кор	2.2.0-shaded-protobuf
org.apache.orc	Формат ORC	1.1.1-shaded-protobuf
org.apache.orc	orc-mapreduce (орч-мапредьюс)	2.2.0-shaded-protobuf
org.apache.orc	орк-шимы	2.2.0
org.apache.poi	пои	5.4.1
org.apache.poi	poi-ooxml	5.4.1
org.apache.poi	poi-ooxml-full	5.4.1
org.apache.poi	poi-ooxml-lite	5.4.1
org.apache.thrift	libfb303	0.9.3
org.apache.thrift	libthrift	0.16.0
org.apache.ws.xmlschema	xmlschema-core	2.3.1
org.apache.xbean	xbean-asm9-shaded	4.28
org.apache.xmlbeans	xmlbeans	5.3.0
org.apache.yetus	аннотации для аудитории	0.13.0
org.apache.zookeeper	смотритель зоопарка	3.9.4
org.apache.zookeeper	Zookeeper-JUTE	3.9.4
org.checkerframework	checker-qual	3.43.0
org.codehaus.janino	commons-компилятор	3.0.16
org.codehaus.janino	джанино	3.0.16
org.datanucleus	datanucleus-api-jdo	4.2.4
org.datanucleus	datanucleus-core (ядро датануклеус)	4.1.17
org.datanucleus	Datanucleus-RDBMS	4.1.19
org.datanucleus	javax.jdo	3.2.0-m3
org.eclipse.jetty	jetty-alpn-client	10.0.26
org.eclipse.jetty	jetty-client	10.0.26
org.eclipse.jetty	«jetty-http»	10.0.26
org.eclipse.jetty	jetty-io	10.0.26
org.eclipse.jetty	jetty-jndi	10.0.26
org.eclipse.jetty	Jetty Plus	10.0.26
org.eclipse.jetty	jetty-proxy (джетти-прокси)	10.0.26
org.eclipse.jetty	защита пристани	10.0.26
org.eclipse.jetty	сервер Jetty	10.0.26
org.eclipse.jetty	jetty-servlet	10.0.26
org.eclipse.jetty	jetty-servlets	10.0.26
org.eclipse.jetty	джетти-ютил (jetty-util)	10.0.26
org.eclipse.jetty	Jetty - веб-приложение	10.0.26
org.eclipse.jetty	jetty-xml	10.0.26
org.fusesource.leveldbjni	leveldbjni-all	1.8
org.glassfish.hk2	hk2-api	2.6.1
org.glassfish.hk2	хк2-локатор	2.6.1
org.glassfish.hk2	hk2-utils	2.6.1
org.glassfish.hk2	локатор ресурсов OSGi	1.0.3
org.glassfish.hk2.external	«aopalliance-repackaged»	2.6.1
org.glassfish.hk2.external	jakarta.inject	2.6.1
org.glassfish.jersey.containers	Jersey-container-servlet	2.41
org.glassfish.jersey.containers	джерси-контейнер-сервлет-кор	2.41
org.glassfish.jersey.core	jersey-client (джерси-клиент)	2.41
org.glassfish.jersey.core	джерси-коммон	2.41
org.glassfish.jersey.core	Джерси-сервер	2.41
org.glassfish.jersey.inject	jersey-hk2	2.41
org.hibernate.validator	гибернейт-валидатор	6.2.5.Final
org.ini4j	ini4j	0.5.4
org.javassist	javassist	3.29.2-GA
org.jboss.logging	jboss-logging (логирование в JBoss)	3.4.1.Final
org.jdbi	jdbi	2.63.1
org.jline	джлайн	3.27.1-jdk8
org.joda	joda-convert	1.7
org.json4s	json4s-ast_2.13	4.0.7
org.json4s	json4s-core_2.13	4.0.7
org.json4s	json4s-jackson-core_2.13	4.0.7
org.json4s	json4s-jackson_2.13	4.0.7
org.json4s	json4s-scalap_2.13	4.0.7
org.locationtech.jts	jts-core	1.20.0
org.lz4	lz4-java	1.8.0-databricks-1
org.mlflow	mlflow-spark_2.13	2.22.1
org.objenesis	Обдженесис	3.4
org.postgresql	postgresql	42.6.1
org.roaringbitmap	RoaringBitmap	1.2.1
org.rocksdb	rocksdbjni	9.8.4
org.rosuda.REngine	РЭнджин	2.1.0
org.scala-lang	scala-compiler_2.13	2.13.16
org.scala-lang	scala-library_2.13	2.13.16
org.scala-lang	scala-reflect_2.13	2.13.16
org.scala-lang.modules	scala-collection-compat_2.13	2.11.0
org.scala-lang.modules	scala-java8-compat_2.13	0.9.1
org.scala-lang.modules	scala-parallel-collections_2.13	1.2.0
org.scala-lang.modules	scala-parser-combinators_2.13	2.4.0
org.scala-lang.modules	scala-xml_2.13	2.4.0
org.scala-sbt	тестовый интерфейс	1.0
org.scalacheck	scalacheck_2.13	1.18.0
org.scalactic	scalactic_2.13	3.2.19
org.scalanlp	breeze-macros_2.13	2.1.0
org.scalanlp	breeze_2.13	2.1.0
org.scalatest	совместимый с ScalaTest	3.2.19
org.scalatest	scalatest-core_2.13	3.2.19
org.scalatest	scalatest-diagrams_2.13	3.2.19
org.scalatest	scalatest-featurespec_2.13	3.2.19
org.scalatest	scalatest-flatspec_2.13	3.2.19
org.scalatest	scalatest-freespec_2.13	3.2.19
org.scalatest	scalatest-funspec_2.13	3.2.19
org.scalatest	scalatest-funsuite_2.13	3.2.19
org.scalatest	scalatest-matchers-core_2.13	3.2.19
org.scalatest	scalatest-mustmatchers_2.13	3.2.19
org.scalatest	scalatest-propspec_2.13	3.2.19
org.scalatest	scalatest-refspec_2.13	3.2.19
org.scalatest	scalatest-shouldmatchers_2.13	3.2.19
org.scalatest	scalatest-wordspec_2.13	3.2.19
org.scalatest	scalatest_2.13	3.2.19
org.slf4j	jcl-over-slf4j (адаптер для JCL, работающий поверх SLF4J)	2.0.16
org.slf4j	jul-to-slf4j	2.0.16
org.slf4j	slf4j-api	2.0.16
org.slf4j	slf4j-simple	1.7.25
org.threeten	threeten-extra	1.8.0
org.tukaani	хз	1.10
org.typelevel	algebra_2.13	2.8.0
org.typelevel	cats-kernel_2.13	2.8.0
org.typelevel	spire-macros_2.13	0.18.0
org.typelevel	spire-platform_2.13	0.18.0
org.typelevel	spire-util_2.13	0.18.0
org.typelevel	spire_2.13	0.18.0
org.wildfly.openssl	wildfly-openssl	1.1.3.Окончательная
org.xerial	sqlite-jdbc	3.42.0.0
org.xerial.snappy	snappy-java	1.1.10.3
org.yaml	SnakeYAML	2.0
oro	oro	2.0.8
pl.edu.icm	JLargeArrays	1.5
software.amazon.cryptools	AmazonCorrettoCryptoProvider	2.5.0-linux-x86_64
стекс	stax-api	1.0.1

Подсказка

Чтобы ознакомиться с примечаниями к версиям Databricks Runtime, которые достигли окончания поддержки (EoS), см. Примечания к версиям Databricks Runtime с окончанием поддержки. Версии среды выполнения EoS Databricks устарели и могут не обновляться.