Databricks Runtime 17.0 (EoS)

Замечание

Поддержка этой версии databricks Runtime закончилась. Сведения о дате окончания поддержки см. в разделе История окончания поддержки. Для всех поддерживаемых версий Databricks Runtime см. заметки о версиях выпуска и совместимости Databricks Runtime.

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 17.0, на базе Apache Spark 4.0.0.

Databricks выпустила эту версию в июне 2025 года.

Новые функции и улучшения

• SparkML теперь поддерживается в стандартных кластерах
• Поддержка процедур SQL
• Настройка сортировки по умолчанию для функций SQL
• Рекурсивные распространенные выражения таблицы (общедоступная предварительная версия)
• ANSI SQL включен по умолчанию
• PySpark и Spark Connect теперь поддерживают API кадров df.mergeInto данных
• Поддержка ALL CATALOGS в SHOW SCHEMAS
• Жидкая кластеризация теперь более эффективно сжимает векторы удаления
• Разрешить недетерминированные выражения в UPDATE/INSERT значениях столбцов для MERGE операций
• Игнорировать и восстанавливать пустые структуры для обработки автозагрузчиком, особенно для Avro
• Изменить API Delta MERGE на Python и Scala для возврата DataFrame вместо Unit
• Поддержка ключевого слова VAR для объявления и удаления переменных SQL
• Обновление библиотек Apache Parquet
• Поддержка федерации удостоверений рабочей нагрузки для Google Cloud Pub/Sub

SparkML теперь поддерживается в стандартных кластерах

Стандартный режим доступа (прежнее название — режим общего доступа) теперь поддерживает машинное обучение Spark в PySpark (pyspark.ml) и MLflow для Spark (mlflow.spark). Для настройки гиперпараметров Databricks рекомендует использовать Optuna и Joblib Spark в стандартных кластерах.

Следующие ограничения применяются при запуске SparkML в стандартных кластерах:

• Максимальный размер модели составляет 1 ГБ.
• Максимальный размер кэша модели на сеанс составляет 10 ГБ.
• Обучение модели дерева прерывается заранее, если размер модели достигает около 1 ГБ.
• Следующие модели SparkML не поддерживаются:
  • DistributedLDAModel
  • FPGrowthModel

Поддержка процедур SQL

Теперь скрипты SQL можно инкапсулировать в процедуре, хранимой в качестве повторного ресурса в каталоге Unity. Процедуру можно создать с помощью команды CREATE PROCEDURE , а затем вызвать ее с помощью команды CALL .

Настройка сортировки по умолчанию для функций SQL

Использование нового DEFAULT COLLATION предложения в команде CREATE FUNCTION задает сортировку по умолчанию для параметров STRING, возвращаемого типа и STRING литералов в теле функции.

Рекурсивные распространенные выражения таблицы (общедоступная предварительная версия)

Azure Databricks теперь поддерживает навигацию иерархических данных с помощью рекурсивных общих выражений таблиц (rCTEs). Используйте самоссылочный CTE с UNION ALL, чтобы следовать рекурсивной связи.

ANSI SQL включен по умолчанию

Теперь диалект SQL по умолчанию — ANSI SQL. ANSI SQL — это хорошо установленный стандарт и поможет защитить пользователей от непредвиденных или неправильных результатов. Дополнительные сведения см. в руководстве по включению ANSI Databricks .

PySpark и Spark Connect теперь поддерживают DataFrame API df.mergeInto

PySpark и Spark Connect теперь поддерживают df.mergeInto API, который ранее был доступен только для Scala.

Поддержка ALL CATALOGS в SHOW SCHEMAS

Синтаксис SHOW SCHEMAS обновляется, чтобы принять следующий синтаксис:

SHOW SCHEMAS [ { FROM | IN } { catalog_name | ALL CATALOGS } ] [ [ LIKE ] pattern ]

При указании ALL CATALOGS в запросе SHOW выполнение проходит по всем активным каталогам, которые поддерживают пространства имен с помощью диспетчера каталогов (DsV2). Для каждого каталога он включает пространства имен верхнего уровня.

Выходные атрибуты и схема команды были изменены, чтобы добавить catalog столбец, указывающий каталог соответствующего пространства имен. Новый столбец добавляется в конец выходных атрибутов, как показано ниже:

Предыдущие выходные данные

| Namespace        |
|------------------|
| test-namespace-1 |
| test-namespace-2 |

Новые выходные данные

| Namespace        | Catalog        |
|------------------|----------------|
| test-namespace-1 | test-catalog-1 |
| test-namespace-2 | test-catalog-2 |

Кластеризация жидкости теперь уплотняет векторы удаления более эффективно

Таблицы Delta с кластерированием Liquid теперь более эффективно применяют физические изменения из векторов удаления во время выполнения OPTIMIZE. Дополнительные сведения см. в разделе "Применение изменений к файлам данных Parquet".

Разрешить недетерминированные выражения в UPDATE/INSERT значениях столбцов для MERGE операций

Azure Databricks теперь позволяет использовать недетерминированные выражения в обновленных и вставленных значениях столбцов операций MERGE . Однако недетерминированные выражения в условиях MERGE операторов не поддерживаются.

Например, теперь можно создавать динамические или случайные значения для столбцов:

MERGE INTO target USING source
ON target.key = source.key
WHEN MATCHED THEN UPDATE SET target.value = source.value + rand()

Это может быть полезно для конфиденциальности данных, чтобы скрыть фактические данные при сохранении свойств данных (например, средних значений или других вычисляемых столбцов).

Игнорировать и обрабатывать пустые структуры в процессе загрузки с помощью AutoLoader (особенно Avro)

Автозагрузчик теперь обрабатывает типы данных Avro с пустой схемой, поскольку таблица Delta не поддерживает прием пустых struct-тип данных.

Измените API-интерфейсы Delta MERGE для Python и Scala, чтобы они возвращали DataFrame вместо Unit

API Scala и Python MERGE (например DeltaMergeBuilder) теперь также возвращают объект DataFrame, как и API SQL, с теми же результатами.

Поддержка ключевого слова VAR для объявления и удаления переменных SQL

Синтаксис SQL для объявления и удаления переменных теперь поддерживает ключевое VAR слово в дополнение к VARIABLE. Это изменение объединяет синтаксис во всех операциях, связанных с переменными, что повышает согласованность и уменьшает путаницу для пользователей, которые уже используются VAR при настройке переменных.

Обновление библиотек Apache Parquet

Библиотеки Apache Parquet были обновлены с версии 1.13.1 до версии 1.15.1, чтобы обеспечить совместимость с Spark 4.0. Это обновление включает улучшения производительности, исправления ошибок и расширенную поддержку функций Parquet в следующих модулях:

• parquet-column
• parquet-common
• parquet-encoding
• parquet-format-structures
• parquet-hadoop
• parquet-jackson

Поддержка федерации удостоверений для рабочих процессов в Google Cloud Pub/Sub

Теперь можно использовать федерацию идентичностей для рабочих нагрузок для безопасного подключения к Google Cloud Pub/Sub из Databricks без необходимости в использовании ключей учетной записи службы. Это упрощает проверку подлинности для рабочих нагрузок потоковой передачи и приема данных, которые интегрируются с Pub/Sub.

Изменения поведения

• Пользовательские сертификаты центра сертификации (CA) файловой системы Databricks (DBFS) больше не поддерживаются
• Удален раздел "Истинные промахи кэша" в пользовательском интерфейсе Spark
• Удалена метрика "Использование пиковых дисков диспетчера метаданных кэша" в пользовательском интерфейсе Spark
• Удален раздел "Байты кэша, пропущенные повторно" в пользовательском интерфейсе Spark
• CREATE VIEW Предложения уровня столбцов теперь вызывают ошибки, когда предложение будет применяться только к материализованным представлениям

Индивидуальные сертификаты удостоверяющего центра (ЦС) для файловой системы Databricks (DBFS) больше не поддерживаются.

В рамках текущих усилий по отмене хранения данных в корневом каталоге DBFS и подключениях DBFS пользовательские сертификаты ЦС DBFS не поддерживаются в Databricks Runtime 17.0 и выше. Рекомендации по работе с файлами см. в статье "Работа с файлами в Azure Databricks".

Удален раздел "Истинные промахи кэша" в интерфейсе Spark.

Это изменение удаляет поддержку метрики "Размер истинных промахов кэша" (как для сжатых, так и для несжатых кэшей). Метрика "Промахи записи в кэш" измеряет ту же самую информацию.

Используйте numLocalScanTasks как подходящий прокси для этой метрики, когда вы хотите узнать, как работает кеш, когда файлы назначены правильному исполнителю.

Удалена метрика "Пиковое использование диска менеджера метаданных кэша" в интерфейсе Spark UI

Это изменение удаляет поддержку метрик cacheLocalityMgrDiskUsageInBytes и cacheLocalityMgrTimeMs из среды выполнения Databricks и пользовательского интерфейса Spark.

Удален раздел "Байты повторно запланированных кэш-пропусков" в пользовательском интерфейсе Spark

Удалена перепланированная в кэше величина пропущенных размеров и перепланированные метрики кэша (несжатые) из Databricks Runtime. Это делается, потому что это измеряет, как кэш работает, когда файлы назначаются не предпочитаемым исполняющим процессам. numNonLocalScanTasks является хорошим прокси-сервером для этой метрики.

CREATE VIEW Предложения уровня столбцов теперь вызывают ошибки, когда предложение будет применяться только к материализованным представлениям

CREATE VIEW команды, указывающие предложение уровня столбца, допустимое только для MATERIALIZED VIEWов, вызывают ошибку. Затронутые пункты для CREATE VIEW команд:

• NOT NULL
• Указанный тип данных, например FLOAT или STRING
• DEFAULT
• COLUMN MASK

Обновления библиотек

• Обновленные библиотеки Python:

  • azure-core от 1.31.0 до 1.34.0
  • черный от 24.4.2 до 24.10.0
  • boto3 от 1.34.69 до 1.36.2
  • botocore от 1.34.69 до 1.36.3
  • cachetools от 5.3.3 до 5.5.1
  • Сертификат с 02.06.2024 по 31.01.2025
  • cffi от 1.16.0 до 1.17.1
  • charset-normalizer от 2.0.4 до 3.3.2
  • cloudpickle от 2.2.1 до 3.0.0
  • contourpy с 1.2.0 до 1.3.1
  • криптография от 42.0.5 до 43.0.3
  • Cython от 3.0.11 до 3.0.12
  • databricks-sdk от 0.30.0 до 0.49.0
  • debugpy от 1.6.7 до 1.8.11
  • Не рекомендуется использовать от 1.2.14 до 1.2.13
  • distlib от 0.3.8 до 0.3.9
  • блокировка файлов от 3.15.4 до 3.18.0
  • fonttools от 4.51.0 до 4.55.3
  • GitPython от 3.1.37 до 3.1.43
  • google-auth от 2.35.0 до 2.40.0
  • google-cloud-core от 2.4.1 до 2.4.3
  • google-cloud-storage с 2.18.2 до 3.1.0
  • google-crc32c с 1.6.0 до 1.7.1
  • grpcio от 1.60.0 до 1.67.0
  • grpcio-status от 1.60.0 до 1.67.0
  • importlib-metadata от 6.0.0 до 6.6.0
  • ipyflow-core от 0.0.201 до 0.0.209
  • ipykernel от 6.28.0 до 6.29.5
  • ipython от 8.25.0 до 8.30.0
  • ipywidgets от 7.7.2 до 7.8.1
  • jedi от 0.19.1 до 0.19.2
  • jupyter_client от 8.6.0 до 8.6.3
  • kiwisolver от 1.4.4 до 1.4.8
  • matplotlib от 3.8.4 до 3.10.0
  • matplotlib-inline от 0.1.6 до 0.1.7
  • mlflow-skinny с версии 2.19.0 до версии 2.22.0
  • numpy от 1.26.4 до 2.1.3
  • opentelemetry-api с 1.27.0 до 1.32.1
  • opentelemetry-sdk от 1.27.0 до 1.32.1
  • соглашения opentelemetry-semantic-conventions от 0,48b0 до 0,53b1
  • pandas от 1.5.3 до 2.2.3
  • parso с 0.8.3 до 0.8.4
  • patsy от 0.5.6 до 1.0.1
  • подушка от 10.3.0 до 11.1.0
  • plotly от 5.22.0 до 5.24.1
  • pluggy с версии 1.0.0 до 1.5.0
  • proto-plus от 1.24.0 до 1.26.1
  • protobuf от 4.24.1 до 5.29.4
  • pyarrow от 15.0.2 до 19.0.1
  • pyccolo от 0.0.65 до 0.0.71
  • pydantic от 2.8.2 до 2.10.6
  • pydantic_core от 2.20.1 до 2.27.2
  • PyJWT от 2.7.0 до 2.10.1
  • pyodbc от 5.0.1 до 5.2.0
  • pyparsing от 3.0.9 до 3.2.0
  • pyright от 1.1.294 до 1.1.394
  • python-lsp-server от 1.10.0 до 1.12.0
  • PyYAML от 6.0.1 до 6.0.2
  • pyzmq от 25.1.2 до 26.2.0
  • запросы от 2.32.2 до 2.32.3
  • rsa от 4.9 до 4.9.1
  • s3transfer от 0.10.2 до 0.11.3
  • scikit-learn от 1.4.2 до 1.6.1
  • scipy от 1.13.1 до 1.15.1
  • sqlparse от 0.5.1 до 0.5.3
  • statsmodels от 0.14.2 до 0.14.4
  • настойчивость от 8.2.2 до 9.0.0
  • threadpoolctl от 2.2.0 до 3.5.0
  • tornado от 6.4.1 до 6.4.2
  • typing_extensions от 4.11.0 до 4.12.2
  • urllib3 от 1.26.16 до 2.3.0
  • virtualenv от 20.26.2 до 20.29.3
  • колесо от 0.43.0 до 0.45.1
  • обновление wrapt с версии 1.14.1 до 1.17.0
  • yapf от 0.33.0 до 0.40.2
  • zipp от 3.17.0 до 3.21.0

• Обновленные библиотеки R:

  • стрелка от 16.1.0 до 19.0.1
  • askpass от 1.2.0 до 1.2.1
  • база от 4.4.0 до 4.4.2
  • bigD от 0.2.0 до 0.3.0
  • бит от 4.0.5 до 4.6.0
  • bit64 от 4.0.5 до 4.6.0-1
  • bitops от 1.0-8 до 1.0-9
  • broom от 1.0.6 до 1.0.7
  • bslib от 0.8.0 до 0.9.0
  • caret от 6.0-94 до 7.0-1
  • chron от 2.3-61 до 2.3-62
  • cli от 3.6.3 до 3.6.4
  • часы от 0.7.1 до 0.7.2
  • commonmark от 1.9.1 до 1.9.5
  • компилятор от 4.4.0 до 4.4.2
  • cpp11 от 0.4.7 до 0.5.2
  • учетные данные от 2.0.1 до 2.0.2
  • curl от 5.2.1 до 6.2.1
  • data.table от 1.15.4 до 1.17.0
  • наборы данных от 4.4.0 до 4.4.2
  • дайджест от 0.6.36 до 0.6.37
  • e1071 от 1.7-14 до 1.7-16
  • оценка от 0.24.0 до 1.0.3
  • fontawesome от 0.5.2 до 0.5.3
  • fs от 1.6.4 до 1.6.5
  • future.apply от 1.11.2 до 1.11.3
  • gert от 2.1.0 до 2.1.4
  • git2r от 0.33.0 до 0.35.0
  • клей от 1.7.0 до 1.8.0
  • gower от 1.0.1 до 1.0.2
  • графика от 4.4.0 до 4.4.2
  • grDevices от 4.4.0 до 4.4.2
  • сетка от 4.4.0 до 4.4.2
  • gt от 0.11.0 до 0.11.1
  • gtable от 0.3.5 до 0.3.6
  • hardhat от 1.4.0 до 1.4.1
  • httr2 от 1.0.2 до 1.1.1
  • jsonlite от 1.8.8 до 1.9.1
  • трикотаж от 1,48 до 1,50
  • позже от 1.3.2 до 1.4.1
  • лава от 1.8.0 до 1.8.1
  • lubridate от 1.9.3 до 1.9.4
  • Методы от 4.4.0 до 4.4.2
  • mime от 0,12 до 0,13
  • mlflow от 2.14.1 до 2.20.4
  • nlme от 3.1-165 до 3.1-164
  • opensl от 2.2.0 до 2.3.2
  • параллельная от 4.4.0 до 4.4.2
  • параллельно с 1.38.0 до 1.42.0
  • столб с 1.9.0 до 1.10.1
  • pkgbuild от 1.4.4 до 1.4.6
  • pkgdown от 2.1.0 до 2.1.1
  • processx от 3.8.4 до 3.8.6
  • profvis от 0.3.8 до 0.4.0
  • progressr от 0.14.0 до 0.15.1
  • обещания от 1.3.0 до 1.3.2
  • ps от 1.7.7 до 1.9.0
  • purrr от 1.0.2 до 1.0.4
  • R6 от 2.5.1 до 2.6.1
  • ragg от 1.3.2 до 1.3.3
  • randomForest от 4.7-1.1 до 4.7-1.2
  • Rcpp от 1.0.13 до 1.0.14
  • RcppEigen от 0.3.4.0.0 до 0.3.4.0.2
  • reactR от 0.6.0 до 0.6.1
  • readxl от 1.4.3 до 1.4.5
  • рецепты от 1.1.0 до 1.2.0
  • rlang от 1.1.4 до 1.1.5
  • rmarkdown от 2.27 до 2.29
  • RODBC от 1.3-23 до 1.3-26
  • Rserve от 1.8-13 до 1.8-15
  • RSQLite от 2.3.7 до 2.3.9
  • rstudioapi от 0.16.0 до 0.17.1
  • sessioninfo от 1.2.2 до 1.2.3
  • блестящий от 1.9.1 до 1.10.0
  • sparklyr от 1.8.6 до 1.9.0
  • SparkR от 3.5.2 до 4.0.0
  • сплайны от 4.4.0 до 4.4.2
  • статистика от 4.4.0 до 4.4.2
  • stats4 от 4.4.0 до 4.4.2
  • выживание от 3,6-4 до 3,5-8
  • sys от 3.4.2 до 3.4.3
  • systemfonts от 1.1.0 до 1.2.1
  • tcltk от 4.4.0 до 4.4.2
  • testthat от 3.2.1.1 до 3.2.3
  • форматирование текста с версии 0.4.0 до 1.0.0
  • TimeDate от 4032.109 до 4041.110
  • tinytex от 0,52 до 0,56
  • инструменты от 4.4.0 до 4.4.2
  • tzdb от 0.4.0 до 0.5.0
  • usethis от 3.0.0 до 3.1.0
  • utils от 4.4.0 до 4.4.2
  • V8 от 4.4.2 до 6.0.2
  • waldo от 0.5.2 до 0.6.1
  • withr от 3.0.1 до 3.0.2
  • xfun от 0,46 до 0,51
  • xml2 от 1.3.6 до 1.3.8
  • zip от 2.3.1 до 2.3.2

• Обновленные библиотеки Java:

  • com.clearspring.analytics.stream от 2.9.6 до 2.9.8
  • com.esotericsoftware.kryo-shaded с 4.0.2 на 4.0.3
  • com.fasterxml.classmate от 1.3.4 до 1.5.1
  • com.fasterxml.jackson.core.jackson-annotations от 2.15.2 до 2.18.2
  • com.fasterxml.jackson.core.jackson-core с 2.15.2 до 2.18.2
  • com.fasterxml.jackson.core.jackson-databind с 2.15.2 до 2.18.2
  • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor с 2.15.2 по 2.18.2
  • com.fasterxml.jackson.datatype.jackson-datatype-joda с 2.15.2 до 2.18.2
  • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 от 2.16.0 до 2.18.2
  • com.fasterxml.jackson.module.jackson-module-paranamer от 2.15.2 до 2.18.2
  • com.github.luben.zstd-jni от 1.5.5-4 до 1.5.6-10
  • com.google.code.gson.gson с 2.10.1 до 2.11.0
  • com.google.crypto.tink.tink.tink с 1.9.0 до 1.16.0
  • com.google.errorprone.error_prone_annotations от 2.10.0 до 2.36.0
  • com.google.flatbuffers.flatbuffers-java от 23.5.26 до 24.3.25
  • com.google.guava.guava с 15.0 до 33.4.0-jre
  • com.google.protobuf.protobuf-java с 3.25.1 до 3.25.5
  • com.microsoft.azure.azure-data-lake-store-sdk с 2.3.9 по 2.3.10
  • com.microsoft.sqlserver.mssql-jdbc с 11.2.3.jre8 до 12.8.0.jre8
  • commons-cli.commons-cli от 1.5.0 до 1.9.0
  • commons-codec.commons-codec от 1.16.0 до 1.17.2
  • commons-io.commons-io с 2.13.0 до 2.18.0
  • io.airlift.aircompressor от 0.27 до 2.0.2
  • io.dropwizard.metrics.metrics-annotation от 4.2.19 до 4.2.30
  • io.dropwizard.metrics.metrics-core от 4.2.19 до 4.2.30
  • io.dropwizard.metrics.metrics-graphite от 4.2.19 до 4.2.30
  • io.dropwizard.metrics.metrics-healthchecks с 4.2.19 по 4.2.30
  • io.dropwizard.metrics.metrics-jetty9 от 4.2.19 до 4.2.30
  • io.dropwizard.metrics.metrics-jmx от 4.2.19 до 4.2.30
  • io.dropwizard.metrics.metrics-json от 4.2.19 до 4.2.30
  • io.dropwizard.metrics.metrics-jvm от 4.2.19 до 4.2.30
  • io.dropwizard.metrics.metrics-servlets от 4.2.19 до 4.2.30
  • io.netty.netty-all от 4.1.108.Final до 4.1.118.Final
  • io.netty.netty-buffer от 4.1.108.Final до 4.1.118.Final
  • io.netty.netty-codec от 4.1.108.Final до 4.1.118.Final
  • io.netty.netty-codec-http с 4.1.108.Final до 4.1.118.Final
  • io.netty.netty-codec-http2 с 4.1.108.Final до 4.1.118.Final
  • io.netty.netty-codec-socks от 4.1.108.Final до 4.1.118.Final
  • Пакет io.netty.netty-common обновлён с версии 4.1.108.Final до 4.1.118.Final
  • io.netty.netty-handler от 4.1.108.Final до 4.1.118.Final
  • io.netty.netty-handler-proxy от 4.1.108.Final до 4.1.118.Final
  • io.netty.netty-resolver от 4.1.108.Final до 4.1.118.Final
  • io.netty.netty-tcnative-boringsl-static от 2.0.61.Final-db-r16-windows-x86_64 до 2.0.70.Final-db-r0-windows-x86_64
  • io.netty.netty-tcnative-classes от 2.0.61.Final до 2.0.70.Final
  • io.netty.netty-transport от 4.1.108.Final до 4.1.118.Final
  • io.netty.netty-transport-classes-epoll от 4.1.108.Final до 4.1.118.Final
  • io.netty.netty-transport-classes-kqueue от 4.1.108.Final до 4.1.118.Final
  • io.netty.netty-transport-native-epoll от 4.1.108.Final-linux-x86_64 до 4.1.118.Final-linux-x86_64
  • io.netty.netty-transport-native-kqueue от 4.1.108.Final-osx-x86_64 до 4.1.118.Final-osx-x86_64
  • io.netty.netty-transport-native-unix-common от 4.1.108.Final до 4.1.118.Final
  • io.prometheus.jmx.collector от 0.12.0 до 0.18.0
  • io.prometheus.simpleclient от 0.7.0 до 0.16.1-databricks
  • io.prometheus.simpleclient_common от 0.7.0 до 0.16.1-databricks
  • io.prometheus.simpleclient_dropwizard от 0.7.0 до 0.16.1-databricks
  • io.prometheus.simpleclient_pushgateway от 0.7.0 до 0.16.1-databricks
  • io.prometheus.simpleclient_servlet от 0.7.0 до 0.16.1-databricks
  • joda-time.joda-time с 2.12.1 до 2.13.0
  • net.razorvine.pickle от 1.3 до 1.5
  • org.antlr.antlr4-runtime с 4.9.3 до 4.13.1
  • org.apache.arrow.arrow-format от 15.0.0 до 18.2.0
  • org.apache.arrow.arrow-memory-core с 15.0.0 до 18.2.0
  • org.apache.arrow.arrow-memory-netty от 15.0.0 до 18.2.0
  • org.apache.arrow.arrow-vector от 15.0.0 до 18.2.0
  • org.apache.avro.avro с 1.11.4 по 1.12.0
  • org.apache.avro.avro-ipc с 1.11.4 по 1.12.0
  • org.apache.avro.avro-mapred с 1.11.4 по 1.12.0
  • org.apache.commons.commons-compress от 1.23.0 до 1.27.1
  • org.apache.commons.commons-lang3 от 3.12.0 до 3.17.0
  • org.apache.commons.commons-text от 1.10.0 до 1.13.0
  • org.apache.curator.curator-client с 2.13.0 до 5.7.1
  • org.apache.curator.curator-framework с 2.13.0 до 5.7.1
  • org.apache.curator.curator-recipes от 2.13.0 до 5.7.1
  • org.apache.datasketches.datasketches-java от 3.1.0 до 6.1.1
  • org.apache.datasketches.datasketches-memory от 2.0.0 до 3.0.2
  • org.apache.hadoop.hadoop-client-runtime с 3.3.6 до 3.4.1
  • org.apache.hive.hive-beeline от 2.3.9 до 2.3.10
  • org.apache.hive.hive-cli с 2.3.9 по 2.3.10
  • org.apache.hive.hive-jdbc с 2.3.9 по 2.3.10
  • org.apache.hive.hive-llap-client от 2.3.9 до 2.3.10
  • org.apache.hive.hive-llap-common с 2.3.9 по 2.3.10
  • org.apache.hive.hive-serde от 2.3.9 до 2.3.10
  • org.apache.hive.hive-shims с 2.3.9 по 2.3.10
  • org.apache.hive.shims.hive-shims-0.23 с 2.3.9 по 2.3.10
  • org.apache.hive.shims.hive-shims-common с 2.3.9 по 2.3.10
  • org.apache.hive.shims.hive-shims-scheduler с 2.3.9 по 2.3.10
  • org.apache.ivy.ivy с 2.5.2 до 2.5.3
  • org.apache.logging.log4j.log4j-1.2-api от 2.22.1 до 2.24.3
  • org.apache.logging.log4j.log4j-api с 2.22.1 до 2.24.3
  • org.apache.log4j.log4j-core от 2.22.1 до 2.24.3
  • org.apache.logging.log4j.log4j-layout-template-json с 2.22.1 по 2.24.3
  • org.apache.logging.log4j.log4j-slf4j2-impl от 2.22.1 до 2.24.3
  • org.apache.orc.orc-core с 1.9.2-shaded-protobuf до 2.1.1-shaded-protobuf
  • org.apache.orc.orc-mapreduce с 1.9.2-shaded-protobuf до 2.1.1-shaded-protobuf
  • org.apache.orc.orc-shims от 1.9.2 до 2.1.1
  • org.apache.thrift.libthrift от 0.12.0 до 0.16.0
  • org.apache.ws.xmlschema.xmlschema-core от 2.3.0 до 2.3.1
  • org.apache.xbean.xbean-asm9-shaded с 4.23 до 4.26
  • org.apache.zookeeper.zookeeper с 3.9.2 до 3.9.3
  • org.apache.zookeeper.zookeeper-jute от 3.9.2 до 3.9.3
  • org.checkerframework.checker-qual от 3.31.0 до 3.43.0
  • org.eclipse.jetty.jetty-client с 9.4.52.v20230823 до 9.4.53.v20231009
  • org.eclipse.jetty.jetty-continuation с 9.4.52.v20230823 до 9.4.53.v20231009
  • org.eclipse.jetty.jetty-http с 9.4.52.v20230823 до 9.4.53.v20231009
  • org.eclipse.jetty.jetty-io с 9.4.52.v20230823 до 9.4.53.v20231009
  • org.eclipse.jetty.jetty-jndi от 9.4.52.v20230823 до 9.4.53.v20231009
  • org.eclipse.jetty.jetty-plus от 9.4.52.v20230823 до 9.4.53.v20231009
  • org.eclipse.jetty.jetty-proxy с 9.4.52.v20230823 до 9.4.53.v20231009
  • org.eclipse.jetty.jetty-security с 9.4.52.v20230823 до 9.4.53.v20231009
  • org.eclipse.jetty.jetty-server с 9.4.52.v20230823 до 9.4.53.v20231009
  • org.eclipse.jetty.jetty-servlet от 9.4.52.v20230823 до 9.4.53.v20231009
  • org.eclipse.jetty.jetty-servlets от 9.4.52.v20230823 до 9.4.53.v20231009
  • org.eclipse.jetty.jetty-util с версии 9.4.52.v20230823 на версию 9.4.53.v20231009
  • org.eclipse.jetty.jetty-util-ajax с 9.4.52.v20230823 до 9.4.53.v20231009
  • org.eclipse.jetty.jetty-webapp с 9.4.52.v20230823 до 9.4.53.v20231009
  • org.eclipse.jetty.jetty-xml с 9.4.52.v20230823 до 9.4.53.v20231009
  • org.eclipse.jetty.websocket.websocket-api с 9.4.52.v20230823 до 9.4.53.v20231009
  • org.eclipse.jetty.websocket.websocket-client с 9.4.52.v20230823 до 9.4.53.v20231009
  • org.eclipse.jetty.websocket.websocket-common с 9.4.52.v20230823 до 9.4.53.v20231009
  • org.eclipse.jetty.websocket.websocket-server с 9.4.52.v20230823 до 9.4.53.v20231009
  • org.eclipse.jetty.websocket.websocket-servlet от 9.4.52.v20230823 до 9.4.53.v20231009
  • org.glassfish.jersey.containers.jersey-container-servlet от 2.40 до 2.41
  • org.glassfish.jersey.container.jersey-container-servlet-core от 2.40 до 2.41
  • org.glassfish.jersey.core.jersey-client с 2.40 по 2.41
  • org.glassfish.jersey.core.jersey-common с 2.40 по 2.41
  • org.glassfish.jersey.core.jersey-server от версии 2.40 до версии 2.41
  • org.glassfish.jersey.inject.jersey-hk2 с 2.40 до 2.41
  • org.hibernate.validator.hibernate-validator с 6.1.7.Final до 6.2.5.Final
  • org.jboss.logging.jboss-logging с 3.3.2.Final до 3.4.1.Final
  • org.objenesis.objenesis с 2.5.1 до 3.3
  • org.roaringbitmap.RoaringBitmap с 0.9.45-databricks до 1.2.1
  • org.rocksdb.rocksdbjni с 9.2.1 по 9.8.4
  • org.scalatest.scalatest-compatible от 3.2.16 до 3.2.19
  • org.slf4j.jcl-over-slf4j от 2.0.7 до 2.0.16
  • org.slf4j.jul-to-slf4j от 2.0.7 до 2.0.16
  • org.slf4j.slf4j-api от 2.0.7 до 2.0.16
  • org.threeten.threeten-extra от 1.7.1 до 1.8.0
  • org.tukaani.xz от 1.9 до 1.10

Apache Spark

Многие из его функций уже были доступны в Databricks Runtime 14.x, 15.x и 16.x, и теперь они выходят из коробки со средой выполнения 17.0.

• SPARK-52311 Переопределить выходные данные UnionLoop, чтобы они не дублировались, если дублируются выходные данные якоря.
• SPARK-50104 Поддержка SparkSession.executeCommand в Connect
• SPARK-51085 Восстановление сопутствующего модуля SQLContext
• SPARK-49698 Добавьте аннотацию ClassicOnly для методов, предназначенных только для классового режима.
• SPARK-52026 Блокировать API pandas в Spark в режиме ANSI по умолчанию
• SPARK-43415 Реализация KVGDS.agg с помощью пользовательской mapValues функции
• SPARK-50979 Удалите неявные .expr/.typedExpr
• SPARK-49961 Правильная подпись типа преобразования для Scala и Java
• SPARK-51012 Удалите SparkStrategy из Connect Shims.
• SPARK-50915 Добавить getCondition и устаревание getErrorClass в PySparkException
• SPARK-51821 Вызов interrupt() без удержания uninterruptibleLock, чтобы избежать возможной взаимоблокировки.
• SPARK-52192 Проверка пути загрузки MLCache
• SPARK-52122 Исправлена уязвимость DefaultParamsReader RCE
• SPARK-52191 Удаление десериализатора Java в загрузчике локального пути модели
• SPARK-52051 Backport "Включение сводки модели при активированном управлении памятью" и "Уточнить сообщение об ошибке, скрыть внутреннюю конфигурацию spark" коммиты в Databricks Runtime 17.0.0
• SPARK-51391 Исправить SparkConnectClient с учетом SPARK_USER и user.name
• SPARK-51416 Удаление SPARK_CONNECT_MODE при запуске сервера Spark Connect
• SPARK-51156 Поддержка проверки подлинности статических токенов в Spark Connect
• SPARK-51279 Избегайте постоянного сна для ожидания сервера Spark Connect в Scala
• SPARK-51254 Запретить --master при использовании URL-адреса Spark Connect
• SPARK-51267 Сопоставление логики локального сервера Spark Connect между Python и Scala
• SPARK-51212 Добавление разделенного пакета PySpark для Spark Connect по умолчанию
• SPARK-52017 Включение нескольких самоссылок и самоссылок из подзапросов в RCTEs
• SPARK-52035 Отделить LinearRegressionTrainingSummary и LinearRegressionModel
• SPARK-50511 Избегайте упаковки сообщений об ошибках источника данных Python
• SPARK-51974 Ограничение размера модели и размера кэша модели на сеанс
• SPARK-51947 Разгрузка кэша моделей Spark connect
• SPARK-49751 Исправлена десериализация события SparkListenerConnectServiceStarted
• SPARK-47952 Поддержка получения фактического адреса и порта GRPC SparkConnectService программным путем при работе на Yarn
• SPARK-47587 Модуль Hive: перенос logWarn с переменными в структурированную платформу ведения журнала
• SPARK-50768 Добавление TaskContext.createResourceUninterruptibly для предотвращения утечки потока из-за прерывания задачи
• SPARK-51818 Перенести создание QueryExecution в AnalyzeHandler и не выполнять для AnalyzePlanRequests
• SPARK-51609 Оптимизация рекурсивного выполнения CTE для простых запросов
• SPARK-49748 Добавить getCondition и объявить устаревшим getErrorClass в SparkThrowable
• SPARK-51867 Создание модели scala, поддерживающей методы сохранения и загрузки для пути локальной файловой системы
• SPARK-51856 Обновление API размера модели для учета объема распределенного DataFrame
• SPARK-51941 Исправлена проблема точности для convertToCatalyst, когда входные данные находятся в диапазоне BigDecimal от -1.0 до 1.0.
• SPARK-50605 Поддержка режима API SQL для упрощения миграции в Spark Connect
• SPARK-51849 Рефакторинг ResolveDDLCommandStringTypes
• SPARK-51673 Применение параметров сортировки по умолчанию для изменения запроса представления
• SPARK-51880 Исправление ссылок на объект кэша для машинного обучения в Python-клиенте
• SPARK-51873 Для алгоритма OneVsRest разрешить использование сохранения и загрузки для замены кэша
• SPARK-51072 CallerContext для задания контекста аудита облака Hadoop
• SPARK-51790 Регистрация строки в кодировке UTF-8 в Kryo-сериализаторе
• SPARK-51022 Удалить неиспользуемые tableSampleClause в методе build() для MsSqlServerSQLQueryBuilder и DB2SQLQueryBuilder
• SPARK-51219 Исправление ShowTablesExec.isTempView для работы с некаталогамиV2SessionCatalog
• SPARK-49700 Унифицированный интерфейс Scala для подключения и классической версии
• SPARK-50458 Правильная обработка ошибок для неподдерживаемой файловой системы при чтении файлов
• SPARK-506666 Указание на поддержку чтения в источнике данных JDBC
• SPARK-50131 Повторное применение "Add IN Subquery DataFram..."
• SPARK-51899 Реализация правил обработки ошибок для spark.catalog.listTables()
• SPARK-51820 Адресация оставшихся проблем для новых group/order с порядковым подходом
• SPARK-48585 Сделать так, чтобы метод built-inclassifyException JdbcDialect вызывал исключение
• SPARK-48387 Postgres: сопоставление TimestampType с TIMESTAMP WITH TIME ZONE
• SPARK-51820 Перемещение UnresolvedOrdinal построения перед анализом, чтобы избежать проблемы с группировкой по порядку.
• SPARK-48337 Устранение потери точности для значений JDBC TIME
• SPARK-51711 Распространяет активный удаленный сеанс Spark на новые потоки для корректной работы с CrossValidator
• SPARK-47515 Сохранение timestampNTZType в качестве DATETIME в MySQL
• SPARK-48439 Derby: вычислите подходящую точность и масштаб для типа DECIMAL
• SPARK-51820 Подготовка логики редактирования для синхронизации кода SPARK-51820
• SPARK-48323 DB2: Сопоставление BooleanType с BOOLEAN вместо CHAR(1)
• SPARK-51635 Слияние PushProjectionThroughLimit и PushProjectionThroughOffset
• SPARK-48211 DB2: считывать SMALLINT как ShortType
• SPARK-51803 Хранить тип JDBC внешнего движка в метаданных StructField
• SPARK-51845 Добавление прото-сообщений CleanCache и GetCacheInfo
• SPARK-49511 Применение правил форматирования к sql/api
• SPARK-47968 MsSQLServer: сопоставление datatimeoffset с TimestampType
• SPARK-51726 Использование TableInfo для таблицы CREATE/REPLACE/CREATE ИЛИ REPLACE
• SPARK-47967 Правильное создание JdbcUtils.makeGetter типа времени чтения в режиме NTZ
• SPARK-47989 MsSQLServer: исправлена область применения spark.sql.legacy.mssqlserver.numericMapping.enabled
• SPARK-51193 Обновление Netty до 4.1.118.Final и netty-tcnative до 2.0.70.Final
• Spark-47882 createTableColumnTypes необходимо сопоставить с типами баз данных, а не напрямую использовать
• SPARK-47879 Oracle: используйте VARCHAR2 вместо VARCHAR для сопоставления VarcharType
• SPARK-51372 Введение TableInfo для создания таблиц
• SPARK-47791 Обрезка избыточных десятичных разрядов сначала по масштабу, а не по точности из источника данных JDBC
• SPARK-51404time(n) Разбор типа как TimeType(n)
• SPARK-50350 Avro: добавление новой функции schema_of_avro (scala сторона)
• SPARK-51136 Установить CallerContext для сервера истории
• SPARK-50641 Перейти GetJsonObjectEvaluator к JsonExpressionEvalUtils
• SPARK-50083 Интеграция _LEGACY_ERROR_TEMP_1231 с PARTITIONS_NOT_FOUND
• SPARK-51556try_to_time Добавление функции
• SPARK-47684 Postgres: длина карты, не указанная в bpchar, с StringType
• SPARK-48688 Возвращает разумные ошибки при вызове функций SQL to_avro и from_avro, но Avro не загружается по умолчанию
• SPARK-49839 SPJ: пропускать перестановки, если это возможно при сортировке
• SPARK-45534 Использовать java.lang.ref.Cleaner вместо метода finalize для RemoteBlockPushResolver
• SPARK-51816 Упрощение StatFunctions.multipleApproxQuantiles с помощью API для работы с датафреймами
• SPARK-49179 Фикс v2 многократно сегментированных внутренних соединений, вызывающих ошибку AssertionError.
• SPARK-47456 Поддержка кодека ORC Brotli
• SPARK-51542 Добавление кнопки прокрутки для адресации сверху и вниз
• SPARK-51541TIME Поддержка типа данных в Literal методах
• SPARK-51615 Рефакторинг ShowNamespaces для использования RunnableCommand
• SPARK-51191 Проверка обработки значений по умолчанию в операторах DELETE и UPDATEMERGE
• SPARK-51829 Клиентская сторона должна обновить client.thread_local.ml_caches после удаления
• SPARK-51358 Введение обнаружения задержки отправки моментальных снимков с помощью StateStoreCoordinator
• SPARK-51686 Свяжите идентификаторы выполнения вложенных выполнений с идентификатором текущего выполнения, если таковые имеются.
• SPARK-51456to_time Добавление функции
• SPARK-51773 Преобразуйте форматы файлов в классы случаев для правильного сравнения их
• SPARK-517777 Регистрация классов sql.columnar.* в KryoSerializer
• SPARK-51432 Создание правильного исключения при несоответствии схем со стрелками
• SPARK-51395 Уточнение обработки значений по умолчанию в процедурах
• SPARK-50582 Добавить встроенную функцию "quote"
• SPARK-51684 Исправление сбоя теста в test_pandas_transform_with_state
• SPARK-51213 Сохранение сведений о классе выражений при разрешении параметров подсказки
• SPARK-51651 Свяжите идентификатор корневого выполнения для текущего выполнения, если таковое имеется
• SPARK-50947 Назначение соответствующего класса ошибок и SparkException для повторяющихся артефактов
• SPARK-51574 Сериализация фильтров для оптимизации фильтрации источника данных в Python
• SPARK-51608 Исключение журнала при завершении выполнения Python
• SPARK-51266 Удаление неиспользуемого определения private[spark] object TaskDetailsClassNames
• SPARK-51011 Добавить запись в журнал о том, будет ли задача прервана при завершении
• SPARK-49646 Добавить конфигурацию Spark для исправления декорреляции вложенных запросов
• SPARK-51107 Рефакторинг CommandBuilderUtils#join для повторного использования строк и уменьшения избыточности
• SPARK-51758 Исправление тестового случая, связанного с дополнительным пакетом, вызывающим пустой df из-за подложки
• SPARK-51664 Поддержка типа данных TIME в хэш-выражении
• SPARK-51819 Обновление тестового модуля pyspark-errors, чтобы включить отсутствующие тесты
• SPARK-50751 Назначение соответствующего условия ошибки для _LEGACY_ERROR_TEMP_1305
• SPARK-50973 Очистка нерекомендуемого использования API, связанного с avro.Schema#toString(boolean)
• SPARK-50908 Отключение ненадежного теста TTL в test_pandas_transform_with_state.py
• SPARK-50811 Поддержка включения профилировщика JVM на драйвере
• SPARK-50808 Исправлена проблема в writeAll с разными типами, которые не записываются корректно.
• SPARK-51780 Реализовать процедуру описания
• SPARK-50370 Поддержка Codegen для json_tuple
• SPARK-50756 Использование класса ошибок для исключений в SparkConf.validateSettings
• SPARK-50805 Перемещение метода nameForAppAndAttempt в o.a.s.u.Utils
• SPARK-51812 Удаление избыточных параметров некоторых методов в QueryExecution
• SPARK-50819 Рефакторинг модуля профилировщика Spark
• SPARK-51547 Назначьте имя условию ошибки: _LEGACY_ERROR_TEMP_2130
• SPARK-48538 Избежание утечки памяти HMS, вызванной использованием bonecp
• SPARK-51176 Обеспечение согласованности для непредвиденных ошибок в PySpark Connect Classic <>
• SPARK-50773 Отключение структурированного ведения журнала по умолчанию
• SPARK-50616 Добавление параметра расширения файла в модуль записи CSV DataSource
• SPARK-50624 Добавление TimestampNTZType в ColumnarRow/MutableColumnarRow
• SPARK-51590 Отключение TIME в встроенных источниках данных на основе файлов
• SPARK-49886 Тест на сбой на уровне запроса для формата rocksDB версии 2
• SPARK-50823 Обновление cloudpickle с версии 3.1.0 до версии 3.1.1
• SPARK-50780 Используйте overrideStdFeatures вместо setFeatureMask в JacksonParser
• SPARK-50621 Обновление Cloudpickle до версии 3.1.0
• SPARK-50719 Поддержка для interruptOperation PySpark
• SPARK-50545AccessControlException должен быть брошен даже в том случае, если ignoreCorruptFiles включено
• SPARK-51517 Поддержка типа данных TIME в результатах Hive
• SPARK-47856 Сопоставление типов данных Spark SQL с типами Oracle и добавить тесты
• SPARK-46066 Используйте API разделителей вместо API строк для создания DefaultPrettyPrinter
• SPARK-50718 Поддержка addArtifact(s) PySpark
• SPARK-51497 Добавление модуля форматирования времени по умолчанию
• SPARK-514888 Поддержка ключевого слова TIME в качестве типа данных
• SPARK-51273 Процедура вызова Spark Connect выполняет процедуру дважды
• SPARK-51092 Пропустить тесты FlatMapGroupsWithState версии 1 с временем ожидания на больших платформах
• SPARK-50606 Исправление NPE в неинициализированном SessionHolder
• SPARK-49530 Поддержка круговых подграфиков в отображении pyspark
• SPARK-50357 Поддержка прерываний(тег|Все) API для PySpark
• SPARK-51290 Включение заполнения значений по умолчанию в процессе записи DSv2
• SPARK-50485 Исключить SparkThrowable в (неконтролируемом) исключении выполнения, создаваемом tableRelationCache
• SPARK-51513 Устранение ошибки в правиле RewriteMergeIntoTable создает неразрешенный план
• SPARK-51482 Поддержка преобразования строк в формат времени
• SPARK-51462 Поддерживают типизированные литералы типа данных TIME
• SPARK-51454 Поддержка преобразования времени в строку
• SPARK-51447 Добавление stringToTime и stringToTimeAnsi
• SPARK-51775 Нормализация логического отношения и HiveTableRelation с помощью NormalizePlan
• SPARK-51791ImputerModel сохраняет коэффициенты с массивами вместо кадра данных
• SPARK-51442 Добавление модулей форматирования времени
• SPARK-51384 Поддержка java.time.LocalTime в качестве внешнего типа TimeType
• SPARK-51747 Кэшированный план источника данных должен учитывать параметры
• SPARK-51774 Добавить код состояния GRPC в исключение Python Connect GRPC
• SPARK-51660 Аккуратно обработать, если MDC не поддерживается
• SPARK-51296 Поддержка сбора поврежденных данных в режиме singleVariantColumn.
• SPARK-45907 Использование API Java9+ ProcessHandle для вычисленийProcessTree в ProcfsMetricsGetter
• SPARK-51342 Добавлять TimeType
• SPARK-51769 Добавление maxRecordsPerOutputBatch для ограничения количества записей в выходных батчах Arrow
• SPARK-51350 Реализация процедур show
• SPARK-51711 Политика вытеснения кэша ML на основе использования памяти
• SPARK-51178 Выдача надлежащей ошибки PySpark вместо SparkConnectGrpcException
• SPARK-51738 Подзапрос с ключевым словом IN и типом структуры
• SPARK-51714 Добавить тест на обработку сбоев для проверки формата контрольной точки хранилища состояний версии 2
• SPARK-51704 Устранение ненужных операций сбора
• SPARK-51512 Исключение null MapStatus при очистке shuffle данных с помощью ExternalShuffleService
• SPARK-49308 Поддержка UserDefinedAggregateFunction в клиенте Spark Connect Scala
• SPARK-50091 Обработка ситуации с агрегатами в левой стороне вложенного запроса
• SPARK-50265 Поддержка spark.udf.registerJavaUdf в Connect
• SPARK-49273 Поддержка источника для клиента Spark Connect Scala
• SPARK-51187 Реализация постепенной отмены неправильной настройки, введенной в SPARK-49699
• SPARK-51650 Поддержка удаления кэшированных объектов ml в пакетном режиме
• SPARK-51619 Поддержка входных/выходных данных UDT в Python UDF, оптимизированной с помощью Arrow
• SPARK-513333 Распаковка InvocationTargetException , брошенная в MLUtils.loadOperator
• SPARK-51566 Улучшение обратной трассировки UDF Python
• SPARK-51393 Переход на обычные UDF Python при отсутствии Arrow, но при включённых пользовательских функциях Python, оптимизированных с использованием Arrow.
• SPARK-49960 Пользовательская поддержка ExpressionEncoder и исправления TransformingEncoder
• SPARK-51380 Добавьте visitSQLFunction и visitAggregateFunction для повышения гибкости V2ExpressionSQLBuilder
• SPARK-51600 Добавьте в начале классы sql/hive и sql/hive-thriftserver, когда isTesting || isTestingSql истинно
• SPARK-51070 Используйте scala.collection.Set вместо Set в ValidateExternalType
• SPARK-50759 Объявить устаревшими несколько старых API каталога
• SPARK-50994 Выполнение преобразования RDD в условиях отслеживаемого выполнения
• SPARK-51466 Устранение инициализации встроенных UDF Hive при оценке UDF Hive
• SPARK-51491 Упрощение boxplot с помощью API вложенных запросов
• SPARK-51175 Отображение Master времени, истекшего при удалении драйверов
• SPARK-50334 Извлечение общей логики для чтения дескриптора PB-файла
• SPARK-50483 BlockMissingException следует выбросить, даже если включен параметр ignoreCorruptFiles
• SPARK-50286 Правильное распространение параметров SQL в WriteBuilder
• SPARK-51023 Регистрация удаленного адреса при исключении RPC
• SPARK-47611 Очистка мертвого кода в MySQLDialect.getCatalystType
• SPARK-49229 Устранение дублирования обработки Scala UDF в модуле SparkConnectPlanner
• SPARK-50557 Поддержка RuntimeConfig.contains(.) в Интерфейсе SQL Scala
• SPARK-51471 RatePerMicroBatchStream — устанавливает ошибку ASSERT, когда смещение или метка времени в startOffset больше, чем в endOffset.
• SPARK-50473 Упрощение обработки классических столбцов
• SPARK-49286 Перемещение функций Avro/Protobuf в sql/api
• SPARK-49087 Различение между неразрешенными функциями и вызовами внутренних функций
• SPARK-50422 Сделать Parameterized SQL queries общедоступной версией SparkSession.sql API
• SPARK-49249 Компаньон PR для "Добавление новой конфигурации диспетчера артефактов по умолчанию в PySpark для списка разрешений"
• SPARK-50366 Изоляция определяемых пользователем тегов на уровне потока для SparkSession в классической версии
• SPARK-49436 Общий интерфейс для SQLContext
• SPARK-51551 Для алгоритма настройки разрешить использование сохранения и загрузки для замены кэша
• SPARK-51599 Оптимизация ps.read_excel для большого файла Excel
• SPARK-51118 Исправление функции ExtractPythonUDFs, чтобы проверить типы входных данных UDF в цепочке для резервного сценария
• SPARK-50395 Исправление неправильно сформированного синтаксиса URI в Windows
• SPARK-50708 Удаление ресурсов Артефакта в GC экземпляра ArtifactManager
• SPARK-51076 Резервный механизм Python UDF на базе Arrow для входных и выходных пользовательских типов данных
• SPARK-50243 Кэшированный загрузчик классов для менеджера артефактов
• SPARK-49249 Изоляция артефактов в классической версии Spark
• SPARK-50821 Обновление Py4J с версии 0.10.9.8 до 0.10.9.9
• SPARK-51591 Исправлена ошибка ThreadPoolExecutor в ежедневном тестировании python 3.13
• SPARK-40353 Исправление несоответствия нулевых значений индекса в ps.read_excel
• SPARK-42746 Реализация функции LISTAGG
• SPARK-50102 Добавьте шииты, необходимые для отсутствующих общедоступных методов SQL.
• SPARK-50513 Разделение кодировщикаImplicits из SQLImplicits и предоставление вспомогательного объекта в StatefulProcessor
• SPARK-51567 Исправление DistributedLDAModel.vocabSize
• SPARK-49569 Добавление шимов для поддержки SparkContext и RDD
• SPARK-51473 Преобразованная машинно-обученная структура данных сохраняет ссылку на модель
• SPARK-51340 Оценка размера модели
• SPARK-51474 Не вставлять избыточные ColumnarToRowExec для узла, поддерживающего как столбчатый, так и строковый вывод.
• SPARK-51445 Измените то, что никогда не изменялось var на val
• SPARK-50618 Заставить DataFrameReader и DataStreamReader более эффективно использовать анализатор
• SPARK-51097 Верните метрики экземпляра последней загруженной версии моментального снимка в хранилище состояния RocksDB.
• SPARK-49418 Локальные локальные потоки общего сеанса
• SPARK-50096 Назначение соответствующего условия ошибки для _LEGACY_ERROR_TEMP_2150: TUPLE_SIZE_EXCEEDS_LIMIT
• SPARK-50264 Добавление отсутствующих методов в DataStreamWriter
• SPARK-49434 Перемещение агрегаторов в SQL/API
• SPARK-51451 Исправление средства ExtractGenerator, чтобы дождаться разрешения неразрешенных объектовStarWithColumns
• SPARK-49416 Добавление общего интерфейса DataStreamReader
• SPARK-49429 Добавление интерфейса Shared DataStreamWriter
• SPARK-49282 Создайте общий интерфейс SparkSessionBuilder.
• SPARK-49415 Переместить SQLImplicits в sql/api
• SPARK-51443 Исправление проблемы singleVariantColumn в DSv2 и readStream.
• SPARK-49369 Добавление неявных преобразований столбцов
• SPARK-49417 Добавление интерфейса Shared StreamingQueryManager
• SPARK-51079 Поддержка больших типов переменных в UDF pandas, createDataFrame и toPandas с использованием Arrow
• SPARK-51277 Реализация реализации 0-arg в UDF Python, оптимизированной со стрелками
• SPARK-50601 Поддержка withColumns / withColumnsRenamed в подзапросах
• SPARK-49479 Отмена недемонового потока таймера при остановке BarrierCoordinator
• SPARK-51379 Перенос финальной агрегации функции treeAggregate от драйвера к вычислителям
• SPARK-49712 Удаление encoderFor из connect-client-jvm
• SPARK-49424 Объединить Encoders.scala
• SPARK-49574 Отключение неработающих тестов совместного использования Delta в основной ветке
• SPARK-51409 Добавление классификации ошибок в пути создания журнала изменений
• SPARK-49568 Удалить собственный тип из набора данных
• SPARK-51433 Изменение скрипта для релиза pyspark-client
• SPARK-51422 Устранение обмена данными JVM-Python в CrossValidator
• SPARK-51425 Добавление клиентского API для задания пользовательского operation_id
• SPARK-49284 Создание общего интерфейса каталога
• SPARK-50855 Поддержка Spark Connect для TransformWithState in Scala
• SPARK-50694 Поддержка переименований в вложенных запросах
• SPARK-50880 Добавление нового метода visitBinaryComparison в V2ExpressionSQLBuilder
• SPARK-51282 Оптимизация преобразования OneVsRestModel за счет устранения обмена данными JVM-Python
• SPARK-51079 Поддержка больших типов переменных в UDF pandas, createDataFrame и toPandas с использованием Arrow
• SPARK-51383 Избегайте вызовов RPC, если известно, что клиенты уже остановлены
• SPARK-51227 Исправление PySpark Connect _minimum_grpc_version к версии 1.67.0
• SPARK-51362 Изменение toJSON на использование API NextIterator для устранения смежных зависимостей записей
• SPARK-51375 Подавление SparkConnect(Execution|Session)Manager.periodicMaintenance сообщений журнала
• SPARK-50393 Общие сведения о TableArg для классической версии Spark и Spark Connect
• SPARK-50133 Поддержка преобразования кадра данных в аргумент таблицы в клиенте Python Spark Connect
• SPARK-49574 ExpressionEncoder отслеживает AgnosticEncoder, который его создал.
• SPARK-49422 Добавление groupByKey в sql/api
• SPARK-51381 Отображение Session ID на Spark Connect Session странице
• SPARK-51316 Разрешить пакеты данных Arrow в байтах вместо количества строк
• SPARK-50134 Поддержка API DataFrame для подзапросов SCALAR и EXISTS в Spark Connect
• SPARK-50392 Преобразование кадра данных в аргумент таблицы в классической версии Spark
• SPARK-50553 Показать InvalidPlanInput для недействительного сообщения плана
• SPARK-51322 Более понятное сообщение об ошибке для выражения подзапроса потоковой передачи
• SPARK-51281 DataFrameWriterV2 должен учитывать параметр пути
• SPARK-50856 Поддержка Spark Connect для TransformWithStateInPandas в Python
• SPARK-513333 Распаковка InvocationTargetException , брошенная invokeMethod
• SPARK-50134 Поддержка DataFrame API для латерального соединения в Spark Connect
• SPARK-51083 Изменение JavaUtils, чтобы не игнорировать исключения InterruptedException.
• SPARK-49413 Создание общего интерфейса RuntimeConfig (дальнейшие действия)
• SPARK-49413 Создание общего интерфейса RuntimeConfig
• SPARK-50993 Перенос nullDataSourceOption из QueryCompilationErrors в QueryExecutionErrors
• SPARK-51329 Добавление numFeatures для моделей кластеризации
• SPARK-51305 Улучшать SparkConnectPlanExecution.createObservedMetricsResponse
• SPARK-51097 Добавление метрик экземпляра хранилища состояний для последней отправленной версии моментального снимка в RocksDB
• SPARK-49425 Создание общего объекта DataFrameWriter
• SPARK-50655 Перемещение сопоставления, связанного с семейством виртуальных колонок, в слой базы данных вместо использования кодировщика
• SPARK-48530 Поддержка локальных переменных в скриптах SQL
• SPARK-51284 Исправление выполнения скрипта SQL для пустого результата
• SPARK-49085 Удаление особой обработки для функций Protobuf в Connect
• SPARK-50881 При использовании connect dataframe.py используйте кэшированную схему, где это возможно.
• SPARK-51275 Распространение сеансов в python readwrite
• SPARK-51109 CTE в подзапросе как столбец группировки
• SPARK-50598 Добавление параметров для включения последующей реализации рекурсивных общих табличных выражений
• SPARK-51202 Передача сеанса мета алгоритма в python авторам
• SPARK-51215 Добавление вспомогательной функции для вызова вспомогательного атрибута модели
• SPARK-51214 Не спешите удалять кэшированные модели для fit_transform
• SPARK-51237 Добавление сведений об API для новых вспомогательных API-интерфейсов преобразованияWithState
• SPARK-51192 Раскрытие processWithoutResponseObserverForTesting в SparkConnectPlanner
• SPARK-51217 Очистка вспомогательной функции конструктора модели машинного обучения
• SPARK-51218 Избегайте использования map/flatMap в NondeterministicExpressionCollection
• SPARK-50953 Добавить поддержку нелитеральных путей в VariantGet
• SPARK-50132 Добавление API DataFrame для латеральных соединений
• SPARK-51190 Исправление TreeEnsembleModel.treeWeights
• SPARK-50945 Поддержка функций Summarizer и SummaryBuilder в Connect
• SPARK-51142 Очистка протокольных буферов машинного обучения
• SPARK-51139 Уточнение класса ошибок MLAttributeNotAllowedException
• SPARK-51080 Исправление сохранения и загрузки для PowerIterationClustering
• SPARK-51100 Замена обёрток трансформатора на отношения атрибутов вспомогательной модели
• SPARK-51091 Исправление параметров по умолчанию StopWordsRemover
• SPARK-51089 Поддержка при подключении VectorIndexerModel.categoryMaps
• SPARK-50954 Поддержка перезаписи пути клиентской модели для мета алгоритмов
• SPARK-50975 Поддержка при подключении CountVectorizerModel.from_vocabulary
• SPARK-50958 Поддержка при подключении Word2VecModel.findSynonymsArray
• SPARK-50930 Поддержка при подключении PowerIterationClustering
• SPARK-51157 Добавление отсутствующих аннотаций Scala для API функций Scala
• SPARK-51155 Сделать так, чтобы SparkContext показывал общее время выполнения после остановки
• SPARK-51143 Закрепление plotly<6.0.0 и torch<2.6.0
• SPARK-50949 Введение вспомогательной модели для поддержки StringIndexModel.from_labels_xxx
• SPARK-51131 Создание исключения при обнаружении скрипта SQL внутри EXECUTE IMMEDIATE команды
• SPARK-51078 Исправление вызова py4j в StopWordsRemover
• SPARK-50944 Поддержка при подключении KolmogorovSmirnovTest
• SPARK-50602 Исправление функции транспонирования для вывода корректного сообщения об ошибке при указании недопустимых столбцов индекса
• SPARK-50943 Поддержка при подключении Correlation
• SPARK-50234 Улучшение сообщения об ошибке и тестирование API DataFrame для транспонирования
• SPARK-50942 Поддержка при подключении ChiSquareTest
• SPARK-48353 Введение механизма обработки исключений в скриптах SQL
• SPARK-51043 Тонкая настройка ведения журналов пользователей для Spark Connect foreachBatch
• SPARK-50799 Уточнение докстрок rlike, length, octet_length, bit_length и transform
• SPARK-51015 Поддержка RFormulaModel.toString в Connect
• SPARK-50843 Поддержка возврата новой модели из существующей
• SPARK-50969 Исправление GaussianMixtureModel.gaussians при подключении
• SPARK-50899 Поддержка ПрефиксSpan при подключении
• SPARK-51060 Поддержка при подключении QuantileDiscretizer
• SPARK-50974 Добавление поддержки foldCol для CrossValidator при подключении
• SPARK-50922 Поддержка OneVsRest в Connectе
• SPARK-50812 Добавление поддержки PolynomialExpansion
• SPARK-50923 Поддержка FMClassifier и FMRegressor на платформе Connect
• SPARK-50918 Рефакторинг чтения и записи для Pipeline
• SPARK-50938 Поддержка VectorSizeHint и VectorSlicer в Connect
• SPARK-51005 Поддержка VectorIndexer и ElementwiseProduct в Connect
• SPARK-51014 Поддержка RFormula при подключении
• SPARK-50941 Добавление поддержки для TrainValidationSplit
• SPARK-51004 Добавление поддержки для IndexString
• SPARK-51003 Поддержка моделей LSH в Connect
• SPARK-50924 Поддержка AFTSurvivalRegression и IsotonicRegression в системе Connect
• SPARK-50921 Поддержка MultilayerPerceptronClassifier в Connect
• SPARK-50995 Поддержка clusterCenters алгоритмов KMeans и BisectingKMeans
• SPARK-50940 Добавляет поддержку CrossValidator/CrossValidatorModel при подключении
• SPARK-50929 Поддержка при подключении LDA
• SPARK-50925: Поддержка обобщенной линейной регрессии в модуле Connect
• SPARK-509888 Исправление несоответствий пользовательского интерфейса для оценки и модели
• SPARK-50989 Поддержка NGram, Normalizer и Interaction при подключении
• SPARK-50937 Поддержка при подключении Imputer
• SPARK-51049 Увеличьте пороговое значение ввода-вывода векторных данных S3A для объединения диапазона
• SPARK-50812 Поддержка TargetEncoderModel в Connect
• SPARK-50920 Поддержка NaiveBayes в Connect
• SPARK-50936 Поддержка HashingTF, IDF и FeatureHasher при подключении
• SPARK-50934 Поддержка CountVectorizer и OneHotEncoder в Connect
• SPARK-49287 Перемещение классов потоковой передачи в SQL/API
• SPARK-50932 Поддержка Bucketizer в Connect
• SPARK-50933 Поддержка селекторов функций на платформе Connect
• SPARK-50931 Поддержка Binarizer при подключении
• SPARK-50935 Поддержка DCT при подключении
• SPARK-50963 Поддержка токенизаторов, SQLTransform и StopWordsRemover в Connect
• SPARK-50928 Поддержка GaussianMixture в Connect
• SPARK-49383 Поддержка API транспонирования кадра данных
• SPARK-50939 Поддержка Word2Vec в Connect
• SPARK-49249 Добавление новых API, связанных с тегами, в Connect back to Spark Core
• SPARK-50919 Поддержка LinearSVC при подключении
• SPARK-50883 Поддержка изменения нескольких столбцов в одной команде
• SPARK-50918 Конвейер поддержки при подключении
• SPARK-50826 Рефакторинг способа обработки ALLOWED_ATTRIBUTES
• SPARK-49427 Создание общего интерфейса для MergeIntoWriter
• SPARK-49414 Добавление общего интерфейса DataFrameReader
• SPARK-50948 Добавление поддержки StringIndexer/PCA в Connect
• SPARK-50901 Преобразователь поддержки VectorAssembler
• SPARK-50879 Поддержка масштабировщиков функций в Connect
• SPARK-50130 Добавление API кадра данных для скалярных и существующих вложенных запросов
• SPARK-50075 Добавить API для DataFrame для функций с табличным значением
• SPARK-49426 Создание общего интерфейса для DataFrameWriterV2
• SPARK-508988 Поддержка при подключении FPGrowth
• SPARK-50844 Модель должна загружаться с помощью ServiceLoader при загрузке
• SPARK-50884 Поддержка isLargerBetter в оценивателе
• SPARK-50959 Проглотить исключение JavaWrapper
• SPARK-50558 Введение simpleString для ExpressionSet
• SPARK-49422 Создание общего интерфейса для KeyValueGroupedDataset
• SPARK-50878 Поддержка ALS при подключении
• SPARK-50897 Избегайте создания экземпляра в ServiceLoader
• SPARK-50877 Поддержка KMeans и BisectingKMeans в Connect
• SPARK-50876 Регрессии дерева поддержки при подключении
• SPARK-50874 Поддержка при подключении LinearRegression
• SPARK-50869 Поддержка оценщиков в ML Connect
• SPARK-50851 Выразите параметры машинного обучения с помощью proto.Expression.Literal
• SPARK-50825 Поддержка классификаторов дерева в ML Connect
• SPARK-50827 Плагин поддержки
• SPARK-49907 Поддержка spark.ml при подключении
• SPARK-50968 Исправление использования Column.__new__
• SPARK-49028 Создание общей SparkSession
• SPARK-49421 Создание общего интерфейса RelationalGroupedDataset
• SPARK-50804 to_protobuf() не должно вызывать MatchError
• SPARK-50900 Добавление VectorUDT и MatrixUDT в ProtoDataTypes
• SPARK-50579 Исправить truncatedString
• SPARK-50875 Добавление колляций RTRIM в TVF
• SPARK-49420 Добавление общего интерфейса для DataFrameNaFunctions
• SPARK-50669 Изменение сигнатуры выражения TimestampAdd
• SPARK-46615 Поддержка s.c.immutable.ArraySeq в ArrowDeserializers
• SPARK-49423 Консолидация наблюдения в sql/api
• SPARK-49086 Перенос регистрации функции машинного обучения в SparkSessionExtensions
• SPARK-49419 Создание общих функций DataFrameStatFunctions
• SPARK-50735 Сбой в ExecuteResponseObserver приводит к бесконечному повторному кэшированию запросов
• SPARK-50522 Поддержка неопределенной сортировки
• SPARK-50893 Обозначить тип данных UDT как необязательный
• SPARK-50685 Повышение производительности Py4J путем использования getattr
• SPARK-50742 Удаление spark.hadoop.fs.s3a.connection.establish.timeout параметра
• SPARK-50714 Включение эволюции схемы для TransformWithState при использовании кодировки Avro
• SPARK-49029 Создание общего интерфейса набора данных
• SPARK-50263 Замена System.currentTimeMillis на System.nanoTime
• SPARK-50525 Определение правила оптимизатора InsertMapSortInRepartitionExpressions
• SPARK-50561 Улучшение приведения типов и проверки границ для функции SQL UNIFORM
• SPARK-50707 Включение приведения к/от char/varchar.
• SPARK-49027 Совместное использование API столбцов между классом и подключением
• SPARK-49632 Удалить рекомендацию по настройке ANSI в CANNOT_PARSE_TIMESTAMP
• SPARK-50529 Изменение поведения char/varchar в конфигурации
• SPARK-50600 Установка проанализированного при сбое анализа
• SPARK-50789 Входные данные для типизированных агрегаций должны быть проанализированы
• SPARK-49025 Сделать реализацию столбца агностичной
• SPARK-50738 Обновление черного до 23.12.1
• SPARK-49883 Интеграция структуры контрольных точек хранилища состояний версии 2 с RocksDB
• SPARK-50778 Добавление metadataColumn в DataFrame PySpark
• SPARK-49565 Улучшение псевдонимов автоматически созданных выражений с помощью операторов SQL канала
• SPARK-50772 Сохранение псевдонимов таблицы после SET, EXTEND, DROP операторов
• SPARK-50690 Фиксация несоответствия в DESCRIBE TABLE цитировании выходных данных запроса в представлении
• SPARK-50675 Поддержка колляций на уровне таблиц и представлений
• SPARK-50480 Расширить CharType и VarcharType из StringType
• SPARK-50715SparkSession.Builder задает конфигурации в пакете
• SPARK-50693 Входные данные для TypedScalaUdf должны быть проанализированы
• SPARK-50710 Добавление поддержки дополнительного подключения клиента к сеансам после выпуска
• SPARK-50596 Обновление Py4J с версии 0.10.9.7 до версии 0.10.9.8
• SPARK-50661 Добавьте обратную совместимость для старого клиента FEB.
• SPARK-50515 Добавление интерфейса только для чтения в SparkConf
• SPARK-50642 Исправлена схема состояния для FlatMapGroupsWithState в spark connect, если начальное состояние отсутствует
• SPARK-50702 Усовершенствование докстрок для regexp_count, regexp_extract и regexp_extract_all
• SPARK-50692 Добавление поддержки pushdown RPAD
• SPARK-50699 Анализ и создание строки DDL с указанным сеансом
• SPARK-50573 Добавление идентификатора схемы состояния в строки состояния для эволюции схемы.
• SPARK-50311 Поддержка API (add|remove|get|clear)Tag(s) для PySpark
• SPARK-50661 Исправлена ошибка Spark Connect Scala foreachBatch impl. для поддержки набора данных[T].
• SPARK-506966 Оптимизация вызова Py4J для метода синтаксического анализа DDL
• SPARK-50687 Оптимизация логики для получения трассировок стека для DataFrameQueryContext
• SPARK-50681 Кэшируйте проанализированную схему для MapInXXXX и ApplyInXXX
• SPARK-50578 Добавление поддержки новой версии метаданных состояния для TransformWithStateInPandas
• SPARK-50405 Правильно обрабатывать приведение типов сопоставления сложных типов данных
• SPARK-50615 Включение варианта в скан.
• SPARK-50599 Создайте черту DataEncoder, которая позволяет кодировать Avro и UnsafeRow
• SPARK-50076 Исправление ключей журнала
• SPARK-50339 Включение журнала изменений для хранения сведений о происхождении
• SPARK-50540 Исправлена схема строкового типа для StatefulProcessorHandle
• SPARK-50544 Реализовать StructType.toDDL
• SPARK-50528 Переход InvalidCommandInput к общему модулю
• SPARK-50063 Добавление поддержки Variant в клиенте Spark Connect Scala
• SPARK-50310 Добавление флага для отключения DataFrameQueryContext для PySpark
• SPARK-50310 Добавление флага для отключения DataFrameQueryContext для PySpark
• SPARK-50032 Разрешить использование полного имени сортировки
• SPARK-50466 Улучшить документирующие строки для строковых функций — часть 1
• SPARK-49676 Добавление поддержки цепного выполнения операторов в API transformWithStateInPandas
• SPARK-50081 Поддержка генерации кода с использованием XPath*Invoke и RuntimeReplaceable.
• SPARK-46725 Добавление функции DAYNAME
• SPARK-50067 Поддержка Codegen для SchemaOfCsv (через Invoke и RuntimeReplaceable)
• SPARK-49873 устраняет сбой после слияния при тестировании ошибок
• SPARK-50270 Добавлены пользовательские метрики состояния для TransformWithStateInPandas
• SPARK-50381 Поддержка spark.master.rest.maxThreads
• SPARK-50427 Предоставление configure_logging в качестве общедоступного API
• SPARK-50173 Доработка выражений pandas для поддержки большего количества типов данных
• SPARK-50169 Повышение производительности RegExpReplace
• SPARK-50238 Добавление поддержки вариативности в PySpark UDFs/UDTFs/UDAFs и Python UC UDFs
• SPARK-50190 Удаление прямой зависимости Numpy из гистограммы
• SPARK-50183 Объединение внутренних функций для API Pandas и PySpark Plotting
• SPARK-50170 Перейти _invoke_internal_function_over_columns к pyspark.sql.utils
• SPARK-50036 Включить SPARK_LOG_SCHEMA в контекст оболочки REPL
• SPARK-50141 Сделать так, чтобы lpad и rpad принимали аргументы типа столбца
• SPARK-49954 Поддержка Codegen для SchemaOfJson (by Invoke & RuntimeReplaceable)
• SPARK-50098 Обновление минимальной версии googleapis-common-protos до версии 1.65.0
• SPARK-50059 Проверка совместимости API для структурированной потоковой передачи ввода-вывода
• SPARK-50241 Замените Mixin NullIntolerant на метод Expression.nullIntolerant
• SPARK-49849 Проверка совместимости API для управления структурированным потоковым запросом
• SPARK-49851 Проверка совместимости API для Protobuf
• SPARK-49850 Проверка совместимости API для Avro
• SPARK-50039 Проверка совместимости API для группирования
• SPARK-50023 Проверка совместимости API для функций
• SPARK-50030 Проверка совместимости API для окна
• SPARK-50002 Проверка совместимости API для ввода-вывода
• SPARK-49848 Проверка совместимости API для каталога
• SPARK-50022 Исправить, чтобы скрывать ссылки пользовательского интерфейса приложения при отключении пользовательского интерфейса
• SPARK-50021 Исправление для ApplicationPage скрытия ссылок пользовательского интерфейса приложения при отключении пользовательского интерфейса
• SPARK-49990 Повышение производительности randStr
• SPARK-50380 ReorderAssociativeOperator должен соблюдать контракт в ConstantFolding
• SPARK-50330 Добавление подсказок в узлы сортировки и окна
• SPARK-49609 Добавление проверки совместимости API между классической версией и подключением
• SPARK-49773 Необработанное исключение Java из make_timestamp(), связанное с неправильным часовым поясом
• SPARK-49345 Убедитесь, что используется текущий запущенный сеанс Spark
• SPARK-49368 Избегайте прямого доступа к классам protobuf lite
• SPARK-50056 Поддержка Codegen для ParseUrl (с помощью Invoke и RuntimeReplaceable)
• SPARK-49119 Исправление несоответствия синтаксиса show columns между версиями 1 и 2
• SPARK-50144 Устранение ограничения вычислений метрик с помощью источников потоковой передачи DSv1
• SPARK-49962 Упрощение иерархии классов AbstractStringTypes
• SPARK-50327 Выделение разрешения функций для повторного использования в однопроходном анализаторе
• SPARK-48775 Замена SQLContext на SparkSession в STS
• SPARK-50325 Выделение разрешения псевдонимов для повторного использования в однопроходном анализаторе
• SPARK-48123 Предоставление схемы постоянной таблицы для запроса структурированных журналов
• SPARK-50055 Добавление альтернативы TryMakeInterval
• SPARK-49312 Улучшение сообщения об ошибке для assertSchemaEqual
• SPARK-38912 Удаление комментария, связанного с classmethod и свойством
• SPARK-50112 Разрешение оператору TransformWithState использовать кодировку Avro
• SPARK-50260 Рефакторинг и оптимизация выполнения Spark Connect и управления сеансами
• SPARK-50196 Исправление контекста ошибки Python для использования правильного контекста
• SPARK-50167 Улучшение отображения сообщений об ошибках и импорта PySpark
• SPARK-50085 Создание lit(ndarray) с помощью np.int8 с учетом типа данных numpy
• SPARK-50273 Улучшение логирования в случаях получения и освобождения блокировки в RocksDB
• SPARK-50163 Исправление дополнительного выпуска acquireLock в RocksDB, вызванного прослушивателем завершения
• SPARK-49770 Улучшение управления сопоставлением файлов SST в RocksDB и устранение проблемы, связанной с перезагрузкой той же версии при наличии существующего моментального снимка.
• SPARK-50232 Добавьте 'protobuf==5.28.3' в dev/requirements.txt
• SPARK-50231 Сделать функцию instr принимающей столбец substring
• SPARK-50028 Замена глобальных блокировок в прослушивателе сервера Spark Connect на мелкозернистые блокировки
• SPARK-50077 Введите новый объект шаблона для LogicalRelation, чтобы избежать полного шаблона params по умолчанию
• SPARK-50128 Добавить API-интерфейсы для обработки состояний с использованием неявных кодировщиков в Scala
• SPARK-49411 Обмен данными с идентификатором контрольной точки хранилища состояния между драйвером и операторами состояния
• SPARK-50054 Поддержка графиков гистограммы
• SPARK-49854 Не копировать библиотеки кластеров при клонировании менеджера артефактов
• SPARK-50071 Добавление try_make_timestamp(_ltz и _ntz) и связанных тестов
• SPARK-50024 Переключитесь на использование средства ведения журнала вместо модуля предупреждений в клиенте
• SPARK-50174 Разрешение факторов UnresolvedCatalogRelation
• SPARK-49734 Добавление seed аргумента для функции shuffle
• SPARK-49943 Удаление timestamp_ntz_to_long из PythonSQLUtils
• SPARK-49945 Добавление псевдонима для distributed_id
• SPARK-49755 Удалить специальную обработку для функций avro в Connect
• SPARK-49805 Удалить частные функции [xxx] из function.scala
• SPARK-49929 Графики полей поддержки
• SPARK-49767 Рефакторинг вызова внутренней функции
• SPARK-49939 Поддержка генерации кода для json_object_keys (через Invoke и RuntimeReplaceable)
• SPARK-49854 Клонировать диспетчер артефактов во время клонирования сеанса
• SPARK-49766 Поддержка генерации кода для json_array_length (от Invoke и RuntimeReplaceable)
• SPARK-49540 Объединение использования distributed_sequence_id
• SPARK-50046 Использование стабильного порядка узла EventTimeWatermark для вычисления водяного знака
• SPARK-50031TryParseUrl Добавление выражения
• SPARK-49202 Применить ArrayBinarySearch к гистограмме
• SPARK-49811 Переименование StringTypeAnyCollation
• SPARK-50106 Обновление protobuf пакета Python до версии 5.28.3
• SPARK-49203 Добавление выражения для java.util.Arrays.binarySearch
• SPARK-50090 Рефакторинг ResolveBinaryArithmetic для выделения одноузлового преобразования
• SPARK-49103 Поддержка spark.master.rest.filters
• SPARK-49222 Очистка бесполезных методов в QueryCompilationErrors
• SPARK-50062 Поддержка колляций по InSet
• SPARK-50035 Добавление поддержки явной функции handleExpiredTimer в обработчике с отслеживанием состояния
• SPARK-50050 Заставить lit принимать тип numpy ndarray str и bool
• SPARK-50051 Обеспечить lit работу с пустым массивом numpy ndarray
• SPARK-49857 Добавить storageLevel в Dataset localCheckpoint API
• SPARK-48749 Упрощение unaryPositive и устранение правил катализатора с помощью RuntimeReplaceable
• SPARK-50058 Вынести функции нормализации плана для их дальнейшего использования в тестировании Анализатора в один проход
• SPARK-50042 Обновление numpy 2 для линтера Python
• SPARK-50052 Создание функции NumpyArrayConverter поддерживает пустую str ndarray
• SPARK-49126 Переместите spark.history.ui.maxApplications определение конфигурации в History.scala
• SPARK-50044 Усовершенствование описательных строк нескольких математических функций
• SPARK-48782 Добавление поддержки выполнения процедур в каталогах
• SPARK-48773 Задокументировать конфигурацию "spark.default.parallelism" с помощью средства построения конфигураций
• SPARK-49876 Избавиться от глобальных блокировок из службы Spark Connect
• SPARK-48480 Работа StreamingQueryListener не должна зависеть от "spark.interrupt()"
• SPARK-49978 Перенос предупреждения об устаревании sparkR на момент подключения пакета
• SPARK-48549 Улучшение функции SQL sentences
• SPARK-49956 Отключенные параметры сортировки с выражением collect_set
• SPARK-49974 Вынесение resolveRelations(...) из Analyzer.scala
• SPARK-49067 Перемещение литерала UTF-8 во внутренние методы класса UrlCodec
• SPARK-49393 Ошибка по умолчанию в устаревших API (интерфейсах программирования) подключаемых модулей каталога
• SPARK-49918 Использование доступа только для чтения к конфигурации SparkContext, где это уместно
• SPARK-49924 Сохранить containsNull после ArrayCompact замены
• SPARK-49895 Улучшение ошибки при обнаружении запятой в SELECT предложении
• SPARK-49890 Перемещение подготовки df.sample в родительский класс
• SPARK-49810 Извлечь подготовку в родительский DataFrame.sort класс
• SPARK-49405 Ограничение наборов символов в JsonOptions
• SPARK-49542 Ошибка оценки исключения преобразования секционирования
• SPARK-47172 Добавление поддержки AES-GCM для шифрования RPC
• SPARK-44914 Исправление HadoopConfUtilsSuite после удаления xercesImpl
• SPARK-47496 Поддержка JAVA SPI для динамической регистрации диалекта JDBC
• SPARK-48961 Согласование именования параметров PySparkException с JVM
• SPARK-47390 Обработка сопоставления меток времени SQL для Postgres и MySQL
• SPARK-49824 Улучшение ведения журнала в SparkConnectStreamingQueryCache
• SPARK-49894 Уточнение строкового представления операций поля столбца
• SPARK-49836 Исправьте, возможно, неисправный запрос при предоставлении окна или функции session_window.
• SPARK-49531 Поддержка линейных графиков на основе Plotly
• SPARK-48780 Создание ошибок в универсальном шаблоне NamedParametersSupport для обработки функций и процедур
• SPARK-49026 Добавить ColumnNode к преобразованию Proto
• SPARK-49814 При запуске клиента Spark Connect отобразите список spark versionconnect server
• SPARK-49246 TableCatalog#loadTable должно указывать, предназначено ли оно для записи
• SPARK-49749 Изменить уровень журнала на уровень отладки в BlockManagerInfo
• SPARK-48303 Реорганизовать LogKeys
• SPARK-48112 Предоставление сеанса в SparkConnectPlanner подключаемым модулям
• SPARK-45919 Упрощение определения классов Java с помощью Java 16 record
• SPARK-48126 Сделать spark.log.structuredLogging.enabled эффективным
• SPARK-49656 Добавление поддержки переменных состояния с типами коллекций для значений и параметрами чтения канала изменений
• SPARK-49323 Перемещение MockObserver из тестовой папки Spark Connect Server в главную папку сервера
• SPARK-49772 Удалить ColumnFamilyOptions и добавить конфигурации непосредственно в dbOptions в RocksDB
• SPARK-49688 Устранена гонка данных между прерыванием и выполнением плана
• SPARK-49585 Замена карты выполнений в SessionHolder на набор operationID
• SPARK-49684 Минимизация времени существования блокировки восстановления сеанса
• SPARK-48857 Ограничение наборов символов в CSVOptions
• SPARK-48615 Улучшение perf для синтаксического анализа шестнадцатеричной строки
• SPARK-49719 Сделать так, чтобы UUID и SHUFFLE принимали целое число seed
• SPARK-49713 Сделать функцию count_min_sketch принимать числовые аргументы
• SPARK-48623 Структурированные миграции ведения журнала [часть 3]
• SPARK-48541 Добавление нового кода выхода для исполнителей, убитых TaskReaper
• SPARK-48627 Улучшение производительности преобразования двоичных данных в строку HEX_DISCRETE
• SPARK-49226 Очистка генерации кода UDF
• SPARK-49673 Увеличить CONNECT_GRPC_ARROW_MAX_BATCH_SIZE до 0,7 * CONNECT_GRPC_MAX_MESSAGE_SIZE
• SPARK-49307 Добавить сериализацию Kryo в независимую архитектуру кодировщика.
• SPARK-48601 Предоставление более понятного сообщения об ошибке при настройке значения NULL для параметра JDBC
• SPARK-42252 Добавление spark.shuffle.localDisk.file.output.buffer и удаление spark.shuffle.unsafe.file.output.buffer
• SPARK-49505 Создание новых функций SQL "randstr" и "uniform" для создания случайных строк или чисел в диапазонах
• SPARK-48341 Разрешить подключаемым модулям использовать QueryTest в своих тестах
• SPARK-48374 Поддержка дополнительных типов столбцов таблицы PyArrow
• SPARK-49412 Вычисление всех метрик графиков поля в одном задании
• SPARK-49684 Удалите глобальные блокировки из менеджеров сеансов и выполнения
• SPARK-49225 Добавить ColumnNode sql и нормализовать
• SPARK-49274 Поддержка кодировщиков на основе сериализации java
• SPARK-49089 Перемещение жестко закодированных выражений катализатора в внутренний реестр функций
• SPARK-48185 Исправление "символьный ссылочный класс недоступен: класс sun.util.calendar.ZoneInfo"
• SPARK-48037 Исправление проблемы с отсутствием метрик, связанных с записью shuffle, что может приводить к потенциально неточным данным.
• SPARK-49534 Больше не добавляются sql/hive и sql/hive-thriftserver, когда spark-hive_xxx.jar не в classpath.
• SPARK-49502 Избегайте NPE в SparkEnv.get.shuffleManager.unregisterShuffle
• SPARK-49567 Используйте classic вместо vanilla базы кода PySpark
• SPARK-49582 Улучшить утилиту "dispatch_window_method" и докстринг
• SPARK-49478 Обработка метрики NULL в ConnectProgressExecutionListener
• SPARK-49525 Незначительное улучшение журнала для прослушивателя на стороне сервера при потоковой обработке запросов ListenerBus Listener
• SPARK-49544 Замена грубой блокировки в SparkConnectExecutionManager на ConcurrentMap
• SPARK-49548 Замена грубой блокировки в SparkConnectSessionManager на ConcurrentMap
• SPARK-49004 Использование отдельного реестра для внутренних функций API столбцов
• SPARK-49443 Реализация выражения to_variant_object и выражения schema_of_variant, которые печатают OBJECT для объектов Variant.
• SPARK-49595 Исправление DataFrame.unpivot/melt в клиенте Spark Connect Scala
• SPARK-49526 Поддержка путей в стиле Windows в ArtifactManager
• SPARK-49396 Изменение проверки доступности null для выражения CaseWhen
• SPARK-49024 Добавить поддержку функций в узел столбца
• SPARK-48985 Конструкторы совместимых выражений Connect
• SPARK-49083 Разрешить from_xml и from_json нативно работать с схемами JSON
• SPARK-48986 Добавить промежуточное представление ColumnNode
• SPARK-48960 Позволяет spark-submit работать с подключением Spark
• SPARK-49492 Повторное подключение для неактивного ExecutionHolder
• SPARK-47307 Добавить конфигурацию для необязательной сегментации строк base64
• SPARK-49451 Разрешить повторяющиеся ключи в parse_json
• SPARK-49021 Добавлена поддержка чтения переменных состояния значений transformWithState с помощью средства чтения источника данных состояния.
• SPARK-49249 Добавление addArtifact API в Spark SQL Core
• SPARK-48693 Упрощение и объединение toString Invoke и StaticInvoke
• SPARK-41982 Разделы строкового типа не должны трактоваться как числовые типы
• SPARK-49216 Исправление, чтобы не регистрировать контекст сообщения с явно созданным LogEntry, если структурированное ведение журнала отключено.
• SPARK-49459 Поддержка контрольной суммы shuffle CRC32C
• SPARK-49409 Настройка значения по умолчанию CONNECT_SESSION_PLAN_CACHE_SIZE
• SPARK-49164 Исправление проблемы с оператором Not NullSafeEqual в предикате SQL-запроса в связи через JDBC
• SPARK-48344 Выполнение скриптов SQL (включая Spark Connect)
• SPARK-49260 Больше не предопределен путь к классам sql/core модуля в Spark Connect Shell
• SPARK-49041 Генерация корректного сообщения об ошибке при неверном dropDuplicatessubset
• SPARK-49300 Исправлена утечка токена делегирования Hadoop, когда интервал обновления токена не задан
• SPARK-48796 Загрузка идентификатора семейства столбцов из RocksDBCheckpointMetadata для VCF при перезапуске
• SPARK-49269 С нетерпением вычисляет VALUES() список в AstBuilder
• SPARK-49336 Ограничение уровня вложения для усечения сообщения protobuf
• SPARK-49245 Рефакторинг некоторых правил анализатора
• SPARK-48755 базовая реализация transformWithState в PySpark и поддержка ValueState
• SPARK-48762 Введение API ClusterBy DataFrameWriter для Python
• SPARK-48967 Повышение производительности и объема памяти "INSERT INTO ... VALUES" Заявления
• SPARK-49195 Внедрение логики синтаксического анализа уровня скрипта в SparkSubmitCommandBuilder
• SPARK-49173 Изменение приглашения оболочки Spark Connect с @ на scala>
• SPARK-49198 Уменьшить количество необходимых JAR-файлов для оболочки Spark Connect
• SPARK-48936 Обеспечивает совместимость spark-shell с подключением Spark
• SPARK-49201 Переосуществление построения графика с помощью Spark SQL
• SPARK-49111 Перемещение с помощьюProjectAndFilter к объекту-компаньону DataSourceV2Strategy
• SPARK-49185 Реализовать график с помощью Spark SQL
• SPARK-48761 Знакомство с API DataFrameWriter clusterBy для Scala
• SPARK-48628 Добавление метрик памяти кучи с пиком нагрузки на кучу
• SPARK-48900 Добавить reason поле для всех внутренних вызовов на отмену задания и/или этапа
• SPARK-49076 Исправление устаревшего logical plan name в комментариях AstBuilder
• SPARK-49059 Перемещение SessionHolder.forTesting(...) в тестовый пакет
• SPARK-48658 Ошибки кодирования и декодирования функций, а не mojibake
• SPARK-45891 Добавление поддержки типов интервалов в спецификации Variant
• SPARK-49032 Добавить путь схемы в запись таблицы метаданных и связанный тест для формата метаданных оператора версии 2.
• SPARK-49009 Сделать так, чтобы API столбцов и функций принимали перечисления
• SPARK-49035 Устранение TypeVar ColumnOrName_
• SPARK-48849 Создание operatorStateMetadataV2 для оператора TransformWithStateExec
• SPARK-48974 Используйте SparkSession.implicits вместо SQLContext.implicits
• SPARK-48996 Разрешить неформатированные литералы для __and__ и __or__ столбца.
• SPARK-48928 Предупреждение журнала для вызова .unpersist() на локально контрольных точках RDD
• SPARK-48972 Унификация обработки строковых литералов в функциях
• SPARK-48891 Рефакторинг StateSchemaCompatibilityChecker для объединения всех форматов схемы состояния
• SPARK-48841 Включить collationName в sql() из Collate
• SPARK-48944 Объединение обработки схемы формата JSON в Connect Server
• SPARK-48945 Упрощение функций работы с регулярными выражениями с помощью lit
• SPARK-48865 Добавление функции try_url_decode
• SPARK-48851 Измените значение SCHEMA_NOT_FOUND с namespace на catalog.namespace
• SPARK-48510 Исправление для API UDAF toColumn при выполнении тестов в Maven
• SPARK-45190 Обеспечить поддержку схемы типа StructType.
• SPARK-48900 Добавление reason поля для cancelJobGroup и cancelJobsWithTag
• SPARK-48909 Использование SparkSession над SparkContext при написании метаданных
• SPARK-48510 Поддержка API UDAF toColumn в Spark Connect
• SPARK-45155 Добавление документов API для клиента Spark Connect JVM/Scala
• SPARK-48794: поддержка df.mergeInto для Spark Connect (Scala и Python)
• SPARK-48714 Реализация DataFrame.mergeInto в PySpark
• SPARK-48726 Создание формата файла StateSchemaV3 для оператора TransformWithStateExec
• SPARK-48834 Отключение вариативных входных и выходных данных для определяемых пользователем функций на языке Python UDFs, UDTFs, UDAFs во время компиляции запросов
• SPARK-48716 Добавить jobGroupId в SparkListenerSQLExecutionStart
• SPARK-48888 Удалить создание моментального снимка на основе размера операций в журнале изменений
• SPARK-48772 Режим чтения канала изменений источника данных состояния
• SPARK-48742 Семейство виртуальных столбцов для RocksDB
• SPARK-48852 Исправлена функция обрезки строки при подключении
• SPARK-483433 Введение интерпретатора скриптов SQL
• SPARK-48118 Поддержка SPARK_SQL_LEGACY_CREATE_HIVE_TABLE переменной env
• SPARK-48804 Добавление проверки classIsLoadable и OutputCommitter.isAssignableFrom для конфигураций класса OutputCommitter
• SPARK-47577 Корректировка вводящего в заблуждение использования ключа журнала TASK_ID
• SPARK-48798 Внедрение spark.profile.render для профилирования на основе SparkSession
• SPARK-48686 Повышение производительности ParserUtils.unescapeSQLString
• SPARK-48611 Журнал TID для разделения входных данных в HadoopRDD и NewHadoopRDD
• SPARK-48720 Выравнивание команды ALTER TABLE ... UNSET TBLPROPERTIES ... в версии 1 и версии 2
• SPARK-48710 Использование совместимых типов NumPy 2.0
• SPARK-48810 Метод stop() API для сеанса должен быть идемпотентным.
• SPARK-48818 Упрощение percentile функций
• SPARK-48638 Добавление поддержки ExecutionInfo для DataFrame
• SPARK-48799 Рефакторинг версий для чтения и записи метаданных оператора
• SPARK-46122 Установить spark.sql.legacy.createHiveTableByDefault на false по умолчанию
• SPARK-48629 Перенос остаточного кода в структурированную платформу ведения журнала
• SPARK-48320 Синхронизация последних примеров ведения журнала и тестовых случаев из OSS Spark
• SPARK-48573 Обновление версии ICU
• SPARK-48687 Добавление проверки схемы состояния и обновление на драйвере на этапе планирования для запросов с сохранением состояния
• SPARK-47579 Перенос logInfo с переменными в структурированную платформу ведения журнала (ЧАСТЬ 1–4)
• SPARK-48713 Добавление проверки диапазона индекса для unsafeRow.pointTo, если baseObject является массивом байтов
• SPARK-48498 Всегда выполнять заполнение символов в предикатах
• SPARK-48598 Распространение кэшированных схем в операциях с кадрами данных
• SPARK-47599 MLLib: перенос logWarn с переменными в структурированную платформу ведения журнала
• SPARK-48576 Переименование UTF8_BINARY_LCASE в UTF8_LCASE
• SPARK-48650 Отобразить правильное место вызова из IPython Notebook
• SPARK-48059 Структурированная платформа журналов на стороне Java
• SPARK-48482 dropDuplicates и dropDuplicatesWithinWatermark должны принимать аргументы переменной длины
• SPARK-48620 Устранение внутренней утечки необработанных данных в YearMonthIntervalType и CalendarIntervalType
• SPARK-48555 Поддержка использования столбцов в качестве параметров для нескольких функций
• SPARK-48591 Добавление вспомогательной функции для упрощения Column.py
• SPARK-48459 Реализация DataFrameQueryContext в Spark Connect
• SPARK-48610 Рефакторинг: используйте вспомогательный idMap вместо OP_ID_TAG
• SPARK-47923 Обновление минимальной arrow версии пакета R до версии 10.0.0
• SPARK-48593 Исправление строкового представления лямбда-функции
• SPARK-46947 Задержка инициализации диспетчера памяти до загрузки плагина драйвера
• SPARK-48220 Разрешить передачу таблицы PyArrow для создания DataFrame.
• SPARK-48564 Распространение кэшированных схем в операциях с набором
• SPARK-48561 Выдача PandasNotImplementedError для неподдерживаемых функций построения
• SPARK-48513 Добавление класса ошибок для совместимости схемы состояния
• SPARK-48553 Кэширование дополнительных свойств
• SPARK-48550 Непосредственное использование родительского класса Window
• SPARK-48504 Класс Родительского окна для Spark Connect и Spark Classic
• SPARK-48508 Кэшировать указанную пользователем схему в DataFrame.{to, mapInPandas, mapInArrow}
• SPARK-48496 Использование статических экземпляров шаблонов regex в JavaUtils
• SPARK-47578 Ручной бэкпорт: перенос logWarning с переменными
• SPARK-47737 Обновить PyArrow до 10.0.0
• SPARK-48159 Расширение поддержки сортировки строк в выражениях datetime
• SPARK-48454 Непосредственное использование родительского класса DataFrame
• SPARK-48438 Непосредственное использование родительского класса Column
• SPARK-47597 Ручное портирование: перенос logInfo с переменными
• SPARK-48434 Использовать printSchema кэшированную схему
• SPARK-46998 Устаревшая конфигурация SQL spark.sql.legacy.allowZeroIndexInFormatString
• SPARK-46569 Удаление ThreadLocal для SecureRandom с JDK9
• SPARK-46455 Удаление избыточного преобразования типов
• SPARK-46270 Использование выражений java16 instanceof
• SPARK-46479 Использование метода служебной программы из commons-lang3 для проверки версии Java
• SPARK-45998 Удаление избыточного приведения типа
• SPARK-45533 Используйте j.l.r.Cleaner вместо метода finalize для RocksDBIterator/LevelDBIterator
• SPARK-45309 Удалите все SystemUtils.isJavaVersionAtLeast с помощью JDK 9/11/17
• SPARK-48295compute.ops_on_diff_frames Включение по умолчанию
• SPARK-47960 Разрешить последовательное использование других операторов с отслеживанием состояния после transformWithState
• SPARK-48367 Исправление lint-scala для обнаружения файлов scalafmt
• SPARK-48247 Использование всех значений в дикте для вывода схемы MapType
• SPARK-48370 Контрольная точка и локальная контрольная точка в клиенте Scala Spark Connect
• SPARK-48258 Контрольная точка и localCheckpoint в Spark Connect
• SPARK-48293 Добавить тест для оболочки ForeachBatchUserFuncException, обрабатывающей прерывание
• SPARK-48031 Декомпозиция конфигурации viewSchemaMode; добавление SHOW CREATE TABLE поддержки
• SPARK-48288 Добавление типа исходных данных для выражения приведения соединителя
• SPARK-48310 Кэшированные свойства должны возвращать копии
• SPARK-48287 Применение встроенного timestamp_diff метода
• SPARK-44444 Использование режима ANSI SQL по умолчанию
• SPARK-48276 Добавить недостающие __repr__ для SQLExpression
• SPARK-46991 Замените IllegalArgumentException на SparkIllegalArgumentException в катализаторе
• SPARK-48031 Поддержка эволюции схемы представления
• SPARK-48113 Разрешить подключаемым модулям интегрироваться с Spark Connect
• SPARK-47158 Назначение имени и sqlState устаревшим кодам ошибок
• SPARK-47545 Поддержка набора observe данных для клиента Scala
• SPARK-47993 Удалить Python 3.8
• SPARK-48260 Отключение координации записи выходных данных в ParquetIOSuite
• SPARK-47365 Добавление метода DataFrame toArrow() в PySpark
• SPARK-47963 Включение структурированного ведения журнала для внешней экосистемы Spark
• SPARK-48045 Исправление многофакторной метки, игнорирующее as_index=False
• SPARK-47719 Изменение значения timeParserPolicy по умолчанию на CORRECTED
• SPARK-48075 Проверка типов для функций PySpark avro
• SPARK-48102 Отслеживание длительности метрик в ходе выполнения потокового запроса
• SPARK-47858 Рефакторинг контекста ошибок DataFrame
• SPARK-48052 Восстановить pyspark-connect CI по родительским классам
• SPARK-45284 Обновление минимальных системных требований SparkR до Java 17
• SPARK-47933 Класс "Родительский столбец" для Spark Connect и классической версии
• SPARK-48053 SparkSession.createDataFrame должен предупреждать о неподдерживаемых параметрах
• SPARK-48044 Кэш DataFrame.isStreaming
• SPARK-47594 Миграции структурированных журналов
• SPARK-47764 Очистка зависимостей перемешивания путем использования ShuffleCleanupMode
• SPARK-45501 Использование сопоставления шаблонов для проверки типов и преобразования
• SPARK-45515 Использование расширенных switch выражений для замены регулярной switch инструкции
• SPARK-47417 Поддержка коллаций: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Sentences
• SPARK-47909 Родительский класс DataFrame для Spark Connect и Spark Classic
• SPARK-47602 Core/MLLib/Resource Managers: структурированная миграция ведения журнала
• SPARK-47390 PostgresDialect отличает TIMESTAMP от TIMESTAMP_TZ
• SPARK-47868 Исправлена ошибка ограничения рекурсии в SparkConnectPlanner и SparkSession
• SPARK-45802 Удалите больше не нужные проверки Java majorVersionPlatform
• SPARK-47818 Введение кэша планов в SparkConnectPlanner для повышения производительности запросов анализа
• SPARK-46031 Замена !Optional.isPresent() на Optional.isEmpty()
• SPARK-45659 Добавление since поля в API Java, помеченное как @Deprecated
• SPARK-45596 Используйте java.lang.ref.Cleaner вместо org.apache.spark.sql.connect.client.util.Cleaner
• SPARK-47807 Сделать pyspark.ml совместимым с pyspark-connect
• SPARK-45830 Рефакторинг StorageUtils#bufferCleaner
• SPARK-45578 Заменить использование на InaccessibleObjectException
• SPARK-44895 Добавить 'демон', 'приоритет' для ThreadStackTrace
• SPARK-45295 Удаление обходного решения Utils.isMemberClass для JDK 8
• SPARK-47081 Ход выполнения запроса поддержки
• SPARK-45322 Использование ProcessHandle для прямого получения pid
• SPARK-46812 Сделать так, чтобы mapInPandas / mapInArrow поддерживали ResourceProfile
• SPARK-47406 Обработка TIMESTAMP и DATETIME в MYSQLDialect
• SPARK-47712 Разрешить подключаемым модулям создавать и обрабатывать наборы данных
• SPARK-47720 Обновление spark.speculation.multiplier до 3 и spark.speculation.quantile до 0.9
• SPARK-47665 Использование SMALLINT для записи ShortType в MYSQL
• SPARK-47722 Дождитесь завершения фоновой работы RocksDB до закрытия
• SPARK-47610 Всегда задано io.netty.tryReflectionSetAccessible=true
• SPARK-47372 Добавить поддержку кодировщика состояния ключа с использованием диапазонного сканирования для работы с поставщиком хранилища состояний
• SPARK-44708 Изменение test_reset_index assert_eq для использования assertDataFrameEqual
• SPARK-47346 Сделать демон-режим настраиваемым при создании рабочих процессов планировщика Python
• SPARK-47419 Перейти log4j2-defaults.properties к common/utils
• SPARK-47380 Убедитесь, что на стороне сервера используется тот же экземпляр SparkSession.
• SPARK-47055 Обновление MyPy 1.8.0
• SPARK-46795 Заменить UnsupportedOperationException на SparkUnsupportedOperationException в sql/core
• SPARK-46648 Использование zstd в качестве сжатия ORC по умолчанию
• SPARK-47322 Сделать withColumnsRenamed обработку дублирования имен столбцов согласованной с withColumnRenamed
• SPARK-47011 Удаление устаревших BinaryClassificationMetrics.scoreLabelsWeight
• SPARK-46332 Миграция CatalogNotFoundException в класс ошибок CATALOG_NOT_FOUND
• SPARK-46975 Поддержка выделенных резервных методов
• SPARK-47069 Внедрение spark.profile.show/dump для профилирования, основанного на SparkSession
• SPARK-47062 Перенос Connect Plugins на Java для обеспечения совместимости
• SPARK-46833 Колляции — представление CollationFactory, предоставляющей правила сравнения и хеширования для поддерживаемых колляций.
• SPARK-46984 Удалить pyspark.copy_func
• SPARK-46849 Запуск оптимизатора для CREATE TABLE столбцов по умолчанию
• SPARK-46976 Реализовать DataFrameGroupBy.corr
• SPARK-46911 Добавление оператора deleteIfExists в StatefulProcessorHandleImpl
• SPARK-46955 Реализовать Frame.to_stata
• SPARK-46936 Реализовать Frame.to_feather
• SPARK-46655 Пропуск захвата контекста запроса в DataFrame методах
• SPARK-46926 Добавление convert_dtypesи infer_objectsset_axis в резервный список
• SPARK-46683 Создание генератора, который формирует различные варианты вложенных запросов для увеличения охвата тестирования
• SPARK-46777 Рефакторинг структуры StreamingDataSourceV2Relation катализатора для большей совместимости с пакетной версией
• SPARK-46620 Введение базового резервного механизма для методов фрейма
• SPARK-46808 Уточнение классов ошибок в Python с помощью функции автоматической сортировки
• SPARK-46686 Базовая поддержка профилировщика UDF на основе SparkSession
• SPARK-46258 Добавлять RocksDBPersistenceEngine
• SPARK-46665 Убирать assertPandasOnSparkEqual
• SPARK-46227 Перемещение withSQLConf из SQLHelper в SQLConfHelper
• SPARK-40876 Расширение преобразований типов в читателях Parquet
• SPARK-46101 Уменьшение глубины стека путем замены (string|array).size на (string|array).length
• SPARK-46170 Поддержка внедрения правил стратегии постпланировщика адаптивного запроса в SparkSessionExtensions
• SPARK-46246EXECUTE IMMEDIATE Поддержка SQL
• SPARK-46466 Векторное средство чтения parquet никогда не должно делать перебазу для метки времени ntz
• SPARK-46399 Добавление состояния выхода в событие конца приложения для использования прослушивателя Spark
• SPARK-45506 Добавить поддержку ivy URI в addArtifact SparkConnect
• SPARK-45597 Поддержка создания таблицы, используя источник данных на Python в SQL (DSv2 exec)
• SPARK-46402 Добавление поддержки getMessageParameters и getQueryContext
• SPARK-46213 Внедрение PySparkImportError в систему обработки ошибок
• SPARK-46226 Перемещение всех оставшихся RuntimeError в систему обработки ошибок PySpark
• SPARK-45886 Вывод полной трассировки стека в контексте DataFrame callSite
• SPARK-46256 Поддержка параллельного сжатия для ZSTD
• SPARK-46249 Требовать блокировку экземпляра для получения метрик RocksDB, чтобы предотвратить гонку с фоновыми операциями
• SPARK-45667 Очистка устаревшего использования API, связанного с IterableOnceExtensionMethods
• SPARK-46254 Удаление устаревшей проверки версии Python 3.8/3.7
• SPARK-46213 Внедрение PySparkImportError в систему обработки ошибок
• SPARK-46188 Исправление CSS созданных таблиц документации Spark
• SPARK-45670 SparkSubmit не поддерживается --total-executor-cores при развертывании в K8s
• SPARK-46169 Назначение соответствующих чисел JIRA для отсутствующих параметров из DataFrame API
• SPARK-45022 Предоставление контекста для ошибок API набора данных
• SPARK-46062 Синхронизация флага isStreaming между определением CTE и ссылкой
• SPARK-45698 Очистка устаревшего использования API, связанного с Buffer
• SPARK-45136 Улучшение ClosureCleaner с поддержкой Ammonite
• SPARK-44442 Удаление поддержки Mesos
• SPARK-45996 Отображение соответствующих сообщений о требованиях зависимостей для Spark Connect
• SPARK-45767 Удалить TimeStampedHashMap и его UT
• SPARK-45912 Усовершенствование API XSDToSchema. Изменение API HDFS для специальных возможностей облачного хранилища
• SPARK-45338 Замена scala.collection.JavaConverters на scala.jdk.CollectionConverters
• SPARK-45828 Удаление устаревшего метода в dsl
• SPARK-45718 Удаление оставшихся устаревших функций Pandas из Spark 3.4.0
• SPARK-45990 Обновление protobuf до версии 4.25.1 для поддержки Python 3.11
• SPARK-45941 Обновление pandas до версии 2.1.3
• SPARK-45555 Включает отлаживаемый объект для неудачного утверждения
• SPARK-45710 Назначить имена для ошибки _LEGACY_ERROR_TEMP_21[59,60,61,62]
• SPARK-45733 Поддержка нескольких политик повторных попыток
• SPARK-45503 Добавление возможности настройки сжатия RocksDB
• SPARK-45614 Назначить имена ошибке _LEGACY_ERROR_TEMP_215[6,7,8]
• SPARK-45680 Сеанс выпуска
• SPARK-45620 Обновление пользовательских интерфейсов API, связанных с UDTF на Python, для использования верблюжьего регистра.
• SPARK-45634 Удаление DataFrame.get_dtype_counts из API Pandas в Spark
• SPARK-44752 XML: обновление документов Spark
• SPARK-45523 Возвращает полезное сообщение об ошибке, если UDTF возвращает none для любого столбца, не допускающего значения NULL
• SPARK-45558 Введение файла метаданных для потокового оператора с состоянием
• SPARK-45390 Удалите distutils использование
• SPARK-45517 Расширьте больше конструкторов исключений для поддержки параметров фреймворка ошибок
• SPARK-45427 Добавление параметров SSL RPC в SSLOptions и SparkTransportConf
• SPARK-45581 Обязательно сделайте SQLSTATE обязательным.
• SPARK-44784 Сделайте SBT тестирование герметично.
• SPARK-45550 Удаление устаревших API из API Pandas в Spark
• SPARK-45415 Разрешить выборочное отключение "fallocate" в хранилище состояний RocksDB
• SPARK-45487 Исправление ошибок SQLSTATEs и временных ошибок
• SPARK-45505 Рефакторинг analyzeInPython, чтобы сделать его повторно используемым
• SPARK-45451 Сделать уровень хранения набора данных по умолчанию настраиваемым
• SPARK-45065 Поддержка Pandas 2.1.0
• SPARK-45450 Скорректированы импорты в соответствии с PEP8: pyspark.pandas и pyspark (ядро)
• SPARK-43299 Преобразовать StreamingQueryException в клиенте Scala
• SPARK-42617 Поддержка из isocalendar pandas 2.0.0
• SPARK-45441 Представление дополнительных утилитных функций для PythonWorkerUtils
• SPARK-43620 Исправление API Pandas зависит от неподдерживаемых функций
• SPARK-45330 Обновление ammonite до версии 2.5.11
• SPARK-45267 Измените значение по умолчанию для numeric_only.
• SPARK-45303 Удалить обходное решение для JDK 8/11 в KryoSerializerBenchmark
• SPARK-43433 Сопоставьте GroupBy.nth поведение с последней версией Pandas
• SPARK-45166 Очистка неиспользуемых путей кода для pyarrow<4
• SPARK-44823 Обновить Black до 23.9.1 и исправить ошибочную проверку
• SPARK-45165 Удаление inplace параметра из CategoricalIndex API
• SPARK-45180 Удаление логических входных данных для inclusive параметра из Series.between
• SPARK-45164 Удаление устаревших Index API
• SPARK-45179 Увеличьте минимальную версию Numpy до версии 1.21
• SPARK-45177 Удаление col_space параметра из to_latex
• SPARK-43241MultiIndex.append не сравнивает имена на равенство
• SPARK-43123 Выдайте TypeError для DataFrame.interpolate, если все столбцы имеют тип данных object.
• SPARK-43295 Поддержка столбцов строковых типов для DataFrameGroupBy.sum
• SPARK-42619 Добавление show_counts параметра для DataFrame.info
• SPARK-44863 Добавление кнопки для скачивания дампа потока в виде txt в пользовательском интерфейсе Spark
• SPARK-44713 Перемещение общих классов в sql/api
• SPARK-44692 Перемещение триггеров в sql/api
• SPARK-43563 Удалить squeeze из read_csv и включить больше тестов.
• SPARK-43476 Поддержка StringMethods pandas 2.0.0 и более поздних версий
• SPARK-43872 Поддержка (DataFrame|Series).plot pandas 2.0.0 и более поздних версий.
• SPARK-42620 Добавление inclusive параметра для (DataFrame|Серия).between_time
• SPARK-44289 Поддержка indexer_between_time pandas 2.0.0 и включение дополнительных тестов.
• SPARK-42621 Добавление инклюзивного параметра для pd.date_range
• SPARK-43709 Удалите closed параметр из ps.date_range и включите тест.
• SPARK-43568 Поддержка API Categorical для pandas 2
• SPARK-44842 Поддержка статистических функций для pandas 2.0.0 и включение тестов.
• SPARK-43606 Удалить Int64Index и Float64Index
• SPARK-43873 Включение FrameDescribeTests
• SPARK-44841 Поддержка value_counts pandas 2.0.0 и более поздних версий.
• SPARK-44686 Добавьте возможность создания RowEncoder в Encoders.scala.
• SPARK-41400 Удаление зависимости от Catalyst клиента Connect
• SPARK-44538 Восстановить Row.jsonValue и подобные
• SPARK-44507 Переместить AnalysisException в sql/api
• SPARK-44531 Перенос вычисления кодировщика в sql/api
• SPARK-43744 Исправлена проблема загрузки класса, вызванная заглушными классами пользователей, не найденными в пути к классу сервера
• SPARK-36612 Поддержка выбора левого внешнего соединения с созданием слева или правого внешнего соединения с созданием справа в перестановочном хэш-соединении
• SPARK-44541 Удаление бесполезной функции hasRangeExprAgainstEventTimeCol из UnsupportedOperationChecker
• SPARK-44059 Добавление поддержки анализатора именованных аргументов для встроенных функций
• SPARK-44216 Создание общедоступного API assertSchemaEqual
• SPARK-43755 Перемещение выполнения из SparkExecutePlanStreamHandler и в другой поток
• SPARK-44201 Добавление поддержки прослушивателя потоковой передачи в Scala для Spark Connect
• SPARK-43965 Поддержка UDTF Python в Spark Connect
• SPARK-44398 Scala foreachBatch API
• SPARK-44044 Улучшение сообщения об ошибке для функций Окон с помощью потоковой передачи

Поддержка драйверов ODBC и JDBC в Databricks

Databricks поддерживает драйверы ODBC/JDBC, выпущенные за последние 2 года. Скачайте недавно выпущенные драйверы и обновление (скачайте ODBC, скачайте JDBC).

Технические обновления

Ознакомьтесь с обновлениями обслуживания Databricks Runtime 17.0.

Системная среда

• Операционная система: Ubuntu 24.04.2 LTS
• Java: Zulu17.54+21-CA
• Scala: 2.13.16
• Python: 3.12.3
• R: 4.4.2
• Delta Lake: 4.0.0

Установленные библиотеки Python

Библиотека	Версия	Библиотека	Версия	Библиотека	Версия
аннотированные типы	0.7.0	anyio	4.6.2	argon2-cffi	21.3.0
argon2-cffi-связки	21.2.0	стрела	1.3.0	асттокенс	2.0.5
астунпарс	1.6.3	async-lru	2.0.4	атрибуты	24.3.0
автоматическая команда	2.2.2	azure-common	1.1.28	azure-core	1.34.0
azure-identity	1.20.0	Платформа управления Azure (azure-mgmt-core)	1.5.0	azure-mgmt-web	8.0.0
azure-storage-blob (облако сохранения Azure)	12.23.0	хранилище файлов данных Azure Data Lake	12.17.0	babel	2.16.0
backports.tarfile	1.2.0	beautifulsoup4	4.12.3	черный	24.10.0
отбеливатель	6.2.0	указатель поворота	1.7.0	boto3	1.36.2
botocore	1.36.3	инструменты для кэша	5.5.1	сертификат	2025.1.31
cffi	1.17.1	chardet	4.0.0	нормализатор кодировки	3.3.2
щелчок	8.1.7	Клаудпикл	3.0.0	коммуникация	0.2.1
Contourpy	1.3.1	криптография	43.0.3	велосипедист	0.11.0
Cython	3.0.12	databricks-sdk	0.49.0	dbus-python	1.3.2
debugpy	1.8.11	декоратор	5.1.1	defusedxml	0.7.1
Deprecated	1.2.13	Дистлиб	0.3.9	Конвертация docstring в markdown	0.11
исполнение	0.8.3	Обзор аспектов	1.1.1	fastapi	0.115.12
fastjsonschema	2.21.1	файловая блокировка	3.18.0	шрифтовые инструменты	4.55.3
Полное доменное имя (FQDN)	1.5.1	fsspec	2023.5.0	gitdb	4.0.11
GitPython	3.1.43	google-api-core	2.20.0	google-auth (аутентификация от Google)	2.40.0
google-cloud-core (основной модуль Google Cloud)	2.4.3	облачное хранилище Google	3.1.0	google-crc32c	1.7.1
гугл-возобновляемые-медиа	2.7.2	googleapis-common-protos (общие протоколы googleapis)	1.65.0	grpcio	1.67.0
grpcio-status	1.67.0	h11	0.14.0	httpcore	1.0.2
httplib2	0.20.4	httpx	0.27.0	IDNA	3,7
importlib-metadata	6.6.0	importlib_resources	6.4.0	склонять	7.3.1
iniconfig	1.1.1	ipyflow-core	0.0.209	ipykernel	6.29.5
ipython	8.30.0	ipython-genutils (утилиты для iPython)	0.2.0	ipywidgets	7.8.1
isodate (стандартная дата ISO)	0.6.1	изодурация	20.11.0	jaraco.context	5.3.0
jaraco.functools	4.0.1	jaraco.text	3.12.1	джедаи	0.19.2
Джинджа2	3.1.5	jmespath	1.0.1	joblib	1.4.2
json5	0.9.25	Джсонпоинтер (jsonpointer)	3.0.0	jsonschema (JSON-схема)	4.23.0
jsonschema-спецификации	2023.7.1	Jupyter-события	0.10.0	jupyter-lsp	2.2.0
клиент Jupyter	8.6.3	jupyter_core (ядро Jupyter)	5.7.2	Джупитер_сервер	2.14.1
терминалы_сервера_jupyter	0.4.4	jupyterlab	4.3.4	jupyterlab-pygments	0.1.2
jupyterlab-мини-приложения	1.0.0	jupyterlab_server (сервер для JupyterLab)	2.27.3	Кивисолвер	1.4.8
launchpadlib	1.11.0	lazr.restfulclient	0.14.6	lazr.uri	1.0.6
markdown-it-py	2.2.0	MarkupSafe	3.0.2	matplotlib	3.10.0
матплотлиб-инлайн	0.1.7	МакКейб	0.7.0	mdurl	0.1.0
Мистун	2.0.4	mlflow-skinny (упрощённая версия пакета mlflow)	2.22.0	mmh3	5.1.0
more-itertools	10.3.0	msal	1.32.3	msal-extensions	1.3.1
mypy-extensions (расширения для mypy)	1.0.0	nbclient	0.8.0	Перекодировщик nbconvert	7.16.4
nbformat	5.10.4	nest-asyncio	1.6.0	nodeenv	1.9.1
notebook	7.3.2	ноутбук_шим	0.2.3	numpy (библиотека для работы с массивами и матрицами в Python)	2.1.3
OAuthlib	3.2.2	opentelemetry-api	1.32.1	opentelemetry-sdk	1.32.1
cемантические соглашения opentelemetry	0.53b1	Переопределения	7.4.0	упаковка	24,1
Панды	2.2.3	пандокфильтры	1.5.0	Парсо	0.8.4
спецификация пути	0.10.3	простак	1.0.1	pexpect (библиотека Python для автоматизации взаимодействия с приложениями)	4.8.0
подушка	11.1.0	пит	25.0.1	Platformdirs	3.10.0
библиотека Plotly для визуализации данных	5.24.1	менеджер плагинов Pluggy	1.5.0	prometheus_client	0.21.0
prompt-toolkit (инструментарий подсказок)	3.0.43	proto-plus	1.26.1	protobuf (протобуф)	5.29.4
psutil (пакет Python для работы с процессами и системами)	5.9.0	psycopg2	2.9.3	ptyprocess	0.7.0
пьюр-эвэл	0.2.2	pyarrow	19.0.1	pyasn1	0.4.8
pyasn1-modules	0.2.8	Пикколо	0.0.71	pycparser	2.21
pydantic (библиотека Python для валидации данных)	2.10.6	pydantic_core	2.27.2	pyflakes (аналитический инструмент для Python)	3.2.0
Пигменты	2.15.1	PyGObject	3.48.2	pyiceberg	0.9.0
PyJWT	2.10.1	pyodbc	5.2.0	pyparsing (библиотека для синтаксического анализа в Python)	3.2.0
pyright	1.1.394	pytest	8.3.5	python-dateutil (библиотека для работы с датами и временем в Python)	Версия 2.9.0.post0
python-json-logger (пакет для логирования JSON в Python)	3.2.1	python-lsp-jsonrpc	1.1.2	python-lsp-server (сервер Python LSP)	1.12.0
Pytoolconfig	1.2.6	pytz (библиотека Python для работы с часовыми поясами)	2024.1	PyYAML	6.0.2
pyzmq	26.2.0	Ссылки	0.30.2	Запросы	2.32.3
rfc3339-валидатор	0.1.4	rfc3986-validator	0.1.1	богатый	13.9.4
верёвка	1.12.0	rpds-py	0.22.3	rsa	4.9.1
s3transfer	0.11.3	scikit-learn (библиотека машинного обучения)	1.6.1	scipy (библиотека Python)	1.15.1
мореборн	0.13.2	Send2Trash	1.8.2	setuptools (пакет для установки и управления Python-пакетами)	74.0.0
шесть	1.16.0	сммап	5.0.0	сниффио	1.3.0
отсортированные контейнеры	2.4.0	ситечко для супа	2.5	sqlparse	0.5.3
ssh-import-id (импортировать идентификатор SSH)	5.11	стековые данные	0.2.0	старлетка	0.46.2
statsmodels (библиотека Python для статистического моделирования)	0.14.4	strictyaml	1.7.3	упорство	9.0.0
закончено	0.17.1	Threadpoolctl	3.5.0	tinycss2	1.4.0
tokenize_rt	6.1.0	томли	2.0.1	торнадо	6.4.2
Трейтлеты	5.14.3	типгард	4.3.0	types-python-dateutil	2.9.0.20241206
typing_extensions (расширения для ввода текста)	4.12.2	tzdata	2024.1	ujson	5.10.0
автоматические обновления без участия пользователя	0,1	URI-шаблон	1.3.0	urllib3	2.3.0
uvicorn	0.34.2	virtualenv	20.29.3	wadllib	1.3.6
wcwidth (ширина символа в Unicode)	0.2.5	webcolors	24.11.1	веб-энкодинги	0.5.1
websocket-клиент	1.8.0	чтоэто за патч	1.0.2	колесо	0.45.1
widgetsnbextension	3.6.6	завёрнут	1.17.0	yapf (форматировщик Python кода)	0.40.2
ZIPP	3.21.0

Установленные библиотеки R

Библиотеки R устанавливаются из снимка CRAN диспетчера пакетов Posit от 2025-03-20.

Библиотека	Версия	Библиотека	Версия	Библиотека	Версия
стрела	19.0.1	аскпасс	1.2.1	утверждать, что	0.2.1
обратные порты	1.5.0	основа	4.4.2	base64enc	0.1-3
bigD	0.3.0	кусочек	4.6.0	64-бит	4.6.0-1
bitops	1.0-9	комок	1.2.4	сапог	1.3-30
варить	1.0-10	жизнерадостность	1.1.5	метла	1.0.7
bslib	0.9.0	кашемир	1.1.0	звонящий	3.7.6
каретка	7.0-1	целлрейнджер	1.1.0	хронометр	2.3-62
класс	7.3-22	интерфейс командной строки (CLI)	3.6.4	клиппер	0.8.0
часы	0.7.2	кластер	2.1.6	codetools	0.2-20
цветовое пространство	2.1-1	коммонмарк	1.9.5	компилятор	4.4.2
config	0.3.2	испытывающий противоречивые чувства	1.2.0	cpp11	0.5.2
карандаш	1.5.3	credentials	2.0.2	завиток	6.2.1
таблица данных	1.17.0	Наборы данных	4.4.2	DBI	1.2.3
dbplyr	2.5.0	описание	1.4.3	средства разработки	2.4.5
Схема	1.6.5	diffobj	0.3.5	дайджест	0.6.37
направленное вниз освещение	0.4.4	dplyr (пакет для обработки данных в R)	1.1.4	dtplyr	1.3.1
e1071	1.7-16	многоточие	0.3.2	оценивать	1.0.3
поклонники	1.0.6	Цвета	2.1.2	фастмап	1.2.0
fontawesome	0.5.3	Forcats (форкатс)	1.0.0	foreach	1.5.2
иностранный	0.8-86	кузница	0.2.0	fs	1.6.5
будущее	1.34.0	будущее.применить	1.11.3	полоскать горло	1.5.2
Дженерики	0.1.3	Герт	2.1.4	ggplot2	3.5.1
gh	1.4.1	git2r	0.35.0	gitcreds	0.1.2
glmnet	4.1-8	глобальные переменные	0.16.3	клей	1.8.0
googledrive	2.1.1	googlesheets4	1.1.1	Говер	1.0.2
графика	4.4.2	grDevices	4.4.2	сеть	4.4.2
gridExtra	2.3	gsubfn	0.7	gt	0.11.1
гтабл	0.3.6	каска	1.4.1	убежище	2.5.4
выше	0.11	HMS	1.1.3	инструменты для HTML	0.5.8.1
HTML-виджеты	1.6.4	httpuv	1.6.15	httr	1.4.7
httr2	1.1.1	удостоверения личности	1.0.1	ini	0.3.1
ипред	0,9–15	изо-лента	0.2.7	Itераторы	1.0.14
jquerylib	0.1.4	jsonlite	1.9.1	сочный сок	0.1.0
KernSmooth	2,23-22	knitr (пакет для динамической генерации отчетов в языке программирования R)	1.50	маркирование	0.4.3
позже	1.4.1	решётка	0,22–5	лава	1.8.1
жизненный цикл	1.0.4	слушай	0.9.1	лубридейт	1.9.4
магриттр	2.0.3	Markdown	1.13	Масса	7.3-60.0.1
«Матрица»	1.6-5	Запоминание	2.0.1	методы	4.4.2
mgcv	1.9-1	mime	0,13	мини-интерфейс	0.1.1.1
mlflow	2.20.4	ModelMetrics	1.2.2.2	модельер	0.1.11
munsell	0.5.1	nlme	3.1-164	ннейронная сеть	7.3-19
numDeriv	2016.8-1.1	OpenSSL	2.3.2	параллельный	4.4.2
параллельно	1.42.0	столб	1.10.1	пакджбилд	1.4.6
pkgconfig	2.0.3	pkgdown	2.1.1	пкглоад (pkgload)	1.4.0
Плогр	0.2.0	плайр	1.8.9	похвала	1.0.0
prettyunits	1.2.0	pROC	1.18.5	Processx	3.8.6
Prodlim	2024.06.25	profvis	0.4.0	прогресс	1.2.3
progressr	0.15.1	обещания	1.3.2	прото	1.0.0
прокси	0.4-27	п.с.	1.9.0	мурлыканье	1.0.4
Р6	2.6.1	ragg	1.3.3	randomForest (рандомФорест)	4.7-1.2
рэпдирс	0.3.3	rcmdcheck	1.4.0	RColorBrewer	1.1-3
Rcpp	1.0.14	RcppEigen	0.3.4.0.2	реактивный	0.4.4
ReactR	0.6.1	readr	2.1.5	readxl (пакет для чтения Excel-файлов)	1.4.5
Рецепты	1.2.0	реванш	2.0.0	реванш2	2.1.2
пульты дистанционного управления	2.5.0	репрекс	2.1.1	Изменить форму2	1.4.4
rlang	1.1.5	rmarkdown (инструмент для создания динамических документов в R)	2.29	RODBC	1.3-26
roxygen2	7.3.2	rpart (пакет для построения деревьев решений в языке программирования R)	4.1.23	rprojroot	2.0.4
Rserve (Рcерве)	1.8-15	RSQLite	2.3.9	рстудиоапи	0.17.1
rversions	2.1.2	Рвест	1.0.4	дерзость	0.4.9
весы	1.3.0	селектор	0.4-2	информация о сессии	1.2.3
форма	1.4.6.1	блестящий	1.10.0	sourcetools	0.1.7-1
sparklyr	1.9.0	SparkR	4.0.0	Sparsevctrs	0.3.1
пространственный	7.3-17	Сплайны	4.4.2	SQLDF	0,4-11
SQUAREM	январь 2021	статистика	4.4.2	статистика4	4.4.2
стринги	1.8.4	стрингр	1.5.1	выживание	3.5-8
самоуверенность и стильный вид	5.17.14.1	sys	3.4.3	systemfonts	1.2.1
язык программирования Tcl/Tk	4.4.2	testthat	3.2.3	форматирование текста	1.0.0
Tibble	3.2.1	Тидыр	1.3.1	tidyselect	1.2.1
tidyverse (тайдивёрс)	2.0.0	смена времени	0.3.0	ТаймДата	4041.110
tinytex	0.56	инструменты	4.4.2	База данных часовых зон (tzdb)	0.5.0
URL-чекер	1.0.1	используйэто	3.1.0	utf8	1.2.4
утилиты	4.4.2	UUID (Универсальный уникальный идентификатор)	1.2-1	V8	6.0.2
vctrs	0.6.5	viridisLite	0.4.2	брррм	1.6.5
Уолдо	0.6.1	ус	0.4.1	увядать	3.0.2
xfun	0.51	xml2	1.3.8	xopen	1.0.1
xtable	1.8-4	YAML	2.3.10	зилот	0.1.0
ZIP-архив	2.3.2

Установленные библиотеки Java и Scala (версия кластера Scala 2.13)

Идентификатор группы	Идентификатор артефакта	Версия
Антлер	Антлер	2.7.7
com.amazonaws	Клиент Amazon Kinesis	1.12.0
com.amazonaws	aws-java-sdk-autoscaling (автоматическое масштабирование)	1.12.638
com.amazonaws	aws-java-sdk-cloudformation	1.12.638
com.amazonaws	aws-java-sdk-cloudfront	1.12.638
com.amazonaws	aws-java-sdk-cloudhsm	1.12.638
com.amazonaws	AWS Java SDK для CloudSearch	1.12.638
com.amazonaws	aws-java-sdk-cloudtrail	1.12.638
com.amazonaws	aws-java-sdk-cloudwatch	1.12.638
com.amazonaws	aws-java-sdk-cloudwatchmetrics	1.12.638
com.amazonaws	aws-java-sdk-codedeploy (AWS Java SDK для CodeDeploy)	1.12.638
com.amazonaws	aws-java-sdk-cognitoidentity	1.12.638
com.amazonaws	aws-java-sdk-cognitosync	1.12.638
com.amazonaws	Конфигурация SDK для Java от AWS	1.12.638
com.amazonaws	aws-java-sdk-core	1.12.638
com.amazonaws	aws-java-sdk-datapipeline (пакет для работы с Data Pipeline на Java)	1.12.638
com.amazonaws	aws-java-sdk-directconnect	1.12.638
com.amazonaws	aws-java-sdk-directory	1.12.638
com.amazonaws	aws-java-sdk-dynamodb	1.12.638
com.amazonaws	aws-java-sdk-ec2	1.12.638
com.amazonaws	aws-java-sdk-ecs	1.12.638
com.amazonaws	aws-java-sdk-efs	1.12.638
com.amazonaws	aws-java-sdk-elasticache	1.12.638
com.amazonaws	aws-java-sdk-elasticbeanstalk	1.12.638
com.amazonaws	aws-java-sdk-elasticloadbalancing (пакет программного обеспечения для балансировки нагрузки в AWS, написанный на Java)	1.12.638
com.amazonaws	aws-java-sdk-elastictranscoder (Java SDK для Elastic Transcoder)	1.12.638
com.amazonaws	aws-java-sdk-emr	1.12.638
com.amazonaws	aws-java-sdk-glacier (пакет программного обеспечения для работы с Glacier)	1.12.638
com.amazonaws	aws-java-sdk-glue	1.12.638
com.amazonaws	aws-java-sdk-iam	1.12.638
com.amazonaws	aws-java-sdk-importexport (пакет для импорта и экспорта данных)	1.12.638
com.amazonaws	aws-java-sdk-kinesis	1.12.638
com.amazonaws	aws-java-sdk-kms (пакет программного обеспечения для работы с AWS KMS)	1.12.638
com.amazonaws	aws-java-sdk-lambda	1.12.638
com.amazonaws	aws-java-sdk-logs	1.12.638
com.amazonaws	AWS Java SDK для машинного обучения	1.12.638
com.amazonaws	aws-java-sdk-opsworks	1.12.638
com.amazonaws	AWS Java SDK для RDS	1.12.638
com.amazonaws	AWS Java SDK для Redshift	1.12.638
com.amazonaws	aws-java-sdk-route53	1.12.638
com.amazonaws	aws-java-sdk-s3	1.12.638
com.amazonaws	aws-java-sdk-ses	1.12.638
com.amazonaws	aws-java-sdk-simpledb	1.12.638
com.amazonaws	aws-java-sdk-simpleworkflow	1.12.638
com.amazonaws	aws-java-sdk-sns	1.12.638
com.amazonaws	aws-java-sdk-sqs	1.12.638
com.amazonaws	aws-java-sdk-ssm (AWS SDK для Java — SSM модуль)	1.12.638
com.amazonaws	AWS Java SDK для Storage Gateway	1.12.638
com.amazonaws	aws-java-sdk-sts	1.12.638
com.amazonaws	Поддержка AWS Java SDK	1.12.638
com.amazonaws	aws-java-sdk-swf библиотеки	1.11.22
com.amazonaws	aws-java-sdk-workspaces	1.12.638
com.amazonaws	jmespath-java	1.12.638
com.clearspring.analytics	поток	2.9.8
com.databricks	Rserve (Рcерве)	1.8-3
com.databricks	SDK для Java от Databricks	0.27.0
com.databricks	jets3t	0.7.1-0
com.databricks.scalapb	scalapb-runtime_2.13	0.4.15-11
com.esotericsoftware	криогенное затенение	4.0.3
com.esotericsoftware	минлог	1.3.0
com.fasterxml	одноклассник	1.5.1
com.fasterxml.jackson.core	аннотации Джексона	2.18.2
com.fasterxml.jackson.core	джексон-ядро	2.18.2
com.fasterxml.jackson.core	джексон-databind	2.18.2
com.fasterxml.jackson.dataformat	Джексон-формат-данных-CBOR	2.18.2
com.fasterxml.jackson.dataformat	Джексон-датаформат-ЯМЛ	2.15.2
com.fasterxml.jackson.datatype	джексон-дейтайп-джода	2.18.2
com.fasterxml.jackson.datatype	jackson-datatype-jsr310	2.18.2
com.fasterxml.jackson.module	джексон-модуль-паранэймер	2.18.2
com.fasterxml.jackson.module	jackson-module-scala_2.13	2.18.2
com.github.ben-manes.caffeine	кофеин	2.9.3
com.github.blemale	scaffeine_2.13	4.1.0
com.github.fommil	jniloader	1.1
com.github.fommil.netlib	нативная_ссылка-java	1.1
com.github.fommil.netlib	нативная_ссылка-java	1.1-коренные жители
com.github.fommil.netlib	Нативная_система-java	1.1
com.github.fommil.netlib	Нативная_система-java	1.1-коренные жители
com.github.fommil.netlib	netlib-native_ref-linux-x86_64	1.1-коренные жители
com.github.fommil.netlib	netlib-native_system-linux-x86_64	1.1-коренные жители
com.github.luben	zstd-jni	1.5.6-10
com.github.virtuald	курвесапи	1,08
com.github.wendykierp	JTransforms	3.1
com.google.api.grpc	proto-google-common-protos	2.5.1
com.google.code.findbugs	jsr305	3.0.0
com.google.code.gson	Gson	2.11.0
com.google.crypto.tink	тинк	1.16.0
com.google.errorprone	ошибкоопасные аннотации	2.36.0
com.google.flatbuffers	flatbuffers-java	24.3.25
com.google.guava	ошибка доступа	1.0.2
com.google.guava	гуава	33.4.0-jre
com.google.guava	будущее для прослушивания	999.0-empty-to-avoid-conflict-with-guava
com.google.j2objc	j2objc-аннотации	3.0.0
com.google.protobuf	protobuf-java	3.25.5
com.google.protobuf	protobuf-java-util	3.25.5
com.helger	Профилировщик	1.1.1
com.ibm.icu	icu4j	75.1
com.jcraft	jsch	0.1.55
com.lihaoyi	sourcecode_2.13	0.1.9
com.microsoft.azure	azure-data-lake-store-sdk (SDK для Azure Data Lake Store)	2.3.10
com.microsoft.sqlserver	mssql-jdbc	12.8.0.jre11
com.microsoft.sqlserver	mssql-jdbc	12.8.0.jre8
com.ning	compress-lzf (метод сжатия данных)	1.1.2
com.sun.mail	javax.mail	1.5.2
com.sun.xml.bind	jaxb-core	2.2.11
com.sun.xml.bind	jaxb-impl	2.2.11
com.tdunning	JSON (формат обмена данными JavaScript)	1.8
com.thoughtworks.paranamer	Паранэймер	2.8
com.trueaccord.lenses	лензы_2.13	0.4.13
com.twitter	chill-java	0.10.0
com.twitter	chill_2.13	0.10.0
com.twitter	util-app_2.13	19.8.1
com.twitter	util-core_2.13	19.8.1
com.twitter	util-function_2.13	19.8.1
com.twitter	util-jvm_2.13	19.8.1
com.twitter	util-lint_2.13	19.8.1
com.twitter	util-registry_2.13	19.8.1
com.twitter	util-stats_2.13	19.8.1
com.typesafe	config	1.4.3
com.typesafe.scala-logging	scala-logging_2.13	3.9.2
com.uber	h3	3.7.3
com.univocity	юнивосити-парсерс	2.9.1
com.zaxxer	ХикариCP	4.0.3
com.zaxxer	СпарсБитСет	1.3
commons-cli	commons-cli	1.9.0
commons-codec	commons-codec	1.17.2
общие коллекции	общие коллекции	3.2.2
commons-dbcp	commons-dbcp	1.4
загрузка файлов через модуль commons	загрузка файлов через модуль commons	1.5
commons-httpclient	commons-httpclient	3.1
commons-io	commons-io	2.18.0
commons-lang	commons-lang	2.6
коммонс-логгинг	коммонс-логгинг	1.1.3
коммонс-пул	коммонс-пул	1.5.4
dev.ludovic.netlib	arpack	3.0.3
dev.ludovic.netlib	Блас	3.0.3
dev.ludovic.netlib	LAPACK (программная библиотека для линейной алгебры)	3.0.3
info.ganglia.gmetric4j	gmetric4j	1.0.10
io.airlift	компрессор воздуха	2.0.2
io.delta	delta-sharing-client_2.13	1.3.0
io.dropwizard.metrics	аннотирование метрик	4.2.30
io.dropwizard.metrics	основные метрики	4.2.30
io.dropwizard.metrics	«metrics-graphite»	4.2.30
io.dropwizard.metrics	Метрики-Чек здоровья	4.2.30
io.dropwizard.metrics	метрики для Jetty9	4.2.30
io.dropwizard.metrics	Метрики-JMX	4.2.30
io.dropwizard.metrics	metrics-json	4.2.30
io.dropwizard.metrics	метрики для JVM	4.2.30
io.dropwizard.metrics	метрики и сервлеты	4.2.30
io.github.java-diff-utils	java-diff-utils	4.15
io.netty	netty-all (все пакеты netty)	4.1.118.Final
io.netty	буфер Netty	4.1.118.Final
io.netty	netty-codec (кодек Netty)	4.1.118.Final
io.netty	netty-codec-http	4.1.118.Final
io.netty	netty-codec-http2	4.1.118.Final
io.netty	netty-codec-socks	4.1.118.Final
io.netty	нетти-общий	4.1.118.Final
io.netty	нетти-хэндлер	4.1.118.Final
io.netty	нетти-обработчик-прокси	4.1.118.Final
io.netty	Netty-резолвер	4.1.118.Final
io.netty	netty-tcnative-boringssl-static	2.0.70.Final-db-r0-linux-aarch_64
io.netty	netty-tcnative-boringssl-static	2.0.70.Final-db-r0-linux-x86_64
io.netty	netty-tcnative-boringssl-static	2.0.70.Final-db-r0-osx-aarch_64
io.netty	netty-tcnative-boringssl-static	2.0.70.Final-db-r0-osx-x86_64
io.netty	netty-tcnative-boringssl-static	2.0.70.Final-db-r0-windows-x86_64
io.netty	netty-tcnative-classes (классы netty-tcnative)	2.0.70.Final
io.netty	netty-transport	4.1.118.Final
io.netty	netty-transport-classes-epoll	4.1.118.Final
io.netty	netty-transport-classes-kqueue	4.1.118.Final
io.netty	netty-transport-native-epoll	4.1.118.Final
io.netty	netty-transport-native-epoll	4.1.118.Final-linux-aarch_64
io.netty	netty-transport-native-epoll	4.1.118.Final-linux-riscv64
io.netty	netty-transport-native-epoll	4.1.118.Final-linux-x86_64
io.netty	netty-transport-native-kqueue	4.1.118.Final-osx-aarch_64
io.netty	netty-transport-native-kqueue	4.1.118.Final-osx-x86_64
io.netty	нетти-транспорт-натив-уникс-коммон	4.1.118.Final
io.prometheus	simpleclient	0.16.1-databricks
io.prometheus	простыйклиент_общий	0.16.1-databricks
io.prometheus	Симплклиент_дропвизард	0.16.1-databricks
io.prometheus	simpleclient_pushgateway	0.16.1-databricks
io.prometheus	simpleclient_servlet	0.16.1-databricks
io.prometheus	simpleclient_servlet_common	0.16.1-databricks
io.prometheus	simpleclient_tracer_common	0.16.1-databricks
io.prometheus	simpleclient_tracer_otel	0.16.1-databricks
io.prometheus	simpleclient_tracer_otel_agent	0.16.1-databricks
io.prometheus.jmx	коллекционер	0.18.0
jakarta.annotation	jakarta.annotation-api (аннотация API Джакарты)	1.3.5
jakarta.servlet	jakarta.servlet-api	4.0.3
jakarta.validation	jakarta.validation-api	2.0.2
jakarta.ws.rs	jakarta.ws.rs-api	2.1.6
javax.activation	активация	1.1.1
javax.annotation	javax.annotation-api	1.3.2
javax.el	javax.el-api	2.2.4
javax.jdo	jdo-api	3.0.1
javax.transaction	джта	1.1
javax.transaction	интерфейс транзакций	1.1
javax.xml.bind	jaxb-api	2.2.11
javolution	javolution	5.5.1
джлайн	джлайн	2.14.6
joda-time	joda-time	2.13.0
net.java.dev.jna	джна	5.8.0
net.razorvine	рассол	1.5
net.sf.jpam	джпам	1.1
net.sf.opencsv	opencsv	2.3
net.sf.supercsv	super-csv — инструмент для работы с CSV файлами	2.2.0
net.snowflake	snowflake-ingest-sdk (SDK для обработки данных Snowflake)	0.9.6
net.sourceforge.f2j	арпак_комбинированный_все	0,1
org.acplt.remotetea	«remotetea-oncrpc»	1.1.2
org.antlr	ST4	4.0.4
org.antlr	antlr-runtime	3.5.2
org.antlr	antlr4-runtime	4.13.1
org.antlr	шаблон строки	3.2.1
org.apache.ant	муравей	1.10.11
org.apache.ant	ant-jsch	1.10.11
org.apache.ant	ant-launcher	1.10.11
org.apache.arrow	формат стрелок	18.2.0
org.apache.arrow	ядро памяти Arrow	18.2.0
org.apache.arrow	арроу-мемори-нетти	18.2.0
org.apache.arrow	стрелка-память-netty-buffer-patch	18.2.0
org.apache.arrow	вектор стрелки	18.2.0
org.apache.avro	Авро	1.12.0
org.apache.avro	avro-ipc	1.12.0
org.apache.avro	avro-mapred	1.12.0
org.apache.commons	commons-collections4	4.4.
org.apache.commons	Коммонс-компресс	1.27.1
org.apache.commons	commons-crypto	1.1.0
org.apache.commons	commons-lang3	3.17.0
org.apache.commons	коммонс-матх3	3.6.1
org.apache.commons	Общедоступный текст	1.13.0
org.apache.curator	куратор-клиент	5.7.1
org.apache.curator	кураторский фреймворк	5.7.1
org.apache.curator	куратор рецептов	5.7.1
org.apache.datasketches	datasketches-java	6.1.1
org.apache.datasketches	Датаскетчес-мемори	3.0.2
org.apache.derby	дерби	10.14.2.0
org.apache.hadoop	среда выполнения hadoop-клиента	3.4.1
org.apache.hive	hive-beeline (инструмент командной строки для работы с Apache Hive)	2.3.10
org.apache.hive	hive-cli	2.3.10
org.apache.hive	hive-jdbc	2.3.10
org.apache.hive	hive-llap-client	2.3.10
org.apache.hive	hive-llap-common	2.3.10
org.apache.hive	Hive-Serde	2.3.10
org.apache.hive	хив-шимы	2.3.10
org.apache.hive	hive-storage-api (интерфейс хранения данных Hive)	2.8.1
org.apache.hive.shims	hive-shims-0.23	2.3.10
org.apache.hive.shims	хив-шимс-коммон	2.3.10
org.apache.hive.shims	планировщик hive-shims	2.3.10
org.apache.httpcomponents	httpclient	4.5.14
org.apache.httpcomponents	httpcore	4.4.16
org.apache.ivy	плющ	2.5.3
org.apache.logging.log4j	log4j-1.2-api	2.24.3
org.apache.logging.log4j	log4j-api	2.24.3
org.apache.logging.log4j	log4j-core	2.24.3
org.apache.logging.log4j	log4j-layout-template-json (шаблон компоновки для log4j в формате JSON)	2.24.3
org.apache.logging.log4j	log4j-slf4j2-impl	2.24.3
org.apache.orc	орк-кор	2.1.1-shaded-protobuf
org.apache.orc	Формат ORC	1.1.0-shaded-protobuf
org.apache.orc	orc-mapreduce (орч-мапредьюс)	2.1.1-shaded-protobuf
org.apache.orc	орк-шимы	2.1.1
org.apache.poi	пои	5.4.1
org.apache.poi	poi-ooxml	5.4.1
org.apache.poi	poi-ooxml-full	5.4.1
org.apache.poi	poi-ooxml-lite	5.4.1
org.apache.thrift	libfb303	0.9.3
org.apache.thrift	libthrift	0.16.0
org.apache.ws.xmlschema	xmlschema-core	2.3.1
org.apache.xbean	xbean-asm9-shaded	4.26
org.apache.xmlbeans	xmlbeans	5.3.0
org.apache.yetus	аннотации для аудитории	0.13.0
org.apache.zookeeper	смотритель зоопарка	3.9.3
org.apache.zookeeper	Zookeeper-JUTE	3.9.3
org.checkerframework	checker-qual	3.43.0
org.codehaus.janino	commons-компилятор	3.0.16
org.codehaus.janino	джанино	3.0.16
org.datanucleus	datanucleus-api-jdo	4.2.4
org.datanucleus	datanucleus-core (ядро датануклеус)	4.1.17
org.datanucleus	Datanucleus-RDBMS	4.1.19
org.datanucleus	javax.jdo	3.2.0-m3
org.eclipse.jetty	jetty-client	9.4.53.v20231009
org.eclipse.jetty	jetty-continuation (продолжение Jetty)	9.4.53.v20231009
org.eclipse.jetty	«jetty-http»	9.4.53.v20231009
org.eclipse.jetty	jetty-io	9.4.53.v20231009
org.eclipse.jetty	jetty-jndi	9.4.53.v20231009
org.eclipse.jetty	Jetty Plus	9.4.53.v20231009
org.eclipse.jetty	jetty-proxy (джетти-прокси)	9.4.53.v20231009
org.eclipse.jetty	защита пристани	9.4.53.v20231009
org.eclipse.jetty	сервер Jetty	9.4.53.v20231009
org.eclipse.jetty	jetty-servlet	9.4.53.v20231009
org.eclipse.jetty	jetty-servlets	9.4.53.v20231009
org.eclipse.jetty	джетти-ютил (jetty-util)	9.4.53.v20231009
org.eclipse.jetty	jetty-util-ajax	9.4.53.v20231009
org.eclipse.jetty	Jetty - веб-приложение	9.4.53.v20231009
org.eclipse.jetty	jetty-xml	9.4.53.v20231009
org.eclipse.jetty.websocket	WebSocket API	9.4.53.v20231009
org.eclipse.jetty.websocket	websocket-клиент	9.4.53.v20231009
org.eclipse.jetty.websocket	WebSocket-Common	9.4.53.v20231009
org.eclipse.jetty.websocket	вебсокет-сервер	9.4.53.v20231009
org.eclipse.jetty.websocket	websocket-servlet	9.4.53.v20231009
org.fusesource.leveldbjni	leveldbjni-all	1.8
org.glassfish.hk2	hk2-api	2.6.1
org.glassfish.hk2	хк2-локатор	2.6.1
org.glassfish.hk2	hk2-utils	2.6.1
org.glassfish.hk2	локатор ресурсов OSGi	1.0.3
org.glassfish.hk2.external	«aopalliance-repackaged»	2.6.1
org.glassfish.hk2.external	jakarta.inject	2.6.1
org.glassfish.jersey.containers	Jersey-container-servlet	2.41
org.glassfish.jersey.containers	джерси-контейнер-сервлет-кор	2.41
org.glassfish.jersey.core	jersey-client (джерси-клиент)	2.41
org.glassfish.jersey.core	джерси-коммон	2.41
org.glassfish.jersey.core	Джерси-сервер	2.41
org.glassfish.jersey.inject	jersey-hk2	2.41
org.hibernate.validator	гибернейт-валидатор	6.2.5.Final
org.ini4j	ini4j	0.5.4
org.javassist	javassist	3.29.2-GA
org.jboss.logging	jboss-logging (логирование в JBoss)	3.4.1.Final
org.jdbi	jdbi	2.63.1
org.jetbrains	аннотации	17.0.0
org.jline	джлайн	3.27.1-jdk8
org.joda	joda-convert	1.7
org.jodd	jodd-core	3.5.2
org.json4s	json4s-ast_2.13	4.0.7
org.json4s	json4s-core_2.13	4.0.7
org.json4s	json4s-jackson-core_2.13	4.0.7
org.json4s	json4s-jackson_2.13	4.0.7
org.json4s	json4s-scalap_2.13	4.0.7
org.lz4	lz4-java	1.8.0-databricks-1
org.mlflow	mlflow-spark_2.13	2.9.1
org.objenesis	Обдженесис	3,3
org.postgresql	postgresql	42.6.1
org.roaringbitmap	RoaringBitmap	1.2.1
org.rocksdb	rocksdbjni	9.8.4
org.rosuda.REngine	РЭнджин	2.1.0
org.scala-lang	scala-compiler_2.13	2.13.16
org.scala-lang	scala-library_2.13	2.13.16
org.scala-lang	scala-reflect_2.13	2.13.16
org.scala-lang.modules	scala-collection-compat_2.13	2.11.0
org.scala-lang.modules	scala-java8-compat_2.13	0.9.1
org.scala-lang.modules	scala-parallel-collections_2.13	1.2.0
org.scala-lang.modules	scala-parser-combinators_2.13	2.4.0
org.scala-lang.modules	scala-xml_2.13	2.3.0
org.scala-sbt	тестовый интерфейс	1.0
org.scalacheck	scalacheck_2.13	1.18.0
org.scalactic	scalactic_2.13	3.2.19
org.scalanlp	breeze-macros_2.13	2.1.0
org.scalanlp	breeze_2.13	2.1.0
org.scalatest	совместимый с ScalaTest	3.2.19
org.scalatest	scalatest-core_2.13	3.2.19
org.scalatest	scalatest-diagrams_2.13	3.2.19
org.scalatest	scalatest-featurespec_2.13	3.2.19
org.scalatest	scalatest-flatspec_2.13	3.2.19
org.scalatest	scalatest-freespec_2.13	3.2.19
org.scalatest	scalatest-funspec_2.13	3.2.19
org.scalatest	scalatest-funsuite_2.13	3.2.19
org.scalatest	scalatest-matchers-core_2.13	3.2.19
org.scalatest	scalatest-mustmatchers_2.13	3.2.19
org.scalatest	scalatest-propspec_2.13	3.2.19
org.scalatest	scalatest-refspec_2.13	3.2.19
org.scalatest	scalatest-shouldmatchers_2.13	3.2.19
org.scalatest	scalatest-wordspec_2.13	3.2.19
org.scalatest	scalatest_2.13	3.2.19
org.slf4j	jcl-over-slf4j (адаптер для JCL, работающий поверх SLF4J)	2.0.16
org.slf4j	jul-to-slf4j	2.0.16
org.slf4j	slf4j-api	2.0.16
org.slf4j	slf4j-simple	1.7.25
org.threeten	threeten-extra	1.8.0
org.tukaani	хз	1.10
org.typelevel	algebra_2.13	2.8.0
org.typelevel	cats-kernel_2.13	2.8.0
org.typelevel	spire-macros_2.13	0.18.0
org.typelevel	spire-platform_2.13	0.18.0
org.typelevel	spire-util_2.13	0.18.0
org.typelevel	spire_2.13	0.18.0
org.wildfly.openssl	wildfly-openssl	1.1.3.Окончательная
org.xerial	sqlite-jdbc	3.42.0.0
org.xerial.snappy	snappy-java	1.1.10.3
org.yaml	SnakeYAML	2.0
oro	oro	2.0.8
pl.edu.icm	JLargeArrays	1.5
software.amazon.cryptools	AmazonCorrettoCryptoProvider	2.4.1-linux-x86_64
стекс	stax-api	1.0.1

Подсказка

Чтобы ознакомиться с примечаниями к версиям Databricks Runtime, которые достигли окончания поддержки (EoS), см. Примечания к версиям Databricks Runtime с окончанием поддержки. Версии среды выполнения EoS Databricks устарели и могут не обновляться.