Поделиться через

Databricks Runtime 16.0 (EoS)

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 16.0, на базе Apache Spark 3.5.0.

Databricks выпустила эту версию в ноябре 2024 года.

Замечание

Поддержка этой версии databricks Runtime закончилась. Сведения о дате окончания поддержки см. в разделе История окончания поддержки. Для всех поддерживаемых версий Databricks Runtime см. заметки о версиях выпуска и совместимости Databricks Runtime.

Изменения поведения

Критическое изменение: JDK 17 теперь является значением по умолчанию

В Databricks Runtime 16.0 и выше версия JDK по умолчанию переключается с JDK 8 на JDK 17. Это изменение происходит из-за запланированного прекращения и завершения поддержки JDK 8. Это влияет на следующее:

  • Код Java, работающий в вычислительной среде Azure Databricks, должен быть совместим с Java 17.
  • Код Scala, выполняемый в записных книжках или вычислениях Azure Databricks, должен быть совместим с Java 17.
  • Библиотеки Java и Scala, установленные на вычислительных ресурсах, должны быть совместимы с Java 17.
  • Версии клиента хранилища метаданных Apache Hive ниже 2.x. Установка конфигурации spark.sql.hive.metastore.version Spark на версию ниже 2.x приведет к проблемам совместимости с Java 17 и сбоями подключения к хранилищу метаданных Hive. Databricks рекомендует обновить Hive до версии выше 2.0.0.

Если вам нужно вернуться к Java 8, добавьте следующие переменные среды Spark при настройке вычислений Azure Databricks:

JNAME=zulu8-ca-amd64

Если вы используете экземпляры ARM, используйте следующее:

JNAME=zulu8-ca-arm64

Дополнительные сведения об указании версий JDK с помощью вычислений Azure Databricks см. в статье "Создание кластера с определенной версией JDK".

Сведения о переносе кода из Java 8 см. в следующих руководствах:

Критическое изменение: Hosted RStudio завершает жизненный цикл

В этом выпуске Сервер RStudio, размещенный в Databricks, является конечным и недоступен в любой рабочей области Azure Databricks под управлением Databricks Runtime 16.0 и более поздней версии. Дополнительные сведения и список альтернатив RStudio см. в статье Connect to a Databricks-hosted RStudio Server.

Критические изменения: прекращение поддержки изменения типов byte, short, int и long на более широкие типы

В Databricks Runtime 15.4.3 и более поздних версиях следующие изменения типа данных больше не могут применяться к таблицам с включенным функцией расширения типов:

  • byte, short, int и long в decimal.
  • byte, short, и int в double.

Это изменение выполняется для обеспечения согласованного поведения в таблицах Delta и Apache Iceberg. Дополнительные сведения о расширении типов см. в разделе "Расширение типов".

Правильный анализ шаблонов регулярных выражений с отрицанием в вложенной группировке символов

В этом выпуске содержится изменение для поддержки правильного синтаксического анализа шаблонов regex с отрицанием в вложенной группировке символов. Например, [^[abc]] будет проанализирован как "любой символ, который не является одним из "abc".

Кроме того, поведение Photon было несовместимо с Spark для вложенных классов символов. Шаблоны regex, содержащие вложенные классы символов, больше не будут использовать Photon, а вместо этого будут использовать Spark. Вложенный класс символов — это любой шаблон, содержащий квадратные скобки в квадратных скобках, например [[a-c][1-3]].

Улучшение обнаружения повторяющихся совпадений в Delta Lake MERGE

В версиях Databricks Runtime 15.4 LTS и более ранних, операции MERGE завершаются ошибкой, если несколько строк в исходной таблице совпадают с той же строкой в целевой таблице по условию MERGE, указанному в клаузе ON. В Databricks Runtime 16.0 и более поздних версиях также рассматриваются условия, указанные в предложении MERGEWHEN MATCHED. См. объединение данных в таблице Delta Lake с использованием операции upsert.

Метод установки библиотеки кластера больше не может быть переопределен

Конфигурации Spark spark.databricks.libraries.enableSparkPyPI, spark.databricks.libraries.enableMavenResolution и spark.databricks.libraries.enableCRANResolutionnow теперь по умолчанию устанавливаются на true и не могут быть изменены.

Тайм-аут по умолчанию в две часа для установок библиотек в пределах кластера

В Databricks Runtime 16.0 и выше установка библиотеки с областью действия кластера имеет время ожидания по умолчанию в течение двух часов. Установка библиотеки, которая занимает больше времени ожидания, завершится сбоем, и установка завершается. При настройке кластера можно изменить период ожидания с помощью конфигурации spark.databricks.driver.clusterLibraryInstallationTimeoutSecSpark.

Установка библиотек из DBFS и настройка spark conf spark.databricks.driver.dbfsLibraryInstallationAllowed отключены

В Databricks Runtime 16.0 и более поздних версий установка библиотек из DBFS полностью отключена. Это изменение делается для повышения безопасности библиотек в рабочей области Databricks. Кроме того, в Databricks Runtime 16.0 и более поздних версий вы больше не можете использовать конфигурацию spark.databricks.driver.dbfsLibraryInstallationAllowedSpark.

Функциональность addArtifact() теперь согласована для всех типов вычислений

С этим выпуском, архив автоматически распаковывается, когда вы используете addArtifact(archive = True) для добавления зависимости для разделяемых или бессерверных вычислительных ресурсов Azure Databricks. Это изменение делает поведение addArtifact(archive = True) для этих типов вычислений согласованным с выделенными вычислительными ресурсами (ранее известными как однопользовательские вычисления), которые уже поддерживают автоматическую распаковку архивов.

Правило backticks правильно применяется для основных идентификаторов со специальными символами

В этом выпуске основные идентификаторы со специальными символами в GRANT, DENY, а REVOKE операторах теперь будут вызывать ошибку, если они не заключены в обратные апострофы.

Новые функции и улучшения

Более надежная перезагрузка измененных модулей Python благодаря улучшениям в autoreload

В Databricks Runtime 16.0 и более поздних версий обновления autoreload расширения повышают безопасность и надежность перезагрузки измененных модулей Python, импортированных из файлов рабочей области. При этих изменениях autoreload, когда это возможно, перезагрузит только часть модуля, который изменился вместо всего модуля. Кроме того, Azure Databricks теперь автоматически предлагает использовать расширение autoreload, если модуль изменился с момента последнего импорта. См. раздел "Автозагрузка" для модулей Python.

Поддержка Avro для рекурсивной схемы

Теперь можно использовать recursiveFieldMaxDepth параметр с from_avro функцией и avro источником данных. Этот параметр задает максимальную глубину рекурсии схемы в источнике данных Avro. См. статью "Чтение и запись потоковых данных Avro".

функции to_avro и from_avro

Функции to_avro и from_avro позволяют преобразовать типы SQL в двоичные данные Avro и обратно.

Расширенная поддержка реестра схем Confluent для Avro

Azure Databricks теперь поддерживает ссылку на схему Avro с реестром схем Confluent. См. Аутентификация во внешнем реестре схем Confluent.

Принудительная рекластеризация таблиц с жидкой кластеризацией

В Databricks Runtime 16.0 и более поздних версиях можно использовать синтаксис OPTIMIZE FULL для принудительного повторного кластеризация всех записей в таблице с включенной жидкой кластеризацией. См. раздел Принудительная перекластеризация для всех записей.

API Delta для Python и Scala теперь поддерживают столбцы идентификаторов.

Теперь можно использовать API Delta для Python и Scala для создания таблиц с столбцами идентификаторов. См. «Использование идентификационных столбцов в Delta Lake».

Детализированное управление доступом для выделенных вычислений (ранее однопользовательских вычислений) теперь доступно.

В Databricks Runtime версии 16.0 и выше общедоступен детализированный контроль доступа на выделенных вычислительных мощностях. В рабочих областях, включенных для бессерверных вычислений, если запрос выполняется на поддерживаемых вычислениях, таких как выделенные вычисления, и запрос обращается к любому из следующих объектов, вычислительный ресурс передает запрос бессерверному вычислению для выполнения фильтрации данных:

  • Представления, определенные над таблицами, для которых у пользователя отсутствуют привилегии SELECT.
  • Динамические представления.
  • Таблицы с примененными фильтрами строк или масками столбцов.
  • Материализованные представления и потоковые таблицы

Создание кластеризованных таблиц в процессе потоковой записи

Теперь можно использовать clusterBy для включения кластеризации жидкости при создании новых таблиц с помощью операций записи структурированной потоковой передачи. См. раздел "Включить кластеризацию жидкости".

Поддержка предложения OPTIMIZE FULL

Databricks Runtime 16.0 поддерживает конструкцию OPTIMIZE FULL. Это предложение оптимизирует все записи в таблице, использующей кластеризацию жидкости, включая данные, которые ранее были кластеризованы.

Поддержка спецификации параметров WITH в INSERT и ссылка на таблицу

Databricks Runtime 16.0 поддерживает спецификацию параметров для ссылок на таблицы и имён таблиц в составе оператора INSERT, которые можно использовать для управления поведением источников данных.

Новые функции SQL

Следующие функции SQL добавляются в Databricks Runtime 16.0:

  • попробовать_декодировать_URL

    Эта функция представляет собой версию url_decode, устойчивую к ошибкам. Эта функция возвращает NULL, если входные данные не являются строкой с кодировкой URL.

  • zeroifnull

    Если входное выражение zeroifnull() функции имеет значение NULL, функция возвращает значение 0. В противном случае возвращается значение входного выражения.

  • nullifzero

    Возвращает NULL, если входные данные равны 0, или входные данные, если они не равны 0. Если входное выражение nullifzero() функции равно 0, функция возвращается NULL. Если входное выражение не равно 0, возвращается значение входного выражения.

Включение автоматической эволюции схемы при слиянии данных в таблицу Delta

Этот выпуск добавляет поддержку withSchemaEvolution() члена DeltaMergeBuilder класса. Используйте withSchemaEvolution() для включения автоматической эволюции схемы во время операций MERGE. Например: mergeBuilder.whenMatched(...).withSchemaEvolution().execute()}}.

Другие изменения

SparkR теперь не рекомендуется

В Databricks Runtime 16.0 и более поздних версиях SparkR в Databricks устаревший в рамках подготовки к его устареванию в предстоящем выпуске Spark 4. Ознакомьтесь с обсуждением Deprecate SparkR в Apache Spark.

Databricks рекомендует вместо этого использовать sparklyr .

Databricks Runtime 16.0 не поддерживается с ПВХ

Databricks Runtime 16.0 не поддерживается частным виртуальным облаком Databricks (PVC). Для всех выпусков ПВХ необходимо использовать Databricks Runtime 15.4 или ниже.

Исправления ошибок

Автозагрузчик теперь спасает типы записей Avro с пустыми схемами

При загрузке файла Avro в таблицу Delta с помощью автозагрузчика record типы в файле с пустой схемой теперь добавляются в спасаемый столбец данных. Поскольку вы не можете загружать пустые сложные типы данных в таблицу Delta, это устраняет проблему с загрузкой некоторых файлов Avro. Дополнительные сведения о спасенных данных см. в статье «Что такое столбец спасенных данных?».

Исправлена ошибка записи меток времени с часовыми поясами, содержащими смещение по секундам.

В этом выпуске исправлена ошибка, затрагивающая некоторые метки времени с часовыми поясами, содержащими секундное смещение. Эта ошибка приводит к пропуску секунд при записи в JSON, XML или CSV, что приводит к неправильному значению метки времени.

Чтобы вернуться к предыдущему поведению, используйте следующий параметр при записи в один из затронутых форматов: .option("yyyy-MM-dd'T'HH:mm:ss[.SSS][XXX]")

Обновления библиотек

  • Обновленные библиотеки Python:
    • azure-core от 1.30.2 до 1.31.0
    • azure-storage-blob с 12.19.1 до 12.23.0
    • azure-storage-file-datalake с 12.14.0 до 12.17.0
    • черный от 23.3.0 до 24.4.2
    • мигание от 1.4 до 1.7.0
    • boto3 от 1.34.39 до 1.34.69
    • botocore от 1.34.39 до 1.34.69
    • сертификат от 2023.7.22 до 2024.6.2
    • cffi от 1.15.1 до 1.16.0
    • Выберите версию от 8.0.4 до 8.1.7
    • comm от 0.1.2 до 0.2.1
    • contourpy с версии 1.0.5 до 1.2.0
    • криптография от 41.0.3 до 42.0.5
    • Cython от 0.29.32 до 3.0.11
    • databricks-sdk от 0.20.0 до 0.30.0
    • dbus-python от 1.2.18 до 1.3.2
    • блокировка файлов от 3.13.4 до 3.15.4
    • fonttools с 4.25.0 до 4.51.0
    • GitPython от 3.1.43 до 3.1.37
    • google-api-core от 2.18.0 до 2.20.0
    • google-auth от 2.31.0 до 2.35.0
    • google-cloud-storage с 2.17.0 до 2.18.2
    • обновление google-crc32c с версии 1.5.0 до версии 1.6.0
    • google-resumable-media от 2.7.1 до 2.7.2
    • googleapis-common-protos с 1.63.2 до 1.65.0
    • httplib2 от 0.20.2 до 0.20.4
    • idna от 3.4 до 3.7
    • ipykernel от 6.25.1 до 6.28.0
    • ipython от 8.15.0 до 8.25.0
    • jedi от 0.18.1 до 0.19.1
    • jmespath от 0.10.0 до 1.0.1
    • joblib от 1.2.0 до 1.4.2
    • jupyter_client от 7.4.9 до 8.6.0
    • jupyter_core от 5.3.0 до 5.7.2
    • launchpadlib от 1.10.16 до 1.11.0
    • lazr.restfulclient от 0.14.4 до 0.14.6
    • matplotlib от 3.7.2 до 3.8.4
    • Обновление mlflow-skinny с версии 2.11.4 до 2.15.1
    • more-itertools от 8.10.0 до 10.3.0
    • mypy-extensions от 0.4.3 до 1.0.0
    • nest-asyncio от 1.5.6 до 1.6.0
    • numpy от 1.23.5 до 1.26.4
    • oauthlib от 3.2.0 до 3.2.2
    • упаковка от 23.2 до 24.1
    • patsy от 0.5.3 до 0.5.6
    • pip от 23.2.1 до 24.2
    • plotly от 5.9.0 до 5.22.0
    • prompt-toolkit от 3.0.36 до 3.0.43
    • pyarrow от 14.0.1 до 15.0.2
    • pydantic от 1.10.6 до 2.8.2
    • PyGObject от 3.42.1 до 3.48.2
    • PyJWT от 2.3.0 до 2.7.0
    • pyodbc от 4.0.38 до 5.0.1
    • python-dateutil с версии 2.8.2 до 2.9.0.post0
    • python-lsp-jsonrpc от 1.1.1 до 1.1.2
    • pytz с 2022.7 по 2024.1
    • PyYAML от 6.0 до 6.0.1
    • pyzmq от 23.2.0 до 25.1.2
    • запросы от 2.31.0 до 2.32.2
    • scikit-learn от 1.3.0 до 1.4.2
    • scipy от 1.11.1 до 1.13.1
    • seaborn с 0.12.2 до 0.13.2
    • setuptools от 68.0.0 до 74.0.0
    • переход версии smmap с 5.0.1 на 5.0.0
    • sqlparse от 0.5.0 до 0.5.1
    • statsmodels от 0.14.0 до 0.14.2
    • tornado от 6.3.2 до 6.4.1
    • traitlets от 5.7.1 до 5.14.3
    • typing_extensions от 4.10.0 до 4.11.0
    • ujson от 5.4.0 до 5.10.0
    • virtualenv от 20.24.2 до 20.26.2
    • колесо от 0.38.4 до 0.43.0
    • ZIPP от 3.11.0 до 3.17.0
  • Обновленные библиотеки R:
    • стрелка от 14.0.0.2 до 16.1.0
    • Обратные портирования с версии 1.4.1 до 1.5.0
    • база от 4.3.2 до 4.4.0
    • bitops от 1.0-7 до 1.0-8
    • загрузка версии с 1.3-28 до 1.3-30
    • brio от версии 1.1.4 до версии 1.1.5
    • веник от 1.0.5 до 1.0.6
    • bslib от 0.6.1 до 0.8.0
    • cachem от 1.0.8 до 1.1.0
    • callr с 3.7.3 до 3.7.6
    • cli от 3.6.2 до 3.6.3
    • часы от 0.7.0 до 0.7.1
    • кластер с 2.1.4 по 2.1.6
    • codetools от 0.2-19 до 0.2-20
    • цветовое пространство от 2.1-0 до 2.1-1
    • компилятор от 4.3.2 до 4.4.0
    • Крейон от 1.5.2 до 1.5.3
    • curl от 5.2.0 до 5.2.1
    • data.table от 1.15.0 до 1.15.4
    • наборы данных от 4.3.2 до 4.4.0
    • DBI от 1.2.1 до 1.2.3
    • dbplyr от 2.4.0 до 2.5.0
    • дайджест от 0.6.34 до 0.6.36
    • изменение версии downlit с 0.4.3 до 0.4.4
    • оценка от 0.23 до 0.24.0
    • далеко от 2.1.1 до 2.1.2
    • fastmap от 1.1.1 до 1.2.0
    • внешний от 0,8-85 до 0,8-86
    • fs от 1.6.3 до 1.6.4
    • будущее от 1.33.1 до 1.34.0
    • future.apply от 1.11.1 до 1.11.2
    • gert от 2.0.1 до 2.1.0
    • ggplot2 от 3.4.4 до 3.5.1
    • gh от 1.4.0 до 1.4.1
    • globals от 0.16.2 до 0.16.3
    • графика от 4.3.2 до 4.4.0
    • grDevices от 4.3.2 до 4.4.0
    • сетка от 4.3.2 до 4.4.0
    • gt от 0.10.1 до 0.11.0
    • gtable от 0.3.4 до 0.3.5
    • hardhat от 1.3.1 до 1.4.0
    • увеличение с 0,10 до 0,11
    • htmltools от 0.5.7 до 0.5.8.1
    • httpuv от 1.6.14 до 1.6.15
    • httr2 от 1.0.0 до 1.0.2
    • ipred от 0.9-14 до 0,9-15
    • KernSmooth от 2.23-21 до 2.23-22
    • knitr от 1,45 до 1,48
    • решетка от 0,21-8 до 0,22-5
    • лава от 1.7.3 до 1.8.0
    • Обновление версии Markdown с 1.12 до 1.13
    • МАСС с 7.3-60 до 7.3-60.0.1
    • Матрица от 1.5-4.1 до 1.6-5
    • Методы от 4.3.2 до 4.4.0
    • mgcv от 1,8-42 до 1,9-1
    • mlflow от 2.10.0 до 2.14.1
    • munsell от 0.5.0 до 0.5.1
    • nlme от 3.1-163 до 3.1-165
    • opensl от 2.1.1 до 2.2.0
    • параллельная от 4.3.2 до 4.4.0
    • параллельно от 1.36.0 до 1.38.0
    • pkgbuild от 1.4.3 до 1.4.4
    • pkgdown от 2.0.7 до 2.1.0
    • pkgload от 1.3.4 до 1.4.0
    • processx от 3.8.3 до 3.8.4
    • prodlim с 2023.08.28 до 2024.06.25
    • обещания от 1.2.1 до 1.3.0
    • ps от 1.7.6 до 1.7.7
    • ragg от 1.2.7 до 1.3.2
    • Rcpp от 1.0.12 до 1.0.13
    • RcppEigen от 0.3.3.9.4 до 0.3.4.0.0
    • reactR от 0.5.0 до 0.6.0
    • рецепты от 1.0.9 до 1.1.0
    • обновления удаленных репозиториев с 2.4.2.1 до 2.5.0
    • reprex от 2.1.0 до 2.1.1
    • rlang от 1.1.3 до 1.1.4
    • rmarkdown от 2.25 до 2.27
    • roxygen2 от 7.3.1 до 7.3.2
    • rpart от 4.1.21 до 4.1.23
    • RSQLite от 2.3.5 до 2.3.7
    • rstudioapi от 0.15.0 до 0.16.0
    • rvest от 1.0.3 до 1.0.4
    • sass от 0.4.8 до 0.4.9
    • фигура от 1.4.6 до 1.4.6.1
    • блестящий от 1.8.0 до 1.9.1
    • sparklyr от 1.8.4 до 1.8.6
    • пространственные разделы с 7.3-15 по 7.3-17
    • сплайны от 4.3.2 до 4.4.0
    • статистика от 4.3.2 до 4.4.0
    • stats4 с версии 4.3.2 до 4.4.0
    • stringi от 1.8.3 до 1.8.4
    • выживание с 3,5–5 до 3,6–4
    • swagger от 3.33.1 до 5.17.14.1
    • системные шрифты с версии 1.0.5 до 1.1.0
    • tcltk от 4.3.2 до 4.4.0
    • testthat от 3.2.1 до 3.2.1.1
    • текстовая обработка от 0.3.7 до 0.4.0
    • tidyselect от 1.2.0 до 1.2.1
    • tinytex от 0,49 до 0,52
    • средства версии от 4.3.2 до 4.4.0
    • usethis с 2.2.2 до 3.0.0
    • utils от 4.3.2 до 4.4.0
    • uuid от 1.2-0 до 1.2-1
    • V8 от 4.4.1 до 4.4.2
    • withr от 3.0.0 до 3.0.1
    • xfun от 0,41 до 0,46
    • xopen от 1.0.0 до 1.0.1
    • yaml от 2.3.8 до 2.3.10
  • Обновленные библиотеки Java:
    • com.amazonaws.aws-java-sdk-autoscaling от 1.12.610 до 1.12.638
    • com.amazonaws.aws-java-sdk-cloudformation от 1.12.610 до 1.12.638
    • com.amazonaws.aws-java-sdk-cloudfront от 1.12.610 до 1.12.638
    • com.amazonaws.aws-java-sdk-cloudhsm с 1.12.610 по 1.12.638
    • com.amazonaws.aws-java-sdk-cloudsearch с 1.12.610 до 1.12.638
    • com.amazonaws.aws-java-sdk-cloudtrail с 1.12.610 по 1.12.638
    • com.amazonaws.aws-java-sdk-cloudwatch с 1.12.610 до 1.12.638
    • com.amazonaws.aws-java-sdk-cloudwatchmetrics от 1.12.610 до 1.12.638
    • com.amazonaws.aws-java-sdk-codedeploy с 1.12.610 по 1.12.638
    • com.amazonaws.aws-java-sdk-cognitoidentity от 1.12.610 до 1.12.638
    • com.amazonaws.aws-java-sdk-cognitosync с 1.12.610 по 1.12.638
    • com.amazonaws.aws-java-sdk-config с 1.12.610 до 1.12.638
    • com.amazonaws.aws-java-sdk-core от 1.12.610 до 1.12.638
    • com.amazonaws.aws-java-sdk-datapipeline с 1.12.610 по 1.12.638
    • com.amazonaws.aws-java-sdk-directconnect с 1.12.610 до 1.12.638
    • com.amazonaws.aws-java-sdk-directory с 1.12.610 до 1.12.638
    • com.amazonaws.aws-java-sdk-dynamodb с 1.12.610 до 1.12.638
    • com.amazonaws.aws-java-sdk-ec2 от 1.12.610 до 1.12.638
    • com.amazonaws.aws-java-sdk-ecs от 1.12.610 до 1.12.638
    • com.amazonaws.aws-java-sdk-efs от 1.12.610 до 1.12.638
    • com.amazonaws.aws-java-sdk-elasticache с 1.12.610 до 1.12.638
    • com.amazonaws.aws-java-sdk-elasticbeanstalk от 1.12.610 до 1.12.638
    • com.amazonaws.aws-java-sdk-elasticloadbalancing с 1.12.610 по 1.12.638
    • com.amazonaws.aws-java-sdk-elastictranscoder с 1.12.610 по 1.12.638
    • com.amazonaws.aws-java-sdk-emr от 1.12.610 до 1.12.638
    • com.amazonaws.aws-java-sdk-glacier с 1.12.610 до 1.12.638
    • com.amazonaws.aws-java-sdk-glue с 1.12.610 до 1.12.638
    • com.amazonaws.aws-java-sdk-iam с 1.12.610 по 1.12.638
    • com.amazonaws.aws-java-sdk-importexport с 1.12.610 до 1.12.638
    • com.amazonaws.aws-java-sdk-kinesis с 1.12.610 до 1.12.638
    • com.amazonaws.aws-java-sdk-kms от 1.12.610 до 1.12.638
    • com.amazonaws.aws-java-sdk-lambda с 1.12.610 до 1.12.638
    • com.amazonaws.aws-java-sdk-logs от 1.12.610 до 1.12.638
    • com.amazonaws.aws-java-sdk-machinelearning с 1.12.610 по 1.12.638
    • com.amazonaws.aws-java-sdk-opsworks с 1.12.610 по 1.12.638
    • com.amazonaws.aws-java-sdk-rds от 1.12.610 до 1.12.638
    • com.amazonaws.aws-java-sdk-redshift от 1.12.610 до 1.12.638
    • com.amazonaws.aws-java-sdk-route53 с 1.12.610 до 1.12.638
    • com.amazonaws.aws-java-sdk-s3 от 1.12.610 до 1.12.638
    • com.amazonaws.aws-java-sdk-ses с 1.12.610 по 1.12.638
    • com.amazonaws.aws-java-sdk-simpledb с 1.12.610 по 1.12.638
    • com.amazonaws.aws-java-sdk-simpleworkflow с 1.12.610 по 1.12.638
    • com.amazonaws.aws-java-sdk-sns от 1.12.610 до 1.12.638
    • com.amazonaws.aws-java-sdk-sqs с 1.12.610 до 1.12.638
    • com.amazonaws.aws-java-sdk-ssm с 1.12.610 по 1.12.638
    • com.amazonaws.aws-java-sdk-storagegateway с 1.12.610 до 1.12.638
    • com.amazonaws.aws-java-sdk-sts от 1.12.610 до 1.12.638
    • com.amazonaws.aws-java-sdk-support от 1.12.610 до 1.12.638
    • com.amazonaws.aws-java-sdk-workspaces от 1.12.610 до 1.12.638
    • com.amazonaws.jmespath-java с 1.12.610 до 1.12.638
    • com.google.protobuf.protobuf-java с 2.6.1 до 3.25.1
    • io.airlift.aircompressor от 0,25 до 0,27
    • io.delta.delta-sharing-client_2.12 от 1.1.3 до 1.2.0
    • Переход на io.netty.netty-all с версии 4.1.96.Final на 4.1.108.Final
    • io.netty.netty-buffer от 4.1.96.Final до 4.1.108.Final
    • io.netty.netty-codec от 4.1.96.Final до 4.1.108.Final
    • io.netty.netty-codec-http с 4.1.96.Final до 4.1.108.Final
    • io.netty.netty-codec-http2 с 4.1.96.Final до 4.1.108.Final
    • io.netty.netty-codec-socks от 4.1.96.Final до 4.1.108.Final
    • «io.netty.netty-common» с версии 4.1.96.Final до 4.1.108.Final
    • io.netty.netty-handler от 4.1.96.Final до 4.1.108.Final
    • io.netty.netty-handler-proxy от 4.1.96.Final до 4.1.108.Final
    • io.netty.netty-resolver от 4.1.96.Final до 4.1.108.Final
    • io.netty.netty-transport от 4.1.96.Final до 4.1.108.Final
    • io.netty.netty-transport-classes-epoll от 4.1.96.Final до 4.1.108.Final
    • io.netty.netty-transport-classes-kqueue с 4.1.96.Final до 4.1.108.Final
    • io.netty.netty-transport-native-epoll от 4.1.96.Final-linux-x86_64 до 4.1.108.Final-linux-x86_64
    • io.netty.netty-transport-native-kqueue от 4.1.96.Final-osx-x86_64 до 4.1.108.Final-osx-x86_64
    • io.netty.netty-transport-native-unix-common от 4.1.96.Final до 4.1.108.Final
    • org.apache.ivy.ivy с 2.5.1 по 2.5.2
    • org.apache.zookeeper.zookeeper с 3.6.3 до 3.9.2
    • org.apache.zookeeper.zookeeper-jute от 3.6.3 до 3.9.2
    • org.rocksdb.rocksdbjni с 8.11.4 по 9.2.1
    • org.scalactic.scalactic_2.12 от 3.2.15 до 3.2.16
    • org.scalatest.scalatest-compatible от 3.2.15 до 3.2.16
    • org.scalatest.scalatest-core_2.12 от 3.2.15 до 3.2.16
    • org.scalatest.scalatest-diagrams_2.12 от 3.2.15 до 3.2.16
    • org.scalatest.scalatest-featurespec_2.12 от 3.2.15 до 3.2.16
    • org.scalatest.scalatest-flatspec_2.12 от 3.2.15 до 3.2.16
    • org.scalatest.scalatest-freespec_2.12 от 3.2.15 до 3.2.16
    • org.scalatest.scalatest-funspec_2.12 от 3.2.15 до 3.2.16
    • org.scalatest.scalatest-funsuite_2.12 от 3.2.15 до 3.2.16
    • org.scalatest.scalatest-matchers-core_2.12 от 3.2.15 до 3.2.16
    • org.scalatest.scalatest-mustmatchers_2.12 от 3.2.15 до 3.2.16
    • org.scalatest.scalatest-propspec_2.12 от 3.2.15 до 3.2.16
    • org.scalatest.scalatest-refspec_2.12 от 3.2.15 до 3.2.16
    • org.scalatest.scalatest-shouldmatchers_2.12 от 3.2.15 до 3.2.16
    • org.scalatest.scalatest-wordspec_2.12 от 3.2.15 до 3.2.16
    • org.scalatest.scalatest_2.12 от 3.2.15 до 3.2.16

Apache Spark

Databricks Runtime 16.0 включает Apache Spark 3.5.0. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 15.4 LTS, а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

  • [SPARK-49093] [DBRRM-1371] Revert "[SC-172958][sql] GROUP BY с MapType nes...
  • [SPARK-49898] [DBRRM-1282][sc-178410] Исправление документации и настройки по умолчанию для флага ведения журнала метрик задач в SPARK-42204
  • [SPARK-49743] [ES-1260022][поведение-157][SC-177475][sql] OptimizeCsvJsonExpr не должна изменять поля схемы при выполнении очистки GetArrayStructFields
  • [SPARK-49816] [SC-177896][sql] Должен обновлять только счетчик внешних ссылок для внешнего ссылочного отношения CTE
  • [SPARK-48939] [SC-177022][sc-172766][AVRO] Поддержка чтения Avro с рекурсивной ссылкой на схему
  • [SPARK-49688] [SC-177468][es-1242349][CONNECT] Исправьте гонку данных между прерыванием и выполнением плана
  • [SPARK-49771] [SC-177466][python] Улучшить обработку ошибки Pandas Scalar Iter UDF, когда количество выходных строк превышает количество входных строк
  • [SPARK-48866] [SC-170772][sql] Исправить подсказки допустимого набора символов в сообщении об ошибке INVALID_PARAMETER_VALUE.CHARSET
  • [SPARK-48195] [FIXFORWARD][sc-177267][CORE] Сохранить и повторно использовать RDD/Broadcast, созданные с помощью SparkPlan
  • [SPARK-49585] [CONNECT] Замена карты выполнений в SessionHolder множеством operationID
  • [SPARK-49211] [SC-174257][sql] Каталог V2 также может поддерживать встроенные источники данных
  • [SPARK-49684] Минимизация времени существования блокировки восстановления сеанса
  • [SPARK-48059] [SPARK-48145][spark-48134][SPARK-48182][spark-48209][SPARK-48291] Структурированная платформа журналов на стороне Java
  • [SPARK-48857] [SC-170661][sql] Ограничить наборы символов в CSVOptions
  • [SPARK-49152] [SC-173690][sql] V2SessionCatalog должен использовать V2Command
  • [SPARK-42846] [SC-176588][sql] Удалить условие ошибки _LEGACY_ERROR_TEMP_2011
  • [SPARK-48195] [SC-177267][core] Сохранение и повторное использование RDD/Broadcast, созданного SparkPlan
  • [SPARK-49630] [SC-177379][ss] Добавьте параметр "сглаживание" для обработки коллекционных типов с помощью читателя источников данных состояния
  • [SPARK-49699] [SC-177154][ss] Отключить PruneFilters для потоковых рабочих нагрузок
  • [SPARK-48781] [SC-175282][sql] Добавление API каталога для загрузки хранимых процедур
  • [SPARK-49667] [SC-177068][sql] Запретить колляторы CS_AI с выражениями, использующими StringSearch
  • [SPARK-49737] [SC-177207][sql] Отключить сегментирование для сортировки столбцов в сложных типах
  • [SPARK-48712] [SC-169794][sql] Повышение производительности для кодирования с пустыми значениями или с кодировкой UTF-8
  • [SPARK-49038] [SC-173933][sql] SQLMetric должен сообщать о необработанном значении в событии обновления аккумулятора
  • [SPARK-48541] [SC-169066][core] Добавьте новый код выхода для исполнителей, убитых TaskReaper
  • [SPARK-48774] [SC-170138][sql] Использование SparkSession в SQLImplicits
  • [SPARK-49719] [SC-177139][sql] Сделать так, чтобы UUID и SHUFFLE принимали целочисленные значения seed
  • [SPARK-49713] [SC-177135][python][CONNECT] Сделать функцию count_min_sketch принимать аргументы чисел
  • [SPARK-47601] [SC-162499][graphx]Graphx: перенос журналов с переменными в структурированную платформу ведения журнала
  • [SPARK-49738] [SC-177219][sql] Исправлена ошибка Endswith
  • [SPARK-48623] [SC-170822][core] Структурированные миграции журналов [часть 3]
  • [SPARK-49677] [SC-177148][ss] Убедитесь в том, что файлы журнала изменений записываются при фиксации и флаг forceSnapshot также сбрасывается.
  • [SPARK-49684] [SC-177040][connect] Удаление глобальных блокировок из диспетчеров сеансов и выполнения
  • [SPARK-48302] [SC-168814][python] Сохранение значений NULL в столбцах карты в таблицах PyArrow
  • [SPARK-48601] [SC-169025][sql] Предоставьте более понятное сообщение об ошибке при настройке значения NULL для параметра JDBC
  • [SPARK-48635] [SC-169263][sql] Присвойте классы ошибкам типа соединения и ошибке соединения as-of
  • [SPARK-49673] [SC-177032][connect] Увеличение CONNECT_GRPC_ARROW_MAX_BATCH_SIZE до 0,7 * CONNECT_GRPC_MAX_MESSAGE_SIZE
  • [SPARK-49693] [SC-177071][python][CONNECT] Уточнение строкового представления timedelta
  • [SPARK-49687] [SC-176901][sql] Задержка сортировки в validateAndMaybeEvolveStateSchema
  • [SPARK-49718] [SC-177112][ps] Переключение Scatter графика на выборку данных
  • [SPARK-48472] [SC-169044][sql] Включение отраженных выражений с отсортированными строками
  • [SPARK-48484] [SC-167484][sql] Исправление: V2Write использует один и тот же TaskAttemptId для различных попыток задач
  • [SPARK-48341] [SC-166560][connect] Разрешить подключаемым модулям использовать QueryTest в своих тестах
  • [SPARK-42252] [SC-168723][core] Добавить spark.shuffle.localDisk.file.output.buffer и устаревшие spark.shuffle.unsafe.file.output.buffer.
  • [SPARK-48314] [ SC-166565][ss] Не выполняйте двойное кэширование файлов в FileStreamSource с помощью Trigger.AvailableNow
  • [SPARK-49567] [SC-176241][python] Используйте classic вместо vanilla из базы кода PySpark
  • [SPARK-48374] [SC-167596][python] Поддерживают дополнительные типы столбцов таблицы PyArrow
  • [SPARK-48300] [SC-166481][sql] Поддержка codegen для from_xml
  • [SPARK-49412] [SC-177059][ps] Вычисление всех метрик графиков поля в одном задании
  • [SPARK-49692] [SC-177031][python][CONNECT] Уточнение строкового представления даты и времени
  • [SPARK-49392] [ES-1130351][sc-176705][SQL] Перехват ошибок при неудачной записи во внешний источник данных
  • [SPARK-48306] [SC-166241][sql] Улучшить UDT в сообщении об ошибке
  • [SPARK-44924] [SC-166379][ss] Добавление конфигурации для кэшированных файлов FileStreamSource
  • [SPARK-48176] [SC-165644][sql] Корректировка имени условия ошибки FIELD_ALREADY_EXISTS
  • [SPARK-49691] [SC-176988][python][CONNECT] Функция substring должна принимать имена столбцов
  • [SPARK-49502] [SC-176077][core] Избегайте NPE в SparkEnv.get.shuffleManager.unregisterShuffle
  • [SPARK-49244] [SC-176703][sql] Дальнейшие улучшения исключений для синтаксического анализа или интерпретатора
  • [SPARK-48355] [SC-176684][sql] Поддержка инструкции CASE
  • [SPARK-49355] [SC-175121][sql] levenshtein должны проверять, совпадают ли значения collation всех типов параметров.
  • [SPARK-49640] [SC-176953][ps] Применить метод резервуарной выборки в SampledPlotBase
  • [SPARK-49678] [SC-176857][core] Поддержка spark.test.master в SparkSubmitArguments
  • [SPARK-49680] [SC-176856][python] Ограничение Sphinx параллелизм сборки до 4 по умолчанию
  • [SPARK-49396] Revert "[SC-176030][sql] Изменение проверки nullability для выражения CaseWhen"
  • [SPARK-48419] [SC-167443][sql] Распространение складываемости замены складываемого столбца...
  • [SPARK-49556] [SC-176757][sql] Добавление синтаксиса канала SQL для оператора SELECT
  • [SPARK-49438] [SC-175237][sql] Исправьте красивое имя выражения FromAvro & ToAvro
  • [SPARK-49659] [SC-1229924][sql] Добавьте понятную ошибку для скалярных вложенных запросов внутри предложения VALUES
  • [SPARK-49646] [SC-176778][sql] исправление декорреляции подзапроса для операций объединения или наборов, когда parentOuterReferences не охватывает ссылки на собранныеChildOuterReferences
  • [SPARK-49354] [SC-175034][sql] split_part должен проверять, совпадают ли значения collation всех типов параметров.
  • [SPARK-49478] [SC-175914][connect] Обработка метрики NULL в ConnectProgressExecutionListener
  • [SPARK-48358] [SC-176374][sql] Поддержка инструкции REPEAT
  • [SPARK-49183] [SC-173680][sql] V2SessionCatalog.createTable должно соблюдать PROP_IS_MANAGED_LOCATION
  • [SPARK-49611] [SC-176791][sql] ввести TVF collations() & удалить команду SHOW COLLATIONS
  • [SPARK-49261] [ SC-176589][sql] Не заменяйте литералы в агрегатных выражениях групповыми выражениями
  • [SPARK-49099] [SC-173229][sql] CatalogManager.setCurrentNamespace должен учитывать пользовательский каталог сеансов
  • [SPARK-49594] [SC-176569][ss] Добавление проверки того, были ли добавлены или удалены семейства столбцов для записи файла StateSchemaV3
  • [SPARK-49578] [SC-176385][sql] Удалите предложение конфигурации ANSI в CAST_INVALID_INPUT и CAST_OVERFLOW
  • [SPARK-48882] [SC-174256][ss] Присвоение имен классам ошибок, связанным с режимом вывода потоковой передачи
  • [SPARK-49155] [SC-176506][sql][SS] Используйте более подходящий тип параметра для создания GenericArrayData
  • [SPARK-49519] [SC-176388][sql] Объединение параметров таблицы и связи при создании FileScanBuilder
  • [SPARK-49591] [SC-176587][sql] Добавление столбца логического типа в вариант readme
  • [SPARK-49596] [SC-176423][sql] Повышение производительности FormatString
  • [SPARK-49525] [SC-176044][ss][CONNECT] Незначительное улучшение журнала для прослушивателя запросов на стороне сервера
  • [SPARK-49583] [SC-176272][sql] Определите подусловие ошибки SECONDS_FRACTION для недопустимого шаблона дробной части секунд
  • [SPARK-49536] [SC-176242] Обработка ошибок при предварительной выборке записей из потокового источника данных в Python
  • [SPARK-49443] [SC-176273][sql][PYTHON] Реализовать выражение to_variant_object и сделать так, чтобы выражения schema_of_variant выводили OBJECT для объектов Variant.
  • [SPARK-49544] [SASP-3990][sc-176557][CONNECT] Замените грубую блокировку в SparkConnectExecutionManager на ConcurrentMap
  • [SPARK-49548] [SASP-3990][sc-176556][CONNECT] Замена грубой блокировки в SparkConnectSessionManager на ConcurrentMap
  • [SPARK-49551] [SC-176218][ss] Улучшение журнала RocksDB для воспроизведения журнала изменений
  • [SPARK-49595] [SC-176396][connect][SQL] Исправление DataFrame.unpivot/melt в клиенте Spark Connect Scala
  • [SPARK-49006] [SC-176162] Реализация очистки файлов OperatorStateMetadataV2 и StateSchemaV3
  • [SPARK-49600] [SC-176426][python] Удалить логику, связанную с Python 3.6 and older, из try_simplify_traceback
  • [SPARK-49303] [SC-176013][ss] Реализация TTL для ValueState в API transformWithStateInPandas
  • [SPARK-49191] [SC-176243][ss] Добавление поддержки чтения переменных состояния map transformWithState с помощью средства чтения источника данных состояния
  • [SPARK-49593] [SC-176371][ss] Генерация исключения RocksDB для вызывающей стороны при закрытии DB, если обнаружена ошибка
  • [SPARK-49334] [SC-174803][sql] str_to_map должен проверять, совпадают ли значения collation всех типов параметров.
  • [SPARK-42204] [SC-176126][core] Добавление опции для отключения избыточной записи внутренних аккумуляторов TaskMetrics в журналах событий
  • [SPARK-49575] [SC-176256][ss] Добавление ведения журнала для выпуска блокировки только в том случае, если полученнаяThreadInfo не имеет значения NULL
  • [SPARK-49539] [SC-176250][ss] Обновить начальный идентификатор внутренних столбцовых семейств на другой.
  • [SPARK-49205] [SC-173853][sql] KeyGroupedPartitioning должен наследовать HashPartitioningLike
  • [SPARK-49396] [SC-176030][sql] Изменение проверки NULL для выражения CaseWhen
  • [SPARK-49476] [SC-175700][sql] Исправление нулевой допустимости функции base64
  • [SPARK-47262] [SC-174829][sql] Назначьте имена условиям ошибок для преобразования Parquet
  • [SPARK-47247] [SC-158349][sql] Используйте меньший целевой размер при объединения секций с взрывающимися соединениями
  • [SPARK-49501] [SC-176166][sql] Исправлено двойное экранирование расположения таблицы
  • [SPARK-49083] [SC-173214][connect] Разрешить from_xml и from_json работать с JSON-схемами нативно
  • [SPARK-49043] [SC-174673][sql] Исправлена интерпретированная группа codepath на карте с сортировкой строк
  • [SPARK-48986] [SC-172265][connect][SQL] Добавление промежуточного представления ColumnNode
  • [SPARK-49326] [SC-176016][ss] Классифицировать класс ошибок для ошибки пользовательской функции приемника foreach
  • [SPARK-48348] [SC-175950][spark-48376][SQL] Введение инструкций LEAVE и ITERATE
  • [SPARK-49523] [SC-175949][connect] Увеличьте максимальное время ожидания подключения сервера для тестирования
  • [SPARK-49000] [BEHAVE-105][es-1194747][SQL] Исправление "select count(distinct 1) from t", где t — пустая таблица, путем расширения RewriteDistinctAggregates — версия Databricks Runtime 16.x
  • [SPARK-49311] [SC-175038][sql] Сделать возможным преобразование больших значений 'интервала секунд' в десятичные
  • [SPARK-49200] [SC-173699][sql] Исправление исключения при упорядочении типов null без генерации кода.
  • [SPARK-49467] [SC-176051][ss] Добавьте поддержку модуля чтения данных состояния и списка состояний.
  • [SPARK-47307] [SC-170891][sql] Добавить конфигурацию для опциональной сегментации строк base64
  • [SPARK-49391] [SC-176032][ps] График выбора выскользов по расстоянию от заборов
  • [SPARK-49445] [SC-175845][ui] Поддержка отображения подсказки на панели выполнения пользовательского интерфейса
  • [SPARK-49451] [SC-175702] Разрешить повторяющиеся ключи в parse_json.
  • [SPARK-49275] [SC-175701][sql] Исправлено нулевая природа типа возвращаемого значения выражения xpath
  • [SPARK-49021] [SC-175578][ss] Добавьте поддержку переменных состояния значения transformWithState с помощью средства чтения источника данных состояния.
  • [SPARK-49474] [BEHAVE-143][sc-169253][SC-175933][ss] Классифицировать класс Error для ошибки пользовательской функции FlatMapGroupsWithState
  • [SPARK-49408] [ SC-175932][sql] Использование IndexedSeq в ProjectingInternalRow
  • [SPARK-49509] [SC-175853][core] Используйте Platform.allocateDirectBuffer вместо ByteBuffer.allocateDirect
  • [SPARK-49382] [SC-175013][ps] Сделать прямоугольник рамки правильной отрисовки флизеров и выходов
  • [SPARK-49002] [SC-172846][sql] Последовательная обработка недопустимых расположений в WAREHOUSE/SCHEMA/TABLE/PARTITION/DIRECTORY
  • [SPARK-49480] [SC-175699][core] Исправить NullPointerException из SparkThrowableHelper.isInternalError
  • [SPARK-49477] [SC-175828][python] Улучшение сообщения об ошибке типа возврата pandas udf
  • [SPARK-48693] [SC-169492][sql] Упрощение и объединение метода toString для Invoke и StaticInvoke
  • [SPARK-49441] [SC-175716][ml] StringIndexer сортировать массивы в исполнителях
  • [SPARK-49347] [SC-175004][r] Нерекомендуемая sparkR
  • [SPARK-49357] [SC-175227][connect][PYTHON] Вертикально усекать глубоко вложенное сообщение protobuf
  • [SPARK-41982] [SC-120604][sql] Секции строк типа не должны рассматриваться как числовые типы
  • [SPARK-48776] [SC-170452][behave-72] Исправление форматирования меток времени для json, xml и csv
  • [SPARK-49223] [SC-174800][ml] Упростить StringIndexer.countByValue с помощью встроенных функций
  • [SPARK-49016] Revert "[SC-174663][sql] Восстановление поведения, при котором запросы из необработанных CSV-файлов запрещены, если включается только столбец поврежденной записи и назначено имя _LEGACY_ERROR_TEMP_1285"
  • [SPARK-49041] [SC-172392][python][CONNECT] Создает правильную ошибку для dropDuplicates, если задано неправильное subset
  • [SPARK-49050] [SC-175235] Включение оператора deleteIfExists в TWS с помощью семейств виртуальных столбцов
  • [SPARK-49216] [SC-173919][core]Исправление для предотвращения регистрации контекста сообщения с явно построенным LogEntry, когда настройка структурированного ведения журнала отключена
  • [SPARK-49252] [SC-175596][core] СделатьTaskSetExcludeList и HeathTracker независимыми
  • [SPARK-49352] [SC-174971][sql] Избегайте преобразования избыточного массива для идентичного выражения
  • [SPARK-42307] [SC-173863][sql] Назначьте имя ошибки _LEGACY_ERROR_TEMP_2232
  • [SPARK-49197] [SC-173732][core] Выходные данные Redact Spark Command в модуле launcher
  • [SPARK-48913] [SC-173934][sql] Реализовать IndentingXMLStreamWriter
  • [SPARK-49306] [ SC-175363][python][SQL] Создание псевдонимов функций SQL для "zeroifnull" и nullifzero
  • [SPARK-48344] [SQL] Выполнение скриптов SQL (включая Spark Connect)
  • [SPARK-49402] [SC-175122][python] Исправлена интеграция Binder в документации PySpark
  • [SPARK-49017] [SC-174664][sql] Инструкция insert завершается сбоем при использовании нескольких параметров
  • [SPARK-49318] [SC-174733][sql] Предварительно устранить низкоприоритетные ошибки при анализе LCA до завершения анализа, чтобы повысить качество обработки ошибок
  • [SPARK-49016] [SC-174663][sql] Восстановлено поведение, при котором запросы из необработанных CSV-файлов запрещены, если они включают только поврежденный столбец записи и присваивают ему имя _LEGACY_ERROR_TEMP_1285.
  • [SPARK-49387] [SC-175124][python] Исправить указание типа для accuracy в percentile_approx и approx_percentile
  • [SPARK-49131] [SC-174666][ss] TransformWithState должен правильно задавать неявно сгруппированные ключи, даже с отложенными итераторами.
  • [SPARK-49301] [SC-174795][ss] Данные Arrow блока, передаваемые Python-воркеру
  • [SPARK-49039] [SC-174651][ui] Сброс флажка при загрузке метрик исполнителя на вкладке "Этапы"
  • [SPARK-48428] [SC-169806][sql]: Исправление IllegalStateException в NestedColumnAliasing
  • [SPARK-49353] [SC-174830][sql] Обновление документов, связанных с кодировкой и декодированием UTF-32
  • [SPARK-48613] [SC-170966][sql] SPJ: поддержка автоматической перетасовки на одной стороне и меньше ключей соединения, чем ключей разбиения
  • [SPARK-47473] [SC-160450][поведение-127][SQL] Исправлена проблема правильности преобразования меток времени postgres INFINITY
  • [SPARK-49142] [SC-173658][connect][PYTHON] Выполните действия, чтобы вернуть proto к строковой стоимости производительности
  • [SPARK-49300] [SC-175008][core] Исправлена утечка маркера делегирования Hadoop, когда tokenRenewalInterval не был установлен.
  • [SPARK-49367] [SC-175012][ps] Параллельное вычисление KDE для нескольких столбцов (библиотека Plotly)
  • [SPARK-49365] [SC-175011][ps] Упрощение агрегирования контейнера в гистограмме
  • [SPARK-49372] [SC-175003][ss] Убедитесь, что для latestSnapshot задано значение none при закрытии, чтобы избежать последующего использования
  • [SPARK-49341] [SC-174785] Удалить connector/docker в пользу Apache Spark Operator
  • [SPARK-49344] [SC-174894][ps] Поддержка json_normalize для API Pandas на Spark
  • [SPARK-49306] [ SC-174794][sql] Создание новых функций SQL "zeroifnull" и "nullifzero"
  • [SPARK-48796] [SC-174668][ss] Загрузка идентификатора семейства столбцов из RocksDBCheckpointMetadata для VCF при перезапуске
  • [SPARK-49342] [SC-174899][sql] Сделать аргумент SQL-функции TO_AVRO 'jsonFormatSchema' необязательным
  • [SPARK-48628] [SC-174695][core] Добавление метрик пикового использования памяти на куче и вне кучи
  • [SPARK-47407] [SC-159379][поведение-126][SQL] Поддержка сопоставления java.sql.Types.NULL с NullType
  • [SPARK-48628] [SC-173407][core] Добавление метрик пикового использования памяти на/вне кучи для задач
  • [SPARK-49166] [SC-173987][sql] Поддержка OFFSET в коррелированных вложенных запросах
  • [SPARK-49269] [SC-174676][sql] Детально анализировать VALUES() в AstBuilder
  • [SPARK-49281] [SC-174782][sql] Оптимизация извлечения байтов из двоичных данных в формате parquet с использованием getBytesUnsafe, чтобы избежать затрат на копирование.
  • [SPARK-49113] [SC-174734] Не утверждать о ошибках перевода — безмолвно проглотить исключение
  • [SPARK-49098] [SC-173253][sql] Добавление параметров записи для INSERT
  • [SPARK-48638] [SC-174694][follow][CONNECT] Исправление документации для ExecutionInfo
  • [SPARK-49250] [ES-1222826][sql] Улучшение сообщения об ошибке для вложенного UnresolvedWindowExpression в CheckAnalysis
  • [SPARK-48755] [SC-174258][python] преобразованиеWithState pyspark и поддержка ValueState
  • [SPARK-48966] [SC-174329][sql] Улучшение сообщения об ошибке с недопустимой неразрешенной ссылкой на столбец в вызове UDTF
  • [SPARK-46590] [SC-154115][sql] Исправление сбоя функции coalesce с неожиданными индексами разделов
  • [SPARK-49235] [SC-174159][sql] Рефакторинг правила ResolveInlineTables, чтобы оно не проходило по всему дереву
  • [SPARK-49060] [SC-173107][connect] Упрощение правил Mima для проверки совместимости двоичных файлов SQL-Connect
  • [SPARK-48762] [SC-172525][sql] Введение API ClusterBy DataFrameWriter для Python
  • [SPARK-49207] [SC-173852][sql] Исправление сопоставления случаев «один ко многим» в SplitPart и StringSplitSQL
  • [SPARK-49204] [SC-173850][sql] Исправлена обработка суррогатной пары в StringInstr и StringLocate
  • [SPARK-36680] [SC-170640][sql] поддерживает динамические параметры таблицы для Spark SQL
  • [SPARK-49204] [SC-173849][sql] Исправлена обработка суррогатной пары в SubstringIndex
  • [SPARK-49204] [SC-173848][sql] Исправлена обработка суррогатной пары в StringTrim
  • [SPARK-48967] [SC-173993]Исправление теста SparkConfigOwnershipSuite для OPTIMIZE_INSERT_INTO_VALUES_PARSER
  • [SPARK-49204] [SC-173851][sql] Исправлена обработка суррогатных пар в StringReplace
  • [SPARK-48967] [SC-173993][sql][16.x] Повышение производительности и оптимизация занимаемого объема памяти "INSERT INTO ... VALUES" Утверждения
  • [SPARK-49099] Отменить "[SC-173229][sql] CatalogManager.setCurrent...
  • [SPARK-48347] [SC-173812][sql] Поддержка инструкции WHILE
  • [SPARK-49128] [SC-173344][core] Поддержка настраиваемого заголовка интерфейса сервера истории
  • [SPARK-49146] [SC-173825][ss] Перенос ошибок утверждения, связанных с отсутствием водяного знака в потоковых запросах в режиме добавления, в систему обработки ошибок
  • [SPARK-45787] [SC-172197][sql] Поддержка Catalog.listColumns для кластерных столбцов
  • [SPARK-49099] [SC-173229][sql] CatalogManager.setCurrentNamespace должен учитывать пользовательский каталог сеансов
  • [SPARK-49138] [SC-173483][sql] Исправить CollationTypeCasts нескольких выражений
  • [SPARK-49163] [SC-173666][sql] Попытка создать таблицу на основе сломанных результатов секционирования parquet должна возвращать ошибку, с которой сталкивается пользователь
  • [SPARK-49201] [SC-173793][ps][PYTHON][connect] hist переосуществление построения графиков с помощью Spark SQL
  • [SPARK-49188] [SC-173682][sql] Внутренняя ошибка в concat_ws, вызванная вызовом на массив массивов строк
  • [SPARK-49137] [SC-173677][sql] Если логическое условие в if statement недопустимо, следует вызвать исключение
  • [SPARK-49193] [SC-173672][sql] Повышение производительности RowSetUtils.toColumnBasedSet
  • [SPARK-49078] [SC-173078][sql] Поддержка синтаксиса столбцов в таблице версии 2
  • [SPARK-49141] [SC-173388][sql] Обозначить вариант как несовместимый с Hive тип данных
  • [SPARK-49059] [Cherry-Pick][15.x][SC-172528][connect] Переместить SessionHolder.forTesting(...) в тестовый пакет
  • [SPARK-49111] [SC-173661][sql] Переместить withProjectAndFilter в Объект-Компаньон DataSourceV2Strategy
  • [SPARK-49185] [SC-173688][ps][PYTHON][connect] Переосмыслить реализацию kde графика с помощью Spark SQL
  • [SPARK-49178] [SC-173673][sql] Оптимизация производительности Row#getSeq для соответствия производительности при использовании Spark 3.5 с Scala 2.12
  • [SPARK-49093] [SC-172958][sql] GROUP BY с MapType, вложенным внутри сложного типа
  • [SPARK-49142] [SC-173469][connect][PYTHON] Понизить уровень логирования клиента Spark Connect до уровня отладки
  • [SPARK-48761] [SC-172048][sql] Введение API ClusterBy DataFrameWriter для Scala
  • [SPARK-48346] [SC-173083][sql] Поддержка инструкций IF ELSE в скриптах SQL
  • [SPARK-48338] [SC-173112][sql] Улучшение исключений, выбрасываемых синтаксическим анализатором или интерпретатором
  • [SPARK-48658] [SC-169474][sql] Функции кодирования/декодирования сообщают об ошибках кодировки вместо искаженного текста для неподдерживаемых символов
  • [SPARK-49071] [SC-172954][sql] Удалить элемент ArraySortLike
  • [SPARK-49107] Отменить «Отменить "[SC-173103][sql] ROUTINE_ALREADY_EXISTS поддерживает RoutineType"»
  • [SPARK-49070] [SC-172907][ss][SQL] TransformWithStateExec.initialState переписывается неправильно, чтобы создать недопустимый план запроса.
  • [SPARK-49114] [SC-173217] Не удается загрузить ошибки хранилища состояний в подклассах
  • [SPARK-49107] Revert "[SC-173103][sql] ROUTINE_ALREADY_EXISTS поддерживает RoutineType".
  • [SPARK-49048] [SC-173223][ss] Добавление поддержки чтения соответствующих метаданных оператора при заданном идентификаторе пакета
  • [SPARK-49094] [SC-173049][sql] Исправление неработающего параметра ignoreCorruptFiles для реализации hive orc с отключенной функцией mergeSchema
  • [SPARK-49108] [SC-173102][пример] Добавление примера REST API submit_pi.sh
  • [SPARK-49107] [SC-173103][sql] ROUTINE_ALREADY_EXISTS поддерживает RoutineType
  • [SPARK-48997] [SC-172484][ss] Внедрение отдельных выгрузок для отказов потоков в пуле потоков обслуживания
  • [SPARK-49063] [SC-173094][sql] Исправление использования 'Between' с скалярными подзапросами
  • [SPARK-45891] [SC-172305][sql][PYTHON][variant] Добавьте поддержку типов интервалов в спецификации Variant
  • [SPARK-49074] [BEHAVE-110][sc-172815][SQL] Исправление варианта с df.cache()
  • [SPARK-49003] [SC-172613][sql] Исправлено хэширование пути интерпретируемого кода с учетом правила сортировки.
  • [SPARK-48740] [SC-172430][sql] Раннее обнаружение ошибки отсутствия спецификации окна
  • [SPARK-48999] [SC-172245][ss] Разделение PythonStreamingDataSourceSimpleSuite
  • [SPARK-49031] [SC-172602] Реализация проверки для оператора TransformWithStateExec с помощью OperatorStateMetadataV2
  • [SPARK-49053] [SC-172494][python][ML] Вспомогательные функции сохранения и загрузки модели теперь поддерживают сеанс Spark
  • [SPARK-49032] [Backport][15.x][SS] Добавление пути схемы в записи таблицы метаданных, проверка соответствия ожидаемой версии и добавление теста, связанного с метаданными оператора, для формата метаданных оператора версии 2
  • [SPARK-49034] [SC-172306][core] Поддержка замены на стороне сервера sparkProperties в REST API отправки
  • [SPARK-48931] [SC-171895][ss] Сокращение затрат на API получения списка облачных хранилищ для задачи управления состоянием хранилища
  • [SPARK-48849] [SC-172068][ss]Create OperatorStateMetadataV2 для оператора TransformWithStateExec
  • [SPARK-49013] [SC-172322] Изменение ключа в collationsMap для типов Map и Array в scala
  • [SPARK-48414] [ SC-171884][python] Исправление критических изменений в python fromJson
  • [SPARK-48910] [SC-171001][sql] Использование HashSet/HashMap для предотвращения линейного поиска в PreprocessTableCreation
  • [SPARK-49007] [SC-172204][core] Улучшение MasterPage для поддержки пользовательского заголовка
  • [SPARK-49009] [SC-172263][sql][PYTHON] Обеспечить поддержку перечислений в API обработки столбцов и функциях
  • [SPARK-49033] [SC-172303][core] Поддержка замены на стороне сервера environmentVariables в REST API отправки
  • [SPARK-48363] [SC-166470][sql] Очистка некоторых избыточных кодов в from_xml
  • [SPARK-46743] [SC-170867][sql][BEHAVE-84] Число ошибок после свертывания ScalarSubqery, если оно имеет пустое отношение
  • [SPARK-49040] [SC-172351][sql] Исправление документации sql-ref-syntax-aux-exec-imm.md
  • [SPARK-48998] [SC-172212][ml] Метаалгоритмы сохранения и загрузки моделей с использованием SparkSession
  • [SPARK-48959] [SC-171708][sql] Сделать NoSuchNamespaceException расширением NoSuchDatabaseException для восстановления обработки исключений
  • [SPARK-48996] [SC-172130][sql][PYTHON] Разрешить свободные литералы для , и или в колонке
  • [SPARK-48990] [SC-171936] Дальнейшие действия для #101759 — исправление теста
  • [SPARK-48338] [SC-171912][sql] Проверка объявлений переменных
  • [SPARK-48990] [SC-171936][sql] Ключевые слова синтаксиса единой переменной, связанной с SQL
  • [SPARK-48988] [SC-171915][ml] Сделать DefaultParamsReader/Writer обрабатывать метаданные с помощью сеанса Spark
  • [SPARK-48974] [SC-171978][sql][SS][ml][MLLIB] Использовать SparkSession.implicits вместо SQLContext.implicits
  • [SPARK-48760] [SC-170870][sql] Исправление CatalogV2Util.applyClusterByChanges
  • [SPARK-48928] [SC-171956] Предупреждение журнала для вызова .unpersist() на локально чекпойнтированных RDD
  • [SPARK-48760] [SC-170139][sql] Введение ALTER TABLE ... CLUSTER BY синтаксис SQL для изменения кластерных столбцов
  • [SPARK-48844] Revert "[SC-170669][sql] USE INVALID_EMPTY_LOCATION вместо UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY, если путь пуст".
  • [SPARK-48833] [SC-171914][sql][VARIANT] Вариант поддержки в InMemoryTableScan
  • [SPARK-48975] [SC-171894][protobuf] Удалите ненужные определения ScalaReflectionLock из protobuf
  • [SPARK-48970] [SC-171800][python][ML] Избегайте использования SparkSession.getActiveSession в средстве чтения и записи Spark ML
  • [SPARK-48844] [SC-170669][sql] используйте INVALID_EMPTY_LOCATION вместо UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY, если путь пуст
  • [SPARK-48714] [SC-170136] Исправление сбоя тестов df.mergeInto в PySpark и UC
  • [SPARK-48957] [SC-171797][ss] Возвращает подклассифицированный класс ошибок при загрузке хранилища состояний для поставщиков hdfs и rocksdb
  • [SPARK-48891] [Backport][15x][SC-171677][ss] Рефакторинг StateSchemaCompatibilityChecker с целью объединения всех форматов схем состояния
  • [SPARK-48972] [SC-171795][python] Объединение обработки литеральных строк в функциях
  • [SPARK-48388] [SC-1713337][sql] Исправление поведения инструкций SET для скриптов SQL
  • [SPARK-48743] [SC-170552][sql][SS] MergingSessionIterator должен лучше справляться, когда getStruct возвращает NULL
  • [SPARK-48623] [15.x][sc-171322][CORE] Миграция логов FileAppender на структурированное ведение логов
  • [SPARK-36680] [DBRRM-1123] Revert "[SC-170640][sql] Поддерживает динамические параметры таблицы для Spark SQL".
  • [SPARK-48841] [SC-170868][поведение-83][SQL] Включить collationName в sql()Collate
  • [SPARK-48941] [SC-171703][python][ML] Замените вызов API чтения и записи RDD на вызов API чтения и записи Dataframe
  • [SPARK-48938] [SC-171577][python] Улучшение сообщений об ошибках при регистрации пользовательских табличных функций Python
  • [SPARK-48350] [SC-171040][sql] Введение пользовательских исключений для скриптов SQL
  • [SPARK-48907] [SC-171158][sql] Исправление значения explicitTypes в COLLATION_MISMATCH.EXPLICIT
  • [SPARK-48945] [SC-171658][python] Упрощение функций regex с помощью lit
  • [SPARK-48944] [SC-171576][connect] Унифицировать обработку схемы в формате JSON в Connect Server
  • [SPARK-48836] [SC-171569] Интеграция схемы SQL с схемой состояния и метаданными
  • [SPARK-48946] [SC-171504][sql] NPE в методе redact, если сеанс имеет значение NULL
  • [SPARK-48921] [SC-171412][sql] Кодировщики ScalaUDF в вложенных запросах должны быть разрешены для MergeInto
  • [SPARK-45155] [SC-171048][connect] Добавление документов API для клиента Spark Connect JVM/Scala
  • [SPARK-48900] [SC-171319] Добавление reason поля для cancelJobGroup и cancelJobsWithTag
  • [SPARK-48865] [SC-171154][sql] Добавление функции try_url_decode
  • [SPARK-48851] [SC-170767][sql] Измените значение SCHEMA_NOT_FOUND с namespace на catalog.namespace
  • [SPARK-48510] [SC-170893][2/2] Поддержка API UDAF toColumn в Spark Connect
  • [SPARK-45190] [SC-171055][spark-48897][PYTHON][connect] Добавить поддержку схемы StructType для from_xml
  • [SPARK-48930] [SC-171304][core] Redact awsAccessKeyId путем включения шаблона accesskey
  • [SPARK-48909] [SC-171080][ml][MLLIB] Использует SparkSession over SparkContext при записи метаданных
  • [SPARK-48883] [SC-171133][ml][R] Замените вызов API чтения и записи RDD на вызов API чтения и записи Dataframe.
  • [SPARK-48924] [SC-171313][ps] Добавить вспомогательную функцию, подобную pandas make_interval
  • [SPARK-48884] [SC-171051][python] Удаление неиспользуемой вспомогательной функции PythonSQLUtils.makeInterval
  • [SPARK-48817] [SC-170636][sql] С готовностью выполнять несколько команд объединения вместе
  • [SPARK-48896] [SC-171079][ml][MLLIB] Избегайте перераспределения при записи метаданных
  • [SPARK-48892] [SC-171127][ml] Избегайте поблочного чтения параметров в Tokenizer
  • [SPARK-48927] [SC-171227][core] Показать количество кэшированных RDD в StoragePage
  • [SPARK-48886] [15.x][backport][SC-171039][ss] Добавление информации о версии в changelog версии 2 для облегчения процесса изменений
  • [SPARK-48903] [SC-171136][ss] Установите последнюю версию моментального снимка RocksDB правильно при удаленной загрузке
  • [SPARK-48742] [SC-170538][ss] Семейство виртуальных столбцов для RocksDB
  • [SPARK-48726] [15.x][sc-170753][SS] Создайте формат файла StateSchemaV3 и запишите его для оператора TransformWithStateExec
  • [SPARK-48794] [SC-170882][connect][15.x] поддержка df.mergeInto для Spark Connect (Scala и Python)
  • [SPARK-48714] [SC-170136][python] Реализация DataFrame.mergeInto в PySpark
  • [SPARK-48772] [SC-170642][ss][SQL] Режим чтения лога изменений источника данных
  • [SPARK-48666] [SC-170887][sql] Не опускать фильтр, если в нём есть функции PythonUDF.
  • [SPARK-48845] [SC-170889][sql] GenericUDF перехват ошибок от дочерних элементов
  • [SPARK-48880] [SC-170974][core] Избегайте создания nullPointerException, если подключаемый модуль драйвера не удается инициализировать
  • [SPARK-48888] [Backport][15x][SC-170973][ss] Удаление создания снапшота на основе размера операций журнала изменений
  • [SPARK-48871] [SC-170876] Исправление INVALID_NON_DETERMINISTIC_EXPRESSIONS проверки в...
  • [SPARK-48883] [SC-170894][ml][R] Замените вызов API чтения и записи RDD на вызов API чтения и записи DataFrame
  • [SPARK-36680] [SC-170640][sql] поддерживает динамические параметры таблицы для Spark SQL
  • [SPARK-48804] [SC-170558][sql] Add classIsLoadable & OutputCommitter.isAssignableFrom check for output committer class configurations
  • [SPARK-46738] [SC-170791][python] Включить заново группу доктестов
  • [SPARK-48858] [SC-170756][python] Удалить устаревший вызов метода setDaemonThread в log_communication.py
  • [SPARK-48639] [ SC-169801][connect][PYTHON] Добавление источника в RelationCommon
  • [SPARK-48863] [SC-170770][es-1133940][SQL] Исправление ClassCastException при анализе JSON с включенным параметром "spark.sql.json.enablePartialResults"
  • [SPARK-48343] [SC-170450][sql] Введение интерпретатора скриптов SQL
  • [SPARK-48529] [SC-170755][sql] Введение меток в скрипты SQL
  • [SPARK-45292] Отменить "[SC-151609][sql][HIVE] Удалить Guava из общих классов из IsolatedClientLoader"
  • [SPARK-48037] [SC-165330][core][3.5] Исправление SortShuffleWriter не содержит метрики, связанные с перетасовкой, что приводит к потенциально неточным данным
  • [SPARK-48720] [SC-170551][sql] Согласовать команду ALTER TABLE ... UNSET TBLPROPERTIES ... в версии 1 и 2
  • [SPARK-48485] [SC-167825][connect][SS] Поддержка interruptTag и interruptAll в потоковых запросах
  • [SPARK-45292] [SC-151609][sql][HIVE] Удалить Guava из общих классов из IsolatedClientLoader
  • [SPARK-48668] [SC-169815][sql] Поддержка ALTER NAMESPACE ... Незаданные свойства в версии 2
  • [SPARK-47914] [SC-165313][sql] Не отображайте параметр разделения в диапазоне
  • [SPARK-48807] [SC-170643][sql] Двоичная поддержка источника данных CSV
  • [SPARK-48220] [SC-167592][python][15.X] Разрешить передавать таблицу PyArrow для создания DataFrame()
  • [SPARK-48545] [SC-169543][sql] Создать функции to_avro и from_avro SQL для сопоставления эквивалентов DataFrame
  • [SPARK-47577] [SC-168875][spark-47579] Исправление неверного использования ключа журнала TASK_ID

Поддержка драйверов ODBC и JDBC в Databricks

Databricks поддерживает драйверы ODBC/JDBC, выпущенные за последние 2 года. Скачайте недавно выпущенные драйверы и обновления (скачать ODBC, скачать JDBC).

Системная среда

  • Операционная система: Ubuntu 24.04.1 LTS
  • Java: Zulu17.50+19-CA
  • Scala: 2.12.15
  • Python: 3.12.3
  • R: 4.4.0
  • Delta Lake: 3.2.1

Установленные библиотеки Python

Библиотека Версия Библиотека Версия Библиотека Версия
аннотированные типы 0.7.0 асттокенс 2.0.5 астунпарс 1.6.3
автоматическая команда 2.2.2 azure-core 1.31.0 azure-storage-blob (облако сохранения Azure) 12.23.0
хранилище файлов данных Azure Data Lake 12.17.0 backports.tarfile 1.2.0 черный 24.4.2
указатель поворота 1.7.0 boto3 1.34.69 botocore 1.34.69
инструменты для кэша 5.3.3 сертификат 2024.6.2 cffi 1.16.0
chardet 4.0.0 нормализатор кодировки 2.0.4 щелчок 8.1.7
Клаудпикл 2.2.1 коммуникация 0.2.1 Contourpy 1.2.0
криптография 42.0.5 велосипедист 0.11.0 Cython 3.0.11
databricks-sdk 0.30.0 dbus-python 1.3.2 debugpy 1.6.7
декоратор 5.1.1 Устарело 1.2.14 Дистлиб 0.3.8
Конвертация docstring в markdown 0.11 точки входа 0,4 исполнение 0.8.3
Обзор аспектов 1.1.1 файловая блокировка 3.15.4 шрифтовые инструменты 4.51.0
gitdb 4.0.11 GitPython 3.1.37 google-api-core 2.20.0
google-auth (аутентификация от Google) 2.35.0 google-cloud-core (основной модуль Google Cloud) 2.4.1 облачное хранилище Google 2.18.2
google-crc32c 1.6.0 гугл-возобновляемые-медиа 2.7.2 googleapis-common-protos (общие протоколы googleapis) 1.65.0
grpcio 1.60.0 grpcio-status 1.60.0 httplib2 0.20.4
IDNA 3.7 importlib-metadata 6.0.0 importlib_resources 6.4.0
склонять 7.3.1 ipyflow-core 0.0.198 ipykernel 6.28.0
ipython 8.25.0 ipython-genutils (утилиты для iPython) 0.2.0 ipywidgets (виджеты для IPython) 7.7.2
isodate (стандартная дата ISO) 0.6.1 jaraco.context 5.3.0 jaraco.functools 4.0.1
jaraco.text 3.12.1 джедаи 0.19.1 jmespath 1.0.1
joblib 1.4.2 клиент Jupyter 8.6.0 jupyter_core (ядро Jupyter) 5.7.2
Кивисолвер 1.4.4 launchpadlib 1.11.0 lazr.restfulclient 0.14.6
lazr.uri 1.0.6 matplotlib 3.8.4 матплотлиб-инлайн 0.1.6
МакКейб 0.7.0 mlflow-skinny (упрощённая версия пакета mlflow) 2.15.1 дополнительные итермые инструменты 10.3.0
MYPY 1.10.0 mypy-extensions (расширения для mypy) 1.0.0 nest-asyncio 1.6.0
nodeenv 1.9.1 numpy (библиотека для работы с массивами и матрицами в Python) 1.26.4 OAuthlib 3.2.2
opentelemetry-api 1.27.0 opentelemetry-sdk 1.27.0 cемантические соглашения opentelemetry 0.48b0
упаковка 24,1 Панды 1.5.3 Парсо 0.8.3
спецификация пути 0.10.3 простак 0.5.6 pexpect (библиотека Python для автоматизации взаимодействия с приложениями) 4.8.0
подушка 10.3.0 пит 24,2 Platformdirs 3.10.0
библиотека Plotly для визуализации данных 5.22.0 менеджер плагинов Pluggy 1.0.0 prompt-toolkit (инструментарий подсказок) 3.0.43
proto-plus 1.24.0 protobuf (протобуф) 4.24.1 psutil (пакет Python для работы с процессами и системами) 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 пьюр-эвэл 0.2.2
pyarrow 15.0.2 pyasn1 0.4.8 pyasn1-modules 0.2.8
Пикколо 0.0.52 pycparser 2.21 pydantic (библиотека Python для валидации данных) 2.8.2
pydantic_core 2.20.1 pyflakes (аналитический инструмент для Python) 3.2.0 Пигменты 2.15.1
PyGObject 3.48.2 PyJWT 2.7.0 pyodbc — библиотека Python для работы с базами данных через ODBC 5.0.1
pyparsing (библиотека для синтаксического анализа в Python) 3.0.9 pyright 1.1.294 python-dateutil (библиотека для работы с датами и временем в Python) Версия 2.9.0.post0
python-lsp-jsonrpc 1.1.2 python-lsp-server (сервер Python LSP) 1.10.0 Pytoolconfig 1.2.6
pytz (библиотека Python для работы с часовыми поясами) 2024.1 PyYAML 6.0.1 pyzmq 25.1.2
Запросы 2.32.2 верёвка 1.12.0 rsa 4,9
s3transfer 0.10.2 scikit-learn (библиотека машинного обучения) 1.4.2 scipy (библиотека Python) 1.13.1
мореборн 0.13.2 setuptools (пакет для установки и управления Python-пакетами) 74.0.0 шесть 1.16.0
сммап 5.0.0 sqlparse 0.5.1 ssh-import-id (импортировать идентификатор SSH) 5.11
стековые данные 0.2.0 statsmodels (библиотека Python для статистического моделирования) 0.14.2 упорство 8.2.2
Threadpoolctl 2.2.0 токенизация-рт 4.2.1 томли 2.0.1
торнадо 6.4.1 Трейтлеты 5.14.3 типгард 4.3.0
types-protobuf 3.20.3 types-psutil 5.9.0 types-pytz 2023.3.1.1
types-PyYAML 6.0.0 типы-запросы 2.31.0.0 типы-setuptools 68.0.0.0
шесть типов 1.16.0 types-urllib3 1.26.25.14 typing_extensions (расширения для ввода текста) 4.11.0
ujson 5.10.0 автоматические обновления без участия пользователя 0,1 urllib3 1.26.16
virtualenv 20.26.2 wadllib 1.3.6 wcwidth (ширина символа в Unicode) 0.2.5
чтоэто за патч 1.0.2 колесо 0.43.0 завёрнут 1.14.1
yapf (форматировщик Python кода) 0.33.0 ZIPP 3.17.0

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка CRAN в диспетчере пакетов Posit от 2024-08-04: https://packagemanager.posit.co/cran/2024-08-04/.

Библиотека Версия Библиотека Версия Библиотека Версия
стрела 16.1.0 аскпасс 1.2.0 утверждать, что 0.2.1
обратные порты 1.5.0 основа 4.4.0 base64enc 0.1-3
bigD 0.2.0 кусочек 4.0.5 64-бит 4.0.5
bitops 1,0–8 комок 1.2.4 сапог 1.3-30
варить 1.0-10 жизнерадостность 1.1.5 метла 1.0.6
bslib 0.8.0 кашемир 1.1.0 звонящий 3.7.6
каретка 6.0-94 целлрейнджер 1.1.0 хронометр 2.3-61
класс 7.3-22 интерфейс командной строки (CLI) 3.6.3 клиппер 0.8.0
часы 0.7.1 кластер 2.1.6 codetools 0.2-20
цветовое пространство 2.1-1 коммонмарк 1.9.1 компилятор 4.4.0
конфиг 0.3.2 испытывающий противоречивые чувства 1.2.0 cpp11 0.4.7
карандаш 1.5.3 верительные грамоты 2.0.1 завиток 5.2.1
таблица данных 1.15.4 Наборы данных 4.4.0 DBI 1.2.3
dbplyr 2.5.0 описание 1.4.3 средства разработки 2.4.5
Схема 1.6.5 diffobj 0.3.5 дайджест 0.6.36
направленное вниз освещение 0.4.4 dplyr (пакет для обработки данных в R) 1.1.4 dtplyr 1.3.1
e1071 1.7-14 многоточие 0.3.2 оценивать 0.24.0
поклонники 1.0.6 Цвета 2.1.2 фастмап 1.2.0
fontawesome 0.5.2 Forcats (форкатс) 1.0.0 foreach 1.5.2
иностранный 0.8-86 кузница 0.2.0 fs 1.6.4
будущее 1.34.0 будущее.применить 1.11.2 полоскать горло 1.5.2
Дженерики 0.1.3 Герт 2.1.0 ggplot2 3.5.1
gh 1.4.1 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 глобальные переменные 0.16.3 клей 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 Говер 1.0.1
графика 4.4.0 grDevices 4.4.0 сеть 4.4.0
gridExtra 2.3 gsubfn 0,7 GT 0.11.0
гтабл 0.3.5 каска 1.4.0 убежище 2.5.4
выше 0.11 HMS 1.1.3 инструменты для HTML 0.5.8.1
HTML-виджеты 1.6.4 httpuv 1.6.15 httr 1.4.7
httr2 1.0.2 удостоверения личности 1.0.1 ini 0.3.1
ипред 0,9–15 изо-лента 0.2.7 Itераторы 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 сочный сок 0.1.0
KernSmooth 2,23-22 knitr (пакет для динамической генерации отчетов в языке программирования R) 1,48 маркирование 0.4.3
позже 1.3.2 решётка 0,22–5 лава 1.8.0
жизненный цикл 1.0.4 слушай 0.9.1 лубридейт 1.9.3
магриттр 2.0.3 Markdown 1.13 Масса 7.3-60.0.1
«Матрица» 1.6-5 Запоминание 2.0.1 методы 4.4.0
mgcv 1.9-1 мим 0.12 мини-интерфейс 0.1.1.1
mlflow 2.14.1 ModelMetrics 1.2.2.2 модельер 0.1.11
munsell 0.5.1 nlme 3.1-165 ннейронная сеть 7.3-19
numDeriv 2016.8-1.1 OpenSSL 2.2.0 параллельный 4.4.0
параллельно 1.38.0 столб 1.9.0 пакджбилд 1.4.4
pkgconfig 2.0.3 pkgdown 2.1.0 пкглоад (pkgload) 1.4.0
Плогр 0.2.0 плайр 1.8.9 похвала 1.0.0
prettyunits 1.2.0 pROC 1.18.5 Processx 3.8.4
Prodlim 2024.06.25 profvis 0.3.8 прогресс 1.2.3
progressr 0.14.0 обещания 1.3.0 прото 1.0.0
прокси 0.4-27 п.с. 1.7.7 мурлыканье 1.0.2
Р6 2.5.1 ragg 1.3.2 randomForest (рандомФорест) 4.7-1.1
рэпдирс 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.13 RcppEigen 0.3.4.0.0 реактивный 0.4.4
ReactR 0.6.0 readr 2.1.5 readxl (пакет для чтения Excel-файлов) 1.4.3
Рецепты 1.1.0 реванш 2.0.0 реванш2 2.1.2
пульты дистанционного управления 2.5.0 репрекс 2.1.1 Изменить форму2 1.4.4
rlang 1.1.4 rmarkdown (инструмент для создания динамических документов в R) 2.27 RODBC 1.3-23
roxygen2 7.3.2 rpart (пакет для построения деревьев решений в языке программирования R) 4.1.23 rprojroot 2.0.4
Rserve (Рcерве) 1.8-13 RSQLite 2.3.7 рстудиоапи 0.16.0
rversions 2.1.2 Рвест 1.0.4 дерзость 0.4.9
весы 1.3.0 селектор 0.4-2 информация о сессии 1.2.2
форма 1.4.6.1 блестящий 1.9.1 sourcetools 0.1.7-1
Sparklyr 1.8.6 SparkR 3.5.0 пространственный 7.3-17
Сплайны 4.4.0 SQLDF 0.4-1 SQUAREM январь 2021
статистика 4.4.0 статистика4 4.4.0 стринги 1.8.4
стрингр 1.5.1 выживание 3.6-4 самоуверенность и стильный вид 5.17.14.1
sys 3.4.2 systemfonts 1.1.0 язык программирования Tcl/Tk 4.4.0
testthat 3.2.1.1 форматирование текста 0.4.0 Tibble 3.2.1
Тидыр 1.3.1 tidyselect 1.2.1 tidyverse (тайдивёрс) 2.0.0
смена времени 0.3.0 ТаймДата 4032.109 tinytex 0,52
инструменты 4.4.0 База данных часовых зон (tzdb) 0.4.0 URL-чекер 1.0.1
используйэто 3.0.0 utf8 1.2.4 утилиты 4.4.0
UUID (Универсальный уникальный идентификатор) 1.2-1 V8 4.4.2 vctrs 0.6.5
viridisLite 0.4.2 брррм 1.6.5 Уолдо 0.5.2
ус 0.4.1 увядать 3.0.1 xfun 0,46
xml2 1.3.6 xopen 1.0.1 xtable 1.8-4
YAML 2.3.10 зилот 0.1.0 ZIP-архив 2.3.1

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)

Идентификатор группы Идентификатор артефакта Версия
Антлер Антлер 2.7.7
com.amazonaws Клиент Amazon Kinesis 1.12.0
com.amazonaws aws-java-sdk-autoscaling (автоматическое масштабирование) 1.12.638
com.amazonaws aws-java-sdk-cloudformation 1.12.638
com.amazonaws aws-java-sdk-cloudfront 1.12.638
com.amazonaws aws-java-sdk-cloudhsm 1.12.638
com.amazonaws AWS Java SDK для CloudSearch 1.12.638
com.amazonaws aws-java-sdk-cloudtrail 1.12.638
com.amazonaws aws-java-sdk-cloudwatch 1.12.638
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.638
com.amazonaws aws-java-sdk-codedeploy (AWS Java SDK для CodeDeploy) 1.12.638
com.amazonaws aws-java-sdk-cognitoidentity 1.12.638
com.amazonaws aws-java-sdk-cognitosync 1.12.638
com.amazonaws Конфигурация SDK для Java от AWS 1.12.638
com.amazonaws aws-java-sdk-core 1.12.638
com.amazonaws aws-java-sdk-datapipeline (пакет для работы с Data Pipeline на Java) 1.12.638
com.amazonaws aws-java-sdk-directconnect 1.12.638
com.amazonaws aws-java-sdk-directory 1.12.638
com.amazonaws aws-java-sdk-dynamodb 1.12.638
com.amazonaws aws-java-sdk-ec2 1.12.638
com.amazonaws aws-java-sdk-ecs 1.12.638
com.amazonaws aws-java-sdk-efs 1.12.638
com.amazonaws aws-java-sdk-elasticache 1.12.638
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.638
com.amazonaws aws-java-sdk-elasticloadbalancing (пакет программного обеспечения для балансировки нагрузки в AWS, написанный на Java) 1.12.638
com.amazonaws aws-java-sdk-elastictranscoder (Java SDK для Elastic Transcoder) 1.12.638
com.amazonaws aws-java-sdk-emr 1.12.638
com.amazonaws aws-java-sdk-glacier (пакет программного обеспечения для работы с Glacier) 1.12.638
com.amazonaws aws-java-sdk-glue 1.12.638
com.amazonaws aws-java-sdk-iam 1.12.638
com.amazonaws aws-java-sdk-importexport (пакет для импорта и экспорта данных) 1.12.638
com.amazonaws aws-java-sdk-kinesis 1.12.638
com.amazonaws aws-java-sdk-kms (пакет программного обеспечения для работы с AWS KMS) 1.12.638
com.amazonaws aws-java-sdk-lambda 1.12.638
com.amazonaws aws-java-sdk-logs 1.12.638
com.amazonaws AWS Java SDK для машинного обучения 1.12.638
com.amazonaws aws-java-sdk-opsworks 1.12.638
com.amazonaws AWS Java SDK для RDS 1.12.638
com.amazonaws AWS Java SDK для Redshift 1.12.638
com.amazonaws aws-java-sdk-route53 1.12.638
com.amazonaws aws-java-sdk-s3 1.12.638
com.amazonaws aws-java-sdk-ses 1.12.638
com.amazonaws aws-java-sdk-simpledb 1.12.638
com.amazonaws aws-java-sdk-simpleworkflow 1.12.638
com.amazonaws aws-java-sdk-sns 1.12.638
com.amazonaws aws-java-sdk-sqs 1.12.638
com.amazonaws aws-java-sdk-ssm (AWS SDK для Java — SSM модуль) 1.12.638
com.amazonaws AWS Java SDK для Storage Gateway 1.12.638
com.amazonaws aws-java-sdk-sts 1.12.638
com.amazonaws Поддержка AWS Java SDK 1.12.638
com.amazonaws aws-java-sdk-swf библиотеки 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.638
com.amazonaws jmespath-java 1.12.638
com.clearspring.analytics поток 2.9.6
com.databricks Rserve (Рcерве) 1.8-3
com.databricks SDK для Java от Databricks 0.27.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware криогенное затенение 4.0.2
com.esotericsoftware минлог 1.3.0
com.fasterxml одноклассник 1.3.4
com.fasterxml.jackson.core аннотации Джексона 2.15.2
com.fasterxml.jackson.core джексон-ядро 2.15.2
com.fasterxml.jackson.core джексон-databind 2.15.2
com.fasterxml.jackson.dataformat Джексон-формат-данных-CBOR 2.15.2
com.fasterxml.jackson.dataformat Джексон-датаформат-ЯМЛ 2.15.2
com.fasterxml.jackson.datatype джексон-дейтайп-джода 2.15.2
com.fasterxml.jackson.datatype джексон-datatype-jsr310 2.16.0
com.fasterxml.jackson.module джексон-модуль-паранэймер 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.кофеин кофеин 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib нативная_ссылка-java 1.1
com.github.fommil.netlib нативная_ссылка-java 1.1-коренные жители
com.github.fommil.netlib Нативная_система-java 1.1
com.github.fommil.netlib Нативная_система-java 1.1-коренные жители
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-коренные жители
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-коренные жители
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson Gson 2.10.1
com.google.crypto.tink тинк 1.9.0
com.google.errorprone ошибкоопасные аннотации 2.10.0
com.google.flatbuffers flatbuffers-java 26.05.23
com.google.guava гуава 15,0
com.google.protobuf protobuf-java 3.25.1
com.helger Профилировщик 1.1.1
com.ibm.icu icu4j 75.1
com.jcraft гиф 0.1.55
com.jolbox bonecp 0.8.0.ВЫПУСК
com.lihaoyi исходный код_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk (SDK для Azure Data Lake Store) 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf (метод сжатия данных) 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning JSON (формат обмена данными JavaScript) 1.8
com.thoughtworks.paranamer Паранэймер 2.8
com.trueaccord.lenses линзы_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe конфиг 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity юнивосити-парсерс 2.9.1
com.zaxxer ХикариCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
общие коллекции общие коллекции 3.2.2
commons-dbcp commons-dbcp 1.4
загрузка файлов через модуль commons загрузка файлов через модуль commons 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
коммонс-логгинг коммонс-логгинг 1.1.3
коммонс-пул коммонс-пул 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Блас 3.0.3
dev.ludovic.netlib LAPACK (программная библиотека для линейной алгебры) 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift компрессор воздуха 0.27
io.delta delta-sharing-client_2.12 1.2.0
метрики io.dropwizard.metrics аннотирование метрик 4.2.19
метрики io.dropwizard.metrics основные метрики 4.2.19
метрики io.dropwizard.metrics «metrics-graphite» 4.2.19
метрики io.dropwizard.metrics Метрики-Чек здоровья 4.2.19
метрики io.dropwizard.metrics метрики для Jetty9 4.2.19
метрики io.dropwizard.metrics Метрики-JMX 4.2.19
метрики io.dropwizard.metrics metrics-json 4.2.19
метрики io.dropwizard.metrics метрики для JVM 4.2.19
метрики io.dropwizard.metrics метрики и сервлеты 4.2.19
io.netty netty-all (все пакеты netty) 4.1.108.Final
io.netty буфер Netty 4.1.108.Final
io.netty netty-codec (кодек Netty) 4.1.108.Final
io.netty netty-codec-http 4.1.108.Final
io.netty netty-codec-http2 4.1.108.Final
io.netty netty-codec-socks 4.1.108.Final
io.netty нетти-общий 4.1.108.Final
io.netty нетти-хэндлер 4.1.108.Final
io.netty нетти-обработчик-прокси 4.1.108.Final
io.netty Netty-резолвер 4.1.108.Final
io.netty netty-tcnative-boringsl-static 2.0.61.Final
io.netty netty-tcnative-boringsl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringsl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringsl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringsl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringsl-static 2.0.61.Окончательный-windows-x86_64
io.netty netty-tcnative-classes (классы netty-tcnative) 2.0.61.Final
io.netty netty-transport 4.1.108.Final
io.netty netty-transport-classes-epoll 4.1.108.Final
io.netty netty-transport-classes-kqueue 4.1.108.Final
io.netty netty-transport-native-epoll 4.1.108.Final
io.netty netty-transport-native-epoll 4.1.108.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.108.Final-linux-riscv64
io.netty netty-transport-native-epoll 4.1.108.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.108.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.108.Final-osx-x86_64
io.netty нетти-транспорт-натив-уникс-коммон 4.1.108.Final
io.prometheus simpleclient 0.7.0
io.prometheus простыйклиент_общий 0.7.0
io.prometheus Симплклиент_дропвизард 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx коллекционер 0.12.0
jakarta.annotation jakarta.annotation-api (аннотация API Джакарты) 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation активация 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction джта 1.1
javax.transaction интерфейс транзакций 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
джлайн джлайн 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna джна 5.8.0
net.razorvine рассол 1.3
net.sf.jpam джпам 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv — инструмент для работы с CSV файлами 2.2.0
net.snowflake snowflake-ingest-sdk (SDK для обработки данных Snowflake) 0.9.6
net.sourceforge.f2j арпак_комбинированный_все 0,1
org.acplt.remotetea «remotetea-oncrpc» 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr шаблон строки 3.2.1
org.apache.ant муравей 1.10.11
org.apache.ant муравейка 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow формат стрелок 15.0.0
org.apache.arrow ядро памяти Arrow 15.0.0
org.apache.arrow арроу-мемори-нетти 15.0.0
org.apache.arrow вектор стрелки 15.0.0
org.apache.avro Авро 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4.
org.apache.commons Коммонс-компресс 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons коммонс-матх3 3.6.1
org.apache.commons Общедоступный текст 1.10.0
org.apache.curator куратор-клиент 2.13.0
org.apache.curator кураторский фреймворк 2.13.0
org.apache.curator куратор рецептов 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches Датаскетчес-мемори 2.0.0
org.apache.derby дерби 10.14.2.0
org.apache.hadoop среда выполнения hadoop-клиента 3.3.6
org.apache.hive hive-beeline (инструмент командной строки для работы с Apache Hive) 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive Hive-Serde 2.3.9
org.apache.hive хив-шимы 2.3.9
org.apache.hive hive-storage-api (интерфейс хранения данных Hive) 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims хив-шимс-коммон 2.3.9
org.apache.hive.shims планировщик hive-shims 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy плющ 2.5.2
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json (шаблон компоновки для log4j в формате JSON) 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc орк-кор 1.9.2-затененный-protobuf
org.apache.orc orc-mapreduce (орч-мапредьюс) 1.9.2-затененный-protobuf
org.apache.orc орк-шимы 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus аннотации для аудитории 0.13.0
org.apache.zookeeper смотритель зоопарка 3.9.2
org.apache.zookeeper zookeeper-jute 3.9.2
org.checkerframework checker-qual 3.31.0
org.codehaus.джексон джексон-core-asl 1.9.13
org.codehaus.джексон jackson-mapper-asl (джексон-маппер-асл) 1.9.13
org.codehaus.janino commons-компилятор 3.0.16
org.codehaus.janino джанино 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core (ядро датануклеус) 4.1.17
org.datanucleus Datanucleus-RDBMS 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections Eclipse Collections 11.1.0
org.eclipse.collections Eclipse Collections API 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation (продолжение Jetty) 9.4.52.v20230823
org.eclipse.jetty «jetty-http» 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty Jetty Plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy (джетти-прокси) 9.4.52.v20230823
org.eclipse.jetty защита пристани 9.4.52.v20230823
org.eclipse.jetty сервер Jetty 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty джетти-ютил (jetty-util) 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty Jetty - веб-приложение 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket WebSocket API 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-клиент 9.4.52.v20230823
org.eclipse.jetty.websocket WebSocket-Common 9.4.52.v20230823
org.eclipse.jetty.websocket вебсокет-сервер 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 хк2-локатор 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 локатор ресурсов OSGi 1.0.3
org.glassfish.hk2.external «aopalliance-repackaged» 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers Jersey-container-servlet 2.40
org.glassfish.jersey.containers джерси-контейнер-сервлет-кор 2.40
org.glassfish.jersey.core jersey-client (джерси-клиент) 2.40
org.glassfish.jersey.core джерси-коммон 2.40
org.glassfish.jersey.core Джерси-сервер 2.40
org.glassfish.jersey.inject джерси-hk2 2.40
org.hibernate.validator гибернейт-валидатор 6.1.7.финальная
org.ini4j ini4j 0.5.4
org.javasist javassist 3.29.2-GA
org.jboss.logging jboss-logging (логирование в JBoss) 3.3.2.Окончательно
org.jdbi jdbi 2.63.1
org.jetbrains аннотации 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis Обдженесис 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap прокладки 0.9.45-databricks
org.rocksdb rocksdbjni 9.2.1
org.rosuda.REngine РЭнджин 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-java8-compat_2.12 0.9.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt тестовый интерфейс 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.16
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest совместимый с ScalaTest 3.2.16
org.scalatest scalatest-core_2.12 3.2.16
org.scalatest scalatest-diagrams_2.12 3.2.16
org.scalatest scalatest-featurespec_2.12 3.2.16
org.scalatest scalatest-flatspec_2.12 3.2.16
org.scalatest scalatest-freespec_2.12 3.2.16
org.scalatest scalatest-funspec_2.12 3.2.16
org.scalatest scalatest-funsuite_2.12 3.2.16
org.scalatest scalatest-matchers-core_2.12 3.2.16
org.scalatest scalatest-mustmatchers_2.12 3.2.16
org.scalatest scalatest-propspec_2.12 3.2.16
org.scalatest scalatest-refspec_2.12 3.2.16
org.scalatest scalatest-shouldmatchers_2.12 3.2.16
org.scalatest scalatest-wordspec_2.12 3.2.16
org.scalatest scalatest_2.12 3.2.16
org.slf4j jcl-over-slf4j (адаптер для JCL, работающий поверх SLF4J) 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten тритен-экстра 1.7.1
org.tukaani хз 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel кошки-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.opensl wildfly-opensl 1.1.3.Окончательная
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml SnakeYAML 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.2-linux-x86_64
стекс stax-api 1.0.1
  • Last updated on