Поделиться через

Databricks Runtime 15.1

  • Статья

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 15.1, на базе Apache Spark 3.5.0.

Databricks выпустила эти изображения в апреле 2024 года.

Критические изменения

Поддержка Databricks Runtime 15.0 и Databricks Runtime 15.0 для Машинное обучение заканчивается 31 мая 2024 г., так как обновление библиотеки Pandas с версии 1.5.3 до 2.0.3 в 15.0 привело к критическому изменению нескольких API Apache Spark. Подробные сведения о критических изменениях см. в статье "Библиотека Python pandas" понижена до версии 1.5.3. Чтобы устранить эту несовместимость, Databricks выпустила Databricks Runtime 15.1 и Databricks Runtime 15.1 для Машинное обучение. Функциональность, поддерживаемая этими выпусками, аналогична выпускам 15.0, но с версией pandas была понижена до версии 1.5.3.

Все существующие кластеры или задания, использующие выпуски Databricks Runtime 15.0, будут работать, но не будут получать обновления продукта или системы безопасности. Вы больше не можете настроить новые вычислительные ресурсы, использующие Databricks Runtime 15.0 или Databricks Runtime 15.0 ML в пользовательском интерфейсе Databricks. Если вы не используете функции или API, требующие pandas 2.0+, Databricks рекомендует переключить эти рабочие нагрузки в Databricks Runtime 15.1.

Если вы используете функции или API, доступные только в pandas 2.0+ и не используете какие-либо функции, затронутые этой версией, Databricks рекомендует переключиться на Databricks Runtime 15.1 и обновить пакет pandas по умолчанию с помощью кластерных или записных книжек область d библиотек. Например, чтобы обновить библиотеку pandas в записной книжке Databricks, используйте следующую команду:

%pip install pandas==2.0.3

Библиотека Python pandas понижена до версии 1.5.3.

В этом выпуске библиотека pandas понижена с версии 2.0.3 до 1.5.3. Это снижение было необходимо, так как несовместимость в версии 2.0.3 pandas вызвала ошибки в некоторых API pandas в функциях Spark. Ниже перечислены функции, затронутые версией pandas версии 2.0.3:

  • pyspark.date_range: параметр closed отсутствует, что приводит к ошибкам при вызове этой функции существующим кодом.
  • Функциональность GroupBy столбцов MultiIndex изменяется, что приводит к неожиданному поведению.
  • Некоторые datetime атрибуты DatetimeIndex (напримерday, и yearmonthт. д.) возвращают int32 типы данных вместо int64 типов данных.

Функция PySpark spark.sql() теперь завершается ошибкой для недопустимых типов аргументов

В Databricks Runtime 15.1 и более поздних версиях параметр для именованных или позиционных параметров, передаваемых spark.sql() функции, args должен быть словарем или списком. Если передается любой другой тип объекта, возникает следующая ошибка: PySparkTypeError: [INVALID_TYPE] Argument `args` should not be a <arg_type>

Хранение библиотек в корневом каталоге DBFS не рекомендуется и отключено по умолчанию

Чтобы повысить безопасность библиотек в рабочей области Azure Databricks, хранение файлов библиотек в корне DBFS устарело и отключено по умолчанию, начиная с Databricks Runtime 15.1. Databricks рекомендует отправлять все библиотеки, в том числе библиотеки Python, JAR-файлы и соединители Spark, в файлы рабочей области, тома каталога Unity или с помощью репозитория пакетов. См. Рекомендации для отправки библиотек.

Чтобы повторно включить хранение библиотек в корневом каталоге DBFS, задайте следующий параметр конфигурации Spark: spark.databricks.driver.dbfsLibraryInstallationAllowed true

Версия Python по умолчанию обновляется с версии 3.10 до 3.11

При использовании Databricks Runtime 15.1 версия Python по умолчанию — 3.11.0. Список обновленных библиотек Python см. в статье об обновлениях библиотек.

JDK 11 удален

Как было объявлено ранее, JDK 11 удаляется из Databricks Runtime 15.1 и более поздних версий. Databricks рекомендует обновить до JDK 17 при обновлении до Databricks Runtime 15.1 и более поздних версий. См . пакет SDK Databricks для Java.

Python REPL теперь завершается корректно

При использовании Databricks Runtime 15.1 процесс REPL записной книжки python теперь завершается корректно при выходе. Это приводит к тому, что любые невзирые крючки будут соблюдаться. Например, в рабочем процессе с несколькими задачами записной книжки Python перехватчики, зарегистрированные в первой задаче, выполняются до выполнения второй задачи записной книжки Python.

Новые функции и внесенные улучшения

Предложение * (star) теперь поддерживается в предложении WHERE

Теперь можно использовать в предложении звездочку WHERE (*) для ссылки на все столбцы из SELECT списка. Например, SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*).

Конфигурация spark.sql.json.enablePartialResults теперь включена по умолчанию

Конфигурация spark.sql.json.enablePartialResults Spark теперь включена по умолчанию, позволяя средство синтаксического анализа JSON правильно обрабатывать ошибки синтаксического анализа для сложных типов, таких как структура, карта и массив, без удаления оставшихся полей. Это изменение устраняет проблему согласованности для источников данных JSON с обрезкой столбцов.

Теперь библиотеки кластеров поддерживают файлы requirements.txt

Теперь можно установить библиотеки кластеров с помощью requirements.txt файла, хранящегося в файле рабочей области или томе каталога Unity. В кластерах режима общего доступа и отдельных пользователей requirements.txt файл может ссылаться на другие файлы. В кластерах режима общего доступа без изоляции поддерживаются только пакеты PyPI. Дополнительные сведения см. в статье Библиотеки кластера.

Интерфейс командной строки Databricks теперь доступен в веб-терминале

Теперь вы можете использовать интерфейс командной строки Databricks из веб-терминала в записной книжке. Записная книжка должна быть подключена к кластеру в режиме общего доступа с одним пользователем или без изоляции. Дополнительные сведения см. в разделе "Использование веб-терминала" и интерфейса командной строки Databricks.

Добавление репозиториев Python по умолчанию в конфигурации кластера

В Databricks Runtime 15.1 и более поздних версиях можно настроить глобальную pip index-url и extra-index-url параметры для установки библиотеки с область записной книжкой при настройке кластера или определении политики кластера. Для этого задайте переменные DATABRICKS_PIP_INDEX_URL среды и DATABRICKS_PIP_EXTRA_INDEX_URL.

Контроль доступа к таблицам хранилища метаданных и учетных данных не рекомендуется

Сквозное руководство по учетным данным и управление доступом к таблицам Hive являются устаревшими моделями управления данными. Обновите каталог Unity, чтобы упростить безопасность и управление данными, предоставив централизованное место для администрирования и аудита доступа к данным в нескольких рабочих областях в вашей учетной записи. См. статью Что такое Unity Catalog?

Поддержка сквозных учетных данных и управления доступом к таблицам Hive будет удалена в предстоящей версии DBR.

Обновления библиотек

  • Обновленные библиотеки Python:
    • черный от 22.6.0 до 23.3.0
    • boto3 от 1.24.28 до 1.34.39
    • botocore от 1.27.96 до 1.34.39
    • сертификат от 2022.12.7 до 2023.7.22
    • криптография от 39.0.1 до 41.0.3
    • databricks-sdk от 0.1.6 до 0.20.0
    • distlib от 0.3.7 до 0.3.8
    • googleapis-common-protos с 1.62.0 до 1.63.0
    • grpcio от 1.48.2 до 1.60.0
    • grpcio-status от 1.48.1 до 1.60.0
    • importlib-metadata от 4.6.4 до 6.0.0
    • ipykernel от 6.25.0 до 6.25.1
    • ipython от 8.14.0 до 8.15.0
    • ipywidgets от 7.7.2 до 8.0.4
    • jupyter_core от 5.2.0 до 5.3.0
    • jupyterlab-мини-приложения с 1.0.0 до 3.0.5
    • matplotlib от 3.7.0 до 3.7.2
    • pip от 22.3.1 до 23.2.1
    • platformdirs от 2.5.2 до 3.10.0
    • protobuf от 4.24.0 до 4.24.1
    • pyarrow от 8.0.0 до 14.0.1
    • Pygments от 2.11.2 до 2.15.1
    • pyodbc от 4.0.32 до 4.0.38
    • запросы от 2.28.1 до 2.31.0
    • s3transfer от 0.6.2 до 0.10.0
    • scikit-learn от 1.1.1 до 1.3.0
    • scipy от 1.10.0 до 1.11.1
    • setuptools от 65.6.3 до 68.0.0
    • statsmodels от 0.13.5 до 0.14.0
    • настойчивость от 8.1.0 до 8.2.2
    • торнадо от 6.1 до 6.3.2
    • typing_extensions от 4.4.0 до 4.7.1
    • urllib3 от 1.26.14 до 1.26.16
    • virtualenv от 20.16.7 до 20.24.2
    • widgetsnbextension от 3.6.1 до 4.0.5
    • zipp от 1.0.0 до 3.11.0
  • Обновленные библиотеки R:
    • стрелка от 12.0.1 до 14.0.0.2
    • askpass от 1.1 до 1.2.0
    • база от 4.3.1 до 4.3.2
    • пиво от 1.0-8 до 1.0-10
    • brio от 1.1.3 до 1.1.4
    • bslib от 0.5.0 до 0.6.1
    • cli от 3.6.1 до 3.6.2
    • commonmark от 1.9.0 до 1.9.1
    • компилятор от 4.3.1 до 4.3.2
    • конфигурация от 0.3.1 до 0.3.2
    • cpp11 от 0.4.4 до 0.4.7
    • учетные данные от 1.3.2 до 2.0.1
    • curl от 5.0.1 до 5.2.0
    • data.table от 1.14.8 до 1.15.0
    • наборы данных от 4.3.1 до 4.3.2
    • DBI от 1.1.3 до 1.2.1
    • dbplyr от 2.3.3 до 2.4.0
    • desc от 1.4.2 до 1.4.3
    • дайджест от 0.6.33 до 0.6.34
    • dplyr от 1.1.2 до 1.1.4
    • e1071 от 1.7-13 до 1.7-14
    • оценка от 0,21 до 0,23
    • вентиляторы от 1.0.4 до 1.0.6
    • fontawesome от 0.5.1 до 0.5.2
    • fs от 1.6.2 до 1.6.3
    • будущее от 1.33.0 до 1.33.1
    • future.apply от 1.11.0 до 1.11.1
    • гигль с 1.5.1 до 1.5.2
    • gert от 1.9.2 до 2.0.1
    • ggplot2 от 3.4.2 до 3.4.4
    • glmnet от 4.1-7 до 4.1-8
    • клей от 1.6.2 до 1.7.0
    • графика от 4.3.1 до 4.3.2
    • grDevices от 4.3.1 до 4.3.2
    • сетка от 4.3.1 до 4.3.2
    • gtable от 0.3.3 до 0.3.4
    • hardhat от 1.3.0 до 1.3.1
    • haven от 2.5.3 до 2.5.4
    • htmltools от 0.5.5 до 0.5.7
    • htmlwidgets от 1.6.2 до 1.6.4
    • httpuv от 1.6.11 до 1.6.14
    • httr от 1.4.6 до 1.4.7
    • httr2 от 0.2.3 до 1.0.0
    • jsonlite от 1.8.7 до 1.8.8
    • трикотаж от 1,43 до 1,45
    • метка от 0.4.2 до 0.4.3
    • позже от 1.3.1 до 1.3.2
    • лава от 1.7.2.1 до 1.7.3
    • жизненный цикл от 1.0.3 до 1.0.4
    • прослушивание от 0.9.0 до 0.9.1
    • lubridate от 1.9.2 до 1.9.3
    • markdown от 1.7 до 1.12
    • Методы от 4.3.1 до 4.3.2
    • opensl от 2.0.6 до 2.1.1
    • параллельная от 4.3.1 до 4.3.2
    • pkgbuild от 1.4.2 до 1.4.3
    • pkgload от 1.3.2.1 до 1.3.4
    • plyr от 1.8.8 до 1.8.9
    • prettyunits от 1.1.1 до 1.2.0
    • pROC от 1.18.4 до 1.18.5
    • processx от 3.8.2 до 3.8.3
    • prodlim от 2023.03.31 до 2023.08.28
    • ход выполнения от 1.2.2 до 1.2.3
    • progressr от 0.13.0 до 0.14.0
    • обещания от 1.2.0.1 до 1.2.1
    • ps от 1.7.5 до 1.7.6
    • purrr от 1.0.1 до 1.0.2
    • ragg от 1.2.5 до 1.2.7
    • Rcpp от 1.0.11 до 1.0.12
    • RcppEigen от 0.3.3.9.3 до 0.3.3.9.4
    • readr от 2.1.4 до 2.1.5
    • рецепты от 1.0.6 до 1.0.9
    • повторное совпадение с 1.0.1 по 2.0.0
    • удаленные от 2.4.2 до 2.4.2.1
    • reprex от 2.0.2 до 2.1.0
    • rlang от 1.1.1 до 1.1.3
    • rmarkdown от 2.23 до 2.25
    • RODBC от 1.3-20 до 1.3-23
    • roxygen2 от 7.2.3 до 7.3.1
    • rprojroot от 2.0.3 до 2.0.4
    • Rserve от 1.8-11 до 1.8-13
    • RSQLite от 2.3.1 до 2.3.5
    • sass от 0.4.6 до 0.4.8
    • Масштабирование от 1.2.1 до 1.3.0
    • блестящий от 1.7.4.1 до 1.8.0
    • sparklyr от 1.8.1 до 1.8.4
    • splines от 4.3.1 до 4.3.2
    • статистика от 4.3.1 до 4.3.2
    • статистика4 от 4.3.1 до 4.3.2
    • stringi от 1.7.12 до 1.8.3
    • stringr от 1.5.0 до 1.5.1
    • systemfonts от 1.0.4 до 1.0.5
    • tcltk от 4.3.1 до 4.3.2
    • testthat от 3.1.10 до 3.2.1
    • тексты с 0.3.6 до 0.3.7
    • tidyr от 1.3.0 до 1.3.1
    • изменение времени с 0.2.0 до 0.3.0
    • TimeDate от 4022.108 до 4032.109
    • tinytex от 0,45 до 0,49
    • средства от 4.3.1 до 4.3.2
    • utf8 от 1.2.3 до 1.2.4
    • utils от 4.3.1 до 4.3.2
    • uuid от 1.1-0 до 1.2-0
    • vctrs от 0.6.3 до 0.6.5
    • vroom от 1.6.3 до 1.6.5
    • waldo от 0.5.1 до 0.5.2
    • withr от 2.5.0 до 3.0.0
    • xfun от 0,39 до 0,41
    • xml2 от 1.3.5 до 1.3.6
    • yaml от 2.3.7 до 2.3.8
    • zip от 2.3.0 до 2.3.1
  • Обновленные библиотеки Java:
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 с 2.15.1 до 2.16.0
    • com.google.flatbuffers.flatbuffers-java с 1.12.0 до 23.5.26
    • com.typesafe.config от 1.2.1 до 1.4.3
    • org.apache.ant.ant от 1.9.16 до 1.10.11
    • org.apache.ant.ant-aph с 1.9.16 по 1.10.11
    • org.apache.ant-launcher от 1.9.16 до 1.10.11
    • org.apache.arrow.arrow-format от 12.0.1 до 15.0.0
    • org.apache.arrow.arrow-memory-core от 12.0.1 до 15.0.0
    • org.apache.arrow.arrow-memory-netty от 12.0.1 до 15.0.0
    • org.apache.arrow.arrow-vector от 12.0.1 до 15.0.0
    • org.apache.avro.avro с 1.11.2 до 1.11.3
    • org.apache.avro.avro-ipc с 1.11.2 до 1.11.3
    • org.apache.avro.avro-mapred с 1.11.2 до 1.11.3
    • org.apache.log4j.log4j-1.2-api от 2.20.0 до 2.22.1
    • org.apache.log4j.log4j-api с 2.20.0 до 2.22.1
    • org.apache.log4j.log4j-core с 2.20.0 до 2.22.1
    • org.apache.log4j.log4j-slf4j2-impl от 2.20.0 до 2.22.1
    • org.postgresql.postgresql с 42.6.0 до 42.6.1

Apache Spark

Databricks Runtime 15.1 включает Apache Spark 3.5.0. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 14.3 LTS, а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

  • [SPARK-45527] [DBRRM-805] [ES-1073714] Возврат "[SC-151626][CORE] Использование дроби для вычисления ресурсов"
  • [SPARK-47102] [DBRRM-803] [SC-158253] [SQL] Добавление флага конфигурации COLLATION_ENABLED
  • [SPARK-46973] [SC-158140] [DBRRM-777] [SQL] Пропуск подстановки таблицы версии 2, если таблица находится в кэше таблиц версии 1
  • [SPARK-46808] [SC-154113] [PYTHON] Уточнение классов ошибок в Python с помощью функции автоматической сортировки
  • [SPARK-47251] [SC-158291] [PYTHON] Блокировать недопустимые типы из аргумента args команды sql
  • [SPARK-47251] [SC-158121] [PYTHON] Блокировать недопустимые типы из аргумента args команды sql
  • [SPARK-47108] [SC-157204] [CORE] Задать явное значение derby.connection.requireAuthenticationfalse в clIs
  • [SPARK-45599] [SC-157537] [CORE] Использование равенства объектов в OpenHashSet
  • [SPARK-47099] [SC-157352] [SQL] Используется ordinalNumber для равномерного paramIndex задания значения класса ошибок UNEXPECTED_INPUT_TYPE
  • [SPARK-46558] [SC-151363] [CONNECT] Извлечение вспомогательной функции для устранения повторяющегося кода, извлекаемого MessageParameters из ErrorParamsGrpcExceptionConverter
  • [SPARK-43117] [SC-156177] [CONNECT] Создание ProtoUtils.abbreviate повторяющихся полей поддержки
  • [SPARK-46342] [SC-150283] [SQL] SparkException.internalError Замена IllegalStateException на sql
  • [SPARK-47123] [SC-157412] [CORE] JDBCRDD неправильно обрабатывает ошибки в getQueryOutputSchema
  • [SPARK-47189] [SC-157667] [SQL] Имена и текст ошибок в столбцах настройки
  • [SPARK-45789] [SC-157101] [SQL] Поддержка ОПИСАТЬ ТАБЛИЦу для столбцов кластеризация
  • [SPARK-43256] [SC-157699] [SQL] Удаление класса ошибок _LEGACY_ERROR_TEMP_2021
  • [SPARK-47201] [SC-157782] [PYTHON] [CONNECT] sameSemantics входные типы проверка
  • [SPARK-47183] [SC-157660] [PYTHON] Исправление класса ошибок для sameSemantics
  • [SPARK-47179] [SC-157663] [SQL] Улучшение сообщения об ошибке из SparkThrowableSuite для улучшения отладки
  • [SPARK-46965] [SC-155791] [CORE] Возврат logTypeUtils.getLog
  • [SPARK-46832] [SC-156774] [SQL] Введение выражений сортировки и сортировки
  • [SPARK-46946] [SC-155721] [SQL] Поддержка трансляции нескольких ключей фильтрации в DynamicPruning
  • [SPARK-47079] [VARIANT-22] [SC-157598] [PYTHON] [SQL] [CONNECT] Добавление сведений о типе variant в PySpark
  • [SPARK-47101] [SC-157360] [SQL] Разрешить использовать запятую в именах столбцов верхнего уровня и удалить определение вложенных типов проверкаHiveExternalCatalog.verifyDataSchema
  • [SPARK-47173] [SC-157571] [SS] [пользовательский интерфейс] Исправление опечатки в объяснении пользовательского интерфейса потоковой передачи
  • [SPARK-47113] [SC-157348] [CORE] Восстановление логики исправления конечной точки S3A SPARK-35878
  • [SPARK-47130] [SC-157462] [CORE] Использование listStatus для обхода сведений о расположении блока при очистке журналов драйверов
  • [SPARK-43259] [SC-157368] [SQL] Назначьте имя классу ошибок _LEGACY_ERROR_TEMP_2024
  • [SPARK-47104] [SC-157355] [SQL] TakeOrderedAndProjectExec должен инициализировать небезопасную проекцию
  • [SPARK-47137] [SC-157463] [PYTHON] [CONNECT] Добавление getAll в spark.conf для четности функций с Scala
  • [SPARK-46924] [SC-154905] [CORE] Кнопка "Исправить Load New " в Master/HistoryServer пользовательском интерфейсе журнала
  • [SPARK-47069] [SC-157370] [PYTHON] [CONNECT] Введение spark.profile.show/dump в профилирование на основе SparkSession
  • [SPARK-46812] [SC-157075] [SQL] [PYTHON] Создание mapInPandas / mapInArrow поддержки ResourceProfile
  • [SPARK-46833] [SC-155866] [SQL] Параметры сортировки — введение в CollationFactory, предоставляющее правила сравнения и хэширования для поддерживаемых параметров сортировки
  • [SPARK-47057] [SC-157036] [PYTHON] Повторное тестирование данных MyPy
  • [SPARK-46934] [SC-157084] [SQL] Циклический обход чтения и записи для типа структуры с специальными символами с помощью HMS
  • [SPARK-46727] [SC-153472] [SQL] Порт classifyException() в диалектах JDBC на классах ошибок
  • [SPARK-46964] [SC-155740] [SQL] Изменение сигнатуры ошибки выполнения запроса hllInvalidLgK на получение целого числа в качестве 4-го аргумента
  • [SPARK-46949] [SC-155719] [SQL] Поддержка CHAR/VARCHAR с помощью ResolveDefaultColumns
  • [SPARK-46972] [SC-1558888] [SQL] Исправлена асимметричная замена char/varchar в V2SessionCatalog.createTable
  • [SPARK-47014] [SC-156778] [PYTHON] [CONNECT] Реализация методов dumpPerfProfiles и dumpMemoryProfiles sparkSession
  • [SPARK-46689] [SC-156221] [SPARK-46690] [PYTHON] [CONNECT] Поддержка профилирования версии 2 в группе или cogroup applyInPandas/applyInArrow
  • [SPARK-47040] [SC-156773] [CONNECT] Разрешить скрипту сервера Spark Подключение ожидать
  • [SPARK-466888] [SC-156113] [SPARK-46691] [PYTHON] [CONNECT] Поддержка профилирования версии 2 в агрегатных пользовательских файлах Pandas
  • [SPARK-47004] [SC-156499] [CONNECT] Добавлены дополнительные тесты в ClientStreamingQuerySuite для увеличения охвата тестов клиента Scala
  • [SPARK-46994] [SC-156169] [PYTHON] Рефакторинг PythonWrite для подготовки к поддержке потоковой записи источника данных Python
  • [SPARK-46979] [SC-156587] [SS] Добавьте поддержку указания кодировщика ключей и значений отдельно, а также для каждого семейства col в поставщике хранилища состояний RocksDB
  • [SPARK-46960] [SC-155940] [SS] Тестирование нескольких входных Потоки с помощью оператора TransformWithState
  • [SPARK-46966] [SC-156112] [Python] Добавьте API UDTF для метода анализа, чтобы указать подмножество входных столбцов таблицы, чтобы выбрать
  • [SPARK-46895] [SC-155950] [CORE] Замена таймера на один поток запланированного исполнителя
  • [SPARK-46967] [SC-155815] [CORE] [пользовательский интерфейс] Скрытие и Heap Histogram выполнение Thread Dump исполнителей в Executors пользовательском Dead интерфейсе
  • [SPARK-46512] [SC-155826] [CORE] Оптимизация перетасовки чтения при использовании сортировки и объединения.
  • [SPARK-46958] [SC-155942] [SQL] Добавление отсутствующих часового пояса для принудительного выполнения значений по умолчанию
  • [SPARK-46754] [SC-153830] [SQL] [AVRO] Исправление разрешения кода сжатия в определении таблицы avro и параметрах записи
  • [SPARK-46728] [SC-154207] [PYTHON] Проверка правильной установки Pandas
  • [SPARK-43403] [SC-154216] [пользовательский интерфейс] Убедитесь, что старый SparkUI в HistoryServer был отключен перед загрузкой нового
  • [SPARK-39910] [SC-156203] [SQL] Делегирование квалификации пути к файловой системе во время глоббинга пути к файлу DataSource
  • [SPARK-470000] [SC-156123] Возврат "[SC-156123][CORE] Использование getTotalMemorySize...
  • [SPARK-46819] [SC-154560] [CORE] Перемещение категорий ошибок и состояний в JSON
  • [SPARK-46997] [SC-156175] [CORE] Включить spark.worker.cleanup.enabled по умолчанию
  • [SPARK-46865] [SC-156168] [SS] Добавление пакетной поддержки для оператора TransformWithState
  • [SPARK-46987] [SC-156040] [CONNECT] ProtoUtils.abbreviate избегайте ненужных операций setField
  • [SPARK-46970] [SC-155816] [CORE] Перезапись OpenHashSet#hasher с помощью pattern matching
  • [SPARK-46984] [SC-156024] [PYTHON] Удаление pyspark.copy_func
  • [SPARK-470000] [SC-156123] [CORE] Использование getTotalMemorySize в WorkerArguments
  • [SPARK-46980] [SC-155914] [SQL] [ДОПОЛНИТЕЛЬНЫЙ] Избегайте использования внутренних API в сквозных тестах кадра
  • [SPARK-46931] Возврат "[SC-155661][PS] Реализация {Frame, Series}.to_hdf"
  • [SPARK-46618] [SC-153828] [SQL] Улучшение сообщений об ошибках для ошибки DATA_SOURCE_NOT_FOUND
  • [SPARK-46849] [SC-154586] [SQL] Запуск оптимизатора для столбца CREATE TABLE по умолчанию
  • [SPARK-46911] [SC-155724] [SS] Добавление оператора deleteIfExists в StatefulProcessorHandleImpl
  • [SPARK-43273] [SQL] Поддержка lz4raw кодека сжатия для Parquet
  • [SPARK-47002] [SC-156223] [Python] Возвращает лучшее сообщение об ошибке, если поле "анализ" метода UDTF "orderBy" случайно возвращает список строк
  • [SPARK-46890] [SC-155802] [SQL] Исправлена ошибка синтаксического анализа CSV с значениями по умолчанию и обрезкой столбцов по умолчанию
  • [SPARK-46977] [SC-155892] [CORE] Неудачный запрос на получение маркера из одного nameNode не должен пропускать последующие запросы маркера
  • [SPARK-46608] [SC-151806] [SQL] Восстановление обратной совместимости JdbcDialect.classifyException
  • [SPARK-46908] [SC-155702] [SQL] Предложение "Поддержка звездочек" в предложении WHERE
  • [SPARK-46908] [SC-155702] [SQL] Предложение "Поддержка звездочек" в предложении WHERE
  • [SPARK-46852] [SC-155665] [SS] Удалите использование явного кодировщика ключей и неявно передайте его оператору преобразованияWithState.
  • [SPARK-46864] [SC-155669] [SS] Подключение произвольного состоянияV2 к новой платформе классов ошибок
  • [SPARK-45807] [SC-155706] [SQL] Возврат представления после вызова replaceView(.).)
  • [SPARK-46899] [SC-154651] [CORE] Удаление POST API из MasterWebUI того, когда spark.ui.killEnabled находится false
  • [SPARK-46868] [SC-154539] [CORE] Поддержка пользовательского интерфейса журнала рабочей роли Spark
  • [SPARK-46931] [SC-155661] [PS] Реализовать {Frame, Series}.to_hdf
  • [SPARK-46940] [SC-155667] [CORE] Удаление неиспользуемых updateSparkConfigFromProperties и isAbsoluteURI в o.a.s.u.Utils
  • [SPARK-46929] [SC-155659] [CORE] [CONNECT] [SS] Использование ThreadUtils.shutdown для закрытия пулов потоков
  • [SPARK-46400] [SC-155658] [CORE] [SQL] Если в локальном репозитории maven есть поврежденные файлы, пропустите этот кэш и повторите попытку.
  • [SPARK-46932] [SC-155655] Очистка импорта в pyspark.pandas.test_*
  • [SPARK-46683] [SC-154120] Создание генератора вложенных запросов, создающего вложенные запросы, чтобы увеличить охват тестирования
  • [SPARK-46914] [SC-154776] [пользовательский интерфейс] Сокращение имени приложения в сводной таблице на странице журнала
  • [SPARK-46831] [SC-154699] [SQL] Параметры сортировки — расширение StringType и PhysicalStringType с полем collationId
  • [SPARK-46816] [SC-154415] [SS] Добавление базовой поддержки нового произвольного оператора управления состояниями, типа single valueState, нескольких переменных состояния и базовой поддержки семейств столбцов для RocksDBStateStoreProvider с проверка направлением изменений
  • [SPARK-46925] [SC-154890] [PYTHON] [CONNECT] Добавьте предупреждение, определяющее установку memory_profiler для профилирования памяти
  • [SPARK-46927] [SC-154904] [PYTHON] Правильное выполнение assertDataFrameEqual работы без PyArrow
  • [SPARK-46021] [SC-148987] [CORE] Поддержка отмены будущих заданий, принадлежащих группе заданий
  • [SPARK-46747] [SC-154789] [SQL] Избегайте сканирования в getTableExistsQuery для диалектов JDBC
  • [SPARK-46904] [SC-154704] [пользовательский интерфейс] Исправлена проблема с отображением сводки пользовательского интерфейса журнала
  • [SPARK-46870] [SC-154541] [CORE] Поддержка пользовательского интерфейса главного журнала Spark
  • [SPARK-46893] [SC-154780] [пользовательский интерфейс] Удаление встроенных скриптов из описания пользовательского интерфейса
  • [SPARK-46910] [SC-154760] [PYTHON] Устранение требований JDK в установке PySpark
  • [SPARK-46907] [SC-154736] [CORE] Отображение расположения журнала драйверов на сервере журнала Spark
  • [SPARK-46902] [SC-154661] [пользовательский интерфейс] Исправлен пользовательский интерфейс сервера журнала Spark для использования не экспортированного набораAppLimit
  • [SPARK-46687] [SC-154725] [PYTHON] [CONNECT] Базовая поддержка профилировщика памяти на основе SparkSession
  • [SPARK-46623] [SC-153831] [CORE] [MLLIB] [SQL] Замена SimpleDateFormat на DateTimeFormatter
  • [SPARK-46875] [SC-154627] [SQL] mode Если значение равно null, NullPointException необходимо not создать исключение
  • [SPARK-46872] [SC-154543] [CORE] Восстановление log-view.js , не относясь к модулю
  • [SPARK-46883] [SC-154629] [CORE] API поддержки /json/clusterutilization
  • [SPARK-46886] [SC-154630] [CORE] Включить spark.ui.prometheus.enabled по умолчанию
  • [SPARK-46873] [SC-154638] [SS] Не повторно создайте новый StreamingQueryManager для одного сеанса Spark
  • [SPARK-46829] [SC-154419] [CORE] Удаление createExecutorEnv из SparkEnv
  • [SPARK-46827] [SC-154280] [CORE] Создание RocksDBPersistenceEngine символьной ссылки
  • [SPARK-46903] [SC-154662] [CORE] Поддержка пользовательского интерфейса журнала журнала Spark
  • [SPARK-46874] [SC-154646] [PYTHON] Удаление pyspark.pandas зависимостей из assertDataFrameEqual
  • [SPARK-46889] [SC-154639] [CORE] Проверка spark.master.ui.decommission.allow.mode параметра
  • [SPARK-46850] [SC-154443] [SQL] Преобразование _LEGACY_ERROR_TEMP_2102 в UNSUPPORTED_DATATYPE
  • [SPARK-46704] [SC-153323] [CORE] [пользовательский интерфейс] Исправление MasterPage для правильной сортировки Running Drivers таблицы по столбцам Duration
  • [SPARK-46796] [SC-154279] [SS] Убедитесь, что для загрузки версии RocksDB используются правильные удаленные файлы (упоминание в metadata.zip)
  • [SPARK-468888] [SC-154636] [CORE] Исправление Master , чтобы отклонить /workers/kill/ запросы, если списание отключено
  • [SPARK-46818] [SC-154422] [SQL] Улучшение сообщений об ошибках для диапазона с неотложными входными данными
  • [SPARK-46898] [SC-154649] [CONNECT] Упрощение преобразования функции protobuf в Планировщике
  • [SPARK-46828] [SC-154413] [SQL] Удаление недопустимого утверждения удаленного режима для оболочки sql Spark
  • [SPARK-46733] [SC-154274] [CORE] Упрощение BlockManager операцией выхода зависит только от потока прерываний.
  • [SPARK-46777] [SC-154016] [SS] Структура рефакторинга StreamingDataSourceV2Relation катализатора, которая будет более включена в пакетную версию
  • [SPARK-46515] [SC-151716] Добавление функции MONTHNAME
  • [SPARK-46823] [SC-154276] [CONNECT] [PYTHON] LocalDataToArrowConversion должно проверка допустимость значений NULL
  • [SPARK-46787] [SC-154404] [CONNECT] bloomFilter Функция должна вызывать AnalysisException недопустимые входные данные
  • [SPARK-46779] [SC-154045] [SQL] InMemoryRelation Экземпляры одного кэшированного плана должны быть семантически эквивалентны
  • [SPARK-45827] [SC-153973] Запрет секционирования в столбце Variant
  • [SPARK-46797] [SC-154085] [CORE] Переименование spark.deploy.spreadOut в spark.deploy.spreadOutApps
  • [SPARK-46094] [SC-153421] Поддержка профилирования JVM исполнителя
  • [SPARK-46746] [SC-153557] [SQL] [AVRO] Присоединение расширения codec к файлам источника данных avro
  • [SPARK-46698] [SC-153288] [CORE] Замените таймер одним потоком запланированным исполнителем для ConsoleProgressBar.
  • [SPARK-46629] [SC-153835] Исправление для типа DDL типа STRUCT, не допускающее значение NULL, и комментарий
  • [SPARK-46750] [SC-153772] [CONNECT] [PYTHON] Очистка кода API кадра данных
  • [SPARK-46769] [SC-153979] [SQL] Уточнение метки времени, связанного с выводом схемы
  • [SPARK-46765] [SC-153904] [PYTHON] [CONNECT] Укажите shuffle тип данных seed
  • [SPARK-46579] [SC-151481] [SQL] Url-адрес Redact JDBC в ошибках и журналах
  • [SPARK-46686] [SC-153875] [PYTHON] [CONNECT] Базовая поддержка профилировщика UDF на основе SparkSession
  • [SPARK-46748] Возврат "[SC-153800][CORE] Удалить *slav**.sh scri...
  • [SPARK-46707] [SC-153833] [SQL] Добавлено вызываемое поле для выражений для улучшения pushdown предиката
  • [SPARK-46519] [SC-151278] [SQL] Очистка неиспользуемых классов ошибок из error-classes.json файла
  • [SPARK-46677] [SC-153426] [SQL] [CONNECT] Исправление dataframe["*"] разрешения
  • [SPARK-46317] [SC-150184] [PYTHON] [CONNECT] Совпадение с незначительным поведением в SparkSession с полным покрытием теста
  • [SPARK-46748] [SC-153800] [CORE] Удаление *slav**.sh скриптов
  • [SPARK-46663] [SC-153490] [PYTHON] Отключение профилировщика памяти для UDF pandas с помощью итераторов
  • [SPARK-46410] [SC-150776] [SQL] Назначение классов ошибок/подклассов jdbcUtils.classifyException
  • [SPARK-46277] [SC-150126] [PYTHON] Проверка URL-адресов запуска с помощью настраиваемой конфигурации
  • [SPARK-46612] [SC-153536] [SQL] Не преобразуйте строку типа массива, полученную из драйвера jdbc
  • [SPARK-46254] [SC-149788] [PYTHON] Удаление устаревших версий Python 3.8/3.7 проверка
  • [SPARK-46490] [SC-151335] [SQL] Требовать классы ошибок в SparkThrowable подклассах
  • [SPARK-46383] [SC-153274] [SC-147443] [ТЕПЛОФИКС] Сокращение использования кучи драйверов путем уменьшения срока существования TaskInfo.accumulables()
  • [SPARK-46541] [SC-153109] [SQL] [CONNECT] Исправление неоднозначной ссылки на столбец при самостоятельном соединении
  • [SPARK-46381] [SC-150495] [SQL] Перенос подклассов AnalysisException в классы ошибок
  • [SPARK-46351] [SC-150335] [SQL] Требовать класс ошибок в AnalysisException
  • [SPARK-46220] [SC-149689] [SQL] Ограничение наборов символов в decode()
  • [SPARK-46369] [SC-150340] [CORE] Удаление kill ссылки из RELAUNCHING драйверов в MasterPage
  • [SPARK-46052] [SC-153284] [CORE] Remove functionScheduler.killAllTaskAttempts
  • [SPARK-46536] [SC-153164] [SQL] Поддержка GROUP BY calendar_interval_type
  • [SPARK-46675] [SC-153209] [SQL] Удаление неиспользуемого inferTimestampNTZ в ParquetReadSupport
  • [SPARK-46717] [SC-153423] [CORE] Упрощение ReloadingX509TrustManager операции выхода зависит только от потока прерываний.
  • [SPARK-46722] [SC-153438] [CONNECT] Добавьте тест на обратную совместимость проверка для StreamingQueryListener в Spark Подключение (Scala/PySpark)
  • [SPARK-46187] [SC-149580] [SQL] Выравнивание реализации codegen и некодегенов StringDecode
  • [SPARK-46258] [SC-149799] [CORE] Добавить RocksDBPersistenceEngine
  • [SPARK-46216] [SC-149676] [CORE] Улучшение FileSystemPersistenceEngine поддержки сжатия
  • [SPARK-46189] [SC-149567] [PS] [SQL] Сравнение и арифметика между теми же типами в различных агрегатных функциях Pandas, чтобы избежать ошибок в режиме интерпретации
  • [SPARK-46184] [SC-149563] [CORE] [SQL] [CONNECT] [MLLIB] Уменьшение глубины стека путем замены Option.isDefined на Option.isEmpty
  • [SPARK-46700] [SC-153329] [CORE] Подсчет последнего разлива для метрики разлива диска с перемешиванием байтов
  • [SPARK-45642] [SC-150286] [CORE] [SQL] Исправить FileSystem.isFile & FileSystem.isDirectory is deprecated
  • [SPARK-46640] [SC-153272] [SQL] Исправление RemoveRedundantAlias путем исключения атрибутов вложенных запросов
  • [SPARK-46681] [SC-153287] [CORE] Рефакторинг ExecutorFailureTracker#maxNumExecutorFailures , чтобы избежать вычисления defaultMaxNumExecutorFailures при MAX_EXECUTOR_FAILURES настройке
  • [SPARK-46695] [SC-153289] [SQL] [HIVE] Всегда устанавливайте параметр hive.execution.engine для mr
  • [SPARK-46325] [SC-150228] [CONNECT] Удаление ненужных переопределения функций при создании WrappedCloseableIterator в ResponseValidator#wrapIterator
  • [SPARK-46232] [SC-149699] [PYTHON] Перенесите все оставшиеся значения ValueError в платформу ошибок PySpark.
  • [SPARK-46547] [SC-153174] [SS] Проглотить неустранимое исключение в задаче обслуживания, чтобы избежать взаимоблокировки между потоком обслуживания и оператором агрегирования потоковой передачи
  • [SPARK-46169] [SC-149373] [PS] Назначьте соответствующие номера JIRA для отсутствующих параметров из DataFrame API.
  • [SPARK-45857] [SC-148096] [SQL] Принудительное применение классов ошибок в подклассах AnalysisException

Поддержка драйвера ODBC/JDBC Databricks

Databricks поддерживает драйверы ODBC/JDBC, выпущенные за последние 2 года. Скачайте недавно выпущенные драйверы и обновление (скачайте ODBC, скачайте JDBC).

Системная среда

  • Операционная система: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.11.0
  • R: 4.3.2
  • Delta Lake: 3.1.0

Установленные библиотеки Python

Библиотека Версия Библиотека Версия Библиотека Версия
asttokens 2.0.5 astunparse 1.6.3 azure-core 1.30.1
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 backcall 0.2.0
black 23.3.0 blinker 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
щелчок 8.0.4 cloudpickle 2.2.1 comm 0.1.2
контурная диаграмма 1.0.5 Криптографии 41.0.3 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbus-python 1.2.18
debugpy 1.6.7 decorator 5.1.1 distlib 0.3.8
entrypoints 0,4 executing 0.8.3 facets-overview 1.1.1
filelock 3.13.1 шрифтовые инструменты 4.25.0 gitdb 4.0.11
GitPython 3.1.42 google-api-core 2.17.1 google-auth 2.28.2
google-cloud-core 2.4.1 google-cloud-storage 2.15.0 google-crc32c 1.5.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3,4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipywidgets 8.0.4 isodate 0.6.1
jedi 0.18.1 jeepney 0.7.1 jmespath 0.10.0
joblib 1.2.0 jupyter_client 7.4.9 jupyter_core 5.3.0
jupyterlab-widgets 3.0.5 Брелок 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.1
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 во внешнем виде 23,2
pandas 1.5.3 parso 0.8.3 pathspec 0.10.3
patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.4.0 pip 23.2.1 platformdirs 3.10.0
график 5.9.0 prompt-toolkit 3.0.36 protobuf 4.24.1
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 14.0.1 pyasn1 0.4.8
pyasn1-modules 0.2.8 pyccolo 0.0.52 pycparser 2.21
pydantic 1.10.6 Pygments 2.15.1 PyGObject 3.42.1
PyJWT 2.3.0 pyodbc 4.0.38 pyparsing 3.0.9
python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 pytz 2022.7
PyYAML 6,0 pyzmq 23.2.0 requests 2.31.0
rsa 4,9 s3transfer 0.10.0 scikit-learn 1.3.0
scipy 1.11.1 Сиборн 0.12.2 Секрет служба хранилища 3.3.1
setuptools 68.0.0 six 1.16.0 smmap 5.0.1
sqlparse 0.4.4 ssh-import-id 5,11 stack-data 0.2.0
statsmodels 0.14.0 tenacity 8.2.2 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tornado 6.3.2 traitlets 5.7.1
typing_extensions 4.7.1 tzdata 2022.1 ujson 5.4.0
unattended-upgrades 0,1 urllib3 1.26.16 virtualenv 20.24.2
wadllib 1.3.6 wcwidth 0.2.5 wheel 0.38.4
widgetsnbextension 4.0.5 zipp 3.11.0

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка Posit диспетчер пакетов CRAN 2023-02-10.

Библиотека Версия Библиотека Версия Библиотека Версия
Стрелка 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
внутренние порты 1.4.1 base 4.3.2 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-7 большой двоичный объект 1.2.4 загрузка 1.3-28
Заваривать 1.0-10 brio 1.1.4 Метлу 1.0.5
bslib 0.6.1 cachem 1.0.8 вызывающий объект 3.7.3
крышка 6.0-94 cellranger 1.1.0 chron 2.3-61
class 7.3-22 cli 3.6.2 clipr 0.8.0
clock 0.7.0 cluster 2.1.4 codetools 0.2-19
colorspace 2.1-0 commonmark 1.9.1 компилятор 4.3.2
config 0.3.2 Противоречие 1.2.0 cpp11 0.4.7
Карандаш 1.5.2 учетные данные 2.0.1 curl 5.2.0
data.table 1.15.0 наборы данных 4.3.2 DBI 1.2.1
dbplyr 2.4.0 desc 1.4.3 средства разработки 2.4.5
Схема 1.6.5 diffobj 0.3.5 digest 0.6.34
downlit 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 многоточие 0.3.2 evaluate 0,23
вентиляторы 1.0.6 Farver 2.1.1 fastmap 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
Иностранных 0.8-85 forge 0.2.0 fs 1.6.3
будущее 1.33.1 future.apply 1.11.1 gargle 1.5.2
Универсальные шаблоны 0.1.3 gert 2.0.1 ggplot2 3.4.4
gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.2 Клей 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 Говер 1.0.1
графика 4.3.2 grDevices 4.3.2 grid 4.3.2
gridExtra 2.3 gsubfn 0,7 gt 0.10.1
gtable 0.3.4 hardhat 1.3.1 haven 2.5.4
высокий 0.10 Hms 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 ids 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 Итераторы 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-21 трикотажный 1,45 Маркировки 0.4.3
later 1.3.2 Решетки 0.21-8 Lava 1.7.3
жизненный цикл 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 Markdown 1.12 МАССАЧУСЕТС 7.3-60
«Матрица» 1.5-4.1 memoise 2.0.1 оплаты 4.3.2
mgcv 1.8-42 Mime 0,12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 parallel 4.3.2
parallelly 1.36.0 Столб 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 Похвалы 1.0.0
prettyunits 1.2.0 Proc 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 Ход выполнения 1.2.3
progressr 0.14.0 promises 1.2.1 proto 1.0.0
proxy 0.4-27 ps 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 reactable 0.4.4
ReactR 0.5.0 readr 2.1.5 readxl 1.4.3
Рецепты 1.0.9 Реванш 2.0.0 rematch2 2.1.2
remotes 2.4.2.1 reprex 2.1.0 reshape2 1.4.4
rlang 1.1.3 rmarkdown 2,25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 sass 0.4.8
Весы 1.3.0 селектор 0.4-2 sessioninfo 1.2.2
Формы 1.4.6 Блестящие 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 пространственный 7.3-15 Сплайны 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.3.2
статистика4 4.3.2 stringi 1.8.3 stringr 1.5.1
Выживания 3.5-5 swagger 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
textshaping 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 timechange 0.3.0
TimeDate 4032.109 tinytex 0,49 средства 4.3.2
tzdb 0.4.0 urlchecker 1.0.1 usethis 2.2.2
utf8 1.2.4 служебные программы 4.3.2 uuid 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 waldo 0.5.2 виски 0.4.1
withr 3.0.0 xfun 0,41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 Yaml 2.3.8
zeallot 0.1.0 zip 2.3.1

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)

ИД группы Идентификатор артефакта Версия
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics потоковая передача 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1–0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat джексон-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1,1
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guava 15,0
com.google.protobuf protobuf-java 2.6.1
com.helger профилировщик 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.25
io.delta delta-sharing-client_2.12 1.0.4
io.dropwizard.metrics метрики-заметки 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Коллектор 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1,3
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow arrow-format 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow arrow-vector 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4.
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-шейд-protobuf
org.apache.orc orc-mapreduce 1.9.2-шейд-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4,23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections Eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap shims 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest Scalatest-compatible 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1