Databricks Runtime 15.0 (EoS)
Примечание.
Поддержка этой версии databricks Runtime закончилась. Сведения о дате окончания поддержки см . в журнале завершения поддержки. Все поддерживаемые версии среды выполнения Databricks см. в заметках о выпуске Databricks Runtime и совместимости.
В следующих заметках о выпуске содержатся сведения о Databricks Runtime 15.0, на базе Apache Spark 3.5.0.
Databricks выпустила эти изображения в марте 2024 года.
Критические изменения
Функция PySpark spark.sql()
теперь завершается ошибкой для недопустимых типов аргументов
В Databricks Runtime 15.0 и более поздних версий параметр для именованных или позиционных параметров, передаваемых spark.sql()
функции, args
должен быть словарем или списком. Если передается любой другой тип объекта, возникает следующая ошибка: PySparkTypeError: [INVALID_TYPE] Argument `args` should not be a <arg_type>
Хранение библиотек в корневом каталоге DBFS не рекомендуется и отключено по умолчанию
Чтобы повысить безопасность библиотек в рабочей области Azure Databricks, хранение файлов библиотек в корне DBFS устарело и отключено по умолчанию, начиная с Databricks Runtime 15.0. Databricks рекомендует отправлять все библиотеки, в том числе библиотеки Python, JAR-файлы и соединители Spark, в файлы рабочей области, тома каталога Unity или с помощью репозитория пакетов. Рекомендации по отправке библиотек.
Чтобы повторно включить хранение библиотек в корневом каталоге DBFS, задайте следующий параметр конфигурации Spark: spark.databricks.driver.dbfsLibraryInstallationAllowed true
Версия Python по умолчанию обновляется с версии 3.10 до 3.11
При использовании Databricks Runtime 15.0 версия Python по умолчанию — 3.11.0. Список обновленных библиотек Python см. в статье об обновлениях библиотек.
JDK 11 удален
Как было объявлено ранее, JDK 11 удаляется из Databricks Runtime 15.0 и более поздних версий. Databricks рекомендует обновить до JDK 17 при обновлении до Databricks Runtime 15.0 и более поздних версий. См . пакет SDK Databricks для Java.
Python REPL теперь завершается корректно
При использовании Databricks Runtime 15.0 процесс REPL записной книжки теперь завершается корректно при выходе. Это приводит к тому, что любые невзирые крючки будут соблюдаться. Например, в рабочем процессе с несколькими задачами записной книжки Python перехватчики, зарегистрированные в первой задаче, выполняются до выполнения второй задачи записной книжки Python.
Новые функции и внесенные улучшения
- Предложение * (star) теперь поддерживается в предложении WHERE
- Конфигурация
spark.sql.json.enablePartialResults
теперь включена по умолчанию - Теперь библиотеки кластеров поддерживают файлы requirements.txt
- Интерфейс командной строки Databricks теперь доступен в веб-терминале
- Добавление репозиториев Python по умолчанию в конфигурации кластера
Предложение * (star) теперь поддерживается в предложении WHERE
Теперь можно использовать в предложении звездочку WHERE
(*
) для ссылки на все столбцы из SELECT
списка.
Например, SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*)
.
Конфигурация spark.sql.json.enablePartialResults
теперь включена по умолчанию
Конфигурация spark.sql.json.enablePartialResults
Spark теперь включена по умолчанию, позволяя средство синтаксического анализа JSON правильно обрабатывать ошибки синтаксического анализа для сложных типов, таких как структура, карта и массив, без удаления оставшихся полей. Это изменение устраняет проблему согласованности для источников данных JSON с обрезкой столбцов.
Теперь библиотеки кластеров поддерживают файлы requirements.txt
Теперь можно установить библиотеки кластеров с помощью requirements.txt
файла, хранящегося в файле рабочей области или томе каталога Unity. В кластерах режима общего доступа и отдельных пользователей requirements.txt
файл может ссылаться на другие файлы. В кластерах режима общего доступа без изоляции поддерживаются только пакеты PyPI. Дополнительные сведения см. в статье Библиотеки кластера.
Интерфейс командной строки Databricks теперь доступен в веб-терминале
Теперь вы можете использовать интерфейс командной строки Databricks из веб-терминала в записной книжке. Записная книжка должна быть подключена к кластеру в режиме общего доступа с одним пользователем или без изоляции. Дополнительные сведения см. в разделе "Использование веб-терминала" и интерфейса командной строки Databricks.
Добавление репозиториев Python по умолчанию в конфигурации кластера
В Databricks Runtime 15.0 и более поздних версиях можно настроить глобальную pip index-url
и extra-index-url
параметры для установки библиотеки с областью действия кластера и записной книжки при настройке кластера или определении политики кластера. Для этого задайте переменные DATABRICKS_PIP_INDEX_URL
среды и DATABRICKS_PIP_EXTRA_INDEX_URL
.
Обновления библиотек
- Обновленные библиотеки Python:
- черный от 22.6.0 до 23.3.0
- boto3 от 1.24.28 до 1.34.39
- botocore от 1.27.96 до 1.34.39
- сертификат от 2022.12.7 до 2023.7.22
- криптография от 39.0.1 до 41.0.3
- databricks-sdk от 0.1.6 до 0.20.0
- distlib от 0.3.7 до 0.3.8
- googleapis-common-protos с 1.62.0 до 1.63.0
- grpcio от 1.48.2 до 1.60.0
- grpcio-status от 1.48.1 до 1.60.0
- importlib-metadata от 4.6.4 до 6.0.0
- ipykernel от 6.25.0 до 6.25.1
- ipython от 8.14.0 до 8.15.0
- ipywidgets от 7.7.2 до 8.0.4
- jupyter_core от 5.2.0 до 5.3.0
- jupyterlab-мини-приложения с 1.0.0 до 3.0.5
- matplotlib от 3.7.0 до 3.7.2
- pandas от 1.5.3 до 2.0.3
- pip от 22.3.1 до 23.2.1
- platformdirs от 2.5.2 до 3.10.0
- protobuf от 4.24.0 до 4.24.1
- pyarrow от 8.0.0 до 14.0.1
- Pygments от 2.11.2 до 2.15.1
- pyodbc от 4.0.32 до 4.0.38
- запросы от 2.28.1 до 2.31.0
- s3transfer от 0.6.2 до 0.10.0
- scikit-learn от 1.1.1 до 1.3.0
- scipy от 1.10.0 до 1.11.1
- setuptools от 65.6.3 до 68.0.0
- statsmodels от 0.13.5 до 0.14.0
- настойчивость от 8.1.0 до 8.2.2
- торнадо от 6.1 до 6.3.2
- typing_extensions от 4.4.0 до 4.7.1
- urllib3 от 1.26.14 до 1.26.16
- virtualenv от 20.16.7 до 20.24.2
- widgetsnbextension от 3.6.1 до 4.0.5
- zipp от 1.0.0 до 3.11.0
- Обновленные библиотеки R:
- стрелка от 12.0.1 до 14.0.0.2
- askpass от 1.1 до 1.2.0
- база от 4.3.1 до 4.3.2
- пиво от 1.0-8 до 1.0-10
- brio от 1.1.3 до 1.1.4
- bslib от 0.5.0 до 0.6.1
- cli от 3.6.1 до 3.6.2
- commonmark от 1.9.0 до 1.9.1
- компилятор от 4.3.1 до 4.3.2
- конфигурация от 0.3.1 до 0.3.2
- cpp11 от 0.4.4 до 0.4.7
- учетные данные от 1.3.2 до 2.0.1
- curl от 5.0.1 до 5.2.0
- data.table от 1.14.8 до 1.15.0
- наборы данных от 4.3.1 до 4.3.2
- DBI от 1.1.3 до 1.2.1
- dbplyr от 2.3.3 до 2.4.0
- desc от 1.4.2 до 1.4.3
- дайджест от 0.6.33 до 0.6.34
- dplyr от 1.1.2 до 1.1.4
- e1071 от 1.7-13 до 1.7-14
- оценка от 0,21 до 0,23
- вентиляторы от 1.0.4 до 1.0.6
- fontawesome от 0.5.1 до 0.5.2
- fs от 1.6.2 до 1.6.3
- будущее от 1.33.0 до 1.33.1
- future.apply от 1.11.0 до 1.11.1
- гигль с 1.5.1 до 1.5.2
- gert от 1.9.2 до 2.0.1
- ggplot2 от 3.4.2 до 3.4.4
- glmnet от 4.1-7 до 4.1-8
- клей от 1.6.2 до 1.7.0
- графика от 4.3.1 до 4.3.2
- grDevices от 4.3.1 до 4.3.2
- сетка от 4.3.1 до 4.3.2
- gtable от 0.3.3 до 0.3.4
- hardhat от 1.3.0 до 1.3.1
- haven от 2.5.3 до 2.5.4
- htmltools от 0.5.5 до 0.5.7
- htmlwidgets от 1.6.2 до 1.6.4
- httpuv от 1.6.11 до 1.6.14
- httr от 1.4.6 до 1.4.7
- httr2 от 0.2.3 до 1.0.0
- jsonlite от 1.8.7 до 1.8.8
- трикотаж от 1,43 до 1,45
- метка от 0.4.2 до 0.4.3
- позже от 1.3.1 до 1.3.2
- лава от 1.7.2.1 до 1.7.3
- жизненный цикл от 1.0.3 до 1.0.4
- прослушивание от 0.9.0 до 0.9.1
- lubridate от 1.9.2 до 1.9.3
- markdown от 1.7 до 1.12
- Методы от 4.3.1 до 4.3.2
- opensl от 2.0.6 до 2.1.1
- параллельная от 4.3.1 до 4.3.2
- pkgbuild от 1.4.2 до 1.4.3
- pkgload от 1.3.2.1 до 1.3.4
- plyr от 1.8.8 до 1.8.9
- prettyunits от 1.1.1 до 1.2.0
- pROC от 1.18.4 до 1.18.5
- processx от 3.8.2 до 3.8.3
- prodlim от 2023.03.31 до 2023.08.28
- ход выполнения от 1.2.2 до 1.2.3
- progressr от 0.13.0 до 0.14.0
- обещания от 1.2.0.1 до 1.2.1
- ps от 1.7.5 до 1.7.6
- purrr от 1.0.1 до 1.0.2
- ragg от 1.2.5 до 1.2.7
- Rcpp от 1.0.11 до 1.0.12
- RcppEigen от 0.3.3.9.3 до 0.3.3.9.4
- readr от 2.1.4 до 2.1.5
- рецепты от 1.0.6 до 1.0.9
- повторное совпадение с 1.0.1 по 2.0.0
- удаленные от 2.4.2 до 2.4.2.1
- reprex от 2.0.2 до 2.1.0
- rlang от 1.1.1 до 1.1.3
- rmarkdown от 2.23 до 2.25
- RODBC от 1.3-20 до 1.3-23
- roxygen2 от 7.2.3 до 7.3.1
- rprojroot от 2.0.3 до 2.0.4
- Rserve от 1.8-11 до 1.8-13
- RSQLite от 2.3.1 до 2.3.5
- sass от 0.4.6 до 0.4.8
- Масштабирование от 1.2.1 до 1.3.0
- блестящий от 1.7.4.1 до 1.8.0
- sparklyr от 1.8.1 до 1.8.4
- splines от 4.3.1 до 4.3.2
- статистика от 4.3.1 до 4.3.2
- статистика4 от 4.3.1 до 4.3.2
- stringi от 1.7.12 до 1.8.3
- stringr от 1.5.0 до 1.5.1
- systemfonts от 1.0.4 до 1.0.5
- tcltk от 4.3.1 до 4.3.2
- testthat от 3.1.10 до 3.2.1
- тексты с 0.3.6 до 0.3.7
- tidyr от 1.3.0 до 1.3.1
- изменение времени с 0.2.0 до 0.3.0
- TimeDate от 4022.108 до 4032.109
- tinytex от 0,45 до 0,49
- средства от 4.3.1 до 4.3.2
- utf8 от 1.2.3 до 1.2.4
- utils от 4.3.1 до 4.3.2
- uuid от 1.1-0 до 1.2-0
- vctrs от 0.6.3 до 0.6.5
- vroom от 1.6.3 до 1.6.5
- waldo от 0.5.1 до 0.5.2
- withr от 2.5.0 до 3.0.0
- xfun от 0,39 до 0,41
- xml2 от 1.3.5 до 1.3.6
- yaml от 2.3.7 до 2.3.8
- zip от 2.3.0 до 2.3.1
- Обновленные библиотеки Java:
- com.fasterxml.jackson.datatype.jackson-datatype-jsr310 с 2.15.1 до 2.16.0
- com.google.flatbuffers.flatbuffers-java с 1.12.0 до 23.5.26
- com.typesafe.config от 1.2.1 до 1.4.3
- org.apache.ant.ant от 1.9.16 до 1.10.11
- org.apache.ant.ant-aph с 1.9.16 по 1.10.11
- org.apache.ant-launcher от 1.9.16 до 1.10.11
- org.apache.arrow.arrow-format от 12.0.1 до 15.0.0
- org.apache.arrow.arrow-memory-core от 12.0.1 до 15.0.0
- org.apache.arrow.arrow-memory-netty от 12.0.1 до 15.0.0
- org.apache.arrow.arrow-vector от 12.0.1 до 15.0.0
- org.apache.avro.avro с 1.11.2 до 1.11.3
- org.apache.avro.avro-ipc с 1.11.2 до 1.11.3
- org.apache.avro.avro-mapred с 1.11.2 до 1.11.3
- org.apache.log4j.log4j-1.2-api от 2.20.0 до 2.22.1
- org.apache.log4j.log4j-api с 2.20.0 до 2.22.1
- org.apache.log4j.log4j-core с 2.20.0 до 2.22.1
- org.apache.log4j.log4j-slf4j2-impl от 2.20.0 до 2.22.1
- org.postgresql.postgresql с 42.6.0 до 42.6.1
Apache Spark
Databricks Runtime 15.0 включает Apache Spark 3.5.0. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 14.3 LTS, а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:
- [SPARK-45527] [DBRRM-805] [ES-1073714] Возврат "[SC-151626][CORE] Использование дроби для вычисления ресурсов"
- [SPARK-47102] [DBRRM-803] [SC-158253] [SQL] Добавление флага конфигурации
COLLATION_ENABLED
- [SPARK-46973] [SC-158140] [DBRRM-777] [SQL] Пропуск подстановки таблицы версии 2, если таблица находится в кэше таблиц версии 1
- [SPARK-46808] [SC-154113] [PYTHON] Уточнение классов ошибок в Python с помощью функции автоматической сортировки
- [SPARK-47251] [SC-158291] [PYTHON] Блокировать недопустимые типы из аргумента
args
командыsql
- [SPARK-47251] [SC-158121] [PYTHON] Блокировать недопустимые типы из аргумента
args
командыsql
- [SPARK-47108] [SC-157204] [CORE] Задать явное значение
derby.connection.requireAuthentication
false
в clIs - [SPARK-45599] [SC-157537] [CORE] Использование равенства объектов в OpenHashSet
- [SPARK-47099] [SC-157352] [SQL] Используется
ordinalNumber
для равномерногоparamIndex
задания значения класса ошибокUNEXPECTED_INPUT_TYPE
- [SPARK-46558] [SC-151363] [CONNECT] Извлечение вспомогательной функции для устранения повторяющегося кода, извлекаемого
MessageParameters
изErrorParams
GrpcExceptionConverter
- [SPARK-43117] [SC-156177] [CONNECT] Создание
ProtoUtils.abbreviate
повторяющихся полей поддержки - [SPARK-46342] [SC-150283] [SQL]
SparkException.internalError
ЗаменаIllegalStateException
на sql - [SPARK-47123] [SC-157412] [CORE] JDBCRDD неправильно обрабатывает ошибки в getQueryOutputSchema
- [SPARK-47189] [SC-157667] [SQL] Имена и текст ошибок в столбцах настройки
- [SPARK-45789] [SC-157101] [SQL] Поддержка ОПИСАТЬ ТАБЛИЦу для столбцов кластеризации
- [SPARK-43256] [SC-157699] [SQL] Удаление класса ошибок _LEGACY_ERROR_TEMP_2021
- [SPARK-47201] [SC-157782] [PYTHON] [CONNECT]
sameSemantics
проверяет типы входных данных - [SPARK-47183] [SC-157660] [PYTHON] Исправление класса ошибок для
sameSemantics
- [SPARK-47179] [SC-157663] [SQL] Улучшение сообщения об ошибке из SparkThrowableSuite для улучшения отладки
- [SPARK-46965] [SC-155791] [CORE] Возврат
logType
Utils.getLog
- [SPARK-46832] [SC-156774] [SQL] Введение выражений сортировки и сортировки
- [SPARK-46946] [SC-155721] [SQL] Поддержка трансляции нескольких ключей фильтрации в DynamicPruning
- [SPARK-47079] [VARIANT-22] [SC-157598] [PYTHON] [SQL] [CONNECT] Добавление сведений о типе variant в PySpark
- [SPARK-47101] [SC-157360] [SQL] Разрешить использовать запятую в именах столбцов верхнего уровня и удалить определение вложенных типов в
HiveExternalCatalog.verifyDataSchema
- [SPARK-47173] [SC-157571] [SS] [пользовательский интерфейс] Исправление опечатки в объяснении пользовательского интерфейса потоковой передачи
- [SPARK-47113] [SC-157348] [CORE] Восстановление логики исправления конечной точки S3A SPARK-35878
- [SPARK-47130] [SC-157462] [CORE] Использование listStatus для обхода сведений о расположении блока при очистке журналов драйверов
- [SPARK-43259] [SC-157368] [SQL] Назначьте имя классу ошибок _LEGACY_ERROR_TEMP_2024
- [SPARK-47104] [SC-157355] [SQL]
TakeOrderedAndProjectExec
должен инициализировать небезопасную проекцию - [SPARK-47137] [SC-157463] [PYTHON] [CONNECT] Добавление getAll в spark.conf для четности функций с Scala
- [SPARK-46924] [SC-154905] [CORE] Кнопка "Исправить
Load New
" вMaster/HistoryServer
пользовательском интерфейсе журнала - [SPARK-47069] [SC-157370] [PYTHON] [CONNECT] Введение
spark.profile.show/dump
в профилирование на основе SparkSession - [SPARK-46812] [SC-157075] [SQL] [PYTHON] Создание mapInPandas / mapInArrow поддержки ResourceProfile
- [SPARK-46833] [SC-155866] [SQL] Параметры сортировки — введение в CollationFactory, предоставляющее правила сравнения и хэширования для поддерживаемых параметров сортировки
- [SPARK-47057] [SC-157036] [PYTHON] Повторное тестирование данных MyPy
- [SPARK-46934] [SC-157084] [SQL] Циклический обход чтения и записи для типа структуры с специальными символами с помощью HMS
- [SPARK-46727] [SC-153472] [SQL] Порт
classifyException()
в диалектах JDBC на классах ошибок - [SPARK-46964] [SC-155740] [SQL] Изменение сигнатуры ошибки выполнения запроса hllInvalidLgK на получение целого числа в качестве 4-го аргумента
- [SPARK-46949] [SC-155719] [SQL] Поддержка CHAR/VARCHAR с помощью ResolveDefaultColumns
- [SPARK-46972] [SC-1558888] [SQL] Исправлена асимметричная замена char/varchar в V2SessionCatalog.createTable
- [SPARK-47014] [SC-156778] [PYTHON] [CONNECT] Реализация методов dumpPerfProfiles и dumpMemoryProfiles sparkSession
- [SPARK-46689] [SC-156221] [SPARK-46690] [PYTHON] [CONNECT] Поддержка профилирования версии 2 в группе или cogroup applyInPandas/applyInArrow
- [SPARK-47040] [SC-156773] [CONNECT] Разрешить скрипту Spark Connect Server ожидать
- [SPARK-466888] [SC-156113] [SPARK-46691] [PYTHON] [CONNECT] Поддержка профилирования версии 2 в агрегатных пользовательских файлах Pandas
- [SPARK-47004] [SC-156499] [CONNECT] Добавлены дополнительные тесты в ClientStreamingQuerySuite для увеличения охвата тестов клиента Scala
- [SPARK-46994] [SC-156169] [PYTHON] Рефакторинг PythonWrite для подготовки к поддержке потоковой записи источника данных Python
- [SPARK-46979] [SC-156587] [SS] Добавьте поддержку указания кодировщика ключей и значений отдельно, а также для каждого семейства col в поставщике хранилища состояний RocksDB
- [SPARK-46960] [SC-155940] [SS] Тестирование нескольких входных потоков с помощью оператора TransformWithState
- [SPARK-46966] [SC-156112] [Python] Добавьте API UDTF для метода анализа, чтобы указать подмножество входных столбцов таблицы, чтобы выбрать
- [SPARK-46895] [SC-155950] [CORE] Замена таймера на один поток запланированного исполнителя
- [SPARK-46967] [SC-155815] [CORE] [пользовательский интерфейс] Скрытие и
Heap Histogram
выполнениеThread Dump
исполнителей вExecutors
пользовательскомDead
интерфейсе - [SPARK-46512] [SC-155826] [CORE] Оптимизация перетасовки чтения при использовании сортировки и объединения.
- [SPARK-46958] [SC-155942] [SQL] Добавление отсутствующих часового пояса для принудительного выполнения значений по умолчанию
- [SPARK-46754] [SC-153830] [SQL] [AVRO] Исправление разрешения кода сжатия в определении таблицы avro и параметрах записи
- [SPARK-46728] [SC-154207] [PYTHON] Проверка правильной установки Pandas
- [SPARK-43403] [SC-154216] [пользовательский интерфейс] Убедитесь, что старый SparkUI в HistoryServer был отключен перед загрузкой нового
- [SPARK-39910] [SC-156203] [SQL] Делегирование квалификации пути к файловой системе во время глоббинга пути к файлу DataSource
- [SPARK-470000] [SC-156123] Возврат "[SC-156123][CORE] Использование
getTotalMemorySize
... - [SPARK-46819] [SC-154560] [CORE] Перемещение категорий ошибок и состояний в JSON
- [SPARK-46997] [SC-156175] [CORE] Включить
spark.worker.cleanup.enabled
по умолчанию - [SPARK-46865] [SC-156168] [SS] Добавление пакетной поддержки для оператора TransformWithState
- [SPARK-46987] [SC-156040] [CONNECT]
ProtoUtils.abbreviate
избегайте ненужных операцийsetField
- [SPARK-46970] [SC-155816] [CORE] Перезапись
OpenHashSet#hasher
с помощьюpattern matching
- [SPARK-46984] [SC-156024] [PYTHON] Удаление pyspark.copy_func
- [SPARK-470000] [SC-156123] [CORE] Использование
getTotalMemorySize
вWorkerArguments
- [SPARK-46980] [SC-155914] [SQL] [ДОПОЛНИТЕЛЬНЫЙ] Избегайте использования внутренних API в сквозных тестах кадра
- [SPARK-46931] Возврат "[SC-155661][PS] Реализация
{Frame, Series}.to_hdf
" - [SPARK-46618] [SC-153828] [SQL] Улучшение сообщений об ошибках для ошибки DATA_SOURCE_NOT_FOUND
- [SPARK-46849] [SC-154586] [SQL] Запуск оптимизатора для столбца CREATE TABLE по умолчанию
- [SPARK-46911] [SC-155724] [SS] Добавление оператора deleteIfExists в StatefulProcessorHandleImpl
- [SPARK-43273] [SQL] Поддержка
lz4raw
кодека сжатия для Parquet - [SPARK-47002] [SC-156223] [Python] Возвращает лучшее сообщение об ошибке, если поле "анализ" метода UDTF "orderBy" случайно возвращает список строк
- [SPARK-46890] [SC-155802] [SQL] Исправлена ошибка синтаксического анализа CSV с значениями по умолчанию и обрезкой столбцов по умолчанию
- [SPARK-46977] [SC-155892] [CORE] Неудачный запрос на получение маркера из одного nameNode не должен пропускать последующие запросы маркера
- [SPARK-46608] [SC-151806] [SQL] Восстановление обратной совместимости
JdbcDialect.classifyException
- [SPARK-46908] [SC-155702] [SQL] Предложение "Поддержка звездочек" в предложении WHERE
- [SPARK-46908] [SC-155702] [SQL] Предложение "Поддержка звездочек" в предложении WHERE
- [SPARK-46852] [SC-155665] [SS] Удалите использование явного кодировщика ключей и неявно передайте его оператору преобразованияWithState.
- [SPARK-46864] [SC-155669] [SS] Подключение произвольного состоянияV2 к новой платформе классов ошибок
- [SPARK-45807] [SC-155706] [SQL] Возврат представления после вызова replaceView(.).)
- [SPARK-46899] [SC-154651] [CORE] Удаление
POST
API изMasterWebUI
того, когдаspark.ui.killEnabled
находитсяfalse
- [SPARK-46868] [SC-154539] [CORE] Поддержка пользовательского интерфейса журнала рабочей роли Spark
- [SPARK-46931] [SC-155661] [PS] Орудие
{Frame, Series}.to_hdf
- [SPARK-46940] [SC-155667] [CORE] Удаление неиспользуемых
updateSparkConfigFromProperties
иisAbsoluteURI
вo.a.s.u.Utils
- [SPARK-46929] [SC-155659] [CORE] [CONNECT] [SS] Использование ThreadUtils.shutdown для закрытия пулов потоков
- [SPARK-46400] [SC-155658] [CORE] [SQL] Если в локальном репозитории maven есть поврежденные файлы, пропустите этот кэш и повторите попытку.
- [SPARK-46932] [SC-155655] Очистка импорта в
pyspark.pandas.test_*
- [SPARK-46683] [SC-154120] Создание генератора вложенных запросов, создающего вложенные запросы, чтобы увеличить охват тестирования
- [SPARK-46914] [SC-154776] [пользовательский интерфейс] Сокращение имени приложения в сводной таблице на странице журнала
- [SPARK-46831] [SC-154699] [SQL] Параметры сортировки — расширение StringType и PhysicalStringType с полем collationId
- [SPARK-46816] [SC-154415] [SS] Добавление базовой поддержки нового произвольного оператора управления состояниями, типа single valueState, нескольких переменных состояния и базовой поддержки семейств столбцов для RocksDBStateStoreProvider с контрольными точками журнала изменений и без нее
- [SPARK-46925] [SC-154890] [PYTHON] [CONNECT] Добавьте предупреждение, определяющее установку memory_profiler для профилирования памяти
- [SPARK-46927] [SC-154904] [PYTHON] Правильное выполнение
assertDataFrameEqual
работы без PyArrow - [SPARK-46021] [SC-148987] [CORE] Поддержка отмены будущих заданий, принадлежащих группе заданий
- [SPARK-46747] [SC-154789] [SQL] Избегайте сканирования в getTableExistsQuery для диалектов JDBC
- [SPARK-46904] [SC-154704] [пользовательский интерфейс] Исправлена проблема с отображением сводки пользовательского интерфейса журнала
- [SPARK-46870] [SC-154541] [CORE] Поддержка пользовательского интерфейса главного журнала Spark
- [SPARK-46893] [SC-154780] [пользовательский интерфейс] Удаление встроенных скриптов из описания пользовательского интерфейса
- [SPARK-46910] [SC-154760] [PYTHON] Устранение требований JDK в установке PySpark
- [SPARK-46907] [SC-154736] [CORE] Отображение расположения журнала драйверов на сервере журнала Spark
- [SPARK-46902] [SC-154661] [пользовательский интерфейс] Исправлен пользовательский интерфейс сервера журнала Spark для использования не экспортированного набораAppLimit
- [SPARK-46687] [SC-154725] [PYTHON] [CONNECT] Базовая поддержка профилировщика памяти на основе SparkSession
- [SPARK-46623] [SC-153831] [CORE] [MLLIB] [SQL] Замена SimpleDateFormat на DateTimeFormatter
- [SPARK-46875] [SC-154627] [SQL]
mode
Если значение равно null,NullPointException
необходимоnot
создать исключение - [SPARK-46872] [SC-154543] [CORE] Восстановление
log-view.js
, не относясь к модулю - [SPARK-46883] [SC-154629] [CORE] API поддержки
/json/clusterutilization
- [SPARK-46886] [SC-154630] [CORE] Включить
spark.ui.prometheus.enabled
по умолчанию - [SPARK-46873] [SC-154638] [SS] Не повторно создайте новый StreamingQueryManager для одного сеанса Spark
- [SPARK-46829] [SC-154419] [CORE] Удаление createExecutorEnv из SparkEnv
- [SPARK-46827] [SC-154280] [CORE] Создание
RocksDBPersistenceEngine
символьной ссылки - [SPARK-46903] [SC-154662] [CORE] Поддержка пользовательского интерфейса журнала журнала Spark
- [SPARK-46874] [SC-154646] [PYTHON] Удаление
pyspark.pandas
зависимостей изassertDataFrameEqual
- [SPARK-46889] [SC-154639] [CORE] Проверка
spark.master.ui.decommission.allow.mode
параметра - [SPARK-46850] [SC-154443] [SQL] Преобразование
_LEGACY_ERROR_TEMP_2102
вUNSUPPORTED_DATATYPE
- [SPARK-46704] [SC-153323] [CORE] [пользовательский интерфейс] Исправление
MasterPage
для правильной сортировкиRunning Drivers
таблицы по столбцамDuration
- [SPARK-46796] [SC-154279] [SS] Убедитесь, что для загрузки версии RocksDB используются правильные удаленные файлы (упомянутые в metadata.zip)
- [SPARK-468888] [SC-154636] [CORE] Исправление
Master
, чтобы отклонить/workers/kill/
запросы, если списание отключено - [SPARK-46818] [SC-154422] [SQL] Улучшение сообщений об ошибках для диапазона с неотложными входными данными
- [SPARK-46898] [SC-154649] [CONNECT] Упрощение преобразования функции protobuf в Планировщике
- [SPARK-46828] [SC-154413] [SQL] Удаление недопустимого утверждения удаленного режима для оболочки sql Spark
- [SPARK-46733] [SC-154274] [CORE] Упрощение BlockManager операцией выхода зависит только от потока прерываний.
- [SPARK-46777] [SC-154016] [SS] Структура рефакторинга
StreamingDataSourceV2Relation
катализатора, которая будет более включена в пакетную версию - [SPARK-46515] [SC-151716] Добавление функции MONTHNAME
- [SPARK-46823] [SC-154276] [CONNECT] [PYTHON]
LocalDataToArrowConversion
должен проверить допустимость значений NULL - [SPARK-46787] [SC-154404] [CONNECT]
bloomFilter
Функция должна вызыватьAnalysisException
недопустимые входные данные - [SPARK-46779] [SC-154045] [SQL]
InMemoryRelation
Экземпляры одного кэшированного плана должны быть семантически эквивалентны - [SPARK-45827] [SC-153973] Запрет секционирования в столбце Variant
- [SPARK-46797] [SC-154085] [CORE] Переименование
spark.deploy.spreadOut
вspark.deploy.spreadOutApps
- [SPARK-46094] [SC-153421] Поддержка профилирования JVM исполнителя
- [SPARK-46746] [SC-153557] [SQL] [AVRO] Присоединение расширения codec к файлам источника данных avro
- [SPARK-46698] [SC-153288] [CORE] Замените таймер одним потоком запланированным исполнителем для ConsoleProgressBar.
- [SPARK-46629] [SC-153835] Исправление для типа DDL типа STRUCT, не допускающее значение NULL, и комментарий
- [SPARK-46750] [SC-153772] [CONNECT] [PYTHON] Очистка кода API кадра данных
- [SPARK-46769] [SC-153979] [SQL] Уточнение метки времени, связанного с выводом схемы
- [SPARK-46765] [SC-153904] [PYTHON] [CONNECT] Укажите
shuffle
тип данныхseed
- [SPARK-46579] [SC-151481] [SQL] Url-адрес Redact JDBC в ошибках и журналах
- [SPARK-46686] [SC-153875] [PYTHON] [CONNECT] Базовая поддержка профилировщика UDF на основе SparkSession
- [SPARK-46748] Возврат "[SC-153800][CORE] Удалить
*sla***.sh
scri... - [SPARK-46707] [SC-153833] [SQL] Добавлено вызываемое поле для выражений для улучшения pushdown предиката
- [SPARK-46519] [SC-151278] [SQL] Очистка неиспользуемых классов ошибок из
error-classes.json
файла - [SPARK-46677] [SC-153426] [SQL] [CONNECT] Исправление
dataframe["*"]
разрешения - [SPARK-46317] [SC-150184] [PYTHON] [CONNECT] Совпадение с незначительным поведением в SparkSession с полным покрытием теста
- [SPARK-46748] [SC-153800] [CORE] Удаление
*sla***.sh
скриптов - [SPARK-46663] [SC-153490] [PYTHON] Отключение профилировщика памяти для UDF pandas с помощью итераторов
- [SPARK-46410] [SC-150776] [SQL] Назначение классов ошибок/подклассов jdbcUtils.classifyException
- [SPARK-46277] [SC-150126] [PYTHON] Проверка URL-адресов запуска с помощью настраиваемой конфигурации
- [SPARK-46612] [SC-153536] [SQL] Не преобразуйте строку типа массива, полученную из драйвера jdbc
- [SPARK-46254] [SC-149788] [PYTHON] Удаление устаревшей проверки версии Python 3.8/3.7
- [SPARK-46490] [SC-151335] [SQL] Требовать классы ошибок в
SparkThrowable
подклассах - [SPARK-46383] [SC-153274] [SC-147443] [ТЕПЛОФИКС] Сокращение использования кучи драйверов путем уменьшения срока существования
TaskInfo.accumulables()
- [SPARK-46541] [SC-153109] [SQL] [CONNECT] Исправление неоднозначной ссылки на столбец при самостоятельном соединении
- [SPARK-46381] [SC-150495] [SQL] Перенос подклассов
AnalysisException
в классы ошибок - [SPARK-46351] [SC-150335] [SQL] Требовать класс ошибок в
AnalysisException
- [SPARK-46220] [SC-149689] [SQL] Ограничение наборов символов в
decode()
- [SPARK-46369] [SC-150340] [CORE] Удаление
kill
ссылки изRELAUNCHING
драйверов вMasterPage
- [SPARK-46052] [SC-153284] [CORE] Remove functionScheduler.killAllTaskAttempts
- [SPARK-46536] [SC-153164] [SQL] Поддержка GROUP BY calendar_interval_type
- [SPARK-46675] [SC-153209] [SQL] Удаление неиспользуемого inferTimestampNTZ в ParquetReadSupport
- [SPARK-46717] [SC-153423] [CORE] Упрощение
ReloadingX509TrustManager
операции выхода зависит только от потока прерываний. - [SPARK-46722] [SC-153438] [CONNECT] Добавьте тест относительно обратной проверки совместимости для StreamingQueryListener в Spark Connect (Scala/PySpark)
- [SPARK-46187] [SC-149580] [SQL] Выравнивание реализации codegen и некодегенов
StringDecode
- [SPARK-46258] [SC-149799] [CORE] Добавлять
RocksDBPersistenceEngine
- [SPARK-46216] [SC-149676] [CORE] Улучшение
FileSystemPersistenceEngine
поддержки сжатия - [SPARK-46189] [SC-149567] [PS] [SQL] Сравнение и арифметика между теми же типами в различных агрегатных функциях Pandas, чтобы избежать ошибок в режиме интерпретации
- [SPARK-46184] [SC-149563] [CORE] [SQL] [CONNECT] [MLLIB] Уменьшение глубины стека путем замены Option.isDefined на Option.isEmpty
- [SPARK-46700] [SC-153329] [CORE] Подсчет последнего разлива для метрики разлива диска с перемешиванием байтов
- [SPARK-45642] [SC-150286] [CORE] [SQL] Фиксировать
FileSystem.isFile & FileSystem.isDirectory is deprecated
- [SPARK-46640] [SC-153272] [SQL] Исправление RemoveRedundantAlias путем исключения атрибутов вложенных запросов
- [SPARK-46681] [SC-153287] [CORE] Рефакторинг
ExecutorFailureTracker#maxNumExecutorFailures
, чтобы избежать вычисленияdefaultMaxNumExecutorFailures
приMAX_EXECUTOR_FAILURES
настройке - [SPARK-46695] [SC-153289] [SQL] [HIVE] Всегда устанавливайте параметр hive.execution.engine для mr
- [SPARK-46325] [SC-150228] [CONNECT] Удаление ненужных переопределения функций при создании
WrappedCloseableIterator
вResponseValidator#wrapIterator
- [SPARK-46232] [SC-149699] [PYTHON] Перенесите все оставшиеся значения ValueError в платформу ошибок PySpark.
- [SPARK-46547] [SC-153174] [SS] Проглотить неустранимое исключение в задаче обслуживания, чтобы избежать взаимоблокировки между потоком обслуживания и оператором агрегирования потоковой передачи
- [SPARK-46169] [SC-149373] [PS] Назначьте соответствующие номера JIRA для отсутствующих параметров из
DataFrame
API. - [SPARK-45857] [SC-148096] [SQL] Принудительное применение классов ошибок в подклассах
AnalysisException
Поддержка драйвера ODBC/JDBC Databricks
Databricks поддерживает драйверы ODBC/JDBC, выпущенные за последние 2 года. Скачайте недавно выпущенные драйверы и обновление (скачайте ODBC, скачайте JDBC).
Системная среда
- Операционная система: Ubuntu 22.04.4 LTS
- Java: Zulu 8.74.0.17-CA-linux64
- Scala: 2.12.15
- Python: 3.11.0
- R: 4.3.2
- Delta Lake: 3.1.0
Установленные библиотеки Python
Библиотека | Версия | Библиотека | Версия | Библиотека | Версия |
---|---|---|---|---|---|
asttokens | 2.0.5 | astunparse | 1.6.3 | azure-core | 1.30.1 |
azure-storage-blob | 12.19.1 | azure-storage-file-datalake | 12.14.0 | backcall | 0.2.0 |
black | 23.3.0 | blinker | 1.4 | boto3 | 1.34.39 |
botocore | 1.34.39 | cachetools | 5.3.3 | certifi | 2023.7.22 |
cffi | 1.15.1 | chardet | 4.0.0 | charset-normalizer | 2.0.4 |
щелчок | 8.0.4 | cloudpickle | 2.2.1 | comm | 0.1.2 |
контурная диаграмма | 1.0.5 | криптография | 41.0.3 | cycler | 0.11.0 |
Cython | 0.29.32 | databricks-sdk | 0.20.0 | dbus-python | 1.2.18 |
debugpy | 1.6.7 | decorator | 5.1.1 | distlib | 0.3.8 |
entrypoints | 0,4 | executing | 0.8.3 | facets-overview | 1.1.1 |
filelock | 3.13.1 | шрифтовые инструменты | 4.25.0 | gitdb | 4.0.11 |
GitPython | 3.1.42 | google-api-core | 2.17.1 | google-auth | 2.28.2 |
google-cloud-core | 2.4.1 | google-cloud-storage | 2.15.0 | google-crc32c | 1.5.0 |
google-resumable-media | 2.7.0 | googleapis-common-protos | 1.63.0 | grpcio | 1.60.0 |
grpcio-status | 1.60.0 | httplib2 | 0.20.2 | idna | 3,4 |
importlib-metadata | 6.0.0 | ipyflow-core | 0.0.198 | ipykernel | 6.25.1 |
ipython | 8.15.0 | ipywidgets | 8.0.4 | isodate | 0.6.1 |
jedi | 0.18.1 | jeepney | 0.7.1 | jmespath | 0.10.0 |
joblib | 1.2.0 | jupyter_client | 7.4.9 | jupyter_core | 5.3.0 |
jupyterlab-widgets | 3.0.5 | нажатие клавиш | 23.5.0 | kiwisolver | 1.4.4 |
launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 |
matplotlib | 3.7.2 | matplotlib-inline | 0.1.6 | mlflow-skinny | 2.11.1 |
more-itertools | 8.10.0 | mypy-extensions | 0.4.3 | nest-asyncio | 1.5.6 |
numpy | 1.23.5 | oauthlib | 3.2.0 | во внешнем виде | 23,2 |
pandas | 2.0.3 | parso | 0.8.3 | pathspec | 0.10.3 |
patsy | 0.5.3 | pexpect | 4.8.0 | pickleshare | 0.7.5 |
Pillow | 9.4.0 | pip | 23.2.1 | platformdirs | 3.10.0 |
график | 5.9.0 | prompt-toolkit | 3.0.36 | protobuf | 4.24.1 |
psutil | 5.9.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
pure-eval | 0.2.2 | pyarrow | 14.0.1 | pyasn1 | 0.4.8 |
pyasn1-modules | 0.2.8 | pyccolo | 0.0.52 | pycparser | 2.21 |
pydantic | 1.10.6 | Pygments | 2.15.1 | PyGObject | 3.42.1 |
PyJWT | 2.3.0 | pyodbc | 4.0.38 | pyparsing | 3.0.9 |
python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.1.1 | pytz | 2022.7 |
PyYAML | 6,0 | pyzmq | 23.2.0 | requests | 2.31.0 |
rsa | 4,9 | s3transfer | 0.10.0 | scikit-learn | 1.3.0 |
scipy | 1.11.1 | мореборн | 0.12.2 | SecretStorage | 3.3.1 |
setuptools | 68.0.0 | six | 1.16.0 | smmap | 5.0.1 |
sqlparse | 0.4.4 | ssh-import-id | 5,11 | stack-data | 0.2.0 |
statsmodels | 0.14.0 | tenacity | 8.2.2 | threadpoolctl | 2.2.0 |
tokenize-rt | 4.2.1 | tornado | 6.3.2 | traitlets | 5.7.1 |
typing_extensions | 4.7.1 | tzdata | 2022.1 | ujson | 5.4.0 |
unattended-upgrades | 0,1 | urllib3 | 1.26.16 | virtualenv | 20.24.2 |
wadllib | 1.3.6 | wcwidth | 0.2.5 | wheel | 0.38.4 |
widgetsnbextension | 4.0.5 | zipp | 3.11.0 |
Установленные библиотеки R
Библиотеки R устанавливаются из моментального снимка Posit диспетчер пакетов CRAN 2023-02-10.
Библиотека | Версия | Библиотека | Версия | Библиотека | Версия |
---|---|---|---|---|---|
Стрелка | 14.0.0.2 | askpass | 1.2.0 | assertthat | 0.2.1 |
внутренние порты | 1.4.1 | base | 4.3.2 | base64enc | 0.1-3 |
bigD | 0.2.0 | bit | 4.0.5 | bit64 | 4.0.5 |
bitops | 1.0-7 | большой двоичный объект | 1.2.4 | загрузка | 1.3-28 |
заваривать | 1.0-10 | brio | 1.1.4 | метла | 1.0.5 |
bslib | 0.6.1 | cachem | 1.0.8 | вызывающий объект | 3.7.3 |
крышка | 6.0-94 | cellranger | 1.1.0 | chron | 2.3-61 |
class | 7.3-22 | cli | 3.6.2 | clipr | 0.8.0 |
clock | 0.7.0 | cluster | 2.1.4 | codetools | 0.2-19 |
colorspace | 2.1-0 | commonmark | 1.9.1 | компилятор | 4.3.2 |
config | 0.3.2 | Противоречие | 1.2.0 | cpp11 | 0.4.7 |
карандаш | 1.5.2 | учетные данные | 2.0.1 | curl | 5.2.0 |
data.table | 1.15.0 | наборы данных | 4.3.2 | DBI | 1.2.1 |
dbplyr | 2.4.0 | desc | 1.4.3 | средства разработки | 2.4.5 |
Схема | 1.6.5 | diffobj | 0.3.5 | digest | 0.6.34 |
downlit | 0.4.3 | dplyr | 1.1.4 | dtplyr | 1.3.1 |
e1071 | 1.7-14 | многоточие | 0.3.2 | evaluate | 0,23 |
вентиляторы | 1.0.6 | Farver | 2.1.1 | fastmap | 1.1.1 |
fontawesome | 0.5.2 | forcats | 1.0.0 | foreach | 1.5.2 |
иностранный | 0.8-85 | forge | 0.2.0 | fs | 1.6.3 |
будущее | 1.33.1 | future.apply | 1.11.1 | gargle | 1.5.2 |
Универсальные шаблоны | 0.1.3 | gert | 2.0.1 | ggplot2 | 3.4.4 |
gh | 1.4.0 | git2r | 0.33.0 | gitcreds | 0.1.2 |
glmnet | 4.1-8 | globals | 0.16.2 | клей | 1.7.0 |
googledrive | 2.1.1 | googlesheets4 | 1.1.1 | Говер | 1.0.1 |
графика | 4.3.2 | grDevices | 4.3.2 | grid | 4.3.2 |
gridExtra | 2.3 | gsubfn | 0,7 | gt | 0.10.1 |
gtable | 0.3.4 | hardhat | 1.3.1 | haven | 2.5.4 |
высокий | 0.10 | hms | 1.1.3 | htmltools | 0.5.7 |
htmlwidgets | 1.6.4 | httpuv | 1.6.14 | httr | 1.4.7 |
httr2 | 1.0.0 | ids | 1.0.1 | ini | 0.3.1 |
ipred | 0.9-14 | isoband | 0.2.7 | Итераторы | 1.0.14 |
jquerylib | 0.1.4 | jsonlite | 1.8.8 | juicyjuice | 0.1.0 |
KernSmooth | 2.23-21 | трикотажный | 1,45 | маркирование | 0.4.3 |
later | 1.3.2 | решётка | 0.21-8 | Lava | 1.7.3 |
жизненный цикл | 1.0.4 | listenv | 0.9.1 | lubridate | 1.9.3 |
magrittr | 2.0.3 | Markdown | 1.12 | МАССАЧУСЕТС | 7.3-60 |
«Матрица» | 1.5-4.1 | memoise | 2.0.1 | оплаты | 4.3.2 |
mgcv | 1.8-42 | мим | 0,12 | miniUI | 0.1.1.1 |
mlflow | 2.10.0 | ModelMetrics | 1.2.2.2 | modelr | 0.1.11 |
munsell | 0.5.0 | nlme | 3.1-163 | nnet | 7.3-19 |
numDeriv | 2016.8-1.1 | openssl | 2.1.1 | parallel | 4.3.2 |
parallelly | 1.36.0 | столб | 1.9.0 | pkgbuild | 1.4.3 |
pkgconfig | 2.0.3 | pkgdown | 2.0.7 | pkgload | 1.3.4 |
plogr | 0.2.0 | plyr | 1.8.9 | хвалить | 1.0.0 |
prettyunits | 1.2.0 | pROC | 1.18.5 | processx | 3.8.3 |
prodlim | 2023.08.28 | profvis | 0.3.8 | Ход выполнения | 1.2.3 |
progressr | 0.14.0 | promises | 1.2.1 | proto | 1.0.0 |
proxy | 0.4-27 | ps | 1.7.6 | purrr | 1.0.2 |
R6 | 2.5.1 | ragg | 1.2.7 | randomForest | 4.7-1.1 |
rappdirs | 0.3.3 | rcmdcheck | 1.4.0 | RColorBrewer | 1.1-3 |
Rcpp | 1.0.12 | RcppEigen | 0.3.3.9.4 | reactable | 0.4.4 |
ReactR | 0.5.0 | readr | 2.1.5 | readxl | 1.4.3 |
Рецепты | 1.0.9 | реванш | 2.0.0 | rematch2 | 2.1.2 |
remotes | 2.4.2.1 | reprex | 2.1.0 | reshape2 | 1.4.4 |
rlang | 1.1.3 | rmarkdown | 2,25 | RODBC | 1.3-23 |
roxygen2 | 7.3.1 | rpart | 4.1.21 | rprojroot | 2.0.4 |
Rserve | 1.8-13 | RSQLite | 2.3.5 | rstudioapi | 0.15.0 |
rversions | 2.1.2 | rvest | 1.0.3 | sass | 0.4.8 |
весы | 1.3.0 | селектор | 0.4-2 | sessioninfo | 1.2.2 |
форма | 1.4.6 | блестящий | 1.8.0 | sourcetools | 0.1.7-1 |
sparklyr | 1.8.4 | пространственный | 7.3-15 | Сплайны | 4.3.2 |
sqldf | 0.4-11 | SQUAREM | 2021.1 | stats | 4.3.2 |
статистика4 | 4.3.2 | stringi | 1.8.3 | stringr | 1.5.1 |
выживание | 3.5-5 | swagger | 3.33.1 | sys | 3.4.2 |
systemfonts | 1.0.5 | tcltk | 4.3.2 | testthat | 3.2.1 |
textshaping | 0.3.7 | tibble | 3.2.1 | tidyr | 1.3.1 |
tidyselect | 1.2.0 | tidyverse | 2.0.0 | timechange | 0.3.0 |
TimeDate | 4032.109 | tinytex | 0,49 | средства | 4.3.2 |
tzdb | 0.4.0 | urlchecker | 1.0.1 | usethis | 2.2.2 |
utf8 | 1.2.4 | служебные программы | 4.3.2 | uuid | 1.2-0 |
V8 | 4.4.1 | vctrs | 0.6.5 | viridisLite | 0.4.2 |
vroom | 1.6.5 | waldo | 0.5.2 | усы | 0.4.1 |
withr | 3.0.0 | xfun | 0,41 | xml2 | 1.3.6 |
xopen | 1.0.0 | xtable | 1.8-4 | yaml | 2.3.8 |
zeallot | 0.1.0 | zip | 2.3.1 |
Установленные библиотеки Java и Scala (версия кластера Scala 2.12)
ИД группы | Идентификатор артефакта | Версия |
---|---|---|
antlr | antlr | 2.7.7 |
com.amazonaws | amazon-kinesis-client | 1.12.0 |
com.amazonaws | aws-java-sdk-autoscaling | 1.12.390 |
com.amazonaws | aws-java-sdk-cloudformation | 1.12.390 |
com.amazonaws | aws-java-sdk-cloudfront | 1.12.390 |
com.amazonaws | aws-java-sdk-cloudhsm | 1.12.390 |
com.amazonaws | aws-java-sdk-cloudsearch | 1.12.390 |
com.amazonaws | aws-java-sdk-cloudtrail | 1.12.390 |
com.amazonaws | aws-java-sdk-cloudwatch | 1.12.390 |
com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.390 |
com.amazonaws | aws-java-sdk-codedeploy | 1.12.390 |
com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.390 |
com.amazonaws | aws-java-sdk-cognitosync | 1.12.390 |
com.amazonaws | aws-java-sdk-config | 1.12.390 |
com.amazonaws | aws-java-sdk-core | 1.12.390 |
com.amazonaws | aws-java-sdk-datapipeline | 1.12.390 |
com.amazonaws | aws-java-sdk-directconnect | 1.12.390 |
com.amazonaws | aws-java-sdk-directory | 1.12.390 |
com.amazonaws | aws-java-sdk-dynamodb | 1.12.390 |
com.amazonaws | aws-java-sdk-ec2 | 1.12.390 |
com.amazonaws | aws-java-sdk-ecs | 1.12.390 |
com.amazonaws | aws-java-sdk-efs | 1.12.390 |
com.amazonaws | aws-java-sdk-elasticache | 1.12.390 |
com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.390 |
com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.390 |
com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.390 |
com.amazonaws | aws-java-sdk-emr | 1.12.390 |
com.amazonaws | aws-java-sdk-glacier | 1.12.390 |
com.amazonaws | aws-java-sdk-glue | 1.12.390 |
com.amazonaws | aws-java-sdk-iam | 1.12.390 |
com.amazonaws | aws-java-sdk-importexport | 1.12.390 |
com.amazonaws | aws-java-sdk-kinesis | 1.12.390 |
com.amazonaws | aws-java-sdk-kms | 1.12.390 |
com.amazonaws | aws-java-sdk-lambda | 1.12.390 |
com.amazonaws | aws-java-sdk-logs | 1.12.390 |
com.amazonaws | aws-java-sdk-machinelearning | 1.12.390 |
com.amazonaws | aws-java-sdk-opsworks | 1.12.390 |
com.amazonaws | aws-java-sdk-rds | 1.12.390 |
com.amazonaws | aws-java-sdk-redshift | 1.12.390 |
com.amazonaws | aws-java-sdk-route53 | 1.12.390 |
com.amazonaws | aws-java-sdk-s3 | 1.12.390 |
com.amazonaws | aws-java-sdk-ses | 1.12.390 |
com.amazonaws | aws-java-sdk-simpledb | 1.12.390 |
com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.390 |
com.amazonaws | aws-java-sdk-sns | 1.12.390 |
com.amazonaws | aws-java-sdk-sqs | 1.12.390 |
com.amazonaws | aws-java-sdk-ssm | 1.12.390 |
com.amazonaws | aws-java-sdk-storagegateway | 1.12.390 |
com.amazonaws | aws-java-sdk-sts | 1.12.390 |
com.amazonaws | aws-java-sdk-support | 1.12.390 |
com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
com.amazonaws | aws-java-sdk-workspaces | 1.12.390 |
com.amazonaws | jmespath-java | 1.12.390 |
com.clearspring.analytics | потоковая передача | 2.9.6 |
com.databricks | Rserve | 1.8-3 |
com.databricks | databricks-sdk-java | 0.17.1 |
com.databricks | jets3t | 0.7.1–0 |
com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
com.esotericsoftware | kryo-shaded | 4.0.2 |
com.esotericsoftware | minlog | 1.3.0 |
com.fasterxml | classmate | 1.3.4 |
com.fasterxml.jackson.core | jackson-annotations | 2.15.2 |
com.fasterxml.jackson.core | jackson-core | 2.15.2 |
com.fasterxml.jackson.core | jackson-databind | 2.15.2 |
com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.15.2 |
com.fasterxml.jackson.dataformat | джексон-dataformat-yaml | 2.15.2 |
com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.15.2 |
com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.16.0 |
com.fasterxml.jackson.module | jackson-module-paranamer | 2.15.2 |
com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.15.2 |
com.github.ben-manes.caffeine | caffeine | 2.9.3 |
com.github.fommil | jniloader | 1,1 |
com.github.fommil.netlib | native_ref-java | 1,1 |
com.github.fommil.netlib | native_ref-java | 1.1-natives |
com.github.fommil.netlib | native_system-java | 1,1 |
com.github.fommil.netlib | native_system-java | 1.1-natives |
com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1-natives |
com.github.fommil.netlib | netlib-native_system-linux-x86_64 | 1.1-natives |
com.github.luben | zstd-jni | 1.5.5-4 |
com.github.wendykierp | JTransforms | 3.1 |
com.google.code.findbugs | jsr305 | 3.0.0 |
com.google.code.gson | gson | 2.10.1 |
com.google.crypto.tink | tink | 1.9.0 |
com.google.errorprone | error_prone_annotations | 2.10.0 |
com.google.flatbuffers | flatbuffers-java | 23.5.26 |
com.google.guava | guava | 15,0 |
com.google.protobuf | protobuf-java | 2.6.1 |
com.helger | профилировщик | 1.1.1 |
com.jcraft | jsch | 0.1.55 |
com.jolbox | bonecp | 0.8.0.RELEASE |
com.lihaoyi | sourcecode_2.12 | 0.1.9 |
com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
com.ning | compress-lzf | 1.1.2 |
com.sun.mail | javax.mail | 1.5.2 |
com.sun.xml.bind | jaxb-core | 2.2.11 |
com.sun.xml.bind | jaxb-impl | 2.2.11 |
com.tdunning | json | 1.8 |
com.thoughtworks.paranamer | paranamer | 2.8 |
com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
com.twitter | chill-java | 0.10.0 |
com.twitter | chill_2.12 | 0.10.0 |
com.twitter | util-app_2.12 | 7.1.0 |
com.twitter | util-core_2.12 | 7.1.0 |
com.twitter | util-function_2.12 | 7.1.0 |
com.twitter | util-jvm_2.12 | 7.1.0 |
com.twitter | util-lint_2.12 | 7.1.0 |
com.twitter | util-registry_2.12 | 7.1.0 |
com.twitter | util-stats_2.12 | 7.1.0 |
com.typesafe | config | 1.4.3 |
com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
com.uber | h3 | 3.7.3 |
com.univocity | univocity-parsers | 2.9.1 |
com.zaxxer | HikariCP | 4.0.3 |
commons-cli | commons-cli | 1.5.0 |
commons-codec | commons-codec | 1.16.0 |
commons-collections | commons-collections | 3.2.2 |
commons-dbcp | commons-dbcp | 1.4 |
commons-fileupload | commons-fileupload | 1.5 |
commons-httpclient | commons-httpclient | 3.1 |
commons-io | commons-io | 2.13.0 |
commons-lang | commons-lang | 2.6 |
commons-logging | commons-logging | 1.1.3 |
commons-pool | commons-pool | 1.5.4 |
dev.ludovic.netlib | arpack | 3.0.3 |
dev.ludovic.netlib | blas | 3.0.3 |
dev.ludovic.netlib | lapack | 3.0.3 |
info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
io.airlift | aircompressor | 0.25 |
io.delta | delta-sharing-client_2.12 | 1.0.4 |
io.dropwizard.metrics | метрики-заметки | 4.2.19 |
io.dropwizard.metrics | metrics-core | 4.2.19 |
io.dropwizard.metrics | metrics-graphite | 4.2.19 |
io.dropwizard.metrics | metrics-healthchecks | 4.2.19 |
io.dropwizard.metrics | metrics-jetty9 | 4.2.19 |
io.dropwizard.metrics | metrics-jmx | 4.2.19 |
io.dropwizard.metrics | metrics-json | 4.2.19 |
io.dropwizard.metrics | metrics-jvm | 4.2.19 |
io.dropwizard.metrics | metrics-servlets | 4.2.19 |
io.netty | netty-all | 4.1.96.Final |
io.netty | netty-buffer | 4.1.96.Final |
io.netty | netty-codec | 4.1.96.Final |
io.netty | netty-codec-http | 4.1.96.Final |
io.netty | netty-codec-http2 | 4.1.96.Final |
io.netty | netty-codec-socks | 4.1.96.Final |
io.netty | netty-common | 4.1.96.Final |
io.netty | netty-handler | 4.1.96.Final |
io.netty | netty-handler-proxy | 4.1.96.Final |
io.netty | netty-resolver | 4.1.96.Final |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-aarch_64 |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-x86_64 |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-aarch_64 |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-x86_64 |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-windows-x86_64 |
io.netty | netty-tcnative-classes | 2.0.61.Final |
io.netty | netty-transport | 4.1.96.Final |
io.netty | netty-transport-classes-epoll | 4.1.96.Final |
io.netty | netty-transport-classes-kqueue | 4.1.96.Final |
io.netty | netty-transport-native-epoll | 4.1.96.Final |
io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-aarch_64 |
io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-x86_64 |
io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-aarch_64 |
io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-x86_64 |
io.netty | netty-transport-native-unix-common | 4.1.96.Final |
io.prometheus | simpleclient | 0.7.0 |
io.prometheus | simpleclient_common | 0.7.0 |
io.prometheus | simpleclient_dropwizard | 0.7.0 |
io.prometheus | simpleclient_pushgateway | 0.7.0 |
io.prometheus | simpleclient_servlet | 0.7.0 |
io.prometheus.jmx | коллектор | 0.12.0 |
jakarta.annotation | jakarta.annotation-api | 1.3.5 |
jakarta.servlet | jakarta.servlet-api | 4.0.3 |
jakarta.validation | jakarta.validation-api | 2.0.2 |
jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
javax.activation | activation | 1.1.1 |
javax.el | javax.el-api | 2.2.4 |
javax.jdo | jdo-api | 3.0.1 |
javax.transaction | jta | 1,1 |
javax.transaction | transaction-api | 1,1 |
javax.xml.bind | jaxb-api | 2.2.11 |
javolution | javolution | 5.5.1 |
jline | jline | 2.14.6 |
joda-time | joda-time | 2.12.1 |
net.java.dev.jna | jna | 5.8.0 |
net.razorvine | pickle | 1,3 |
net.sf.jpam | jpam | 1,1 |
net.sf.opencsv | opencsv | 2.3 |
net.sf.supercsv | super-csv | 2.2.0 |
net.snowflake | snowflake-ingest-sdk | 0.9.6 |
net.sourceforge.f2j | arpack_combined_all | 0,1 |
org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
org.antlr | ST4 | 4.0.4 |
org.antlr | antlr-runtime | 3.5.2 |
org.antlr | antlr4-runtime | 4.9.3 |
org.antlr | stringtemplate | 3.2.1 |
org.apache.ant | ant | 1.10.11 |
org.apache.ant | ant-jsch | 1.10.11 |
org.apache.ant | ant-launcher | 1.10.11 |
org.apache.arrow | arrow-format | 15.0.0 |
org.apache.arrow | arrow-memory-core | 15.0.0 |
org.apache.arrow | arrow-memory-netty | 15.0.0 |
org.apache.arrow | arrow-vector | 15.0.0 |
org.apache.avro | avro | 1.11.3 |
org.apache.avro | avro-ipc | 1.11.3 |
org.apache.avro | avro-mapred | 1.11.3 |
org.apache.commons | commons-collections4 | 4.4. |
org.apache.commons | commons-compress | 1.23.0 |
org.apache.commons | commons-crypto | 1.1.0 |
org.apache.commons | commons-lang3 | 3.12.0 |
org.apache.commons | commons-math3 | 3.6.1 |
org.apache.commons | commons-text | 1.10.0 |
org.apache.curator | curator-client | 2.13.0 |
org.apache.curator | curator-framework | 2.13.0 |
org.apache.curator | curator-recipes | 2.13.0 |
org.apache.datasketches | datasketches-java | 3.1.0 |
org.apache.datasketches | datasketches-memory | 2.0.0 |
org.apache.derby | derby | 10.14.2.0 |
org.apache.hadoop | hadoop-client-runtime | 3.3.6 |
org.apache.hive | hive-beeline | 2.3.9 |
org.apache.hive | hive-cli | 2.3.9 |
org.apache.hive | hive-jdbc | 2.3.9 |
org.apache.hive | hive-llap-client | 2.3.9 |
org.apache.hive | hive-llap-common | 2.3.9 |
org.apache.hive | hive-serde | 2.3.9 |
org.apache.hive | hive-shims | 2.3.9 |
org.apache.hive | hive-storage-api | 2.8.1 |
org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
org.apache.hive.shims | hive-shims-common | 2.3.9 |
org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
org.apache.httpcomponents | httpclient | 4.5.14 |
org.apache.httpcomponents | httpcore | 4.4.16 |
org.apache.ivy | ivy | 2.5.1 |
org.apache.logging.log4j | log4j-1.2-api | 2.22.1 |
org.apache.logging.log4j | log4j-api | 2.22.1 |
org.apache.logging.log4j | log4j-core | 2.22.1 |
org.apache.logging.log4j | log4j-slf4j2-impl | 2.22.1 |
org.apache.orc | orc-core | 1.9.2-шейд-protobuf |
org.apache.orc | orc-mapreduce | 1.9.2-шейд-protobuf |
org.apache.orc | orc-shims | 1.9.2 |
org.apache.thrift | libfb303 | 0.9.3 |
org.apache.thrift | libthrift | 0.12.0 |
org.apache.ws.xmlschema | xmlschema-core | 2.3.0 |
org.apache.xbean | xbean-asm9-shaded | 4,23 |
org.apache.yetus | audience-annotations | 0.13.0 |
org.apache.zookeeper | zookeeper | 3.6.3 |
org.apache.zookeeper | zookeeper-jute | 3.6.3 |
org.checkerframework | checker-qual | 3.31.0 |
org.codehaus.jackson | jackson-core-asl | 1.9.13 |
org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
org.codehaus.janino | commons-compiler | 3.0.16 |
org.codehaus.janino | janino | 3.0.16 |
org.datanucleus | datanucleus-api-jdo | 4.2.4 |
org.datanucleus | datanucleus-core | 4.1.17 |
org.datanucleus | datanucleus-rdbms | 4.1.19 |
org.datanucleus | javax.jdo | 3.2.0-m3 |
org.eclipse.collections | eclipse-collections | 11.1.0 |
org.eclipse.collections | Eclipse-collections-api | 11.1.0 |
org.eclipse.jetty | jetty-client | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-continuation | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-http | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-io | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-jndi | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-plus | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-proxy | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-security | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-server | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-servlet | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-servlets | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-util | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-util-ajax | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-webapp | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-xml | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | websocket-api | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | websocket-client | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | websocket-common | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | websocket-server | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | websocket-servlet | 9.4.52.v20230823 |
org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
org.glassfish.hk2 | hk2-api | 2.6.1 |
org.glassfish.hk2 | hk2-locator | 2.6.1 |
org.glassfish.hk2 | hk2-utils | 2.6.1 |
org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
org.glassfish.jersey.containers | jersey-container-servlet | 2.40 |
org.glassfish.jersey.containers | jersey-container-servlet-core | 2.40 |
org.glassfish.jersey.core | jersey-client | 2.40 |
org.glassfish.jersey.core | jersey-common | 2.40 |
org.glassfish.jersey.core | jersey-server | 2.40 |
org.glassfish.jersey.inject | jersey-hk2 | 2.40 |
org.hibernate.validator | hibernate-validator | 6.1.7.Final |
org.ini4j | ini4j | 0.5.4 |
org.javassist | javassist | 3.29.2-GA |
org.jboss.logging | jboss-logging | 3.3.2.Final |
org.jdbi | jdbi | 2.63.1 |
org.jetbrains | annotations | 17.0.0 |
org.joda | joda-convert | 1,7 |
org.jodd | jodd-core | 3.5.2 |
org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
org.json4s | json4s-core_2.12 | 3.7.0-M11 |
org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
org.lz4 | lz4-java | 1.8.0 |
org.mlflow | mlflow-spark_2.12 | 2.9.1 |
org.objenesis | objenesis | 2.5.1 |
org.postgresql | postgresql | 42.6.1 |
org.roaringbitmap | RoaringBitmap | 0.9.45 |
org.roaringbitmap | shims | 0.9.45 |
org.rocksdb | rocksdbjni | 8.3.2 |
org.rosuda.REngine | REngine | 2.1.0 |
org.scala-lang | scala-compiler_2.12 | 2.12.15 |
org.scala-lang | scala-library_2.12 | 2.12.15 |
org.scala-lang | scala-reflect_2.12 | 2.12.15 |
org.scala-lang.modules | scala-collection-compat_2.12 | 2.11.0 |
org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
org.scala-sbt | test-interface | 1.0 |
org.scalacheck | scalacheck_2.12 | 1.14.2 |
org.scalactic | scalactic_2.12 | 3.2.15 |
org.scalanlp | breeze-macros_2.12 | 2.1.0 |
org.scalanlp | breeze_2.12 | 2.1.0 |
org.scalatest | Scalatest-compatible | 3.2.15 |
org.scalatest | scalatest-core_2.12 | 3.2.15 |
org.scalatest | scalatest-diagrams_2.12 | 3.2.15 |
org.scalatest | scalatest-featurespec_2.12 | 3.2.15 |
org.scalatest | scalatest-flatspec_2.12 | 3.2.15 |
org.scalatest | scalatest-freespec_2.12 | 3.2.15 |
org.scalatest | scalatest-funspec_2.12 | 3.2.15 |
org.scalatest | scalatest-funsuite_2.12 | 3.2.15 |
org.scalatest | scalatest-matchers-core_2.12 | 3.2.15 |
org.scalatest | scalatest-mustmatchers_2.12 | 3.2.15 |
org.scalatest | scalatest-propspec_2.12 | 3.2.15 |
org.scalatest | scalatest-refspec_2.12 | 3.2.15 |
org.scalatest | scalatest-shouldmatchers_2.12 | 3.2.15 |
org.scalatest | scalatest-wordspec_2.12 | 3.2.15 |
org.scalatest | scalatest_2.12 | 3.2.15 |
org.slf4j | jcl-over-slf4j | 2.0.7 |
org.slf4j | jul-to-slf4j | 2.0.7 |
org.slf4j | slf4j-api | 2.0.7 |
org.slf4j | slf4j-simple | 1.7.25 |
org.threeten | threeten-extra | 1.7.1 |
org.tukaani | xz | 1,9 |
org.typelevel | algebra_2.12 | 2.0.1 |
org.typelevel | cats-kernel_2.12 | 2.1.1 |
org.typelevel | spire-macros_2.12 | 0.17.0 |
org.typelevel | spire-platform_2.12 | 0.17.0 |
org.typelevel | spire-util_2.12 | 0.17.0 |
org.typelevel | spire_2.12 | 0.17.0 |
org.wildfly.openssl | wildfly-openssl | 1.1.3.Final |
org.xerial | sqlite-jdbc | 3.42.0.0 |
org.xerial.snappy | snappy-java | 1.1.10.3 |
org.yaml | snakeyaml | 2.0 |
oro | oro | 2.0.8 |
pl.edu.icm | JLargeArrays | 1.5 |
software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.1-linux-x86_64 |
software.amazon.ion | ion-java | 1.0.2 |
stax | stax-api | 1.0.1 |