Поделиться через

Databricks Runtime 10.5 (EoS)

  • Статья

Примечание.

Поддержка этой версии databricks Runtime закончилась. Сведения о дате окончания поддержки см . в журнале завершения поддержки. Все поддерживаемые версии среды выполнения Databricks см. в заметках о выпуске Databricks Runtime и совместимости.

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 10.5 на платформе Apache Spark 3.2.1. Databricks выпустила эту версию в мае 2022 года.

Новые функции и внесенные улучшения

SQL: новые функции to_number и try_to_number

Функции to_number и try_to_number позволяют преобразовывать символьные представления чисел в различных форматах в формат DECIMAL.

SQL: новая функция try_sum

В отличие от sum, агрегатная функция try_sum возвращает значение NULL вместо ошибки при переполнении.

SQL: обновление функций ceil, ceiling и floor

Функции ceil, ceiling и floor теперь поддерживают второй необязательный аргумент, позволяющий указать требуемую точность округления.

SQL: новые агрегатные функции regr_avgx и regr_avgy

Новые агрегатные функции regr_avgx и regr_avgy поддерживают линейные регрессии.

SQL: обновление функций contains, startswith и endswith

Функции contains, startswith и endswith теперь поддерживают в качестве входных данных не только строки, но и двоичные типы данных.

SQL: новая функция array_size

Новая функция array_size вычисляет размер массива.

Каталог Unity: выходные данные SQL LIST удаляют столбец is_directory и добавляют конечный символ / к путям к каталогам (общедоступная предварительная версия)

Выходные данные инструкции SQL LIST для перечисления путей, управляемых каталогом Unity, изменились. Столбец is_directory больше не отображается. Вместо этого пути, представляющие каталоги, теперь заканчиваются косой чертой (/) для столбцов path и name. Это изменение предназначено для обеспечения согласованности с выходными данными команды dbutils.fs.ls.

Автозагрузчик: новая функция SQL CLOUD_FILES_STATE

Новую функцию CLOUD_FILES_STATE можно использовать для запроса внутреннего состояния потока автозагрузчика. См. раздел Запрашивание файлов, обнаруженных автозагрузчиком.

Автозагрузчик: поддержка уведомлений о файлах теперь общедоступна

Поддержка уведомлений о файлах для автозагрузчика в Google Cloud теперь является общедоступной.

Delta Lake: новый параметр maxRecordsPerFile для максимального числа записей в одном файле

При использовании API DataFrame для записи в таблицу Delta можно указать максимальное количество записей в одном файле с помощью параметра maxRecordsPerFile. Указание нулевого или отрицательного значения означает отсутствие ограничения. Сведения о настройке Delta Lake для управления размером файла данных.

Прекращение поддержки Koalas

Koalas больше не поддерживается. Koalas предоставляет API pandas на основе Apache Spark. Проект Koalas разрабатывался сообществом и был доступен в виде API pandas в Spark начиная с версии Apache Spark 3.2. Проект Koalas по-прежнему предустановлен в Databricks Runtime 10.5, но он больше не будет предустанавливаться начиная со следующей версии Databricks Runtime.

Дополнительные сведения об API pandas в Spark см. по следующим ссылкам:

Новый столбец _metadata для всех форматов файлов

Вы можете получать сведения о метаданных для входных файлов из столбца _metadata. Столбец _metadata является скрытым. Этот столбец доступен для всех форматов входных файлов. Чтобы включить столбец _metadata в результирующий DataFrame, необходимо указать в запросе явную ссылку на этот столбец. См. также Столбец метаданных файла.

Тестирование конвейера разностных динамических таблиц с помощью Databricks Runtime 10.5

Databricks Runtime 10.5 теперь является поддерживаемой версией preview для разностных динамических таблиц. Чтобы протестировать работу конвейер с Databricks Runtime 10.5, задайте для параметра channel значение preview в параметрах этого конвейера.

Исправления ошибок

  • Исправлено отображение результатов метрик numUpdatedRows и numCopiedRows для операций обновления в таблицах Delta, для которых включена функция отслеживания измененных данных (CDC).

Обновления библиотек

  • Обновленные библиотеки Python:
    • plotly — с версии 5.5.0 до 5.6.0.
  • Обновленные библиотеки R:
    • base — с версии 4.1.2 до 4.1.3;
    • caret — с версии 6.0-90 до 6.0-91;
    • cluster — с версии 2.1.2 до 2.1.3;
    • commonmark — с версии 1.7 до 1.8.0;
    • compiler  — с версии 4.1.2 до 4.1.3;
    • crayon — с версии 1.5.0 до 1.5.1;
    • datasets — с версии 4.1.2 до 4.1.3;
    • desc — с версии 1.4.0 до 1.4.1;
    • fansi — с версии 1.0.2 до 1.0.3;
    • glue — с версии 1.6.1 до 1.6.2;
    • graphics — с версии 4.1.2 до 4.1.3;
    • grDevices — с версии 4.1.2 до 4.1.3;
    • grid — с версии 4.1.2 до 4.1.3;
    • knitr — с версии 1.37 до 1.38;
    • MASS — с версии 7.3-55 до 7.3-56;
    • Matrix — с версии 1.4-0 до 1.4-1;
    • methods — с версии 4.1.2 до 4.1.3;
    • mgcv — с версии 1.8-39 до 1.8-40;
    • nlme — с версии 3.1-155 до 3.1-157;
    • openssl — с версии 1.4.6 до 2.0.0;
    • parallel — с версии 4.1.2 до 4.1.3;
    • plyr — с версии 1.8.6 до 1.8.7;
    • processx — с версии 3.5.2 до 3.5.3;
    • r2d3 — с версии 0.2.5 до 0.2.6;
    • Rcpp — с версии 1.0.8 до 1.0.8.3;
    • rlang — с версии 1.0.1 до 1.0.2;
    • rmarkdown — с версии 2.11 до 2.13;
    • RSQLite — с версии 2.2.10 до 2.2.11;
    • sass — с версии 0.4.0 до 0.4.1;
    • splines — с версии 4.1.2 до 4.1.3;
    • stats — с версии 4.1.2 до 4.1.3;
    • stats4 — с версии 4.1.2 до 4.1.3;
    • tcltk — с версии 4.1.2 до 4.1.3;
    • tools — с версии 4.1.2 до 4.1.3;
    • utils — с версии 4.1.2 до 4.1.3;
    • uuid — с версии 1.0-3 до 1.0-4;
    • waldo — с версии 0.3.1 до 0.4.0;
    • withr — с версии 2.4.3 до 2.5.0;
    • xfun — с версии 0.29 до 0.30.
  • Обновленные библиотеки Java:
    • com.h2database.h2 — с версии 1.4.195 до 2.1.210;
    • org.apache.hadoop.hadoop-client-api — с версии 3.3.1-databricks до 3.3.2-databricks;
    • org.apache.hadoop.hadoop-client-runtime — с версии 3.3.1 до 3.3.2.
    • org.rocksdb.rocksdbjni — с версии 6.24.2 до 6.20.3

Apache Spark

Databricks Runtime 10.5 включает Apache Spark 3.2.1. Этот выпуск включает в себя все исправления и улучшения Spark, добавленные в Databricks Runtime 10.4 LTS, а также следующие дополнительные исправления ошибок и улучшения Spark:

  • [SPARK-38354] [SC-97886] Revert "[SQL] Добавление метрики хэш-проб для перемешанного хэш-соединения.
  • [SPARK-38484] [SAS-103][SAS-111][SAS-113][SC-98102][Cherry-Pick] Инструментирование SQL-модуля PySpark с использованием общего средства ведения журнала.
  • [SPARK-38333] [SQL] Выражение PlanExpression должно пропускать функцию addExprTree в исполнителе.
  • [SPARK-38646] [PYTHON][10.x] Извлечение признака для функций Python.
  • [SPARK-38674] [PHOTON] Добавление метрики в PhotonSubqueryBroadcastExec.
  • [SPARK-38787] [SS] Замена найденного значения ненулевым элементом в оставшемся списке для ключа и удаление оставшихся нулевых элементов из значений в хранилище keyWithIndexToValue для соединений "поток — поток".
  • [SPARK-38446] [Core] Исправлена взаимоблокировка между ExecutorClassLoader и FileDownloadCallback, вызванная Log4j.
  • [SPARK-38705] [SQL] Использование идентификатора функции при создании и удалении команды функции.
  • [SPARK-38684] [SS] Исправлена проблема корректности при внешнем соединении "поток — поток" с поставщиком хранилища состояний RocksDB.
  • [SPARK-38655] [SQL] OffsetWindowFunctionFrameBase не может найти строку смещения, входные данные которой не равны NULL.
  • [SPARK-38204] [SS] Использование StatefulOpClusteredDistribution для операторов с отслеживанием состояния с учетом обратной совместимости.
  • [SPARK-38616] [SQL] Отслеживание текста запроса SQL в Catalyst TreeNode.
  • [SPARK-38600] [SQL] Включение unit в строку SQL в TIMESTAMPADD/DIFF.
  • [SPARK-34805] [SQL] Распространение метаданных из вложенных столбцов в псевдониме.
  • [SPARK-38535] [SQL] Добавление перечисления datetimeUnit и его использование в TIMESTAMPADD/DIFF.
  • [SPARK-38415] [SQL] Обновление типа результата histogram_numeric (x, y), чтобы сделать x == типом входных данных.
  • [SPARK-38148] [SQL] Динамическое удаление секций не добавляется, если существует статическое удаление.
  • [SPARK-37527] [SQL] Компиляция COVAR_POP, COVAR_SAMP и CORR в H2Dialet.
  • [SPARK-38510] [SQL] Повторные попытки ClassSymbol.selfType для обхода циклических ссылок.
  • [SPARK-38509] [SQL] Отмена регистрации функций TIMESTAMPADD/DIFF и удаление DATE_ADD/DIFF.
  • [SPARK-38504] [SQL] TimestampNTZ не читается как TimestampLTZ.
  • [SPARK-38526] [SQL] Исправление неверного имени псевдонима функции для RuntimeReplaceable.
  • [SPARK-38335] [SQL] Реализация поддержки средства синтаксического анализа для значений столбцов по умолчанию.
  • [SPARK-38593] [SS] Перенос метрики числа удаленных поздних событий в SessionWindowStateStoreSaveExec.
  • [SPARK-38549] [SS] Добавление numRowsDroppedByWatermark в SessionWindowStateStoreRestoreExec.
  • [SPARK-38583] [SQL] Восстановление поведения to_timestamp, позволяющего использовать числовые типы.
  • [SPARK-38481] [SQL] Замена исключения переполнения Java из TIMESTAMPADD на исключение Spark.
  • [SPARK-37753] [SQL] Настройка логики понижения уровня широковещательного хэш-соединения в DynamicJoinSelection.
  • [SPARK-37582] [SPARK-37583][SQL] CONTAINS, STARTSWITH, ENDSWITH должны поддерживать как строковые, так и двоичные типы.
  • [SPARK-38345] [SQL] Добавление функции SQL ARRAY_SIZE.
  • [SPARK-38385] [SQL] Улучшение сообщений об ошибках "пустой оператор" и <EOF> в ParseException.
  • [SPARK-37614] [SQL] Поддержка агрегатной функции ANSI: regr_avgx & regr_avgy
  • [SPARK-38560] [SQL] Если Sum, Count, Any сопровождаются distinct, невозможно частично выполнить включение статических вычислений.
  • [SPARK-38360] [SQL][SS][PYTHON] Добавление функции exists для TreeNode для устранения повторяющихся шаблонов кода.
  • [SPARK-38385] [SQL] Улучшение сообщений об ошибках "несовпадение входных данных" из ANTLR.
  • [SPARK-38240] [SQL] Улучшение RuntimeReplaceable и добавление руководства по добавлению новых функций.
  • [SPARK-38542] [SQL]UnsafeHashedRelation должно сериализовать numKeys.
  • [SPARK-38521] [SQL] Замена partitionOverwriteMode со строки на переменную в Scala.
  • [SPARK-38558] [SQL] Удаление ненужных приведений между IntegerType и IntDecimal.
  • [SPARK-38489] [SQL] Aggregate.groupOnly поддерживает свертываемые выражения.
  • [SPARK-38410] [SQL] Поддержка указания начального номера секции для повторной балансировки.
  • [SPARK-38107] [SQL] Классы ошибок теперь используются в ошибках компиляции определяемых пользователем функций Python/pandas.
  • [SPARK-38354] [SQL] Добавление метрики хэш-проб для перемешанного хэш-соединения.
  • [SPARK-38112] [SQL] Теперь классы ошибок используются в ошибках выполнения обработки меток даты и времени.
  • [SPARK-38361] [SQL] Добавление фабричного метода getConnection в JDBCDialect.
  • [SPARK-37865] [SQL] Исправлена ошибка правильности дедупликации объединения.
  • [SPARK-38298] [SQL][Tests] Исправлены DataExpressionSuite, NullExpressionsSuite, StringExpressionsSuite, complexTypesSuite, CastSuite в режиме ANSI.
  • [SPARK-38407] [SQL] Приведение ANSI: ослаблено ограничение на приведение ненулевых сложных типов.
  • [SPARK-38352] [SQL] Исправлены DataFrameAggregateSuite/DataFrameSetOperationsSuite/DataFrameWindowFunctionsSuite в режиме ANSI.
  • [SPARK-38054] [SQL] Поддержка перечисления пространств имен в диалекте MySQL JDBC версии 2.
  • [SPARK-37960] [SQL] Новая платформа для представления выражений-катализаторов в API DS версии 2.
  • [SPARK-38103] [SQL] Перенос анализа ошибок преобразования на новую платформу обработки ошибок.
  • [SPARK-38519] [SQL] Исключение AQE должно учитывать SparkFatalException.
  • [SPARK-38528] [SQL] Итерации по совокупной последовательности при построении списка проектов в ExtractGenerator.
  • [SPARK-38320] [SS] Исправлено время ожидания flatMapGroupsWithState в пакете с данными для ключа.
  • [SPARK-38442] [SQL] Исправлены ConstantFoldingSuite/ColumnExpressionSuite/DataFrameSuite/AdaptiveQueryExecSuite в режиме ANSI.
  • [SPARK-38268] [SQL] Скрытие поля failOnError в методе toString в Abs/CheckOverflow.
  • [SPARK-37949] [SQL] Усовершенствование оценки статистики повторной балансировки.
  • [SPARK-38450] [SQL] Исправлены HiveQuerySuite//PushFoldableIntoBranchesSuite/TransposeWindowSuite в режиме ANSI.
  • [SPARK-38501] [SQL] Исправлены сбои тестов thriftserver в режиме ANSI.
  • [SPARK-37895] [SQL] Фильтрация столбца pushdown с помощью имен столбцов, заключенных в кавычки.
  • [SPARK-38449] [SQL] Избежание вызова createTable, если ignoreIfExists=true и таблица существует.
  • [SPARK-38406] [SQL] Повышение производительности ShufflePartitionsUtil createSkewPartitionSpecs.
  • [SPARK-37947] [SQL] Извлечение генератора из выражения GeneratorOuter, содержащегося в операторе Generate.
  • [SPARK-38309] [CORE] Исправлены метрики процентиля SHS shuffleTotalReads и shuffleTotalBlocks.
  • [SPARK-38412] [SS] Исправлена последовательность from и to в StateSchemaCompatibilityChecker.
  • [SPARK-38267] [CORE][SQL][SS] Сопоставления шаблонов в логических выражениях заменены условными операторами.
  • [SPARK-38104] [SQL] Перенос анализа ошибок окон на новую платформу обработки ошибок.
  • [SPARK-38434] [SQL] Исправлена семантика метода CheckAnalysis.getDataTypesAreCompatibleFn.
  • [SPARK-38033] [SS] Обработка структурированной потоковой передачи не может быть запущена, так как commitId и offsetId не согласованы.
  • [SPARK-38378] [SQL] Рефакторинг определения грамматики ANTLR в отдельные файлы Parser и Lexer.
  • [SPARK-37475] [SQL] Добавление параметра масштабирования в функции floor и ceil.
  • [SPARK-38411] [CORE] Использование UTF-8, если doMergeApplicationListingInternal считывает журналы событий.
  • [SPARK-36553] [ML] KMeans не вычисляет вспомогательную статистику при больших значениях K.
  • [SPARK-38393] [SQL] Удаление GenSeq/GenMap после прекращения поддержки.
  • [SPARK-38389] [SQL] Добавление псевдонимов DATEDIFF() и DATE_DIFF() для TIMESTAMPDIFF().
  • [SPARK-33206] [CORE][3.2] Исправлено вычисление веса кэша индекса Shuffle для небольших файлов индекса.
  • [SPARK-38353] [PYTHON] Инструментирование магических методов enter иexit для API Pandas в Spark.
  • [SPARK-38323] [SQL][Streaming] Поддержка скрытых метаданных файлов при потоковой передаче.
  • [SPARK-38138] [SQL] Материализация вложенных запросов QueryPlan.
  • [SPARK-38094] Включение сопоставления имен столбцов схемы по идентификаторам полей.
  • [SPARK-37923] [SQL] Создание преобразований секций для BucketSpec внутри средства синтаксического анализа.
  • [SPARK-38363] [SQL] Избежание ошибки времени выполнения в Dataset.summary()/Dataset.describe() при включенном режиме ANSI.
  • [SPARK-38284] [SQL] Добавлена функция TIMESTAMPDIFF().
  • [SPARK-38251] [SQL] Изменение Cast.toString на cast вместо ansi_cast в режиме ANSI.
  • [SPARK-38314] [SQL] Исправлена ошибка чтения файлов Parquet после записи скрытых метаданных файлов

См. статью Обновления в рамках обслуживания Databricks Runtime 10.5.

Системная среда

  • Операционная система: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14.
  • Python: 3.8.10
  • R: 4.1.3.
  • Delta Lake: 1.2.1

Установленные библиотеки Python

Библиотека Версия Библиотека Версия Библиотека Версия
Antergos Linux 2015.10 (ISO-Rolling) appdirs 1.4.4 argon2-cffi 20.1.0
async-generator 1,10 attrs 20.3.0 backcall 0.2.0
bidict 0.21.4 bleach 3.3.0 boto3 1.16.7
botocore 1.19.7 certifi 2020.12.5 cffi 1.14.5
chardet 4.0.0 cycler 0.10.0 Cython 0.29.23
dbus-python 1.2.16 decorator 5.0.6 defusedxml 0.7.1
distlib 0.3.4 distro-info 0.23ubuntu1 entrypoints 0,3
facets-overview 1.0.0 filelock 3.6.0 idna 2,10
ipykernel 5.3.4 ipython 7.22.0 ipython-genutils 0.2.0
ipywidgets 7.6.3 jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 jsonschema 3.2.0
jupyter-client 6.1.12 jupyter-core 4.7.1 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 kiwisolver 1.3.1 koalas 1.8.2
MarkupSafe 2.0.1 matplotlib 3.4.2 mistune 0.8.4
nbclient 0.5.3 nbconvert 6.0.7 nbformat 5.1.3
nest-asyncio 1.5.1 записная книжка 6.3.0 numpy 1.20.1
во внешнем виде 20,9 pandas 1.2.4 pandocfilters 1.4.3
parso 0.7.0 patsy 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 Pillow 8.2.0 pip 21.0.1
график 5.6.0 prometheus-client 0.10.1 prompt-toolkit 3.0.17
protobuf 3.17.2 psycopg2 2.8.5 ptyprocess 0.7.0
pyarrow 4.0.0 pycparser 2,20 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 pyrsistent 0.17.3
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.1 python-engineio 4.3.0
python-socketio 5.4.1 pytz 2020.5 pyzmq 20.0.0
requests 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 мореборн 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 six 1.15.0
ssh-import-id 5,10 statsmodels 0.12.2 tenacity 8.0.1
terminado 0.9.4 testpath 0.4.4 threadpoolctl 2.1.0
tornado 6.1 traitlets 5.0.5 unattended-upgrades 0,1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
webencodings 0.5.1 wheel 0.36.2 widgetsnbextension 3.5.1

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка Microsoft Cran от 28.03.2022.

Библиотека Версия Библиотека Версия Библиотека Версия
askpass 1,1 assertthat 0.2.1 внутренние порты 1.4.1
base 4.1.3 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 большой двоичный объект 1.2.2 загрузка 1.3-28
заваривать 1.0-7 brio 1.1.3 метла 0.7.12
bslib 0.3.1 cachem 1.0.6 вызывающий объект 3.7.0
крышка 6.0-91 cellranger 1.1.0 chron 2.3-56
class 7.3-20 cli 3.2.0 clipr 0.8.0
cluster 2.1.3 codetools 0.2-18 colorspace 2.0-3
commonmark 1.8.0 компилятор 4.1.3 config 0.3.1
cpp11 0.4.2 карандаш 1.5.1 учетные данные 1.3.2
curl 4.3.2 data.table 1.14.2 наборы данных 4.1.3
DBI 1.1.2 dbplyr 2.1.1 desc 1.4.1
средства разработки 2.4.3 diffobj 0.3.5 digest 0.6.29
dplyr 1.0.8 dtplyr 1.2.1 e1071 1.7-9
многоточие 0.3.2 evaluate 0,15 вентиляторы 1.0.3
Farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.2 иностранный 0.8-82
forge 0.2.0 fs 1.5.2 будущее 1.24.0
future.apply 1.8.1 gargle 1.2.0 Универсальные шаблоны 0.1.2
gert 1.5.0 ggplot2 3.3.5 gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-3 globals 0.14.0
клей 1.6.2 googledrive 2.0.0 googlesheets4 1.0.0
Говер 1.0.0 графика 4.1.3 grDevices 4.1.3
grid 4.1.3 gridExtra 2.3 gsubfn 0,7
gtable 0.3.0 hardhat 0.2.0 haven 2.4.3
высокий 0,9 hms 1.1.1 htmltools 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.5 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ids 1.0.1
ini 0.3.1 ipred 0.9-12 isoband 0.2.5
Итераторы 1.0.14 jquerylib 0.1.4 jsonlite 1.8.0
KernSmooth 2.23-20 трикотажный 1.38 маркирование 0.4.2
later 1.3.0 решётка 0.20-45 Lava 1.6.10
жизненный цикл 1.0.1 listenv 0.8.0 lubridate 1.8.0
magrittr 2.0.2 Markdown 1,1 МАССАЧУСЕТС 7.3-56
«Матрица» 1.4-1 memoise 2.0.1 оплаты 4.1.3
mgcv 1.8-40 мим 0,12 ModelMetrics 1.2.2.2
modelr 0.1.8 munsell 0.5.0 nlme 3.1-157
nnet 7.3-17 numDeriv 2016.8-1.1 openssl 2.0.0
parallel 4.1.3 parallelly 1.30.0 столб 1.7.0
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgload 1.2.4
plogr 0.2.0 plyr 1.8.7 хвалить 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.5.3
prodlim 2019.11.13 Ход выполнения 1.2.2 progressr 0.10.0
promises 1.2.0.1 proto 1.0.0 proxy 0.4-26
ps 1.6.0 purrr 0.3.4 r2d3 0.2.6
R6 2.5.1 randomForest 4.7-1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-2 Rcpp 1.0.8.3
RcppEigen 0.3.3.9.1 readr 2.1.2 readxl 1.3.1
Рецепты 0.2.0 реванш 1.0.1 rematch2 2.1.2
remotes 2.4.2 reprex 2.0.1 reshape2 1.4.4
rlang 1.0.2 rmarkdown 2,13 RODBC 1.3-19
roxygen2 7.1.2 rpart 4.1.16 rprojroot 2.0.2
Rserve 1.8-10 RSQLite 2.2.11 rstudioapi 0,13
rversions 2.1.1 rvest 1.0.2 sass 0.4.1
весы 1.1.1 селектор 0.4-2 sessioninfo 1.2.2
форма 1.4.6 блестящий 1.7.1 sourcetools 0.1.7
sparklyr 1.7.5 SparkR 3.2.0 пространственный 7.3-11
Сплайны 4.1.3 sqldf 0.4-11 SQUAREM 2021.1
stats 4.1.3 статистика4 4.1.3 stringi 1.7.6
stringr 1.4.0 выживание 3.2-13 sys 3,4
tcltk 4.1.3 ОбучениеDemos 2,10 testthat 3.1.2
tibble 3.1.6 tidyr 1.2.0 tidyselect 1.1.2
tidyverse 1.3.1 TimeDate 3043.102 tinytex 0,37
средства 4.1.3 tzdb 0.2.0 usethis 2.1.5
utf8 1.2.2 служебные программы 4.1.3 uuid 1.0-4
vctrs 0.3.8 viridisLite 0.4.0 vroom 1.5.7
waldo 0.4.0 усы 0,4 withr 2.5.0
xfun 0,30 xml2 1.3.3 xopen 1.0.0
xtable 1.8-4 yaml 2.3.5 zip 2.2.0

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)

ИД группы Идентификатор артефакта Версия
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics потоковая передача 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1–0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.12.3
com.fasterxml.jackson.core jackson-core 2.12.3
com.fasterxml.jackson.core jackson-databind 2.12.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.3
com.fasterxml.jackson.module jackson-module-paranamer 2.12.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.3
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natives 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java-natives 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.210
com.helger профилировщик 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.4.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.68.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx коллектор 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0–2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.10
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4,8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1,21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1,6
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.2-databricks
org.apache.hadoop hadoop-client-runtime 3.3.2
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.13
org.apache.orc orc-mapreduce 1.6.13
org.apache.orc orc-shims 1.6.13
org.apache.parquet parquet-column 1.12.0-databricks-0004
org.apache.parquet parquet-common 1.12.0-databricks-0004
org.apache.parquet parquet-encoding 1.12.0-databricks-0004
org.apache.parquet parquet-format-structures 1.12.0-databricks-0004
org.apache.parquet parquet-hadoop 1.12.0-databricks-0004
org.apache.parquet parquet-jackson 1.12.0-databricks-0004
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4,20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.43.v20210629
org.eclipse.jetty jetty-continuation 9.4.43.v20210629
org.eclipse.jetty jetty-http 9.4.43.v20210629
org.eclipse.jetty jetty-io 9.4.43.v20210629
org.eclipse.jetty jetty-jndi 9.4.43.v20210629
org.eclipse.jetty jetty-plus 9.4.43.v20210629
org.eclipse.jetty jetty-proxy 9.4.43.v20210629
org.eclipse.jetty jetty-security 9.4.43.v20210629
org.eclipse.jetty jetty-server 9.4.43.v20210629
org.eclipse.jetty jetty-servlet 9.4.43.v20210629
org.eclipse.jetty jetty-servlets 9.4.43.v20210629
org.eclipse.jetty jetty-util 9.4.43.v20210629
org.eclipse.jetty jetty-util-ajax 9.4.43.v20210629
org.eclipse.jetty jetty-webapp 9.4.43.v20210629
org.eclipse.jetty jetty-xml 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-api 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-client 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-common 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-server 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-servlet 9.4.43.v20210629
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark неиспользованный 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1