Поделиться через


Databricks Runtime 10.4 LTS

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 10.4 LTS и Databricks Runtime 10.4 LTS Photon на базе Apache Spark 3.2.1. Photon сейчас находится в режиме общедоступной предварительной версии. Databricks выпустила эту версию в марте 2022 года.

Примечание.

LTS означает, что эта версия находится в долгосрочной поддержке. См. жизненный цикл версии LTS среды выполнения Databricks.

Совет

Сведения о выпуске заметок о выпуске Databricks Runtime, которые достигли окончания поддержки (EoS), см . в заметках о выпуске Databricks Runtime. Версии среды выполнения EoS Databricks устарели и могут не обновляться.

Новые функции и внесенные улучшения

Преобразователь таблиц Iceberg в Delta (общедоступная предварительная версия)

Преобразование в Delta теперь поддерживает преобразование таблицы Iceberg в таблицу Delta на месте. Для этого используются собственные метаданные Iceberg и манифесты файлов. См. статью о преобразовании в Delta Lake.

Откаты автоматического сжатия теперь включены по умолчанию

В этом выпуске улучшено поведение операций записи Delta Lake, которые фиксируются при наличии параллельных транзакций автоматического сжатия. До этого выпуска такие операции записи часто завершались ошибкой из-за одновременных изменений в таблице. Операции записи теперь будут выполнены успешно даже при наличии параллельных транзакций автоматического сжатия.

Слияние с малым перемешиванием теперь включено по умолчанию

Теперь команда MERGE INTO всегда использует новую реализацию с малым перемешиванием. Такая реакция на событие значительно повышает производительность команды MERGE INTO для большинства рабочих нагрузок. Параметр конфигурации, который ранее использовался для включения этой функции, был удален. Дополнительные сведения см. в статье Слияние с малым перемешиванием в Azure Databricks.

Теги порядка вставки теперь сохраняются для UPDATE и DELETE

Команды UPDATE и DELETE теперь сохраняют существующие сведения о кластеризации (включая Z-упорядочивание) для файлов, которые обновляются или удаляются. Такая реакция на событие реализует оптимальный подход, который не применяется к случаям, когда файлы настолько малы, что они объединяются во время обновления или удаления.

HikariCP теперь является пулом подключений по умолчанию для хранилища метаданных Hive

HikariCP обеспечивает большое количество улучшений стабильности для доступа к хранилищу метаданных Hive, сохраняя при этом меньшее число соединений по сравнению с предыдущей реализацией пула соединений BoneCP. HikariCP используется по умолчанию в любом кластере Databricks Runtime, который использует хранилище метаданных Databricks Hive (например, если не задано spark.sql.hive.metastore.jars). Можно также явно переключиться на другие реализации пула соединений, например BoneCP, задав spark.databricks.hive.metastore.client.pool.type.

Соединитель Azure Synapse теперь позволяет задать максимальное количество разрешенных отклоненных записей

Соединитель Azure Synapse теперь поддерживает параметр DataFrame maxErrors. Это нововведение позволяет настроить максимальное количество отклоненных записей, разрешенных во время операций чтения и записи до отмены загрузки. Все отклоненные записи игнорируются. Например, если две из десяти записей содержат ошибки, обрабатываются только восемь записей.

Этот параметр напрямую сопоставляется с параметром REJECT_VALUE для инструкции CREATE EXTERNAL TABLE в PolyBase и с параметром MAXERRORS для команды COPY соединителя Azure Synapse.

По умолчанию значение maxErrors равно 0: все записи должны быть допустимыми.

Асинхронная контрольная точка состояния теперь предоставляется как общедоступная версия

Вы можете включить асинхронное отслеживание контрольных точек состояния в запросах потоковой передачи с отслеживанием состояния с большими обновлениями состояния. Это может снизить сквозную задержку в микропакетах. Эта функция стала общедоступной. См . асинхронную контрольную точку состояния для запросов с отслеживанием состояния.

Теперь параметры по умолчанию можно указать для определяемых пользователем функций SQL

При создании определяемой пользователем функции SQL (SQL UDF) теперь можно указать выражения по умолчанию для параметров SQL UDF. Затем можно вызвать SQL UDF без предоставления аргументов для этих параметров, а Databricks будет заполнять значения по умолчанию для этих параметров. См. раздел CREATE FUNCTION (SQL и Python).

Новые функции Spark SQL

Начиная с этого выпуска, доступны следующие функции Spark SQL:

  • try_multiply: возвращает multiplier, умноженное на multiplicand, или NULL при переполнении.
  • try_subtract: возвращает результат вычитания expr2 из expr1 или NULL при переполнении.

Новый рабочий каталог для кластеров с высоким уровнем параллелизма

В кластерах с высоким уровнем параллелизма с включенным управлением доступом к таблицам или транзитом учетных данных текущий рабочий каталог записных книжек теперь является домашним каталогом пользователя. Ранее рабочим каталогом был /databricks/driver.

Поддержка столбцов идентификаторов в разностных таблицах теперь в общедоступной версии

Delta Lake теперь поддерживает столбцы идентификаторов. Если вы записываете данные в разностную таблицу, определяющую столбец идентификаторов, и не предоставляете значения для этого столбца, Delta теперь автоматически назначает уникальное и статистическое увеличение или уменьшение значения. См. CREATE TABLE [USING].

Обновления библиотек

  • Обновленные библиотеки Python:
    • filelock с 3.4.2 до 3.6.0.
  • Обновленные библиотеки R:
    • brew с 1.0-6 до 1.0-7;
    • broom с 0.7.11 до 0.7.12;
    • cli с 3.1.0 до 3.2.0;
    • clipr с 0.7.1 до 0.8.0;
    • colorspace с 2.0-2 до 2.0-3;
    • crayon с 1.4.2 до 1.5.0;
    • dplyr с 1.0.7 до 1.0.8;
    • dtplyr с 1.2.0 до 1.2.1;
    • evaluate с 0.14 до 0.15;
    • foreach с 1.5.1 до 1.5.2;
    • future с 1.23.0 до 1.24.0;
    • generics с 0.1.1 до 0.1.2;
    • glue с 1.6.0 до 1.6.1;
    • gower с 0.2.2 до 1.0.0;
    • iterators с 1.0.13 до 1.0.14;
    • jsonlite с 1.7.3 до 1.8.0;
    • magrittr с 2.0.1 до 2.0.2;
    • mgcv с 1.8-38 до 1.8-39;
    • pillar с 1.6.4 до 1.7.0;
    • randomForest с 4.6-14 до 4.7-1;
    • readr с 2.1.1 до 2.1.2;
    • recipes с 0.1.17 до 0.2.0;
    • rlang с 0.4.12 до 1.0.1;
    • rpart с 4.1-15 до 4.1.16;
    • RSQLite с 2.2.9 to до 2.2.10;
    • sparklyr с 1.7.4 до 1.7.5;
    • testthat с 3.1.1 до 3.1.2;
    • tidyr с 1.1.4 до 1.2.0;
    • tidyselect с 1.1.1 до 1.1.2;
    • tinytex с 0.36 до 0.37;
    • yaml с 2.2.1 до 2.3.5.
  • Обновленные библиотеки Java:
    • io.delta.delta-sharing-spark_2.12 с 0.3.0 до 0.4.0.

Apache Spark

Databricks Runtime 10.4 LTS включает Apache Spark 3.2.1. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 10.3 (EoS), а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

  • [SPARK-38322] [SQL] Поддержка отображения статистики времени выполнения на этапе запроса в форматированном режиме объяснения.
  • [SPARK-38162] [SQL] Оптимизирован план в одну запись в обычном оптимизаторе AQT.
  • [SPARK-38229] [SQL] Теперь не проверяется temp/external/ifNotExists с visitReplaceTable, когда обработчик...
  • [SPARK-34183] [СС] DataSource v2: требуемое распределение и упорядочение при микропакетном выполнении.
  • [SPARK-37932] [SQL] Ожидание разрешения отсутствующих атрибутов перед применением DeduplicateRelations.
  • [SPARK-37904] [SQL] Улучшено RebalancePartitions в правилах оптимизатора.
  • [SPARK-38236] [SQL][3.2][3.1] Проверяется, не является ли расположение таблицы абсолютным, с помощью new Path(locationUri).isAbsolute” при создании/изменении таблицы.
  • [SPARK-38035] [SQL] Добавлены тесты Docker для сборки на основе диалекта JDBC.
  • [SPARK-38042] [SQL] Проверка совместимости ScalaReflection.dataTypeFor с массивами с псевдонимами.
  • [SPARK-38273] [SQL] Итераторы decodeUnsafeRows теперь закрывают базовые входные потоки.
  • [SPARK-38311] [SQL] Исправлено DynamicPartitionPruning/BucketedReadSuite/ExpressionInfoSuite в режиме ANSI.
  • [SPARK-38305] [CORE] Явным проверяется, существует ли источник в unpack(), перед вызовом методов FileUtil.
  • [SPARK-38275] [SS] Включено использование памяти writeBatch в качестве общего использования памяти в хранилище состояний RocksDB.
  • [SPARK-38132] [SQL] Удалено правило NotPropagation.
  • [SPARK-38286] [SQL] maxRows и maxRowsPerPartition объединения теперь не переполняются.
  • [SPARK-38306] [SQL] Исправлены ExplainSuite,StatisticsCollectionSuite и StringFunctionsSuite в режиме ANSI.
  • [SPARK-38281] [SQL][Тесты] Исправлен AnalysisSuite в режиме ANSI.
  • [SPARK-38307] [SQL][Тесты] Исправлены ExpressionTypeCheckingSuite и CollectionExpressionsSuite в режиме ANSI.
  • [SPARK-38300] [SQL] Используется ByteStreams.toByteArray для упрощения fileToString и resourceToBytes в catalyst.util.
  • [SPARK-38304] [SQL] Elt() теперь возвращает значение NULL, если индекс имеет значение NULL в режиме ANSI.
  • [SPARK-38271] PoissonSampler может выводить больше строк, чем MaxRows.
  • [SPARK-38297] [PYTHON] Возвращаемое значение в DataFrame.to_numpy в POS-терминале теперь приводится в явном виде.
  • [SPARK-38295] [SQL][Тесты] Исправлен ArithmeticExpressionSuite в режииме ANSI.
  • [SPARK-38290] [SQL] Исправлены JsonSuite и ParquetIOSuite в режиме ANSI.
  • [SPARK-38299] [SQL] Очищено нерекомендуемое использование StringBuilder.newBuilder.
  • [SPARK-38060] [SQL] Соблюдается allowNonNumericNumbers при обработке не числа в кавычках и бесконечных значений в модуле чтения JSON.
  • [SPARK-38276] [SQL] Добавлены утвержденные планы TPCDS в режиме ANSI.
  • [SPARK-38206] [SS] Не учитывается допустимость значений NULL при сравнении типа данных ключей объединения при соединении потока с потоком.
  • [SPARK-37290] [SQL] Исправлено экспоненциальное увеличение времени планирования в случае недетерминированной функции.
  • [SPARK-38232] [SQL] Теперь объясняется, что форматирование не собирает вложенные запросы на этапе запроса в AQE.
  • [SPARK-38283] [SQL] Выполняется проверка неправильного анализа даты и времени в режиме ANSI.
  • [SPARK-38140] [SQL] Статистика столбцов описания (миимум, максимум) для типа метки времени теперь согласуется со значениями, несмотря на разницу часовых поясов.
  • [SPARK-38227] [SQL][SS] Строгая допустимость значений NULL во вложенном столбце применяется в окне времени или сеанса.
  • [SPARK-38221] [SQL] При перемещении сложных выражений группирования из узла агрегата заранее выполняется итерация по groupingExpressions.
  • [SPARK-38216] [SQL] Теперь не происходит ранний сбой, если все столбцы являются секционированными столбцами при создании таблицы Hive.
  • [SPARK-38214] [SS] Окна больше не фильтруются, если значение windowDuration кратно slideDuration.
  • [SPARK-38182] [SQL] Исправлено NoSuchElementException, если отправленный фильтр не содержит ссылок.
  • [SPARK-38159] [SQL] Добавлен новый атрибут FileSourceMetadataAttribute для метаданных скрытых файлов.
  • [SPARK-38123] [SQL] Обеспечено унифицированное использование DataType в качестве targetType для QueryExecutionErrors#castingCauseOverflowError.
  • [SPARK-38118] [SQL] Func(неправильный тип данных) в предложении HAVING теперь вызывать ошибку несоответствия данных.
  • [SPARK-35173] [SQL] [PYTHON] Добавлена поддержка добавления нескольких столбцов.
  • [SPARK-38177] [SQL] Исправлены неправильные transformExpressions в оптимизаторе.
  • [SPARK-38228] [SQL] Назначение устаревших хранилищ не завершается ошибкой в режиме ANSI.
  • [SPARK-38173] [SQL] Столбец, заключенный в кавычки, теперь правильно распознается при quotedRegexColumnNa…
  • [SPARK-38130] [SQL] Удалена проверка упорядочиваемых записей array_sort.
  • [SPARK-38199] [SQL] Удалено неиспользуемое значение dataType, указанное в определении IntervalColumnAccessor.
  • [SPARK-38203] [SQL] Исправлены SQLInsertTestSuite и SchemaPruningSuite в режиме ANSI.
  • [SPARK-38163] [SQL] Теперь сохраняется класс ошибки SparkThrowable в построителе функций.
  • [SPARK-38157] [SQL] В явном виде для ANSI устанавливается значение false в тесте timestampNTZ/timestamp.sql и SQLQueryTestSuite в соответствии с ожидаемыми эталонными результатами.
  • [SPARK-38069] [SQL][СС] Улучшено вычисление временного окна.
  • [SPARK-38164] [SQL] Новые функции SQL: try_subtract и try_multiply.
  • [SPARK-38176] [SQL] Режим ANSI: разрешено неявное приведение типа String к другим простым типам.
  • [SPARK-37498] [PYTHON] Добавлено eventually для test_reuse_worker_of_parallelize_range.
  • [SPARK-38198] [SQL][3.2] Исправлено использование QueryExecution.debug#toFile передаваемого в maxFields, если для explainMode установлено значение CodegenMode.
  • [SPARK-38131] [SQL] Классы ошибок используются только в исключениях, перенаправляемых пользователю.
  • [SPARK-37652] [SQL] Добавлен тест для оптимизации неравномерного соединения через объединение.
  • [SPARK-37585] [SQL] Обновлен InputMetric в DataSourceRDD с TaskCompletionListener.
  • [SPARK-38113] [SQL] Теперь классы ошибок используются в ошибках выполнения сведения.
  • [SPARK-38178] [SS] Исправлена логика для измерения использования памяти RocksDB.
  • [SPARK-37969] [SQL] HiveFileFormat теперь проверяет имя поля.
  • [SPARK-37652] Отменено "[SQL] Добавлен тест для оптимизации неравномерного соединения через объединение".
  • [SPARK-38124] [SQL][СС] Введен StatefulOpClusteredDistribution и применен к соединению потока с потоком.
  • [SPARK-38030] [SQL] Канонизация теперь не удаляет допустимость значений NULL для типа данных AttributeReference.
  • [SPARK-37907] [SQL] InvokeLike теперь поддерживает ConstantFolding.
  • [SPARK-37891] [CORE] Добавлена првоерка scalastyle для отключения scala.concurrent.ExecutionContext.Implicits.global.
  • [SPARK-38150] [SQL] Обновлен комментарий RelationConversions.
  • [SPARK-37943] [SQL] Классы ошибок теперь используются в ошибках компиляции группирования.
  • [SPARK-37652] [SQL] Добавлен тест для оптимизации неравномерного соединения через объединение.
  • [SPARK-38056] [Веб-интерфейс][3.2] Исправлена проблема, при которой структурированная потоковая передача не работала на сервере журнала при использовании LevelDB.
  • [SPARK-38144] [Core] Удалена неиспользуемая конфигурация spark.storage.safetyFraction.
  • [SPARK-38120] [SQL] Исправлено HiveExternalCatalog.listPartitions, если имя столбца секционирования в верхнем регистре, а в значении секции есть точка.
  • [SPARK-38122] [Документация] Обновлен ключ приложения DocSearch.
  • [SPARK-37479] [SQL] Выполнен перенос DROP NAMESPACE для использования команды версии 2 по умолчанию.
  • [SPARK-35703] [SQL] Ослаблено ограничение для объединения контейнеров и удаления HashClusteredDistribution.
  • [SPARK-37983] [SQL] Агрегированные метрики времени сборки исключены из сортировки агрегата.
  • [SPARK-37915] [SQL] Совмещены объединения, если между ними есть проект.
  • [SPARK-38105] [SQL] Классы ошибок теперь используются в ошибках анализа соединений.
  • [SPARK-38073] [PYTHON] Обновлена функция atexit во избежание проблем с поздним связыванием.
  • [SPARK-37941] [SQL] Классы ошибок теперь используются в ошибках компиляции приведения.
  • [SPARK-37937] [SQL] Классы ошибок теперь используются в ошибках горизонтальных соединений.
  • [SPARK-38100] [SQL] Удален неиспользуемый частный метод в Decimal.
  • [SPARK-37987] [СС] Исправлены ненадежная схема состояния StreamingAggregationSuite.changing при перезапуске запроса.
  • [SPARK-38003] [SQL] Правило LookupFunctions теперь выполняет поиск функций только из реестра скалярных функций.
  • [SPARK-38075] [SQL] Исправлен hasNext в итераторе выходных данных процесса HiveScriptTransformationExec.
  • [SPARK-37965][SQL] Удалено имя проверочного поля при чтении или записи существующих данных в Orc.
  • [SPARK-37922] [SQL] Приведение объединяется в одно, если это безопасно (для dbr-branch-10.x).
  • [SPARK-37675] [SPARK-37793] Предотвращена перезапись объединенных файлов после завершения повторного перемешивания.
  • [SPARK-38011] [SQL] Удалена дублированная и бесполезная конфигурация в ParquetFileFormat.
  • [SPARK-37929] [SQL] Добавлена поддержка каскадного режима для API dropNamespace.
  • [SPARK-37931] [SQL] При необходимости имя столбца заключается в кавычки.
  • [SPARK-37990] [SQL] Добавлена поддержка TimestampNTZ в RowToColumnConverter.
  • [SPARK-38001] [SQL] Заменены классы ошибок, связанные с неподдерживаемыми функциями, на UNSUPPORTED_FEATURE.
  • [SPARK-37839] [SQL] DS v2 поддерживает отправку вниз частичного агрегирования AVG.
  • [SPARK-37878] [SQL] SHOW CREATE TABLE теперь использует команду версии 2 по умолчанию.
  • [SPARK-37731] [SQL] Поиск функции рефакторинга и очистки в анализаторе.
  • [SPARK-37979] [SQL] Переход на более общие классы ошибок в функциях AES.
  • [SPARK-37867] [SQL] Компилированы агрегатные функции из сборки на диалекте JDBC.
  • [SPARK-38028] [SQL] Предоставляются векторы стрелок из ArrowColumnVector.
  • [SPARK-30062] [SQL] Добавлен оператор IMMEDIATE в реализацию усечения диалекта DB2.
  • [SPARK-36649] [SQL] Поддержка Trigger.AvailableNow для источника данных Kafka.
  • [SPARK-38018] [SQL] ColumnVectorUtils.populate теперь правильно поддерживает CalendarIntervalType.
  • [SPARK-38023] [CORE] ExecutorMonitor.onExecutorRemoved должен обрабатывать ExecutorDecommission как завершенный.
  • [SPARK-38019] [CORE] ExecutorMonitor.timedOutExecutors теперь детерминированный.
  • [SPARK-37957] [SQL] Детерминированный флаг теперь правильно передается для скалярных функций версии 2.
  • [SPARK-37985] [SQL] Исправлен ненадежный текст для SPARK-37578.
  • [SPARK-37986] [SQL] TimestampNTZ теперь поддерживается в поразрядной сортировке.
  • [SPARK-37967] [SQL] Literal.create теперь поддерживает ObjectType.
  • [SPARK-37827] [SQL] Некоторые встроенные свойства таблицы переведены в V1Table.properties для адаптации к команде версии 2.
  • [SPARK-37963] [SQL] URI раздела теперь обновляется после переименования таблицы в InMemoryCatalog.
  • [SPARK-35442] [SQL] Добавлена поддержка распространения пустых связей с помощью агрегата или объединения.
  • [SPARK-37933] [SQL] Изменен метод обхода правил отправки V2ScanRelationPushDown.
  • [SPARK-37917] [SQL] Устанавливается равный 1 предел отправки вниз для правой части левого полу-/антисоедиенния, если условие объединения пустое.
  • [SPARK-37959] [ML] Исправление UT проверки нормы в KMeans и BiKMeans
  • [SPARK-37906] [SQL] spark-sql теперь не передает последний комментарий в серверную часть.
  • [SPARK-37627] [SQL] В BucketTransform добавлен отсортированный столбец.

Обновления в рамках обслуживания

Ознакомьтесь с обновлениями обслуживания Databricks Runtime 10.4 LTS.

Системная среда

  • Операционная система: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14.
  • Python: 3.8.10
  • R: 4.1.2
  • Delta Lake: 1.1.0

Установленные библиотеки Python

Библиотека Версия Библиотека Версия Библиотека Версия
Antergos Linux 2015.10 (ISO-Rolling) appdirs 1.4.4 argon2-cffi 20.1.0
async-generator 1,10 attrs 20.3.0 backcall 0.2.0
bidict 0.21.4 bleach 3.3.0 boto3 1.16.7
botocore 1.19.7 certifi 2020.12.5 cffi 1.14.5
chardet 4.0.0 cycler 0.10.0 Cython 0.29.23
dbus-python 1.2.16 decorator 5.0.6 defusedxml 0.7.1
distlib 0.3.4 distro-info 0.23ubuntu1 entrypoints 0,3
facets-overview 1.0.0 filelock 3.6.0 idna 2,10
ipykernel 5.3.4 ipython 7.22.0 ipython-genutils 0.2.0
ipywidgets 7.6.3 jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 jsonschema 3.2.0
jupyter-client 6.1.12 jupyter-core 4.7.1 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 kiwisolver 1.3.1 koalas 1.8.2
MarkupSafe 2.0.1 matplotlib 3.4.2 mistune 0.8.4
nbclient 0.5.3 nbconvert 6.0.7 nbformat 5.1.3
nest-asyncio 1.5.1 записная книжка 6.3.0 numpy 1.20.1
во внешнем виде 20,9 pandas 1.2.4 pandocfilters 1.4.3
parso 0.7.0 patsy 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 Pillow 8.2.0 pip 21.0.1
график 5.5.0 prometheus-client 0.10.1 prompt-toolkit 3.0.17
protobuf 3.17.2 psycopg2 2.8.5 ptyprocess 0.7.0
pyarrow 4.0.0 pycparser 2,20 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 pyrsistent 0.17.3
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.1 python-engineio 4.3.0
python-socketio 5.4.1 pytz 2020.5 pyzmq 20.0.0
requests 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 мореборн 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 six 1.15.0
ssh-import-id 5,10 statsmodels 0.12.2 tenacity 8.0.1
terminado 0.9.4 testpath 0.4.4 threadpoolctl 2.1.0
tornado 6.1 traitlets 5.0.5 unattended-upgrades 0,1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
webencodings 0.5.1 wheel 0.36.2 widgetsnbextension 3.5.1

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка Microsoft Cran от 24.02.2022.

Библиотека Версия Библиотека Версия Библиотека Версия
askpass 1,1 assertthat 0.2.1 внутренние порты 1.4.1
base 4.1.2 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 большой двоичный объект 1.2.2 загрузка 1.3-28
заваривать 1.0-7 brio 1.1.3 метла 0.7.12
bslib 0.3.1 cachem 1.0.6 вызывающий объект 3.7.0
крышка 6.0-90 cellranger 1.1.0 chron 2.3-56
class 7.3-20 cli 3.2.0 clipr 0.8.0
cluster 2.1.2 codetools 0.2-18 colorspace 2.0-3
commonmark 1,7 компилятор 4.1.2 config 0.3.1
cpp11 0.4.2 карандаш 1.5.0 учетные данные 1.3.2
curl 4.3.2 data.table 1.14.2 наборы данных 4.1.2
DBI 1.1.2 dbplyr 2.1.1 desc 1.4.0
средства разработки 2.4.3 diffobj 0.3.5 digest 0.6.29
dplyr 1.0.8 dtplyr 1.2.1 e1071 1.7-9
многоточие 0.3.2 evaluate 0,15 вентиляторы 1.0.2
Farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.2 иностранный 0.8-82
forge 0.2.0 fs 1.5.2 будущее 1.24.0
future.apply 1.8.1 gargle 1.2.0 Универсальные шаблоны 0.1.2
gert 1.5.0 ggplot2 3.3.5 gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-3 globals 0.14.0
клей 1.6.1 googledrive 2.0.0 googlesheets4 1.0.0
Говер 1.0.0 графика 4.1.2 grDevices 4.1.2
grid 4.1.2 gridExtra 2.3 gsubfn 0,7
gtable 0.3.0 hardhat 0.2.0 haven 2.4.3
высокий 0,9 hms 1.1.1 htmltools 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.5 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ids 1.0.1
ini 0.3.1 ipred 0.9-12 isoband 0.2.5
Итераторы 1.0.14 jquerylib 0.1.4 jsonlite 1.8.0
KernSmooth 2.23-20 трикотажный 1,37 маркирование 0.4.2
later 1.3.0 решётка 0.20-45 Lava 1.6.10
жизненный цикл 1.0.1 listenv 0.8.0 lubridate 1.8.0
magrittr 2.0.2 Markdown 1,1 МАССАЧУСЕТС 7.3-55
«Матрица» 1.4-0 memoise 2.0.1 оплаты 4.1.2
mgcv 1.8-39 мим 0,12 ModelMetrics 1.2.2.2
modelr 0.1.8 munsell 0.5.0 nlme 3.1-155
nnet 7.3-17 numDeriv 2016.8-1.1 openssl 1.4.6
parallel 4.1.2 parallelly 1.30.0 столб 1.7.0
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgload 1.2.4
plogr 0.2.0 plyr 1.8.6 хвалить 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.5.2
prodlim 2019.11.13 Ход выполнения 1.2.2 progressr 0.10.0
promises 1.2.0.1 proto 1.0.0 proxy 0.4-26
ps 1.6.0 purrr 0.3.4 r2d3 0.2.5
R6 2.5.1 randomForest 4.7-1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-2 Rcpp 1.0.8
RcppEigen 0.3.3.9.1 readr 2.1.2 readxl 1.3.1
Рецепты 0.2.0 реванш 1.0.1 rematch2 2.1.2
remotes 2.4.2 reprex 2.0.1 reshape2 1.4.4
rlang 1.0.1 rmarkdown 2,11 RODBC 1.3-19
roxygen2 7.1.2 rpart 4.1.16 rprojroot 2.0.2
Rserve 1.8-10 RSQLite 2.2.10 rstudioapi 0,13
rversions 2.1.1 rvest 1.0.2 sass 0.4.0
весы 1.1.1 селектор 0.4-2 sessioninfo 1.2.2
форма 1.4.6 блестящий 1.7.1 sourcetools 0.1.7
sparklyr 1.7.5 SparkR 3.2.0 пространственный 7.3-11
Сплайны 4.1.2 sqldf 0.4-11 SQUAREM 2021.1
stats 4.1.2 статистика4 4.1.2 stringi 1.7.6
stringr 1.4.0 выживание 3.2-13 sys 3,4
tcltk 4.1.2 ОбучениеDemos 2,10 testthat 3.1.2
tibble 3.1.6 tidyr 1.2.0 tidyselect 1.1.2
tidyverse 1.3.1 TimeDate 3043.102 tinytex 0,37
средства 4.1.2 tzdb 0.2.0 usethis 2.1.5
utf8 1.2.2 служебные программы 4.1.2 uuid 1.0-3
vctrs 0.3.8 viridisLite 0.4.0 vroom 1.5.7
waldo 0.3.1 усы 0,4 withr 2.4.3
xfun 0,29 xml2 1.3.3 xopen 1.0.0
xtable 1.8-4 yaml 2.3.5 zip 2.2.0

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)

ИД группы Идентификатор артефакта Версия
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics потоковая передача 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1–0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.12.3
com.fasterxml.jackson.core jackson-core 2.12.3
com.fasterxml.jackson.core jackson-databind 2.12.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.3
com.fasterxml.jackson.module jackson-module-paranamer 2.12.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.3
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natives 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java-natives 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger профилировщик 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.4.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.68.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx коллектор 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0–2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.10
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4,8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1,21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1,6
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.1-databricks
org.apache.hadoop hadoop-client-runtime 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 4.1.0-incubating
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.12
org.apache.orc orc-mapreduce 1.6.12
org.apache.orc orc-shims 1.6.12
org.apache.parquet parquet-column 1.12.0-databricks-0003
org.apache.parquet parquet-common 1.12.0-databricks-0003
org.apache.parquet parquet-encoding 1.12.0-databricks-0003
org.apache.parquet parquet-format-structures 1.12.0-databricks-0003
org.apache.parquet parquet-hadoop 1.12.0-databricks-0003
org.apache.parquet parquet-jackson 1.12.0-databricks-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4,20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.43.v20210629
org.eclipse.jetty jetty-continuation 9.4.43.v20210629
org.eclipse.jetty jetty-http 9.4.43.v20210629
org.eclipse.jetty jetty-io 9.4.43.v20210629
org.eclipse.jetty jetty-jndi 9.4.43.v20210629
org.eclipse.jetty jetty-plus 9.4.43.v20210629
org.eclipse.jetty jetty-proxy 9.4.43.v20210629
org.eclipse.jetty jetty-security 9.4.43.v20210629
org.eclipse.jetty jetty-server 9.4.43.v20210629
org.eclipse.jetty jetty-servlet 9.4.43.v20210629
org.eclipse.jetty jetty-servlets 9.4.43.v20210629
org.eclipse.jetty jetty-util 9.4.43.v20210629
org.eclipse.jetty jetty-util-ajax 9.4.43.v20210629
org.eclipse.jetty jetty-webapp 9.4.43.v20210629
org.eclipse.jetty jetty-xml 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-api 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-client 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-common 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-server 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-servlet 9.4.43.v20210629
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark неиспользованный 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1