Databricks Runtime 10.3 (неподдерживаемый)

  • Статья

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 10.3 и Databricks Runtime 10.3 Photon на базе Apache Spark 3.2.1. Photon сейчас находится в режиме общедоступной предварительной версии. Эти образы были выпущены Databricks в феврале 2022 года.

Новые функции и внесенные улучшения

Редакторы Parquet и Avro теперь используют часовой пояс сеанса при перемещении меток времени в источниках данных Parquet

Модули записи Parquet и Avro теперь используют часовой пояс сеанса при перемещении метки времени в режиме legacy вместо использования часового пояса виртуальной машины Java по умолчанию. По умолчанию для сеанса установлен часовой пояс виртуальной машины Java.

Новые функции в Spark SQL

В этом выпуске теперь поддерживаются следующие функции Spark SQL.

  • aes_decrypt: расшифровывает входные данные с помощью AES.
  • aes_encrypt: шифрует входные данные с помощью AES.
  • contains: определяет, содержит ли выражение другое выражение.
  • endswith: определяет, содержит ли выражение в конце другое выражение.
  • percentile_cont: возвращает значение процентиля.
  • startswith: определяет, содержит ли выражение в начале другое выражение.

Слияние с малым перемешиванием теперь общедоступно

Команда Delta MERGE INTO использует методику, которая называется слиянием с малым перемешиванием при котором уменьшается перемешивание неизмененных строк. Это позволяет повысить производительность команды и сохранить существующую кластеризацию в таблице, например Z-упорядочивание. Эта функция появилась в Databricks Runtime 9.0 для общедоступной предварительной версии и теперь стала общедоступной. Чтобы включить слияние с малым перемешиванием, задайте для spark.databricks.delta.merge.enableLowShuffle значение true. Дополнительные сведения см. в статье Слияние с малым перемешиванием в Azure Databricks.

Новые функции COPY INTO: режим проверки и эволюция схемы

Режим проверки: COPY INTO теперь поддерживает режим VALIDATE, в котором данные, загружаемые в таблицу, проверяются, но не записываются в таблицу. Эти проверки включают:

  • Можно ли анализировать данные.
  • Соответствует ли схема таблице, или требуется доработка схемы.
  • Соблюдены ли все ограничения допустимости значений NULL и проверки.

Пример использования:

COPY INTO <table>
FROM <path-to-files>
FILEFORMAT = <format>
VALIDATE [ALL | <num-rows> ROWS]

По умолчанию выполняется проверка всех загружаемых данных. Можно указать число строк, которые нужно проверить, используя ключевое слово ROWS, например VALIDATE 15 ROWS. Инструкция COPY INTO возвращает предварительный просмотр данных размером 50 строк или меньше, если с ключевым словом ROWS используется число меньше 50.

Эволюция схемы: COPY INTO теперь поддерживает эволюция схем с помощью параметра mergeSchema в COPY_OPTIONS. Для эволюции схемы таблицы необходимо иметь разрешения OWN для таблицы.

Пример использования:

COPY INTO <table>
FROM <path-to-files>
FILEFORMAT = <format>
COPY_OPTIONS ('mergeSchema' = 'true')

См. раздел COPY INTO.

Столбцы удостоверений теперь поддерживаются в разностных таблицах (общедоступная предварительная версия)

Delta Lake теперь поддерживает столбцы идентификаторов. Если вы записываете данные в разностную таблицу, определяющую столбец идентификаторов, и не предоставляете значения для этого столбца, Delta теперь автоматически назначает уникальное и статистическое увеличение или уменьшение значения. См. CREATE TABLE [USING].

Обновления библиотек

  • Обновленные библиотеки Python:
    • distlib с 0.3.3 до 0.3.4
    • filelock с 3.4.0 до 3.4.2
    • numpy с 1.19.2 до 1.20.1
    • plotly с 5.3.1 до 5.5.0
  • Обновленные библиотеки R:
    • backports с 1.4.0 до 1.4.1
    • brio с 1.1.2 до 1.1.3
    • broom с 0.7.10 до 0.7.11
    • class с 7.3-19 до 7.3-20
    • cpp11 с 0.4.1 до 0.4.2
    • DBI с 1.1.1 до 1.1.2
    • devtools с 2.4.2 до 2.4.3
    • digest с 0.6.28 до 0.6.29
    • dtplyr с 1.1.0 до 1.2.0
    • fansi с 0.5.0 до 1.0.2
    • foreign с 0.8-81 до 0.8-82
    • fs с 1.5.0 до 1.5.2
    • gert с 1.4.3 до 1.5.0
    • glue с 1.5.0 до 1.6.0
    • httpuv с 1.6.3 до 1.6.5
    • jsonlite с 1.7.2 до 1.7.3
    • knitr с 1.36 до 1.37
    • MASS с 7.3-54 до 7.3-55
    • Matrix с 1.3-4 до 1.4-0
    • nlme с 3.1-152 до 3.1-155
    • nnet с 7.3-16 до 7.3-17
    • openssl с 1.4.5 до 1.4.6
    • parallelly с 1.29.0 до 1.30.0
    • pkgbuild с 1.2.0 до 1.3.1
    • pkgload с 1.2.3 до 1.2.4
    • progressr с 0.9.0 до 0.10.0
    • Rcpp с 1.0.7 до 1.0.8
    • readr с 2.1.0 до 2.1.1
    • remotes с 2.4.1 до 2.4.2
    • RSQLite с 2.2.8 до 2.2.9
    • sessioninfo с 1.2.1 до 1.2.2
    • sparklyr с 1.7.2 до 1.7.4
    • testthat с 3.1.0 до 3.1.1
    • tinytex с 0.35 до 0.36
    • usethis с 2.1.3 до 2.1.5
    • vroom с 1.5.6 до 1.5.7
    • withr с 2.4.2 до 2.4.3
    • xfun с 0.28 до 0.29
    • xml2 с 1.3.2 до 1.3.3
  • Обновленные библиотеки Java:
    • dev.ludovic.netlib.arpack с 1.3.2 до 2.2.1
    • dev.ludovic.netlib.blas с 1.3.2 до 2.2.1
    • dev.ludovic.netlib.lapack с 1.3.2 до 2.2.1
    • io.delta.delta-sharing-spark_2.12 с 0.2.0 до 0.3.0

Apache Spark

Databricks Runtime 10.3 включает Apache Spark 3.2.1. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 10.2 (неподдерживаемые), а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

  • [SPARK-37896] [SQL] Реализация ConstantColumnVector и повышение производительности скрытых метаданных файлов
  • [SPARK-37924] [SQL] Сортировка свойств таблицы по ключу в представлении SHOW CREATE TABLE on VIEW (v1)
  • [SPARK-37636] [SQL] Перенос CREATE NAMESPACE для использования команды версии 2 по умолчанию.
  • [SPARK-37381] [SQL] Унификация версий v1 и v2 тестов SHOW CREATE TABLE
  • [SPARK-37876] [CORE][SQL] Перемещение SpecificParquetRecordReaderBase.listDirectory в TestUtils
  • [SPARK-37854] [CORE] Замена проверки типа на сопоставление шаблонов в коде Spark
  • [SPARK-36967] [CORE] Сообщение точного размера перемешанного блока в случае неравномерных данных в нем
  • [SPARK-37864] [SQL] Поддержка использования кодировки RLE для логических значений векторного чтения в Parquet DataPage V2
  • [SPARK-37862] [SQL] RecordBinaryComparator должен быстро пропустить проверку согласованности с несогласованной платформой
  • [SPARK-37855] [SQL] Ошибка IllegalStateException при преобразовании массива внутри вложенной структуры
  • [SPARK-37858] [SQL] Отображение SparkRuntimeException с классами ошибок из функций AES
  • [SPARK-37841] [SQL] В BasicWriteTaskStatsTracker не должна предприниматься попытка получения состояния для пропущенного файла
  • [SPARK-37860] [UI] Исправление taskindex в шкале времени события задачи для страницы этапа
  • [SPARK-36879] [SQL] Поддержка кодировки страниц данных Parquet v2 (DELTA_BINARY_PACKED) для векторного пути
  • [SPARK-37828] [SQL] Передача фильтров по RebalancePartitions
  • [SPARK-37802] [SQL][3.2] Составное имя поля должно работать с общей передачей
  • [SPARK-37826] [SQL] Использование имени кодека zstd в именах файлов ORC для hive orc impl
  • [SPARK-37820] [SQL] Замена ApacheCommonBase64 на JavaBase64 для строковых функций
  • [SPARK-37832] [SQL] В преобразователе структур Orc должен использоваться массив для поиска преобразователей полей, а не связанный список
  • [SPARK-37786] [SQL] StreamingQueryListener поддерживает использование SQLConf.get для получения соответствующих данных SQLConf состояния сеанса
  • [SPARK-37527] [SQL] Перевод более стандартных агрегатных функции для pushdown
  • [SPARK-37777] [SQL] Обновление синтаксиса SQL для SHOW FUNCTIONS
  • [SPARK-8582] [CORE] Готовая контрольная точка, когда она требуется для действительных чисел
  • [SPARK-37822] [SQL] StringSplit должен возвращать массив элементов, отличных от null
  • [SPARK-37812] [SQL] При десериализации структуры Orc по возможности повторно использовать строку результатов
  • [SPARK-37367] [SQL] Повторное включение проверки исключений в DDLParserSuite.create view — базовая
  • [SPARK-37796] [SQL] ByteArrayMethods arrayEqual должен быстро пропустить проверку согласованности с несогласованной платформой
  • [SPARK-37817] [SQL][Minor] Удаление недостижимого кода в complexTypeExtractors.scala
  • [SPARK-37807] [SQL] Исправление опечатки в сообщении HttpAuthenticationException
  • [SPARK-37750] [SQL] Режим ANSI: дополнительный возврат результата null, если элемент не существует в массиве или сопоставлении
  • [SPARK-37789] [SQL] Добавление класса для представления общих агрегатных функций в DS V2
  • [SPARK-37785] [SQL][CORE] Добавление Utils.isInRunningSparkTask
  • [SPARK-37780] [SQL] Поддержка в QueryExecutionListener использования SQLConf.get для получения соответствующих данных SQLConf состояния сеанса
  • [SPARK-37783] [SS][SQL][CORE] Включение заключительной рекурсии везде, где это возможно
  • [SPARK-37726] [SQL] Добавление метрик размера сброса для sort merge join
  • [SPARK-37800] [SQL] TreeNode.argString неправильно форматирует аргументы типа Set[_]
  • [SPARK-37716] [SQL] Улучшение сообщений об ошибках, когда LateralJoin содержит недетерминированные выражения
  • [SPARK-37779] [SQL] Обеспечение возможности канонизации плана ColumnarToRowExec после (де)сериализации
  • [SPARK-37578] [SQL] Обновление метрик задач из настраиваемых метрик ds v2
  • [SPARK-37676] [SQL] Поддержка агрегатной функции ANSI: percentile_cont
  • [SPARK-37724] [SQL] Режим ANSI: отключение зарезервированных ключевых слов ANSI по умолчанию
  • [SPARK-37705] [SQL][3.2] Перемещение меток времени в часовом поясе сеанса, сохраненных в метаданных Parquet/Avro
  • [SPARK-34755] [SQL] Поддержка служебных программ для преобразования числового формата
  • [SPARK-36703] [SQL] Удаление сортировки, если она является дочерней для RepartitionByExpression
  • [SPARK-37369] [SQL] Избегайте избыточного перехода ColumnarToRow в InMemoryTableScan
  • [SPARK-37450] [SQL] Удаление ненужных полей из Generate
  • [SPARK-37728] [SQL] Чтение вложенных столбцов с помощью векторного считывателя ORC может приводить к ошибке ArrayIndexOutOfBoundsException
  • [SPARK-37564] [SQL] Добавление генератора кода для сортировки статистических знаний без группирования ключей
  • [SPARK-37659] [UI][3.2] Исправление состояния гонки FsHistoryProvider между данными list и delet log info
  • [SPARK-37727] [SQL] Отображение пропущенных confs и скрытие предупреждений для конфессии, уже установленного в SparkSession.builder.getOrCreate
  • [SPARK-37391] [SQL]JdbcConnectionProvider сообщает, изменяет ли он контекст безопасности
  • [SPARK-37273] [SQL] Поддержка скрытых столбцов метаданных файлов в SPARK SQL
  • [SPARK-36876] [SQL] Поддержка очистки динамических разделов для HiveTableScanExec
  • [SPARK-37546] [SQL] Команда V2 ReplaceTableAsSelect должна определять расположение
  • [SPARK-37545] [SQL] Команда V2 CreateTableAsSelect должна определять расположение
  • [SPARK-37707] [SQL] Разрешение назначения хранилища и неявного приведения типов даты и времени
  • [SPARK-37644] [SQL] Поддержка полного включения агрегатных источников данных v2
  • [SPARK-37695] [CORE][SHUFFLE] Пропуск диагностики объединенных блоков OB В перемешивании отправляемых данных
  • [SPARK-35295] [ML] Полная замена com.github.fommil.netlib на dev.ludovic.netlib:2.0
  • [SPARK-37694] [SQL] Запрет на удаление ресурсов в интерфейсе командной строки SPARK SQL
  • [SPARK-37330] [SQL] Перенос ReplaceTableStatement в команду v2
  • [SPARK-27974] [SQL] Поддержка агрегатной функции ANSI: array_agg
  • [SPARK-36902] [SQL] Перенос CreateTableAsSelectStatement в команду v2
  • [SPARK-37678] [PYTHON] Исправление сигнатуры _cleanup_and_return
  • [SPARK-37613] [SQL] Поддержка агрегатной функции ANSI: regr_count
  • [SPARK-37689] [SQL] В PropagateEmptyRelation должно поддерживаться расширение
  • [SPARK-37654] [SQL] Исправление NPE в Row.getSeq, если поле имеет значение Null
  • [SPARK-37496] [SQL] Перенос ReplaceTableAsSelectStatement в команду v2
  • [SPARK-37483] [SQL] Поддержка принудительной отправки первых N в источник данных JDBC версии 2
  • [SPARK-37577] [SQL] Исправление ClassCastException: ArrayType не может быть приведен к типу StructType для Generate Pruning
  • [SPARK-37310] [SQL] Перенос ALTER NAMESPACE … НАСТРОЙКА СВОЙСТВ для использования команд V2 по умолчанию
  • [SPARK-37501] [SQL] CREATE/REPLACE TABLE должно определять расположение для команды v2.
  • [SPARK-37343] [SQL] РеализацияcreateIndex, IndexExists и dropIndex в JDBC (диалект Postgres)
  • [SPARK-37060] [CORE][3.2] Обработка ответа с данными о состоянии драйвера от основных устройств резервного копирования
  • [SPARK-37629] [SQL] Ускорение Expression.canonicalized
  • [SPARK-37633] [SQL] Приведение отключения переноса должно быть пропущено, если произошел сбой при преобразовании с помощью...
  • [SPARK-37631] [SQL] Очистка кода для преобразования строк в тип double в математических функциях
  • [SPARK-37569] [SQL] Не помечать поля вложенного представления как допускающие значения null
  • [SPARK-37557] [SQL] Замена хэш-кода объекта агрегатной функцией сортировки, если дочерний элемент уже отсортирован
  • [SPARK-36850] [SQL] Перенос CreateTableStatement на платформу команд v2
  • [SPARK-37592] [SQL] Повышение производительности JoinSelection
  • [SPARK-37217] [SQL] Число динамических разделов должно быть ранним образом проверяться при записи во внешние таблицы
  • [SPARK-37584] [SQL] Новая функция SQL: map_contains_key
  • [SPARK-37455] [SQL] Замена хэш-кода объекта агрегатной функцией сортировки, если дочерний элемент уже отсортирован
  • [SPARK-34735] [SQL][UI] Добавление измененных конфигураций для выполнения SQL в пользовательском интерфейсе
  • [SPARK-37540] [SQL] Обнаружение более неподдерживаемого перехода по времени
  • [SPARK-37376] [SQL] Представление нового интерфейса DataSource V2 HasPartitionKey
  • [SPARK-37666] [SQL] Установите GCM в качестве режима по умолчанию в aes_encrypt()/aes_decrypt()
  • [SPARK-37573] [SQL] IsolatedClientLoader должен переключаться на связанную версию, а не всегда на hadoop-2.7.4
  • [SPARK-37561] [SQL] Предотвращение загрузки всех функций при получении DelegationToken hive
  • [SPARK-37370] [SQL] Добавление конфигураций SQL для управления недавно добавленным кодом join code-gen в 3.3
  • [SPARK-37311] [SQL] Перенос ALTER NAMESPACE … Использование по умолчанию команды v2 в SET LOCATION
  • [SPARK-37192] [SQL] Миграция SHOW TBLPROPERTIES для использования команды V2 по умолчанию
  • [SPARK-37219] [SQL] Добавление поддержки синтаксиса AS OF
  • [SPARK-37316] [SQL] Добавление генератора кода для соединения слиянием сортированных списков
  • [SPARK-37591] [SQL] Поддержка режима Google Cloud Messaging в aes_encrypt()/aes_decrypt()
  • [SPARK-37586] [SQL] Добавление аргументов mode и padding в aes_encrypt()/aes_decrypt()
  • [SPARK-12567] [SQL] Добавление встроенных функций aes_encrypt и aes_decrypt
  • [SPARK-37392] [SQL] Исправление ошибку производительности при определении ограничений для создания
  • [SPARK-37481] [Core][WebUI] Исправление исчезновения пропущенных этапов после повторной попытки
  • [SPARK-37533] [SQL] Новая функция SQL: try_element_at
  • [SPARK-37451] [SQL] Исправление тип строки приведения в десятичный тип, если включен параметр spark.sql.legacy.allowNegativeScaleOfDecimal
  • [SPARK-37062] [SS] Добавление нового источника данных для обеспечения постоянного набора строк в каждом микропакете
  • [SPARK-37552] [SQL] Добавление функцию convert_timezone()
  • [SPARK-37555] [SQL] spark-sql должен передавать последний незакрытый комментарий в серверную часть
  • [SPARK-37286] [SQL] Перенос compileAggregates из JDBCRDD в JdbcDialect
  • [SPARK-37485] [CORE][SQL] Замена map на выражения, которые не дают результата с foreach
  • [SPARK-37556] [SQL] Ошибка десериализации класса void с сериализацией Java
  • [SPARK-37520] [SQL] Добавление строковых функций startswith() и endswith()
  • [SPARK-37471] [SQL] поддержка spark-sql ;во вложенных комментариях в квадратных скобках
  • [SPARK-37360] [SQL] Поддержка TimestampNTZ в источнике данных JSON
  • [SPARK-37508] [SQL] Добавление строковой функции CONTAINS()
  • [SPARK-37494] [SQL] Унификация вывода параметров v1 и v2 команды SHOW CREATE TABLE
  • [SPARK-37524] [SQL] Необходимо удалить все таблицы после тестирования динамического удаления разделов.
  • [SPARK-37389] [SQL] Проверка незакрытой скобки комментариев
  • [SPARK-37220] [SQL] Не разделять входной файл для модуля чтения Parquet с помощью агрегатной функции push-уведомлений
  • [SPARK-37326] [SQL] Поддержка TimestampNTZ в источнике данных CSV
  • [SPARK-35867] [SQL] Включение векторного чтение для VectorizedPlainValuesReader.readBooleans
  • [SPARK-37484] [CORE][SQL] Замена get и getOrElse на getOrElse
  • [SPARK-37492] [SQL] Оптимизация кода теста Orc с помощью withAllNativeOrcReaders
  • [SPARK-37458] [SS] Удаление ненужного объекта SerializeFromObject из плана foreachBatch

Обновления в рамках обслуживания

См. статью Обновления в рамках обслуживания Databricks Runtime 10.3.

Системная среда

  • Операционная система: Ubuntu 20.04.3 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14.
  • Python: 3.8.10
  • R: 4.1.2
  • Delta Lake: 1.1.0

Установленные библиотеки Python

Библиотека Версия Библиотека Версия Библиотека Версия
Antergos Linux 2015.10 (ISO-Rolling) appdirs 1.4.4 argon2-cffi 20.1.0
async-generator 1,10 attrs 20.3.0 backcall 0.2.0
bidict 0.21.4 bleach 3.3.0 boto3 1.16.7
botocore 1.19.7 certifi 2020.12.5 cffi 1.14.5
chardet 4.0.0 cycler 0.10.0 Cython 0.29.23
dbus-python 1.2.16 decorator 5.0.6 defusedxml 0.7.1
distlib 0.3.4 distro-info 0.23ubuntu1 entrypoints 0,3
facets-overview 1.0.0 filelock 3.4.2 idna 2,10
ipykernel 5.3.4 ipython 7.22.0 ipython-genutils 0.2.0
ipywidgets 7.6.3 jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 jsonschema 3.2.0
jupyter-client 6.1.12 jupyter-core 4.7.1 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 kiwisolver 1.3.1 koalas 1.8.2
MarkupSafe 2.0.1 matplotlib 3.4.2 mistune 0.8.4
nbclient 0.5.3 nbconvert 6.0.7 nbformat 5.1.3
nest-asyncio 1.5.1 записная книжка 6.3.0 numpy 1.20.1
во внешнем виде 20,9 pandas 1.2.4 pandocfilters 1.4.3
parso 0.7.0 patsy 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 Pillow 8.2.0 pip 21.0.1
график 5.5.0 prometheus-client 0.10.1 prompt-toolkit 3.0.17
protobuf 3.17.2 psycopg2 2.8.5 ptyprocess 0.7.0
pyarrow 4.0.0 pycparser 2,20 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 pyrsistent 0.17.3
python-apt 2.0.0+ubuntu0.20.4.6 python-dateutil 2.8.1 python-engineio 4.3.0
python-socketio 5.4.1 pytz 2020.5 pyzmq 20.0.0
requests 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 Сиборн 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 six 1.15.0
ssh-import-id 5,10 statsmodels 0.12.2 tenacity 8.0.1
terminado 0.9.4 testpath 0.4.4 threadpoolctl 2.1.0
tornado 6.1 traitlets 5.0.5 unattended-upgrades 0,1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
webencodings 0.5.1 wheel 0.36.2 widgetsnbextension 3.5.1

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка Microsoft Cran от 19.01.2022.

Библиотека Версия Библиотека Версия Библиотека Версия
askpass 1,1 assertthat 0.2.1 внутренние порты 1.4.1
base 4.1.2 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 большой двоичный объект 1.2.2 загрузка 1.3-28
Заваривать 1.0–6 brio 1.1.3 Метлу 0.7.11
bslib 0.3.1 cachem 1.0.6 вызывающий объект 3.7.0
крышка 6.0-90 cellranger 1.1.0 chron 2.3-56
class 7.3-20 cli 3.1.0 clipr 0.7.1
cluster 2.1.2 codetools 0.2-18 colorspace 2.0-2
commonmark 1,7 компилятор 4.1.2 config 0.3.1
cpp11 0.4.2 Карандаш 1.4.2 учетные данные 1.3.2
curl 4.3.2 data.table 1.14.2 наборы данных 4.1.2
DBI 1.1.2 dbplyr 2.1.1 desc 1.4.0
средства разработки 2.4.3 diffobj 0.3.5 digest 0.6.29
dplyr 1.0.7 dtplyr 1.2.0 e1071 1.7-9
многоточие 0.3.2 evaluate 0,14 вентиляторы 1.0.2
Farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.1 Иностранных 0.8-82
forge 0.2.0 fs 1.5.2 будущее 1.23.0
future.apply 1.8.1 gargle 1.2.0 Универсальные шаблоны 0.1.1
gert 1.5.0 ggplot2 3.3.5 gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-3 globals 0.14.0
Клей 1.6.0 googledrive 2.0.0 googlesheets4 1.0.0
Говер 0.2.2 графика 4.1.2 grDevices 4.1.2
grid 4.1.2 gridExtra 2.3 gsubfn 0,7
gtable 0.3.0 haven 2.4.3 высокий 0,9
Hms 1.1.1 htmltools 0.5.2 htmlwidgets 1.5.4
httpuv 1.6.5 httr 1.4.2 hwriter 1.3.2
hwriterPlus 1.0-3 ids 1.0.1 ini 0.3.1
ipred 0.9-12 isoband 0.2.5 Итераторы 1.0.13
jquerylib 0.1.4 jsonlite 1.7.3 KernSmooth 2.23-20
трикотажный 1,37 Маркировки 0.4.2 later 1.3.0
Решетки 0.20-45 Lava 1.6.10 жизненный цикл 1.0.1
listenv 0.8.0 lubridate 1.8.0 magrittr 2.0.1
Markdown 1,1 МАССАЧУСЕТС 7.3-55 «Матрица» 1.4-0
memoise 2.0.1 оплаты 4.1.2 mgcv 1.8-38
Mime 0,12 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-155 nnet 7.3-17
numDeriv 2016.8-1.1 openssl 1.4.6 parallel 4.1.2
parallelly 1.30.0 Столб 1.6.4 pkgbuild 1.3.1
pkgconfig 2.0.3 pkgload 1.2.4 plogr 0.2.0
plyr 1.8.6 Похвалы 1.0.0 prettyunits 1.1.1
Proc 1.18.0 processx 3.5.2 prodlim 2019.11.13
Ход выполнения 1.2.2 progressr 0.10.0 promises 1.2.0.1
proto 1.0.0 proxy 0.4-26 ps 1.6.0
purrr 0.3.4 r2d3 0.2.5 R6 2.5.1
randomForest 4.6-14 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-2 Rcpp 1.0.8 RcppEigen 0.3.3.9.1
readr 2.1.1 readxl 1.3.1 Рецепты 0.1.17
Реванш 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.1 reshape2 1.4.4 rlang 0.4.12
rmarkdown 2,11 RODBC 1.3-19 roxygen2 7.1.2
rpart 4.1-15 rprojroot 2.0.2 Rserve 1.8-10
RSQLite 2.2.9 rstudioapi 0,13 rversions 2.1.1
rvest 1.0.2 sass 0.4.0 Весы 1.1.1
селектор 0.4-2 sessioninfo 1.2.2 Формы 1.4.6
Блестящие 1.7.1 sourcetools 0.1.7 sparklyr 1.7.4
SparkR 3.2.0 пространственный 7.3-11 Сплайны 4.1.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.1.2
статистика4 4.1.2 stringi 1.7.6 stringr 1.4.0
Выживания 3.2-13 sys 3,4 tcltk 4.1.2
ОбучениеDemos 2,10 testthat 3.1.1 tibble 3.1.6
tidyr 1.1.4 tidyselect 1.1.1 tidyverse 1.3.1
TimeDate 3043.102 tinytex 0,36 средства 4.1.2
tzdb 0.2.0 usethis 2.1.5 utf8 1.2.2
служебные программы 4.1.2 uuid 1.0-3 vctrs 0.3.8
viridisLite 0.4.0 vroom 1.5.7 waldo 0.3.1
виски 0,4 withr 2.4.3 xfun 0,29
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
Yaml 2.2.1 zip 2.2.0

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)

ИД группы Идентификатор артефакта Версия
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics потоковая передача 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1–0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.12.3
com.fasterxml.jackson.core jackson-core 2.12.3
com.fasterxml.jackson.core jackson-databind 2.12.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.3
com.fasterxml.jackson.module jackson-module-paranamer 2.12.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.3
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natives 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java-natives 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h{_>2<_} 1.4.195
com.helger профилировщик 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.3.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.68.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Коллектор 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0–2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.10
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4,8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1,21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1,6
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.1-databricks
org.apache.hadoop hadoop-client-runtime 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 4.1.0-incubating
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.12
org.apache.orc orc-mapreduce 1.6.12
org.apache.orc orc-shims 1.6.12
org.apache.parquet parquet-column 1.12.0-databricks-0003
org.apache.parquet parquet-common 1.12.0-databricks-0003
org.apache.parquet parquet-encoding 1.12.0-databricks-0003
org.apache.parquet parquet-format-structures 1.12.0-databricks-0003
org.apache.parquet parquet-hadoop 1.12.0-databricks-0003
org.apache.parquet parquet-jackson 1.12.0-databricks-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4,20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.43.v20210629
org.eclipse.jetty jetty-continuation 9.4.43.v20210629
org.eclipse.jetty jetty-http 9.4.43.v20210629
org.eclipse.jetty jetty-io 9.4.43.v20210629
org.eclipse.jetty jetty-jndi 9.4.43.v20210629
org.eclipse.jetty jetty-plus 9.4.43.v20210629
org.eclipse.jetty jetty-proxy 9.4.43.v20210629
org.eclipse.jetty jetty-security 9.4.43.v20210629
org.eclipse.jetty jetty-server 9.4.43.v20210629
org.eclipse.jetty jetty-servlet 9.4.43.v20210629
org.eclipse.jetty jetty-servlets 9.4.43.v20210629
org.eclipse.jetty jetty-util 9.4.43.v20210629
org.eclipse.jetty jetty-util-ajax 9.4.43.v20210629
org.eclipse.jetty jetty-webapp 9.4.43.v20210629
org.eclipse.jetty jetty-xml 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-api 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-client 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-common 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-server 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-servlet 9.4.43.v20210629
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark Неиспользуемые 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1