Поделиться через

Databricks Runtime 9.1 LTS

  • Статья

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 9.1 LTS и Databricks Runtime 9.1 LTS Photon на базе Apache Spark 3.1.2. Эти образы были выпущены Databricks в сентябре 2021 года. Photon сейчас находится в режиме общедоступной предварительной версии.

Примечание.

LTS означает, что эта версия находится в долгосрочной поддержке. См. жизненный цикл версии LTS среды выполнения Databricks.

Новые функции и внесенные улучшения

Подсказки схемы автоматического загрузчика теперь работают с типами массивов и сопоставлений

Типы массивов и карт поддерживаются в выводе схемы Переопределения с указанием схемы для автозагрузчика.

Примеры подсказок схемы для массивов:

  1. arr Array<TYPE> изменяет тип массива.
  2. arr.element TYPE изменяет тип массива (с помощью ключевого слова element).
  3. arr.element.x TYPE изменяет тип вложенного поля в массиве структур.

Первые два примера — подсказки для изменения типа массива с arr на TYPE, но в них используется другой синтаксис. В третьем примере arr — это массив структур с полем x. В этом примере показано, как изменить тип x на TYPE.

Примеры подсказок схемы для сопоставлений:

  1. m Map<KEY-TYPE, VALUE-TYPE> изменяет типы ключей и значений сопоставлений.
  2. m.key TYPE изменяет тип ключей сопоставлений.
  3. m.value TYPE изменяет тип значений сопоставлений.
  4. m.key.x TYPE изменяет тип поля в ключе сопоставления.
  5. m.value.x TYPE изменяет тип поля для значения сопоставления.

В первом примере тип ключа и значения сопоставления m изменяется на KEY_TYPE и VALUE_TYPE соответственно. Второй и третий примеры можно использовать, если необходимо изменить только тип ключа или только тип значения. В четвертом и пятом примерах m — это схема с ключом и значением типа структуры с полем x. В этом примере показано, как изменить тип x на TYPE.

Поддержка файлов Avro для схемы слияния

Формат файла Avro теперь поддерживает параметр mergeSchema при чтении файлов. При значении true параметра mergeSchema при чтении файлов Avro схема выводится из набора файлов Avro, а не из одного файла. Это повышает удобство за счет применения схемы, которая позволяет считывать все файлы, даже если у них разные схемы. См. раздел Конфигурация.

Поддержка добавочных списков для автозагрузчика (общедоступная предварительная версия)

При работе с лексикографически созданными файлами в автозагрузчике теперь применяются лексическое упорядочение файлов и существующие оптимизированные интерфейсы API, что повышает эффективность операций получения списка каталогов за счет использования списков ранее принятых файлов, а не перечисления содержимого всего каталога. Автозагрузчик автоматически определяет, подходит ли данный каталог для получения добавочного списка по умолчанию. Для явного управления этим режимом установите для нового параметра cloudFiles.useIncrementalListing значение "Вкл." (true), "Выкл." (false) или "Автоматически" (auto). Если выбрать режим true, можно также настроить параметр cloudFiles.backfillInterval для планирования заполнения задним числом, чтобы гарантировать полный прием всех данных.

Delta теперь поддерживает произвольные инструкции replaceWhere

Параметр replaceWhere в сочетании с режимом перезаписи можно использовать для одновременной перезаписи данных, которые соответствуют предикату, определенному в параметре. Ранее предикат replaceWhere поддерживался только для столбцов секционирования, но теперь он может быть произвольным выражением. См. раздел Запись в таблицу.

Автозагрузчик для Google Cloud теперь поддерживает уведомления о файлах (общедоступная предварительная версия).

Автозагрузчик теперь поддерживает режим уведомления о файлах в Google Cloud. Установите .option("cloudFiles.useNotifications", "true"), чтобы разрешить автозагрузчику автоматически настраивать для вас ресурсы Pub/Sub Google Cloud. При использовании режима уведомления о файлах новые файлы обнаруживаются и принимаются по мере их поступления без получения списка входного каталога. См. раздел "Что такое режим уведомлений о файлах автозагрузчика?".

Предложение CREATE FUNCTION теперь поддерживает создание табличных функций

Помимо скалярной функции, возвращающей скалярное значение, теперь можно создать табличную функцию, возвращающую набор строк. См. раздел CREATE FUNCTION (SQL и Python).

Источник потоковой передачи Kafka теперь передает метрику estimatedTotalBytesBehindLatest

Теперь источник потоковой передачи Kafka сообщает о том, сколько байтов потребителю осталось до последнего доступного байта после каждого пакета. Эту метрику можно использовать для отслеживания хода выполнения потока. См. сведения о метриках Kafka.

Пример выходных данных метрики:

StreamingQueryProgress {
  "batchId": 0,
  .....
  "sources": [ {
    "description" : "KafkaV2[Subscribe[topic-0]]",
    "metrics":{
      "avgOffsetsBehindLatest" : "1.0",
      "estimatedTotalBytesBehindLatest" : "80.0", // new
      "maxOffsetsBehindLatest" : "1",
      "minOffsetsBehindLatest" : "1"
    } ],
  ....
 }

Для структур внутри массивов инструкция Delta MERGE INTO теперь разрешает поля структуры по имени и меняет схемы структуры

Delta MERGE INTO теперь поддерживает разрешение полей структур по имени и автоматическое изменение схемы для массивов структур. Если автоматическое изменение схемы включено (для параметра spark.databricks.delta.schema.autoMerge.enabled задано значение true), то предложения UPDATE и INSERT разрешают поля структур в массиве по имени путем приведения к соответствующему типу данных, определенному в целевом массиве, и заполнения дополнительных или отсутствующих полей в источнике или целевом объекте значениями NULL. Если автоматическое изменение схемы отключено, предложения UPDATE и INSERT разрешают поля структуры внутри массива по имени, но не могут изменять дополнительные поля. См. раздел "Автоматическая эволюция схемы" для массивов структур.

Исправления ошибок

  • Исправлена утечка памяти в соединителе Amazon S3, которая могла возникнуть в длительно выполняющихся заданиях или службах и вызывалась функциями DeleteOnExit виртуальной машины Java.

Обновления библиотек

  • Обновленные библиотеки Python:
    • plotly с 4.14.3 до 5.1.0
  • Обновленные библиотеки R:
    • base с 4.1.0 до 4.1.1
    • bslib с 0.2.5.1 до 0.3.0
    • cachem с 1.0.5 до 1.0.6
    • compiler с 4.1.0 до 4.1.1
    • datasets с 4.1.0 до 4.1.1
    • future с 1.21.0 до 1.22.1
    • gert с 1.3.1 до 1.3.2
    • graphics с 4.1.0 до 4.1.1
    • grDevices с 4.1.0 до 4.1.1
    • grid с 4.1.0 до 4.1.1
  • Обновленные библиотеки Java:
    • org.eclipse.jetty с 9.4.36.v20210114 до 9.4.42.v20210604

Apache Spark

Databricks Runtime 9.1 LTS включает Apache Spark 3.1.2. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 9.0 (неподдерживаемые) и следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

  • [SPARK-36674][SQL][CHERRY-PICK] поддержка ILIKE — LIKE без учета регистра
  • [SPARK-36353][SQL][3.1] Операторы RemoveNoopOperators должны сохранять выходную схему
  • [SPARK-35876][SQL][3.1] ArraysZip должен хранить имена полей, чтобы избежать перезаписи анализатором/оптимизатором
  • [SPARK-36398][SQL] Скрытие конфиденциальных данных в журнале сервера Thrift Spark
  • [SPARK-36498][SQL] Изменение порядка внутренних полей входного запроса в операции записи byName V2
  • [SPARK-36614][CORE][UI] Исправление причины потери исполнителя из-за вывода из эксплуатации в пользовательском интерфейсе
  • [SPARK-36012][SQL] Добавление флага null в SHOW CREATE TABLE
  • [SPARK-36509][CORE] Устранение проблемы, при которой исполнители не перепланируются, если рабочая роль останавливает работу в автономном кластере
  • [SPARK-36603][CORE] Использование WeakReference вместо SoftReference в LevelDB
  • [SPARK-36564][CORE] Исправление NullPointerException в LiveRDDDistribution.toApi
  • [SPARK-36086][SQL][3.1] В псевдониме замены CollapseProject должно использоваться исходное имя столбца
  • [SPARK-33527][SQL] Расширение функции декодирования в соответствии с наиболее распространенными базами данных
  • [SPARK-36400][SPART-36398][SQL][WEBUI] Распознавание модулем ThriftServer выражения spark.sql.redaction.string.regex
  • [SPARK-34054][CORE] Очистка кода BlockManagerDecommissioner
  • [SPARK-36500][CORE] Исправление утечки файлов temp_shuffle при прерывании задачи
  • [SPARK-36489][SQL] Агрегатные функции без ключей группирования в таблицах с одним контейнером возвращают несколько строк
  • [SPARK-36464][CORE] Исправление инициализации переменной размера в ChunkedByteBufferOutputStream для записи более 2 ГБ данных
  • [SPARK-36339][SQL][3.0] Ссылки на группирование, которое не входит в агрегат, должны быть заменены
  • [SPARK-36354][CORE] Модуль EventLogFileReader должен пропускать циклические каталоги журналов событий без журналов
  • [SPARK-36242][CORE][3.1] Файл сброса данных должен быть закрыт перед установкой параметра success = true в методе ExternalSorter.spillMemoryIteratorToDisk
  • [SPARK-36211][Python] Правильный ввод возвращаемого значения udf
  • [SPARK-34222][SQL] Улучшение логического правила упрощения
  • [SPARK-35027][CORE] Закрытие InputStream в FileAppender при записи...
  • [SPARK-36269][SQL] Исправление только установленных столбцов данных на конфигурацию имен столбцов Hive
  • [SPARK-36213][SQL] Нормализация PartitionSpec для команды описания таблицы с использованием PartitionSpec
  • [SPARK-36210][SQL] Сохранение порядка вставки столбцов в Dataset.withColumns
  • [SPARK-36079][SQL] Оценка фильтра, основанного на Null, должна всегда находиться в диапазоне [0, 1]
  • [SPARK-28266][SQL] convertToLogicalRelation не должно интерпретировать свойство path при чтении таблиц Hive

Обновления в рамках обслуживания

См. раздел Служебные обновления Databricks Runtime 9.1 LTS.

Системная среда

  • Операционная система: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.10
  • Python: 3.8.10
  • R: 4.1.1
  • Delta Lake: 1.0.0

Установленные библиотеки Python

Библиотека Версия Библиотека Версия Библиотека Версия
Antergos Linux 2015.10 (ISO-Rolling) appdirs 1.4.4 backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 certifi 2020.12.5
chardet 4.0.0 cycler 0.10.0 Cython 0.29.23
dbus-python 1.2.16 decorator 5.0.6 distlib 0.3.2
distro-info 0.23ubuntu1 facets-overview 1.0.0 filelock 3.0.12
idna 2,10 ipykernel 5.3.4 ipython 7.22.0
ipython-genutils 0.2.0 jedi 0.17.2 jmespath 0.10.0
joblib 1.0.1 jupyter-client 6.1.12 jupyter-core 4.7.1
kiwisolver 1.3.1 koalas 1.8.1 matplotlib 3.4.2
numpy 1.19.2 pandas 1.2.4 parso 0.7.0
patsy 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
Pillow 8.2.0 pip 21.0.1 график 5.1.0
prompt-toolkit 3.0.17 protobuf 3.17.2 psycopg2 2.8.5
ptyprocess 0.7.0 pyarrow 4.0.0 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 python-apt 2.0.0+ubuntu0.20.4.5
python-dateutil 2.8.1 pytz 2020.5 pyzmq 20.0.0
requests 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 Сиборн 0.11.1
setuptools 52.0.0 six 1.15.0 ssh-import-id 5,10
statsmodels 0.12.2 tenacity 8.0.1 threadpoolctl 2.1.0
tornado 6.1 traitlets 5.0.5 unattended-upgrades 0,1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
wheel 0.36.2

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка Microsoft Cran от 08.09.2021.

Библиотека Версия Библиотека Версия Библиотека Версия
askpass 1,1 assertthat 0.2.1 внутренние порты 1.2.1
base 4.1.1 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 большой двоичный объект 1.2.2 загрузка 1.3-28
Заваривать 1.0–6 brio 1.1.2 Метлу 0.7.9
bslib 0.3.0 cachem 1.0.6 вызывающий объект 3.7.0
крышка 6.0-88 cellranger 1.1.0 chron 2.3-56
class 7.3-19 cli 3.0.1 clipr 0.7.1
cluster 2.1.2 codetools 0.2-18 colorspace 2.0-2
commonmark 1,7 компилятор 4.1.1 config 0.3.1
cpp11 0.3.1 Карандаш 1.4.1 учетные данные 1.3.1
curl 4.3.2 data.table 1.14.0 наборы данных 4.1.1
DBI 1.1.1 dbplyr 2.1.1 desc 1.3.0
средства разработки 2.4.2 diffobj 0.3.4 digest 0.6.27
dplyr 1.0.7 dtplyr 1.1.0 многоточие 0.3.2
evaluate 0,14 вентиляторы 0.5.0 Farver 2.1.0
fastmap 1.1.0 forcats 0.5.1 foreach 1.5.1
Иностранных 0.8-81 forge 0.2.0 fs 1.5.0
будущее 1.22.1 future.apply 1.8.1 gargle 1.2.0
Универсальные шаблоны 0.1.0 gert 1.3.2 ggplot2 3.3.5
gh 1.3.0 gitcreds 0.1.1 glmnet 4.1-2
globals 0.14.0 Клей 1.4.2 googledrive 2.0.0
googlesheets4 1.0.0 Говер 0.2.2 графика 4.1.1
grDevices 4.1.1 grid 4.1.1 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 haven 2.4.3
высокий 0,9 Hms 1.1.0 htmltools 0.5.2
htmlwidgets 1.5.3 httpuv 1.6.2 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ids 1.0.1
ini 0.3.1 ipred 0.9-11 isoband 0.2.5
Итераторы 1.0.13 jquerylib 0.1.4 jsonlite 1.7.2
KernSmooth 2.23-20 трикотажный 1.33 Маркировки 0.4.2
later 1.3.0 Решетки 0.20-44 Lava 1.6.10
жизненный цикл 1.0.0 listenv 0.8.0 lubridate 1.7.10
magrittr 2.0.1 Markdown 1,1 МАССАЧУСЕТС 7.3-54
«Матрица» 1.3-4 memoise 2.0.0 оплаты 4.1.1
mgcv 1.8-36 Mime 0,11 ModelMetrics 1.2.2.2
modelr 0.1.8 munsell 0.5.0 nlme 3.1-152
nnet 7.3-16 numDeriv 2016.8-1.1 openssl 1.4.5
parallel 4.1.1 parallelly 1.27.0 Столб 1.6.2
pkgbuild 1.2.0 pkgconfig 2.0.3 pkgload 1.2.1
plogr 0.2.0 plyr 1.8.6 Похвалы 1.0.0
prettyunits 1.1.1 Proc 1.18.0 processx 3.5.2
prodlim 2019.11.13 Ход выполнения 1.2.2 progressr 0.8.0
promises 1.2.0.1 proto 1.0.0 ps 1.6.0
purrr 0.3.4 r2d3 0.2.5 R6 2.5.1
randomForest 4.6-14 rappdirs 0.3.3 rcmdcheck 1.3.3
RColorBrewer 1.1-2 Rcpp 1.0.7 readr 2.0.1
readxl 1.3.1 Рецепты 0.1.16 Реванш 1.0.1
rematch2 2.1.2 remotes 2.4.0 reprex 2.0.1
reshape2 1.4.4 rlang 0.4.11 rmarkdown 2,10
RODBC 1.3-18 roxygen2 7.1.1 rpart 4.1-15
rprojroot 2.0.2 Rserve 1.8-8 RSQLite 2.2.8
rstudioapi 0,13 rversions 2.1.1 rvest 1.0.1
sass 0.4.0 Весы 1.1.1 селектор 0.4-2
sessioninfo 1.1.1 Формы 1.4.6 Блестящие 1.6.0
sourcetools 0.1.7 sparklyr 1.7.1 SparkR 3.1.1
пространственный 7.3-11 Сплайны 4.1.1 sqldf 0.4-11
SQUAREM 2021.1 stats 4.1.1 статистика4 4.1.1
stringi 1.7.4 stringr 1.4.0 Выживания 3.2-13
sys 3,4 tcltk 4.1.1 ОбучениеDemos 2,10
testthat 3.0.4 tibble 3.1.4 tidyr 1.1.3
tidyselect 1.1.1 tidyverse 1.3.1 TimeDate 3043.102
tinytex 0,33 средства 4.1.1 tzdb 0.1.2
usethis 2.0.1 utf8 1.2.2 служебные программы 4.1.1
uuid 0.1-4 vctrs 0.3.8 viridisLite 0.4.0
vroom 1.5.4 waldo 0.3.0 виски 0,4
withr 2.4.2 xfun 0.25 xml2 1.3.2
xopen 1.0.0 xtable 1.8-4 Yaml 2.2.1
zip 2.2.0

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)

ИД группы Идентификатор артефакта Версия
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-marketplacecommerceanalytics 1.11.655
com.amazonaws aws-java-sdk-marketplacemeteringservice 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics потоковая передача 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1–0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natives 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java-natives 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.crypto.tink tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h{_>2<_} 1.4.195
com.helger профилировщик 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1,10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1,6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
hive-2.3__hadoop-2.7 jets3t-0.7 liball_deps_2.12
hive-2.3__hadoop-2.7 zookeeper-3.4 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.10
io.delta delta-sharing-spark_2.12 0.1.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Коллектор 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0–2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-2.7 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1,20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3,10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1,6
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0–M20
org.apache.directory.api api-util 1.0.0–M20
org.apache.directory.server apacheds-i18n 2.0.0–M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0–M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc orc-shims 1.5.12
org.apache.parquet parquet-column 1.10.1-databricks9
org.apache.parquet parquet-common 1.10.1-databricks9
org.apache.parquet parquet-encoding 1.10.1-databricks9
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks9
org.apache.parquet parquet-jackson 1.10.1-databricks9
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.42.v20210604
org.eclipse.jetty jetty-continuation 9.4.42.v20210604
org.eclipse.jetty jetty-http 9.4.42.v20210604
org.eclipse.jetty jetty-io 9.4.42.v20210604
org.eclipse.jetty jetty-jndi 9.4.42.v20210604
org.eclipse.jetty jetty-plus 9.4.42.v20210604
org.eclipse.jetty jetty-proxy 9.4.42.v20210604
org.eclipse.jetty jetty-security 9.4.42.v20210604
org.eclipse.jetty jetty-server 9.4.42.v20210604
org.eclipse.jetty jetty-servlet 9.4.42.v20210604
org.eclipse.jetty jetty-servlets 9.4.42.v20210604
org.eclipse.jetty jetty-util 9.4.42.v20210604
org.eclipse.jetty jetty-util-ajax 9.4.42.v20210604
org.eclipse.jetty jetty-webapp 9.4.42.v20210604
org.eclipse.jetty jetty-xml 9.4.42.v20210604
org.eclipse.jetty.websocket websocket-api 9.4.42.v20210604
org.eclipse.jetty.websocket websocket-client 9.4.42.v20210604
org.eclipse.jetty.websocket websocket-common 9.4.42.v20210604
org.eclipse.jetty.websocket websocket-server 9.4.42.v20210604
org.eclipse.jetty.websocket websocket-servlet 9.4.42.v20210604
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2,30
org.glassfish.jersey.containers jersey-container-servlet-core 2,30
org.glassfish.jersey.core jersey-client 2,30
org.glassfish.jersey.core jersey-common 2,30
org.glassfish.jersey.core jersey-server 2,30
org.glassfish.jersey.inject jersey-hk2 2,30
org.glassfish.jersey.media jersey-media-jaxb 2,30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark Неиспользуемые 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0,52