Поделиться через

Databricks Runtime 8.2 (неподдерживаемый)

  • Статья

Этот образ Databricks выпущен в апреле 2021 г.

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 8.2 на платформе Apache Spark 3.1.1.

Новые функции и внесенные улучшения

Новые параметры автозагрузчика позволяют упростить развитие схем

Для автозагрузчика больше не требуется указывать входные данные схемы, чтобы начать прием данных JSON. Кроме того, автозагрузчик может обнаружить ввод новых столбцов в данные и перезапустить, чтобы никогда не потерять данные. Автозагрузчик также может «спасти» непредвиденные данные (например, отличающиеся типы данных) в столбец BLOB-объектов JSON, доступ к которым можно затем получить с помощью частично структурированных API доступа к данным. Дополнительные сведения см. в статье о настройке вывода и эволюции схемы в автозагрузчике.

Просмотр метрик VACUUM (общедоступная предварительная версия)

Фиксации VACUUM в журнале транзакций Delta теперь содержат сведения об удаленных и очищенных каталогах. См. сведения о аудите и просмотр сведений о таблице Delta Lake с описанием.

Упрощенное понимание того, сколько данных Delta Lake было клонировано или восстановлено

После выполнения команды Delta Lake CLONE и RESTORE возвращают метрики, поэтому можно легко понять, сколько данных было клонировано или восстановлено в результате выполнения этих операций. См. разделы Клонирование метрик и Восстановление метрик.

Настройка размера файлов в таблицах Delta в соответствии с требованиями рабочих нагрузок

Теперь можно задать свойство таблицы, чтобы дать команду Delta Lake выбирать размеры файлов, подходящие для таблиц с частыми операциями MERGE (например, upsert данных изменений в таблицы). Среда выполнения также может определять, когда таблицы являются потребляют большой объем MERGE и автоматически настраивать размеры файлов. Для более точной настройки можно задать размер целевого объекта как свойство, а все операции оптимизации макета данных (например, «Оптимизация», «Оптимизация записи» и «Автоматическое сжатие») приводят к максимально результативной попытке создания файлов такого размера. Сведения о настройке Delta Lake для управления размером файла данных.

Инкрементное получение операций обновления и удаления в таблицах Delta c помощью веб-канала изменений данных (общедоступная предварительная версия)

Веб-канал изменения данных таблицы Delta представляет изменения на уровне строк в различных версиях таблицы. Если этот параметр включен, среда выполнения записывает дополнительную информацию об изменениях на уровне строк для каждой операции записи в таблице. Эти изменения можно запросить с помощью SQL и модулей чтения кадра данных и потока данных. Канал активирует:

  • Эффективное использование операций объединения, обновления и удаления. Получение строк, которые были обновлены, вставлены или удалены, значительно повышает производительность заданий ниже по потоку, использующих выходные данные объединения, так как для файлов не следует сейчас выполнять обработку и дедупликацию.
  • Поддержание синхронизации между репликами двух различных таблиц, представляющих одни и те же данные. Распространенной практикой является поддержка двух версий одной и той же таблицы: узкой таблицы как источника достоверной информации и более широкой таблицы с дополнительными данными. Изменения можно эффективно применить из узкой таблицы к более широкой таблице.

Дополнительные сведения см. в статье Использование веб-канала изменений данных Delta Lake в Azure Databricks.

Извлечение данных из строк JSON с помощью операторов SQL (общедоступная версия)

Операторы SQL (:: и :), которые позволяют легко извлекать данные из строк JSON, теперь являются общедоступными. См. статью "Запрос строк JSON".

Обновления библиотек

  • Обновленная библиотека Python:
    • обновление koalas с версии 1.6.0 до 1.7.0.
  • Обновленная библиотека Java:
    • обновление univocity-parsers с версии 2.9.0 до 2.9.1.

Apache Spark

Databricks Runtime 8.2 включает Apache Spark 3.1.1. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 8.1 (неподдерживаемые), а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

  • [SPARK-34614] [SQL] Режим ANSI: приведение строки к логическому типу вызовет создание исключения при ошибке синтаксического анализа
  • [SPARK-33794][SQL] Исправление выражения NextDay для создания среды выполнения IllegalArgumentException при получении недопустимых входных данных в режиме ANSI
  • [SPARK-34833] [SQL] Обработка внешних ссылок во всех расположениях
  • [SPARK-34742] [SQL] Режим ANSI: Abs создает исключение, если входные данные выходят за пределы допустимого диапазона
  • [SPARK-34833] [SQL] Правильное применение заполнения справа для коррелированных вложенных запросов.
  • [SPARK-34719] [SQL] Правильное разрешение запроса представления с повторяющимися именами столбцов.
  • [SPARK-34392] [SQL]: поддержка ZoneOffset +ч:мм в DateTimeUtils. getZoneId
  • [SPARK-34436] [SQL]: DPP поддерживает выражение LIKE ANY/ALL.
  • [SPARK-34497] [SQL] Исправлены встроенные поставщики подключений JDBC для восстановления изменений контекста безопасности виртуальной машины Java.
  • [SPARK-34543] [SQL] Теперь конфигурация spark.sql.caseSensitive учитывается при разрешении спецификации секции в v1 SET LOCATION.
  • [SPARK-34550] [SQL]: пропуск нулевых значений InSet при отправке фильтра в хранилище метаданных Hive.
  • [SPARK-34531] [Core: удален тег API Experimental в PrometheusServlet.
  • [SPARK-34515] [SQL] Исправлен NPE, если InSet содержит значение NULL во время getPartitionsByFilter.
  • Таблица [Spark-34490] может быть разрешена как представление при удалении таблицы
  • [SPARK-34613] Исправлена ошибка, при которой представление на соответствует настройке отключении подсказки
  • [Spark-34504] Избегайте ненужного разрешения представления и удалите флаг performCheck
  • [SPARK-34373] [SQL] startWithContext в HiveThriftServer2 теперь не зависает с проблемой состояния гонки
  • [SPARK-34421] [SQL] Разрешение временных функций и представлений в представлениях с обобщенными табличными выражениями
  • [SPARK-34713] [SQL] Исправлено группирование по CreateStruct с ExtractValue.
  • [SPARK-34770] [SQL] InMemoryCatalog.tableExists не должно завершаться ошибкой, если база данных не существует
  • [SPARK-34681] [SQL] Исправлена ошибка для полного внешнего перемешанного хэш-соединения при построении левой части с условием неравенства.

Обновления в рамках обслуживания

См. Служебные обновления Databricks Runtime 8.2

Системная среда

  • Операционная система: Ubuntu 18.04.5 LTS
  • Java: Zulu 8.52.0.23-CA-linux64 (сборка 1.8.0_282-b08)
  • Scala: 2.12.10
  • Python: 3.8.8 (обновлено с версии 3.8.6 26 мая, обновление в рамках обслуживания 26 мая 2021 г.)
  • R: R версии 4.0.4 (15.02.2021 г.)
  • Delta Lake: 0.8.0

Установленные библиотеки Python

Библиотека Версия Библиотека Версия Библиотека Версия
appdirs 1.4.4 asn1crypto 1.4.0 backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 brotlipy 0.7.0
certifi 2020.12.5 cffi 1.14.3 chardet 3.0.4
криптография 3.1.1 cycler 0.10.0 Cython 0.29.21
decorator 4.4.2 distlib 0.3.1 docutils 0.15.2
entrypoints 0,3 filelock 3.0.12 idna 2,10
ipykernel 5.3.4 ipython 7.19.0 ipython-genutils 0.2.0
jedi 0.17.2 jmespath 0.10.0 joblib 0.17.0
jupyter-client 6.1.7 jupyter-core 4.6.3 kiwisolver 1.3.0
koalas 1.7.0 matplotlib 3.2.2 numpy 1.19.2
pandas 1.1.3 parso 0.7.0 patsy 0.5.1
pexpect 4.8.0 pickleshare 0.7.5 pip 20.2.4
график 4.14.3 prompt-toolkit 3.0.8 psycopg2 2.8.5
ptyprocess 0.6.0 pyarrow 1.0.1 pycparser 2,20
Pygments 2.7.2 pyOpenSSL 19.1.0 pyparsing 2.4.7
PySocks 1.7.1 python-dateutil 2.8.1 pytz 2020.5
pyzmq 19.0.2 requests 2.24.0 retrying 1.3.3
s3transfer 0.3.4 scikit-learn 0.23.2 scipy 1.5.2
мореборн 0.10.0 setuptools 50.3.1 six 1.15.0
statsmodels 0.12.0 threadpoolctl 2.1.0 tornado 6.0.4
traitlets 5.0.5 urllib3 1.25.11 virtualenv 20.2.1
wcwidth 0.2.5 wheel 0.35.1

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка Microsoft Cran от 02.11.2020.

Библиотека Версия Библиотека Версия Библиотека Версия
askpass 1,1 assertthat 0.2.1 внутренние порты 1.2.1
base 4.0.4 base64enc 0.1-3 BH 1.72.0-3
bit 4.0.4 bit64 4.0.5 большой двоичный объект 1.2.1
загрузка 1.3-27 заваривать 1.0–6 brio 1.1.0
метла 0.7.2 вызывающий объект 3.5.1 крышка 6.0-86
cellranger 1.1.0 chron 2.3-56 class 7.3-18
cli 2.2.0 clipr 0.7.1 cluster 2.1.1
codetools 0.2-18 colorspace 2.0-0 commonmark 1,7
компилятор 4.0.4 config 0,3 covr 3.5.1
cpp11 0.2.4 карандаш 1.3.4 учетные данные 1.3.0
переходный разговор 1.1.0.1 curl 4.3 data.table 1.13.4
наборы данных 4.0.4 DBI 1.1.0 dbplyr 2.0.0
desc 1.2.0 средства разработки 2.3.2 diffobj 0.3.2
digest 0.6.27 dplyr 1.0.2 DT 0,16
многоточие 0.3.1 evaluate 0,14 вентиляторы 0.4.1
Farver 2.0.3 fastmap 1.0.1 forcats 0.5.0
foreach 1.5.1 иностранный 0.8-81 forge 0.2.0
fs 1.5.0 будущее 1.21.0 Универсальные шаблоны 0.1.0
gert 1.0.2 ggplot2 3.3.2 gh 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 globals 0.14.0
клей 1.4.2 Говер 0.2.2 графика 4.0.4
grDevices 4.0.4 grid 4.0.4 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 haven 2.3.1
высокий 0,8 hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isoband 0.2.3 Итераторы 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-18 трикотажный 1,30
маркирование 0.4.2 later 1.1.0.1 решётка 0.20-41
Lava 1.6.8.1 lazoval 0.2.2 жизненный цикл 0.2.0
listenv 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
Markdown 1,1 МАССАЧУСЕТС 7.3-53.1 «Матрица» 1.3-2
memoise 1.1.0 оплаты 4.0.4 mgcv 1.8-33
мим 0,9 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-152 nnet 7.3-15
numDeriv 2016.8-1.1 openssl 1.4.3 parallel 4.0.4
parallelly 1.22.0 столб 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
plyr 1.8.6 хвалить 1.0.0 prettyunits 1.1.1
pROC 1.16.2 processx 3.4.5 prodlim 2019.11.13
Ход выполнения 1.2.2 promises 1.1.1 proto 1.0.0
ps 1.5.0 purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
readr 1.4.0 readxl 1.3.1 Рецепты 0.1.15
реванш 1.0.1 rematch2 2.1.2 remotes 2.2.0
reprex 0.3.0 reshape2 1.4.4 rex 1.2.0
rlang 0.4.9 rmarkdown 2.6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-7 RSQLite 2.2.1 rstudioapi 0,13
rversions 2.0.2 rvest 0.3.6 весы 1.1.1
селектор 0.4-2 sessioninfo 1.1.1 форма 1.4.5
блестящий 1.5.0 sourcetools 0.1.7 sparklyr 1.5.2
SparkR 3.1.2 пространственный 7.3-11 Сплайны 4.0.4
sqldf 0.4-11 SQUAREM 2020.5 stats 4.0.4
статистика4 4.0.4 stringi 1.5.3 stringr 1.4.0
выживание 3.2-7 sys 3,4 tcltk 4.0.4
ОбучениеDemos 2,10 testthat 3.0.0 tibble 3.0.4
tidyr 1.1.2 tidyselect 1.1.0 tidyverse 1.3.0
TimeDate 3043.102 tinytex 0,28 средства 4.0.4
usethis 2.0.0 utf8 1.1.4 служебные программы 4.0.4
uuid 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
waldo 0.2.3 усы 0,4 withr 2.3.0
xfun 0,19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1 zip 2.1.1

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)

ИД группы Идентификатор артефакта Версия
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics потоковая передача 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1–0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natives 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java-natives 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger профилировщик 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1,10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1,6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.10
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx коллектор 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0–2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.12.8
net.snowflake spark-snowflake_2.12 2.8.1-spark_3.0
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1,20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3,10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1,6
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0–M20
org.apache.directory.api api-util 1.0.0–M20
org.apache.directory.server apacheds-i18n 2.0.0–M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0–M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-common 2.3.7
org.apache.hive hive-exec-core 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-metastore 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc orc-shims 1.5.12
org.apache.parquet parquet-column 1.10.1-databricks6
org.apache.parquet parquet-common 1.10.1-databricks6
org.apache.parquet parquet-encoding 1.10.1-databricks6
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks6
org.apache.parquet parquet-jackson 1.10.1-databricks6
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity скорость 1.5
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.36.v20210114
org.eclipse.jetty jetty-continuation 9.4.36.v20210114
org.eclipse.jetty jetty-http 9.4.36.v20210114
org.eclipse.jetty jetty-io 9.4.36.v20210114
org.eclipse.jetty jetty-jndi 9.4.36.v20210114
org.eclipse.jetty jetty-plus 9.4.36.v20210114
org.eclipse.jetty jetty-proxy 9.4.36.v20210114
org.eclipse.jetty jetty-security 9.4.36.v20210114
org.eclipse.jetty jetty-server 9.4.36.v20210114
org.eclipse.jetty jetty-servlet 9.4.36.v20210114
org.eclipse.jetty jetty-servlets 9.4.36.v20210114
org.eclipse.jetty jetty-util 9.4.36.v20210114
org.eclipse.jetty jetty-util-ajax 9.4.36.v20210114
org.eclipse.jetty jetty-webapp 9.4.36.v20210114
org.eclipse.jetty jetty-xml 9.4.36.v20210114
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2,30
org.glassfish.jersey.containers jersey-container-servlet-core 2,30
org.glassfish.jersey.core jersey-client 2,30
org.glassfish.jersey.core jersey-common 2,30
org.glassfish.jersey.core jersey-server 2,30
org.glassfish.jersey.inject jersey-hk2 2,30
org.glassfish.jersey.media jersey-media-jaxb 2,30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.1.2
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.0
org.roaringbitmap shims 0.9.0
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark неиспользованный 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0,52