Databricks Runtime 8.1 (неподдерживаемый)

Статья
03/01/2024

Этот образ Databricks выпущен в марте 2021 г.

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 8.1 на платформе Apache Spark 3.1.1.

Новые функции и внесенные улучшения

Новые операторы SQL сокращают сложные ETL-строки в строках JSON
Управление видимостью списков управления доступом к таблицам
Новые параметры автозагрузчика обеспечивают более высокую производительность
Проверка подлинности в Azure Synapse Analytics с помощью OAuth 2.0 и субъекта-службы (общедоступная предварительная версия)
Вставка столбцов IDENTITY в таблицы Azure Synapse Analytics вручную
Теперь автозагрузчик Azure поддерживает проверку подлинности с помощью субъекта-службы для операций c очередями
Отслеживание хода выполнения потока с помощью метрик Kafka
Отслеживание хода выполнения потока с помощью метрик источника потоковой передачи данных Delta Lake

Новые операторы SQL сокращают сложные ETL-строки в строках JSON

Два новых оператора SQL — :: и : — позволяют легко извлекать данные из строк JSON.

Чтобы привести выражение к типу данных, используйте двойное двоеточие ::. Например, вместо cast(col as int) теперь можно написать col::int.
Для извлечения полей из частично структурированных данных, используйте одно двоеточие :. Если у вас есть столбец STRING, содержащий данные JSON, можно извлечь поле из этой строки JSON с помощью синтаксиса <json-column>:<field>, который извлекает ключ field из <json-column> JSON в формате STRING. Его можно объединить с синтаксисом :: и привести, таким образом, данные к определенному типу.

Например, если у вас есть данные JSON:

{
  "store":{
    "bicycle":{
      "price":19.95,
      "color":"red"
    }
  }
}

и вы создаете таблицу store_data из данных:

CREATE TABLE store_data AS SELECT
'{
   "store":{
      "bicycle":{
        "price":19.95,
        "color":"red"
      }
    }
 }' as raw

инструкция SELECT raw:store.bicycle.price::double FROM store_data возвращает следующее:

+--------+
| price  |
+--------+
| 19.95  |
+--------+

Дополнительные сведения см. в статье "Запрос полуструктурированных данных" в Azure Databricks.

Управление видимостью списков управления доступом к таблицам

Чтобы избежать утечки информации путем перечисления всех заданных разрешений в таблице, инструкцию SHOW GRANTS [<user>] <object> теперь разрешено выполнять, только тем, кто выступает в следующих ролях:

Администратор Databricks SQL или владелец <object>.
пользователем, определенным в [<user>].

Новые параметры автозагрузчика обеспечивают более высокую производительность

Автозагрузчик теперь поддерживает новый параметр cloudFiles.fetchParallelism, позволяющий использовать параллелизм для получения сообщений из службы очереди.

См. статью об автозагрузчике.

Проверка подлинности в Azure Synapse Analytics с помощью OAuth 2.0 и субъекта-службы (общедоступная предварительная версия)

Соединитель Azure Synapse Analytics теперь поддерживает проверку подлинности с помощью OAuth 2.0 и субъекта-службы Идентификатора Microsoft Entra, что позволяет приложениям, которым требуется проверка подлинности с помощью субъекта-службы, а не имени пользователя и пароля. Дополнительные сведения см. в статье о том, как работает проверка подлинности между Azure Databricks и Synapse? для соединителя Azure Synapse Analytics.

Вставка столбцов `IDENTITY` в таблицы Azure Synapse Analytics вручную

Соединитель Azure Synapse Analytics теперь поддерживает явное добавление значений в столбцы IDENTITY в таблицах Azure Synapse Analytics на основе значений, заданных в кадрах данных. Эта возможность поддерживается для пакетных операций и потоковой передачи вставок и включает варианты использования, требующие настраиваемых значений столбцов IDENTITY. Дополнительные сведения смidentityInsert. в разделе параметра в справочнике по параметрам соединителя Azure Synapse Analytics Azure Databricks Synapse.

Теперь автозагрузчик Azure поддерживает проверку подлинности с помощью субъекта-службы для операций c очередями

Теперь вы можете пройти проверку подлинности с помощью субъекта-службы идентификатора Microsoft Entra ID, предоставленных разрешениям, связанным с очередью для операций очередей с помощью автозагрузчика. Это изменение отменяет предыдущее требование об использовании строки подключения для операций с очередями и субъекта-службы для операций с событиями и позволяет применять субъект-службу для обоих типов операций. Дополнительные сведения см. в статье об автозагрузчике.

Отслеживание хода выполнения потока с помощью метрик Kafka

Источник потоковой передачи Kafka теперь сообщает, на сколько смещений отстает объект-получатель от последнего значения, после каждого пакета. Эти метрики можно использовать для отслеживания хода потоковой передачи. Дополнительные сведения о просмотре метрик см. в разделе "Получение метрик Kafka".

Отслеживание хода выполнения потока с помощью метрик источника потоковой передачи данных Delta Lake

Источник потоковой передачи Delta Lake теперь сообщает об объеме невыполненных работ и количестве файлов, существующих в списке невыполненных работ после каждого пакета. Эти метрики можно использовать для отслеживания хода потоковой передачи. Дополнительные сведения о просмотре этих метрик см. в разделе Метрики.

Обновления библиотек

Обновленная библиотека Python:
- koalas обновлена с версии 1.5.0 до версии 1.6.0.
Недавно установленные библиотеки Python:
- plotly 4.14.3
- retrying 1.3.3
R обновлена с версии 4.0.4 до версии 4.0.3.
Обновлены несколько установленных библиотек R. См. Установленные библиотеки R.
Обновленная библиотека Java:
- jetty с версии 9.4.34.v20201102 до версии 9.4.36.v20210114.
Сборка OpenJDK 8 обновлена до Zulu 8.52.0.23-CA-linux64 (сборка 1.8.0_282-b08).

Apache Spark

Databricks Runtime 8.1 включает Apache Spark 3.1.1. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 8.0 (неподдерживаемые), а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

[SPARK-34534] Исправлен порядок blockId при использовании FetchShuffleBlocks для получения блоков
[SPARK-34613] [SQL] Исправлена ошибка, при которой представление на соответствует настройке отключении подсказки.
[SPARK-34392] [SQL]: поддержка ZoneOffset +ч:мм в DateTimeUtils. getZoneId
[SPARK-34436] [SQL]: DPP поддерживает выражение LIKE ANY/ALL.
[SPARK-34497] [SQL] Исправлены встроенные поставщики подключений JDBC для восстановления изменений контекста безопасности виртуальной машины Java.
[SPARK-34543] [SQL] Теперь конфигурация spark.sql.caseSensitive учитывается при разрешении спецификации секции в v1 SET LOCATION.
[SPARK-34550] [SQL]: пропуск нулевых значений InSet при отправке фильтра в хранилище метаданных Hive.
[SPARK-34531] [Core: удален тег API Experimental в PrometheusServlet.

Обновления в рамках обслуживания

См. Служебные обновления Databricks Runtime 8.1.

Системная среда

Операционная система: Ubuntu 18.04.5 LTS
Java: Zulu 8.52.0.23-CA-linux64 (сборка 1.8.0_282-b08)
Scala: 2.12.10
Python: 3.8.8 (обновлено с версии 3.8.6 26 мая, обновление в рамках обслуживания 26 мая 2021 г.)
R: R версии 4.0.4 (15.02.2021 г.)
Delta Lake: 0.8.0

Установленные библиотеки Python

Библиотека	Версия	Библиотека	Версия	Библиотека	Версия
appdirs	1.4.4	asn1crypto	1.4.0	backcall	0.2.0
boto3	1.16.7	botocore	1.19.7	brotlipy	0.7.0
certifi	2020.12.5	cffi	1.14.3	chardet	3.0.4
Криптографии	3.1.1	cycler	0.10.0	Cython	0.29.21
decorator	4.4.2	distlib	0.3.1	docutils	0.15.2
entrypoints	0,3	filelock	3.0.12	idna	2,10
ipykernel	5.3.4	ipython	7.19.0	ipython-genutils	0.2.0
jedi	0.17.2	jmespath	0.10.0	joblib	0.17.0
jupyter-client	6.1.7	jupyter-core	4.6.3	kiwisolver	1.3.0
koalas	1.6.0	matplotlib	3.2.2	numpy	1.19.2
pandas	1.1.3	parso	0.7.0	patsy	0.5.1
pexpect	4.8.0	pickleshare	0.7.5	pip	20.2.4
график	4.14.3	prompt-toolkit	3.0.8	psycopg2	2.8.5
ptyprocess	0.6.0	pyarrow	1.0.1	pycparser	2,20
Pygments	2.7.2	pyOpenSSL	19.1.0	pyparsing	2.4.7
PySocks	1.7.1	python-dateutil	2.8.1	pytz	2020.5
pyzmq	19.0.2	requests	2.24.0	retrying	1.3.3
s3transfer	0.3.4	scikit-learn	0.23.2	scipy	1.5.2
Сиборн	0.10.0	setuptools	50.3.1	six	1.15.0
statsmodels	0.12.0	threadpoolctl	2.1.0	tornado	6.0.4
traitlets	5.0.5	urllib3	1.25.11	virtualenv	20.2.1
wcwidth	0.2.5	wheel	0.35.1

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка Microsoft Cran от 02.11.2020.

Библиотека	Версия	Библиотека	Версия	Библиотека	Версия
askpass	1,1	assertthat	0.2.1	внутренние порты	1.2.1
base	4.0.4	base64enc	0.1-3	BH	1.72.0-3
bit	4.0.4	bit64	4.0.5	большой двоичный объект	1.2.1
загрузка	1.3-27	Заваривать	1.0–6	brio	1.1.0
Метлу	0.7.2	вызывающий объект	3.5.1	крышка	6.0-86
cellranger	1.1.0	chron	2.3-56	class	7.3-18
cli	2.2.0	clipr	0.7.1	cluster	2.1.1
codetools	0.2-18	colorspace	2.0-0	commonmark	1,7
компилятор	4.0.4	config	0,3	covr	3.5.1
cpp11	0.2.4	Карандаш	1.3.4	учетные данные	1.3.0
перекрестныйtalk	1.1.0.1	curl	4.3	data.table	1.13.4
наборы данных	4.0.4	DBI	1.1.0	dbplyr	2.0.0
desc	1.2.0	средства разработки	2.3.2	diffobj	0.3.2
digest	0.6.27	dplyr	1.0.2	DT	0,16
многоточие	0.3.1	evaluate	0,14	вентиляторы	0.4.1
Farver	2.0.3	fastmap	1.0.1	forcats	0.5.0
foreach	1.5.1	Иностранных	0.8-81	forge	0.2.0
fs	1.5.0	будущее	1.21.0	Универсальные шаблоны	0.1.0
gert	1.0.2	ggplot2	3.3.2	gh	1.2.0
gitcreds	0.1.1	glmnet	4.0-2	globals	0.14.0
Клей	1.4.2	Говер	0.2.2	графика	4.0.4
grDevices	4.0.4	grid	4.0.4	gridExtra	2.3
gsubfn	0,7	gtable	0.3.0	haven	2.3.1
высокий	0,8	Hms	0.5.3	htmltools	0.5.0
htmlwidgets	1.5.3	httpuv	1.5.4	httr	1.4.2
hwriter	1.3.2	hwriterPlus	1.0-3	ini	0.3.1
ipred	0.9-9	isoband	0.2.3	Итераторы	1.0.13
jsonlite	1.7.2	KernSmooth	2.23-18	трикотажный	1,30
Маркировки	0.4.2	later	1.1.0.1	Решетки	0.20-41
Lava	1.6.8.1	lazoval	0.2.2	жизненный цикл	0.2.0
listenv	0.8.0	lubridate	1.7.9.2	magrittr	2.0.1
Markdown	1,1	МАССАЧУСЕТС	7.3-53.1	«Матрица»	1.3-2
memoise	1.1.0	оплаты	4.0.4	mgcv	1.8-33
Mime	0,9	ModelMetrics	1.2.2.2	modelr	0.1.8
munsell	0.5.0	nlme	3.1-152	nnet	7.3-15
numDeriv	2016.8-1.1	openssl	1.4.3	parallel	4.0.4
parallelly	1.22.0	Столб	1.4.7	pkgbuild	1.1.0
pkgconfig	2.0.3	pkgload	1.1.0	plogr	0.2.0
plyr	1.8.6	Похвалы	1.0.0	prettyunits	1.1.1
Proc	1.16.2	processx	3.4.5	prodlim	2019.11.13
Ход выполнения	1.2.2	promises	1.1.1	proto	1.0.0
ps	1.5.0	purrr	0.3.4	r2d3	0.2.3
R6	2.5.0	randomForest	4.6-14	rappdirs	0.3.1
rcmdcheck	1.3.3	RColorBrewer	1.1-2	Rcpp	1.0.5
readr	1.4.0	readxl	1.3.1	Рецепты	0.1.15
Реванш	1.0.1	rematch2	2.1.2	remotes	2.2.0
reprex	0.3.0	reshape2	1.4.4	rex	1.2.0
rlang	0.4.9	rmarkdown	2.6	RODBC	1.3-17
roxygen2	7.1.1	rpart	4.1-15	rprojroot	2.0.2
Rserve	1.8-7	RSQLite	2.2.1	rstudioapi	0,13
rversions	2.0.2	rvest	0.3.6	Весы	1.1.1
селектор	0.4-2	sessioninfo	1.1.1	Формы	1.4.5
Блестящие	1.5.0	sourcetools	0.1.7	sparklyr	1.5.2
SparkR	3.1.0	пространственный	7.3-11	Сплайны	4.0.4
sqldf	0.4-11	SQUAREM	2020.5	stats	4.0.4
статистика4	4.0.4	stringi	1.5.3	stringr	1.4.0
Выживания	3.2-7	sys	3,4	tcltk	4.0.4
ОбучениеDemos	2,10	testthat	3.0.0	tibble	3.0.4
tidyr	1.1.2	tidyselect	1.1.0	tidyverse	1.3.0
TimeDate	3043.102	tinytex	0,28	средства	4.0.4
usethis	2.0.0	utf8	1.1.4	служебные программы	4.0.4
uuid	0.1-4	vctrs	0.3.5	viridisLite	0.3.0
waldo	0.2.3	виски	0,4	withr	2.3.0
xfun	0,19	xml2	1.3.2	xopen	1.0.0
xtable	1.8-4	Yaml	2.2.1	zip	2.1.1

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)

ИД группы	Идентификатор артефакта	Версия
antlr	antlr	2.7.7
com.amazonaws	amazon-kinesis-client	1.12.0
com.amazonaws	aws-java-sdk-autoscaling	1.11.655
com.amazonaws	aws-java-sdk-cloudformation	1.11.655
com.amazonaws	aws-java-sdk-cloudfront	1.11.655
com.amazonaws	aws-java-sdk-cloudhsm	1.11.655
com.amazonaws	aws-java-sdk-cloudsearch	1.11.655
com.amazonaws	aws-java-sdk-cloudtrail	1.11.655
com.amazonaws	aws-java-sdk-cloudwatch	1.11.655
com.amazonaws	aws-java-sdk-cloudwatchmetrics	1.11.655
com.amazonaws	aws-java-sdk-codedeploy	1.11.655
com.amazonaws	aws-java-sdk-cognitoidentity	1.11.655
com.amazonaws	aws-java-sdk-cognitosync	1.11.655
com.amazonaws	aws-java-sdk-config	1.11.655
com.amazonaws	aws-java-sdk-core	1.11.655
com.amazonaws	aws-java-sdk-datapipeline	1.11.655
com.amazonaws	aws-java-sdk-directconnect	1.11.655
com.amazonaws	aws-java-sdk-directory	1.11.655
com.amazonaws	aws-java-sdk-dynamodb	1.11.655
com.amazonaws	aws-java-sdk-ec2	1.11.655
com.amazonaws	aws-java-sdk-ecs	1.11.655
com.amazonaws	aws-java-sdk-efs	1.11.655
com.amazonaws	aws-java-sdk-elasticache	1.11.655
com.amazonaws	aws-java-sdk-elasticbeanstalk	1.11.655
com.amazonaws	aws-java-sdk-elasticloadbalancing	1.11.655
com.amazonaws	aws-java-sdk-elastictranscoder	1.11.655
com.amazonaws	aws-java-sdk-emr	1.11.655
com.amazonaws	aws-java-sdk-glacier	1.11.655
com.amazonaws	aws-java-sdk-iam	1.11.655
com.amazonaws	aws-java-sdk-importexport	1.11.655
com.amazonaws	aws-java-sdk-kinesis	1.11.655
com.amazonaws	aws-java-sdk-kms	1.11.655
com.amazonaws	aws-java-sdk-lambda	1.11.655
com.amazonaws	aws-java-sdk-logs	1.11.655
com.amazonaws	aws-java-sdk-machinelearning	1.11.655
com.amazonaws	aws-java-sdk-opsworks	1.11.655
com.amazonaws	aws-java-sdk-rds	1.11.655
com.amazonaws	aws-java-sdk-redshift	1.11.655
com.amazonaws	aws-java-sdk-route53	1.11.655
com.amazonaws	aws-java-sdk-s3	1.11.655
com.amazonaws	aws-java-sdk-ses	1.11.655
com.amazonaws	aws-java-sdk-simpledb	1.11.655
com.amazonaws	aws-java-sdk-simpleworkflow	1.11.655
com.amazonaws	aws-java-sdk-sns	1.11.655
com.amazonaws	aws-java-sdk-sqs	1.11.655
com.amazonaws	aws-java-sdk-ssm	1.11.655
com.amazonaws	aws-java-sdk-storagegateway	1.11.655
com.amazonaws	aws-java-sdk-sts	1.11.655
com.amazonaws	aws-java-sdk-support	1.11.655
com.amazonaws	aws-java-sdk-swf-libraries	1.11.22
com.amazonaws	aws-java-sdk-workspaces	1.11.655
com.amazonaws	jmespath-java	1.11.655
com.chuusai	shapeless_2.12	2.3.3
com.clearspring.analytics	потоковая передача	2.9.6
com.databricks	Rserve	1.8-3
com.databricks	jets3t	0.7.1–0
com.databricks.scalapb	compilerplugin_2.12	0.4.15-10
com.databricks.scalapb	scalapb-runtime_2.12	0.4.15-10
com.esotericsoftware	kryo-shaded	4.0.2
com.esotericsoftware	minlog	1.3.0
com.fasterxml	classmate	1.3.4
com.fasterxml.jackson.core	jackson-annotations	2.10.0
com.fasterxml.jackson.core	jackson-core	2.10.0
com.fasterxml.jackson.core	jackson-databind	2.10.0
com.fasterxml.jackson.dataformat	jackson-dataformat-cbor	2.10.0
com.fasterxml.jackson.datatype	jackson-datatype-joda	2.10.0
com.fasterxml.jackson.module	jackson-module-paranamer	2.10.0
com.fasterxml.jackson.module	jackson-module-scala_2.12	2.10.0
com.github.ben-manes.caffeine	caffeine	2.3.4
com.github.fommil	jniloader	1,1
com.github.fommil.netlib	core	1.1.2
com.github.fommil.netlib	native_ref-java	1,1
com.github.fommil.netlib	native_ref-java-natives	1,1
com.github.fommil.netlib	native_system-java	1,1
com.github.fommil.netlib	native_system-java-natives	1,1
com.github.fommil.netlib	netlib-native_ref-linux-x86_64-natives	1,1
com.github.fommil.netlib	netlib-native_system-linux-x86_64-natives	1,1
com.github.joshelser	dropwizard-metrics-hadoop-metrics2-reporter	0.1.2
com.github.luben	zstd-jni	1.4.8-1
com.github.wendykierp	JTransforms	3.1
com.google.code.findbugs	jsr305	3.0.0
com.google.code.gson	gson	2.2.4
com.google.flatbuffers	flatbuffers-java	1.9.0
com.google.guava	guava	15,0
com.google.protobuf	protobuf-java	2.6.1
com.h2database	h{_>2<_}	1.4.195
com.helger	профилировщик	1.1.1
com.jcraft	jsch	0.1.50
com.jolbox	bonecp	0.8.0.RELEASE
com.lihaoyi	sourcecode_2.12	0.1.9
com.microsoft.sqlserver	mssql-jdbc	9.2.1.jre8
com.microsoft.azure	azure-data-lake-store-sdk	2.3.9
com.ning	compress-lzf	1.0.3
com.sun.mail	javax.mail	1.5.2
com.tdunning	json	1.8
com.thoughtworks.paranamer	paranamer	2.8
com.trueaccord.lenses	lenses_2.12	0.4.12
com.twitter	chill-java	0.9.5
com.twitter	chill_2.12	0.9.5
com.twitter	util-app_2.12	7.1.0
com.twitter	util-core_2.12	7.1.0
com.twitter	util-function_2.12	7.1.0
com.twitter	util-jvm_2.12	7.1.0
com.twitter	util-lint_2.12	7.1.0
com.twitter	util-registry_2.12	7.1.0
com.twitter	util-stats_2.12	7.1.0
com.typesafe	config	1.2.1
com.typesafe.scala-logging	scala-logging_2.12	3.7.2
com.univocity	univocity-parsers	2.9.0
com.zaxxer	HikariCP	3.1.0
commons-beanutils	commons-beanutils	1.9.4
commons-cli	commons-cli	1.2
commons-codec	commons-codec	1,10
commons-collections	commons-collections	3.2.2
commons-configuration	commons-configuration	1,6
commons-dbcp	commons-dbcp	1.4
commons-digester	commons-digester	1.8
commons-fileupload	commons-fileupload	1.3.3
commons-httpclient	commons-httpclient	3.1
commons-io	commons-io	2.4
commons-lang	commons-lang	2.6
commons-logging	commons-logging	1.1.3
commons-net	commons-net	3.1
commons-pool	commons-pool	1.5.4
info.ganglia.gmetric4j	gmetric4j	1.0.10
io.airlift	aircompressor	0.10
io.dropwizard.metrics	metrics-core	4.1.1
io.dropwizard.metrics	metrics-graphite	4.1.1
io.dropwizard.metrics	metrics-healthchecks	4.1.1
io.dropwizard.metrics	metrics-jetty9	4.1.1
io.dropwizard.metrics	metrics-jmx	4.1.1
io.dropwizard.metrics	metrics-json	4.1.1
io.dropwizard.metrics	metrics-jvm	4.1.1
io.dropwizard.metrics	metrics-servlets	4.1.1
io.netty	netty-all	4.1.51.Final
io.prometheus	simpleclient	0.7.0
io.prometheus	simpleclient_common	0.7.0
io.prometheus	simpleclient_dropwizard	0.7.0
io.prometheus	simpleclient_pushgateway	0.7.0
io.prometheus	simpleclient_servlet	0.7.0
io.prometheus.jmx	Коллектор	0.12.0
jakarta.annotation	jakarta.annotation-api	1.3.5
jakarta.validation	jakarta.validation-api	2.0.2
jakarta.ws.rs	jakarta.ws.rs-api	2.1.6
javax.activation	activation	1.1.1
javax.el	javax.el-api	2.2.4
javax.jdo	jdo-api	3.0.1
javax.servlet	javax.servlet-api	3.1.0
javax.servlet.jsp	jsp-api	2.1
javax.transaction	jta	1,1
javax.transaction	transaction-api	1,1
javax.xml.bind	jaxb-api	2.2.2
javax.xml.stream	stax-api	1.0–2
javolution	javolution	5.5.1
jline	jline	2.14.6
joda-time	joda-time	2.10.5
log4j	apache-log4j-extras	1.2.17
log4j	log4j	1.2.17
net.razorvine	pyrolite	4.30
net.sf.jpam	jpam	1,1
net.sf.opencsv	opencsv	2.3
net.sf.supercsv	super-csv	2.2.0
net.snowflake	snowflake-ingest-sdk	0.9.6
net.snowflake	snowflake-jdbc	3.12.8
net.snowflake	spark-snowflake_2.12	2.8.1-spark_3.0
net.sourceforge.f2j	arpack_combined_all	0,1
org.acplt.remotetea	remotetea-oncrpc	1.1.2
org.antlr	ST4	4.0.4
org.antlr	antlr-runtime	3.5.2
org.antlr	antlr4-runtime	4.8-1
org.antlr	stringtemplate	3.2.1
org.apache.ant	ant	1.9.2
org.apache.ant	ant-jsch	1.9.2
org.apache.ant	ant-launcher	1.9.2
org.apache.arrow	arrow-format	2.0.0
org.apache.arrow	arrow-memory-core	2.0.0
org.apache.arrow	arrow-memory-netty	2.0.0
org.apache.arrow	arrow-vector	2.0.0
org.apache.avro	avro	1.8.2
org.apache.avro	avro-ipc	1.8.2
org.apache.avro	avro-mapred-hadoop2	1.8.2
org.apache.commons	commons-compress	1,20
org.apache.commons	commons-crypto	1.1.0
org.apache.commons	commons-lang3	3,10
org.apache.commons	commons-math3	3.4.1
org.apache.commons	commons-text	1,6
org.apache.curator	curator-client	2.7.1
org.apache.curator	curator-framework	2.7.1
org.apache.curator	curator-recipes	2.7.1
org.apache.derby	derby	10.12.1.1
org.apache.directory.api	api-asn1-api	1.0.0–M20
org.apache.directory.api	api-util	1.0.0–M20
org.apache.directory.server	apacheds-i18n	2.0.0–M15
org.apache.directory.server	apacheds-kerberos-codec	2.0.0–M15
org.apache.hadoop	hadoop-annotations	2.7.4
org.apache.hadoop	hadoop-auth	2.7.4
org.apache.hadoop	hadoop-client	2.7.4
org.apache.hadoop	hadoop-common	2.7.4
org.apache.hadoop	hadoop-hdfs	2.7.4
org.apache.hadoop	hadoop-mapreduce-client-app	2.7.4
org.apache.hadoop	hadoop-mapreduce-client-common	2.7.4
org.apache.hadoop	hadoop-mapreduce-client-core	2.7.4
org.apache.hadoop	hadoop-mapreduce-client-jobclient	2.7.4
org.apache.hadoop	hadoop-mapreduce-client-shuffle	2.7.4
org.apache.hadoop	hadoop-yarn-api	2.7.4
org.apache.hadoop	hadoop-yarn-client	2.7.4
org.apache.hadoop	hadoop-yarn-common	2.7.4
org.apache.hadoop	hadoop-yarn-server-common	2.7.4
org.apache.hive	hive-beeline	2.3.7
org.apache.hive	hive-cli	2.3.7
org.apache.hive	hive-common	2.3.7
org.apache.hive	hive-exec-core	2.3.7
org.apache.hive	hive-jdbc	2.3.7
org.apache.hive	hive-llap-client	2.3.7
org.apache.hive	hive-llap-common	2.3.7
org.apache.hive	hive-metastore	2.3.7
org.apache.hive	hive-serde	2.3.7
org.apache.hive	hive-shims	2.3.7
org.apache.hive	hive-storage-api	2.7.2
org.apache.hive	hive-vector-code-gen	2.3.7
org.apache.hive.shims	hive-shims-0.23	2.3.7
org.apache.hive.shims	hive-shims-common	2.3.7
org.apache.hive.shims	hive-shims-scheduler	2.3.7
org.apache.htrace	htrace-core	3.1.0-incubating
org.apache.httpcomponents	httpclient	4.5.6
org.apache.httpcomponents	httpcore	4.4.12
org.apache.ivy	ivy	2.4.0
org.apache.mesos	mesos-shaded-protobuf	1.4.0
org.apache.orc	orc-core	1.5.12
org.apache.orc	orc-mapreduce	1.5.12
org.apache.orc	orc-shims	1.5.12
org.apache.parquet	parquet-column	1.10.1-databricks6
org.apache.parquet	parquet-common	1.10.1-databricks6
org.apache.parquet	parquet-encoding	1.10.1-databricks6
org.apache.parquet	parquet-format	2.4.0
org.apache.parquet	parquet-hadoop	1.10.1-databricks6
org.apache.parquet	parquet-jackson	1.10.1-databricks6
org.apache.thrift	libfb303	0.9.3
org.apache.thrift	libthrift	0.12.0
org.apache.velocity	скорость	1.5
org.apache.xbean	xbean-asm7-shaded	4.15
org.apache.yetus	audience-annotations	0.5.0
org.apache.zookeeper	zookeeper	3.4.14
org.codehaus.jackson	jackson-core-asl	1.9.13
org.codehaus.jackson	jackson-jaxrs	1.9.13
org.codehaus.jackson	jackson-mapper-asl	1.9.13
org.codehaus.jackson	jackson-xc	1.9.13
org.codehaus.janino	commons-compiler	3.0.16
org.codehaus.janino	janino	3.0.16
org.datanucleus	datanucleus-api-jdo	4.2.4
org.datanucleus	datanucleus-core	4.1.17
org.datanucleus	datanucleus-rdbms	4.1.19
org.datanucleus	javax.jdo	3.2.0-m3
org.eclipse.jetty	jetty-client	9.4.36.v20210114
org.eclipse.jetty	jetty-continuation	9.4.36.v20210114
org.eclipse.jetty	jetty-http	9.4.36.v20210114
org.eclipse.jetty	jetty-io	9.4.36.v20210114
org.eclipse.jetty	jetty-jndi	9.4.36.v20210114
org.eclipse.jetty	jetty-plus	9.4.36.v20210114
org.eclipse.jetty	jetty-proxy	9.4.36.v20210114
org.eclipse.jetty	jetty-security	9.4.36.v20210114
org.eclipse.jetty	jetty-server	9.4.36.v20210114
org.eclipse.jetty	jetty-servlet	9.4.36.v20210114
org.eclipse.jetty	jetty-servlets	9.4.36.v20210114
org.eclipse.jetty	jetty-util	9.4.36.v20210114
org.eclipse.jetty	jetty-util-ajax	9.4.36.v20210114
org.eclipse.jetty	jetty-webapp	9.4.36.v20210114
org.eclipse.jetty	jetty-xml	9.4.36.v20210114
org.fusesource.leveldbjni	leveldbjni-all	1.8
org.glassfish.hk2	hk2-api	2.6.1
org.glassfish.hk2	hk2-locator	2.6.1
org.glassfish.hk2	hk2-utils	2.6.1
org.glassfish.hk2	osgi-resource-locator	1.0.3
org.glassfish.hk2.external	aopalliance-repackaged	2.6.1
org.glassfish.hk2.external	jakarta.inject	2.6.1
org.glassfish.jersey.containers	jersey-container-servlet	2,30
org.glassfish.jersey.containers	jersey-container-servlet-core	2,30
org.glassfish.jersey.core	jersey-client	2,30
org.glassfish.jersey.core	jersey-common	2,30
org.glassfish.jersey.core	jersey-server	2,30
org.glassfish.jersey.inject	jersey-hk2	2,30
org.glassfish.jersey.media	jersey-media-jaxb	2,30
org.hibernate.validator	hibernate-validator	6.1.0.Final
org.javassist	javassist	3.25.0-GA
org.jboss.logging	jboss-logging	3.3.2.Final
org.jdbi	jdbi	2.63.1
org.joda	joda-convert	1,7
org.jodd	jodd-core	3.5.2
org.json4s	json4s-ast_2.12	3.7.0-M5
org.json4s	json4s-core_2.12	3.7.0-M5
org.json4s	json4s-jackson_2.12	3.7.0-M5
org.json4s	json4s-scalap_2.12	3.7.0-M5
org.lz4	lz4-java	1.7.1
org.mariadb.jdbc	mariadb-java-client	2.1.2
org.objenesis	objenesis	2.5.1
org.postgresql	postgresql	42.1.4
org.roaringbitmap	RoaringBitmap	0.9.0
org.roaringbitmap	shims	0.9.0
org.rocksdb	rocksdbjni	6.2.2
org.rosuda.REngine	REngine	2.1.0
org.scala-lang	scala-compiler_2.12	2.12.10
org.scala-lang	scala-library_2.12	2.12.10
org.scala-lang	scala-reflect_2.12	2.12.10
org.scala-lang.modules	scala-collection-compat_2.12	2.1.1
org.scala-lang.modules	scala-parser-combinators_2.12	1.1.2
org.scala-lang.modules	scala-xml_2.12	1.2.0
org.scala-sbt	test-interface	1.0
org.scalacheck	scalacheck_2.12	1.14.2
org.scalactic	scalactic_2.12	3.0.8
org.scalanlp	breeze-macros_2.12	1.0
org.scalanlp	breeze_2.12	1.0
org.scalatest	scalatest_2.12	3.0.8
org.slf4j	jcl-over-slf4j	1.7.30
org.slf4j	jul-to-slf4j	1.7.30
org.slf4j	slf4j-api	1.7.30
org.slf4j	slf4j-log4j12	1.7.30
org.spark-project.spark	Неиспользуемые	1.0.0
org.springframework	spring-core	4.1.4.RELEASE
org.springframework	spring-test	4.1.4.RELEASE
org.threeten	threeten-extra	1.5.0
org.tukaani	xz	1.5
org.typelevel	algebra_2.12	2.0.0-M2
org.typelevel	cats-kernel_2.12	2.0.0-M4
org.typelevel	machinist_2.12	0.6.8
org.typelevel	macro-compat_2.12	1.1.1
org.typelevel	spire-macros_2.12	0.17.0-M1
org.typelevel	spire-platform_2.12	0.17.0-M1
org.typelevel	spire-util_2.12	0.17.0-M1
org.typelevel	spire_2.12	0.17.0-M1
org.wildfly.openssl	wildfly-openssl	1.0.7.Final
org.xerial	sqlite-jdbc	3.8.11.2
org.xerial.snappy	snappy-java	1.1.8.2
org.yaml	snakeyaml	1.24
oro	oro	2.0.8
pl.edu.icm	JLargeArrays	1.5
software.amazon.ion	ion-java	1.0.2
stax	stax-api	1.0.1
xmlenc	xmlenc	0,52