Поделиться через

Databricks Runtime 7.4 (EoS)

  • Статья

Примечание.

Поддержка этой версии databricks Runtime закончилась. Сведения о дате окончания поддержки см . в журнале завершения поддержки. Все поддерживаемые версии среды выполнения Databricks см. в заметках о выпуске Databricks Runtime и совместимости.

Databricks выпустила эту версию в ноябре 2020 года.

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 7.4 на платформе Apache Spark 3.0.

Новые возможности

В этом разделе рассматриваются следующие вопросы.

Функции и улучшения Delta Lake

В этом выпуске реализованы следующие функции и улучшения Delta Lake:

Новый API позволяет Delta Lake проверить, соответствуют ли данные, добавляемые в таблицу, ограничениям

Delta Lake теперь поддерживает ограничения CHECK. Delta Lake автоматически проверяет, соответствуют ли данные, добавленные в таблицу, указанному выражению (если задано). Для добавления ограничений CHECK используется команда ALTER TABLE ADD CONSTRAINTS. Дополнительные сведения см. в статье Ограничения в Azure Databricks.

Новый API позволяет откатить разностную таблицу до более ранней версии

Теперь откат разностных таблиц к более ранним версиям можно выполнять с помощью команды RESTORE:

SQL
RESTORE <table> TO VERSION AS OF n;
RESTORE <table> TO TIMESTAMP AS OF 'yyyy-MM-dd HH:mm:ss';
Python
from delta.tables import DeltaTable
DeltaTable.forName(spark, "table_name").restoreToVersion(n)
DeltaTable.forName(spark, "table_name").restoreToTimestamp('yyyy-MM-dd')
Scala
import io.delta.tables.DeltaTable
DeltaTable.forName(spark, "table_name").restoreToVersion(n)
DeltaTable.forName(spark, "table_name").restoreToTimestamp("yyyy-MM-dd")

RESTORE создает новую фиксацию, которая откатывает все изменения, внесенные в таблицу после создания версии, до которой нужно восстановить таблицу. Восстанавливаются все существующие данные и метаданные, включая схему, ограничения, идентификаторы потоковой передачи, метаданные COPY INTO и версию протокола таблицы. Дополнительные сведения см. в разделе Восстановление разностной таблицы.

Новая начальная версия позволяет возвращать только последние изменения в источнике потоковой передачи данных Delta Lake

Чтобы получить только последние изменения, укажите для параметра startingVersion значение latest. Дополнительные сведения см. в разделе Указание начальной позиции.

Улучшена стабильность OPTIMIZE

OPTIMIZE (без предикатов секционирования) может масштабироваться до выполнения в таблицах с десятками миллионов небольших файлов. Ранее драйвер Apache Spark мог исчерпать доступные ресурсы памяти, в случае чего команда OPTIMIZE не выполнялась.Теперь команда OPTIMIZE обрабатывает очень большие таблицы с десятками миллионов файлов.

Автозагрузчик теперь позволяет делегировать установку ресурсов уведомления о файлах администраторам

Новый API Scala позволяет администраторам настраивать ресурсы уведомления о файлах для автозагрузчика. Инженеры данных теперь могут использовать потоковые передачи данных с автозагрузчика с меньшим количеством разрешений и делегировать начальную настройку ресурсов администраторам. См. статью "Вручную" для настройки ресурсов уведомлений о файлах или управления ими.

Новое разрешение USAGE позволяет администраторам лучше контролировать разрешения на доступ к данным

Чтобы выполнить действие с объектом в базе данных, необходимо помимо разрешений, требуемых для выполнения этого действия, предоставить разрешение USAGE для базы данных. Разрешение USAGE предоставляется для базы данных или каталога. С появлением разрешения USAGE владелец таблицы больше не может разрешать доступ к этой таблице другому пользователю в одностороннем порядке — у пользователя тоже должно быть разрешение USAGE для базы данных с этой таблицей.

В рабочих областях с включенным контроль доступа к таблицам группа users получает разрешение USAGE для корневого объекта CATALOG автоматически.

Дополнительные сведения см. в разделе Разрешение USAGE.

DBFS FUSE теперь работает и в кластерах с поддержкой сквозной передачи данных

Теперь вы можете читать и записывать данные из DBFS, подключив FUSE в /dbfs/, если для сквозной передачи учетных данных вы используете кластер с высокой степенью параллелизма. Поддерживаются обычные подключения. Подключения, требующие сквозной передачи учетных данных, не поддерживаются.

Усовершенствования

SQL Spark поддерживает IFF и CHARINDEX в качестве синонимов для IF и POSITION.

В Databricks Runtime IF() является синонимом для CASE WHEN <cond> THEN <expr1> ELSE <expr2> END.

Databricks Runtime теперь поддерживает IFF() как синоним для IF().

SELECT IFF(c1 = 1, 'Hello', 'World'), c1 FROM (VALUES (1), (2)) AS T(c1)
=> (Hello, 1)
(World, 2)

CHARINDEX — альтернативное имя функции POSITION. CHARINDEX находит позицию первого вхождения одной строки в другой с необязательным начальным индексом.

VALUES(CHARINDEX('he', 'hello from hell', 2))
=> 12

По умолчанию для записных книжек Python включены несколько вариантов выходных данных на ячейку.

В Databricks Runtime 7.1 была добавлена поддержка нескольких вариантов выходных данных на ячейку в записных книжках Python (и на ячейку Python в записных книжках, не относящихся к Python), но включать эту функцию для записной книжки нужно было самостоятельно. В Databricks Runtime 7.4 эта функция включена по умолчанию. См. Представление нескольких вариантов выходных данных в ячейке.

Улучшения функции автозаполнения в записных книжках Python

Автозаполнение для Python отображает дополнительные сведения о типах, создаваемые в результате статического анализа кода с помощью библиотеки Jedi. Для просмотра списка параметров используйте клавишу TAB.

autocomplete-demo

Улучшен формат display для векторов Spark ML в предварительной версии Spark DataFrame

Теперь в формате display отображаются метки для типа вектора (разреженный или сжатый), длины, индексов (для разреженных векторов) и значений.

Другие исправления

  • Устранена проблема выбора, связанная с collections.namedtuple в записных книжках.
  • Устранена проблема выбора, связанная с интерактивно определяемыми классами и методами.
  • Исправлена ошибка, из-за которой вызовы mlflow.start_run() приводили к сбою в сквозной передаче данных или в кластеров, включенных для управления доступом к таблицам.

Обновления библиотек

  • Обновленные библиотеки Python:
    • обновление jedi с версии 0.14.1 до версии 0.17.2;
    • обновление koalas с версии 1.2.0 до 1.3.0;
    • обновление parso с версии 0.5.2 до версии 0.7.0.
  • Обновлены несколько установленных библиотек R. См. Установленные библиотеки R.

Apache Spark

Databricks Runtime 7.4 включает Apache Spark 3.0.1. Этот выпуск включает все исправления Spark и улучшения, включенные в Databricks Runtime 7.3 LTS (EoS), а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

  • [SPARK-33170] [SQL]: добавлена конфигурации SQL в управления поведением при быстром прекращении в FileFormatWriter.
  • [SPARK-33136] [SQL]: устранена проблема с ошибочным переключением параметра в V2WriteCommand.outputResolved.
  • [SPARK-33134] [SQL]: частичные результаты возвращаются только для корневых объектов JSON.
  • [SPARK-33038] [SQL] объединены исходный и текущий планы AQE...
  • [SPARK-33118] [SQL]: команда CREATE TEMPORARY TABLE не работает с расположением.
  • [SPARK-33101] [ML]: формат LibSVM теперь распространяет конфигурацию Hadoop из параметров DS на базовую файловую систему HDFS.
  • [SPARK-33035] [SQL]: обновлены устаревшие записи сопоставления атрибутов в QueryPlan#transformUpWithNewOutput.
  • [SPARK-33091] [SQL]: исключено использование map вместо foreach во избежание потенциальных побочных эффектов при вызовах OrcUtils.readCatalystSchema.
  • [Spark-33073] [Python]: улучшена обработка ошибок при сбоях преобразования Pandas в Arrow.
  • [SPARK-33043] [ML]: обработка spark.driver.maxResultSize=0 в эвристических вычислениях RowMatrix.
  • [SPARK-29358] [SQL]: unionByName при необходимости заполняет отсутствующие столбцы значениями null.
  • [SPARK-32996] [WEB-UI]: обработка пустых значений ExecutorMetrics в ExecutorMetricsJsonSerializer.
  • [SPARK-32585][SQL]: поддержка перечисления scala в ScalaReflection.
  • [SPARK-33019] [CORE]: по умолчанию используется spark.hadoop.mapreduce.fileoutputcommitter.algorithm.version=1.
  • [SPARK-33018] [SQL]: устранена проблема расчетной статистики, когда дочерний элемент содержит 0 байт.
  • [SPARK-32901] [CORE]: при сбросе UnsafeExternalSorter память не выделяется.
  • [SPARK-33015] [SQL]: использование millisToDays() в правиле ComputeCurrentTime.
  • [SPARK-33015] [SQL]: однократное вычисление текущей даты.
  • [SPARK-32999][SQL]: использование Utils.getSimpleName во избежание попадания на неправильное имя класса в TreeNode.
  • [SPARK-32659] [SQL]: Broadcast Array вместо Set в InSubqueryExec.
  • [SPARK-32718][SQL]: удалены ненужные ключевые слова для единиц интервала.
  • [SPARK-32886] [WEBUI]: исправлена "неопределенная" ссылка в представлении временной шкалы событий.
  • [SPARK-32898] [CORE]: исправлена проблема неверного executorRunTime при завершении задачи до ее фактического запуска.
  • [SPARK-32635] [SQL]: добавлен новый тестовый случай в модуль catalyst.
  • [SPARK-32930] [CORE]: заменены устаревшие методы isFile/isDirectory.
  • [SPARK-32906] [SQL]: имена полей структуры не должны изменяться после нормализации чисел с плавающей запятой.
  • [SPARK-24994] [SQL]: для упрощения целочисленного литерала добавлен оптимизатор UnwrapCastInBinaryComparison.
  • [SPARK-32635][SQL]: исправлена проблема свертываемого распространения.
  • [SPARK-32738] [CORE]: в случае фатальной ошибка в Inbox.process предусмотрено сокращение количества активных потоков.
  • [SPARK-32900] [CORE]: разрешен сброс UnsafeExternalSorter в случае нулевых знвчений.
  • [SPARK-32897] [PYTHON]: предупреждение об устаревании в SparkSession.builder.getOrCreate больше не отображается.
  • [SPARK-32715] [CORE]: исправлена проблема утечки памяти при невозможности сохранения элементов трансляции.
  • [SPARK-32715] [CORE]: исправлена проблема утечки памяти при невозможности сохранения элементов трансляции.
  • [SPARK-32872] [CORE]: BytesToBytesMap в MAX_CAPACITY больше не может превышать пороговое значение роста.
  • [SPARK-32876] [SQL]: резервные версии по умолчанию в HiveExternalCatalogVersionsSuite изменены на 3.0.1 и 2.4.7.
  • [SPARK-32840] [SQL]: недопустимое значение интервала может быть связано с конкретной единицей.
  • [SPARK-32819] [SQL]: предусмотрена рекурсивная эффективность параметра ignoreNullability.
  • [SPARK-32832] [SS]: использование CaseInsensitiveMap для параметров DataFrameReader/Writer.
  • [Spark-32794] [SS]: исправлена редкая ошибка, возникающая в модуле микропакетов с некоторыми запросами с отслеживанием состояния, без пакетов данных и с источниками V1 при превышении допустимых параметров.
  • [SPARK-32813] [SQL]: получение конфигурации по умолчанию для векторного модуля чтения ParquetSource в отсутствие активного сеанса SparkSession.
  • [SPARK-32823] [WEB UI]: исправлена проблема с сообщением о ресурсах в основном интерфейсе.
  • [SPARK-32824] [CORE]: доработано сообщение об ошибке в случае, когда пользователь забывает указать .amount в конфигурации ресурса.
  • [SPARK-32614] [SQL]:обработка комментариев не применяется, если для CSV не задано значение "comment".
  • [SPARK-32638] [SQL]: исправлены ссылки при добавлении псевдонимов WidenSetOperationTypes.
  • [SPARK-32810] [SQL]: источники данных CSV/JSON должны избегать подстановки путей при выведении схемы.
  • [SPARK-32815] [ML]: исправлена ошибки загрузки источника данных LibSVM в путях к файлам, содержащих стандартные метасимволы.
  • [SPARK-32753] [SQL]: теги копируются только в узлы без тегов.
  • [SPARK-32785] [SQL]: интервал с висячими частями не должен приводить к значению null.
  • [SPARK-32764][SQL]: значение "-0,0" должно быть равно "0,0".
  • [SPARK-32810] [SQL]: источники данных CSV/JSON должны избегать подстановки путей при выведении схемы.
  • [SPARK-32779] [SQL]: синхронизированный API SessionCatalog не используется в потоке withClient, поскольку это вызывает взаимоблокировку.
  • [SPARK-32791] [SQL]: метрика несекционированной таблицы не требует времени на динамическое удаление секций.
  • [SPARK-32767] [SQL]: групповое присоединение должно работать, если spark.sql.shuffle.partitions больше количества групп.
  • [SPARK-32788] [SQL]: сканирование несекционированных таблиц не должно включать фильтр секций.
  • [SPARK-32776] [SS]: ограничение потоковой передачи не должно оптимизироваться параметром PropagateEmptyRelation.
  • [SPARK-32624] [SQL]: устранена регрессия в CodegenContext.addReferenceObj во вложенных типах Scala.
  • [SPARK-32659] [SQL]: доработан тест для очистки DPP в неатомарном типе.
  • [SPARK-31511] [SQL]: итераторы BytesToBytesMap стали потокобезопасными.
  • [SPARK-32693] [SQL]: сравнение двух кадров данных с одной и той же схемой, кроме свойства, допускающего значение null.
  • [SPARK-28612] [SQL]: правильный документ метода DataFrameWriterV2.replace().

Обновления в рамках обслуживания

См. Служебные обновления Databricks Runtime 7.4.

Системная среда

  • Операционная система: Ubuntu 18.04.5 LTS
  • Java: Zulu 8.48.0.53-CA-linux64 (сборка 1.8.0_265-b11)
  • Scala: 2.12.10
  • Python: 3.7.5
  • R: R версии 3.6.3 (29.02.2020)
  • Delta Lake: 0.7.0

Установленные библиотеки Python

Библиотека Версия Библиотека Версия Библиотека Версия
asn1crypto 1.3.0 backcall 0.1.0 boto3 1.12.0
botocore 1.15.0 certifi 2020.6.20 cffi 1.14.0
chardet 3.0.4 криптография 2.8 cycler 0.10.0
Cython 0.29.15 decorator 4.4.1 docutils 0.15.2
entrypoints 0,3 idna 2.8 ipykernel 5.1.4
ipython 7.12.0 ipython-genutils 0.2.0 jedi 0.17.2
jmespath 0.10.0 joblib 0.14.1 jupyter-client 5.3.4
jupyter-core 4.6.1 kiwisolver 1.1.0 koalas 1.3.0
matplotlib 3.1.3 numpy 1.18.1 pandas 1.0.1
parso 0.7.0 patsy 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 pip 20.0.2 prompt-toolkit 3.0.3
psycopg2 2.8.4 ptyprocess 0.6.0 pyarrow 1.0.1
pycparser 2,19 Pygments 2.5.2 PyGObject 3.26.1
pyOpenSSL 19.1.0 pyparsing 2.4.6 PySocks 1.7.1
python-apt 1.6.5+ubuntu0.3 python-dateutil 2.8.1 pytz 2019.3
pyzmq 18.1.1 requests 2.22.0 s3transfer 0.3.3
scikit-learn 0.22.1 scipy 1.4.1 мореборн 0.10.0
setuptools 45.2.0 six 1.14.0 ssh-import-id 5.7
statsmodels 0.11.0 tornado 6.0.3 traitlets 4.3.3
unattended-upgrades 0,1 urllib3 1.25.8 virtualenv 16.7.10
wcwidth 0.1.8 wheel 0.34.2

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка Microsoft CRAN на XXXX-XX-XX.

Библиотека Версия Библиотека Версия Библиотека Версия
askpass 1,1 assertthat 0.2.1 внутренние порты 1.1.8
base 3.6.3 base64enc 0.1-3 BH 1.72.0-3
bit 1.1-15.2 bit64 0.9-7 большой двоичный объект 1.2.1
загрузка 1.3-25 заваривать 1.0–6 метла 0.7.0
вызывающий объект 3.4.3 крышка 6.0-86 cellranger 1.1.0
chron 2.3-55 class 7.3-17 cli 2.0.2
clipr 0.7.0 cluster 2.1.0 codetools 0.2-16
colorspace 1.4-1 commonmark 1,7 компилятор 3.6.3
config 0,3 covr 3.5.0 карандаш 1.3.4
переходный разговор 1.1.0.1 curl 4.3 data.table 1.12.8
наборы данных 3.6.3 DBI 1.1.0 dbplyr 1.4.4
desc 1.2.0 средства разработки 2.3.0 digest 0.6.25
dplyr 0.8.5 DT 0,14 многоточие 0.3.1
evaluate 0,14 вентиляторы 0.4.1 Farver 2.0.3
fastmap 1.0.1 forcats 0.5.0 foreach 1.5.0
иностранный 0.8-76 forge 0.2.0 fs 1.4.2
Универсальные шаблоны 0.0.2 ggplot2 3.3.2 gh 1.1.0
git2r 0.27.1 glmnet 3.0-2 globals 0.12.5
клей 1.4.1 Говер 0.2.2 графика 3.6.3
grDevices 3.6.3 grid 3.6.3 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 haven 2.3.1
высокий 0,8 hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.1 httpuv 1.5.4 httr 1.4.1
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isoband 0.2.2 Итераторы 1.0.12
jsonlite 1.7.0 KernSmooth 2.23-17 трикотажный 1,29
маркирование 0,3 later 1.1.0.1 решётка 0.20-41
Lava 1.6.7 lazoval 0.2.2 жизненный цикл 0.2.0
lubridate 1.7.9 magrittr 1.5 Markdown 1,1
МАССАЧУСЕТС 7.3-53 «Матрица» 1.2-18 memoise 1.1.0
оплаты 3.6.3 mgcv 1.8-33 мим 0,9
ModelMetrics 1.2.2.2 modelr 0.1.8 munsell 0.5.0
nlme 3.1-149 nnet 7.3-14 numDeriv 2016.8-1.1
openssl 1.4.2 parallel 3.6.3 столб 1.4.6
pkgbuild 1.1.0 pkgconfig 2.0.3 pkgload 1.1.0
plogr 0.2.0 plyr 1.8.6 хвалить 1.0.0
prettyunits 1.1.1 pROC 1.16.2 processx 3.4.3
prodlim 2019.11.13 Ход выполнения 1.2.2 promises 1.1.1
proto 1.0.0 ps 1.3.3 purrr 0.3.4
r2d3 0.2.3 R6 2.4.1 randomForest 4.6-14
rappdirs 0.3.1 rcmdcheck 1.3.3 RColorBrewer 1.1-2
Rcpp 1.0.5 readr 1.3.1 readxl 1.3.1
Рецепты 0.1.13 реванш 1.0.1 rematch2 2.1.2
remotes 2.1.1 reprex 0.3.0 reshape2 1.4.4
rex 1.2.0 rjson 0.2.20 rlang 0.4.7
rmarkdown 2.3 RODBC 1.3-16 roxygen2 7.1.1
rpart 4.1-15 rprojroot 1.3-2 Rserve 1.8-7
RSQLite 2.2.0 rstudioapi 0,11 rversions 2.0.2
rvest 0.3.5 весы 1.1.1 селектор 0.4-2
sessioninfo 1.1.1 форма 1.4.4 блестящий 1.5.0
sourcetools 0.1.7 sparklyr 1.3.1 SparkR 3.0.0
пространственный 7.3-11 Сплайны 3.6.3 sqldf 0.4-11
SQUAREM 2020.3 stats 3.6.3 статистика4 3.6.3
stringi 1.4.6 stringr 1.4.0 выживание 3.2-7
sys 3,3 tcltk 3.6.3 ОбучениеDemos 2,10
testthat 2.3.2 tibble 3.0.3 tidyr 1.1.0
tidyselect 1.1.0 tidyverse 1.3.0 TimeDate 3043.102
tinytex 0,24 средства 3.6.3 usethis 1.6.1
utf8 1.1.4 служебные программы 3.6.3 uuid 0.1-4
vctrs 0.3.1 viridisLite 0.3.0 усы 0,4
withr 2.2.0 xfun 0,15 xml2 1.3.2
xopen 1.0.0 xtable 1.8-4 yaml 2.2.1

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)

ИД группы Идентификатор артефакта Версия
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics потоковая передача 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1–0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natives 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java-natives 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.4-3
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger профилировщик 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.2.8
com.microsoft.sqlserver mssql-jdbc 8.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.0
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1,10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1,6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.10
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.47.Final
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0–2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.12.8
net.snowflake spark-snowflake_2.12 2.8.1-spark_3.0
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.7.1
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 0.15.1
org.apache.arrow arrow-memory 0.15.1
org.apache.arrow arrow-vector 0.15.1
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.8.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3,9
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1,6
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0–M20
org.apache.directory.api api-util 1.0.0–M20
org.apache.directory.server apacheds-i18n 2.0.0–M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0–M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-common 2.3.7
org.apache.hive hive-exec-core 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-metastore 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.1
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.4.0
org.apache.orc orc-core 1.5.10
org.apache.orc orc-mapreduce 1.5.10
org.apache.orc orc-shims 1.5.10
org.apache.parquet parquet-column 1.10.1-databricks6
org.apache.parquet parquet-common 1.10.1-databricks6
org.apache.parquet parquet-encoding 1.10.1-databricks6
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks6
org.apache.parquet parquet-jackson 1.10.1-databricks6
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity скорость 1.5
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.18.v20190429
org.eclipse.jetty jetty-continuation 9.4.18.v20190429
org.eclipse.jetty jetty-http 9.4.18.v20190429
org.eclipse.jetty jetty-io 9.4.18.v20190429
org.eclipse.jetty jetty-jndi 9.4.18.v20190429
org.eclipse.jetty jetty-plus 9.4.18.v20190429
org.eclipse.jetty jetty-proxy 9.4.18.v20190429
org.eclipse.jetty jetty-security 9.4.18.v20190429
org.eclipse.jetty jetty-server 9.4.18.v20190429
org.eclipse.jetty jetty-servlet 9.4.18.v20190429
org.eclipse.jetty jetty-servlets 9.4.18.v20190429
org.eclipse.jetty jetty-util 9.4.18.v20190429
org.eclipse.jetty jetty-webapp 9.4.18.v20190429
org.eclipse.jetty jetty-xml 9.4.18.v20190429
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2,30
org.glassfish.jersey.containers jersey-container-servlet-core 2,30
org.glassfish.jersey.core jersey-client 2,30
org.glassfish.jersey.core jersey-common 2,30
org.glassfish.jersey.core jersey-server 2,30
org.glassfish.jersey.inject jersey-hk2 2,30
org.glassfish.jersey.media jersey-media-jaxb 2,30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.6.6
org.json4s json4s-core_2.12 3.6.6
org.json4s json4s-jackson_2.12 3.6.6
org.json4s json4s-scalap_2.12 3.6.6
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.1.2
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.7.45
org.roaringbitmap shims 0.7.45
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark неиспользованный 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.7.5
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0,52