Databricks Runtime 5.4 (неподдерживаемый)
Этот образ Databricks выпущен в июне 2019 г.
В следующих заметках о выпуске содержатся сведения о Databricks Runtime 5.4 на платформе Apache Spark.
Новые возможности
Delta Lake в Azure Databricks теперь включает автоматическую оптимизацию (общедоступная предварительная версия)
Сейчас при записи данных в облачное хранилище вам требуется сжать файлы для оптимальной производительности ввода-вывода. Вам нужно определить правильный размер файлов, как часто сжимать файлы, какого размера кластер использовать и т. д. Чтобы решить такие проблемы мы представляем функцию автоматической оптимизации с помощью Delta Lake в Azure Databricks. При каждой записи в разностные таблицы мы автоматически определяем нужный размер файлов и сжимаем их, поэтому вам больше не придется беспокоиться об оптимизации структуры хранилища. Если в процессе записи параметр auto-optimize имеет значение true, Azure Databricks автоматически определяет необходимость оптимизации и оптимизирует небольшие файлы. Дополнительные сведения см. в разделе "Настройка Delta Lake" для управления размером файла данных.
Программы библиотек общедоступны
Программы библиотек уже общедоступны. Эта функция позволяет управлять библиотеками Python из области действия сеанса записной книжки. См. служебную программу библиотеки (dbutils.library) (устаревшую версию).
Общедоступная версия Databricks Connect
Решение Databricks Connect уже общедоступно. Эта функция является клиентской библиотекой Spark, которая позволяет вам подключать предпочтительную IDE (IntelliJ, Eclipse, PyCharm, RStudio), сервер записных книжек (Zeppelin, Jupyter) и другие пользовательские приложения к кластерам Azure Databricks и выполнять код Spark. См. статью Databricks Connect.
Источник данных двоичных файлов
Источник данных двоичных файлов считывает двоичные файлы и преобразует каждый файл в отдельную запись с необработанным содержимым и метаданными файла. Теперь вы можете эффективно считывать любые файлы в DataFrame Spark без открытия содержимого файлов. Это особенно полезно, если вам нужно использовать Spark для загрузки крупных файлов, например изображений, с целью оценки. См. статью Двоичный файл.
Усовершенствования
Кэширование дисков
Кэширование диска теперь предварительно настроено для экземпляров Lsv2. Но кэш не включен по умолчанию. Сведения о том, как включить его, см. в разделе Включение или отключение кэша диска.
Сквозная передача учетных данных Azure AD в Azure Data Lake Storage 2-го поколения
Теперь поддерживается подключение файловой системы DBFS azure Data Lake служба хранилища (ADLS) 2-го поколения с идентификатором Microsoft Entra ID (прежнее название — Azure Active Directory). См. раздел Azure Data Lake Storage 2-го поколения.
Выполнено обновление R до версии 3.6.0.
Базовый код R обновлен с версии 3.5.2 до 3.6.0.
Apache Spark
Databricks Runtime 5.4 включает Apache Spark 2.4.3. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 5.3 (неподдерживаемые), а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:
- [SPARK-27596][SQL] Параметр "query" JDBC не работает для Oracle Database.
- [SPARK-27240][PYTHON] Теперь используется DataFrame pandas для аргумента типа структуры в UDF Scalar pandas.
- [SPARK-26745][SQL][TESTS] Тестовый случай JsonSuite: пустая строка -> 0 записей.
- [SPARK-25535][CORE] Реализовано временное решение для неправильной обработки ошибок в commons-crypto.
- [SPARK-26891][YARN] Исправлен неточный тест в YarnSchedulerBackendSuite.
- [SPARK-27563][SQL][TEST] Теперь выполняется автоматическое получение последних версий Spark в HiveExternalCatalogVersionsSuite.
- [SPARK-27494][SS] Значения NULL не работают в источнике Kafka версии 2.
- [SPARK-27550][TEST] test-dependencies.sh теперь не использует профиль kafka-0-8 для Scala-2.12.
- [SPARK-26992][STS] Исправлен пул планировщика STS для корректной доставки.
- [SPARK-27544][PYTHON][TEST] Исправлен скрипт теста Python для работы со сборкой Scala-2.12.
- [SPARK-27539][SQL] Исправлена неточная агрегированная оценка outputRows со столбцами, содержащими значения NULL.
- [SPARK-27469][BUILD] Зависимости commons-beanutils унифицированы до последней версии 1.9.3.
- [SPARK-27419][FOLLOWUP][DOCS] Добавлено примечание об изменении spark.executor.heartbeatInterval в соответствии с руководством по миграции.
- [SPARK-27496][CORE] Критические ошибки также должны отсылаться обратно отправителю.
- [SPARK-25079][PYTHON] Выполнено обновление исполняемого файла python3 до версии 3.6.x.
- [SPARK-27163][PYTHON] Улучшена и консолидирована функциональность UDF pandas.
- [SPARK-27403][SQL] Исправлено updateTableStats для обновления статистики таблицы всегда с новой статистикой или без статистики.
- [SPARK-27479][BUILD] Скрыта документация по API для org.apache.spark.util.kvstore.
- [SPARK-27446][R] При доступности используется существующая конфигурация Spark.
- [SPARK-27453] partitionBy передается как параметры в DataFrameWriter.
- [SPARK-27454][SPARK-27454][HOT-FIX][ML][SQL] Отбор изменений (исправление сбоя в источнике данных образов Spark при обнаружении некоторых недопустимых образов).
- [SPARK-27351][SQL] Исправлена неверная оценка outputRows после AggregateEstimation только со столбцом со значением NULL.
- [SPARK-27314][SQL] Теперь выполняется дедупликация exprIds для Union.
- [SPARK-27394][WEBUI] Теперь при необходимости выполняется очистка LiveEntity при получении SparkListenerExecutorMetricsUpdate (исправление для предыдущей версии 2.4).
- [SPARK-27406][SQL] Сериализация UnsafeArrayData завершается сбоем, если два компьютера имеют разный размер Oops.
- [SPARK-27419][CORE] Теперь не допускается приведение интервала пакетов пульса к секундам (2.4).
- [SPARK-27391][SS] Теперь не выполняется инициализация lazy val в задании ContinuousExecution.
- [SPARK-27390][CORE][SQL][TEST] Исправлено несоответствие имен пакетов.
- [SPARK-27358][UI] Выполнено обновление jquery до версии 1.12.x для реализации исправлений безопасности.
- [SPARK-27216][CORE] Выполнено обновление RoaringBitmap до версии 0.7.45 для исправления проблемы с небезопасными ser/dser в Kryo.
- [SPARK-27382][SQL][TEST] Выполнено обновление тестирования Spark 2.4.x в HiveExternalCatalogVersionsSuite.
- [SPARK-27338][CORE] Исправлена взаимоблокировка между UnsafeExternalSorter и TaskMemoryManager.
- [SPARK-27338][CORE][FOLLOWUP] Удален пробел в конце.
- [SPARK-27338][CORE] Исправлена взаимоблокировка в UnsafeExternalSorter.SpillableIterator при одновременной блокировке UnsafeExternalSorter.SpillableIterator и TaskMemoryManager.
- [SPARK-27346][SQL] Смягчено условие утверждения новой строки в поле "examples" в ExpressionInfo.
- [SPARK-26998][CORE] Удалена конфигурация SSL из исполнителей.
- [SPARK-27244][CORE][TEST][FOLLOWUP] toDebugString скрывает конфиденциальные сведения.
- [SPARK-27267][FOLLOWUP] Обновлен манифест зависимостей hadoop-2.6.
- [SPARK-27267][CORE] Выполнено обновление snappy, чтобы не допустить ошибки при распаковке пустых сериализованных данных.
- [SPARK-27301][DSTREAM] Сокращен жизненный цикл кэширования FileSystem до внутренней области метода очистки.
- [SPARK-27244][CORE] Скрытие паролей при использовании параметра logConf=true.
- [SPARK-26208][SQL] Теперь в пустые CSV-файлы добавляются заголовки, если header=true.
- [SPARK-27275][CORE] Исправлено потенциальное повреждение в EncryptedMessage.transferTo (2.4).
- [SPARK-23836][PYTHON] Добавлена поддержка для возврата StructType в UDF Scalar pandas.
- [SPARK-26961][CORE] Включена возможность параллельной загрузки классов.
- [SPARK-27274][DOCS] Исправлены ссылки на scala 2.11 в документации 2.4.1+; поддержка Note 2.11 прекращена в 2.4.1+.
- [SPARK-27198][CORE] Исправлено несоответствие интервалов пакетов пульса в драйвере и исполнителе.
- [SPARK-27094][YARN] Временное решение проблемы, связанной с тем, что RackResolver поглощает прерывание потока.
- [SPARK-24935][SQL] Исправлен UDAF Hive с двумя буферами агрегирования.
- [SPARK-27160][SQL] Исправлен DecimalType при создании фильтров ORC.
- [SPARK-26606][CORE] Реализована надлежащая обработка параметров драйвера при отправке в режим изолированного кластера через устаревший клиент.
- [SPARK-27221][SQL] Улучшено сообщение об ошибке assert в TreeNode.parseToJson (5.x).
- [SPARK-27102][R][PYTHON][CORE] Удалены ссылки на коды Scala для Python в кодах Scala для R.
- [SPARK-27159][SQL] Обновлен диалект сервера MSSQL для поддержи двоичного типа.
- [SPARK-27112][CORE] Создано упорядочивание ресурсов между потоками для разрешения взаимоблокировок, возникающих при попытке завершить работу исполнителей из-за динамического выделения или из-за списка блокировки.
- [SPARK-27178][K8S] Добавлен пакет nss для исправления тестов.
- [SPARK-27045][SQL] Вкладка SQL в пользовательском интерфейсе отображает фактический SQL, а не сайт вызова в случае со SparkSQLDriver.
- [SPARK-27119][SQL] Теперь не выполняется вывод схемы при считывании таблицы serde Hive с помощью нативного источника данных.
- [SPARK-27165][SPARK-27107][BUILD][SQL] Обновлена версия Apache ORC до 1.5.5.
- [SPARK-26742][K8S] Обновлена версия клиента k8s до 4.1.2.
- [SPARK-26927][CORE] Исполнитель теперь проверяется на активность при обработке событий в динамическом диспетчере выделения.
- [SPARK-27097][CHERRY-PICK 2.4] Теперь не допускается встраивание зависящих от платформы смещений прямо в сгенерированный для целого этапа код.
- [SPARK-27111][SS] Исправлена гонка, в которой непрерывный запрос мог завершаться сбоем с исключением InterruptedException (5.x).
- [SPARK-27111][SS] Исправлена гонка, в которой непрерывный запрос мог завершаться сбоем с исключением InterruptedException.
- [SPARK-27080][SQL] Исправлена ошибка при использовании mergeWithMetastoreSchema с универсальным сравнением в нижнем регистре.
- [SPARK-26604][CORE] Очищена регистрация канала для StreamManager.
- [SPARK-27016][SQL][BUILD] Все предупреждения antlr теперь обрабатываются как ошибки при создании анализатора из файла grammar sql.
- [SPARK-25863][SPARK-21871][SQL] Теперь выполняется проверка того, пуста ли статистика размера кода, в updateAndGetCompilationStats.
- [SPARK-27078][SQL] Исправлена ошибка NoSuchFieldError при считывании материализованных представлений Hive.
- [SPARK-27019][SQL][WEBUI] onJobStart с запуском после onExecutionEnd не должно перезаписывать хранилище ключей.
- [SPARK-27065][CORE] Теперь не допускается использование более одного активного диспетчера наборов задач для этапа.
- [SPARK-24669][SQL] Теперь таблицы инвалидируются в случае использования DROP DATABASE CASCADE.
- [SPARK-26932][DOC] Добавлено предупреждение для проблемы со средством чтения ORC для Hive 2.1.1.
- [SPARK-25139][SPARK-18406][CORE] Теперь ошибки NonFatal не приводят к завершению работы исполнителя в PythonRunner
Обновления в рамках обслуживания
См. пакет обновления Databricks Runtime 5.4.
Системная среда
- Операционная система: Ubuntu 16.04.6 LTS
- Java: 1.8.0_191.
- Scala: 2.11.12
- Python: 2.7.12 для кластеров Python 2 и 3.5.2 для кластеров Python 3.
- R: R версии 3.6.0 (26.04.2019)
- Кластеры GPU: установлены следующие библиотеки GPU NVIDIA:
- Драйвер Tesla 375.66
- CUDA 9.0
- cuDNN 7.0
Примечание.
Scala 2.12 поддерживается в Apache Spark 2.4, но не поддерживается в Databricks Runtime 5.4.
Установленные библиотеки Python
| Библиотека | Версия | Библиотека | Версия | Библиотека | Версия |
|---|---|---|---|---|---|
| ansi2html | 1.1.1 | argparse | 1.2.1 | backports-abc | 0,5 |
| boto | 2.42.0 | boto3 | 1.4.1 | botocore | 1.4.70 |
| brewer2mpl | 1.4.1 | certifi | 2016.2.28 | cffi | 1.7.0 |
| chardet | 2.3.0 | colorama | 0.3.7 | configobj | 5.0.6 |
| Криптографии | 1.5 | cycler | 0.10.0 | Cython | 0.24.1 |
| decorator | 4.0.10 | docutils | 0,14 | enum34 | 1.1.6 |
| et-xmlfile | 1.0.1 | freetype-py | 1.0.2 | funcsigs | 1.0.2 |
| fusepy | 2.0.4 | фьючерсы | 3.2.0 | ggplot | 0.6.8 |
| html5lib | 0,999 | idna | 2.1 | ipaddress | 1.0.16 |
| ipython | 2.2.0 | ipython-genutils | 0.1.0 | jdcal | 1.2 |
| Jinja2 | 2.8 | jmespath | 0.9.0 | llvmlite | 0.13.0 |
| lxml | 3.6.4 | MarkupSafe | 0,23 | matplotlib | 1.5.3 |
| mpld3 | 0,2 | msgpack-python | 0.4.7 | ndg-httpsclient | 0.3.3 |
| numba | 0.28.1 | numpy | 1.11.1 | openpyxl | 2.3.2 |
| pandas | 0.19.2 | pathlib2 | 2.1.0 | patsy | 0.4.1 |
| pexpect | 4.0.1 | pickleshare | 0.7.4 | Pillow | 3.3.1 |
| pip | 19.1.1 | ply | 3,9 | prompt-toolkit | 1.0.7 |
| psycopg2 | 2.6.2 | ptyprocess | 0.5.1 | py4j | 0.10.3 |
| pyarrow | 0.8.0 | pyasn1 | 0.1.9 | pycparser | 2,14 |
| Pygments | 2.1.3 | PyGObject | 3.20.0 | pyOpenSSL | 16.0.0 |
| pyparsing | 2.2.0 | pypng | 0.0.18 | Python | 2.7.12 |
| python-dateutil | 2.5.3 | python-geohash | 0.8.5 | pytz | 2016.6.1 |
| requests | 2.11.1 | s3transfer | 0.1.9 | scikit-learn | 0.18.1 |
| scipy | 0.18.1 | scour | 0,32 | Сиборн | 0.7.1 |
| setuptools | 41.0.1 | simplejson | 3.8.2 | simples3 | 1.0 |
| singledispatch | 3.4.0.3 | six | 1.10.0 | statsmodels | 0.6.1 |
| tornado | 5.1.1 | traitlets | 4.3.0 | urllib3 | 1.19.1 |
| virtualenv | 16.1.0 | wcwidth | 0.1.7 | wheel | 0.33.3 |
| wsgiref | 0.1.2 |
Установленные библиотеки R
| Библиотека | Версия | Библиотека | Версия | Библиотека | Версия |
|---|---|---|---|---|---|
| abind | 1.4-5 | askpass | 1,1 | assertthat | 0.2.1 |
| внутренние порты | 1.1.3 | base | 3.6.0 | base64enc | 0.1-3 |
| BH | 1.69.0-1 | bit | 1.1–14 | bit64 | 0.9-7 |
| bitops | 1.0–6 | большой двоичный объект | 1.1.1 | загрузка | 1.3-20 |
| Заваривать | 1.0–6 | вызывающий объект | 3.2.0 | автомобиль | 3.0-2 |
| carData | 3.0-2 | крышка | 6.0-82 | cellranger | 1.1.0 |
| chron | 2.3-53 | class | 7.3-15 | cli | 1.1.0 |
| clipr | 0.5.0 | clisymbols | 1.2.0 | cluster | 2.0.8 |
| codetools | 0.2-16 | colorspace | 1.4-1 | commonmark | 1,7 |
| компилятор | 3.6.0 | config | 0,3 | Карандаш | 1.3.4 |
| curl | 3,3 | data.table | 1.12.0 | наборы данных | 3.6.0 |
| DBI | 1.0.0 | dbplyr | 1.3.0 | desc | 1.2.0 |
| средства разработки | 2.0.1 | digest | 0.6.18 | doMC | 1.3.5 |
| dplyr | 0.8.0.1 | многоточие | 0.1.0 | вентиляторы | 0.4.0 |
| forcats | 0.4.0 | foreach | 1.4.4 | Иностранных | 0.8-71 |
| forge | 0.2.0 | fs | 1.2.7 | Gbm | 2.1.5 |
| Универсальные шаблоны | 0.0.2 | ggplot2 | 3.1.0 | gh | 1.0.1 |
| git2r | 0.25.2 | glmnet | 2.0-16 | Клей | 1.3.1 |
| Говер | 0.2.0 | графика | 3.6.0 | grDevices | 3.6.0 |
| grid | 3.6.0 | gridExtra | 2.3 | gsubfn | 0,7 |
| gtable | 0.3.0 | h2o | 3.22.1.1 | haven | 2.1.0 |
| Hms | 0.4.2 | htmltools | 0.3.6 | htmlwidgets | 1,3 |
| httr | 1.4.0 | hwriter | 1.3.2 | hwriterPlus | 1.0-3 |
| ini | 0.3.1 | ipred | 0.9-8 | Итераторы | 1.0.10 |
| jsonlite | 1,6 | KernSmooth | 2.23-15 | Маркировки | 0,3 |
| Решетки | 0.20-38 | Lava | 1.6.5 | lazoval | 0.2.2 |
| littler | 0.3.7 | lme4 | 1.1-21 | lubridate | 1.7.4 |
| magrittr | 1.5 | mapproj | 1.2.6 | maps | 3.3.0 |
| Maptools | 0.9-5 | МАССАЧУСЕТС | 7.3-51.1 | «Матрица» | 1.2-17 |
| MatrixModels | 0.4-1 | memoise | 1.1.0 | оплаты | 3.6.0 |
| mgcv | 1.8-28 | Mime | 0,6 | minqa | 1.2.4 |
| ModelMetrics | 1.2.2 | munsell | 0.5.0 | mvtnorm | 1.0-10 |
| nlme | 3.1-139 | nloptr | 1.2.1 | nnet | 7.3-12 |
| numDeriv | 2016.8-1 | openssl | 1,3 | openxlsx | 4.1.0 |
| parallel | 3.6.0 | pbkrtest | 0.4-7 | Столб | 1.3.1 |
| pkgbuild | 1.0.3 | pkgconfig | 2.0.2 | pkgKitten | 0.1.4 |
| pkgload | 1.0.2 | plogr | 0.2.0 | plyr | 1.8.4 |
| Похвалы | 1.0.0 | prettyunits | 1.0.2 | Proc | 1.14.0 |
| processx | 3.3.0 | prodlim | 2018.04.18 | Ход выполнения | 1.2.0 |
| proto | 1.0.0 | ps | 1.3.0 | purrr | 0.3.2 |
| quantreg | 5,38 | R.methodsS3 | 1.7.1 | R.oo | 1.22.0 |
| R.utils | 2.8.0 | r2d3 | 0.2.3 | R6 | 2.4.0 |
| randomForest | 4.6-14 | rappdirs | 0.3.1 | rcmdcheck | 1.3.2 |
| RColorBrewer | 1.1-2 | Rcpp | 1.0.1 | RcppEigen | 0.3.3.5.0 |
| RcppRoll | 0.3.0 | RCurl | 1.95-4.12 | readr | 1.3.1 |
| readxl | 1.3.1 | Рецепты | 0.1.5 | Реванш | 1.0.1 |
| remotes | 2.0.2 | reshape2 | 1.4.3 | rio | 0.5.16 |
| rlang | 0.3.3 | RODBC | 1.3-15 | roxygen2 | 6.1.1 |
| rpart | 4.1-15 | rprojroot | 1.3-2 | Rserve | 1.8-6 |
| RSQLite | 2.1.1 | rstudioapi | 0.10 | Весы | 1.0.0 |
| sessioninfo | 1.1.1 | sp | 1.3-1 | sparklyr | 1.0.0 |
| SparkR | 2.4.3 | SparseM | 1.77 | пространственный | 7.3-11 |
| Сплайны | 3.6.0 | sqldf | 0.4-11 | SQUAREM | 2017.10-1 |
| statmod | 1.4.30 | stats | 3.6.0 | статистика4 | 3.6.0 |
| stringi | 1.4.3 | stringr | 1.4.0 | Выживания | 2.43-3 |
| sys | 3.1 | tcltk | 3.6.0 | ОбучениеDemos | 2,10 |
| testthat | 2.0.1 | tibble | 2.1.1 | tidyr | 0.8.3 |
| tidyselect | 0.2.5 | TimeDate | 3043.102 | средства | 3.6.0 |
| usethis | 1.4.0 | utf8 | 1.1.4 | служебные программы | 3.6.0 |
| viridisLite | 0.3.0 | виски | 0.3-2 | withr | 2.1.2 |
| xml2 | 1.2.0 | xopen | 1.0.0 | Yaml | 2.2.0 |
| zip | 2.0.1 |
Установленные библиотеки Java и Scala (версия кластера Scala 2.11)
| ИД группы | Идентификатор артефакта | Версия |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.8.10 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.313 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.313 |
| com.amazonaws | aws-java-sdk-config | 1.11.313 |
| com.amazonaws | aws-java-sdk-core | 1.11.313 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.313 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.313 |
| com.amazonaws | aws-java-sdk-directory | 1.11.313 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.313 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.313 |
| com.amazonaws | aws-java-sdk-efs | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.313 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.313 |
| com.amazonaws | aws-java-sdk-emr | 1.11.313 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.313 |
| com.amazonaws | aws-java-sdk-glue | 1.11.313 |
| com.amazonaws | aws-java-sdk-iam | 1.11.313 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.313 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.313 |
| com.amazonaws | aws-java-sdk-kms | 1.11.313 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.313 |
| com.amazonaws | aws-java-sdk-logs | 1.11.313 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.313 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.313 |
| com.amazonaws | aws-java-sdk-rds | 1.11.313 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.313 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.313 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ses | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.313 |
| com.amazonaws | aws-java-sdk-sns | 1.11.313 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.313 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.313 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.313 |
| com.amazonaws | aws-java-sdk-sts | 1.11.313 |
| com.amazonaws | aws-java-sdk-support | 1.11.313 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.313 |
| com.amazonaws | jmespath-java | 1.11.313 |
| com.carrotsearch | hppc | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | потоковая передача | 2.7.0 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | dbml-local_2.11 | 0.5.0-db8-spark2.4 |
| com.databricks | dbml-local_2.11-tests | 0.5.0-db8-spark2.4 |
| com.databricks | jets3t | 0.7.1–0 |
| com.databricks.scalapb | compilerplugin_2.11 | 0.4.15–9 |
| com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15–9 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.0.0 |
| com.fasterxml.jackson.core | jackson-annotations | 2.6.7 |
| com.fasterxml.jackson.core | jackson-core | 2.6.7 |
| com.fasterxml.jackson.core | jackson-databind | 2.6.7.1 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
| com.github.fommil | jniloader | 1,1 |
| com.github.fommil.netlib | core | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1,1 |
| com.github.fommil.netlib | native_ref-java-natives | 1,1 |
| com.github.fommil.netlib | native_system-java | 1,1 |
| com.github.fommil.netlib | native_system-java-natives | 1,1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1,1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1,1 |
| com.github.luben | zstd-jni | 1.3.2-2 |
| com.github.rwl | jtransforms | 2.4.0 |
| com.google.code.findbugs | jsr305 | 2.0.1 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.guava | guava | 15,0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2database | h{_>2<_} | 1.3.174 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.2.8 |
| com.microsoft.azure | служба хранилища Azure | 5.2.0 |
| com.microsoft.sqlserver | mssql-jdbc | 6.2.2.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.11 | 0,3 |
| com.twitter | chill-java | 0.9.3 |
| com.twitter | chill_2.11 | 0.9.3 |
| com.twitter | parquet-hadoop-bundle | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-core_2.11 | 6.23.0 |
| com.twitter | util-jvm_2.11 | 6.23.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11 | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocity | univocity-parsers | 2.7.3 |
| com.vlkan | flatbuffers | 1.2.0-3f79e055 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.7.0 |
| commons-beanutils | commons-beanutils-core | 1.8.0 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1,10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1,6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.airlift | aircompressor | 0.10 |
| io.dropwizard.metrics | metrics-core | 3.1.5 |
| io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
| io.dropwizard.metrics | metrics-graphite | 3.1.5 |
| io.dropwizard.metrics | metrics-healthchecks | 3.1.5 |
| io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
| io.dropwizard.metrics | metrics-json | 3.1.5 |
| io.dropwizard.metrics | metrics-jvm | 3.1.5 |
| io.dropwizard.metrics | metrics-log4j | 3.1.5 |
| io.dropwizard.metrics | metrics-servlets | 3.1.5 |
| io.netty | netty | 3.9.9.Final |
| io.netty | netty-all | 4.1.17.Final |
| io.prometheus | simpleclient | 0.0.16 |
| io.prometheus | simpleclient_common | 0.0.16 |
| io.prometheus | simpleclient_dropwizard | 0.0.16 |
| io.prometheus | simpleclient_servlet | 0.0.16 |
| io.prometheus.jmx | Коллектор | 0,7 |
| javax.activation | activation | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1,1 |
| javax.validation | validation-api | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0–2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.9.3 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| maven-trees | hive-exec-with-glue | hive-12679-patch_deploy |
| maven-trees | hive-exec-with-glue | hive-exec_shaded |
| net.hydromatic | eigenbase-properties | 1.1.5 |
| net.razorvine | pyrolite | 4.13 |
| net.sf.jpam | jpam | 1,1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.5 |
| net.snowflake | snowflake-jdbc | 3.6.15 |
| net.snowflake | spark-snowflake_2.11 | 2.4.10-spark_2.4 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt | oncrpc | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3,4 |
| org.antlr | antlr4-runtime | 4,7 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 0.10.0 |
| org.apache.arrow | arrow-memory | 0.10.0 |
| org.apache.arrow | arrow-vector | 0.10.0 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.calcite | calcite-avatica | 1.2.0-incubating |
| org.apache.calcite | calcite-core | 1.2.0-incubating |
| org.apache.calcite | calcite-linq4j | 1.2.0-incubating |
| org.apache.commons | commons-compress | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.5 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.curator | curator-client | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | curator-recipes | 2.7.1 |
| org.apache.derby | derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0–M20 |
| org.apache.directory.api | api-util | 1.0.0–M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0–M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0–M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.3 |
| org.apache.hadoop | hadoop-auth | 2.7.3 |
| org.apache.hadoop | hadoop-client | 2.7.3 |
| org.apache.hadoop | hadoop-common | 2.7.3 |
| org.apache.hadoop | hadoop-hdfs | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.3 |
| org.apache.htrace | htrace-core | 3.1.0-incubating |
| org.apache.httpcomponents | httpclient | 4.5.4 |
| org.apache.httpcomponents | httpcore | 4.4.8 |
| org.apache.ivy | ivy | 2.4.0 |
| org.apache.orc | orc-core-nohive | 1.5.2 |
| org.apache.orc | orc-mapreduce-nohive | 1.5.2 |
| org.apache.orc | orc-shims | 1.5.2 |
| org.apache.parquet | parquet-column | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-common | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-encoding | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-format | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-jackson | 1.10.1.1-databricks3 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.9.3 |
| org.apache.xbean | xbean-asm6-shaded | 4,8 |
| org.apache.zookeeper | zookeeper | 3.4.6 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.10 |
| org.codehaus.janino | janino | 3.0.10 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | datanucleus-core | 3.2.10 |
| org.datanucleus | datanucleus-rdbms | 3.2.9 |
| org.eclipse.jetty | jetty-client | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-continuation | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-http | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-io | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-jndi | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-plus | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-proxy | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-security | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-server | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlet | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlets | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-util | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-webapp | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-xml | 9.3.20.v20170531 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-locator | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.1 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.4.0-b34 |
| org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
| org.glassfish.jersey.bundles.repackaged | jersey-guava | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.22.2 |
| org.glassfish.jersey.core | jersey-client | 2.22.2 |
| org.glassfish.jersey.core | jersey-common | 2.22.2 |
| org.glassfish.jersey.core | jersey-server | 2.22.2 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.22.2 |
| org.hibernate | hibernate-validator | 5.1.1.Final |
| org.iq80.snappy | snappy | 0,2 |
| org.javassist | javassist | 3.18.1-GA |
| org.jboss.logging | jboss-logging | 3.1.3.GA |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1,7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.11 | 3.5.3 |
| org.json4s | json4s-core_2.11 | 3.5.3 |
| org.json4s | json4s-jackson_2.11 | 3.5.3 |
| org.json4s | json4s-scalap_2.11 | 3.5.3 |
| org.lz4 | lz4-java | 1.4.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.mockito | mockito-all | 1.9.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.7.45 |
| org.roaringbitmap | shims | 0.7.45 |
| org.rocksdb | rocksdbjni | 5.2.1 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.11 | 2.11.12 |
| org.scala-lang | scala-library_2.11 | 2.11.12 |
| org.scala-lang | scala-reflect_2.11 | 2.11.12 |
| org.scala-lang.modules | scala-parser-combinators_2.11 | 1.1.0 |
| org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalactic | scalactic_2.11 | 3.0.3 |
| org.scalanlp | breeze-macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 3.0.3 |
| org.slf4j | jcl-over-slf4j | 1.7.16 |
| org.slf4j | jul-to-slf4j | 1.7.16 |
| org.slf4j | slf4j-api | 1.7.16 |
| org.slf4j | slf4j-log4j12 | 1.7.16 |
| org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
| org.spark-project.hive | hive-cli | 1.2.1.spark2 |
| org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
| org.spark-project.hive | hive-metastore | 1.2.1.spark2 |
| org.spark-project.spark | Неиспользуемые | 1.0.0 |
| org.spire-math | spire-macros_2.11 | 0.13.0 |
| org.spire-math | spire_2.11 | 0.13.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.tukaani | xz | 1.5 |
| org.typelevel | machinist_2.11 | 0.6.1 |
| org.typelevel | macro-compat_2.11 | 1.1.1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.3 |
| org.yaml | snakeyaml | 1,16 |
| oro | oro | 2.0.8 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0,52 |