Databricks Runtime 8.4 (EoS)
Примечание.
Поддержка этой версии databricks Runtime закончилась. Сведения о дате окончания поддержки см . в журнале завершения поддержки. Все поддерживаемые версии среды выполнения Databricks см. в заметках о выпуске Databricks Runtime и совместимости.
В следующих заметках о выпуске содержатся сведения о Databricks Runtime 8.4 и Databricks Runtime 8.4 Photon на базе Apache Spark 3.1.2. Databricks выпустила эту версию в июле 2021 года. Photon сейчас находится в режиме общедоступной предварительной версии.
Новые функции и внесенные улучшения
- Функции и улучшения Delta Lake
- Функции и усовершенствования автозагрузчика
- Обновление соединителей
- Исправления ошибок
Функции и улучшения Delta Lake
- Веб-канал данных изменений в таблице Delta (общедоступный)
- Упрощенная загрузка общих таблиц Delta с помощью Databricks Runtime
- Дополнительные преимущества при работе с таблицами благодаря динамическому усечению файлов
- Повышение производительности благодаря автоматической настройке размера целевого файлов
- Дополнительные способы указания таблиц в
DeltaTable.forName - Надежная потоковая передача нескольких таблиц с помощью
foreachBatch - Повышенная производительность обработки запросов на чтение в определенных рабочих нагрузках за счет настройки контрольных точек
- Создание
GroupStateдля тестирования определяемых пользователем функций структурированной потоковой передачи
Веб-канал данных изменений в таблице Delta (общедоступный)
Веб-канал данных изменения таблицы Delta теперь является общедоступным. Он представляет изменения на уровне строк в различных версиях таблицы. Если этот параметр включен, записывается дополнительная информация об изменениях на уровне строк для каждой операции записи в таблице. См. статью Использование веб-канала изменений данных Delta Lake в Azure Databricks.
Упрощенная загрузка общих таблиц Delta с помощью Databricks Runtime
Соединитель Apache Spark для общего доступа к Delta 0.1.0 теперь доступен в Databricks Runtime. Вы можете загрузить общую таблицу, напрямую используя spark.read.format("deltaSharing").load(uri), не присоединяя к кластеру соединитель Spark для общего доступа к Delta.
Дополнительные преимущества при работе с таблицами благодаря динамическому усечению файлов
Функция динамического удаления файлов настроена для активации в таблицах с меньшим числом файлов. См. раздел Динамическое удаление файлов.
Повышение производительности благодаря автоматической настройке размера целевого файлов
Размер целевого файла для таблиц Delta теперь автоматически настраивается с учетом размера таблицы. Ранее размер целевого файла для OPTIMIZE и OPTIMIZE ZORDER BY составлял 1 ГБ. Если автоматическая настройка учитывает размер таблицы, то для таблиц Delta размером вплоть до 2,56 ТБ будет настраиваться целевой размер 256 МБ. Таблицы, размером более 10 ТБ, будут использовать размер 1 ГБ, как и ранее. Таблицы, размер которых находится в указанном диапазоне, будут ориентироваться на целевые размеры, увеличивающиеся пропорционально размеру таблицы.
Сведения о настройке Delta Lake для управления размером файла данных.
Дополнительные способы указания таблиц в DeltaTable.forName
DeltaTable.forName теперь поддерживает использование delta.`<path>` для обнаружения таблиц.
Надежная потоковая передача нескольких таблиц с помощью foreachBatch
Теперь поддерживаются идемпотентные операции записи потоковой передачи Delta в команде foreachBatch(). Дополнительные сведения см. в разделе Идемпотентные операции записи в несколько таблиц.
Повышенная производительность обработки запросов на чтение в определенных рабочих нагрузках за счет настройки контрольных точек
Дельта Lake теперь настраивает частоту контрольных точек. Вместо создания контрольных точек с фиксированным интервалом Delta теперь динамически корректирует частоту контрольных точек с учетом определенных триггеров событий. Это повышает производительность запросов чтения в рабочих нагрузках, в которых не удалось применить некоторые оптимизации пропуска данных. Чтобы использовать эти оптимизации, обновите задания, которые записывают данные в версию Delta Lake на Databricks Runtime 8.4. Дополнительные контрольные точки см. в разделе "Включение расширенных контрольных точек" для запросов структурированной потоковой передачи.
Создание GroupState для тестирования определяемых пользователем функций структурированной потоковой передачи
До настоящего момента только механизм структурированной потоковой передачи может создавать экземпляры GroupState. Таким образом, для всех модульных тестов определяемой пользователем функции требуется выполнение потокового запроса в Apache Spark.
Теперь можно создавать экземпляры GroupState с помощью TestGroupState.create(…). Это позволяет протестировать определяемую пользователем функцию в ходе простых модульных тестов, не требующих запуска Spark. См. раздел "Тестирование функции обновления mapGroupsWithState". В частности, он создает экземпляры типа TestGroupState, которые расширяют интерфейс GroupState с помощью дополнительных методов для интроспектинга внутреннего состояния после применения пользовательской функции.
Функции и усовершенствования автозагрузчика
- Настройка выполнения задним числом для захвата пропущенных файлов
- Объем привязанного хранилища для потоков большого объема
- Упрощенная конфигурация с поддержкой без пути
Настройка выполнения задним числом для захвата пропущенных файлов
Автозагрузчик теперь поддерживает асинхронное выполнение операций задним числом для захвата файлов, которые могли быть пропущены при отправке уведомлений о файлах. Системы хранения файлов и системы уведомлений не гарантируют 100% доставки всех событий файлов. Поэтому в модулях данных рекомендуется включить периодическое выполнение задним числом для захвата всех данных с помощью автозагрузчика. Используйте параметр cloudFiles.backfillInterval, чтобы запланировать регулярное выполнение задним числом с использованием ваших данных. См. Стандартные параметры Автозагрузчика.
Объем привязанного хранилища для потоков большого объема
Теперь можно настроить для автозагрузчика истечение срока действия и удаление записей в RocksDB, чтобы связать занимаемую им память хранилища с расположением контрольной точке. В Databricks не рекомендуется использовать этот параметр, если вы не принимаете данные со скоростью миллионов файлов в час. Неправильная настройка этого параметра или попытка его настройки может привести к множеству проблем с качеством данных, таких как игнорирование необработанных файлов или дублирование некоторых файлов вместо их однократной обработки. Дополнительные сведения см. в разделе Хранение событий.
Упрощенная конфигурация с поддержкой без пути
Контейнеры S3
Теперь можно указать очередь SQS, которая получает события из нескольких путей или контейнеров S3.
Если указать URL-адрес очереди SQS, то параметр path не требуется для этого варианта использования.
Автозагрузчик конструирует пути S3, используя контейнер и ключ из событий S3. Чтобы читать файлы через точки подключения DBFS, можно использовать cloudFiles.pathRewrites для изменения префиксов пути в DBFS. Это необязательно, если вы не обращаетесь к данным в разных учетных записях с помощью AssumeRole.
См. раздел Параметры уведомлений о файлах.
Контейнеры Azure Data Lake Storage 2-го поколения
Теперь можно указать очередь Azure, которая получает события из нескольких контейнеров.
Если указать имя очереди Azure, параметр path не требуется.
По умолчанию автозагрузчики создают пути ADLS 2-го поколения с помощью контейнера и ключа в событиях файла.
Если вы хотите использовать пути WASB или точки подключения DBFS, можно использовать cloudFiles.pathRewrites для изменения префиксов пути.
См. раздел Параметры уведомлений о файлах.
Обновление соединителей
- Соединитель Snowflake Spark обновлен до версии 2.9.0.
- Шифрование KMS теперь поддерживается в операторе
UNLOADсоединителя Redshift.
Исправления ошибок
- Исправлена проблема с кластерами с включенным контролем доступа к таблицам, при которой
select * from folderможет отображать содержимое папки, даже если у пользователя нет разрешений на доступ к файлам. - Владельцы базы данных, которые не являются администраторами, теперь могут удалять таблицы без владельца в базах данных. Это позволяет устранить проблему, из-за которой владельцы базы данных не могли удалять базу данных, если в базе данных существовали таблицы без владельца.
Обновления библиотек
- Обновленные библиотеки Python:
- обновление certifi с версии 2020.12.5 до версии 2021.5.30.
- обновление distill с версии 0.3.1 до версии 0.3.2
- обновление koalas с версии 1.8.0 до 1.8.1.
- обновление protobuf с версии 3.17.0 до 3.17.3
- Обновленные библиотеки R:
- обновление базовой версии с версии 4.0.4 до 4.1.0
- обновление загрузки с версии 1.3-27 до 1.3-28
- обновление класса с 7.3-18 до 7.3-19
- обновление кластера с версии 2.1.1 до 2.1.2
- обновление компилятора с версии 4.0.4 до 4.1.0
- обновление наборов данных с версии 4.0.4 до 4.1.0
- обновление графики с версии 4.0.4 до 4.1.0
- обновление grDevices с версии 4.0.4 до 4.1.0
- обновление сетки с версии 4.0.4 до 4.1.0
- обновление KernSmooth с версии 2.23-18 до 2.23-20
- обновление lattice с версии 0.20-41 до 0.20-44
- обновление MASS с версии 7.3-53.1 до 7.3-54
- обновление Matrix с версии 1.3-2 до 1.3-3
- обновление методов с версии 4.0.4 до 4.1.0
- обновление mgcv с версии 1.8-33 до 1.8-35
- обновление nnet с версии 7.3-15 до 7.3-16
- обновление parallel с версии 4.0.4 до 4.1.0
- обновление Rserve с версии 1.8-7 до 1.8-8
- обновление SparkR с версии 3.1.1 до 3.1.2
- обновление сплайнов с версии 4.0.4 до 4.1.0
- обновление статистики с версии 4.0.4 до 4.1.0
- обновление stats4 с версии 4.0.4 до 4.1.0
- обновление survival с версии 3.2-7 до 3.2-11
- обновление tcltk с версии 4.0.4 до 4.1.0
- обновление инструментов с версии 4.0.4 до 4.1.0
- обновление служебных программ с версии 4.0.4 до 4.1.0
- Обновленные библиотеки Java:
- snowflake-jdbc с версии 3.12.8 до 3.13.3
- spark-snowflake_2.12 с версии 2.8.1-spark_3.0 до 2.9.0-spark_3.1
- RoaringBitmap с версии 0.9.0 до 0.9.14
- shims с версии 0.9.0 до 0.9.14
- rocksdbjni с версии 6.2.2 до 6.20.3
Apache Spark
Databricks Runtime 8.4 включает Apache Spark 3.1.2. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 8.3 (EoS), а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:
- [SPARK-35792] [SQL] Представление не должно захватывать конфигурации, используемые в
RelationConversions - [SPARK-35700] [SQL] Чтение таблицы char/varchar orc с созданием и записью внешними системами
- [SPARK-35636] [SQL] Ссылки на ключи лямбда-выражения не добавляются за пределами лямбда-функции
- [SPARK-35800] [Cherry Pick] Улучшение тестирования GroupState за счет TestGroupState
- [SPARK-35391] Устранение утечки памяти в ExecutorAllocationListener
- [SPARK-35799] [CherryPick] Исправление измерения метрики allUpdatesTimeMs в FlatMapGroupsWithStateExec
- [SPARK-35763] [SS] Удаление зависимости перечисления подкласса StateStoreCustomMetric
- [SPARK-35791 [SQL] Корректный выпуск текущей карты для объединения ANTI с учетом NULL
- [SPARK-35695] [SQL] Сбор наблюдаемых метрик из кэшированных и адаптивных поддеревьев выполнения
- [SPARK-35767] [SQL] Запрет на двукратное исполнение дочернего плана в CoalesceExec
- [SPARK-35746] [UI] Исправление taskid в шкале времени события задачи для страницы этапа
- [SPARK-35673] [SQL] Исправление определенного пользователем указания и нераспознанного указания во вложенном запросе.
- [SPARK-35714] [CORE] Исправление ошибки для взаимоблокировки во время завершения работы исполнителя
- [SPARK-35689] [SS] Добавление предупреждения журнала, когда keyWithIndexToValue возвращает нулевое значение
- [SPARK-35589] [CORE][3.1] BlockManagerMasterEndpoint не должен игнорировать файл случайного выбора (только индекс) во время обновления
- [SPARK-35643] [PYTHON] Исправление неоднозначной ссылки в столбце functions.py column()
- [SPARK-35652] [SQL] joinWith во второй таблице, созданной на основе той же таблицы
- [SPARK-35679] [SQL] Переполнение instantToMicros
- [SPARK-35602] [SS] Обновление схемы состояния, чтобы разрешить принимать длинные файлы JSON
- [SPARK-35653] [SQL] Исправление интерпретируемых сбоев пути CatalystToExternalMap для Map с классами регистра в качестве ключей или значений
- [SPARK-35296] [SQL] Разрешение работы Dataset.observe даже в том случае, если CollectMetricsExec в задаче обрабатывает несколько секций.
- [SPARK-35659] [SS] Запрет записи нулевого значения в StateStore
- [SPARK-35665] [SQL] Разрешение UnresolvedAlias в CollectMetrics
- [SPARK-35558] Оптимизация для получения нескольких квантилей
- [SPARK-35621] [SQL] Добавление усечения идентификатора правила в правиле TypeCoercion
- [SPARK-35077] [SQL] Перенос в transformWithPruning для оставшихся правил оптимизатора
- [SPARK-35610] [CORE] Исправление утечки памяти из-за перехватчика завершения работы при остановке исполнителя
- [SPARK-35544] [SQL] Добавление усечения шаблона дерева в правила анализатора
- [SPARK-35566] [SS] Исправление выходных строк StateStoreRestoreExec
- [SPARK-35454] [SQL][3.1] Один LogicalPlan может соответствовать нескольким идентификаторам набора данных
- [SPARK-35538] [SQL] Перенос сайтов вызова transformAllExpressions для использования transformAllExpressionsWithPruning
- [SPARK-35106] [Core][SQL] Предотвращение сбоев при переименовании из-за несуществующего каталога назначения
- [SPARK-35287] [SQL] Разрешение RemoveRedundantProjects сохранять ProjectExec, чтобы создать UnsafeRow для DataSourceV2ScanRelation
- [SPARK-35495] [R] Изменение программы обслуживания SparkR для CRAN
- [SPARK-27991] [CORE] Откладывание запроса на принесение в Netty OOM
- [SPARK-35171] [R] Объявление пакета разметки в качестве зависимости для пакета SparkR
- [SPARK-35454] [SQL] Один LogicalPlan может соответствовать нескольким идентификаторам набора данных
- [SPARK-35298] [SQL] Перенос в transformWithPruning для в Optimizer.scala
- [SPARK-35480] [SQL] Настройка работы percentile_approx со сведением
- [SPARK-35093] [SQL] AQE теперь использует план newQueryStage как ключ для поиска кэшированных операций обмена для повторного использования
- [SPARK-35146] [SQL] Перенос в transformWithPruning или resolveWithPruning для правил в finishAnalysis.scala
- [SPARK-35411] [SQL] Добавление важной информации во время сериализации TreeNode в формат JSON
- [SPARK-35294] [SQL] Добавление усечения дерева с обходом в прямом порядке в правила с выделенными файлами в оптимизаторе
- [SPARK-34897] [SQL][3.1] Поддержка выверки схем с учетом индекса после усечения вложенного столбца
- [SPARK-35144] [SQL] Перенос в transformWithPruning для правил объекта
- [SPARK-35155] [SQL] Добавление усечения идентификатора правила в правила анализатора
- [SPARK-35382] [PYTHON] Устранение проблем с именем переменной лямбда-выражения во вложенных функциях DataFrame в API Python.
- [SPARK-35359] [SQL] Вставка данных с типом данных char/varchar завершается сбоем, если длина данных превышает установленный лимит
- [SPARK-35381] [R] Устранение проблем с именем переменной лямбда-выражения во вложенных функциях высшего порядка в API-интерфейсах R
Системная среда
- Операционная система: Ubuntu 18.04.5 LTS
- Java: Zulu 8.54.0.21-CA-linux64
- Scala: 2.12.10
- Python: 3.8.8
- R: 4.1.0 (2021-05-18)
- Delta Lake 1.0.0
Установленные библиотеки Python
| Библиотека | Версия | Библиотека | Версия | Библиотека | Версия |
|---|---|---|---|---|---|
| appdirs | 1.4.4 | asn1crypto | 1.4.0 | backcall | 0.2.0 |
| boto3 | 1.16.7 | botocore | 1.19.7 | brotlipy | 0.7.0 |
| certifi | 2021.5.30 | cffi | 1.14.3 | chardet | 3.0.4 |
| криптография | 3.1.1 | cycler | 0.10.0 | Cython | 0.29.21 |
| decorator | 4.4.2 | distlib | 0.3.2 | docutils | 0.15.2 |
| entrypoints | 0,3 | facets-overview | 1.0.0 | filelock | 3.0.12 |
| idna | 2,10 | ipykernel | 5.3.4 | ipython | 7.19.0 |
| ipython-genutils | 0.2.0 | jedi | 0.17.2 | jmespath | 0.10.0 |
| joblib | 0.17.0 | jupyter-client | 6.1.7 | jupyter-core | 4.6.3 |
| kiwisolver | 1.3.0 | koalas | 1.8.1 | matplotlib | 3.2.2 |
| numpy | 1.19.2 | pandas | 1.1.5 | parso | 0.7.0 |
| patsy | 0.5.1 | pexpect | 4.8.0 | pickleshare | 0.7.5 |
| pip | 20.2.4 | график | 4.14.3 | prompt-toolkit | 3.0.8 |
| protobuf | 3.17.3 | psycopg2 | 2.8.5 | ptyprocess | 0.6.0 |
| pyarrow | 1.0.1 | pycparser | 2,20 | Pygments | 2.7.2 |
| pyOpenSSL | 19.1.0 | pyparsing | 2.4.7 | PySocks | 1.7.1 |
| python-dateutil | 2.8.1 | pytz | 2020.5 | pyzmq | 19.0.2 |
| requests | 2.24.0 | retrying | 1.3.3 | s3transfer | 0.3.6 |
| scikit-learn | 0.23.2 | scipy | 1.5.2 | мореборн | 0.10.0 |
| setuptools | 50.3.1 | six | 1.15.0 | statsmodels | 0.12.0 |
| threadpoolctl | 2.1.0 | tornado | 6.0.4 | traitlets | 5.0.5 |
| urllib3 | 1.25.11 | virtualenv | 20.2.1 | wcwidth | 0.2.5 |
| wheel | 0.35.1 |
Установленные библиотеки R
Библиотеки R устанавливаются из моментального снимка Microsoft Cran от 02.11.2020.
| Библиотека | Версия | Библиотека | Версия | Библиотека | Версия |
|---|---|---|---|---|---|
| askpass | 1,1 | assertthat | 0.2.1 | внутренние порты | 1.2.1 |
| base | 4.1.0 | base64enc | 0.1-3 | BH | 1.72.0-3 |
| bit | 4.0.4 | bit64 | 4.0.5 | большой двоичный объект | 1.2.1 |
| загрузка | 1.3-28 | заваривать | 1.0–6 | brio | 1.1.0 |
| метла | 0.7.2 | вызывающий объект | 3.5.1 | крышка | 6.0-86 |
| cellranger | 1.1.0 | chron | 2.3-56 | class | 7.3-19 |
| cli | 2.2.0 | clipr | 0.7.1 | cluster | 2.1.2 |
| codetools | 0.2-18 | colorspace | 2.0-0 | commonmark | 1,7 |
| компилятор | 4.1.0 | config | 0,3 | covr | 3.5.1 |
| cpp11 | 0.2.4 | карандаш | 1.3.4 | учетные данные | 1.3.0 |
| переходный разговор | 1.1.0.1 | curl | 4.3 | data.table | 1.13.4 |
| наборы данных | 4.1.0 | DBI | 1.1.0 | dbplyr | 2.0.0 |
| desc | 1.2.0 | средства разработки | 2.3.2 | diffobj | 0.3.2 |
| digest | 0.6.27 | dplyr | 1.0.2 | DT | 0,16 |
| многоточие | 0.3.1 | evaluate | 0,14 | вентиляторы | 0.4.1 |
| Farver | 2.0.3 | fastmap | 1.0.1 | forcats | 0.5.0 |
| foreach | 1.5.1 | иностранный | 0.8-81 | forge | 0.2.0 |
| fs | 1.5.0 | будущее | 1.21.0 | Универсальные шаблоны | 0.1.0 |
| gert | 1.0.2 | ggplot2 | 3.3.2 | gh | 1.2.0 |
| gitcreds | 0.1.1 | glmnet | 4.0-2 | globals | 0.14.0 |
| клей | 1.4.2 | Говер | 0.2.2 | графика | 4.1.0 |
| grDevices | 4.1.0 | grid | 4.1.0 | gridExtra | 2.3 |
| gsubfn | 0,7 | gtable | 0.3.0 | haven | 2.3.1 |
| высокий | 0,8 | hms | 0.5.3 | htmltools | 0.5.0 |
| htmlwidgets | 1.5.3 | httpuv | 1.5.4 | httr | 1.4.2 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ini | 0.3.1 |
| ipred | 0.9-9 | isoband | 0.2.3 | Итераторы | 1.0.13 |
| jsonlite | 1.7.2 | KernSmooth | 2.23-20 | трикотажный | 1,30 |
| маркирование | 0.4.2 | later | 1.1.0.1 | решётка | 0.20-44 |
| Lava | 1.6.8.1 | lazoval | 0.2.2 | жизненный цикл | 0.2.0 |
| listenv | 0.8.0 | lubridate | 1.7.9.2 | magrittr | 2.0.1 |
| Markdown | 1,1 | МАССАЧУСЕТС | 7.3-54 | «Матрица» | 1.3-3 |
| memoise | 1.1.0 | оплаты | 4.1.0 | mgcv | 1.8-35 |
| мим | 0,9 | ModelMetrics | 1.2.2.2 | modelr | 0.1.8 |
| munsell | 0.5.0 | nlme | 3.1-152 | nnet | 7.3-16 |
| numDeriv | 2016.8-1.1 | openssl | 1.4.3 | parallel | 4.1.0 |
| parallelly | 1.22.0 | столб | 1.4.7 | pkgbuild | 1.1.0 |
| pkgconfig | 2.0.3 | pkgload | 1.1.0 | plogr | 0.2.0 |
| plyr | 1.8.6 | хвалить | 1.0.0 | prettyunits | 1.1.1 |
| pROC | 1.16.2 | processx | 3.4.5 | prodlim | 2019.11.13 |
| Ход выполнения | 1.2.2 | promises | 1.1.1 | proto | 1.0.0 |
| ps | 1.5.0 | purrr | 0.3.4 | r2d3 | 0.2.3 |
| R6 | 2.5.0 | randomForest | 4.6-14 | rappdirs | 0.3.1 |
| rcmdcheck | 1.3.3 | RColorBrewer | 1.1-2 | Rcpp | 1.0.5 |
| readr | 1.4.0 | readxl | 1.3.1 | Рецепты | 0.1.15 |
| реванш | 1.0.1 | rematch2 | 2.1.2 | remotes | 2.2.0 |
| reprex | 0.3.0 | reshape2 | 1.4.4 | rex | 1.2.0 |
| rlang | 0.4.9 | rmarkdown | 2.6 | RODBC | 1.3-17 |
| roxygen2 | 7.1.1 | rpart | 4.1-15 | rprojroot | 2.0.2 |
| Rserve | 1.8-8 | RSQLite | 2.2.1 | rstudioapi | 0,13 |
| rversions | 2.0.2 | rvest | 0.3.6 | весы | 1.1.1 |
| селектор | 0.4-2 | sessioninfo | 1.1.1 | форма | 1.4.5 |
| блестящий | 1.5.0 | sourcetools | 0.1.7 | sparklyr | 1.5.2 |
| SparkR | 3.1.1 | пространственный | 7.3-11 | Сплайны | 4.1.0 |
| sqldf | 0.4-11 | SQUAREM | 2020.5 | stats | 4.1.0 |
| статистика4 | 4.1.0 | stringi | 1.5.3 | stringr | 1.4.0 |
| выживание | 3.2-11 | sys | 3,4 | tcltk | 4.1.0 |
| ОбучениеDemos | 2,10 | testthat | 3.0.0 | tibble | 3.0.4 |
| tidyr | 1.1.2 | tidyselect | 1.1.0 | tidyverse | 1.3.0 |
| TimeDate | 3043.102 | tinytex | 0,28 | средства | 4.1.0 |
| usethis | 2.0.0 | utf8 | 1.1.4 | служебные программы | 4.1.0 |
| uuid | 0.1-4 | vctrs | 0.3.5 | viridisLite | 0.3.0 |
| waldo | 0.2.3 | усы | 0,4 | withr | 2.3.0 |
| xfun | 0,19 | xml2 | 1.3.2 | xopen | 1.0.0 |
| xtable | 1.8-4 | yaml | 2.2.1 | zip | 2.1.1 |
Установленные библиотеки Java и Scala (версия кластера Scala 2.12)
| ИД группы | Идентификатор артефакта | Версия |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
| com.amazonaws | aws-java-sdk-glue | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs | 1.11.655 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.655 |
| com.amazonaws | aws-java-sdk-marketplacemeteringservice | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | aws-java-sdk-support | 1.11.655 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | потоковая передача | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1–0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.10.0 |
| com.fasterxml.jackson.core | jackson-core | 2.10.0 |
| com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.10.0 |
| com.github.ben-manes.caffeine | caffeine | 2.3.4 |
| com.github.fommil | jniloader | 1,1 |
| com.github.fommil.netlib | core | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1,1 |
| com.github.fommil.netlib | native_ref-java-natives | 1,1 |
| com.github.fommil.netlib | native_system-java | 1,1 |
| com.github.fommil.netlib | native_system-java-natives | 1,1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1,1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1,1 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.luben | zstd-jni | 1.4.8-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | guava | 15,0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | профилировщик | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 9.2.1.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.9.5 |
| com.twitter | chill_2.12 | 0.9.5 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1,10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1,6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| hive-2.3__hadoop-2.7 | jets3t-0.7 | liball_deps_2.12 |
| hive-2.3__hadoop-2.7 | zookeeper-3.4 | liball_deps_2.12 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.10 |
| io.delta | delta-sharing-spark_2.12 | 0.1.0 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.51.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | коллектор | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1,1 |
| javax.transaction | transaction-api | 1,1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0–2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.5 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| maven-trees | hive-2.3__hadoop-2.7 | liball_deps_2.12 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pyrolite | 4.30 |
| net.sf.jpam | jpam | 1,1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.3 |
| net.snowflake | spark-snowflake_2.12 | 2.9.0-spark_3.1 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8-1 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 2.0.0 |
| org.apache.arrow | arrow-memory-core | 2.0.0 |
| org.apache.arrow | arrow-memory-netty | 2.0.0 |
| org.apache.arrow | arrow-vector | 2.0.0 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.commons | commons-compress | 1,20 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3,10 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-text | 1,6 |
| org.apache.curator | curator-client | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | curator-recipes | 2.7.1 |
| org.apache.derby | derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0–M20 |
| org.apache.directory.api | api-util | 1.0.0–M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0–M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0–M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.4 |
| org.apache.hadoop | hadoop-auth | 2.7.4 |
| org.apache.hadoop | hadoop-client | 2.7.4 |
| org.apache.hadoop | hadoop-common | 2.7.4 |
| org.apache.hadoop | hadoop-hdfs | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.4 |
| org.apache.hive | hive-beeline | 2.3.7 |
| org.apache.hive | hive-cli | 2.3.7 |
| org.apache.hive | hive-jdbc | 2.3.7 |
| org.apache.hive | hive-llap-client | 2.3.7 |
| org.apache.hive | hive-llap-common | 2.3.7 |
| org.apache.hive | hive-serde | 2.3.7 |
| org.apache.hive | hive-shims | 2.3.7 |
| org.apache.hive | hive-storage-api | 2.7.2 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.7 |
| org.apache.hive.shims | hive-shims-common | 2.3.7 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.7 |
| org.apache.htrace | htrace-core | 3.1.0-incubating |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | ivy | 2.4.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.5.12 |
| org.apache.orc | orc-mapreduce | 1.5.12 |
| org.apache.orc | orc-shims | 1.5.12 |
| org.apache.parquet | parquet-column | 1.10.1-databricks9 |
| org.apache.parquet | parquet-common | 1.10.1-databricks9 |
| org.apache.parquet | parquet-encoding | 1.10.1-databricks9 |
| org.apache.parquet | parquet-format | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1-databricks9 |
| org.apache.parquet | parquet-jackson | 1.10.1-databricks9 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm7-shaded | 4.15 |
| org.apache.yetus | audience-annotations | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.4.14 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-continuation | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-http | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-io | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-jndi | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-plus | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-proxy | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-security | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-server | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-servlet | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-servlets | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-util | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-webapp | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-xml | 9.4.36.v20210114 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2,30 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2,30 |
| org.glassfish.jersey.core | jersey-client | 2,30 |
| org.glassfish.jersey.core | jersey-common | 2,30 |
| org.glassfish.jersey.core | jersey-server | 2,30 |
| org.glassfish.jersey.inject | jersey-hk2 | 2,30 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2,30 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1,7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M5 |
| org.json4s | json4s-core_2.12 | 3.7.0-M5 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M5 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M5 |
| org.lz4 | lz4-java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.2.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.9.14 |
| org.roaringbitmap | shims | 0.9.14 |
| org.rocksdb | rocksdbjni | 6.20.3 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.10 |
| org.scala-lang | scala-library_2.12 | 2.12.10 |
| org.scala-lang | scala-reflect_2.12 | 2.12.10 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.0 |
| org.scalanlp | breeze_2.12 | 1.0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | неиспользованный | 1.0.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.5 |
| org.typelevel | algebra_2.12 | 2.0.0-M2 |
| org.typelevel | cats-kernel_2.12 | 2.0.0-M4 |
| org.typelevel | machinist_2.12 | 0.6.8 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0-M1 |
| org.typelevel | spire-platform_2.12 | 0.17.0-M1 |
| org.typelevel | spire-util_2.12 | 0.17.0-M1 |
| org.typelevel | spire_2.12 | 0.17.0-M1 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.2 |
| org.yaml | snakeyaml | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0,52 |