Поделиться через

Databricks Runtime 4.2 (EoS)

  • Статья

Примечание.

Поддержка этой версии databricks Runtime закончилась. Сведения о дате окончания поддержки см . в журнале завершения поддержки. Все поддерживаемые версии среды выполнения Databricks см. в заметках о выпуске Databricks Runtime и совместимости.

Databricks выпустила эту версию в июле 2018 года.

Внимание

Этот выпуск не рекомендуется использовать с 5 марта 2019 г. Дополнительные сведения о политике и расписании нерекомендуемой среды выполнения Databricks см. в разделе "Жизненные циклы поддержки Databricks".

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 4.2 на платформе Apache Spark.

Delta Lake

Databricks Runtime версии 4.2 включает значительные улучшения качества и функциональности Delta Lake. Databricks настоятельно рекомендует всем клиентам Delta Lake переход на новую среду выполнения. Этот выпуск останется в закрытой предварительной версии, но будет доступен до выхода предстоящего общедоступного выпуска.

Новые возможности

  • Теперь потоки можно напрямую записать в разностную таблицу, зарегистрированную в хранилище метаданных Hive с помощью df.writeStream.table(...).

Усовершенствования

  • Все команды и запросы Delta Lake теперь поддерживают ссылку на таблицу, используя ее путь в качестве идентификатора:

    delta.`<path-to-table>`

    Ранее OPTIMIZE и VACUUM требовали нестандартного использования строковых литералов (то есть '<path-to-table>').

  • DESCRIBE HISTORY теперь включает идентификатор фиксации и по умолчанию упорядочивается от новых к старым записям.

Исправления ошибок

  • Фильтрация на основе предикатов секционирования теперь работает правильно даже в том случае, если предикаты отличаются от указанных данных в таблице.
  • Исправлено отсутствие столбца AnalysisException при выполнении проверок на равенство логических столбцов в разностных таблицах (то есть booleanValue = true).
  • CREATE TABLE больше не изменяет журнал транзакций при создании указателя на существующую таблицу. Это предотвращает ненужные конфликты с параллельными потоками и позволяет создавать указатель хранилища метаданных на таблицы, где пользователь имеет доступ к данным только для чтения.
  • Вызов display() в потоке с большими объемами данных больше не вызывает нехватку памяти в драйвере.
  • AnalysisException теперь вызывается при удалении базового пути Delta Lake, а не при возврате пустых результатов.
  • Конфигурации Delta Lake, требующие определенной версии протокола (например, appendOnly), могут применяться только к таблицам в соответствующей версии.
  • При обновлении состояния разностной таблицы длинные происхождения теперь автоматически усекаются, чтобы избежать StackOverFlowError.

Структурированная потоковая передача

Новые возможности

  • Delta Lake и Kafka теперь полностью поддерживают Trigger.Once. Ранее установленные ограничения скорости (например maxOffsetsPerTrigger, или maxFilesPerTrigger), указанные как параметры источника или значения по умолчанию, могут привести только к частичному выполнению доступных данных. Эти параметры теперь игнорируются при использовании Trigger.Once, что позволяет обрабатывать все текущие доступные данные.

  • Добавлена новая потоковая передача foreachBatch() в Scala, где можно определить функцию для обработки вывода данных каждого микропакета с помощью операций DataFrame. Это подходит для следующего случая:

    • Использование существующих источников пакетных данных для записи выходных данных микропакетов в системы, в которых еще нет источника потоковых данных (например, используйте модуль записи пакетов Cassandra для вывода данных каждого микропакета).
    • Запись выхода данных микропакета в несколько расположений.
    • Применение операций DataFrame и таблиц в выводе данных микропакетов, которые пока не поддерживаются в DataFrame потоковой передачи (например, вывод данных микропакетов upsert в разностную таблицу).

  • Добавлены функции from_avro/to_avro для чтения и записи данных Avro внутри DataFrame, а не только для файлов, подобных from_json/to_json. Дополнительные сведения см. в статье Чтение и запись данных Avro в любом месте.

  • Добавлена поддержка потоковой передачи foreach() в Python (уже доступно в Scala). Дополнительные сведения см. в документации по foreach и foreachBatch.

Усовершенствования

  • Более быстрое создание выходных результатов и/или очистка состояния с помощью операций с отслеживанием состояния (mapGroupsWithState, соединение поток-поток, агрегирование потоковой передачи, потоковая передача dropDuplicates) при отсутствии данных во входном потоке.

Исправления ошибок

  • Исправлена ошибка точности Spark-24588 в соединении поток-поток, где соединение сообщило о меньшем количестве результатов при явном повторном секционировании до этого (например, df1.repartition("a", "b").join(df, "a")).

Другие изменения и улучшения

  • Добавлена поддержка команды Deny SQL для кластеров с поддержкой управления доступом к таблицам. Теперь пользователи могут запрещать определенные разрешения так же, как они были прежде предоставлены до этого. Запрещенное разрешение замещает предоставленное разрешение. Администраторам и владельцам определенного объекта всегда разрешено выполнять действия.
  • Новый источник данных Azure Data Lake Storage 2-го поколения, использующий драйвер ABFS. См. статью "Подключение к Azure Data Lake Storage 2-го поколения и хранилищу BLOB-объектов"
  • Обновлены некоторые установленные библиотеки Python:
    • pip: с 10.0.0b2 до 10.0.1
    • setuptools: с 39.0.1 до 39.2.0
    • tornado: с 5.0.1 до 5.0.2
    • wheel: с 0.31.0 до 0.31.1
  • Обновлены несколько установленных библиотек R. См. Установленные библиотеки R.
  • Улучшенная поддержка Parquet
  • Обновленная Apache ORC с 1.4.1 на 1.4.3

Apache Spark

Databricks Runtime 4.2 включает Apache Spark 2.3.1. Этот выпуск включает все исправления и улучшения, включенные в Databricks Runtime 4.1 (EoS), а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

  • [SPARK-24588][SS] Для присоединения потоковой передачи требуется HashClusteredPartitioning от дочерних элементов
  • [SPARK-23931][SQL] Внесение arrays_zip в function.scala @scala.annotation.varargs.
  • [SPARK-24633][SQL] Исправление codegen, если для arrays_zip требуется разбиение
  • [Spark-24578][CORE] Ограничение размера субрегиона возвращенного буфера nio
  • [SPARK-24613][SQL] Кэш с UDF не может быть сопоставлен с последующими зависимыми кэшами
  • [SPARK-24583][SQL] Неверный тип схемы в InsertIntoDataSourceCommand
  • [SPARK-24565][SS] Добавление API для структурированной потоковой передачи, чтобы предоставить строки вывода каждого микропакета как DataFrame
  • [SPARK-24396][SS] [PYSPARK] Добавление структурированной потоковой передачи ForeachWriter для Python
  • [SPARK-24216][SQL] Spark TypedAggregateExpression использует getSimpleName, который не является безопасным в Scala
  • [SPARK-24452][SQL][CORE] Не допускайте возможного переполнения при добавлении или умножении значений типа int
  • [SPARK-24187][R] [SQL] Добавление функции array_join в SparkR
  • [SPARK-24525][SS] Предоставление возможности, ограничить количество строк в MemorySink
  • [SPARK-24331][SPARKR] [SQL] Добавление arrays_overlap, array_repeat map_entries в SPARKR
  • [SPARK-23931][SQL] Добавление функции arrays_zip в Spark SQL
  • [SPARK-24186][R] [SQL] Изменение reverse и concat на функции сбора в R
  • [SPARK-24198][SPARKR][SQL] Добавление функции среза в SparkR
  • [SPARK-23920][SQL] Добавление array_remove, чтобы удалить все элементы, равные элементу массива
  • [SPARK-24197][SPARKR][SQL] Добавление функции array_sort в SparkR
  • [SPARK-24340][CORE] Очистка не в случайном порядке файлов диспетчера дисковых блоков после выхода исполнителя из автономного кластера
  • [SPARK-23935][SQL] Добавление функции map_entries
  • [SPARK-24500][SQL] Обеспечение материализации потоков при преобразованиях дерева.
  • [SPARK-24495][SQL] EnsureRequirement возвращает неверный план при переупорядочении равных ключей
  • [Spark-24506][UI] Добавление фильтров пользовательского интерфейса на вкладки, добавленные после привязки
  • [SPARK-24468][SQL] Обработка отрицательного масштабирования при корректировке точности для десятичных операций
  • [SPARK-24313][SQL] Исправление интерпретируемой оценки операций сбора для сложных типов
  • [SPARK-23922][SQL] Добавление функцию arrays_overlap
  • [SPARK-24369][SQL] Исправление обработки нескольких различных агрегатов с одинаковым набором аргументов
  • [SPARK-24455][CORE] Исправление опечатки в комментарии TaskSchedulerImpl
  • [SPARK-24397][PYSPARK] Добавление TaskContext.getLocalProperty(key) в Python
  • [SPARK-24117][SQL] Унифицированный метод getSizePerRow
  • [SPARK-24156][SS] Исправление ошибки при восстановлении после сбоя в пакете без данных
  • [SPARK-24414][UI] Вычисление правильного количества задач для этапа.
  • [SPARK-23754][PYTHON] Повторное создание StopIteration в клиентском коде
  • [SPARK-23991][DSTREAMS] Исправление потери данных при сбое записи WAL в allocateBlocksToBatch
  • [SPARK-24373][SQL] Добавление AnalysisBarrier в дочерний элемент RelationalGroupedDataset и KeyValueGroupedDataset
  • [SPARK-24392][PYTHON] Метка pandas_udf как экспериментальная
  • [SPARK-24334] Исправление состояния гонки в ArrowPythonRunner вызывает некорректное завершение работы распределителя памяти стрелки
  • [SPARK-19112][CORE] Добавление недостающих имен shortCompressionCodecNames в конфигурацию.
  • [SPARK-24244][SPARK-24368][SQL] Передача только необходимых столбцов средству синтаксического анализа CSV
  • [SPARK-24366][SQL] Улучшение сообщений об ошибках при преобразовании типов
  • [SPARK-24371][SQL] Добавление isInCollection в API DataFrame для Scala...
  • [SPARK-23925][SQL] Добавление функции коллекции array_repeat
  • [MINOR] Добавьте конфигурацию SSL порта в toString и scaladoc
  • [SPARK-24378][SQL] Исправление неправильных примеров функции date_trunc
  • [SPARK-24364][SS] Предотвращение сбоя InMemoryFileIndex, если путь к файлу не существует
  • [SPARK-24257][SQL] LongToUnsafeRowMap рассчитывает, что новый размер может быть неправильным
  • [SPARK-24348][SQL] Исправление ошибки ”element_at”
  • [SPARK-23930][SQL] Добавление функции среза
  • [SPARK-23416][СС] Добавление специального метода завершения для ContinuousExecution.
  • [SPARK-23852][SQL] Обновление до Parquet 1.8.3
  • [SPARK-24350][SQL] Исправление ClassCastException в функции "array_position"
  • [SPARK-24321][SQL] Извлечение общего кода из деления или остатка в базовый признак
  • [SPARK-24309][CORE] AsyncEventQueue должен останавливаться при прерывании.
  • [SPARK-23850][SQL] Добавление отдельной конфигурации для исправления параметров SQL.
  • [SPARK-22371][CORE] Возвращается значение None (Нет), а не создается исключение, когда накапливается сборщик мусора.
  • [SPARK-24002][SQL] Задача не подлежит сериализации, вызванная org.apache.parquet.io.api.Binary$ByteBufferBackedBinary.getBytes
  • [SPARK-23921][SQL] Добавление функции array_sort
  • [SPARK-23923][SQL] Добавление функции кратности
  • [SPARK-24159][SS] Включение микропакетов без данных для потоковой передачи mapGroupswithState
  • [SPARK-24158][SS] Включение пакетов без данных для соединений потоковой передачи
  • [SPARK-24157][SS] Включение пакетов без данных в MicroBatchExecution для агрегирования и дедупликации потоковой передачи
  • [SPARK-23799][SQL] FilterEstimation.evaluateInSet выдает неверную статистику для типа STRING
  • [SPARK-17916][SQL] Исправление пустой строки, распознаваемой как NULL, если задано значение nullValue.
  • [SPARK-23916][SQL] Добавление функции array_join
  • [SPARK-23408][SS] Синхронизация последовательных действий AddData в потоковой передаче *JoinSuite
  • [SPARK-23780][R] Не удалось использовать библиотеку googleVis с новым SparkR
  • [SPARK-23821][SQL] Функция коллекции: преобразование в плоскую структуру
  • [SPARK-23627][SQL] Указание isEmpty в наборе данных
  • [SPARK-24027][SQL] Поддержка MapType с типом StringType для ключей в качестве корневого типа с помощью from_json
  • [SPARK-24035][SQL] Синтаксис SQL для Pivot — исправление предупреждение antlr
  • [SPARK-23736][SQL] Расширение функции concat для поддержки столбцов массива
  • [SPARK-24246][SQL] Улучшение AnalysisException, указав причину, когда это будет доступно
  • [SPARK-24263][R] Проверка прерываний Java в службе SparkR с помощью openjdk
  • [SPARK-24262][PYTHON] Исправление опечаток в тексте сообщения об ошибке соответствия типов UDF
  • [SPARK-24067][ПОТОКОВАЯ ПЕРЕДАЧА] [KAFKA] Разрешение непоследовательных смещений
  • [SPARK-10878][CORE] Исправление состояние гонки, если несколько клиентов одновременно разрешают артефакты
  • [SPARK-19181][CORE] Исправление ненадежных метрик “SparkListenerSuite.local metrics”
  • [SPARK-24068] Распространение параметров DataFrameReader в текстовый источник данных при выводе схемы
  • [SPARK-24214][SS] Исправление toJSON для StreamingRelationV2/StreamingExecutionRelation/ContinuousExecutionRelation
  • [SPARK-23919][SPARK-23924][SPARK-24054][SQL] Добавление функции array_position/element_at
  • [SPARK-23926][SQL] Расширение функции reverse для поддержки аргументов ArrayType
  • [SPARK-23809][SQL]: активный сеанс SparkSession должен устанавливаться getOrCreate.
  • [SPARK-23094][SPARK-23723][SPARK-23724][SQL] Поддержка пользовательского кодирования для json-файлов
  • [SPARK-24035][SQL] Синтаксис SQL для Pivot
  • [SPARK-24069][R] Добавление функций array_min и array_max
  • [SPARK-23976][CORE] Обнаружение переполнения по длине в UTF8String.concat()/ByteArray.concat()
  • [SPARK-24188][CORE] Восстановление конечной точки API "/version".
  • [SPARK-24128][SQL] Упоминание параметра конфигурации в неявной ошибке ПЕРЕКРЕСТНОГО СОЕДИНЕНИЯ
  • [SPARK-23291][SQL] [R] При вызове API Scala подстрока R не должна уменьшать начальную позицию на 1
  • [SPARK-23697][CORE] LegacyAccumulatorWrapper должен правильно определять isZero
  • [SPARK-24168][SQL] WindowExec не должен получать доступ к SQLConf на стороне исполнителя
  • [SPARK-24143] Фильтрование пустых блоков в процессе преобразования mapstatus в пару (ИД блока, размер)
  • [SPARK-23917][SPARK-23918][SQL] Добавление функции array_max/array_min
  • [SPARK-23905][SQL] Добавление дня недели UDF
  • [SPARK-16406][SQL] Улучшение производительности LogicalPlan.resolve
  • [SPARK-24013][SQL] Удалите ненужное сжатие в ApproximatePercentile
  • [SPARK-23433][CORE] Поздние завершения задач зомби обновляют все наборы задач
  • [SPARK-24169][SQL] JsonToStructs не должен получать доступ к SQLConf на стороне исполнителя
  • [SPARK-24133][SQL] Реализация [SPARK-24133] Проверка на наличие переполнений в целочисленных (integer) значениях при изменении размера WritableColumnVectors
  • [SPARK-24166][SQL] InMemoryTableScanExec не должен получать доступ к SQLConf на стороне исполнителя
  • [SPARK-24133][SQL] Проверка на наличие переполнений в целочисленных (integer) значениях при изменении размера WritableColumnVectors
  • [SPARK-24085][SQL] Запрос возвращает UnsupportedOperationException, если в выражении секционирования имеется скалярный вложенный запрос
  • [SPARK-24062][THRIFT SERVER] Исправление шифрования SASL не может включить проблему на сервере THRIFT
  • [SPARK-23004][SS] Убедитесь, что StateStore.commit вызывается только один раз в задаче агрегирования потоковой передачи
  • [SPARK-23188][SQL] Сделать векторный размер пакета читателя настраиваемым
  • [SPARK-23375][SPARK-23973][SQL] Устранение ненужной сортировки в оптимизаторе
  • [SPARK-23877][SQL] Использование предикатов фильтра для очистки секций в запросах только метаданных
  • [SPARK-24033][SQL] Исправление несоответствия рамки окна specifiedwindowframe(RowFrame, -1, -1)
  • [SPARK-23340][SQL] Обновление Apache ORC до 1.4.3
  • Исправьте проблему с отсутствующей проверкой на значение NULL. Проверка, вероятно, будет запущена с помощью упрощенного создания кода выражения и предоставлена посредством SPARK-23986, так как сгенерированный исходный код стал немного длиннее, и появился проблемный путь кода (разбиение кода функцией Expression.reduceCodeSize()).
  • [SPARK-23989][SQL] Exchange должен копировать данные перед несериализованным перемешиванием
  • [SPARK-24021][CORE] Исправление ошибки BlacklistTracker’s updateBlacklistForFetchFailure
  • [SPARK-24014][PYSPARK] Добавление метода onStreamingStarted в StreamingListener
  • [SPARK-23963][SQL]: Правильная обработка многочисленных столбцов в запросе в текстовой таблице Hive.
  • [SPARK-23948] Триггер прослушивателя задания mapstage в submitMissingTasks
  • [SPARK-23986][SQL] freshName может создавать неуникальные имена
  • [SPARK-23835][SQL] Добавление не-null проверки в десериализации аргументов кортежей

Обновления в рамках обслуживания

См. Служебные обновления Databricks Runtime 4.2.

Системная среда

  • Операционная система: Ubuntu 16.04.4 LTS
  • Java: 1.8.0_162
  • Scala: 2.11.8
  • Python: 2.7.12 для кластеров Python 2 и 3.5.2 для кластеров Python 3.
  • R: R версии 3.4.4 (15.03.2018)
  • Кластеры GPU: установлены следующие библиотеки GPU NVIDIA:
    • Драйвер Tesla 375.66
    • CUDA 9.0
    • cuDNN 7.0

Установленные библиотеки Python

Библиотека Версия Библиотека Версия Библиотека Версия
ansi2html 1.1.1 argparse 1.2.1 backports-abc 0,5
boto 2.42.0 boto3 1.4.1 botocore 1.4.70
brewer2mpl 1.4.1 certifi 2016.2.28 cffi 1.7.0
chardet 2.3.0 colorama 0.3.7 configobj 5.0.6
криптография 1.5 cycler 0.10.0 Cython 0.24.1
decorator 4.0.10 docutils 0,14 enum34 1.1.6
et-xmlfile 1.0.1 freetype-py 1.0.2 funcsigs 1.0.2
fusepy 2.0.4 фьючерсы 3.2.0 ggplot 0.6.8
html5lib 0,999 idna 2.1 ipaddress 1.0.16
ipython 2.2.0 ipython-genutils 0.1.0 jdcal 1.2
Jinja2 2.8 jmespath 0.9.0 llvmlite 0.13.0
lxml 3.6.4 MarkupSafe 0,23 matplotlib 1.5.3
mpld3 0,2 msgpack-python 0.4.7 ndg-httpsclient 0.3.3
numba 0.28.1 numpy 1.11.1 openpyxl 2.3.2
pandas 0.19.2 pathlib2 2.1.0 patsy 0.4.1
pexpect 4.0.1 pickleshare 0.7.4 Pillow 3.3.1
pip 10.0.1 ply 3,9 prompt-toolkit 1.0.7
psycopg2 2.6.2 ptyprocess 0.5.1 py4j 0.10.3
pyarrow 0.8.0 pyasn1 0.1.9 pycparser 2,14
Pygments 2.1.3 PyGObject 3.20.0 pyOpenSSL 16.0.0
pyparsing 2.2.0 pypng 0.0.18 Python 2.7.12
python-dateutil 2.5.3 python-geohash 0.8.5 pytz 2016.6.1
requests 2.11.1 s3transfer 0.1.9 scikit-learn 0.18.1
scipy 0.18.1 scour 0,32 мореборн 0.7.1
setuptools 39.2.0 simplejson 3.8.2 simples3 1.0
singledispatch 3.4.0.3 six 1.10.0 statsmodels 0.6.1
tornado 5.0.2 traitlets 4.3.0 urllib3 1.19.1
virtualenv 15.0.1 wcwidth 0.1.7 wheel 0.31.1
wsgiref 0.1.2

Установленные библиотеки R

Библиотека Версия Библиотека Версия Библиотека Версия
abind 1.4-5 assertthat 0.2.0 внутренние порты 1.1.2
base 3.4.4 BH 1.66.0-1 bindr 0.1.1
bindrcpp 0.2.2 bit 1.1-12 bit64 0.9-7
bitops 1.0–6 большой двоичный объект 1.1.1 загрузка 1.3-20
заваривать 1.0–6 метла 0.4.4 автомобиль 3.0-0
carData 3.0-1 крышка 6.0-79 cellranger 1.1.0
chron 2.3-52 class 7.3-14 cli 1.0.0
cluster 2.0.7-1 codetools 0.2-15 colorspace 1.3-2
commonmark 1.4 компилятор 3.4.4 карандаш 1.3.4
curl 3.2 CVST 0.2-1 data.table 1.10.4-3
наборы данных 3.4.4 DBI 0,8 ddalpha 1.3.1.1
DEoptimR 1,0–8 desc 1.1.1 средства разработки 1.13.5
дихромат 2.0-0 digest 0.6.15 dimRed 0.1.0
doMC 1.3.5 dplyr 0.7.4 DRR 0.0.3
forcats 0.3.0 foreach 1.4.4 иностранный 0.8-70
gbm 2.1.3 ggplot2 2.2.1 git2r 0.21.0
glmnet 2.0-16 клей 1.2.0 Говер 0.1.2
графика 3.4.4 grDevices 3.4.4 grid 3.4.4
gsubfn 0,7 gtable 0.2.0 h2o 3.16.0.2
haven 1.1.1 hms 0.4.2 httr 1.3.1
hwriter 1.3.2 hwriterPlus 1.0-3 ipred 0.9-6
Итераторы 1.0.9 jsonlite 1.5 kernlab 0.9-25
KernSmooth 2.23-15 маркирование 0,3 решётка 0.20-35
Lava 1.6.1 lazoval 0.2.1 littler 0.3.3
lme4 1.1-17 lubridate 1.7.3 magrittr 1.5
mapproj 1.2.6 maps 3.3.0 Maptools 0.9-2
МАССАЧУСЕТС 7.3-50 «Матрица» 1.2-14 MatrixModels 0.4-1
memoise 1.1.0 оплаты 3.4.4 mgcv 1.8-24
мим 0,5 minqa 1.2.4 mnormt 1.5-5
ModelMetrics 1.1.0 munsell 0.4.3 mvtnorm 1.0-7
nlme 3.1-137 nloptr 1.0.4 nnet 7.3-12
numDeriv 2016.8-1 openssl 1.0.1 openxlsx 4.0.17
parallel 3.4.4 pbkrtest 0.4-7 столб 1.2.1
pkgconfig 2.0.1 pkgKitten 0.1.4 plogr 0.2.0
plyr 1.8.4 хвалить 1.0.0 prettyunits 1.0.2
pROC 1.11.0 prodlim 1.6.1 proto 1.0.0
Псих 1.8.3.3 purrr 0.2.4 quantreg 5,35
R.methodsS3 1.7.1 R.oo 1.21.0 R.utils 2.6.0
R6 2.2.2 randomForest 4.6-14 RColorBrewer 1.1-2
Rcpp 0.12.16 RcppEigen 0.3.3.4.0 RcppRoll 0.2.2
RCurl 1.95-4.10 readr 1.1.1 readxl 1.0.0
Рецепты 0.1.2 реванш 1.0.1 reshape2 1.4.3
rio 0.5.10 rlang 0.2.0 надежная база 0.92-8
RODBC 1.3-15 roxygen2 6.0.1 rpart 4.1-13
rprojroot 1.3-2 Rserve 1.7-3 RSQLite 2.1.0
rstudioapi 0,7 весы 0.5.0 sfsmisc 1.1-2
sp 1.2-7 SparkR 2.3.1 SparseM 1.77
пространственный 7.3-11 Сплайны 3.4.4 sqldf 0.4-11
SQUAREM 2017.10-1 statmod 1.4.30 stats 3.4.4
статистика4 3.4.4 stringi 1.1.7 stringr 1.3.0
выживание 2.42–3 tcltk 3.4.4 ОбучениеDemos 2,10
testthat 2.0.0 tibble 1.4.2 tidyr 0.8.0
tidyselect 0.2.4 TimeDate 3043.102 средства 3.4.4
utf8 1.1.3 служебные программы 3.4.4 viridisLite 0.3.0
усы 0.3-2 withr 2.1.2 xml2 1.2.0

Установленные библиотеки Java и Scala (версия кластера Scala 2.11)

ИД группы Идентификатор артефакта Версия
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.7.3
com.amazonaws aws-java-sdk-autoscaling 1.11.313
com.amazonaws aws-java-sdk-cloudformation 1.11.313
com.amazonaws aws-java-sdk-cloudfront 1.11.313
com.amazonaws aws-java-sdk-cloudhsm 1.11.313
com.amazonaws aws-java-sdk-cloudsearch 1.11.313
com.amazonaws aws-java-sdk-cloudtrail 1.11.313
com.amazonaws aws-java-sdk-cloudwatch 1.11.313
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.313
com.amazonaws aws-java-sdk-codedeploy 1.11.313
com.amazonaws aws-java-sdk-cognitoidentity 1.11.313
com.amazonaws aws-java-sdk-cognitosync 1.11.313
com.amazonaws aws-java-sdk-config 1.11.313
com.amazonaws aws-java-sdk-core 1.11.313
com.amazonaws aws-java-sdk-datapipeline 1.11.313
com.amazonaws aws-java-sdk-directconnect 1.11.313
com.amazonaws aws-java-sdk-directory 1.11.313
com.amazonaws aws-java-sdk-dynamodb 1.11.313
com.amazonaws aws-java-sdk-ec2 1.11.313
com.amazonaws aws-java-sdk-ecs 1.11.313
com.amazonaws aws-java-sdk-efs 1.11.313
com.amazonaws aws-java-sdk-elasticache 1.11.313
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.313
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.313
com.amazonaws aws-java-sdk-elastictranscoder 1.11.313
com.amazonaws aws-java-sdk-emr 1.11.313
com.amazonaws aws-java-sdk-glacier 1.11.313
com.amazonaws aws-java-sdk-iam 1.11.313
com.amazonaws aws-java-sdk-importexport 1.11.313
com.amazonaws aws-java-sdk-kinesis 1.11.313
com.amazonaws aws-java-sdk-kms 1.11.313
com.amazonaws aws-java-sdk-lambda 1.11.313
com.amazonaws aws-java-sdk-logs 1.11.313
com.amazonaws aws-java-sdk-machinelearning 1.11.313
com.amazonaws aws-java-sdk-opsworks 1.11.313
com.amazonaws aws-java-sdk-rds 1.11.313
com.amazonaws aws-java-sdk-redshift 1.11.313
com.amazonaws aws-java-sdk-route53 1.11.313
com.amazonaws aws-java-sdk-s3 1.11.313
com.amazonaws aws-java-sdk-ses 1.11.313
com.amazonaws aws-java-sdk-simpledb 1.11.313
com.amazonaws aws-java-sdk-simpleworkflow 1.11.313
com.amazonaws aws-java-sdk-sns 1.11.313
com.amazonaws aws-java-sdk-sqs 1.11.313
com.amazonaws aws-java-sdk-ssm 1.11.313
com.amazonaws aws-java-sdk-storagegateway 1.11.313
com.amazonaws aws-java-sdk-sts 1.11.313
com.amazonaws aws-java-sdk-support 1.11.313
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.313
com.amazonaws jmespath-java 1.11.313
com.carrotsearch hppc 0.7.2
com.chuusai shapeless_2.11 2.3.2
com.clearspring.analytics потоковая передача 2.7.0
com.databricks Rserve 1.8-3
com.databricks dbml-local_2.11 0.4.1-db1-spark2.3
com.databricks dbml-local_2.11-tests 0.4.1-db1-spark2.3
com.databricks jets3t 0.7.1–0
com.databricks.scalapb compilerplugin_2.11 0.4.15–9
com.databricks.scalapb scalapb-runtime_2.11 0.4.15–9
com.esotericsoftware kryo-shaded 3.0.3
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.0.0
com.fasterxml.jackson.core jackson-annotations 2.6.7
com.fasterxml.jackson.core jackson-core 2.6.7
com.fasterxml.jackson.core jackson-databind 2.6.7.1
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.6.7
com.fasterxml.jackson.datatype jackson-datatype-joda 2.6.7
com.fasterxml.jackson.module jackson-module-paranamer 2.6.7
com.fasterxml.jackson.module jackson-module-scala_2.11 2.6.7.1
com.github.fommil jniloader 1,1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natives 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java-natives 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.luben zstd-jni 1.3.2-2
com.github.rwl jtransforms 2.4.0
com.google.code.findbugs jsr305 2.0.1
com.google.code.gson gson 2.2.4
com.google.guava guava 15,0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.h2database h2 1.3.174
com.jamesmurty.utils java-xmlbuilder 1,1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.mchange c3p0 0.9.5.1
com.mchange mchange-commons-java 0.2.10
com.microsoft.azure azure-data-lake-store-sdk 2.2.8
com.microsoft.sqlserver mssql-jdbc 6.2.2.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.11 0,3
com.twitter chill-java 0.8.4
com.twitter chill_2.11 0.8.4
com.twitter parquet-hadoop-bundle 1.6.0
com.twitter util-app_2.11 6.23.0
com.twitter util-core_2.11 6.23.0
com.twitter util-jvm_2.11 6.23.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 2.1.2
com.univocity univocity-parsers 2.5.9
com.vlkan flatbuffers 1.2.0-3f79e055
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.7.0
commons-beanutils commons-beanutils-core 1.8.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1,10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1,6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 2,2
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.airlift aircompressor 0,8
io.dropwizard.metrics metrics-core 3.1.5
io.dropwizard.metrics metrics-ganglia 3.1.5
io.dropwizard.metrics metrics-graphite 3.1.5
io.dropwizard.metrics metrics-healthchecks 3.1.5
io.dropwizard.metrics metrics-jetty9 3.1.5
io.dropwizard.metrics metrics-json 3.1.5
io.dropwizard.metrics metrics-jvm 3.1.5
io.dropwizard.metrics metrics-log4j 3.1.5
io.dropwizard.metrics metrics-servlets 3.1.5
io.netty netty 3.9.9.Final
io.netty netty-all 4.1.17.Final
io.prometheus simpleclient 0.0.16
io.prometheus simpleclient_common 0.0.16
io.prometheus simpleclient_dropwizard 0.0.16
io.prometheus simpleclient_servlet 0.0.16
io.prometheus.jmx коллектор 0,7
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1,1
javax.validation validation-api 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0–2
javolution javolution 5.5.1
jline jline 2,11
joda-time joda-time 2.9.3
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.hydromatic eigenbase-properties 1.1.5
net.iharder base64 2.3.8
net.java.dev.jets3t jets3t 0.9.4
net.razorvine pyrolite 4.13
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-jdbc 3.6.3
net.snowflake spark-snowflake_2.11 2.3.2
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt oncrpc 1.0.7
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3,4
org.antlr antlr4-runtime 4,7
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 0.8.0
org.apache.arrow arrow-memory 0.8.0
org.apache.arrow arrow-vector 0.8.0
org.apache.avro avro 1.7.7
org.apache.avro avro-ipc 1.7.7
org.apache.avro avro-ipc-tests 1.7.7
org.apache.avro avro-mapred-hadoop2 1.7.7
org.apache.calcite calcite-avatica 1.2.0-incubating
org.apache.calcite calcite-core 1.2.0-incubating
org.apache.calcite calcite-linq4j 1.2.0-incubating
org.apache.commons commons-compress 1.4.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.5
org.apache.commons commons-math3 3.4.1
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0–M20
org.apache.directory.api api-util 1.0.0–M20
org.apache.directory.server apacheds-i18n 2.0.0–M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0–M15
org.apache.hadoop hadoop-annotations 2.7.3
org.apache.hadoop hadoop-auth 2.7.3
org.apache.hadoop hadoop-client 2.7.3
org.apache.hadoop hadoop-common 2.7.3
org.apache.hadoop hadoop-hdfs 2.7.3
org.apache.hadoop hadoop-mapreduce-client-app 2.7.3
org.apache.hadoop hadoop-mapreduce-client-common 2.7.3
org.apache.hadoop hadoop-mapreduce-client-core 2.7.3
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop hadoop-yarn-client 2.7.3
org.apache.hadoop hadoop-yarn-common 2.7.3
org.apache.hadoop hadoop-yarn-server-common 2.7.3
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.4
org.apache.httpcomponents httpcore 4.4.8
org.apache.ivy ivy 2.4.0
org.apache.orc orc-core-nohive 1.4.3
org.apache.orc orc-mapreduce-nohive 1.4.3
org.apache.parquet parquet-column 1.8.3-databricks2
org.apache.parquet parquet-common 1.8.3-databricks2
org.apache.parquet parquet-encoding 1.8.3-databricks2
org.apache.parquet parquet-format 2.3.1
org.apache.parquet parquet-hadoop 1.8.3-databricks2
org.apache.parquet parquet-jackson 1.8.3-databricks2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm5-shaded 4.4.
org.apache.zookeeper zookeeper 3.4.6
org.bouncycastle bcprov-jdk15on 1,58
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.8
org.codehaus.janino janino 3.0.8
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus datanucleus-core 3.2.10
org.datanucleus datanucleus-rdbms 3.2.9
org.eclipse.jetty jetty-client 9.3.20.v20170531
org.eclipse.jetty jetty-continuation 9.3.20.v20170531
org.eclipse.jetty jetty-http 9.3.20.v20170531
org.eclipse.jetty jetty-io 9.3.20.v20170531
org.eclipse.jetty jetty-jndi 9.3.20.v20170531
org.eclipse.jetty jetty-plus 9.3.20.v20170531
org.eclipse.jetty jetty-proxy 9.3.20.v20170531
org.eclipse.jetty jetty-security 9.3.20.v20170531
org.eclipse.jetty jetty-server 9.3.20.v20170531
org.eclipse.jetty jetty-servlet 9.3.20.v20170531
org.eclipse.jetty jetty-servlets 9.3.20.v20170531
org.eclipse.jetty jetty-util 9.3.20.v20170531
org.eclipse.jetty jetty-webapp 9.3.20.v20170531
org.eclipse.jetty jetty-xml 9.3.20.v20170531
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.4.0-b34
org.glassfish.hk2 hk2-locator 2.4.0-b34
org.glassfish.hk2 hk2-utils 2.4.0-b34
org.glassfish.hk2 osgi-resource-locator 1.0.1
org.glassfish.hk2.external aopalliance-repackaged 2.4.0-b34
org.glassfish.hk2.external javax.inject 2.4.0-b34
org.glassfish.jersey.bundles.repackaged jersey-guava 2.22.2
org.glassfish.jersey.containers jersey-container-servlet 2.22.2
org.glassfish.jersey.containers jersey-container-servlet-core 2.22.2
org.glassfish.jersey.core jersey-client 2.22.2
org.glassfish.jersey.core jersey-common 2.22.2
org.glassfish.jersey.core jersey-server 2.22.2
org.glassfish.jersey.media jersey-media-jaxb 2.22.2
org.hibernate hibernate-validator 5.1.1.Final
org.iq80.snappy snappy 0,2
org.javassist javassist 3.18.1-GA
org.jboss.logging jboss-logging 3.1.3.GA
org.jdbi jdbi 2.63.1
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.11 3.2.11
org.json4s json4s-core_2.11 3.2.11
org.json4s json4s-jackson_2.11 3.2.11
org.lz4 lz4-java 1.4.0
org.mariadb.jdbc mariadb-java-client 2.1.2
org.mockito mockito-all 1.9.5
org.objenesis objenesis 2.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.5.11
org.rocksdb rocksdbjni 5.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.11 2.11.8
org.scala-lang scala-library_2.11 2.11.8
org.scala-lang scala-reflect_2.11 2.11.8
org.scala-lang scalap_2.11 2.11.8
org.scala-lang.modules scala-parser-combinators_2.11 1.0.2
org.scala-lang.modules scala-xml_2.11 1.0.5
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.11 1.12.5
org.scalanlp breeze-macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 2.2.6
org.slf4j jcl-over-slf4j 1.7.16
org.slf4j jul-to-slf4j 1.7.16
org.slf4j slf4j-api 1.7.16
org.slf4j slf4j-log4j12 1.7.16
org.spark-project.hive hive-beeline 1.2.1.spark2
org.spark-project.hive hive-cli 1.2.1.spark2
org.spark-project.hive hive-exec 1.2.1.spark2
org.spark-project.hive hive-jdbc 1.2.1.spark2
org.spark-project.hive hive-metastore 1.2.1.spark2
org.spark-project.spark неиспользованный 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.tukaani xz 1.0
org.typelevel machinist_2.11 0.6.1
org.typelevel macro-compat_2.11 1.1.1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.2.6
org.yaml snakeyaml 1,16
oro oro 2.0.8
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0,52