Databricks Runtime 11.2 (неподдерживаемый)

  • Статья

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 11.2 на платформе Apache Spark 3.3.0. Эти образы были выпущены Databricks в сентябре 2022 года.

Новые функции и внесенные улучшения

Изменение разрешений ALTER TABLE в элементах управления доступом таблиц (ACL таблиц)

Теперь пользователям нужны только разрешения MODIFY на изменение схемы или свойств таблицы с помощью ALTER TABLE. Права владения по-прежнему требуется, чтобы предоставить разрешения на таблицу, изменить ее владельца или расположение, а также переименовать ее. Это изменение делает модель разрешений для списков ACL таблиц согласованной с Unity Catalog. См. статью ALTER TABLE.

Динамическая очистка для MERGE INTO

При использовании вычислений MERGE INTO с поддержкой Photon теперь используется динамическое удаление файлов и секций при необходимости повышения производительности, например при слиянии небольшой исходной таблицы в большую целевую таблицу.

Улучшенное обнаружение конфликтов в Delta с помощью динамического очистки файлов

При проверке потенциальных конфликтов во время фиксаций функция обнаружения конфликтов теперь учитывает файлы, которые удаляются с помощью динамического очистки файлов, но не были бы удалены статическими фильтрами. Это приводит к уменьшению числа неудачных транзакций.

Новая карточка "Интеграции с открытым кодом" на домашних страницах DSE/SQL

Вводные сведения о новой карточке "Интеграции с открытым исходным кодом" на домашних страницах DSE/SQL, где отображаются варианты интеграции с открытым кодом, например Разностные динамические таблицы и ядро dbt.

Улучшения обнаружения секции CONVERT TO DELTA

CONVERT TO DELTA автоматически выводит схему секций для таблиц Parquet, зарегистрированных в хранилище метаданных Hive или каталоге Unity, устраняя необходимость предоставления предложения PARTITIONED BY.

CONVERT TO DELTA использует сведения о секции из хранилища метаданных для обнаружения файлов для таблицы Parquet вместо перечисления всего базового пути, гарантируя, что удаленные секции не добавляются в таблицу Delta.

См. статью о преобразовании в Delta Lake.

Схемы таблиц теперь поддерживают значения по умолчанию для столбцов

Схемы таблиц теперь поддерживают настройку значений по умолчанию для столбцов. Команды INSERT, UPDATEи DELETE для этих столбцов могут ссылаться на эти значения с помощью ключевого слова DEFAULT. Например, CREATE TABLE t (id INT, data INT DEFAULT 42) USING PARQUET, после которой указано INSERT INTO t VALUES (1, DEFAULT) добавляет строку (1, 42). Это поведение поддерживается для источников данных CSV, JSON, Orc и Parquet.

Новые геопространственные функции H3

Теперь вы можете использовать 28 новых встроенных выражений H3 для геопространственной обработки в кластерах с поддержкой Photon, доступных в SQL, Scala и Python. См. раздел Геопространственные функции H3.

Новая зависимость Databricks Runtime

Databricks Runtime теперь зависит от библиотеки H3 Java версии 3.7.0.

Использование собственного ключа: шифрование учетных данных Git

Azure Key Vault можно использовать для шифрования личного маркера доступа (PAT) Git или других учетных данных Git.

См. статью "Настройка папок Git Для Databricks(Repos)".

SQL: новая агрегатная функция any_value

Новая агрегатная функция any_value возвращает любое случайное значение expr для группы строк. См. раздел Агрегатная функция any_value.

Команды файловой системы Databricks Utilities, разрешенные для дополнительных типов кластеров

Команды dbutils.fs (за исключением команд, связанных с подключением), теперь разрешены для кластеров с изоляцией пользователей с каталогом Unity, а также устаревших кластеров со списком управления доступом к таблицам, если у пользователя есть разрешения ANY FILE.

Теперь привилегии CREATE можно предоставить в хранилищах метаданных для каталога Unity

Теперь привилегии CREATE CATALOG, CREATE EXTERNAL LOCATION, CREATE SHARE, CREATE RECIPIENT и CREATE PROVIDER можно предоставить в хранилищах метаданных каталога Unity.

Оптимизированные операции записи для несекционированных таблиц в кластерах с поддержкой Photon

Управляемые таблицы каталога Unity теперь автоматически сохраняют файлы правильно настроенного размера из несекционированных таблиц для повышения скорости запросов и оптимизации производительности.

Поддержка Photon для дополнительных источников данных

Photon теперь поддерживает больше источников данных, включая CSV и Avro, а также демонстрирует совместимость с кэшированными кадрами данных. Раньше сканирование этих источников данных означало, что весь запрос не мог быть обработан с использованием Photon независимо от операторов или выражений запроса. Теперь запросы, сканирующие эти источники данных, можно обработать с использованием Photon, чтобы значительно снизить задержку и совокупную стоимость владения.

Эта функция включена по умолчанию в конфигурации spark.databricks.photon.photonRowToColumnar.enabled.

Ограничения:

  • Схемы с вложенными типами в этом выпуске не поддерживаются (например, массивы, карты и структуры).
  • Источники ORC, RDD, Kinesis, Kafka и EventHub не поддерживаются в этом выпуске.

SQL: ALTER SHARE теперь поддерживает начальную версию

Теперь команда ALTER SHARE поддерживает START VERSION, что позволяет поставщикам предоставлять общий доступ к данным, начиная с определенной версии таблицы. См. раздел ALTER SHARE.

Обновления библиотек

  • Обновленные библиотеки Python:
    • distlib — с версии 0.3.4 до 0.3.5;
    • filelock — с версии 3.7.1 до 3.8.0;
    • plotly — с версии 5.8.2 до 5.9.0;
    • protobuf — с версии 4.21.2 до 4.21.5.
  • Обновленные библиотеки R:
    • broom — с версии 0.8.0 до 1.0.0;
    • bslib — с версии 0.3.1 до 0.4.0;
    • callr — с версии 3.7.0 до 3.7.1;
    • caret — с версии 6.0-92 до 6.0-93;
    • dbplyr — с версии 2.2.0 до 2.2.1;
    • devtools — с версии 2.4.3 до 2.4.4;
    • evaluate — с версии 0.15 до 0.16;
    • farver — с версии 2.1.0 до 2.1.1;
    • fontawesome — с версии 0.2.2 до 0.3.0;
    • future — с версии 1.26.1 до 1.27.0;
    • generics — с версии 0.1.2 до 0.1.3;
    • gert — с версии 1.6.0 до 1.7.0;
    • globals — с версии 0.15.1 до 0.16.0;
    • googlesheets4 — с версии 1.0.0 до 1.0.1;
    • hardhat — с версии 1.1.0 до 1.2.0;
    • htmltools — с версии 0.5.2 до 0.5.3;
    • parallelly — с версии 1.32.0 до 1.32.1;
    • pillar — с версии 1.7.0 до 1.8.0;
    • pkgload — с версии 1.2.4 до 1.3.0;
    • processx — с версии 3.6.1 до 3.7.0;
    • Rcpp — с версии 1.0.8.3 до 1.0.9;
    • recipes — с версии 0.2.0 до 1.0.1;
    • rlang — с версии 1.0.2 до 1.0.4;
    • roxygen2 — с версии 7.2.0 до 7.2.1;
    • RSQLite — с версии 2.2.14 до 2.2.15;
    • sass — с версии 0.4.1 до 0.4.2;
    • shiny — с версии 1.7.1 до 1.7.2;
    • stringi — с версии 1.7.6 до 1.7.8;
    • tibble — с версии 3.1.7 до 3.1.8;
    • tidyverse — с версии 1.3.1 до 1.3.2;
    • timeDate — с версии 3043.102 до 4021.104;
    • xfun — с версии 0.31 до 0.32.
  • Обновленные библиотеки Java:
    • org.apache.orc.orc-core, с версии 1.7.4 до 1.7.5;
    • org.apache.orc.orc-mapreduce, с версии 1.7.4 до 1.7.5;
    • org.apache.orc.orc-shims, с версии 1.7.4 до 1.7.5.

Apache Spark

Databricks Runtime 11.2 включает Apache Spark 3.3.0. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 11.1 (неподдерживаемые), а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

  • [SPARK-40151] [WARMFIX][SC-109002][SC-108809][SQL] Возвращает более широкие типы интервалов ANSI из функций процентиля
  • [SPARK-40054] [SQL] Восстановление синтаксиса обработки ошибок try_cast()
  • [SPARK-39489] [CORE] Повышение эффективности ведения журнала событий JsonProtocol благодаря использованию Jackson вместо Json4s
  • [SPARK-39319] [CORE][SQL] Создание контекстов запросов в составе SparkThrowable
  • [SPARK-40085] [SQL] Использование класса ошибок INTERNAL_ERROR вместо IllegalStateException для указания ошибок
  • [SPARK-40001] [SQL] Запись NULL в столбцы JSON DEFAULT приводит к записи значения NULL в хранилище
  • [SPARK-39635] [SQL] Поддержка метрик драйверов в пользовательском API метрик DS версии 2
  • [SPARK-39184] [SQL] Обработка результирующего массива меньшего размера в последовательностях дат и меток времени
  • [SPARK-40019] [SQL] Рефакторинг комментария ArrayType containsNull и рефакторинг логики непонимания в выражении collectionOperator о containsNull
  • [SPARK-39989] [SQL] Поддержка статистики столбцов оценки, если она является свертываемым выражением
  • [SPARK-39926] [SQL] Исправление ошибки поддержке столбца по умолчанию для невекторизованных проверок Parquet
  • [SPARK-40052] [SQL] Обработка прямых буферов байтов в VectorizedDeltaBinaryPackedReader
  • [SPARK-40044] [SQL] Исправление типа целевого интервала в ошибках переполнения во время приведения
  • [SPARK-39835] [SQL] Исправление ошибки, связанной с удалением RemoveSorts глобальной сортировки под локальной сортировкой
  • [SPARK-40002] [SQL] Не сжимайте ограничение через окно с помощью ntile
  • [SPARK-39976] [SQL] ArrayIntersect должен правильно обрабатывать значение NULL в левом выражении
  • [SPARK-39985] [SQL] Включение неявных значений столбцов по умолчанию во вставках из кадров данных
  • [SPARK-39776] [SQL] Подробная строка JOIN должна добавить тип соединения
  • [SPARK-38901] [SQL] DS V2 поддерживает принудительную отправку прочих функций
  • [SPARK-40028] [SQL][продолжение] Улучшение примеров строковых функций
  • [SPARK-39983] [CORE][SQL] Не следует кэшировать несериализированные отношения широковещательной рассылки в драйвере
  • [SPARK-39812] [SQL] Упрощение кода, которое создает AggregateExpression с toAggregateExpression
  • [SPARK-40028] [SQL] Добавление примеров с двоичными данными для строковых выражений
  • [SPARK-39981] [SQL] Отображение исключения QueryExecutionErrors.castingCauseOverflowErrorInTableInsert в Cast
  • [SPARK-40007] [PYTHON][SQL] Добавление параметра режима в функции
  • [SPARK-40008] [SQL] Поддержка приведения целочисленных значений к интервалам ANSI
  • [SPARK-40003] [PYTHON][SQL] Добавление параметра медианы в функции
  • [SPARK-39952] [SQL] Команда SaveIntoDataSourceCommand должна повторно кэшировать отношение результата
  • [SPARK-39951] [SQL] Обновление проверки столбца Parquet версии 2 для вложенных полей
  • [SPARK-33236] [shuffle] Бэкпорт для DBR 11.x: включение службы перетасовки на основе push-уведомлений для сохранения состояния в базе данных на уровне NM, чтобы иметь возможность продолжить работу при перезапуске
  • [SPARK-39836] [SQL] Упрощение V2ExpressionBuilder путем извлечения общего метода.
  • [SPARK-39873] [SQL] Удалите OptimizeLimitZero и объедините его в EliminateLimits
  • [SPARK-39961] [SQL] Сдвиг DS V2 преобразует Cast, если приведение является безопасным
  • [SPARK-39872] [SQL] Изменение, связанное с использовании BytePackerForLong#unpack8Values с API ввода массива в VectorizedDeltaBinaryPackedReader
  • [SPARK-39858] [SQL] Удаление ненужных AliasHelper или PredicateHelper для некоторых правил
  • [SPARK-39900] [SQL] Обработка частичного или отрицаемого условия в pushdown предиката двоичного формата
  • [SPARK-39904] [SQL] Переименование inferDate в prefersDate, а также пояснение семантики параметра в источнике данных CSV
  • [SPARK-39958] [SQL] Добавление журнала предупреждений, если не удается загрузить пользовательский объект метрики
  • [SPARK-39932] [SQL] WindowExec должен очищать буфер последнего раздела
  • [SPARK-37194] [SQL] Исключение ненужной сортировки при выполнении записи версии 1, если это не динамический раздел
  • [SPARK-39902] [SQL] Добавление сведений о сканировании в узел сканирования плана Spark в SparkUI
  • [SPARK-39865] [SQL] Отображение правильных сообщений при ошибках переполнения во время вставки таблицы
  • [SPARK-39940] [SS] Обновление таблицы каталога при потоковом запросе с указанием приемника DSv1
  • [SPARK-39827] [SQL] Использования класса ошибок ARITHMETIC_OVERFLOW при переполнении int в add_months()
  • [SPARK-39914] [SQL] Добавление фильтра DS версии 2 в преобразование фильтра версии 1
  • [SPARK-39857] [SQL] Ручной бэкпорт DBR 11.x; V2ExpressionBuilder использует неправильный тип данных LiteralValue для предиката In 43454
  • [SPARK-39840] [SQL][PYTHON] Исключение PythonArrowInput для симметрии с PythonArrowOutput
  • [SPARK-39651] [SQL] Условие фильтра очистки, если сравнение с rand является детерминированным
  • [SPARK-39877] [PYTHON] Добавление unpivot в API DataFrame PySpark
  • [SPARK-39909] [SQL] Упорядочение проверки сведений об отправке для JDBCV2Suite
  • [SPARK-39834] [SQL][SS] Включение статистики и ограничений по источнику для LogicalRDD, если он поступает из кадра данных
  • [SPARK-39849] [SQL] Dataset.as(StructType) заполняет отсутствующие новые столбцы значением NULL
  • [SPARK-39860] [SQL] Дополнительные выражения должны расширять предикат
  • [SPARK-39823] [SQL][PYTHON] Переименование Dataset.as как Dataset.to и добавление DataFrame.to в PySpark
  • [SPARK-39918] [SQL][MINOR] Замена слов "несопоставимый" на "несовместимый" в сообщении об ошибке
  • [SPARK-39857] [SQL][3.3] V2ExpressionBuilder использует неправильный тип данных LiteralValue для предиката In
  • [SPARK-39862] [SQL] Ручной бэкпорт для PR 43654, указывающий на DBR 11.x: обновите SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS, чтобы разрешить/запретить команды ALTER TABLE … ADD COLUMN отдельно.
  • [SPARK-39844] [SQL] Ручной бэкпорт для PR 43652, указывающий на DBR 11.x
  • [SPARK-39899] [SQL] Исправление передачи параметров сообщения в InvalidUDFClassException
  • [SPARK-39890] [SQL] Обеспечение наследования в TakeOrderedAndProjectExec из AliasAwareOutputOrdering
  • [SPARK-39809] [PYTHON] Поддержка CharType в PySpark
  • [SPARK-38864] [SQL] Добавление отмены свертывания и изменения формата в набор данных
  • [SPARK-39864] [SQL] Медленная регистрация ExecutionListenerBus
  • [SPARK-39808] [SQL] Поддержка режима агрегатной функции
  • [SPARK-39875] [SQL] Изменение метода protected в последнем классе на private или package-visible
  • [SPARK-39731] [SQL] Исправлена проблема в источниках данных CSV и JSON при синтаксическом анализе дат в формате "yyyyMdd" с помощью исправленной политики синтаксического анализа времени
  • [SPARK-39805] [SS] Прекращение использования Trigger.Once и Promote Trigger.AvailableNow
  • [SPARK-39784] [SQL] Размещение литеральные значения справа от фильтра источника данных после преобразования выражения Catalyst в фильтр источника данных
  • [SPARK-39672] [SQL][3.1] Исправление удаления проекта перед фильтрацией с помощью связанного вложенного запроса
  • [SPARK-39552] [SQL] Унификация версий 1 и 2 DESCRIBE TABLE
  • [SPARK-39810] [SQL] Проверка Catalog.tableExists должна обрабатывать вложенное пространство имен
  • [SPARK-37287] [SQL] Извлечение динамического раздела и сортировки контейнеров из FileFormatWriter
  • [SPARK-39469] [SQL] Вывод типа даты для вывода схемы CSV
  • [SPARK-39148] [SQL] Агрегатная отправка DS версии 2 может работать с OFFSET или LIMIT
  • [SPARK-39818] [SQL] Исправление ошибки в типах ARRAY, STRUCT, MAP со значениями DEFAULT с полями NULL
  • [SPARK-39792] [SQL] Добавление DecimalDivideWithOverflowCheck для десятичного среднего
  • [SPARK-39798] [SQL] Замена toSeq.toArray на .toArray[Any] в конструкторе GenericArrayData
  • [SPARK-39759] [SQL] Реализация listIndexes в JDBC (диалект H2)
  • [SPARK-39385] [SQL] Поддерживает отправку REGR_AVGX и REGR_AVGY
  • [SPARK-39787] [SQL] Используйте класс error при ошибке синтаксического анализа функции to_timestamp
  • [SPARK-39760] [PYTHON] Поддержка Varchar в PySpark
  • [SPARK-39557] [SQL] Ручной бэкпорт для DBR 11.x: поддержка типов ARRAY, STRUCT, MAP в качестве значений по умолчанию
  • [SPARK-39758] [SQL][3.3] Исправление NPE из функций regexp для недопустимых шаблонов
  • [SPARK-39749] [SQL] Режим SQL ANSI: использование простого строкового представления при приведении десятичного числа к строке
  • [SPARK-39704] [SQL] Реализация createIndex и dropIndex & indexExists в JDBC (диалект H2)
  • [SPARK-39803] [SQL] Использование LevenshteinDistance вместо StringUtils.getLevenshteinDistance
  • [SPARK-39339] [SQL] Поддержка типа TimestampNTZ в источнике файлов JDBC
  • [SPARK-39781] [SS] Добавление поддержки для предоставления max_open_files поставщику хранилища состояний rocksdb
  • [SPARK-39719] [R] Реализация databaseExists/getDatabase в SparkR поддерживает пространство имен 3L
  • [SPARK-39751] [SQL] Переименование метрики hash aggregate key probes
  • [SPARK-39772] [SQL] пространство имен должно иметь значение NULL, если база данных имеет значение NULL в старых конструкторах
  • [SPARK-39625] [SPARK-38904][SQL] Добавление Dataset.as(StructType)
  • [SPARK-39384] [SQL] Компиляция встроенных агрегатных функций линейной регрессии для диалекта JDBC
  • [SPARK-39720] [R] Реализация tableExists/getTable в SparkR для пространства имен 3L
  • [SPARK-39744] [SQL] Добавление функции REGEXP_INSTR
  • [SPARK-39716] [R] Обеспечение поддержки пространства имен 3L в currentDatabase/setCurrentDatabase/listCatalogs в SparkR
  • [SPARK-39788] [SQL] Переименование catalogName в dialectName для JdbcUtils
  • [SPARK-39647] [CORE] Регистрация исполнителя с ESS перед регистрацией BlockManager
  • [SPARK-39754] [CORE][SQL] Удаление неиспользуемых import или ненужных {}
  • [SPARK-39706] [SQL] Задание отсутствующего столбца со значением defaultValue в качестве константы в ParquetColumnVector
  • [SPARK-39699] [SQL] Более эффективная обработка выражений создания коллекций в CollapseProject
  • [SPARK-39737] [SQL] PERCENTILE_CONT и PERCENTILE_DISC должны поддерживать агрегатный фильтр
  • [SPARK-39579] [SQL][PYTHON][R] Обеспечение совместимости ListFunctions/getFunction/functionExists с пространством имен уровня 3
  • [SPARK-39627] [SQL] При передаче JDBC версии 2 должен всегда использоваться API компиляции
  • [SPARK-39748] [SQL][SS] Включение логического плана источника для LogicalRDD, если он поступает из кадра данных
  • [SPARK-39385] [SQL] Преобразование агрегатных функций линейной регрессии для передачи
  • [SPARK-39695] [SQL] Добавление функции REGEXP_SUBSTR
  • [SPARK-39667] [SQL] Добавление еще одного решения, если недостаточно памяти для сборки и передачи таблицы
  • [SPARK-39666] [ES-337834][SQL] Использование UnsafeProjection.create для учета spark.sql.codegen.factoryMode в ExpressionEncoder
  • [SPARK-39643] [SQL] Запрет выражений вложенных запросов в значениях DEFAULT
  • [SPARK-38647] [SQL] Добавление смеси SupportsReportOrdering в интерфейсе для сканирования (DataSourceV2)
  • [SPARK-39497] [SQL] Улучшение обработки исключений при анализе при отсутствующем ключевом столбце сопоставления
  • [SPARK-39661] [SQL] Исключение создания ненужного средства ведения журнала SLF4J
  • [SPARK-39713] [SQL] Режим ANSI: добавление предложения использования try_element_at для исправления ошибки INVALID_ARRAY_INDEX
  • [SPARK-38899] [SQL] DS V2 поддерживает отправку функций datetime
  • [SPARK-39638] [SQL] Изменение, связанное с использованием ConstantColumnVector для хранения столбцов разделов в OrcColumnarBatchReader
  • [SPARK-39653] [SQL] Очистка ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int) из ColumnVectorUtils
  • [SPARK-39231] [SQL] Использование ConstantColumnVector вместо On/OffHeapColumnVector для хранения столбцов разделов в VectorizedParquetRecordReader
  • [SPARK-39547] [SQL] V2SessionCatalog не должен вызывать исключение NoSuchDatabaseException в loadNamspaceMetadata
  • [SPARK-39447] [SQL] Не следует использовать AssertionError в AdaptiveSparkPlanExec.doExecuteBroadcast
  • [SPARK-39492] [SQL] Переработка MISSING_COLUMN
  • [SPARK-39679] [SQL] TakeOrderedAndProjectExec должен учитывать порядок дочерних выходных данных
  • [SPARK-39606] [SQL] Использование дочерней статистики для оценки оператора упорядочения
  • [SPARK-39611] [PYTHON][PS] Исправление неправильных псевдонимов в array_ufunc
  • [SPARK-39656] [SQL][3.3] Исправление неправильного пространства имен в DescribeNamespaceExec
  • [SPARK-39675] [SQL] Переключение конфигурации spark.sql.codegen.factoryMode для тестирования на конфигурацию для внутреннего использования
  • [SPARK-39139] [SQL] DS V2 поддерживает отправку DS V2 UDF
  • [SPARK-39434] [SQL] Предоставление контекста запроса для ошибки среды выполнения при выходе индекса за границы массива
  • [SPARK-39479] [SQL] DS V2 поддерживает передачу математических функций (не ANSI)
  • [SPARK-39618] [SQL] Добавление функции REGEXP_COUNT
  • [SPARK-39553] [CORE] Отмена регистрации нескольких потоков не должна приводить к NPE при использовании Scala 2.13
  • [SPARK-38755] [PYTHON][3.3] Добавление файла для решения проблемы отсутствующих общих функций pandas
  • [SPARK-39444] [SQL] Добавление OptimizeSubqueries в список nonExcludableRules
  • [SPARK-39316] [SQL] Объединение PromotePrecision и CheckOverflow в двоичную арифметику с десятичными числами
  • [SPARK-39505] [UI] Содержимое журнала Escape, отображаемое в пользовательском интерфейсе
  • [SPARK-39448] [SQL] Добавить ReplaceCTERefWithRepartition в список nonExcludableRules
  • [SPARK-37961] [SQL] Переопределение maxRows/maxRowsPerPartition для некоторых логических операторов
  • [SPARK-35223] Отмена добавления IssueNavigationLink
  • [SPARK-39633] [SQL] Поддержка метки времени в секундах для TimeTravel с помощью параметров кадра данных
  • [SPARK-38796] [SQL] Обновление документации по строкам числового формата с помощью функций {try_}to_number
  • [SPARK-39650] [SS] Исправление неправильной схемы значений при дедупликации потоковой передачи с обратной совместимостью
  • [SPARK-39636] [CORE][UI] Исправление нескольких ошибок в JsonProtocol, которые влияют на операции StorageLevels и task/Executor ResourceRequests, выполняемые вне кучи
  • [SPARK-39432] [SQL] Возврат ELEMENT_AT_BY_INDEX_ZERO из element_at(*, 0)
  • [SPARK-39349] Добавление централизованного метода CheckError для проверки ошибочного пути
  • [SPARK-39453] [SQL] DS версии 2 поддерживает передачу различных неагрегатных функций (не ANSI)
  • [SPARK-38978] [SQL] DS V2 поддерживает оператор OFFSET передачи
  • [SPARK-39567] [SQL] Поддержка интервалов ANSI в функциях с процентилями
  • [SPARK-39383] [SQL] Поддержка столбцов DEFAULT в ALTER TABLE ALTER COLUMNS в источниках данных версии 2
  • [SPARK-39396] [SQL] Исправление исключение входа LDAP "код ошибки 49 — недопустимые учетные данные"
  • [SPARK-39548] [SQL] Команда CreateView с запросом предложения окна привела к неверной ошибке "определение окна не найдено"
  • [SPARK-39575] [AVRO] Добавление ByteBuffer#rewind после ByteBuffer#get в Avr…
  • [SPARK-39543] Параметр DataFrameWriterV2 должен передаваться в свойства хранилища в случае отката к версии 1
  • [SPARK-39564] [SS] Предоставление информации из таблицы каталогов в логический план в потоковом запросе
  • [SPARK-39582] [SQL] Исправление маркера "Since" для array_agg
  • [SPARK-39388] [SQL] Повторное использование orcSchema при отправке предикатов Orc
  • [SPARK-39511] [SQL] Улучшение локального ограничения передачи 1 для правой части левого полу-/антисоедиенния, если условие объединения пустое
  • [SPARK-38614] [SQL] Не следует передавать ограничение через окно, использующее percent_rank
  • [SPARK-39551] [SQL] Добавление проверки недопустимого плана AQE
  • [SPARK-39383] [SQL] Поддержка столбцов DEFAULT в ALTER TABLE ADD COLUMNS в источниках данных версии 2
  • [SPARK-39538] [SQL] Исключение создания ненужного средства ведения журнала SLF4J
  • [SPARK-39383] [SQL] Ручной бэкпорт для DBR 11.x: рефакторинг поддержки столбца DEFAULT для пропуска основного анализатора
  • [SPARK-39397] [SQL] Освобождение AliasAwareOutputExpression для поддержки псевдонима с выражением
  • [SPARK-39496] [SQL] Обработка конструкции null в Inline.eval
  • [SPARK-39545] [SQL] Изменение метода concat для ExpressionSet в Scala 2.13 с целью повышения производительности
  • [SPARK-39340] [SQL] Агрегатная передача DS v2 должна разрешать наличие точек в имени столбцов верхнего уровня
  • [SPARK-39488] [SQL] Упрощение обработки ошибок TempResolvedColumn
  • [SPARK-38846] [SQL] Добавление явного сопоставления данных между числовым типом Teradata и десятичным типом Spark
  • [SPARK-39520] [SQL] Переопределение метода -- для ExpressionSet в Scala 2.13
  • [SPARK-39470] [SQL] Поддержка приведения интервалов ANSI к десятичным числам
  • [SPARK-39477] [SQL] Удаление информации о количестве запросов из золотых файлов SQLQueryTestSuite
  • [SPARK-39419] [SQL] Исправление ошибке, приводящей к возникновению исключения ArraySort, когда блок сравнения возвращает значение NULL
  • [SPARK-39061] [SQL] Правильная настройка допустимого значения NULL для выходных атрибутов Inline
  • [SPARK-39320] [SQL] Поддержка агрегатной функции MEDIAN
  • [SPARK-39261] [CORE] Улучшение форматирования новой строки для сообщений об ошибках
  • [SPARK-39355] [SQL] Один столбец использует кавычки для создания UnresolvedAttribute
  • [SPARK-39351] [SQL] Команда SHOW CREATE TABLE должна формулировать свойства
  • [SPARK-37623] [SQL] Поддержка агрегатной функции ANSI: regr_intercept
  • [SPARK-39374] [SQL] Улучшение сообщения об ошибке для списка указанных пользователем столбцов
  • [SPARK-39255] [SQL][3.3] Улучшение сообщений об ошибках
  • [SPARK-39321] [SQL] Рефакторинг TryCast для использования RuntimeReplaceable
  • [SPARK-39406] [PYTHON] Принятие массива NumPy в createDataFrame
  • [SPARK-39267] [SQL] Очистка ненужного символа dsl
  • [SPARK-39171] [SQL] Унификация выражения приведения
  • [SPARK-28330] [SQL] Поддержка ANSI SQL: предложение смещения результатов в выражении запроса
  • [SPARK-39203] [SQL] Переопределение расположения таблицы на абсолютный URI на основе URI базы данных
  • [SPARK-39313] [SQL] toCatalystOrdering должен выдавать ошибку, если невозможно преобразовать V2Expression
  • [SPARK-39301] [SQL][PYTHON] Использование localRelation и учет размера пакета Arrow в createDataFrame с оптимизацией Arrow
  • [SPARK-39400] [SQL] spark-sql должен удалить dir ресурса Hive во всех случаях

Обновления в рамках обслуживания

Ознакомьтесь с обновлениями обслуживания Databricks Runtime 11.2.

Системная среда

  • Операционная система: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14.
  • Python: 3.9.5
  • R: 4.1.3.
  • Delta Lake: 2.1.0

Установленные библиотеки Python

Библиотека Версия Библиотека Версия Библиотека Версия
Antergos Linux 2015.10 (ISO-Rolling) argon2-cffi 20.1.0 async-generator 1,10
attrs 21.2.0 backcall 0.2.0 backports.entry-points-selectable 1.1.1
black 22.3.0 bleach 4.0.0 boto3 1.21.18
botocore 1.24.18 certifi 2021.10.8 cffi 1.14.6
chardet 4.0.0 charset-normalizer 2.0.4 щелчок 8.0.3
Криптографии 3.4.8 cycler 0.10.0 Cython 0.29.24
dbus-python 1.2.16 debugpy 1.4.1 decorator 5.1.0
defusedxml 0.7.1 distlib 0.3.5 distro-info 0.23ubuntu1
entrypoints 0,3 facets-overview 1.0.0 filelock 3.8.0
idna 3.2 ipykernel 6.12.1 ipython 7.32.0
ipython-genutils 0.2.0 ipywidgets 7.7.0 jedi 0.18.0
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.0.1
jsonschema 3.2.0 jupyter-client 6.1.12 jupyter-core 4.8.1
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 kiwisolver 1.3.1
MarkupSafe 2.0.1 matplotlib 3.4.3 matplotlib-inline 0.1.2
mistune 0.8.4 mypy-extensions 0.4.3 nbclient 0.5.3
nbconvert 6.1.0 nbformat 5.1.3 nest-asyncio 1.5.1
записная книжка 6.4.5 numpy 1.20.3 во внешнем виде 21,0
pandas 1.3.4 pandocfilters 1.4.3 parso 0.8.2
pathspec 0.9.0 patsy 0.5.2 pexpect 4.8.0
pickleshare 0.7.5 Pillow 8.4.0 pip 21.2.4
platformdirs 2.5.2 график 5.9.0 prometheus-client 0.11.0
prompt-toolkit 3.0.20 protobuf 4.21.5 psutil 5.8.0
psycopg2 2.9.3 ptyprocess 0.7.0 pyarrow 7.0.0
pycparser 2,20 Pygments 2.10.0 PyGObject 3.36.0
pyodbc 4.0.31 pyparsing 3.0.4 pyrsistent 0.18.0
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.2 pytz 2021.3
pyzmq 22.2.1 requests 2.26.0 requests-unixsocket 0.2.0
s3transfer 0.5.2 scikit-learn 0.24.2 scipy 1.7.1
Сиборн 0.11.2 Send2Trash 1.8.0 setuptools 58.0.4
six 1.16.0 ssh-import-id 5,10 statsmodels 0.12.2
tenacity 8.0.1 terminado 0.9.4 testpath 0.5.0
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tomli 2.0.1
tornado 6.1 traitlets 5.1.0 typing-extensions 3.10.0.2
unattended-upgrades 0,1 urllib3 1.26.7 virtualenv 20.8.0
wcwidth 0.2.5 webencodings 0.5.1 wheel 0.37.0
widgetsnbextension 3.6.0

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка Microsoft CRAN от 15.08.2022.

Библиотека Версия Библиотека Версия Библиотека Версия
askpass 1,1 assertthat 0.2.1 внутренние порты 1.4.1
base 4.1.3 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 большой двоичный объект 1.2.3 загрузка 1.3-28
Заваривать 1.0-7 brio 1.1.3 Метлу 1.0.0
bslib 0.4.0 cachem 1.0.6 вызывающий объект 3.7.1
крышка 6.0-93 cellranger 1.1.0 chron 2.3-57
class 7.3-20 cli 3.3.0 clipr 0.8.0
cluster 2.1.3 codetools 0.2-18 colorspace 2.0-3
commonmark 1.8.0 компилятор 4.1.3 config 0.3.1
cpp11 0.4.2 Карандаш 1.5.1 учетные данные 1.3.2
curl 4.3.2 data.table 1.14.2 наборы данных 4.1.3
DBI 1.1.3 dbplyr 2.2.1 desc 1.4.1
средства разработки 2.4.4 diffobj 0.3.5 digest 0.6.29
downlit 0.4.2 dplyr 1.0.9 dtplyr 1.2.1
e1071 1.7-11 многоточие 0.3.2 evaluate 0,16
вентиляторы 1.0.3 Farver 2.1.1 fastmap 1.1.0
fontawesome 0.3.0 forcats 0.5.1 foreach 1.5.2
Иностранных 0.8-82 forge 0.2.0 fs 1.5.2
будущее 1.27.0 future.apply 1.9.0 gargle 1.2.0
Универсальные шаблоны 0.1.3 gert 1.7.0 ggplot2 3.3.6
gh 1.3.0 gitcreds 0.1.1 glmnet 4.1-4
globals 0.16.0 Клей 1.6.2 googledrive 2.0.0
googlesheets4 1.0.1 Говер 1.0.0 графика 4.1.3
grDevices 4.1.3 grid 4.1.3 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 hardhat 1.2.0
haven 2.5.0 высокий 0,9 Hms 1.1.1
htmltools 0.5.3 htmlwidgets 1.5.4 httpuv 1.6.5
httr 1.4.3 ids 1.0.1 ini 0.3.1
ipred 0.9-13 isoband 0.2.5 Итераторы 1.0.14
jquerylib 0.1.4 jsonlite 1.8.0 KernSmooth 2.23-20
трикотажный 1,39 Маркировки 0.4.2 later 1.3.0
Решетки 0.20-45 Lava 1.6.10 жизненный цикл 1.0.1
listenv 0.8.0 lubridate 1.8.0 magrittr 2.0.3
Markdown 1,1 МАССАЧУСЕТС 7.3-56 «Матрица» 1.4-1
memoise 2.0.1 оплаты 4.1.3 mgcv 1.8-40
Mime 0,12 miniUI 0.1.1.1 ModelMetrics 1.2.2.2
modelr 0.1.8 munsell 0.5.0 nlme 3.1-157
nnet 7.3-17 numDeriv 2016.8-1.1 openssl 2.0.2
parallel 4.1.3 parallelly 1.32.1 Столб 1.8.0
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgdown 2.0.6
pkgload 1.3.0 plogr 0.2.0 plyr 1.8.7
Похвалы 1.0.0 prettyunits 1.1.1 Proc 1.18.0
processx 3.7.0 prodlim 2019.11.13 profvis 0.3.7
Ход выполнения 1.2.2 progressr 0.10.1 promises 1.2.0.1
proto 1.0.0 proxy 0.4-27 ps 1.7.1
purrr 0.3.4 r2d3 0.2.6 R6 2.5.1
ragg 1.2.2 randomForest 4.7-1.1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-3 Rcpp 1.0.9
RcppEigen 0.3.3.9.2 readr 2.1.2 readxl 1.4.0
Рецепты 1.0.1 Реванш 1.0.1 rematch2 2.1.2
remotes 2.4.2 reprex 2.0.1 reshape2 1.4.4
rlang 1.0.4 rmarkdown 2,14 RODBC 1.3-19
roxygen2 7.2.1 rpart 4.1.16 rprojroot 2.0.3
Rserve 1.8-11 RSQLite 2.2.15 rstudioapi 0,13
rversions 2.1.1 rvest 1.0.2 sass 0.4.2
Весы 1.2.0 селектор 0.4-2 sessioninfo 1.2.2
Формы 1.4.6 Блестящие 1.7.2 sourcetools 0.1.7
sparklyr 1.7.7 SparkR 3.3.0 пространственный 7.3-11
Сплайны 4.1.3 sqldf 0.4-11 SQUAREM 2021.1
stats 4.1.3 статистика4 4.1.3 stringi 1.7.8
stringr 1.4.0 Выживания 3.2-13 sys 3,4
systemfonts 1.0.4 tcltk 4.1.3 testthat 3.1.4
textshaping 0.3.6 tibble 3.1.8 tidyr 1.2.0
tidyselect 1.1.2 tidyverse 1.3.2 TimeDate 4021.104
tinytex 0,40 средства 4.1.3 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.2
служебные программы 4.1.3 uuid 1.1-0 vctrs 0.4.1
viridisLite 0.4.0 vroom 1.5.7 waldo 0.4.0
виски 0,4 withr 2.5.0 xfun 0,32
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
Yaml 2.3.5 zip 2.2.0

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)

ИД группы Идентификатор артефакта Версия
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics потоковая передача 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1–0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.13.3
com.fasterxml.jackson.core jackson-core 2.13.3
com.fasterxml.jackson.core jackson-databind 2.13.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.3
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.3
com.fasterxml.jackson.module jackson-module-paranamer 2.13.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.3
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natives 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java-natives 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger профилировщик 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1,1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hadoop3 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.5.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Коллектор 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
mvn hadoop3 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.2
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.14
net.snowflake spark-snowflake_2.12 2.10.0-spark_3.2
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4,8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow arrow-vector 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4.
org.apache.commons commons-compress 1,21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1,9
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.2-databricks
org.apache.hadoop hadoop-client-runtime 3.3.2
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy ivy 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.17.2
org.apache.logging.log4j log4j-api 2.17.2
org.apache.logging.log4j log4j-core 2.17.2
org.apache.logging.log4j log4j-slf4j-impl 2.17.2
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.5
org.apache.orc orc-mapreduce 1.7.5
org.apache.orc orc-shims 1.7.5
org.apache.parquet parquet-column 1.12.0-databricks-0004
org.apache.parquet parquet-common 1.12.0-databricks-0004
org.apache.parquet parquet-encoding 1.12.0-databricks-0004
org.apache.parquet parquet-format-structures 1.12.0-databricks-0004
org.apache.parquet parquet-hadoop 1.12.0-databricks-0004
org.apache.parquet parquet-jackson 1.12.0-databricks-0004
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4,20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-continuation 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap shims 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark Неиспользуемые 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1