Databricks Runtime 11.2 (EoS)

Замечание

Поддержка этой версии databricks Runtime закончилась. Для получения информации о дате окончания поддержки см. историю окончания поддержки и окончания срока службы. Для всех поддерживаемых версий Databricks Runtime см. заметки о версиях выпуска и совместимости Databricks Runtime.

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 11.2 на платформе Apache Spark 3.3.0. Databricks выпустила эту версию в сентябре 2022 года.

Новые функции и улучшения

Изменение разрешений ALTER TABLE в управляющих элементах доступа к таблицам (ACL таблиц)

Теперь пользователям нужны только MODIFY разрешения, чтобы изменить схему или свойства таблицы с ALTER TABLE. Для предоставления разрешений на таблицу, изменения её владельца или местоположения, а также для переименования по-прежнему требуются права владения. Это изменение приводит модель разрешений для табличных ACL в соответствие с Unity Catalog. См. ALTER TABLE.

Динамическая обрезка для MERGE INTO

При использовании вычислений MERGE INTO с поддержкой Photon теперь используется динамическое удаление файлов и секций при необходимости повышения производительности, например при слиянии небольшой исходной таблицы в большую целевую таблицу.

Улучшенное обнаружение конфликтов в Delta с помощью динамического очистки файлов

При проверке потенциальных конфликтов во время коммитов обнаружение конфликтов теперь учитывает файлы, которые удаляются с помощью динамической очистки файлов, но не могли бы быть удалены статическими фильтрами. Это приводит к уменьшению числа неудачных транзакций.

Новая карточка "Интеграции с открытым кодом" на домашних страницах DSE/SQL

Знакомьтесь с новой карточкой «Открытые Интеграции» на главной странице DSE/SQL, которая отображает варианты интеграций, таких как DLT и dbt core.

улучшения обнаружения секций CONVERT TO DELTA

CONVERT TO DELTA автоматически выводит схему секций для таблиц Parquet, зарегистрированных в хранилище метаданных Hive или каталоге Unity, устраняя необходимость предоставления предложения PARTITIONED BY.

CONVERT TO DELTA использует сведения о секции из хранилища метаданных для обнаружения файлов для таблицы Parquet вместо перечисления всего базового пути, гарантируя, что удаленные секции не добавляются в таблицу Delta.

См. Преобразование в Delta Lake.

Схемы таблиц теперь поддерживают значения по умолчанию для столбцов

Схемы таблиц теперь поддерживают настройку значений по умолчанию для столбцов. Команды INSERT, UPDATEи DELETE для этих столбцов могут ссылаться на эти значения с помощью ключевого слова DEFAULT. Например, CREATE TABLE t (id INT, data INT DEFAULT 42) USING PARQUET, за которым следует INSERT INTO t VALUES (1, DEFAULT), добавит строку (1, 42). Это поведение поддерживается для источников данных CSV, JSON, Orc и Parquet.

Новые геопространственные функции H3

Теперь можно использовать 28 новых встроенных выражений H3 для геопространственной обработки в кластерах с поддержкой Фотона, доступных в SQL, Scala и Python. См. раздел Геопространственные функции H3.

Новая зависимость Databricks Runtime

Среда выполнения Databricks теперь зависит от библиотеки H3 Java версии 3.7.0.

Использование собственного ключа: шифрование учетных данных Git

Вы можете использовать Azure Key Vault для шифрования личного маркера доступа Git (PAT) или других учетных данных Git.

См. статью "Настройка интеграции Git для папок Git".

SQL: новая агрегатная функция any_value

Новая агрегатная функция any_value возвращает любое случайное значение expr для группы строк. См. агрегатную функцию any_value.

Команды файловой системы Databricks Utilities, разрешенные для дополнительных типов кластеров

Команды dbutils.fs (за исключением команд, связанных с монтированием) теперь разрешены для кластеров с изоляцией пользователей и каталогом Unity, а также для устаревших кластеров со списками управления доступом (ACL) к таблицам, если у пользователя есть разрешения ANY FILE.

Теперь привилегии CREATE можно предоставить в хранилищах метаданных для каталога Unity

CREATE CATALOG, CREATE EXTERNAL LOCATION, CREATE SHARE, CREATE RECIPIENT, и разрешения CREATE PROVIDER теперь могут быть предоставлены в хранилищах метаданных каталога Unity.

Оптимизированные операции записи для несекционированных таблиц в кластерах с поддержкой Photon

Управляемые таблицы каталога Unity теперь автоматически сохраняют файлы правильно настроенного размера из несекционированных таблиц для повышения скорости запросов и оптимизации производительности.

Поддержка Photon для дополнительных источников данных

Photon теперь поддерживает больше источников данных, включая CSV и Avro, а также демонстрирует совместимость с кэшированными кадрами данных. Ранее сканирование этих источников данных означало, что весь запрос не может быть фотонизирован независимо от операторов или выражений запроса. Теперь запросы, которые сканируют эти источники данных, можно обработать с использованием технологии Photon, что позволяет значительно улучшить время отклика и снизить совокупную стоимость владения.

Эта функция включена по умолчанию в конфигурации spark.databricks.photon.photonRowToColumnar.enabled.

Ограничения:

  • Схемы с вложенными типами в этом выпуске не поддерживаются (например, массивы, карты и структуры).
  • Источники ORC, RDD, Kinesis, Kafka и EventHub не поддерживаются в этом выпуске.

SQL: ALTER SHARE теперь поддерживает функцию START VERSION

Теперь команда ALTER SHARE поддерживает START VERSION, что позволяет поставщикам предоставлять общий доступ к данным, начиная с определенной версии таблицы. См. ALTER SHARE.

Обновления библиотек

  • Обновленные библиотеки Python:
    • distlib — с версии 0.3.4 до 0.3.5;
    • filelock — с версии 3.7.1 до 3.8.0;
    • plotly — с версии 5.8.2 до 5.9.0;
    • protobuf — с версии 4.21.2 до 4.21.5.
  • Обновленные библиотеки R:
    • broom — обновление с версии 0.8.0 до 1.0.0
    • bslib — с версии 0.3.1 до 0.4.0;
    • callr — с версии 3.7.0 до 3.7.1;
    • caret — с версии 6.0-92 до 6.0-93;
    • dbplyr — с версии 2.2.0 до 2.2.1;
    • devtools — с версии 2.4.3 до 2.4.4;
    • оценивать с версии 0.15 до 0.16
    • farver — от 2.1.0 до 2.1.1.
    • fontawesome — с версии 0.2.2 до 0.3.0;
    • future — с версии 1.26.1 до 1.27.0;
    • generics переход с версии 0.1.2 на 0.1.3
    • gert — с версии 1.6.0 до 1.7.0;
    • globals обновляется с версии 0.15.1 до 0.16.0.
    • googlesheets4 — с версии 1.0.0 до 1.0.1;
    • hardhat — с версии 1.1.0 до 1.2.0;
    • htmltools — с версии 0.5.2 до 0.5.3;
    • Параллельно с версией 1.32.0 по 1.32.1.
    • pillar — с версии 1.7.0 до 1.8.0;
    • pkgload с версии 1.2.4 до версии 1.3.0
    • processx — с версии 3.6.1 до 3.7.0;
    • Rcpp — с версии 1.0.8.3 до 1.0.9;
    • рецепты — с версии 0.2.0 до 1.0.1
    • rlang — с версии 1.0.2 до 1.0.4;
    • roxygen2 — с версии 7.2.0 до 7.2.1;
    • RSQLite — с версии 2.2.14 до 2.2.15;
    • sass — обновление с версии 0.4.1 до 0.4.2
    • shiny — с версии 1.7.1 до 1.7.2;
    • stringi — от версии 1.7.6 до 1.7.8.
    • tibble: обновление с версии 3.1.7 до 3.1.8
    • tidyverse обновлён с версии 1.3.1 до версии 1.3.2.
    • timeDate с 3043.102 до 4021.104
    • xfun — с версии 0.31 до 0.32.
  • Обновленные библиотеки Java:
    • org.apache.orc.orc-core с 1.7.4 до 1.7.5
    • org.apache.orc.orc-mapreduce с версии 1.7.4 до 1.7.5
    • org.apache.orc.orc-shims с версии 1.7.4 на 1.7.5.

Apache Spark

Databricks Runtime 11.2 включает Apache Spark 3.3.0. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 11.1 (EoS), а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

  • [SPARK-40151] [WARMFIX][sc-109002][SC-108809][sql] Возвращает более широкие типы интервалов ANSI из функций процентиля
  • [SPARK-40054] [SQL] Восстановление синтаксиса обработки ошибок try_cast()
  • [SPARK-39489] [CORE] Повышение эффективности ведения журнала событий JsonProtocol благодаря использованию Jackson вместо Json4s
  • [SPARK-39319] [CORE][sql] Создание контекстов запросов в рамках SparkThrowable
  • [SPARK-40085] [SQL] Использование класса ошибок INTERNAL_ERROR вместо IllegalStateException для указания ошибок
  • [SPARK-40001] [SQL] Сделать так, чтобы запись NULL в столбцы JSON DEFAULT записывала текст 'null' в хранилище.
  • [SPARK-39635] [SQL] Поддержка метрик драйверов в пользовательском API метрик DS версии 2
  • [SPARK-39184] [SQL] Обработка результирующего массива меньшего размера в последовательностях дат и меток времени
  • [SPARK-40019] [SQL] Рефакторинг комментария свойства containsNull типа ArrayType и корректировка логической ошибки в выражении оператора коллекции о containsNull
  • [SPARK-39989] [SQL] Поддержка оценки статистики столбцов, если это выражение является сворачиваемым.
  • [SPARK-39926] [SQL] Исправление ошибки в поддержке столбца по умолчанию для невекторизованных сканирований Parquet
  • [SPARK-40052] [SQL] Обработка прямых буферов байтов в VectorizedDeltaBinaryPackedReader
  • [SPARK-40044] [SQL] Исправление типа целевого интервала в ошибках переполнения при приведении типов
  • [SPARK-39835] [SQL] Исправление ошибки в функции EliminateSorts, связанной с удалением глобальной сортировки под локальной сортировкой.
  • [SPARK-40002] [SQL] Не проталкивайте LIMIT через оконную функцию, используя ntile
  • [SPARK-39976] [SQL] ArrayIntersect должен правильно обрабатывать значение NULL в левом выражении
  • [SPARK-39985] [SQL] Включение неявных значений столбцов по умолчанию во вставках из DataFrame
  • [SPARK-39776] [SQL] JOIN в развернутую строку следует добавить тип соединения
  • [SPARK-38901] [SQL] DS V2 поддерживает уменьшение уровня различных функций
  • [SPARK-40028] [SQL][дополнение] Улучшение примеров строковых функций
  • [SPARK-39983] [CORE][sql] Не кэшировать несериализированные отношения вещания на драйвере
  • [SPARK-39812] [SQL] Упростить код, конструирующий AggregateExpression с toAggregateExpression
  • [SPARK-40028] [SQL] Добавление примеров с двоичными данными для строковых выражений
  • [SPARK-39981] [SQL] Выбросить исключение QueryExecutionErrors.castingCauseOverflowErrorInTableInsert в Cast
  • [SPARK-40007] [PYTHON] [sql] Добавление режима в функции
  • [SPARK-40008] [SQL] Поддержка преобразования целочисленных данных в интервалы ANSI
  • [SPARK-40003] [PYTHON][sql] Добавить «медиану» в функции
  • [SPARK-39952] [SQL] Команда SaveIntoDataSourceCommand должна повторно кэшировать отношение результата
  • [SPARK-39951] [SQL] Обновление проверки столбцов Parquet V2 для вложенных полей
  • [SPARK-33236] [ shuffle] Backport to Databricks Runtime 11.x: включение службы перетасовки на основе push-уведомлений для хранения состояния в базе данных уровня NM для сохранения перезапуска работы
  • [SPARK-39836] [SQL] Упрощение V2ExpressionBuilder путем извлечения общего метода.
  • [SPARK-39873] [SQL] Удалите OptimizeLimitZero и объедините его в EliminateLimits
  • [SPARK-39961] [SQL] DS V2 передает выполнение трансляции Cast, если приведение является безопасным
  • [SPARK-39872] [SQL] Изменение, связанное с использованием BytePackerForLong#unpack8Values с API для ввода массива в VectorizedDeltaBinaryPackedReader
  • [SPARK-39858] [SQL] Удаление ненужных AliasHelper или PredicateHelper для некоторых правил
  • [SPARK-39900] [SQL] Решение частичного или отрицаемого условия в предикативном продвижении двоичного формата
  • [SPARK-39904] [SQL] Переименование inferDate в prefersDate, а также пояснение семантики параметра в источнике данных CSV
  • [SPARK-39958] [SQL] Добавление журнала предупреждений, если не удается загрузить пользовательский объект метрики
  • [SPARK-39932] [SQL] WindowExec должен очищать буфер последнего раздела
  • [SPARK-37194] [SQL] Избегайте ненужной сортировки в записи версии 1, если это не динамический раздел
  • [SPARK-39902] [SQL] Добавление данных о сканировании в узле сканирования плана Spark в SparkUI
  • [SPARK-39865] [SQL] Показывать корректные сообщения об ошибках переполнения при вставке в таблицу
  • [SPARK-39940] [SS] Обновление таблицы каталога при потоковом запросе с использованием приемника DSv1
  • [SPARK-39827] [SQL] Использовать класс ошибок ARITHMETIC_OVERFLOW при переполнении int в add_months()
  • [SPARK-39914] [SQL] Добавление фильтра DS версии 2 в процесс преобразования фильтра версии 1
  • [SPARK-39857] [SQL] Вручную выполняется обратное портирование для Databricks Runtime 11.x; V2ExpressionBuilder использует неправильный тип данных LiteralValue для предиката 'In' #43454
  • [SPARK-39840] [SQL][python] Вынести PythonArrowInput как симметричный элемент для PythonArrowOutput.
  • [SPARK-39651] [SQL] Удалить условие фильтра, если сравнение с rand является детерминированным
  • [SPARK-39877] [PYTHON] Добавить unpivot в API DataFrame PySpark
  • [SPARK-39909] [SQL] Организация проверки информации о передаче вниз для JDBCV2Suite
  • [SPARK-39834] [SQL][ss] Включите статистику и ограничения источника для LogicalRDD, если она поступает из DataFrame
  • [SPARK-39849] [SQL] Dataset.as(StructType) заполняет отсутствующие новые столбцы значением NULL
  • [SPARK-39860] [SQL] Дополнительные выражения должны расширять предикат
  • [SPARK-39823] [SQL][python] Переименовать Dataset.as как Dataset.to и добавить DataFrame.to в PySpark
  • [SPARK-39918] [SQL][незначительный] Замените слово "несравнимым" на "несопоставимым" в сообщении об ошибке
  • [SPARK-39857] [SQL][3.3] V2ExpressionBuilder использует неправильный тип данных LiteralValue для предиката In
  • [SPARK-39862] [SQL] Ручной обратный порт для PR 43654, нацеленный на Databricks Runtime 11.x: обновление SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS для разрешения или запрета ALTER TABLE ... Добавьте команды COLUMN отдельно.
  • [SPARK-39844] [SQL] Ручная обратная портировка для PR 43652, предназначенная для Databricks Runtime 11.x
  • [SPARK-39899] [SQL] Исправление передачи параметров сообщения в InvalidUDFClassException
  • [SPARK-39890] [SQL] Сделать так, чтобы TakeOrderedAndProjectExec наследовал AliasAwareOutputOrdering
  • [SPARK-39809] [PYTHON] Поддержка CharType в PySpark
  • [SPARK-38864] [SQL] Добавление расплосщения / плавления в набор данных
  • [SPARK-39864] [SQL] Медленная регистрация ExecutionListenerBus
  • [SPARK-39808] [SQL] Поддержка режима агрегатной функции
  • [SPARK-39875] [SQL] Изменение метода protected в последнем классе на private или package-visible
  • [SPARK-39731] [SQL] Исправлена проблема в источниках данных CSV и JSON при синтаксическом анализе дат в формате "yyyyMdd" с помощью исправленной политики синтаксического анализа времени
  • [SPARK-39805] [SS] Объявить устаревшим Trigger.Once и продвинуть Trigger.AvailableNow
  • [SPARK-39784] [SQL] Разместите литеральные значения справа от фильтра источника данных после преобразования выражения Catalyst в фильтр источника данных
  • [SPARK-39672] [SQL][3.1] Исправление удаления проекта перед фильтрацией с помощью связанного вложенного запроса
  • [SPARK-39552] [SQL] Унификация версий 1 и 2 DESCRIBE TABLE
  • [SPARK-39810] [SQL] Catalog.tableExists должен обрабатывать вложенное пространство имен
  • [SPARK-37287] [SQL] Извлечение динамического разбиения и сортировки по корзинам из FileFormatWriter
  • [SPARK-39469] [SQL] Вывод типа даты для вывода схемы CSV
  • [SPARK-39148] [SQL] агрегированная отправка DS V2 может работать с OFFSET или LIMIT
  • [SPARK-39818] [SQL] Исправление ошибки в типах ARRAY, STRUCT, MAP со значениями DEFAULT с полями NULL
  • [SPARK-39792] [SQL] Добавьте функцию DecimalDivideWithOverflowCheck для вычисления среднего значения в десятичном формате
  • [SPARK-39798] [SQL] Замена toSeq.toArray на .toArray[Any] в конструкторе GenericArrayData
  • [SPARK-39759] [SQL] Реализация listIndexes в JDBC (диалект H2)
  • [SPARK-39385] [SQL] Поддерживает push down REGR_AVGX и REGR_AVGY
  • [SPARK-39787] [SQL] Используйте класс ошибки при синтаксической ошибке функции to_timestamp
  • [SPARK-39760] [PYTHON] Поддержка Varchar в PySpark
  • [SPARK-39557] [SQL] Ручной перенос в Databricks Runtime 11.x: поддержка типов ARRAY, STRUCT, MAP как значения по умолчанию
  • [SPARK-39758] [SQL][3.3] Устранение ошибки NPE в функциях regexp для недопустимых шаблонов
  • [SPARK-39749] [SQL] Режим SQL ANSI: использование простого строкового представления при приведении десятичного числа к строке
  • [SPARK-39704] [SQL] Реализация createIndex и dropIndex & indexExists в JDBC (диалект H2)
  • [SPARK-39803] [SQL] Использование LevenshteinDistance вместо StringUtils.getLevenshteinDistance
  • [SPARK-39339] [SQL] Поддержка типа TimestampNTZ в источнике файлов JDBC
  • [SPARK-39781] [SS] Добавить поддержку параметра max_open_files для поставщика rocksdb хранилища состояний
  • [SPARK-39719] [R] Реализация databaseExists/getDatabase в SparkR поддерживает пространство имен 3L
  • [SPARK-39751] [SQL] Переименовать метрику ключа хэш-агрегации probes
  • [SPARK-39772] [SQL] пространство имен должно иметь значение NULL, если база данных имеет значение NULL в старых конструкторах
  • [SPARK-39625] [SPARK-38904][sql] Добавить Dataset.as(StructType)
  • [SPARK-39384] [SQL] Компиляция встроенных агрегатных функций линейной регрессии для диалекта JDBC
  • [SPARK-39720] [R] Реализация tableExists/getTable в SparkR для пространства имен 3L
  • [SPARK-39744] [SQL] Добавление функции REGEXP_INSTR
  • [SPARK-39716] [R] Обеспечение поддержки пространства имен 3L в currentDatabase/setCurrentDatabase/listCatalogs в SparkR
  • [SPARK-39788] [SQL] Переименование catalogName в dialectName для JdbcUtils
  • [SPARK-39647] [CORE] Регистрация исполнителя с ESS перед регистрацией BlockManager
  • [SPARK-39754] [CORE][sql] Удалите неиспользуемые import или ненужные {}
  • [SPARK-39706] [SQL] Установить отсутствующий столбец со значением defaultValue в качестве константы в ParquetColumnVector
  • [SPARK-39699] [SQL] Более эффективная обработка выражений создания коллекций в CollapseProject
  • [SPARK-39737] [SQL] PERCENTILE_CONT и PERCENTILE_DISC должны поддерживать агрегатный фильтр
  • [SPARK-39579] [SQL][python][R] Сделать ListFunctions/getFunction/functionExists совместимым с пространством имен уровня 3
  • [SPARK-39627] [SQL] JDBC V2 pushdown должен унифицировать API компиляции
  • [SPARK-39748] [SQL][ss] Включите исходный логический план для LogicalRDD, если он поступает из DataFrame.
  • [SPARK-39385] [SQL] Преобразование агрегатных функций линейной регрессии для применения при оптимизации
  • [SPARK-39695] [SQL] Добавление функции REGEXP_SUBSTR
  • [SPARK-39667] [SQL] Добавление еще одного решения, если недостаточно памяти для сборки и передачи таблицы
  • [SPARK-39666] [ES-337834][sql] Использование UnsafeProjection.create для соблюдения spark.sql.codegen.factoryMode в ExpressionEncoder
  • [SPARK-39643] [SQL] Запрет выражений вложенных запросов в значениях DEFAULT
  • [SPARK-38647] [SQL] Добавление миксина SupportsReportOrdering в интерфейс для сканирования (DataSourceV2)
  • [SPARK-39497] [SQL] Улучшение исключения анализа отсутствующих ключевых столбцов карты
  • [SPARK-39661] [SQL] Исключение создания ненужного средства ведения журнала SLF4J
  • [SPARK-39713] [SQL] Режим ANSI: добавление предложения использования try_element_at для исправления ошибки INVALID_ARRAY_INDEX
  • [SPARK-38899] [SQL] DS V2 поддерживает отправку функций datetime
  • [SPARK-39638] [SQL] Изменение, связанное с использованием ConstantColumnVector для хранения столбцов разделов в OrcColumnarBatchReader
  • [SPARK-39653] [SQL] Очистка ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int) из ColumnVectorUtils
  • [SPARK-39231] [SQL] Использование ConstantColumnVector вместо On/OffHeapColumnVector для хранения столбцов разделов в VectorizedParquetRecordReader
  • [SPARK-39547] [SQL] V2SessionCatalog не должен вызывать исключение NoSuchDatabaseException в loadNamspaceMetadata
  • [SPARK-39447] [SQL] Не следует использовать AssertionError в AdaptiveSparkPlanExec.doExecuteBroadcast
  • [SPARK-39492] [SQL] Изменение MISSING_COLUMN
  • [SPARK-39679] [SQL] TakeOrderedAndProjectExec должен учитывать упорядоченность данных на выходе дочернего процесса
  • [SPARK-39606] [SQL] Использование дочерней статистики для оценки операторов сортировки
  • [SPARK-39611] [PYTHON][ps] Исправлены неправильные псевдонимы в array_ufunc
  • [SPARK-39656] [SQL][3.3] Исправление неправильного пространства имен в DescribeNamespaceExec
  • [SPARK-39675] [SQL] Переключение конфигурации "spark.sql.codegen.factoryMode" с назначения тестирования на внутреннее назначение
  • [SPARK-39139] [SQL] DS V2 поддерживает отправку DS V2 UDF
  • [SPARK-39434] [SQL] Предоставление контекста выполнения запроса при ошибке, связанной с выходом индекса за границы массива.
  • [SPARK-39479] [SQL] DS V2 поддерживает оптимизацию математических функций (не ANSI)
  • [SPARK-39618] [SQL] Добавление функции REGEXP_COUNT
  • [SPARK-39553] [CORE] Отмена регистрации многопоточного перемешивания не должна вызывать NPE при использовании Scala 2.13
  • [SPARK-38755] [PYTHON][3.3] Добавление файла для решения проблемы отсутствующих общих функций pandas
  • [SPARK-39444] [SQL] Добавление OptimizeSubqueries в список nonExcludableRules
  • [SPARK-39316] [SQL] Объединение PromotePrecision и CheckOverflow в двоичную арифметику с десятичными числами
  • [SPARK-39505] [UI] Содержимое журнала Escape, отображаемое в пользовательском интерфейсе
  • [SPARK-39448] [SQL] Добавить ReplaceCTERefWithRepartition в список nonExcludableRules
  • [SPARK-37961] [SQL] Переопределение maxRows/maxRowsPerPartition для некоторых логических операторов
  • [SPARK-35223] Отменить добавление IssueNavigationLink
  • [SPARK-39633] [SQL] Поддержка метки времени в секундах для TimeTravel с помощью параметров кадра данных
  • [SPARK-38796] [SQL] Обновление документации по строкам числового формата с помощью функций {try_}to_number
  • [SPARK-39650] [SS] Исправление неправильной схемы значений при дедупликации потоковой передачи с обратной совместимостью
  • [SPARK-39636] [CORE][ui] Исправьте несколько ошибок в JsonProtocol, влияя на кучи StorageLevels и Task/Executor ResourceRequests
  • [SPARK-39432] [SQL] Возвращает ELEMENT_AT_BY_INDEX_ZERO из element_at(*, 0)
  • [SPARK-39349] Добавление централизованного метода CheckError для проверки ошибочного пути
  • [SPARK-39453] [SQL] DS версии 2 поддерживает передачу различных неагрегатных функций (не ANSI)
  • [SPARK-38978] [SQL] DS V2 поддерживает оператор push down OFFSET
  • [SPARK-39567] [SQL] Поддержка интервалов ANSI в функциях с процентилями
  • [SPARK-39383] [SQL] Поддержка столбцов DEFAULT в ALTER TABLE ALTER COLUMNS для источников данных версии 2
  • [SPARK-39396] [SQL] Исправлено исключение входа LDAP "код ошибки 49 - недопустимые учетные данные"
  • [SPARK-39548] [SQL] Команда CreateView с запросом с клаузой окна столкнулась с ошибкой "определение окна не найдено".
  • [SPARK-39575] [AVRO] Добавление ByteBuffer#rewind после ByteBuffer#get в Avr…
  • [SPARK-39543] Параметр DataFrameWriterV2 должен передаваться в свойства хранилища в случае отката к версии 1
  • [SPARK-39564] [SS] Предоставление информации из таблицы каталогов в логический план в потоковом запросе
  • [SPARK-39582] [SQL] Исправить маркер "Since" для array_agg
  • [SPARK-39388] [SQL] Повторное использование orcSchema при отправке предикатов Orc
  • [SPARK-39511] [SQL] Улучшение механизма опускания локального ограничения 1 для правой части левого полу-/антисоединения при пустом условии объединения
  • [SPARK-38614] [SQL] Не переносите ограничение к окну, использующему percent_rank
  • [SPARK-39551] [SQL] Добавить проверку недопустимого плана AQE
  • [SPARK-39383] [SQL] Добавление поддержки столбцов DEFAULT в ALTER TABLE ADD COLUMNS для источников данных V2
  • [SPARK-39538] [SQL] Исключение создания ненужного средства ведения журнала SLF4J
  • [SPARK-39383] [SQL] Ручной бэкпорт для Databricks Runtime 11.x: перестройка поддержки столбца DEFAULT, чтобы избежать передачи основного анализатора.
  • [SPARK-39397] [SQL] Ослабить "AliasAwareOutputExpression" для поддержки псевдонимов с выражениями
  • [SPARK-39496] [SQL] Обработка конструкции null в Inline.eval
  • [SPARK-39545] [SQL] Изменение метода concat для ExpressionSet в Scala 2.13 с целью повышения производительности
  • [SPARK-39340] [SQL] Агрегатная передача DS v2 должна разрешать наличие точек в имени столбцов верхнего уровня
  • [SPARK-39488] [SQL] Упрощение обработки ошибок TempResolvedColumn
  • [SPARK-38846] [SQL] Добавление явного сопоставления данных между числовым типом Teradata и десятичным типом Spark
  • [SPARK-39520] [SQL] Переопределение метода -- для ExpressionSet в Scala 2.13
  • [SPARK-39470] [SQL] Поддержка приведения интервалов ANSI к десятичным числам
  • [SPARK-39477] [SQL] Удаление информации о количестве запросов из золотых файлов SQLQueryTestSuite
  • [SPARK-39419] [SQL] Исправление ошибке, приводящей к возникновению исключения ArraySort, когда блок сравнения возвращает значение NULL
  • [SPARK-39061] [SQL] Правильная настройка допустимого значения NULL для выходных атрибутов Inline
  • [SPARK-39320] [SQL] Поддержка агрегатной функции MEDIAN
  • [SPARK-39261] [CORE] Улучшение форматирования новой строки для сообщений об ошибках
  • [SPARK-39355] [SQL] Один столбец использует кавычки для создания UnresolvedAttribute
  • [SPARK-39351] [SQL] SHOW CREATE TABLE следует скрыть свойства
  • [SPARK-37623] [SQL] Поддержка агрегатной функции ANSI: regr_intercept
  • [SPARK-39374] [SQL] Улучшение сообщения об ошибке для списка указанных пользователем столбцов
  • [SPARK-39255] [SQL][3.3] Улучшение сообщений об ошибках
  • [SPARK-39321] [SQL] Рефакторинг TryCast для использования RuntimeReplaceable
  • [SPARK-39406] [PYTHON] Принятие массива NumPy в createDataFrame
  • [SPARK-39267] [SQL] Очистка ненужного символа dsl
  • [SPARK-39171] [SQL] Унифицировать выражение приведения
  • [SPARK-28330] [SQL] Поддержка ANSI SQL: условие смещения результатов в выражении запроса
  • [SPARK-39203] [SQL] Переопределение расположения таблицы на абсолютный URI на основе URI базы данных
  • [SPARK-39313] [SQL] toCatalystOrdering должен выдавать ошибку, если невозможно перевести V2Expression
  • [SPARK-39301] [SQL][python] Эффективное использование LocalRelation и учёт размера пакета Arrow в createDataFrame с оптимизацией Arrow
  • [SPARK-39400] [SQL] Spark SQL должен удалить каталог ресурсов Hive в любых случаях.

Технические обновления

См. обновления по техническому обслуживанию Databricks Runtime 11.2.

Системная среда

  • Операционная система: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14.
  • Python: 3.9.5
  • R: 4.1.3
  • Delta Lake: 2.1.0

Установленные библиотеки Python

Библиотека Версия Библиотека Версия Библиотека Версия
Antergos Linux 2015.10 (ISO-Rolling) argon2-cffi 20.1.0 асинхронный генератор 1,10
атрибуты 21.2.0 Обратный вызов 0.2.0 пакет библиотеки backports.entry-points-selectable 1.1.1
черный 22.3.0 отбеливатель 4.0.0 boto3 1.21.18
botocore 1.24.18 сертификат 2021.10.8 cffi 1.14.6
chardet 4.0.0 нормализатор кодировки 2.0.4 click 8.0.3
криптография 3.4.8 велосипедист 0.10.0 Cython 0.29.24
dbus-python 1.2.16 debugpy 1.4.1 декоратор 5.1.0
defusedxml 0.7.1 Дистлиб 0.3.5 информация о дистрибутиве 0.23ubuntu1
точки входа 0,3 Обзор аспектов 1.0.0 файловая блокировка 3.8.0
IDNA 3.2 ipykernel 6.12.1 ipython 7.32.0
ipython-genutils 0.2.0 ipywidgets 7.7.0 jedi 0.18.0
Джинджа2 2.11.3 jmespath 0.10.0 joblib 1.0.1
jsonschema (JSON-схема) 3.2.0 Джупитер-клиент 6.1.12 jupyter-core (ядро Jupyter) 4.8.1
jupyterlab-pygments 0.1.2 jupyterlab-мини-приложения 1.0.0 Кивисолвер 1.3.1
MarkupSafe 2.0.1 matplotlib 3.4.3 матплотлиб-инлайн 0.1.2
Мистун 0.8.4 mypy-extensions (расширения для mypy) 0.4.3 nbclient 0.5.3
Перекодировщик nbconvert 6.1.0 nbformat 5.1.3 nest-asyncio 1.5.1
notebook 6.4.5 numpy (библиотека для работы с массивами и матрицами в Python) 1.20.3 упаковка 21,0
Панды 1.3.4 пандокфильтры 1.4.3 Парсо 0.8.2
спецификация пути 0.9.0 простак 0.5.2 pexpect (библиотека Python для автоматизации взаимодействия с приложениями) 4.8.0
Пиклшэр 0.7.5 Подушка 8.4.0 пит 21.2.4
platformdirs 2.5.2 библиотека Plotly для визуализации данных 5.9.0 prometheus-client 0.11.0
prompt-toolkit (инструментарий подсказок) 3.0.20 protobuf (протобуф) 4.21.5 psutil 5.8.0
psycopg2 2.9.3 ptyprocess 0.7.0 pyarrow 7.0.0
pycparser 2,20 Пигменты 2.10.0 PyGObject 3.36.0
pyodbc 4.0.31 pyparsing (библиотека для синтаксического анализа в Python) 3.0.4 пирсистент 0.18.0
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil (библиотека для работы с датами и временем в Python) 2.8.2 pytz (библиотека Python для работы с часовыми поясами) 2021.3
pyzmq 22.2.1 Запросы 2.26.0 requests-unixsocket 0.2.0
s3transfer 0.5.2 scikit-learn (библиотека машинного обучения) 0.24.2 scipy (библиотека Python) 1.7.1
мореборн 0.11.2 Send2Trash 1.8.0 setuptools (пакет для установки и управления Python-пакетами) 58.0.4
шесть 1.16.0 ssh-import-id 5,10 statsmodels (библиотека Python для статистического моделирования) 0.12.2
упорство 8.0.1 закончено 0.9.4 путь тестирования 0.5.0
Threadpoolctl 2.2.0 токенизация-рт 4.2.1 томли 2.0.1
торнадо 6.1 Трейтлеты 5.1.0 Typing Extensions 3.10.0.2
обновления без вмешательства пользователя 0,1 urllib3 1.26.7 virtualenv 20.8.0
wcwidth (ширина символа в Unicode) 0.2.5 веб-энкодинги 0.5.1 колесо 0.37.0
widgetsnbextension 3.6.0

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка Microsoft CRAN 2022-08-15.

Библиотека Версия Библиотека Версия Библиотека Версия
аскпасс 1.1 утверждать, что 0.2.1 обратные порты 1.4.1
основа 4.1.3 base64enc 0.1-3 кусочек 4.0.4
64-бит 4.0.5 комок 1.2.3 сапог 1.3-28
варить 1.0-7 брио 1.1.3 метла 1.0.0
bslib 0.4.0 кашемир 1.0.6 звонящий 3.7.1
каретка 6.0-93 целлрейнджер 1.1.0 хронометр 2.3-57
класс 7.3-20 интерфейс командной строки (CLI) 3.3.0 клиппер 0.8.0
кластер 2.1.3 codetools 0.2-18 цветовое пространство 2.0-3
коммонмарк 1.8.0 компилятор 4.1.3 config 0.3.1
cpp11 0.4.2 карандаш 1.5.1 credentials 1.3.2
завиток 4.3.2 таблица данных 1.14.2 Наборы данных 4.1.3
DBI 1.1.3 dbplyr 2.2.1 описание 1.4.1
средства разработки 2.4.4 diffobj 0.3.5 дайджест 0.6.29
направленное вниз освещение 0.4.2 dplyr (пакет для обработки данных в R) 1.0.9 dtplyr 1.2.1
e1071 1.7-11 многоточие 0.3.2 оценивать 0,16
поклонники 1.0.3 Цвета 2.1.1 фастмап 1.1.0
fontawesome 0.3.0 Forcats (форкатс) 0.5.1 foreach 1.5.2
иностранный 0.8-82 кузница 0.2.0 fs 1.5.2
будущее 1.27.0 будущее.применить 1.9.0 полоскать горло 1.2.0
Дженерики 0.1.3 Герт 1.7.0 ggplot2 3.3.6
gh 1.3.0 gitcreds 0.1.1 glmnet 4.1-4
глобальные переменные 0.16.0 клей 1.6.2 googledrive 2.0.0
googlesheets4 1.0.1 Говер 1.0.0 графика 4.1.3
grDevices 4.1.3 сеть 4.1.3 gridExtra 2.3
gsubfn 0.7 гтабл 0.3.0 каска 1.2.0
убежище 2.5.0 выше 0,9 HMS 1.1.1
инструменты для HTML 0.5.3 HTML-виджеты 1.5.4 httpuv 1.6.5
httr 1.4.3 удостоверения личности 1.0.1 ini 0.3.1
ипред 0.9-13 изо-лента 0.2.5 Itераторы 1.0.14
jquerylib 0.1.4 jsonlite 1.8.0 KernSmooth 2.23-20
knitr (пакет для динамической генерации отчетов в языке программирования R) 1,39 маркирование 0.4.2 позже 1.3.0
lattice 0.20-45 лава 1.6.10 жизненный цикл 1.0.1
слушай 0.8.0 лубридейт 1.8.0 магриттр 2.0.3
Markdown 1.1 Масса 7.3-56 Матрица 1.4-1
Запоминание 2.0.1 методы 4.1.3 mgcv 1.8-40
mime 0,12 мини-интерфейс 0.1.1.1 ModelMetrics 1.2.2.2
модельер 0.1.8 munsell 0.5.0 nlme 3.1-157
ннейронная сеть 7.3-17 numDeriv 2016.8-1.1 OpenSSL 2.0.2
параллельный 4.1.3 параллельно 1.32.1 столб 1.8.0
пакджбилд 1.3.1 pkgconfig 2.0.3 pkgdown 2.0.6
пкглоад (pkgload) 1.3.0 Плогр 0.2.0 плайр 1.8.7
похвала 1.0.0 prettyunits 1.1.1 pROC 1.18.0
Processx 3.7.0 Prodlim 2019.11.13 profvis 0.3.7
прогресс 1.2.2 progressr 0.10.1 обещания 1.2.0.1
прото 1.0.0 прокси 0.4-27 п.с. 1.7.1
мурлыканье 0.3.4 r2d3 0.2.6 Р6 2.5.1
ragg 1.2.2 randomForest (рандомФорест) 4.7-1.1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-3 Rcpp 1.0.9
RcppEigen 0.3.3.9.2 readr 2.1.2 readxl (пакет для чтения Excel-файлов) 1.4.0
Рецепты 1.0.1 реванш 1.0.1 реванш2 2.1.2
дистанционное управление 2.4.2 репрекс 2.0.1 reshape2 1.4.4
rlang 1.0.4 rmarkdown (инструмент для создания динамических документов в R) 2,14 RODBC 1.3-19
roxygen2 7.2.1 rpart (пакет для построения деревьев решений в языке программирования R) 4.1.16 rprojroot 2.0.3
Rserve (Рcерве) 1.8-11 RSQLite 2.2.15 рстудиоапи 0,13
rversions 2.1.1 Рвест 1.0.2 дерзость 0.4.2
весы 1.2.0 селектор 0.4-2 информация о сессии 1.2.2
форма 1.4.6 блестящий 1.7.2 sourcetools 0.1.7
sparklyr 1.7.7 SparkR 3.3.0 пространственный 7.3-11
Сплайны 4.1.3 SQLDF 0,4-11 SQUAREM январь 2021
статистика 4.1.3 статистика4 4.1.3 стринги 1.7.8
стрингр 1.4.0 выживание 3.2-13 sys 3.4
systemfonts 1.0.4 язык программирования Tcl/Tk 4.1.3 testthat 3.1.4
форматирование текста 0.3.6 Tibble 3.1.8 Тидыр 1.2.0
tidyselect 1.1.2 tidyverse (тайдивёрс) 1.3.2 ТаймДата 4021.104
tinytex 0.40 инструменты 4.1.3 База данных часовых зон (tzdb) 0.3.0
URL-чекер 1.0.1 используйэто 2.1.6 utf8 1.2.2
утилиты 4.1.3 UUID (Универсальный уникальный идентификатор) 1.1-0 vctrs 0.4.1
viridisLite 0.4.0 брррм 1.5.7 Уолдо 0.4.0
волосок 0,4 увядать 2.5.0 xfun 0,32
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
YAML 2.3.5 ZIP-архив 2.2.0

Установленные Java и библиотеки Scala (версия кластера Scala 2.12)

Идентификатор группы Идентификатор артефакта Версия
Антлер Антлер 2.7.7
com.amazonaws Клиент Amazon Kinesis 1.12.0
com.amazonaws aws-java-sdk-autoscaling (автоматическое масштабирование) 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws AWS Java SDK для CloudSearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy (AWS Java SDK для CodeDeploy) 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws Конфигурация SDK для Java от AWS 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-(Data Pipeline) 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing (пакет программного обеспечения для балансировки нагрузки в AWS, написанный на Java) 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder (Java SDK для Elastic Transcoder) 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier (пакет программного обеспечения для работы с Glacier) 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport (пакет для импорта и экспорта данных) 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms (пакет программного обеспечения для работы с AWS KMS) 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws AWS Java SDK для машинного обучения 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws AWS Java SDK для RDS 1.12.189
com.amazonaws AWS Java SDK для Redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm (AWS SDK для Java — SSM модуль) 1.12.189
com.amazonaws AWS Java SDK для Storage Gateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws Поддержка AWS Java SDK 1.12.189
com.amazonaws aws-java-sdk-swf библиотеки 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics поток 2.9.6
com.databricks Rserve (Рcерве) 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware криогенное затенение 4.0.2
com.esotericsoftware минлог 1.3.0
com.fasterxml одноклассник 1.3.4
com.fasterxml.jackson.core аннотации Джексона 2.13.3
com.fasterxml.jackson.core джексон-ядро 2.13.3
com.fasterxml.jackson.core джексон-databind 2.13.3
com.fasterxml.jackson.dataformat Джексон-формат-данных-CBOR 2.13.3
com.fasterxml.jackson.datatype джексон-дейтайп-джода 2.13.3
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.3
com.fasterxml.jackson.module джексон-модуль-паранэймер 2.13.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.3
com.github.ben-manes.caffeine кофеин 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib ядро 1.1.2
com.github.fommil.netlib нативная_ссылка-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib Нативная_система-java 1.1
com.github.fommil.netlib native_system-java-natives (нативная система-нативы java) 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson Gson 2.8.6
com.google.crypto.tink тинк 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava гуава 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger Профилировщик 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.ВЫПУСК
com.lihaoyi исходный код_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk (SDK для Azure Data Lake Store) 2.3.9
com.ning compress-lzf (метод сжатия данных) 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning JSON (формат обмена данными JavaScript) 1.8
com.thoughtworks.paranamer Паранэймер 2.8
com.trueaccord.lenses линзы_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity юнивосити-парсерс 2.9.1
com.zaxxer ХикариCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
общие коллекции общие коллекции 3.2.2
commons-dbcp commons-dbcp 1.4
загрузка файлов через модуль commons загрузка файлов через модуль commons 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
коммонс-логгинг коммонс-логгинг 1.1.3
коммонс-пул коммонс-пул 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib Блас 2.2.1
dev.ludovic.netlib LAPACK (программная библиотека для линейной алгебры) 2.2.1
hadoop3 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift компрессор воздуха 0.21
io.delta delta-sharing-spark_2.12 0.5.0
io.dropwizard.metrics основные метрики 4.1.1
io.dropwizard.metrics «metrics-graphite» 4.1.1
io.dropwizard.metrics Метрики-Чек здоровья 4.1.1
io.dropwizard.metrics метрики для Jetty9 4.1.1
io.dropwizard.metrics Метрики-JMX 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics метрики для JVM 4.1.1
io.dropwizard.metrics метрики и сервлеты 4.1.1
io.netty netty-all (все пакеты netty) 4.1.74.Final
io.netty буфер Netty 4.1.74.Final
io.netty netty-codec (кодек Netty) 4.1.74.Final
io.netty нетти-общий 4.1.74.Final
io.netty нетти-хэндлер 4.1.74.Final
io.netty Netty-резолвер 4.1.74.Final
io.netty netty-tcnative-classes (классы netty-tcnative) 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty нетти-транспорт-натив-уникс-коммон 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus простыйклиент_общий 0.7.0
io.prometheus Симплклиент_дропвизард 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx коллекционер 0.12.0
jakarta.annotation jakarta.annotation-api (аннотация API Джакарты) 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation активация 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction джта 1.1
javax.transaction интерфейс транзакций 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
джлайн джлайн 2.14.6
joda-time joda-time 2.10.13
mvn hadoop3 liball_deps_2.12
net.java.dev.jna джна 5.8.0
net.razorvine рассол 1.2
net.sf.jpam джпам 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv — инструмент для работы с CSV файлами 2.2.0
net.snowflake snowflake-ingest-sdk (SDK для обработки данных Snowflake) 0.9.6
net.snowflake снежинка-jdbc 3.13.14
net.snowflake spark-snowflake_2.12 2.10.0-spark_3.2
net.sourceforge.f2j арпак_комбинированный_все 0,1
org.acplt.remotetea «remotetea-oncrpc» 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr шаблон строки 3.2.1
org.apache.ant муравей 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow формат стрелок 7.0.0
org.apache.arrow ядро памяти Arrow 7.0.0
org.apache.arrow арроу-мемори-нетти 7.0.0
org.apache.arrow вектор стрелки 7.0.0
org.apache.avro Авро 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4.
org.apache.commons Коммонс-компресс 1,21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons коммонс-матх3 3.6.1
org.apache.commons Общедоступный текст 1,9
org.apache.curator куратор-клиент 2.13.0
org.apache.curator кураторский фреймворк 2.13.0
org.apache.curator куратор рецептов 2.13.0
org.apache.derby дерби 10.14.2.0
org.apache.hadoop Hadoop-client-api 3.3.2-databricks
org.apache.hadoop среда выполнения hadoop-клиента 3.3.2
org.apache.hive hive-beeline (инструмент командной строки для работы с Apache Hive) 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive Hive-Serde 2.3.9
org.apache.hive хайв-шимы 2.3.9
org.apache.hive hive-storage-api (интерфейс хранения данных Hive) 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims хив-шимс-коммон 2.3.9
org.apache.hive.shims планировщик hive-shims 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy плющ 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.17.2
org.apache.logging.log4j log4j-api 2.17.2
org.apache.logging.log4j log4j-core 2.17.2
org.apache.logging.log4j log4j-slf4j-impl 2.17.2
org.apache.mesos мезос-шейдед-прото-баф 1.4.0
org.apache.orc орк-кор 1.7.5
org.apache.orc orc-mapreduce (орч-мапредьюс) 1.7.5
org.apache.orc орк-шимы 1.7.5
org.apache.parquet parquet-column 1.12.0-databricks-0004
org.apache.parquet parquet-common 1.12.0-databricks-0004
org.apache.parquet parquet-encoding 1.12.0-databricks-0004
org.apache.parquet parquet-format-structures 1.12.0-databricks-0004
org.apache.parquet parquet-hadoop 1.12.0-databricks-0004
org.apache.parquet parquet-jackson 1.12.0-databricks-0004
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4,20
org.apache.yetus аннотации для аудитории 0.5.0
org.apache.zookeeper смотритель зоопарка 3.6.2
org.apache.zookeeper Zookeeper-JUTE 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson джексон-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl (джексон-маппер-асл) 1.9.13
org.codehaus.janino commons-компилятор 3.0.16
org.codehaus.janino джанино 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core (ядро датануклеус) 4.1.17
org.datanucleus Datanucleus-RDBMS 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-continuation (продолжение Jetty) 9.4.46.v20220331
org.eclipse.jetty «jetty-http» 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty Jetty Plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy (джетти-прокси) 9.4.46.v20220331
org.eclipse.jetty защита пристани 9.4.46.v20220331
org.eclipse.jetty сервер Jetty 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty джетти-ютил (jetty-util) 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty Jetty - веб-приложение 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket WebSocket API 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-клиент 9.4.46.v20220331
org.eclipse.jetty.websocket WebSocket-Common 9.4.46.v20220331
org.eclipse.jetty.websocket вебсокет-сервер 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 хк2-локатор 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 локатор ресурсов OSGi 1.0.3
org.glassfish.hk2.external «aopalliance-repackaged» 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers Jersey-container-servlet 2.34
org.glassfish.jersey.containers джерси-контейнер-сервлет-кор 2.34
org.glassfish.jersey.core jersey-client (джерси-клиент) 2.34
org.glassfish.jersey.core джерси-коммон 2.34
org.glassfish.jersey.core Джерси-сервер 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator гибернейт-валидатор 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging (логирование в JBoss) 3.3.2.Окончательно
org.jdbi jdbi 2.63.1
org.jetbrains аннотации 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client (клиентская библиотека для работы с базой данных MariaDB на Java) 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis Обдженесис 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap прокладки 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine РЭнджин 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt тестовый интерфейс 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j (адаптер для JCL, работающий поверх SLF4J) 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark unused 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani хз 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml SnakeYAML 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
Программное обеспечение Amazon Ion ion-java 1.0.2
стекс stax-api 1.0.1
  • Last updated on