Databricks Runtime 11.1 (EoS)

Замечание

Поддержка этой версии databricks Runtime закончилась. Для получения информации о дате окончания поддержки см. историю окончания поддержки и окончания срока службы. Для всех поддерживаемых версий Databricks Runtime см. заметки о версиях выпуска и совместимости Databricks Runtime.

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 11.1 на платформе Apache Spark 3.3.0. Databricks выпустила эту версию в июле 2022 года.

Новые функции и улучшения

Photon предоставляется в общедоступной версии

Photon теперь предоставляется в общедоступной версии начиная с Databricks Runtime 11.1. Photon — это машинный векторизованный обработчик запросов на Azure Databricks, написанный для непосредственной совместимости с API Apache Spark, чтобы он работал с существующим кодом. Photon разработан на C++ для использования преимуществ современного оборудования и применения самых последних методов векторной обработки запросов, максимально используя параллелизм на уровнях данных и инструкций в ЦП. Это улучшает производительность при работе с реальными данными и приложениями — всё это непосредственно в вашем озере данных.

Photon является частью высокопроизводительной среды выполнения, которая ускоряет работу с существующими вызовами SQL и API кадров данных и сокращает совокупную стоимость рабочей нагрузки. Photon используется по умолчанию в хранилищах SQL Databricks.

Новые функции и внесенные улучшения:

  • Новый векторизованный оператор сортировки.
  • Новые векторизованные функции окон.
  • Новые типы и размеры экземпляров во всех облаках.

Ограничения:

  • Scala/Python UDF (определяемые пользователем функции) не поддерживаются в Photon
  • RDD не поддерживается в Photon.
  • Структурированная потоковая передача не поддерживается в Photon.

Дополнительные сведения см. в следующих объявлениях Photon.

Photon: новый векторизованный оператор сортировки

Photon теперь поддерживает векторизованную сортировку, если запрос содержит SORT_BY, CLUSTER_BY или функцию окна с ORDER BY.

Ограничения: Photon не поддерживает глобальную конструкцию ORDER BY. Сортировки для оценки окна будут фотонизироваться, но глобальная сортировка будет и дальше выполняться в Spark.

Photon: новые векторизованные функции окон

Photon теперь поддерживает векторизованное вычисление функции окна для множества типов кадров и функций. К новым функциям окон относятся следующие: row_number, rank, dense_rank, lag, lead, percent_rank, ntile и nth_value. Поддерживаемые типы кадров окон: выполнение (UNBOUNDED PRECEDING AND CURRENT ROW), без привязки (UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING), увеличение (UNBOUNDED PRECEDING AND <OFFSET> FOLLOWING) и уменьшение (<OFFSET> PRECEDING AND UNBOUNDED FOLLOWING).

Ограничения:

  • Photon поддерживает только версии ROWS всех типов кадров.
  • Photon пока не поддерживает тип скользящего кадра (<OFFSET> PRECEDING AND <OFFSET> FOLLOWING).

Photon: поддерживаемые типы экземпляров

  • dds_v5
  • ds_v5
  • eas_v4
  • eds_v4
  • eds_v5
  • es_v5
  • las_v3
  • ls_v3

Поток изменений данных теперь может автоматически обрабатывать метки времени, выходящие за пределы допустимого диапазона.

Теперь канал данных изменений (CDF) имеет новый режим, позволяющий без возникновения ошибок указывать метки времени или версии после последнего коммита. По умолчанию этот режим отключен. Его можно включить, задав для конфигурации spark.databricks.delta.changeDataFeed.timestampOutOfRange.enabled значение true.

При описании и отображении функций SQL теперь также отображаются имена Unity Catalog в выходных данных (общедоступная предварительная версия)

Команды DESC TABLE, DESC DATABASE, DESC SCHEMA, DESC NAMESPACE, DESC FUNCTION, EXPLAIN и SHOW CREATE TABLE теперь всегда отображают имя каталога в выходных данных.

Вывод и изменение схемы для файлов Parquet в автозагрузчике (общедоступная предварительная версия)

Автозагрузчик теперь поддерживает определение и развитие схемы для Parquet-файлов. Как и с форматами JSON, CSV и Avro, теперь вы можете использовать столбец восстановленных данных для восстановления непредвиденных данных, которые могут отображаться в файлах Parquet. К ним относятся данные, которые не могут быть проанализированы в ожидаемом типе данных, столбцах с другим регистром или дополнительными столбцами, которые не являются частью ожидаемой схемы. Автозагрузчик можно настроить для автоматического изменения схемы при добавлении новых столбцов во входящие данные. См. раздел Настройка интерпретации и эволюции схемы в автозагрузчике.

Автозагрузчик теперь поддерживает эволюцию схемы для Avro (GA)

См. раздел Настройка интерпретации и эволюции схемы в автозагрузчике.

Поддержка динамического перезаписывания разделов в Delta Lake

Delta Lake теперь поддерживает режим динамической перезаписи секций для перезаписи всех существующих данных в каждой логической секции, для которой операция записи фиксирует новые данные. Смотрите выборочную перезапись данных с помощью Delta Lake.

Поддержка схемы сведений для объектов, созданных в Unity Catalog

Схема сведений предоставляет самоописываемый API на основе SQL для метаданных различных объектов базы данных, включая таблицы и представления, ограничения и подпрограммы. В схеме вы найдете набор представлений, описывающих объекты, известные каталогу схемы, которые вам разрешено видеть. Схема сведений каталога SYSTEM возвращает сведения об объектах во всех каталогах в хранилище метаданных. См. статью Схема сведений.

Информационные ограничения для таблиц Delta Lake с использованием Unity Catalog (общедоступная предварительная версия)

Теперь вы можете определить информационные ограничения первичного и внешнего ключа в таблицах Delta Lake с использованием Unity Catalog. Информационные ограничения не применяются. См. CONSTRAINT пункт.

Каталог Unity вышел в общую доступность

Каталог Unity теперь общедоступен, начиная с Databricks Runtime 11.1. См. статью Что такое Unity Catalog?

Delta Sharing доступно в общем доступе

Delta Sharing теперь предоставляется в общедоступной версии, начиная с Databricks Runtime 11.1.

Databricks Delta Sharing полностью управляется внутри Databricks без необходимости обмена маркерами. Вы можете создавать и администрировать поставщиков, получателей и общие ресурсы в пользовательском интерфейсе или с помощью SQL и REST API.

Некоторые функции включают ограничение доступа получателей, запрашивание данных с помощью списков доступа по IP-адресам и региональных ограничений, а также делегирование управления Delta Sharing пользователям, не являющимся администраторами. Вы также можете запрашивать изменения данных и делиться добавочными версиями с помощью веб-каналов данных об изменениях. См. раздел "Что такое OpenSharing?".

Изменения в поведении

Редактирование конфиденциальных свойств для DESCRIBE TABLE и ПОКАЗАТЬ свойства TABLE

Конфиденциальные свойства удаляются в фреймах данных и выводе команд DESCRIBE TABLE и SHOW TABLE PROPERTIES.

Кластеры заданий по умолчанию предназначены для режима доступа к одному пользователю с помощью Databricks Runtime 11.1 и более поздних версий.

Для совместимости с Unity Catalog кластеры заданий, использующие Databricks Runtime 11.1 и более поздние версии, созданные через пользовательский интерфейс или API для заданий, по умолчанию работают в режиме доступа для одного пользователя. Режим доступа к одному пользователю поддерживает большинство языков программирования, функций кластера и функций управления данными. Вы по-прежнему можете настроить стандартный режим доступа (ранее общий режим доступа) с помощью пользовательского интерфейса или API, но языки или функции могут быть ограничены.

Обновления библиотек

  • Обновленные библиотеки Python:
    • filelock — с версии 3.6.0 до 3.7.1;
    • plotly с версии 5.6.0 до 5.8.2
    • protobuf — с версии 3.20.1 до 4.21.2.
  • Обновленные библиотеки R:
    • chron — с версии 2.3-56 до 2.3-57;
    • DBI — с версии 1.1.2 до 1.1.3;
    • dbplyr — с версии 2.1.1 до 2.2.0;
    • e1071 — с версии 1.7-9 до 1.7-11;
    • future от версии 1.25.0 до версии 1.26.1
    • globals от версии 0.14.0 до 0.15.1
    • hardhat — с версии 0.2.0 до 1.1.0;
    • ipred — с версии 0.9-12 до 0.9-13
    • openssl — с версии 2.0.0 до 2.0.2;
    • параллельно с версии 1.31.1 до 1.32.0
    • processx — с версии 3.5.3 до 3.6.1;
    • progressr — с версии 0.10.0 до 0.10.1;
    • proxy — с версии 0.4-26 до 0.4-27;
    • ps — с версии 1.7.0 до 1.7.1;
    • randomForest — с версии 4.7-1 до 4.7-1.1;
    • roxygen2 — с версии 7.1.2 до 7.2.0;
    • Обновление Rserve с версии 1.8-10 до 1.8-11.
    • RSQLite — с версии 2.2.13 до 2.2.14;
    • sparklyr — с версии 1.7.5 до 1.7.7;
    • tinytex — обновление с версии 0.38 до 0.40
    • usethis — с версии 2.1.5 до 2.1.6;
    • xfun — с версии 0.30 до 0.31.
  • Обновленные библиотеки Java:
    • io.delta.delta-sharing-spark_2.12 — с версии 0.4.0 до 0.5.0.

Apache Spark

Databricks Runtime 11.2 включает Apache Spark 3.3.0. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 11.1 (EoS), а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

  • [SPARK-40054] [SQL] Восстановление синтаксиса обработки ошибок try_cast()
  • [SPARK-39489] [CORE] Повышение эффективности ведения журнала событий JsonProtocol благодаря использованию Jackson вместо Json4s
  • [SPARK-39319] [CORE][sql] Создание контекстов запросов в рамках SparkThrowable
  • [SPARK-40085] [SQL] Использование класса ошибок INTERNAL_ERROR вместо IllegalStateException для указания ошибок
  • [SPARK-40001] [SQL] Сделать так, чтобы запись NULL в столбцы JSON DEFAULT записывала текст 'null' в хранилище.
  • [SPARK-39635] [SQL] Поддержка метрик драйверов в пользовательском API метрик DS версии 2
  • [SPARK-39184] [SQL] Обработка результирующего массива меньшего размера в последовательностях дат и меток времени
  • [SPARK-40019] [SQL] Рефакторинг комментария свойства containsNull типа ArrayType и корректировка логической ошибки в выражении оператора коллекции о containsNull
  • [SPARK-39989] [SQL] Поддержка оценки статистики столбцов, если это выражение является сворачиваемым.
  • [SPARK-39926] [SQL] Исправление ошибки в поддержке столбца по умолчанию для невекторизованных сканирований Parquet
  • [SPARK-40052] [SQL] Обработка прямых буферов байтов в VectorizedDeltaBinaryPackedReader
  • [SPARK-40044] [SQL] Исправление типа целевого интервала в ошибках переполнения при приведении типов
  • [SPARK-39835] [SQL] Исправление ошибки в функции EliminateSorts, связанной с удалением глобальной сортировки под локальной сортировкой.
  • [SPARK-40002] [SQL] Не проталкивайте LIMIT через оконную функцию, используя ntile
  • [SPARK-39976] [SQL] ArrayIntersect должен правильно обрабатывать значение NULL в левом выражении
  • [SPARK-39985] [SQL] Включение неявных значений столбцов по умолчанию во вставках из DataFrame
  • [SPARK-39776] [SQL] JOIN в развернутую строку следует добавить тип соединения
  • [SPARK-38901] [SQL] DS V2 поддерживает уменьшение уровня различных функций
  • [SPARK-40028] [SQL][дополнение] Улучшение примеров строковых функций
  • [SPARK-39983] [CORE][sql] Не кэшировать несериализированные отношения вещания на драйвере
  • [SPARK-39812] [SQL] Упростить код, конструирующий AggregateExpression с toAggregateExpression
  • [SPARK-40028] [SQL] Добавление примеров с двоичными данными для строковых выражений
  • [SPARK-39981] [SQL] Выбросить исключение QueryExecutionErrors.castingCauseOverflowErrorInTableInsert в Cast
  • [SPARK-40007] [PYTHON] [sql] Добавление режима в функции
  • [SPARK-40008] [SQL] Поддержка преобразования целочисленных данных в интервалы ANSI
  • [SPARK-40003] [PYTHON][sql] Добавить «медиану» в функции
  • [SPARK-39952] [SQL] Команда SaveIntoDataSourceCommand должна повторно кэшировать отношение результата
  • [SPARK-39951] [SQL] Обновление проверки столбцов Parquet V2 для вложенных полей
  • [SPARK-39775] [ CORE][avro] Отключить проверку значений по умолчанию при синтаксическом анализе схем Avro
  • [SPARK-33236] [ shuffle] Backport to Databricks Runtime 11.x: включение службы перетасовки на основе push-уведомлений для хранения состояния в базе данных уровня NM для сохранения перезапуска работы
  • [SPARK-39836] [SQL] Упрощение V2ExpressionBuilder путем извлечения общего метода.
  • [SPARK-39867] [SQL] Глобальное ограничение не должно наследовать OrderPreservingUnaryNode
  • [SPARK-39873] [SQL] Удалите OptimizeLimitZero и объедините его в EliminateLimits
  • [SPARK-39961] [SQL] DS V2 передает выполнение трансляции Cast, если приведение является безопасным
  • [SPARK-39872] [SQL] Изменение, связанное с использованием BytePackerForLong#unpack8Values с API для ввода массива в VectorizedDeltaBinaryPackedReader
  • [SPARK-39858] [SQL] Удаление ненужных AliasHelper или PredicateHelper для некоторых правил
  • [SPARK-39962] [ WARMFIX][es-393486][PYTHON][sql] Применить проекцию, если атрибуты группы пусты
  • [SPARK-39900] [SQL] Решение частичного или отрицаемого условия в предикативном продвижении двоичного формата
  • [SPARK-39904] [SQL] Переименование inferDate в prefersDate, а также пояснение семантики параметра в источнике данных CSV
  • [SPARK-39958] [SQL] Добавление журнала предупреждений, если не удается загрузить пользовательский объект метрики
  • [SPARK-39936] [SQL] Хранение схемы в свойствах для представлений Spark
  • [SPARK-39932] [SQL] WindowExec должен очищать буфер последнего раздела
  • [SPARK-37194] [SQL] Избегайте ненужной сортировки в записи версии 1, если это не динамический раздел
  • [SPARK-39902] [SQL] Добавление данных о сканировании в узле сканирования плана Spark в SparkUI
  • [SPARK-39865] [SQL] Показывать корректные сообщения об ошибках переполнения при вставке в таблицу
  • [SPARK-39940] [SS] Обновление таблицы каталога при потоковом запросе с использованием приемника DSv1
  • [SPARK-39827] [SQL] Использовать класс ошибок ARITHMETIC_OVERFLOW при переполнении int в add_months()
  • [SPARK-39914] [SQL] Добавление фильтра DS версии 2 в процесс преобразования фильтра версии 1
  • [SPARK-39857] [SQL] Вручную выполняется обратное портирование для Databricks Runtime 11.x; V2ExpressionBuilder использует неправильный тип данных LiteralValue для предиката 'In' #43454
  • [SPARK-39840] [SQL][python] Вынести PythonArrowInput как симметричный элемент для PythonArrowOutput.
  • [SPARK-39651] [SQL] Удалить условие фильтра, если сравнение с rand является детерминированным
  • [SPARK-39877] [PYTHON] Добавить unpivot в API DataFrame PySpark
  • [SPARK-39847] [WARMFIX][ss] Исправить состояние гонки в RocksDBLoader.loadLibrary(), если вызывающий поток прерван
  • [SPARK-39909] [SQL] Организация проверки информации о передаче вниз для JDBCV2Suite
  • [SPARK-39834] [SQL][ss] Включите статистику и ограничения источника для LogicalRDD, если она поступает из DataFrame
  • [SPARK-39849] [SQL] Dataset.as(StructType) заполняет отсутствующие новые столбцы значением NULL
  • [SPARK-39860] [SQL] Дополнительные выражения должны расширять предикат
  • [SPARK-39823] [SQL][python] Переименовать Dataset.as как Dataset.to и добавить DataFrame.to в PySpark
  • [SPARK-39918] [SQL][незначительный] Замените слово "несравнимым" на "несопоставимым" в сообщении об ошибке
  • [SPARK-39857] [SQL][3.3] V2ExpressionBuilder использует неправильный тип данных LiteralValue для предиката In
  • [SPARK-39862] [SQL] Ручной обратный порт для PR 43654, нацеленный на Databricks Runtime 11.x: обновление SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS для разрешения или запрета ALTER TABLE ... Добавьте команды COLUMN отдельно.
  • [SPARK-39844] [SQL] Ручная обратная портировка для PR 43652, предназначенная для Databricks Runtime 11.x
  • [SPARK-39899] [SQL] Исправление передачи параметров сообщения в InvalidUDFClassException
  • [SPARK-39890] [SQL] Сделать так, чтобы TakeOrderedAndProjectExec наследовал AliasAwareOutputOrdering
  • [SPARK-39809] [PYTHON] Поддержка CharType в PySpark
  • [SPARK-38864] [SQL] Добавление расплосщения / плавления в набор данных
  • [SPARK-39864] [SQL] Медленная регистрация ExecutionListenerBus
  • [SPARK-39808] [SQL] Поддержка режима агрегатной функции
  • [SPARK-39839] [SQL] Обработка особого случая null переменной длины десятичного числа с ненулевым смещением offsetAndSize при проверке структурной целостности UnsafeRow.
  • [SPARK-39875] [SQL] Изменение метода protected в последнем классе на private или package-visible
  • [SPARK-39731] [SQL] Исправлена проблема в источниках данных CSV и JSON при синтаксическом анализе дат в формате "yyyyMdd" с помощью исправленной политики синтаксического анализа времени
  • [SPARK-39805] [SS] Объявить устаревшим Trigger.Once и продвинуть Trigger.AvailableNow
  • [SPARK-39784] [SQL] Разместите литеральные значения справа от фильтра источника данных после преобразования выражения Catalyst в фильтр источника данных
  • [SPARK-39672] [SQL][3.1] Исправление удаления проекта перед фильтрацией с помощью связанного вложенного запроса
  • [SPARK-39552] [SQL] Унификация версий 1 и 2 DESCRIBE TABLE
  • [SPARK-39806] [SQL] Доступ к _metadata в секционированной таблице может привести к сбою запроса
  • [SPARK-39810] [SQL] Catalog.tableExists должен обрабатывать вложенное пространство имен
  • [SPARK-37287] [SQL] Извлечение динамического разбиения и сортировки по корзинам из FileFormatWriter
  • [SPARK-39469] [SQL] Вывод типа даты для вывода схемы CSV
  • [SPARK-39148] [SQL] агрегированная отправка DS V2 может работать с OFFSET или LIMIT
  • [SPARK-39818] [SQL] Исправление ошибки в типах ARRAY, STRUCT, MAP со значениями DEFAULT с полями NULL
  • [SPARK-39792] [SQL] Добавьте функцию DecimalDivideWithOverflowCheck для вычисления среднего значения в десятичном формате
  • [SPARK-39798] [SQL] Замена toSeq.toArray на .toArray[Any] в конструкторе GenericArrayData
  • [SPARK-39759] [SQL] Реализация listIndexes в JDBC (диалект H2)
  • [SPARK-39385] [SQL] Поддерживает push down REGR_AVGX и REGR_AVGY
  • [SPARK-39787] [SQL] Используйте класс ошибки при синтаксической ошибке функции to_timestamp
  • [SPARK-39760] [PYTHON] Поддержка Varchar в PySpark
  • [SPARK-39557] [SQL] Ручной перенос в Databricks Runtime 11.x: поддержка типов ARRAY, STRUCT, MAP как значения по умолчанию
  • [SPARK-39758] [SQL][3.3] Устранение ошибки NPE в функциях regexp для недопустимых шаблонов
  • [SPARK-39749] [SQL] Режим SQL ANSI: использование простого строкового представления при приведении десятичного числа к строке
  • [SPARK-39704] [SQL] Реализация createIndex и dropIndex & indexExists в JDBC (диалект H2)
  • [SPARK-39803] [SQL] Использование LevenshteinDistance вместо StringUtils.getLevenshteinDistance
  • [SPARK-39339] [SQL] Поддержка типа TimestampNTZ в источнике файлов JDBC
  • [SPARK-39781] [SS] Добавить поддержку параметра max_open_files для поставщика rocksdb хранилища состояний
  • [SPARK-39719] [R] Реализация databaseExists/getDatabase в SparkR поддерживает пространство имен 3L
  • [SPARK-39751] [SQL] Переименовать метрику ключа хэш-агрегации probes
  • [SPARK-39772] [SQL] пространство имен должно иметь значение NULL, если база данных имеет значение NULL в старых конструкторах
  • [SPARK-39625] [SPARK-38904][sql] Добавить Dataset.as(StructType)
  • [SPARK-39384] [SQL] Компиляция встроенных агрегатных функций линейной регрессии для диалекта JDBC
  • [SPARK-39720] [R] Реализация tableExists/getTable в SparkR для пространства имен 3L
  • [SPARK-39744] [SQL] Добавление функции REGEXP_INSTR
  • [SPARK-39716] [R] Обеспечение поддержки пространства имен 3L в currentDatabase/setCurrentDatabase/listCatalogs в SparkR
  • [SPARK-39788] [SQL] Переименование catalogName в dialectName для JdbcUtils
  • [SPARK-39647] [CORE] Регистрация исполнителя с ESS перед регистрацией BlockManager
  • [SPARK-39754] [CORE][sql] Удалите неиспользуемые import или ненужные {}
  • [SPARK-39706] [SQL] Установить отсутствующий столбец со значением defaultValue в качестве константы в ParquetColumnVector
  • [SPARK-39699] [SQL] Более эффективная обработка выражений создания коллекций в CollapseProject
  • [SPARK-39737] [SQL] PERCENTILE_CONT и PERCENTILE_DISC должны поддерживать агрегатный фильтр
  • [SPARK-39579] [SQL][python][R] Сделать ListFunctions/getFunction/functionExists совместимым с пространством имен уровня 3
  • [SPARK-39627] [SQL] JDBC V2 pushdown должен унифицировать API компиляции
  • [SPARK-39748] [SQL][ss] Включите исходный логический план для LogicalRDD, если он поступает из DataFrame.
  • [SPARK-39385] [SQL] Преобразование агрегатных функций линейной регрессии для применения при оптимизации
  • [SPARK-39695] [SQL] Добавление функции REGEXP_SUBSTR
  • [SPARK-39667] [SQL] Добавление еще одного решения, если недостаточно памяти для сборки и передачи таблицы
  • [SPARK-39666] [ES-337834][sql] Использование UnsafeProjection.create для соблюдения spark.sql.codegen.factoryMode в ExpressionEncoder
  • [SPARK-39643] [SQL] Запрет выражений вложенных запросов в значениях DEFAULT
  • [SPARK-38647] [SQL] Добавление миксина SupportsReportOrdering в интерфейс для сканирования (DataSourceV2)
  • [SPARK-39497] [SQL] Улучшение исключения анализа отсутствующих ключевых столбцов карты
  • [SPARK-39661] [SQL] Исключение создания ненужного средства ведения журнала SLF4J
  • [SPARK-39713] [SQL] Режим ANSI: добавление предложения использования try_element_at для исправления ошибки INVALID_ARRAY_INDEX
  • [SPARK-38899] [SQL] DS V2 поддерживает отправку функций datetime
  • [SPARK-39638] [SQL] Изменение, связанное с использованием ConstantColumnVector для хранения столбцов разделов в OrcColumnarBatchReader
  • [SPARK-39653] [SQL] Очистка ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int) из ColumnVectorUtils
  • [SPARK-39231] [SQL] Использование ConstantColumnVector вместо On/OffHeapColumnVector для хранения столбцов разделов в VectorizedParquetRecordReader
  • [SPARK-39547] [SQL] V2SessionCatalog не должен вызывать исключение NoSuchDatabaseException в loadNamspaceMetadata
  • [SPARK-39447] [SQL] Не следует использовать AssertionError в AdaptiveSparkPlanExec.doExecuteBroadcast
  • [SPARK-39492] [SQL] Изменение MISSING_COLUMN
  • [SPARK-39679] [SQL] TakeOrderedAndProjectExec должен учитывать упорядоченность данных на выходе дочернего процесса
  • [SPARK-39606] [SQL] Использование дочерней статистики для оценки операторов сортировки
  • [SPARK-39611] [PYTHON][ps] Исправлены неправильные псевдонимы в array_ufunc
  • [SPARK-39656] [SQL][3.3] Исправление неправильного пространства имен в DescribeNamespaceExec
  • [SPARK-39675] [SQL] Переключение конфигурации "spark.sql.codegen.factoryMode" с назначения тестирования на внутреннее назначение
  • [SPARK-39139] [SQL] DS V2 поддерживает отправку DS V2 UDF
  • [SPARK-39434] [SQL] Предоставление контекста выполнения запроса при ошибке, связанной с выходом индекса за границы массива.
  • [SPARK-39479] [SQL] DS V2 поддерживает оптимизацию математических функций (не ANSI)
  • [SPARK-39618] [SQL] Добавление функции REGEXP_COUNT
  • [SPARK-39553] [CORE] Отмена регистрации многопоточного перемешивания не должна вызывать NPE при использовании Scala 2.13
  • [SPARK-38755] [PYTHON][3.3] Добавление файла для решения проблемы отсутствующих общих функций pandas
  • [SPARK-39444] [SQL] Добавление OptimizeSubqueries в список nonExcludableRules
  • [SPARK-39316] [SQL] Объединение PromotePrecision и CheckOverflow в двоичную арифметику с десятичными числами
  • [SPARK-39505] [UI] Содержимое журнала Escape, отображаемое в пользовательском интерфейсе
  • [SPARK-39448] [SQL] Добавить ReplaceCTERefWithRepartition в список nonExcludableRules
  • [SPARK-37961] [SQL] Переопределение maxRows/maxRowsPerPartition для некоторых логических операторов
  • [SPARK-35223] Отменить добавление IssueNavigationLink
  • [SPARK-39633] [SQL] Поддержка метки времени в секундах для TimeTravel с помощью параметров кадра данных
  • [SPARK-38796] [SQL] Обновление документации по строкам числового формата с помощью функций {try_}to_number
  • [SPARK-39650] [SS] Исправление неправильной схемы значений при дедупликации потоковой передачи с обратной совместимостью
  • [SPARK-39636] [CORE][ui] Исправьте несколько ошибок в JsonProtocol, влияя на кучи StorageLevels и Task/Executor ResourceRequests
  • [SPARK-39432] [SQL] Возвращает ELEMENT_AT_BY_INDEX_ZERO из element_at(*, 0)
  • [SPARK-39349] Добавление централизованного метода CheckError для проверки ошибочного пути
  • [SPARK-39453] [SQL] DS версии 2 поддерживает передачу различных неагрегатных функций (не ANSI)
  • [SPARK-38978] [SQL] DS V2 поддерживает оператор push down OFFSET
  • [SPARK-39567] [SQL] Поддержка интервалов ANSI в функциях с процентилями
  • [SPARK-39383] [SQL] Поддержка столбцов DEFAULT в ALTER TABLE ALTER COLUMNS для источников данных версии 2
  • [SPARK-39396] [SQL] Исправлено исключение входа LDAP "код ошибки 49 - недопустимые учетные данные"
  • [SPARK-39548] [SQL] Команда CreateView с запросом с клаузой окна столкнулась с ошибкой "определение окна не найдено".
  • [SPARK-39575] [AVRO] Добавление ByteBuffer#rewind после ByteBuffer#get в Avr…
  • [SPARK-39543] Параметр DataFrameWriterV2 должен передаваться в свойства хранилища в случае отката к версии 1
  • [SPARK-39564] [SS] Предоставление информации из таблицы каталогов в логический план в потоковом запросе
  • [SPARK-39582] [SQL] Исправить маркер "Since" для array_agg
  • [SPARK-39388] [SQL] Повторное использование orcSchema при отправке предикатов Orc
  • [SPARK-39511] [SQL] Улучшение механизма опускания локального ограничения 1 для правой части левого полу-/антисоединения при пустом условии объединения
  • [SPARK-38614] [SQL] Не переносите ограничение к окну, использующему percent_rank
  • [SPARK-39551] [SQL] Добавить проверку недопустимого плана AQE
  • [SPARK-39383] [SQL] Добавление поддержки столбцов DEFAULT в ALTER TABLE ADD COLUMNS для источников данных V2
  • [SPARK-39538] [SQL] Исключение создания ненужного средства ведения журнала SLF4J
  • [SPARK-39383] [SQL] Ручной бэкпорт для Databricks Runtime 11.x: перестройка поддержки столбца DEFAULT, чтобы избежать передачи основного анализатора.
  • [SPARK-39397] [SQL] Ослабить "AliasAwareOutputExpression" для поддержки псевдонимов с выражениями
  • [SPARK-39496] [SQL] Обработка конструкции null в Inline.eval
  • [SPARK-39545] [SQL] Изменение метода concat для ExpressionSet в Scala 2.13 с целью повышения производительности
  • [SPARK-39340] [SQL] Агрегатная передача DS v2 должна разрешать наличие точек в имени столбцов верхнего уровня
  • [SPARK-39488] [SQL] Упрощение обработки ошибок TempResolvedColumn
  • [SPARK-38846] [SQL] Добавление явного сопоставления данных между числовым типом Teradata и десятичным типом Spark
  • [SPARK-39520] [SQL] Переопределение метода -- для ExpressionSet в Scala 2.13
  • [SPARK-39470] [SQL] Поддержка приведения интервалов ANSI к десятичным числам
  • [SPARK-39477] [SQL] Удаление информации о количестве запросов из золотых файлов SQLQueryTestSuite
  • [SPARK-39419] [SQL] Исправление ошибке, приводящей к возникновению исключения ArraySort, когда блок сравнения возвращает значение NULL
  • [SPARK-39061] [SQL] Правильная настройка допустимого значения NULL для выходных атрибутов Inline
  • [SPARK-39320] [SQL] Поддержка агрегатной функции MEDIAN
  • [SPARK-39261] [CORE] Улучшение форматирования новой строки для сообщений об ошибках
  • [SPARK-39355] [SQL] Один столбец использует кавычки для создания UnresolvedAttribute
  • [SPARK-39351] [SQL] SHOW CREATE TABLE следует скрыть свойства
  • [SPARK-37623] [SQL] Поддержка агрегатной функции ANSI: regr_intercept
  • [SPARK-39374] [SQL] Улучшение сообщения об ошибке для списка указанных пользователем столбцов
  • [SPARK-39255] [SQL][3.3] Улучшение сообщений об ошибках
  • [SPARK-39321] [SQL] Рефакторинг TryCast для использования RuntimeReplaceable
  • [SPARK-39406] [PYTHON] Принятие массива NumPy в createDataFrame
  • [SPARK-39267] [SQL] Очистка ненужного символа dsl
  • [SPARK-39171] [SQL] Унифицировать выражение приведения
  • [SPARK-28330] [SQL] Поддержка ANSI SQL: условие смещения результатов в выражении запроса
  • [SPARK-39203] [SQL] Переопределение расположения таблицы на абсолютный URI на основе URI базы данных
  • [SPARK-39313] [SQL] toCatalystOrdering должен выдавать ошибку, если невозможно перевести V2Expression
  • [SPARK-39301] [SQL][python] Эффективное использование LocalRelation и учёт размера пакета Arrow в createDataFrame с оптимизацией Arrow
  • [SPARK-39400] [SQL] Spark SQL должен удалить каталог ресурсов Hive в любых случаях.

Технические обновления

Ознакомьтесь с обновлениями технического обслуживания Databricks Runtime 11.1.

Системная среда

  • Операционная система: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14.
  • Python: 3.9.5
  • R: 4.1.3
  • Delta Lake: 1.2.1

Установленные библиотеки Python

Библиотека Версия Библиотека Версия Библиотека Версия
Antergos Linux 2015.10 (ISO-Rolling) argon2-cffi 20.1.0 асинхронный генератор 1,10
атрибуты 21.2.0 Обратный вызов 0.2.0 пакет библиотеки backports.entry-points-selectable 1.1.1
черный 22.3.0 отбеливатель 4.0.0 boto3 1.21.18
botocore 1.24.18 сертификат 2021.10.8 cffi 1.14.6
chardet 4.0.0 нормализатор кодировки 2.0.4 щелчок 8.0.3
криптография 3.4.8 велосипедист 0.10.0 Cython 0.29.24
dbus-python 1.2.16 debugpy 1.4.1 декоратор 5.1.0
defusedxml 0.7.1 Дистлиб 0.3.5 информация о дистрибутиве 0.23ubuntu1
точки входа 0,3 Обзор аспектов 1.0.0 файловая блокировка 3.8.0
IDNA 3.2 ipykernel 6.12.1 ipython 7.32.0
ipython-genutils 0.2.0 ipywidgets 7.7.0 jedi 0.18.0
Джинджа2 2.11.3 jmespath 0.10.0 joblib 1.0.1
jsonschema (JSON-схема) 3.2.0 Джупитер-клиент 6.1.12 jupyter-core (ядро Jupyter) 4.8.1
jupyterlab-pygments 0.1.2 jupyterlab-мини-приложения 1.0.0 Кивисолвер 1.3.1
MarkupSafe 2.0.1 matplotlib 3.4.3 матплотлиб-инлайн 0.1.2
Мистун 0.8.4 mypy-extensions (расширения для mypy) 0.4.3 nbclient 0.5.3
Перекодировщик nbconvert 6.1.0 nbformat 5.1.3 nest-asyncio 1.5.1
notebook 6.4.5 numpy (библиотека для работы с массивами и матрицами в Python) 1.20.3 упаковка 21,0
Панды 1.3.4 пандокфильтры 1.4.3 Парсо 0.8.2
спецификация пути 0.9.0 простак 0.5.2 pexpect (библиотека Python для автоматизации взаимодействия с приложениями) 4.8.0
Пиклшэр 0.7.5 Подушка 8.4.0 пит 21.2.4
platformdirs 2.5.2 библиотека Plotly для визуализации данных 5.9.0 prometheus-client 0.11.0
prompt-toolkit (инструментарий подсказок) 3.0.20 protobuf (протобуф) 4.21.5 psutil 5.8.0
psycopg2 2.9.3 ptyprocess 0.7.0 pyarrow 7.0.0
pycparser 2,20 Пигменты 2.10.0 PyGObject 3.36.0
pyodbc 4.0.31 pyparsing (библиотека для синтаксического анализа в Python) 3.0.4 пирсистент 0.18.0
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil (библиотека для работы с датами и временем в Python) 2.8.2 pytz (библиотека Python для работы с часовыми поясами) 2021.3
pyzmq 22.2.1 Запросы 2.26.0 requests-unixsocket 0.2.0
s3transfer 0.5.2 scikit-learn (библиотека машинного обучения) 0.24.2 scipy (библиотека Python) 1.7.1
мореборн 0.11.2 Send2Trash 1.8.0 setuptools (пакет для установки и управления Python-пакетами) 58.0.4
шесть 1.16.0 ssh-import-id 5,10 statsmodels (библиотека Python для статистического моделирования) 0.12.2
упорство 8.0.1 закончено 0.9.4 путь тестирования 0.5.0
Threadpoolctl 2.2.0 токенизация-рт 4.2.1 томли 2.0.1
торнадо 6.1 Трейтлеты 5.1.0 Typing Extensions 3.10.0.2
обновления без вмешательства пользователя 0,1 urllib3 1.26.7 virtualenv 20.8.0
wcwidth (ширина символа в Unicode) 0.2.5 веб-энкодинги 0.5.1 колесо 0.37.0
widgetsnbextension 3.6.0

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка Microsoft CRAN 2022-08-15.

Библиотека Версия Библиотека Версия Библиотека Версия
аскпасс 1.1 утверждать, что 0.2.1 обратные порты 1.4.1
основа 4.1.3 base64enc 0.1-3 кусочек 4.0.4
64-бит 4.0.5 комок 1.2.3 сапог 1.3-28
варить 1.0-7 брио 1.1.3 метла 1.0.0
bslib 0.4.0 кашемир 1.0.6 звонящий 3.7.1
каретка 6.0-93 целлрейнджер 1.1.0 хронометр 2.3-57
класс 7.3-20 интерфейс командной строки (CLI) 3.3.0 клиппер 0.8.0
кластер 2.1.3 codetools 0.2-18 цветовое пространство 2.0-3
коммонмарк 1.8.0 компилятор 4.1.3 config 0.3.1
cpp11 0.4.2 карандаш 1.5.1 credentials 1.3.2
завиток 4.3.2 таблица данных 1.14.2 Наборы данных 4.1.3
DBI 1.1.3 dbplyr 2.2.1 описание 1.4.1
средства разработки 2.4.4 diffobj 0.3.5 дайджест 0.6.29
направленное вниз освещение 0.4.2 dplyr (пакет для обработки данных в R) 1.0.9 dtplyr 1.2.1
e1071 1.7-11 многоточие 0.3.2 оценивать 0,16
вентиляторы 1.0.3 Цвета 2.1.1 фастмап 1.1.0
fontawesome 0.3.0 Forcats (форкатс) 0.5.1 foreach 1.5.2
иностранный 0.8-82 кузница 0.2.0 fs 1.5.2
будущее 1.27.0 будущее.применить 1.9.0 полоскать горло 1.2.0
Дженерики 0.1.3 Герт 1.7.0 ggplot2 3.3.6
gh 1.3.0 gitcreds 0.1.1 glmnet 4.1-4
глобальные переменные 0.16.0 клей 1.6.2 googledrive 2.0.0
googlesheets4 1.0.1 Говер 1.0.0 графика 4.1.3
grDevices 4.1.3 сеть 4.1.3 gridExtra 2.3
gsubfn 0.7 гтабл 0.3.0 каска 1.2.0
убежище 2.5.0 выше 0,9 HMS 1.1.1
инструменты для HTML 0.5.3 HTML-виджеты 1.5.4 httpuv 1.6.5
httr 1.4.3 удостоверения личности 1.0.1 ini 0.3.1
ипред 0.9-13 изо-лента 0.2.5 Итераторы 1.0.14
jquerylib 0.1.4 jsonlite 1.8.0 KernSmooth 2.23-20
knitr (пакет для динамической генерации отчетов в языке программирования R) 1,39 маркирование 0.4.2 позже 1.3.0
решётка 0.20-45 лава 1.6.10 жизненный цикл 1.0.1
слушай 0.8.0 лубридейт 1.8.0 магриттр 2.0.3
Markdown 1.1 Масса 7.3-56 Матрица 1.4-1
Запоминание 2.0.1 методы 4.1.3 mgcv 1.8-40
mime 0,12 мини-интерфейс 0.1.1.1 ModelMetrics 1.2.2.2
модельер 0.1.8 munsell 0.5.0 nlme 3.1-157
ннейронная сеть 7.3-17 numDeriv 2016.8-1.1 OpenSSL 2.0.2
параллельный 4.1.3 параллельно 1.32.1 столб 1.8.0
пакджбилд 1.3.1 pkgconfig 2.0.3 pkgdown 2.0.6
пкглоад (pkgload) 1.3.0 Плогр 0.2.0 плайр 1.8.7
похвала 1.0.0 prettyunits 1.1.1 pROC 1.18.0
Processx 3.7.0 Prodlim 2019.11.13 profvis 0.3.7
прогресс 1.2.2 progressr 0.10.1 обещания 1.2.0.1
прото 1.0.0 прокси 0.4-27 п.с. 1.7.1
мурлыканье 0.3.4 r2d3 0.2.6 Р6 2.5.1
ragg 1.2.2 randomForest (рандомФорест) 4.7-1.1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-3 Rcpp 1.0.9
RcppEigen 0.3.3.9.2 readr 2.1.2 readxl (пакет для чтения Excel-файлов) 1.4.0
Рецепты 1.0.1 реванш 1.0.1 реванш2 2.1.2
дистанционное управление 2.4.2 репрекс 2.0.1 reshape2 1.4.4
rlang 1.0.4 rmarkdown (инструмент для создания динамических документов в R) 2,14 RODBC 1.3-19
roxygen2 7.2.1 rpart (пакет для построения деревьев решений в языке программирования R) 4.1.16 rprojroot 2.0.3
Rserve (Рcерве) 1.8-11 RSQLite 2.2.15 рстудиоапи 0,13
rversions 2.1.1 Рвест 1.0.2 дерзость 0.4.2
весы 1.2.0 селектор 0.4-2 информация о сессии 1.2.2
форма 1.4.6 блестящий 1.7.2 sourcetools 0.1.7
sparklyr 1.7.7 SparkR 3.3.0 пространственный 7.3-11
Сплайны 4.1.3 SQLDF 0,4-11 SQUAREM январь 2021
статистика 4.1.3 статистика4 4.1.3 стринги 1.7.8
стрингр 1.4.0 выживание 3.2-13 sys 3.4
systemfonts 1.0.4 язык программирования Tcl/Tk 4.1.3 testthat 3.1.4
форматирование текста 0.3.6 Tibble 3.1.8 Тидыр 1.2.0
tidyselect 1.1.2 tidyverse (тайдивёрс) 1.3.2 ТаймДата 4021.104
tinytex 0.40 инструменты 4.1.3 База данных часовых зон (tzdb) 0.3.0
URL-чекер 1.0.1 используйэто 2.1.6 utf8 1.2.2
утилиты 4.1.3 UUID (Универсальный уникальный идентификатор) 1.1-0 vctrs 0.4.1
viridisLite 0.4.0 брррм 1.5.7 Уолдо 0.4.0
волосок 0,4 увядать 2.5.0 xfun 0,32
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
YAML 2.3.5 ZIP-архив 2.2.0

Установленные Java и библиотеки Scala (версия кластера Scala 2.12)

Идентификатор группы Идентификатор артефакта Версия
Антлер Антлер 2.7.7
com.amazonaws Клиент Amazon Kinesis 1.12.0
com.amazonaws aws-java-sdk-autoscaling (автоматическое масштабирование) 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws AWS Java SDK для CloudSearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy (AWS Java SDK для CodeDeploy) 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws Конфигурация SDK для Java от AWS 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-(Data Pipeline) 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing (пакет программного обеспечения для балансировки нагрузки в AWS, написанный на Java) 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder (Java SDK для Elastic Transcoder) 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier (пакет программного обеспечения для работы с Glacier) 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport (пакет для импорта и экспорта данных) 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms (пакет программного обеспечения для работы с AWS KMS) 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws AWS Java SDK для машинного обучения 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws AWS Java SDK для RDS 1.12.189
com.amazonaws AWS Java SDK для Redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm (AWS SDK для Java — SSM модуль) 1.12.189
com.amazonaws AWS Java SDK для Storage Gateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws Поддержка AWS Java SDK 1.12.189
com.amazonaws aws-java-sdk-swf библиотеки 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics поток 2.9.6
com.databricks Rserve (Рcерве) 1.8-3
com.databricks jets3t 0.7.1–0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware криогенное затенение 4.0.2
com.esotericsoftware минлог 1.3.0
com.fasterxml одноклассник 1.3.4
com.fasterxml.jackson.core аннотации Джексона 2.13.3
com.fasterxml.jackson.core джексон-ядро 2.13.3
com.fasterxml.jackson.core джексон-databind 2.13.3
com.fasterxml.jackson.dataformat Джексон-формат-данных-CBOR 2.13.3
com.fasterxml.jackson.datatype джексон-дейтайп-джода 2.13.3
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.3
com.fasterxml.jackson.module джексон-модуль-паранэймер 2.13.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.3
com.github.ben-manes.caffeine кофеин 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib ядро 1.1.2
com.github.fommil.netlib нативная_ссылка-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib Нативная_система-java 1.1
com.github.fommil.netlib native_system-java-natives (нативная система-нативы java) 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson Gson 2.8.6
com.google.crypto.tink тинк 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava гуава 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger Профилировщик 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.ВЫПУСК
com.lihaoyi исходный код_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk (SDK для Azure Data Lake Store) 2.3.9
com.ning compress-lzf (метод сжатия данных) 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning JSON (формат обмена данными JavaScript) 1.8
com.thoughtworks.paranamer Паранэймер 2.8
com.trueaccord.lenses линзы_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity юнивосити-парсерс 2.9.1
com.zaxxer ХикариCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
общие коллекции общие коллекции 3.2.2
commons-dbcp commons-dbcp 1.4
загрузка файлов через модуль commons загрузка файлов через модуль commons 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
коммонс-логгинг коммонс-логгинг 1.1.3
коммонс-пул коммонс-пул 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib Блас 2.2.1
dev.ludovic.netlib LAPACK (программная библиотека для линейной алгебры) 2.2.1
hadoop3 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift компрессор воздуха 0.21
io.delta delta-sharing-spark_2.12 0.5.0
io.dropwizard.metrics основные метрики 4.1.1
io.dropwizard.metrics «metrics-graphite» 4.1.1
io.dropwizard.metrics Метрики-Чек здоровья 4.1.1
io.dropwizard.metrics метрики для Jetty9 4.1.1
io.dropwizard.metrics Метрики-JMX 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics метрики для JVM 4.1.1
io.dropwizard.metrics метрики и сервлеты 4.1.1
io.netty netty-all (все пакеты netty) 4.1.74.Final
io.netty буфер Netty 4.1.74.Final
io.netty netty-codec (кодек Netty) 4.1.74.Final
io.netty нетти-общий 4.1.74.Final
io.netty нетти-хэндлер 4.1.74.Final
io.netty Netty-резолвер 4.1.74.Final
io.netty netty-tcnative-classes (классы netty-tcnative) 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty нетти-транспорт-натив-уникс-коммон 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus простыйклиент_общий 0.7.0
io.prometheus Симплклиент_дропвизард 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx коллекционер 0.12.0
jakarta.annotation jakarta.annotation-api (аннотация API Джакарты) 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation активация 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction джта 1.1
javax.transaction интерфейс транзакций 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
джлайн джлайн 2.14.6
joda-time joda-time 2.10.13
mvn hadoop3 liball_deps_2.12
net.java.dev.jna джна 5.8.0
net.razorvine рассол 1.2
net.sf.jpam джпам 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv — инструмент для работы с CSV файлами 2.2.0
net.snowflake snowflake-ingest-sdk (SDK для обработки данных Snowflake) 0.9.6
net.snowflake снежинка-jdbc 3.13.14
net.snowflake spark-snowflake_2.12 2.10.0-spark_3.2
net.sourceforge.f2j арпак_комбинированный_все 0,1
org.acplt.remotetea «remotetea-oncrpc» 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr шаблон строки 3.2.1
org.apache.ant муравей 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow формат стрелок 7.0.0
org.apache.arrow ядро памяти Arrow 7.0.0
org.apache.arrow арроу-мемори-нетти 7.0.0
org.apache.arrow вектор стрелки 7.0.0
org.apache.avro Авро 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4.
org.apache.commons Коммонс-компресс 1,21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons коммонс-матх3 3.6.1
org.apache.commons Общедоступный текст 1,9
org.apache.curator куратор-клиент 2.13.0
org.apache.curator кураторский фреймворк 2.13.0
org.apache.curator куратор рецептов 2.13.0
org.apache.derby дерби 10.14.2.0
org.apache.hadoop Hadoop-client-api 3.3.2-databricks
org.apache.hadoop среда выполнения hadoop-клиента 3.3.2
org.apache.hive hive-beeline (инструмент командной строки для работы с Apache Hive) 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive Hive-Serde 2.3.9
org.apache.hive хайв-шимы 2.3.9
org.apache.hive hive-storage-api (интерфейс хранения данных Hive) 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims хив-шимс-коммон 2.3.9
org.apache.hive.shims планировщик hive-shims 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy плющ 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.17.2
org.apache.logging.log4j log4j-api 2.17.2
org.apache.logging.log4j log4j-core 2.17.2
org.apache.logging.log4j log4j-slf4j-impl 2.17.2
org.apache.mesos мезос-шейдед-прото-баф 1.4.0
org.apache.orc орк-кор 1.7.5
org.apache.orc orc-mapreduce (орч-мапредьюс) 1.7.5
org.apache.orc орк-шимы 1.7.5
org.apache.parquet parquet-column 1.12.0-databricks-0004
org.apache.parquet parquet-common 1.12.0-databricks-0004
org.apache.parquet parquet-encoding 1.12.0-databricks-0004
org.apache.parquet parquet-format-structures 1.12.0-databricks-0004
org.apache.parquet parquet-hadoop 1.12.0-databricks-0004
org.apache.parquet parquet-jackson 1.12.0-databricks-0004
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4,20
org.apache.yetus аннотации для аудитории 0.5.0
org.apache.zookeeper смотритель зоопарка 3.6.2
org.apache.zookeeper Zookeeper-JUTE 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson джексон-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl (джексон-маппер-асл) 1.9.13
org.codehaus.janino commons-компилятор 3.0.16
org.codehaus.janino джанино 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core (ядро датануклеус) 4.1.17
org.datanucleus Datanucleus-RDBMS 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-continuation (продолжение Jetty) 9.4.46.v20220331
org.eclipse.jetty «jetty-http» 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty Jetty Plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy (джетти-прокси) 9.4.46.v20220331
org.eclipse.jetty защита пристани 9.4.46.v20220331
org.eclipse.jetty сервер Jetty 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty джетти-ютил (jetty-util) 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty Jetty - веб-приложение 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket WebSocket API 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-клиент 9.4.46.v20220331
org.eclipse.jetty.websocket WebSocket-Common 9.4.46.v20220331
org.eclipse.jetty.websocket вебсокет-сервер 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 хк2-локатор 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 локатор ресурсов OSGi 1.0.3
org.glassfish.hk2.external «aopalliance-repackaged» 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers Jersey-container-servlet 2.34
org.glassfish.jersey.containers джерси-контейнер-сервлет-кор 2.34
org.glassfish.jersey.core jersey-client (джерси-клиент) 2.34
org.glassfish.jersey.core джерси-коммон 2.34
org.glassfish.jersey.core Джерси-сервер 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator гибернейт-валидатор 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging (логирование в JBoss) 3.3.2.Окончательно
org.jdbi jdbi 2.63.1
org.jetbrains аннотации 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client (клиентская библиотека для работы с базой данных MariaDB на Java) 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis Обдженесис 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap прокладки 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine РЭнджин 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt тестовый интерфейс 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j (адаптер для JCL, работающий поверх SLF4J) 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark unused 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani хз 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml SnakeYAML 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
Программное обеспечение Amazon Ion ion-java 1.0.2
стекс stax-api 1.0.1
  • Last updated on