Поделиться через

Databricks Runtime 14.1 (EoS)

Примечание.

Поддержка этой версии databricks Runtime закончилась. Для получения информации о дате окончания поддержки см. историю окончания поддержки и окончания срока службы. Для всех поддерживаемых версий Databricks Runtime см. заметки о версиях и совместимости Databricks Runtime.

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 14.1, на базе Apache Spark 3.5.0.

Databricks выпустила эту версию в октябре 2023 года.

Новые функции и улучшения

array_insert() основан на 1 для отрицательных индексов

Функция array_insert основана на 1 для положительных и отрицательных индексов. Теперь он вставляет новый элемент в конец входных массивов для индекса -1. Чтобы восстановить предыдущее поведение, задайте для spark.sql.legacy.negativeIndexInArrayInsert значение true.

Контрольные точки Delta версии 2, включенные по умолчанию с применением динамической кластеризации

По умолчанию только что созданные Delta-таблицы с жидкой кластеризацией используют контрольные точки версии 2. См. Совместимость для таблиц с жидкой кластеризацией.

Функция "Удаление таблицы Delta" в общедоступной предварительной версии

Теперь можно удалить некоторые функции в таблицах Delta. Текущая поддержка включает удаление deletionVectors и v2Checkpoint. См. Управление функцией удаления таблицы Delta Lake и понижение протокола таблицы.

Delta Sharing: получатели могут выполнять пакетные запросы к общим таблицам с векторами удаления (публичная предварительная версия)

Получатели Delta Sharing теперь могут выполнять пакетные запросы в общих таблицах, которые используют векторы удаления. См. разделы: Добавление таблиц с векторами удаления или сопоставлением столбцов в общую папку; Чтение таблиц с включенными векторами удаления или сопоставлением столбцов; а также Чтение таблиц с векторами удаления или сопоставлением столбцов.

Delta Sharing: получатели могут выполнять пакетные запросы к разделяемым таблицам с сопоставлением столбцов (открытая предварительная версия)

Получатели Delta Sharing теперь могут выполнять пакетные запросы в общих таблицах, использующих сопоставление столбцов. См. разделы: Добавление таблиц с векторами удаления или сопоставлением столбцов в общую папку; Чтение таблиц с включенными векторами удаления или сопоставлением столбцов; а также Чтение таблиц с векторами удаления или сопоставлением столбцов.

Потоковая передача из представлений каталога Unity в общедоступной предварительной версии

Теперь можно использовать структурированную потоковую передачу для выполнения потоковых операций чтения из представлений, зарегистрированных в каталоге Unity. Azure Databricks поддерживает только потоковое чтение из представлений, созданных на основе таблиц Delta.

Соединитель Apache Pulsar в общедоступной предварительной версии

Теперь можно использовать структурированную потоковую передачу для потоковой передачи данных из Apache Pulsar в Azure Databricks. См. Поток из Apache Pulsar.

Обновленный драйвер Snowflake

Драйвер Snowflake JDBC теперь использует версию 3.13.33.

Переменные сеанса SQL

В этом выпуске представлена возможность объявлять временные переменные в сеансе, который можно задать, а затем ссылаться на них в запросах. См переменные.

Вызов именованных параметров для UDF SQL и Python.

Теперь вы можете использовать вызов именованных параметров в SQL и Python UDF.

Аргументы таблицы для функций поддерживают секционирование и упорядочение.

Теперь можно использовать PARTITION BY и ORDER BY условия для управления передачей аргументов таблицы в функцию во время вызова функции.

Новые и расширенные встроенные функции SQL

Добавлены следующие встроенные функции:

  • from_xml: разбирает XML-документ STRING и преобразует в STRUCT.
  • schema_of_xml: Создает схему из XMLSTRING.
  • session_user. Возвращает пользователя, вошедшего в систему.
  • try_reflect: Возвращает NULL, если метод Java завершается с ошибкой, вместо выбрасывания исключения.

Были улучшены следующие встроенные функции:

  • режим: поддержка необязательного параметра, обеспечивающего детерминированный результат.
  • to_char: новая поддержка для DATE, TIMESTAMP и BINARY.
  • to_varchar: новая поддержка DATE, TIMESTAMPа также BINARY.

Улучшенная обработка коррелированных вложенных запросов

Возможность обработки корреляции в вложенных запросах была расширена:

  • Обработка предела и сортировки в коррелированных скалярных (латеральных) подзапросах.
  • Поддержка функций окна в коррелированных скалярных подзапросах.
  • Поддерживать коррелированные ссылки в предикатах соединения для скалярных и латеральных подзапросов

Изменение поведения

Строгий контроль типов в средстве чтения Photon Parquet

Фотон завершается ошибкой при попытке считывать десятичное значение из столбца Parquet, тип которого не является десятичным. Фотон также завершается ошибкой при чтении массива байтов фиксированной длины из Parquet в виде строки.

Обновления библиотек

  • Обновленные библиотеки Python:
    • блокировка файлов от 3.12.2 до 3.12.3
    • s3transfer от 0.6.1 до 0.6.2
  • Обновленные библиотеки Java:
    • com.uber.h3 от 3.7.0 до 3.7.3
    • io.airlift.aircompressor от 0.24 до 0.25
    • io.delta.delta-sharing-spark_2.12 от 0.7.1 до 0.7.5
    • io.netty.netty-all от 4.1.93.Final до 4.1.96.Final
    • io.netty.netty-buffer от 4.1.93.Final до 4.1.96.Final
    • io.netty.netty-codec от 4.1.93.Final до 4.1.96.Final
    • io.netty.netty-codec-http с 4.1.93.Final до 4.1.96.Final
    • io.netty.netty-codec-http2 с 4.1.93.Final до 4.1.96.Final
    • io.netty.netty-codec-socks от 4.1.93.Final до 4.1.96.Final
    • io.netty.netty-common с версии 4.1.93.Final до версии 4.1.96.Final
    • io.netty-handler от 4.1.93.Final до 4.1.96.Final
    • io.netty.netty-handler-proxy от 4.1.93.Final до 4.1.96.Final
    • io.netty.netty-resolver от 4.1.93.Final до 4.1.96.Final
    • io.netty.netty-transport от 4.1.93.Final до 4.1.96.Final
    • io.netty.netty-transport-classes-epoll от 4.1.93.Final до 4.1.96.Final
    • io.netty.netty-transport-classes-kqueue от 4.1.93.Final до 4.1.96.Final
    • io.netty.netty-transport-native-epoll от 4.1.93.Final-linux-x86_64 до 4.1.96.Final-linux-x86_64
    • io.netty.netty-transport-native-kqueue с версии 4.1.93.Final-osx-x86_64 на версию 4.1.96.Final-osx-x86_64
    • io.netty.netty-transport-native-unix-common от 4.1.93.Final до 4.1.96.Final
    • net.snowflake.snowflake-jdbc от 3.13.29 до 3.13.33
    • org.apache.orc.orc-core от 1.9.0-shaded-protobuf до 1.9.1-shaded-protobuf
    • org.apache.orc.orc-mapreduce от 1.9.0-shaded-protobuf до 1.9.1-shaded-protobuf
    • org.apache.orc.orc-shims от 1.9.0 до 1.9.1

Apache Spark

Databricks Runtime 14.1 включает Apache Spark 3.5.0. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 14.0 (EoS), а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

  • [SPARK-45088] [DBRRM-557] Отменить «[SC-142785][python][CONNECT] Исправить работу getitem с дублирующимися столбцами»
  • [SPARK-43453] [DBRRM-557] Отменить «[SC-143135][ps] Игнорировать namesMultiIndex когда axis=1 для concat»
  • [SPARK-45225] [ SC-143207][sql] XML: поддержка URL-адреса XSD-файла
  • ru-RU: [SPARK-45156] [ SC-142782][sql] Обернуть inputName в обратные апострофы в NON_FOLDABLE_INPUT классе ошибок
  • [SPARK-44910] [ SC-143082][sql] Encoders.bean не поддерживает суперклассы с аргументами универсального типа
  • [SPARK-43453] [SC-143135][ps] Игнорировать namesMultiIndex, когда axis=1 для concat
  • [SPARK-44463] [ SS][connect] Улучшение обработки ошибок для потокового подключения Python-работника
  • [SPARK-44960] [ SC-141023][ui] Unescape и состоит из сводки ошибок на страницах пользовательского интерфейса
  • [SPARK-44788] [SC-142980][connect][PYTHON][SQL] Добавление from_xml и schema_of_xml в pyspark, spark connect и SQL Function
  • [SPARK-44614] [ SC-138460][python][CONNECT][3.5] Добавление отсутствующих пакетов в setup.py
  • [SPARK-45151] [ SC-142861][core][UI] Поддержка дампа потока на уровне задач
  • [SPARK-45056] [ SC-142779][python][SS][connect] Тесты на завершение для streamingQueryListener и foreachBatch
  • [SPARK-45084] [SC-142828][ss] StateOperatorProgress для использования точного эффективного номера раздела перетасовки
  • [SPARK-44872] [SC-142405][connect] Инфраструктура серверного тестирования и ReattachableExecuteSuite
  • [SPARK-45197] [ SC-142984][core] Добавить StandaloneRestServerJavaModuleOptions в драйверы
  • [SPARK-44404] [ SC-139601][sql] Назначьте имена классу ошибок LEGACY_ERROR_TEMP[1009,1010,1013,1015,1016,1278]
  • [SPARK-44647] [ SC-142297][sql] Поддержка SPJ, где ключи соединения меньше ключей кластера
  • [SPARK-45088] [SC-142785][python][CONNECT] Позволить getitem работать с повторяющимися столбцами
  • [SPARK-45128] [ SC-142851][sql] Поддержка CalendarIntervalType в стрелке
  • [SPARK-45130] [ SC-142976][connect][ML][python] Избегайте использования модели машинного обучения Spark для изменения входного кадра данных pandas
  • [SPARK-45034] [ SC-142959][sql] Поддержка детерминированного режима функции
  • [SPARK-45173] [ SC-142931][ui] Удалите некоторые ненужные файлы sourceMapping в пользовательском интерфейсе
  • [SPARK-45162] [SC-142781][sql] Поддержка параметров карт и массивов, создаваемых с помощью call_function
  • [SPARK-45143] [ SC-142840][python][CONNECT] Сделать PySpark совместимым с PyArrow 13.0.0
  • [SPARK-45174] [ SC-142837][core] Поддержка spark.deploy.maxDrivers
  • [SPARK-45167] [ SC-142956][connect][PYTHON] клиент Python должен вызывать release_all
  • [SPARK-36191] [SC-142777][sql] Обработка лимита и сортировки в коррелированных скалярных (латеральных) подзапросах
  • [SPARK-45159] [ SC-142829][python] Обработка именованных аргументов только при необходимости
  • [SPARK-45133] [ SC-142512][connect] Отметить запросы Spark Connect как ЗАВЕРШЕННЫЕ после завершения последней задачи с результатом
  • [SPARK-44801] [SC-140802 ][sql][пользовательский интерфейс] Сбор данных об анализе неудачных запросов в прослушивателе и пользовательском интерфейсе
  • [SPARK-45139] [SC-142527][sql] Добавить DatabricksDialect для обработки преобразования типов SQL
  • [SPARK-45157] [ SC-142546][sql] Избегайте повторяющихся if проверок [On|Off|HeapColumnVector
  • [SPARK-45077] Возврат "[SC-142069][ui] Обновление dagre-d3.js с 04.3 до 0.6.4"
  • [SPARK-45145] [ SC-142521][пример] Добавление примера JavaSparkSQLCli
  • [SPARK-43295] Возврат "[SC-142254][ps] Поддержка столбцов строковых типов для DataFrameGroupBy.sum"
  • [SPARK-44915] [ SC-142383][core] Проверьте контрольную сумму переключения данных ПВХ перед восстановлением
  • [SPARK-45147] [ SC-142524][core] Удалить System.setSecurityManager использование
  • [SPARK-45104] [ SC-142206][ui] Обновление graphlib-dot.min.js до версии 1.0.2
  • [SPARK-44238] [ SC-141606][core][SQL] Введите новый readFrom метод с входными данными массива байтов для BloomFilter
  • [SPARK-45060] [SC-141742][sql] Исправлена внутренняя ошибка в формате to_char()NULL
  • [SPARK-43252] [SC-142381][sql] Заменить класс _LEGACY_ERROR_TEMP_2016 ошибок на внутреннюю ошибку
  • [SPARK-45069] [SC-142279][sql] Переменная SQL всегда должна быть разрешена после внешней ссылки
  • [SPARK-44911] [ SC-142388][sql] Создание таблицы hive с недопустимым столбцом должно возвращать класс ошибок
  • [SPARK-42754] [SC-125567][sql][UI] Исправлены проблемы с обратной совместимостью при вложенном выполнении SQL
  • [SPARK-45121] [ SC-142375][connect][PS] Поддерживает Series.empty для Spark Connect.
  • [SPARK-44805] [ SC-142203][sql] getBytes/getShorts/getInts/etc. должен работать в столбцовом векторе со словарем.
  • [SPARK-45027] [ SC-142248][python] Скрыть внутренние функции и переменные от автодополнения в pyspark.sql.functions
  • [SPARK-45073] [ SC-141791][ps][CONNECT] Заменить LastNotNull на Last(ignoreNulls=True)
  • [SPARK-44901] [SC-141676][sql] Ручной перенос: добавление API в методе анализа UDTF на Python для возвращения выражений секционирования и упорядочения
  • [SPARK-45076] [SC-141795][ps] Переключиться на встроенную функцию
  • [SPARK-44162] [SC-141605][core] Поддержка G1GC в метриках Spark
  • [SPARK-45053] [ SC-141733][python][НЕЗНАЧИТЕЛЬНЫЙ] Улучшение логирования при несоответствии версии Python
  • [SPARK-44866] [ SC-1422221][sql] Добавьте SnowflakeDialect для правильной обработки типа BOOLEAN
  • [SPARK-45064] [ SC-141775][python][CONNECT] Добавьте отсутствующий scale параметр в ceil/ceiling
  • [SPARK-45059] [ SC-141757][connect][PYTHON] Добавление try_reflect функций в Scala и Python
  • [SPARK-43251] [SC-142280][sql] Замените класс ошибки _LEGACY_ERROR_TEMP_2015 внутренней ошибкой
  • [SPARK-45052] [ SC-141736][sql][PYTHON][connect] Привести имена выходных столбцов псевдонимов функции в соответствие с SQL.
  • [SPARK-44239] [ SC-141502][sql] Свободная память, выделенная большими векторами при сбросе векторов
  • [SPARK-43295] [ SC-142254][ps] Поддержка столбцов строковых типов для DataFrameGroupBy.sum
  • [SPARK-45080] [ SC-142062][ss] Явно вызывает поддержку columnar в источниках данных потоковой передачи DSv2.
  • [SPARK-45036] [ SC-141768][sql] SPJ: упрощение логики для обработки частично кластеризованного распределения
  • [SPARK-45077] [ SC-142069][ui] Обновление dagre-d3.js с 0.4.3 до 0.6.4
  • [SPARK-45091] [ SC-142020][python][CONNECT][sql] Функция floor/round/bround принимает тип столбца scale
  • [SPARK-45090] [SC-142019][python][CONNECT] DataFrame.{cube, rollup} поддерживать порядковые значения столбцов
  • [SPARK-44743] [ SC-141625][sql] Добавить try_reflect функцию
  • [SPARK-45086] [ SC-142052][ui] Отображение шестнадцатеричного представления для блокировки потока (хэш-кода)
  • [SPARK-44952] [SC-141644][sql][PYTHON] Поддержка именованных аргументов в агрегатных пользовательских функциях Pandas (UDF)
  • [SPARK-44987] [ SC-141552][sql] Назначьте имя классу ошибок _LEGACY_ERROR_TEMP_1100
  • [SPARK-45032] [ SC-141730][connect] Исправлены предупреждения компиляции, связанные с Top-level wildcard is not allowed and will error under -Xsource:3
  • [SPARK-45048] [SC-141629][connect] Добавить дополнительные тесты для клиента на Python и подключаемого выполнения
  • [SPARK-45072] [ SC-141807][connect] Исправьте внешние области для классов аммонита
  • [SPARK-45033] [ SC-141759][sql] Поддержка параметризованных карт sql()
  • [SPARK-45066] [SC-141772][sql][PYTHON][connect] Сделать так, чтобы функция repeat принимала тип столбца n
  • [SPARK-44860] [ SC-141103][sql] Добавление функции SESSION_USER
  • [SPARK-45074] [ SC-141796][python][CONNECT] DataFrame.{sort, sortWithinPartitions} поддерживает порядковые номера столбцов
  • [SPARK-45047] [SC-141774][python][CONNECT] DataFrame.groupBy поддержка порядковых значений
  • [SPARK-44863] [ SC-140798][ui] Добавьте кнопку для скачивания дампа потока в виде txt в пользовательском интерфейсе Spark
  • [SPARK-45026] [ SC-141604][connect] spark.sql должен поддерживать типы данных, несовместимые со стрелкой
  • [SPARK-44999] [ SC-141145][core] Рефакторинг ExternalSorter для уменьшения проверок shouldPartition при вызове getPartition
  • [SPARK-42304] [ SC-141501][sql] Переименование _LEGACY_ERROR_TEMP_2189 в GET_TABLES_BY_TYPE_UNSUPPORTED_BY_HIVE_VERSION
  • [SPARK-43781] [ SC-139450][sql] Исправлена ошибка IllegalStateException при совместном использовании двух наборов данных, производных от одного источника.
  • [SPARK-45018] [SC-141516][python][CONNECT] Добавление CalendarIntervalType в клиент Python
  • [SPARK-45024] [ SC-141513][python][CONNECT] Отфильтровать некоторые конфигурации в создании сеанса
  • [SPARK-45017] [ SC-141508][python] Добавление CalendarIntervalType в PySpark
  • [SPARK-44720] [SC-139375][connect] Заставьте Dataset использовать Encoder вместо AgnosticEncoder
  • [SPARK-44982] [ SC-141027][connect] Пометить конфигурации сервера Spark Connect как статические
  • [SPARK-44839] [ SC-140900][ss][CONNECT] Улучшение ведения журнала ошибок при попытке пользователя сериализовать сеанс Spark
  • [SPARK-44865] [SC-140905][ss] Сделать так, чтобы StreamingRelationV2 поддерживал столбец метаданных
  • [SPARK-45001] [SC-141141][python][CONNECT] Реализация функции DataFrame.foreachPartition
  • [SPARK-44497] [ SC-141017][webui] Показать идентификатор секции задачи в таблице задач
  • [SPARK-45006] [ SC-141143][ui] Используйте тот же формат дат, что и у других элементов пользовательского интерфейса, для оси X временной шкалы
  • [SPARK-45000] [ SC-141135][python][CONNECT] Реализация DataFrame.foreach
  • [SPARK-44967] [ SC-141137][sql][CONNECT] Единица следует учитывать сначала перед использованием boolean для TreeNodeTag
  • [SPARK-44993] [ SC-141088][core] Добавить ShuffleChecksumUtils.compareChecksums, повторно используя ShuffleChecksumTestHelp.compareChecksums
  • [SPARK-44807] [ SC-140176][connect] Добавление Dataset.metadataColumn в Клиент Scala
  • [SPARK-44965] [ SC-141098][python] Скрытие внутренних функций и переменных из pyspark.sql.functions
  • [SPARK-44983] [SC-141030][sql] Преобразуйте двоичные данные в строку по следующим форматам: to_char, hex, base64
  • [SPARK-44980] [ DBRRM-462][sc-141024][PYTHON][connect] Исправление унаследованных именованных параметров для работы в createDataFrame
  • [SPARK-44985] [ SC-141033][core] Используйте toString вместо stacktrace для восстановления задач threadDump
  • [SPARK-44984] [ SC-141028][python][CONNECT] Удалить _get_alias из DataFrame
  • [SPARK-44975] [SC-141013][sql] Удалить ненужное переопределение разрешенных операций в BinaryArithmetic
  • [SPARK-44969] [SC-140957 ][sql] Повторное использование ArrayInsert в ArrayAppend
  • [SPARK-44549] [SC-140714][sql] Поддержка оконных функций в коррелированных скалярных подзапросах
  • [SPARK-44938] [ SC-140811][sql] Измените значение spark.sql.maxSinglePartitionBytes по умолчанию на 128m
  • [SPARK-44918] [SC-140816][sql][PYTHON] Поддержка именованных аргументов в скалярных UDF на Python/Pandas
  • [SPARK-44966] [SC-140907][core][CONNECT] Изменить неизменяемое var на val
  • [SPARK-41471] [ SC-140804][sql] Сокращение перетасовки Spark, когда только одна сторона соединения использует KeyGroupedPartitioning
  • [SPARK-44214] [SC-140528][core] Поддержка интерфейса журнала в реальном времени для Spark Driver
  • [SPARK-44861] [ SC-140716][connect] jsonignore SparkListenerConnectOperationStarted.planRequest
  • [SPARK-44776] [ SC-140519][connect] Добавить ProducedRowCount в SparkListenerConnectOperationFinished
  • [SPARK-42017] [SC-140765][python][CONNECT] df['col_name'] должен проверить имя столбца
  • [SPARK-40178] [SC-140433] [sql][CONNECT] Легкая поддержка подсказок для объединения для PySpark и R
  • [SPARK-44840] [ SC-140593][sql] Сделайте array_insert() 1 на основе отрицательных индексов
  • [SPARK-44939] [ SC-140778][r] Поддержка Java 21 в SparkR SystemRequirements
  • [SPARK-44936] [ SC-140770][core] Упрощение журнала при достижении ограничения памяти в гибридном хранилище Spark
  • [SPARK-44908] [ SC-140712][ml][CONNECT] Исправление функциональности параметра foldCol в кросс-валидации
  • [SPARK-44816] [ SC-140717][connect] Улучшение сообщения об ошибке, если класс UDF не найден
  • [SPARK-44909] [ SC-140710][ml] Пропустить запуск сервера потоковой передачи журналов распространителя факелов, если он недоступен
  • [SPARK-44920] [ SC-140707][core] Использование await() вместо awaitUninterruptibly() в TransportClientFactory.createClient()
  • [SPARK-44905] [ SC-140703][sql] Stateful lastRegex вызывает NullPointerException на eval для regexp_replace
  • [SPARK-43987] [SC-139594][shuffle] Завершение обработки ShuffleMerge для выделенных пулов потоков
  • [SPARK-42768] [ SC-140549][sql] Включение кэшированного плана применяет AQE по умолчанию
  • [SPARK-44741] [SC-139447][core] Поддержка фильтров метрик, основанных на регулярных выражениях, в StatsdSink
  • [SPARK-44751] [SC-140532 ][sql] Реализация интерфейса FileFormat XML
  • [SPARK-44868] [ SC-140438][sql] Преобразование даты и времени в строку по to_char/to_varchar
  • [SPARK-44748] [SC-140504][sql] Выполнение запроса для PARTITION предложения BY в аргументах UDTF TABLE
  • [SPARK-44873] [SC-140427] Поддержка изменения представления с вложенными столбцами в клиенте Hive
  • [SPARK-44876] [ SC-140431][python] Исправлена оптимизация UDF Python для Apache Arrow в Spark Connect.
  • [SPARK-44520] [SC-137845][sql] Замените термин UNSUPPORTED_DATA_SOURCE_FOR_DIRECT_QUERY на UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY и раскрытие корневого элемента AE
  • [SPARK-42664] [SC-139769][connect] Поддержка функции bloomFilter для DataFrameStatFunctions
  • [SPARK-43567] [SC-139227][ps] Поддержка use_na_sentinelfactorize
  • [SPARK-44859] [ SC-140254][ss] Исправлено неправильное имя свойства в документе по структурированной потоковой передаче
  • [SPARK-44822] [SC-140182][python][SQL] Сделать UDTF Python по умолчанию недетерминированными
  • [SPARK-44731] [ SC-139524][python][CONNECT] Обеспечивает, что TimestampNTZ работает с литералами в Python Spark Connect
  • [SPARK-44836] [ SC-140180][python] Refactor Arrow Python UDTF
  • [SPARK-44714] [SC-139238] Упрощение ограничения разрешения LCA относительно запросов с использованием HAVING.
  • [SPARK-44749] [ SC-139664][sql][PYTHON] Поддержка именованных аргументов в Python UDTF
  • [SPARK-44737] [SC-139512][sql][пользовательский интерфейс] Не следует отображать ошибки в формате JSON на странице SQL для объектов, не являющихся SparkThrowables, на вкладке SQL
  • [SPARK-44665] [ SC-139307][python] Добавить поддержку функции pandas DataFrame assertDataFrameEqual
  • [SPARK-44736] [SC-139622][connect] Добавление Dataset.explode в клиент Scala Spark Connect
  • [SPARK-44732] [ SC-139422][sql] Встроенная поддержка источника данных XML
  • [SPARK-44694] [ SC-139213][python][CONNECT] Рефакторинг активных сеансов и предоставление их в качестве API
  • [SPARK-44652] [SC-138881] Возникает ошибка, если только одна функция df имеет значение None
  • [SPARK-44562] [ SC-138824][sql] Добавление OptimizeOneRowRelationSubquery в пакет вложенных подзапросов
  • [SPARK-44717] [ SC-139319][python][PS] Уважение timestampNTZ в перенастроке
  • [SPARK-42849] [SC-139365] [SQL] Переменные сеанса
  • [SPARK-44236] [ SC-139239][sql] Отключить WholeStageCodegen, если задано spark.sql.codegen.factoryMode значение NO_CODEGEN
  • [SPARK-44695] [ SC-139316][python] Улучшение сообщения об ошибке для DataFrame.toDF
  • [SPARK-44680] [ SC-139234][sql] Улучшение ошибки для параметров в DEFAULT
  • [SPARK-43402] [SC-138321][sql] FileSourceScanExec поддерживает проталкивание фильтра данных со скалярным подзапросом
  • [SPARK-44641] [ SC-139216][sql] Неправильный результат в определенных сценариях, когда SPJ не активируется
  • [SPARK-44689] [ SC-139219][connect] Сделайте обработку исключений функции SparkConnectPlanner#unpackScalarScalaUDF более универсальной
  • [SPARK-41636] [ SC-139061][sql] Убедитесь, что selectFilters возвращает предикаты в детерминированном порядке
  • [SPARK-44132] [ SC-139197][sql] Материализация имён столбцов соединения для избежания сбоя генерации кода
  • [SPARK-42330] [ SC-138838][sql] Назначьте имя RULE_ID_NOT_FOUND классу ошибок _LEGACY_ERROR_TEMP_2175
  • [SPARK-44683] [ SC-139214][ss] Уровень ведения журнала не передается поставщику хранилища состояний RocksDB правильно
  • [SPARK-44658] [ SC-138868][core] ShuffleStatus.getMapStatus должен возвращать None вместо Some(null)
  • [SPARK-44603] [SC-138353] Добавление pyspark.testing в setup.py
  • [SPARK-44252] [SC-137505][ss] Создайте новый класс ошибок и примените его для случая, когда загрузка состояния из DFS завершается ошибкой
  • [SPARK-29497] [DBRRM-396][sc-138477][CONNECT] Вызывает ошибку, если UDF не десериализируется.
  • [SPARK-44624] [ DBRRM-396][sc-138900][CONNECT] Retry ExecutePlan в случае, если первоначальный запрос не достиг сервера
  • [SPARK-41400] [DBRRM-396][sc-138287][CONNECT] Удаление зависимости Connect Client Catalyst
  • [SPARK-44059] [ SC-138833][sql] Улучшение сообщений об ошибках для SQL с именованными аргументами
  • [SPARK-44620] [SC-138831][sql][PS][connect] Заставьте ResolvePivot сохранить Plan_ID_TAG
  • [SPARK-43838] [ SC-137413][sql] Исправление ошибки, из-за которой вложенные запросы к одной таблице с предложением HAVING не оптимизируются
  • [SPARK-44555] [ SC-138820][sql] Использование checkError() для проверки исключения в command Suite и назначения некоторых имен классов ошибок
  • [SPARK-44280] [SC-138821][sql] Добавить convertJavaTimestampToTimestamp в API JDBCDialect
  • [SPARK-44602] [ SC-138337][sql][CONNECT][ps] Сделать так, чтобы WidenSetOperationTypes сохранял Plan_ID_TAG
  • [SPARK-42941] [ SC-138389][ss][CONNECT] Python StreamingQueryListener
  • [SPARK-43838] Возврат “[SC-137413][sql] Исправление подзапросов на одной таблице…”
  • [SPARK-44538] [ SC-138178][connect][SQL] Повторное восстановление Row.jsonValue и друзей
  • [SPARK-44421] [SC-138434][spark-44423][CONNECT] Переподключаемое исполнение в Spark Connect
  • [SPARK-43838] [ SC-137413][sql] Исправление ошибки, из-за которой вложенные запросы к одной таблице с предложением HAVING не оптимизируются
  • [SPARK-44587] [SC-138315][sql][CONNECT] Увеличить предел рекурсии маршализатора protobuf
  • [SPARK-44605] [ SC-138338][core] Усовершенствование внутреннего API ShuffleWriteProcessor
  • [SPARK-44394] [ SC-138291][connect][WEBUI] Добавление страницы пользовательского интерфейса Spark для Spark Connect
  • [SPARK-44585] [SC-138286][mllib] Исправлено условие предупреждения в MLLib RankingMetrics ndcgAk
  • [SPARK-44198] [ SC-138137][core] Поддержка распространения уровня журнала на исполнителей
  • [SPARK-44454] [ SC-138071][sql][HIVE] HiveShim getTablesByType поддерживает резервную базу данных
  • [SPARK-44425] [ SC-138135][connect] Убедитесь, что предоставленный пользователем sessionId является UUID
  • [SPARK-43611] [ SC-138051][sql][PS][connect] Заставить ExtractWindowExpressions сохранить PLAN_ID_TAG
  • [SPARK-44560] [SC-138117][python][CONNECT] Улучшение тестов и документации для Python UDF на основе Arrow
  • [SPARK-44482] [ SC-138067][connect] Сервер подключения должен иметь возможность указывать адрес привязки
  • [SPARK-44528] [ SC-138047][connect] Поддержка правильного использования hasattr() для DataFrame Connect
  • [SPARK-44525] [ SC-138043][sql] Улучшение сообщения об ошибке, если метод Invoke не найден
  • [SPARK-44355] [ SC-137878][sql] Перемещение WithCTE в командные запросы

Поддержка драйверов ODBC и JDBC в Databricks

Databricks поддерживает драйверы ODBC/JDBC, выпущенные за последние 2 года. Скачайте недавно выпущенные драйверы и обновления (скачать ODBC, скачать JDBC).

Ознакомьтесь с обслуживающими обновлениями для Databricks Runtime версии 14.1.

Системная среда

  • Операционная система: Ubuntu 22.04.3 LTS
  • Java: Zulu 8.72.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.3.1
  • Delta Lake: 3.0.0

Установленные библиотеки Python

Библиотека Версия Библиотека Версия Библиотека Версия
anyio 3.5.0 argon2-cffi 21.3.0 argon2-cffi-связки 21.2.0
асттокенс 2.0.5 атрибуты 22.1.0 Обратный вызов 0.2.0
beautifulsoup4 4.11.1 черный 22.6.0 отбеливатель 4.1.0
указатель поворота 1.4 boto3 1.24.28 botocore 1.27.96
сертификат 2022.12.7 cffi 1.15.1 chardet 4.0.0
нормализатор кодировки 2.0.4 щелчок 8.0.4 коммуникация 0.1.2
Contourpy 1.0.5 криптография 39.0.1 велосипедист 0.11.0
Cython 0.29.32 databricks-sdk 0.1.6 dbus-python 1.2.18
debugpy 1.6.7 декоратор 5.1.1 defusedxml 0.7.1
Дистлиб 0.3.7 преобразование докстринга в язык Markdown 0.11 точки входа 0,4
исполнение 0.8.3 Обзор аспектов 1.1.1 fastjsonschema 2.18.0
файловая блокировка 3.12.3 шрифтовые инструменты 4.25.0 Библиотека среды выполнения GCC 1.10.0
googleapis-common-protos (общие протоколы googleapis) 1.60.0 grpcio 1.48.2 grpcio-status 1.48.1
httplib2 0.20.2 IDNA 3.4 importlib-metadata 4.6.4
ipykernel 6.25.0 ipython 8.14.0 ipython-genutils (утилиты для iPython) 0.2.0
ipywidgets (виджеты для IPython) 7.7.2 джедаи 0.18.1 джипни 0.7.1
Джинджа2 3.1.2 jmespath 0.10.0 joblib 1.2.0
jsonschema (JSON-схема) 4.17.3 Джупитер-клиент 7.3.4 jupyter-сервер 1.23.4
jupyter_core (ядро Jupyter) 5.2.0 jupyterlab-pygments 0.1.2 jupyterlab-мини-приложения 1.0.0
ключница 23.5.0 Кивисолвер 1.4.4 launchpadlib 1.10.16
lazr.restfulclient 0.14.4 lazr.uri 1.0.6 lxml 4.9.1
MarkupSafe 2.1.1 matplotlib 3.7.0 матплотлиб-инлайн 0.1.6
МакКейб 0.7.0 Мистун 0.8.4 more-itertools 8.10.0
mypy-extensions (расширения для mypy) 0.4.3 nbclassic 0.5.2 nbclient 0.5.13
Перекодировщик nbconvert 6.5.4 nbformat 5.7.0 nest-asyncio 1.5.6
nodeenv 1.8.0 записная книжка 6.5.2 ноутбук_шим 0.2.2
numpy (библиотека для работы с массивами и матрицами в Python) 1.23.5 OAuthlib 3.2.0 упаковка 22,0
Панды 1.5.3 пандокфильтры 1.5.0 Парсо 0.8.3
спецификация пути 0.10.3 простак 0.5.3 pexpect (библиотека Python для автоматизации взаимодействия с приложениями) 4.8.0
пиклшер 0.7.5 Подушка 9.4.0 пит 22.3.1
Platformdirs 2.5.2 библиотека Plotly для визуализации данных 5.9.0 менеджер плагинов Pluggy 1.0.0
prometheus-client 0.14.1 Комплект инструментов для подсказок 3.0.36 protobuf (протобуф) 4.24.0
psutil (пакет Python для работы с процессами и системами) 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
пьюр-эвэл 0.2.2 pyarrow 8.0.0 pycparser 2.21
pydantic (библиотека Python для валидации данных) 1.10.6 pyflakes (аналитический инструмент для Python) 3.0.1 Пигменты 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc — библиотека Python для работы с базами данных через ODBC 4.0.32
pyparsing (библиотека для синтаксического анализа в Python) 3.0.9 pyright 1.1.294 пирсистент 0.18.0
python-dateutil (библиотека для работы с датами и временем в Python) 2.8.2 python-lsp-jsonrpc 1.0.0 Сервер Python LSP 1.7.1
Pytoolconfig 1.2.5 pytz (библиотека Python для работы с часовыми поясами) июль 2022 года pyzmq 23.2.0
Запросы 2.28.1 верёвка 1.7.0 s3transfer 0.6.2
scikit-learn (библиотека для машинного обучения) 1.1.1 мореборн 0.12.2 SecretStorage 3.3.1
Send2Trash 1.8.0 setuptools (пакет для установки и управления Python-пакетами) 65.6.3 шесть 1.16.0
сниффио 1.2.0 ситечко для супа 2.3.2.post1 ssh-import-id (импортировать идентификатор SSH) 5.11
стековые данные 0.2.0 statsmodels (библиотека Python для статистического моделирования) 0.13.5 упорство 8.1.0
закончено 0.17.1 Threadpoolctl 2.2.0 tinycss2 1.2.1
токенизация-рт 4.2.1 томли 2.0.1 торнадо 6.1
Трейтлеты 5.7.1 typing_extensions (расширения для ввода текста) 4.4.0 ujson 5.4.0
автоматические обновления без участия пользователя 0,1 urllib3 1.26.14 virtualenv 20.16.7
wadllib 1.3.6 wcwidth (ширина символа в Unicode) 0.2.5 веб-энкодинги 0.5.1
websocket-клиент 0.58.0 чтоэто за патч 1.0.2 колесо 0.38.4
widgetsnbextension 3.6.1 yapf (форматировщик Python кода) 0.31.0 ZIPP 1.0.0
SciPy 1.10.1

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка CRAN от 2023-02-10 в Posit Package Manager.

Библиотека Версия Библиотека Версия Библиотека Версия
стрела 12.0.1 аскпасс 1.1 утверждать, что 0.2.1
обратные порты 1.4.1 основа 4.3.1 base64enc 0.1-3
бит 4.0.5 64-бит 4.0.5 комок 1.2.4
сапог 1.3-28 варить 1,0–8 жизнерадостность 1.1.3
метла 1.0.5 bslib 0.5.0 кашемир 1.0.8
вызывающий абонент 3.7.3 каретка 6.0-94 целлрейнджер 1.1.0
хронометр 2.3-61 класс 7.3-22 интерфейс командной строки (CLI) 3.6.1
клиппер 0.8.0 часы 0.7.0 кластер 2.1.4
codetools 0.2-19 цветовое пространство 2.1-0 коммонмарк 1.9.0
компилятор 4.3.1 конфиг 0.3.1 испытывающий противоречивые чувства 1.2.0
cpp11 0.4.4 карандаш 1.5.2 верительные грамоты 1.3.2
завиток 5.0.1 таблица данных 1.14.8 Наборы данных 4.3.1
ДБИ 1.1.3 dbplyr 2.3.3 описание 1.4.2
средства разработки 2.4.5 Схема 1.6.5 diffobj 0.3.5
дайджест 0.6.33 направленное вниз освещение 0.4.3 dplyr (пакет для обработки данных в R) 1.1.2
dtplyr 1.3.1 e1071 1.7-13 многоточие 0.3.2
оценивать 0.21 поклонники 1.0.4 Цвета 2.1.1
фастмап 1.1.1 fontawesome 0.5.1 для кошек 1.0.0
foreach 1.5.2 иностранный 0.8-82 кузница 0.2.0
fs 1.6.2 будущее 1.33.0 будущее.применить 1.11.0
полоскать горло 1.5.1 Дженерики 0.1.3 Герт 1.9.2
ggplot2 3.4.2 gh 1.4.0 gitcreds 0.1.2
glmnet 4.1-7 глобальные переменные 0.16.2 клей 1.6.2
googledrive 2.1.1 googlesheets4 1.1.1 Говер 1.0.1
графика 4.3.1 grDevices 4.3.1 сеть 4.3.1
gridExtra 2.3 gsubfn 0,7 таблица G 0.3.3
каска 1.3.0 убежище 2.5.3 выше 0.10
HMS 1.1.3 инструменты для HTML 0.5.5 HTML-виджеты 1.6.2
httpuv 1.6.11 ХТТР 1.4.6 httr2 0.2.3
Идентификаторы 1.0.1 ini 0.3.1 ипред 0.9-14
изо-лента 0.2.7 Itераторы 1.0.14 jquerylib 0.1.4
jsonlite 1.8.7 KernSmooth 2.23-21 knitr (пакет для динамической генерации отчетов в языке программирования R) 1,43
маркирование 0.4.2 позже 1.3.1 решётка 0.21-8
лава 1.7.2.1 жизненный цикл 1.0.3 слушай 0.9.0
лубридейт 1.9.2 магриттр 2.0.3 Markdown 1,7
Масса 7.3-60 «Матрица» 1.5-4.1 Запоминание 2.0.1
методы 4.3.1 MGCV 1.8-42 мим 0.12
мини-интерфейс 0.1.1.1 ModelMetrics 1.2.2.2 модельер 0.1.11
munsell 0.5.0 NLME 3.1-162 ннейронная сеть 7.3-19
numDeriv 2016.8-1.1 OpenSSL 2.0.6 параллельный 4.3.1
параллельно 1.36.0 столб 1.9.0 пакджбилд 1.4.2
pkgconfig 2.0.3 pkgdown 2.0.7 пкглоад (pkgload) 1.3.2.1
Плогр 0.2.0 плайр 1.8.8 похвала 1.0.0
prettyunits 1.1.1 pROC 1.18.4 Processx 3.8.2
Prodlim 2023.03.31 profvis 0.3.8 прогресс 1.2.2
progressr 0.13.0 обещания 1.2.0.1 прото 1.0.0
прокси 0.4-27 п.с. 1.7.5 мурлыканье 1.0.1
r2d3 0.2.6 Р6 2.5.1 ragg 1.2.5
randomForest (рандомФорест) 4.7-1.1 рэпдирс 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.11 RcppEigen 0.3.3.9.3
readr 2.1.4 readxl (пакет для чтения Excel-файлов) 1.4.3 Рецепты 1.0.6
реванш 1.0.1 реванш2 2.1.2 пульты дистанционного управления 2.4.2
репрекс 2.0.2 Изменить форму2 1.4.4 rlang 1.1.1
rmarkdown (инструмент для создания динамических документов в R) 2,23 RODBC 1.3–20 roxygen2 7.2.3
rpart (пакет для построения деревьев решений в языке программирования R) 4.1.19 rprojroot 2.0.3 Rserve (Рcерве) 1.8-11
RSQLite 2.3.1 рстудиоапи 0.15.0 rversions 2.1.2
Рвест 1.0.3 дерзость 0.4.6 весы 1.2.1
селектор 0.4-2 информация о сессии 1.2.2 форма 1.4.6
блестящий 1.7.4.1 sourcetools 0.1.7-1 Sparklyr 1.8.1
SparkR 3.5.0 пространственный 7.3-15 Сплайны 4.3.1
SQLDF 0,4-11 SQUAREM январь 2021 статистика 4.3.1
статистика4 4.3.1 стринги 1.7.12 стрингр 1.5.0
выживание 3.5-5 СИС 3.4.2 systemfonts 1.0.4
язык программирования Tcl/Tk 4.3.1 testthat 3.1.10 форматирование текста 0.3.6
Tibble 3.2.1 Тидыр 1.3.0 tidyselect 1.2.0
tidyverse (тайдивёрс) 2.0.0 смена времени 0.2.0 времяДата 4022.108
tinytex 0.45 инструменты 4.3.1 База данных часовых зон (tzdb) 0.4.0
URL-чекер 1.0.1 используйэто 2.2.2 utf8 1.2.3
утилиты 4.3.1 UUID (Универсальный уникальный идентификатор) 1.1-0 VCTRS 0.6.3
viridisLite 0.4.2 брррм 1.6.3 Уолдо 0.5.1
вибриссы 0.4.1 увядать 2.5.0 xfun 0,39
xml2 1.3.5 xopen 1.0.0 xtable 1.8-4
YAML 2.3.7 ZIP-архив 2.3.0

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)

Идентификатор группы Идентификатор артефакта Версия
Антлер Антлер 2.7.7
com.amazonaws Клиент Amazon Kinesis 1.12.0
com.amazonaws aws-java-sdk-autoscaling (автоматическое масштабирование) 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws AWS Java SDK для CloudSearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy (AWS Java SDK для CodeDeploy) 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config (конфигурация SDK Java для AWS) 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline (пакет для работы с Data Pipeline на Java) 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing (пакет программного обеспечения для балансировки нагрузки в AWS, написанный на Java) 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder (Java SDK для Elastic Transcoder) 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier (пакет программного обеспечения для работы с Glacier) 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport (пакет для импорта и экспорта данных) 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms (пакет программного обеспечения для работы с AWS KMS) 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws AWS Java SDK для машинного обучения 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws AWS Java SDK для RDS 1.12.390
com.amazonaws AWS Java SDK для Redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm (AWS SDK для Java — SSM модуль) 1.12.390
com.amazonaws AWS Java SDK для Storage Gateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws Поддержка AWS Java SDK 1.12.390
com.amazonaws aws-java-sdk-swf библиотеки 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics поток 2.9.6
com.databricks Rserve (Рcерве) 1.8-3
com.databricks SDK для Java от Databricks 0.7.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware криогенное затенение 4.0.2
com.esotericsoftware минлог 1.3.0
com.fasterxml одноклассник 1.3.4
com.fasterxml.jackson.core аннотации Джексона 2.15.2
com.fasterxml.jackson.core джексон-ядро 2.15.2
com.fasterxml.jackson.core джексон-databind 2.15.2
com.fasterxml.jackson.dataformat Джексон-формат-данных-CBOR 2.15.2
com.fasterxml.jackson.datatype джексон-дейтайп-джода 2.15.2
com.fasterxml.jackson.datatype джексон-datatype-jsr310 2.15.1
com.fasterxml.jackson.module джексон-модуль-паранэймер 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine кофеин 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib нативная_ссылка-java 1.1
com.github.fommil.netlib нативная_ссылка-java 1.1-коренные жители
com.github.fommil.netlib Нативная_система-java 1.1
com.github.fommil.netlib Нативная_система-java 1.1-коренные жители
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-коренные жители
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-коренные жители
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson Gson 2.10.1
com.google.crypto.tink тинк 1.9.0
com.google.errorprone ошибкоопасные аннотации 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava гуава 15,0
com.google.protobuf protobuf-java 2.6.1
com.helger Профилировщик 1.1.1
com.jcraft джсч 0.1.55
com.jolbox bonecp 0.8.0.ВЫПУСК
com.lihaoyi исходный код_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk (SDK для Azure Data Lake Store) 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf (метод сжатия данных) 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning JSON (формат обмена данными JavaScript) 1.8
com.thoughtworks.paranamer Паранэймер 2.8
com.trueaccord.lenses линзы_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe конфиг 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity юнивосити-парсерс 2.9.1
com.zaxxer ХикариCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
общие коллекции общие коллекции 3.2.2
commons-dbcp commons-dbcp 1.4
загрузка файлов через модуль commons загрузка файлов через модуль commons 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
коммонс-логгинг коммонс-логгинг 1.1.3
коммонс-пул коммонс-пул 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Блас 3.0.3
dev.ludovic.netlib LAPACK (программная библиотека для линейной алгебры) 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift компрессор воздуха 0.25
io.delta delta-sharing-spark_2.12 0.7.5
метрики io.dropwizard.metrics аннотирование метрик 4.2.19
метрики io.dropwizard.metrics основные метрики 4.2.19
метрики io.dropwizard.metrics «metrics-graphite» 4.2.19
метрики io.dropwizard.metrics Метрики-Чек здоровья 4.2.19
метрики io.dropwizard.metrics метрики для Jetty9 4.2.19
метрики io.dropwizard.metrics Метрики-JMX 4.2.19
метрики io.dropwizard.metrics metrics-json 4.2.19
метрики io.dropwizard.metrics метрики для JVM 4.2.19
метрики io.dropwizard.metrics метрики и сервлеты 4.2.19
io.netty netty-all (все пакеты netty) 4.1.96.Final
io.netty буфер Netty 4.1.96.Final
io.netty netty-codec (кодек Netty) 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty нетти-общий 4.1.96.Final
io.netty нетти-хэндлер 4.1.96.Final
io.netty нетти-обработчик-прокси 4.1.96.Final
io.netty Netty-резолвер 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Окончательный-windows-x86_64
io.netty netty-tcnative-classes (классы netty-tcnative) 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty нетти-транспорт-натив-уникс-коммон 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus простой клиент_общий 0.7.0
io.prometheus Симплклиент_дропвизард 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx коллекционер 0.12.0
jakarta.annotation jakarta.annotation-api (аннотация API Джакарты) 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation активация 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction джта 1.1
javax.transaction интерфейс транзакций 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
джлайн джлайн 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna джна 5.8.0
net.razorvine рассол 1.3
net.sf.jpam джпам 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv — инструмент для работы с CSV файлами 2.2.0
net.snowflake snowflake-ingest-sdk (SDK для обработки данных Snowflake) 0.9.6
net.snowflake снежинка-jdbc 3.13.33
net.sourceforge.f2j арпак_комбинированный_все 0,1
org.acplt.remotetea «remotetea-oncrpc» 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr шаблон строки 3.2.1
org.apache.ant муравей 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow формат стрелок 12.0.1
org.apache.arrow arrow-memory-core (ядро памяти стрелы) 12.0.1
org.apache.arrow арроу-мемори-нетти 12.0.1
org.apache.arrow стрелочный вектор 12.0.1
org.apache.avro Авро 1.11.2
org.apache.avro avro-ipc 1.11.2
org.apache.avro avro-mapred 1.11.2
org.apache.commons commons-collections4 4.4.
org.apache.commons Коммонс-компресс 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons коммонс-матх3 3.6.1
org.apache.commons коммонс-текст 1.10.0
org.apache.curator куратор-клиент 2.13.0
org.apache.curator кураторский фреймворк 2.13.0
org.apache.curator куратор рецептов 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches Датаскетчес-мемори 2.0.0
org.apache.derby дерби 10.14.2.0
org.apache.hadoop среда выполнения hadoop-клиента 3.3.6
org.apache.hive хив-билайн 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive Hive-Serde 2.3.9
org.apache.hive хив-шимы 2.3.9
org.apache.hive hive-storage-api (интерфейс хранения данных Hive) 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims хив-шимс-коммон 2.3.9
org.apache.hive.shims планировщик hive-shims 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy плющ 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.20.0
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j2-impl 2.20.0
org.apache.mesos Месос 1.11.0-shaded-protobuf
org.apache.orc орк-кор 1.9.1-shaded-protobuf
org.apache.orc orc-mapreduce (орч-мапредьюс) 1.9.1-shaded-protobuf
org.apache.orc орк-шимы 1.9.1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus аннотации для аудитории 0.13.0
org.apache.zookeeper смотритель зоопарка 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson джексон-core-asl 1.9.13
org.codehaus.jackson джексон-маппер-асл 1.9.13
org.codehaus.janino commons-компилятор 3.0.16
org.codehaus.janino джанино 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core (ядро датануклеус) 4.1.17
org.datanucleus datanucleus-rdbms (модуль DataNucleus для работы с базами данных) 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation (продолжение Jetty) 9.4.52.v20230823
org.eclipse.jetty «jetty-http» 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty Джетти-Плюс 9.4.52.v20230823
org.eclipse.jetty прокси сервер Jetty 9.4.52.v20230823
org.eclipse.jetty защита пристани 9.4.52.v20230823
org.eclipse.jetty сервер Jetty 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty джетти-ютил (jetty-util) 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty Jetty - веб-приложение 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket WebSocket API 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-клиент 9.4.52.v20230823
org.eclipse.jetty.websocket WebSocket-Common 9.4.52.v20230823
org.eclipse.jetty.websocket вебсокет-сервер 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 хк2-локатор 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 локатор ресурсов OSGi 1.0.3
org.glassfish.hk2.external «aopalliance-repackaged» 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers Jersey-container-servlet 2.40
org.glassfish.jersey.containers джерси-контейнер-сервлет-кор 2.40
org.glassfish.jersey.core jersey-client (джерси-клиент) 2.40
org.glassfish.jersey.core джерси-коммон 2.40
org.glassfish.jersey.core Джерси-сервер 2.40
org.glassfish.jersey.inject джерси-hk2 2.40
org.hibernate.validator гибернейт-валидатор 6.1.7.финальная
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging (логирование в JBoss) 3.3.2.Окончательно
org.jdbi jdbi 2.63.1
org.jetbrains аннотации 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client (клиентская библиотека для работы с базой данных MariaDB на Java) 2.7.9
org.mlflow mlflow-spark 2.2.0
org.objenesis Обдженесис 2.5.1
org.postgresql postgresql 42.6.0
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap прокладки 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine РЭнджин 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.9.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt тестовый интерфейс 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest совместимый с ScalaTest 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j (адаптер для JCL, работающий поверх SLF4J) 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.threeten тритен-экстра 1.7.1
org.tukaani хз 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Окончательная
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml SnakeYAML 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
Программное обеспечение Amazon Ion ion-java 1.0.2
стекс stax-api 1.0.1
  • Last updated on