Поделиться через

Databricks Runtime 14.1

  • Статья

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 14.1, на базе Apache Spark 3.5.0.

Databricks выпустила эту версию в октябре 2023 года.

Совет

Сведения о выпуске заметок о выпуске Databricks Runtime, которые достигли окончания поддержки (EoS), см . в заметках о выпуске Databricks Runtime. Версии среды выполнения EoS Databricks устарели и могут не обновляться.

Новые функции и внесенные улучшения

array_insert() основан на 1 для отрицательных индексов

Функция array_insert основана на 1 для положительных и отрицательных индексов. Теперь он вставляет новый элемент в конец входных массивов для индекса -1. Чтобы восстановить прежнее поведение, присвойте параметру spark.sql.legacy.negativeIndexInArrayInsert значение true.

Контрольные точки Delta версии 2, включенные по умолчанию с помощью кластеризации liquid

По умолчанию только что созданные разностные таблицы с отказоустойчивой кластеризации используют контрольные точки версии 2. См. сведения о совместимости таблиц с отказоустойчивой кластеризации.

Функция "Удалить разностную таблицу" в общедоступной предварительной версии

Теперь можно удалить некоторые функции таблиц для таблиц Delta. Текущая поддержка включает удаление deletionVectors и v2Checkpointудаление. См. сведения о функциях таблицы Drop Delta.

Разностный общий доступ: получатели могут выполнять пакетные запросы к общим таблицам с векторами удаления (общедоступная предварительная версия)

Получатели разностного общего доступа теперь могут выполнять пакетные запросы в общих таблицах, использующих векторы удаления. См. статью "Добавление таблиц с векторами удаления или сопоставлением столбцов в общую папку", "Чтение таблиц с включенными векторами удаления" или "Сопоставление столбцов" и "Чтение таблиц" с включенными векторами удаления или сопоставлением столбцов.

Разностный общий доступ: получатели могут выполнять пакетные запросы к общим таблицам с сопоставлением столбцов (общедоступная предварительная версия)

Получатели разностного общего доступа теперь могут выполнять пакетные запросы в общих таблицах, использующих сопоставление столбцов. См. статью "Добавление таблиц с векторами удаления или сопоставлением столбцов в общую папку", "Чтение таблиц с включенными векторами удаления" или "Сопоставление столбцов" и "Чтение таблиц" с включенными векторами удаления или сопоставлением столбцов.

Потоковая передача из представлений каталога Unity в общедоступной предварительной версии

Теперь можно использовать структурированную потоковую передачу для выполнения потоковых операций чтения из представлений, зарегистрированных в каталоге Unity. Azure Databricks поддерживает только потоковое чтение из представлений, определенных в таблицах Delta. Просмотр представления каталога Unity в виде потока.

Соединитель Apache Pulsar в общедоступной предварительной версии

Теперь можно использовать структурированную потоковую передачу для потоковой передачи данных из Apache Pulsar в Azure Databricks. См . Stream из Apache Pulsar.

Обновленный драйвер Snowflake

Драйвер Snowflake JDBC теперь использует версию 3.13.33.

Переменные сеанса SQL

В этом выпуске представлена возможность объявлять временные переменные в сеансе, который можно задать, а затем ссылаться на них в запросах. См . переменные.

Вызов именованных параметров для UDF SQL и Python.

Теперь вы можете использовать вызов именованных параметров в SQL и Python UDF.

Аргументы таблицы для функций поддерживают секционирование и упорядочение.

Теперь можно использовать PARTITION BY и ORDER BY предложения для управления передачем аргументов таблицы функции во время вызова функции.

Новые и расширенные встроенные функции SQL

Добавлены следующие встроенные функции:

  • from_xml: анализирует XML-файл STRING в STRUCT.
  • schema_of_xml. Наследует схему из XMLSTRING.
  • session_user. Возвращает пользователя, вошедшего в систему.
  • try_reflect. Возвращает вместо исключения, если метод Java завершается NULL ошибкой.

Были улучшены следующие встроенные функции:

  • режим: поддержка необязательного параметра, заставляющего детерминированный результат.
  • to_char: новая поддержка DATE, TIMESTAMPа также BINARY.
  • to_varchar: новая поддержка DATE, TIMESTAMPа также BINARY.

Улучшенная обработка коррелированных вложенных запросов

Возможность обработки корреляции в вложенных запросах была расширена:

  • Обработка ограничения и порядка в сопоставленных скалярных (боковом) вложенных запросах.
  • Поддержка функций окна в сопоставленных скалярных вложенных запросах.
  • Поддержка сопоставленных ссылок в предикаты соединения для скалярных и боковой вложенных запросов

Изменение поведения

Проверка строгого типа в средстве чтения Photon Parquet

Фотон завершается ошибкой при попытке считывать десятичное значение из столбца Parquet, который не является десятичным типом. Фотон также завершается ошибкой при чтении массива байтов фиксированной длины из Parquet в виде строки.

Обновления библиотек

  • Обновленные библиотеки Python:
    • блокировка файлов от 3.12.2 до 3.12.3
    • s3transfer от 0.6.1 до 0.6.2
  • Обновленные библиотеки Java:
    • com.uber.h3 от 3.7.0 до 3.7.3
    • io.airlift.aircompressor от 0,24 до 0,25
    • io.delta.delta-sharing-spark_2.12 от 0.7.1 до 0.7.5
    • io.netty.netty-all от 4.1.93.Final до 4.1.96.Final
    • io.netty.netty-buffer от 4.1.93.Final до 4.1.96.Final
    • io.netty.netty-codec от 4.1.93.Final до 4.1.96.Final
    • io.netty.netty-codec-http с 4.1.93.Final до 4.1.96.Final
    • io.netty.netty-codec-http2 с 4.1.93.Final до 4.1.96.Final
    • io.netty.netty-codec-socks от 4.1.93.Final до 4.1.96.Final
    • io.netty.netty-common с 4.1.93.Final до 4.1.96.Final
    • io.netty.netty-handler от 4.1.93.Final до 4.1.96.Final
    • io.netty.netty-handler-proxy от 4.1.93.Final до 4.1.96.Final
    • io.netty.netty-resolver от 4.1.93.Final до 4.1.96.Final
    • io.netty.netty-transport от 4.1.93.Final до 4.1.96.Final
    • io.netty.netty-transport-classes-epoll от 4.1.93.Final до 4.1.96.Final
    • io.netty.netty-transport-classes-kqueue от 4.1.93.Final до 4.1.96.Final
    • io.netty.netty-transport-native-epoll от 4.1.93.Final-linux-x86_64 до 4.1.96.Final-linux-x86_64
    • io.netty.netty-transport-native-kqueue от 4.1.93.Final-osx-x86_64 до 4.1.96.Final-osx-x86_64
    • io.netty.netty-transport-native-unix-common от 4.1.93.Final до 4.1.96.Final
    • net.snowflake.snowflake-jdbc от 3.13.29 до 3.13.33
    • org.apache.orc.orc-core от 1.9.0-shaded-protobuf до 1.9.1-shaded-protobuf
    • org.apache.orc.orc-mapreduce от 1.9.0-shaded-protobuf до 1.9.1-shaded-protobuf
    • org.apache.orc.orc-shims от 1.9.0 до 1.9.1

Apache Spark

Databricks Runtime 14.1 включает Apache Spark 3.5.0. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 14.0 (EoS), а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

  • [SPARK-450888] [DBRRM-557] Возврат "[SC-142785][PYTHON][CONNECT] Сделать getitem работой с повторяющимся столбцом"
  • [SPARK-43453] [DBRRM-557] Возврат "[SC-143135][PS] Игнорируйте names MultiIndex, когда axis=1 "concat
  • [SPARK-45225] [SC-143207] [SQL] XML: поддержка URL-адреса XSD-файла
  • [SPARK-45156] [SC-142782] [SQL] Обтекание inputName обратными знаками в NON_FOLDABLE_INPUT классе ошибок
  • [SPARK-44910] [SC-143082] [SQL] Encoders.bean не поддерживает суперклассы с аргументами универсального типа
  • [SPARK-43453] [SC-143135] [PS] Игнорировать время names MultiIndex axis=1 для concat
  • [SPARK-44463] [SS] [CONNECT] Улучшение обработки ошибок для рабочей роли Python для подключения к пару
  • [SPARK-44960] [SC-141023] [пользовательский интерфейс] Распакуйте и состоит из сводки ошибок на страницах пользовательского интерфейса
  • [SPARK-447888] [SC-142980] [CONNECT] [PYTHON] [SQL] Добавление from_xml и schema_of_xml в pyspark, spark connect и sql function
  • [SPARK-44614] [SC-138460] [PYTHON] [CONNECT] [3.5] Добавление отсутствующих пакетов в setup.py
  • [SPARK-45151] [SC-142861] [CORE] [пользовательский интерфейс] Поддержка дампа потока на уровне задач
  • [SPARK-45056] [SC-142779] [PYTHON] [SS] [CONNECT] Тесты завершения для streamingQueryListener и foreachBatch
  • [SPARK-45084] [SC-142828] [SS] StateOperatorProgresss для использования точного эффективного номера секции перетасовки
  • [SPARK-44872] [SC-142405] [CONNECT] Серверное тестирование в инфраструктуре и reattachableExecuteSuite
  • [SPARK-45197] [SC-142984] [CORE] JavaModuleOptions Добавление StandaloneRestServer драйверов
  • [SPARK-44404] [SC-139601] [SQL] Назначьте имена классу ошибок LEGACY_ERROR_TEMP[1009 1010 1013 1015 1016 1278]
  • [SPARK-44647] [SC-142297] [SQL] Поддержка SPJ, где ключи соединения меньше, чем ключи кластера
  • [SPARK-450888] [SC-142785] [PYTHON] [CONNECT] Работа getitem с повторяющимися столбцами
  • [SPARK-45128] [SC-142851] [SQL] Поддержка в стрелке CalendarIntervalType
  • [SPARK-45130] [SC-142976] [CONNECT] [ML] [PYTHON] Избегайте использования модели машинного обучения Spark для изменения входного кадра данных Pandas
  • [SPARK-45034] [SC-142959] [SQL] Поддержка детерминированной функции режима
  • [SPARK-45173] [SC-142931] [пользовательский интерфейс] Удаление некоторых ненужных файлов sourceMapping в пользовательском интерфейсе
  • [SPARK-45162] [SC-142781] [SQL] Поддержка карт и параметров массива, созданных с помощью call_function
  • [SPARK-45143] [SC-142840] [PYTHON] [CONNECT] Совместимость PySpark с PyArrow 13.0.0
  • [SPARK-45174] [SC-142837] [CORE] Поддержка spark.deploy.maxDrivers
  • [SPARK-45167] [SC-142956] [CONNECT] [PYTHON] Клиент Python должен вызываться release_all
  • [SPARK-36191] [SC-142777] [SQL] Обработка ограничения и порядка в сопоставленных скалярных (боковом) вложенных запросах
  • [SPARK-45159] [SC-142829] [PYTHON] Обработка именованных аргументов только при необходимости
  • [SPARK-45133] [SC-142512] [CONNECT] Выполнение запросов Spark Connect после завершения последней задачи результата
  • [SPARK-44801] [SC-140802] [SQL] [пользовательский интерфейс] Запись анализа неудачных запросов в прослушивателе и пользовательском интерфейсе
  • [SPARK-45139] [SC-142527] [SQL] Добавление DatabricksDialect для обработки преобразования типов SQL
  • [SPARK-45157] [SC-142546] [SQL] Избегайте повторяющихся if проверок [On|Off|HeapColumnVector
  • [SPARK-45077] Возврат "[SC-142069][UI] Обновление dagre-d3.js с 04.3 до 0.6.4"
  • [SPARK-45145] [SC-142521] [ПРИМЕР] Добавление примера JavaSparkSQLCli
  • [SPARK-43295] Возврат "[SC-142254][PS] Поддержка столбцов строковых типов для DataFrameGroupBy.sum"
  • [SPARK-44915] [SC-142383] [CORE] Проверка контрольной суммы переключения данных ПВХ перед восстановлением
  • [SPARK-45147] [SC-142524] [CORE] Удаление System.setSecurityManager использования
  • [SPARK-45104] [SC-142206] [пользовательский интерфейс] Обновление graphlib-dot.min.js до версии 1.0.2
  • [SPARK-44238] [SC-141606] [CORE] [SQL] Введение нового readFrom метода с входными данными массива байтов для BloomFilter
  • [SPARK-45060] [SC-141742] [SQL] Исправлена внутренняя ошибка из to_char()NULL формата
  • [SPARK-43252] [SC-142381] [SQL] Замените класс _LEGACY_ERROR_TEMP_2016 ошибок внутренним ошибкой
  • [SPARK-45069] [SC-142279] [SQL] Переменная SQL всегда должна разрешаться после внешней ссылки
  • [SPARK-44911] [SC-142388] [SQL] Создание таблицы Hive с недопустимым столбцом должно возвращать класс ошибок
  • [SPARK-42754] [SC-125567] [SQL] [пользовательский интерфейс] Исправлена проблема с обратной совместимостью в вложенном выполнении SQL
  • [SPARK-45121] [SC-142375] [CONNECT] [PS] Поддержка Series.empty Spark Connect.
  • [SPARK-44805] [SC-142203] [SQL] getBytes/getShorts/getInts/etc. Должен работать в векторе столбцов с словарем.
  • [SPARK-45027] [SC-142248] [PYTHON] Скрытие внутренних функций и переменных из pyspark.sql.functions автоматического завершения
  • [SPARK-45073] [SC-141791] [PS] [CONNECT] Замена LastNotNull на Last(ignoreNulls=True)
  • [SPARK-44901] [SC-141676] [SQL] Обратный порт вручную. Добавление API в метод анализа UDTF Python для возврата выражений секционирования и упорядочивания
  • [SPARK-45076] [SC-141795] [PS] Переключение на встроенную repeat функцию
  • [SPARK-44162] [SC-141605] [CORE] Поддержка G1GC в метриках Spark
  • [SPARK-45053] [SC-141733] [PYTHON] [ДОПОЛНИТЕЛЬНЫЙ] Улучшение журнала в несоответствии версии Python
  • [SPARK-44866] [SC-142221] [SQL] Добавление SnowflakeDialect для правильной обработки типа BOOLEAN
  • [SPARK-45064] [SC-141775] [PYTHON] [CONNECT] Добавление отсутствующих scale параметров в ceil/ceiling
  • [SPARK-45059] [SC-141757] [CONNECT] [PYTHON] Добавление try_reflect функций в Scala и Python
  • [SPARK-43251] [SC-142280] [SQL] Замените класс _LEGACY_ERROR_TEMP_2015 ошибок внутренним ошибкой
  • [SPARK-45052] [SC-141736] [SQL] [PYTHON] [CONNECT] Согласование имени выходного столбца функции с sql
  • [SPARK-44239] [SC-141502] [SQL] Свободная память, выделенная большими векторами при сбросе векторов
  • [SPARK-43295] [SC-142254] [PS] Поддержка столбцов строковых типов для DataFrameGroupBy.sum
  • [SPARK-45080] [SC-142062] [SS] Явное вызовите поддержку columnar в источниках данных потоковой передачи DSv2
  • [SPARK-45036] [SC-141768] [SQL] SPJ: упрощение логики для обработки частично кластеризованного распределения
  • [SPARK-45077] [SC-142069] [пользовательский интерфейс] Обновление dagre-d3.js с версии 0.4.3 до версии 0.6.4
  • [SPARK-45091] [SC-142020] [PYTHON] [CONNECT] [SQL] Функция floor/round/bround принимает тип столбца scale
  • [SPARK-45090] [SC-142019] [PYTHON] [CONNECT] DataFrame.{cube, rollup} Порядковые номера столбцов поддержки
  • [SPARK-44743] [SC-141625] [SQL] Добавление try_reflect функции
  • [SPARK-45086] [SC-142052] [пользовательский интерфейс] Отображение шестнадцатеричного хэш-кода блокировки потока
  • [SPARK-44952] [SC-141644] [SQL] [PYTHON] Поддержка именованных аргументов в агрегатных пользовательских файлах Pandas
  • [SPARK-44987] [SC-141552] [SQL] Назначение имени классу ошибок _LEGACY_ERROR_TEMP_1100
  • [SPARK-45032] [SC-141730] [CONNECT] Исправление предупреждений компиляции, связанных с Top-level wildcard is not allowed and will error under -Xsource:3
  • [SPARK-45048] [SC-141629] [CONNECT] Добавление дополнительных тестов для клиента Python и присоединенного выполнения
  • [SPARK-45072] [SC-141807] [CONNECT] Исправление внешних областей для классов ammonite
  • [SPARK-45033] [SC-141759] [SQL] Поддержка карт по параметризованным sql()
  • [SPARK-45066] [SC-141772] [SQL] [PYTHON] [CONNECT] Создание функции repeat accept column-type n
  • [SPARK-44860] [SC-141103] [SQL] Добавление функции SESSION_USER
  • [SPARK-45074] [SC-141796] [PYTHON] [CONNECT] DataFrame.{sort, sortWithinPartitions} Порядковые номера столбцов поддержки
  • [SPARK-45047] [SC-141774] [PYTHON] [CONNECT] DataFrame.groupBy порядковые номера поддержки
  • [SPARK-44863] [SC-140798] [пользовательский интерфейс] Добавление кнопки для скачивания дампа потока в виде txt в пользовательском интерфейсе Spark
  • [SPARK-45026] [SC-141604] [CONNECT] spark.sql должна поддерживать типы данных, несовместимые со стрелкой
  • [SPARK-44999] [SC-141145] [CORE] Рефакторинг для уменьшения ExternalSorter проверок shouldPartition при вызове getPartition
  • [SPARK-42304] [SC-141501] [SQL] Переименование _LEGACY_ERROR_TEMP_2189 в GET_TABLES_BY_TYPE_UNSUPPORTED_BY_HIVE_VERSION
  • [SPARK-43781] [SC-139450] [SQL] Исправление IllegalStateException при совместном группировке двух наборов данных, производных от одного источника.
  • [SPARK-45018] [SC-141516] [PYTHON] [CONNECT] Добавление CalendarIntervalType в клиент Python
  • [SPARK-45024] [SC-141513] [PYTHON] [CONNECT] Фильтрация некоторых конфигураций при создании сеанса
  • [SPARK-45017] [SC-141508] [PYTHON] Добавление CalendarIntervalType в PySpark
  • [SPARK-44720] [SC-139375] [CONNECT] Создание набора данных с помощью кодировщика вместо AgnosticEncoder
  • [SPARK-44982] [SC-141027] [CONNECT] Помечайте конфигурации сервера Spark Connect как статические
  • [SPARK-44839] [SC-140900] [SS] [CONNECT] Улучшение ведения журнала ошибок при попытке пользователя сериализовать сеанс Spark
  • [SPARK-44865] [SC-140905] [SS] Создание столбца метаданных с поддержкой StreamingRelationV2
  • [SPARK-45001] [SC-141141] [PYTHON] [CONNECT] Реализация DataFrame.foreachPartition
  • [SPARK-44497] [SC-141017] [WEBUI] Отображение идентификатора секции задачи в таблице задач
  • [SPARK-45006] [SC-141143] [пользовательский интерфейс] Используйте тот же формат дат других элементов даты пользовательского интерфейса для оси x временной шкалы
  • [SPARK-450000] [SC-141135] [PYTHON] [CONNECT] Реализация DataFrame.foreach
  • [SPARK-44967] [SC-141137] [SQL] [CONNECT] Прежде чем использовать boolean for TreeNodeTag, следует учитывать единицу.
  • [SPARK-44993] [SC-1410888] [CORE] Добавление ShuffleChecksumUtils.compareChecksums путем повторного выполнения ShuffleChecksumTestHelp.compareChecksums
  • [SPARK-44807] [SC-140176] [CONNECT] Добавление Dataset.metadataColumn в клиент Scala
  • [SPARK-44965] [SC-141098] [PYTHON] Скрытие внутренних функций и переменных из pyspark.sql.functions
  • [SPARK-44983] [SC-141030] [SQL] Преобразование двоичного файла в строку по to_char форматам: hex, base64utf-8
  • [SPARK-44980] [DBRRM-462] [SC-141024] [PYTHON] [CONNECT] Исправление унаследованных именованных элементов для работы в createDataFrame
  • [SPARK-44985] [SC-141033] [CORE] Используйте toString вместо stacktrace для извлечения задач threadDump
  • [SPARK-44984] [SC-141028] [PYTHON] [CONNECT] Удаление _get_alias из кадра данных
  • [SPARK-44975] [SC-141013] [SQL] Удаление разрешенной переопределения BinaryArithmetic без использования
  • [SPARK-44969] [SC-140957] [SQL] Повторное использование ArrayInsert в ArrayAppend
  • [SPARK-44549] [SC-140714] [SQL] Поддержка функций окна в сопоставленных скалярных вложенных запросах
  • [SPARK-44938] [SC-140811] [SQL] Изменение значения spark.sql.maxSinglePartitionBytes по умолчанию на 128 млн
  • [SPARK-44918] [SC-140816] [SQL] [PYTHON] Поддержка именованных аргументов в скалярных пользовательских файлах Python/Pandas
  • [SPARK-44966] [SC-140907] [CORE] [CONNECT] Изменение никогда не изменялось varval
  • [SPARK-41471] [SC-140804] [SQL] Уменьшение перетасовки Spark, если только одна сторона соединения — KeyGroupedPartitioning
  • [SPARK-44214] [SC-140528] [CORE] Поддержка пользовательского интерфейса журнала Spark Driver Live Log
  • [SPARK-44861] [SC-140716] [CONNECT] jsonignore SparkListenerConnectOperationStarted.planRequest
  • [SPARK-44776] [SC-140519] [CONNECT] Добавление ProducedRowCount в SparkListenerConnectOperationFinished
  • [SPARK-42017] [SC-140765] [PYTHON] [CONNECT] df['col_name'] должен проверить имя столбца
  • [SPARK-40178] [SC-140433] [SQL] [COONECT] Поддержка подсказок объединения с легкостью для PySpark и R
  • [SPARK-44840] [SC-140593] [SQL] Создание array_insert() 1 на основе отрицательных индексов
  • [SPARK-44939] [SC-140778] [R] Поддержка Java 21 в SparkR SystemRequirements
  • [SPARK-44936] [SC-140770] [CORE] Упрощение журнала при достижении ограничения памяти в гибридном хранилище Spark
  • [SPARK-44908] [SC-140712] [ML] [CONNECT] Исправление функциональных возможностей перекрестного проверяющего элемента свертыванияCol
  • [SPARK-44816] [SC-140717] [CONNECT] Улучшение сообщения об ошибке, если класс UDF не найден
  • [SPARK-44909] [SC-140710] [ML] Пропустить запуск сервера потоковой передачи журналов распространителя факелов, если он недоступен
  • [SPARK-44920] [SC-140707] [CORE] Используйте await() вместо awaitUninterruptibly() в TransportClientFactory.createClient()
  • [SPARK-44905] [SC-140703] [SQL] Stateful lastRegex вызывает nullPointerException на eval для regexp_replace
  • [SPARK-43987] [SC-139594] [Перетасовка] Отдельная обработкаShuffleMerge для выделенных пулов потоков
  • [SPARK-42768] [SC-140549] [SQL] Включение кэшированного плана применяет AQE по умолчанию
  • [SPARK-44741] [SC-139447] [CORE] Поддержка regex-based MetricFilter в StatsdSink
  • [SPARK-44751] [SC-140532] [SQL] Реализация интерфейса XML FileFormat
  • [SPARK-44868] [SC-140438] [SQL] Преобразование даты и времени в строку по to_char/to_varchar
  • [SPARK-44748] [SC-140504] [SQL] Выполнение запроса для предложения PARTITION BY в аргументах UDTF TABLE
  • [SPARK-44873] [SC-140427] Поддержка изменения представления с вложенными столбцами в клиенте Hive
  • [SPARK-44876] [SC-140431] [PYTHON] Исправление UDF Python, оптимизированного со стрелками, в Spark Connect
  • [SPARK-44520] [SC-137845] [SQL] Замените термин UNSUPPORTED_DATA_SOURCE_FOR_DIRECT_QUERY на UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY и корневую AE раскрытия
  • [SPARK-42664] [SC-139769] [CONNECT] Функция поддержки bloomFilter для DataFrameStatFunctions
  • [SPARK-43567] [SC-139227] [PS] Поддержка use_na_sentinelfactorize
  • [SPARK-44859] [SC-140254] [SS] Исправлено неправильное имя свойства в структурированной потоковой документации
  • [SPARK-44822] [SC-140182] [PYTHON] [SQL] Создание определяемых пользователем функций Python по умолчанию, недетерминированных
  • [SPARK-44731] [SC-139524] [PYTHON] [CONNECT] Создание метки времени работает с литералами в Python Spark Connect
  • [SPARK-44836] [SC-140180] [PYTHON] Рефакторинг стрелки Python UDTF
  • [SPARK-44714] [SC-139238] Упрощение ограничения разрешения LCA относительно запросов с наличием
  • [SPARK-44749] [SC-139664] [SQL] [PYTHON] Поддержка именованных аргументов в UDTF Python
  • [SPARK-44737] [SC-139512] [SQL] [пользовательский интерфейс] Не следует отображать ошибки формата JSON на странице SQL для неиспространимых файлов SparkThrowable на вкладке SQL
  • [SPARK-44665] [SC-139307] [PYTHON] Добавление поддержки pandas DataFrame assertDataFrameEqual
  • [SPARK-44736] [SC-139622] [CONNECT] Добавление Dataset.explode в клиент Spark Connect Scala
  • [SPARK-44732] [SC-139422] [SQL] Встроенная поддержка источника данных XML
  • [SPARK-44694] [SC-139213] [PYTHON] [CONNECT] Рефакторинг активных сеансов и их предоставление в качестве API
  • [SPARK-44652] [SC-138881] Возникает ошибка, если только одна функция df имеет значение None
  • [SPARK-44562] [SC-138824] [SQL] Добавление OptimizeOneRowRelationSubquery в пакет вложенных запросов
  • [SPARK-44717] [SC-139319] [PYTHON] [PS] Уважение метки времени в resampling
  • [SPARK-42849] [SC-139365] [SQL] Переменные сеанса
  • [SPARK-44236] [SC-139239] [SQL] Отключить WholeStageCodegen, если задано spark.sql.codegen.factoryMode значение NO_CODEGEN
  • [SPARK-44695] [SC-139316] [PYTHON] Улучшение сообщения об ошибке для DataFrame.toDF
  • [SPARK-44680] [SC-139234] [SQL] Улучшение ошибки для параметров в DEFAULT
  • [SPARK-43402] [SC-138321] [SQL] FileSourceScanExec поддерживает фильтрацию данных с скалярным вложенным запросом
  • [SPARK-44641] [SC-139216] [SQL] Неправильный результат в определенных сценариях, когда SPJ не активируется
  • [SPARK-44689] [SC-139219] [CONNECT] Сделать обработку исключений функции SparkConnectPlanner#unpackScalarScalaUDF более универсальной
  • [SPARK-41636] [SC-139061] [SQL] Убедитесь, что selectFilters возвращаются предикаты в детерминированном порядке
  • [SPARK-44132] [SC-139197] [SQL] Материализация Stream имен столбцов соединения, чтобы избежать сбоя кодегена
  • [SPARK-42330] [SC-138838] [SQL] Назначение имени RULE_ID_NOT_FOUND классу ошибок _LEGACY_ERROR_TEMP_2175
  • [SPARK-44683] [SC-139214] [SS] Уровень ведения журнала не передается поставщику хранилища состояний RocksDB правильно
  • [SPARK-44658] [SC-138868] [CORE] ShuffleStatus.getMapStatus должен возвращаться None вместо Some(null)
  • [SPARK-44603] [SC-138353] Добавление pyspark.testing в setup.py
  • [SPARK-44252] [SC-137505] [SS] Определите новый класс ошибок и примените к ситуации, когда состояние загрузки из DFS завершается ошибкой
  • [SPARK-29497] [DBRRM-396] [SC-138477] [CONNECT] Возникает ошибка, если UDF не десериализуется.
  • [SPARK-44624] [DBRRM-396] [SC-138900] [CONNECT] Повторная попытка ExecutePlan в случае, если первоначальный запрос не достиг сервера
  • [SPARK-41400] [DBRRM-396] [SC-138287] [CONNECT] Удаление зависимости клиентского катализатора подключения
  • [SPARK-44059] [SC-138833] [SQL] Добавление лучших сообщений об ошибках для SQL с именем argumnts
  • [SPARK-44620] [SC-138831] [SQL] [PS] [CONNECT] Сохранение ResolvePivotPlan_ID_TAG
  • [SPARK-43838] [SC-137413] [SQL] Исправление вложенных запросов в одной таблице с предложением не может быть оптимизировано
  • [SPARK-44555] [SC-138820] [SQL] Использование checkError() для проверки исключения в command Suite и назначения некоторых имен классов ошибок
  • [SPARK-44280] [SC-138821] [SQL] Добавление convertJavaTimestampToTimestamp в API JDBCDialect
  • [SPARK-44602] [SC-138337] [SQL] [CONNECT] [PS] Сохранение WidenSetOperationTypesPlan_ID_TAG
  • [SPARK-42941] [SC-138389] [SS] [CONNECT] Python StreamingQueryListener
  • [SPARK-43838] Возврат "[SC-137413][SQL] Исправление вложенных запросов на одном ta...
  • [SPARK-44538] [SC-138178] [CONNECT] [SQL] Восстановление Row.jsonValue и друзей
  • [SPARK-44421] [SC-138434] [SPARK-44423] [CONNECT] Повторное подключение к выполнению в Spark Connect
  • [SPARK-43838] [SC-137413] [SQL] Исправление вложенных запросов в одной таблице с предложением не может быть оптимизировано
  • [SPARK-44587] [SC-138315] [SQL] [CONNECT] Увеличение предела рекурсии protobuf маршаллера
  • [SPARK-44605] [SC-138338] [CORE] Уточнение внутреннего API ShuffleWriteProcessor
  • [SPARK-44394] [SC-138291] [CONNECT] [WEBUI] Добавление страницы пользовательского интерфейса Spark для Spark Connect
  • [SPARK-44585] [SC-138286] [MLLIB] Исправлено условие предупреждения в MLLib RankingMetrics ndcgAk
  • [SPARK-44198] [SC-138137] [CORE] Поддержка распространения уровня журнала исполнителям
  • [SPARK-44454] [SC-138071] [SQL] [HIVE] Поддержка HiveShim getTablesByType
  • [SPARK-44425] [SC-138135] [CONNECT] Проверка того, что предоставленный пользователем sessionId является UUID
  • [SPARK-43611] [SC-138051] [SQL] [PS] [CONNCECT] Сохранение ExtractWindowExpressionsPLAN_ID_TAG
  • [SPARK-44560] [SC-138117] [PYTHON] [CONNECT] Улучшение тестов и документации по UDF со стрелками Python
  • [SPARK-44482] [SC-138067] [CONNECT] Сервер подключения должен указать адрес привязки
  • [SPARK-44528] [SC-138047] [CONNECT] Поддержка правильного использования hasattr() для кадра данных Connect
  • [SPARK-44525] [SC-138043] [SQL] Улучшение сообщения об ошибке, если метод Invoke не найден
  • [SPARK-44355] [SC-137878] [SQL] Перемещение WithCTE в запросы команд

Поддержка драйвера ODBC/JDBC Databricks

Databricks поддерживает драйверы ODBC/JDBC, выпущенные за последние 2 года. Скачайте недавно выпущенные драйверы и обновление (скачайте ODBC, скачайте JDBC).

Системная среда

  • Операционная система: Ubuntu 22.04.3 LTS
  • Java: Zulu 8.72.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.3.1
  • Delta Lake: 3.0.0

Установленные библиотеки Python

Библиотека Версия Библиотека Версия Библиотека Версия
anyio 3.5.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.0.5 attrs 22.1.0 backcall 0.2.0
beautifulsoup4 4.11.1 black 22.6.0 bleach 4.1.0
blinker 1.4 boto3 1.24.28 botocore 1.27.96
certifi 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 щелчок 8.0.4 comm 0.1.2
контурная диаграмма 1.0.5 криптография 39.0.1 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.1.6 dbus-python 1.2.18
debugpy 1.6.7 decorator 5.1.1 defusedxml 0.7.1
distlib 0.3.7 docstring-to-markdown 0,11 entrypoints 0,4
executing 0.8.3 facets-overview 1.1.1 fastjsonschema 2.18.0
filelock 3.12.3 шрифтовые инструменты 4.25.0 Библиотека среды выполнения GCC 1.10.0
googleapis-common-protos 1.60.0 grpcio 1.48.2 grpcio-status 1.48.1
httplib2 0.20.2 idna 3,4 importlib-metadata 4.6.4
ipykernel 6.25.0 ipython 8.14.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 jedi 0.18.1 jeepney 0.7.1
Jinja2 3.1.2 jmespath 0.10.0 joblib 1.2.0
jsonschema 4.17.3 jupyter-client 7.3.4 jupyter-server 1.23.4
jupyter_core 5.2.0 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
нажатие клавиш 23.5.0 kiwisolver 1.4.4 launchpadlib 1.10.16
lazr.restfulclient 0.14.4 lazr.uri 1.0.6 lxml 4.9.1
MarkupSafe 2.1.1 matplotlib 3.7.0 matplotlib-inline 0.1.6
Маккейб 0.7.0 mistune 0.8.4 more-itertools 8.10.0
mypy-extensions 0.4.3 nbclassic 0.5.2 nbclient 0.5.13
nbconvert 6.5.4 nbformat 5.7.0 nest-asyncio 1.5.6
nodeenv 1.8.0 записная книжка 6.5.2 notebook_shim 0.2.2
numpy 1.23.5 oauthlib 3.2.0 во внешнем виде 22,0
pandas 1.5.3 pandocfilters 1.5.0 parso 0.8.3
pathspec 0.10.3 patsy 0.5.3 pexpect 4.8.0
pickleshare 0.7.5 Pillow 9.4.0 pip 22.3.1
platformdirs 2.5.2 график 5.9.0 pluggy 1.0.0
prometheus-client 0.14.1 prompt-toolkit 3.0.36 protobuf 4.24.0
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 8.0.0 pycparser 2.21
pydantic 1.10.6 pyflakes 3.0.1 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
python-dateutil 2.8.2 python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1
pytoolconfig 1.2.5 pytz 2022.7 pyzmq 23.2.0
requests 2.28.1 верёвка 1.7.0 s3transfer 0.6.2
scikit-learn 1.1.1 мореборн 0.12.2 SecretStorage 3.3.1
Send2Trash 1.8.0 setuptools 65.6.3 six 1.16.0
sniffio 1.2.0 soupsieve 2.3.2.post1 ssh-import-id 5,11
stack-data 0.2.0 statsmodels 0.13.5 tenacity 8.1.0
terminado 0.17.1 threadpoolctl 2.2.0 tinycss2 1.2.1
tokenize-rt 4.2.1 tomli 2.0.1 tornado 6.1
traitlets 5.7.1 typing_extensions 4.4.0 ujson 5.4.0
unattended-upgrades 0,1 urllib3 1.26.14 virtualenv 20.16.7
wadllib 1.3.6 wcwidth 0.2.5 webencodings 0.5.1
websocket-client 0.58.0 whatthepatch 1.0.2 wheel 0.38.4
widgetsnbextension 3.6.1 yapf 0.31.0 zipp 1.0.0
SciPy 1.10.1

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка Posit диспетчер пакетов CRAN 2023-02-10.

Библиотека Версия Библиотека Версия Библиотека Версия
Стрелка 12.0.1 askpass 1,1 assertthat 0.2.1
внутренние порты 1.4.1 base 4.3.1 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 большой двоичный объект 1.2.4
загрузка 1.3-28 заваривать 1,0–8 brio 1.1.3
метла 1.0.5 bslib 0.5.0 cachem 1.0.8
вызывающий объект 3.7.3 крышка 6.0-94 cellranger 1.1.0
chron 2.3-61 class 7.3-22 cli 3.6.1
clipr 0.8.0 clock 0.7.0 cluster 2.1.4
codetools 0.2-19 colorspace 2.1-0 commonmark 1.9.0
компилятор 4.3.1 config 0.3.1 Противоречие 1.2.0
cpp11 0.4.4 карандаш 1.5.2 учетные данные 1.3.2
curl 5.0.1 data.table 1.14.8 наборы данных 4.3.1
DBI 1.1.3 dbplyr 2.3.3 desc 1.4.2
средства разработки 2.4.5 Схема 1.6.5 diffobj 0.3.5
digest 0.6.33 downlit 0.4.3 dplyr 1.1.2
dtplyr 1.3.1 e1071 1.7-13 многоточие 0.3.2
evaluate 0.21 вентиляторы 1.0.4 Farver 2.1.1
fastmap 1.1.1 fontawesome 0.5.1 forcats 1.0.0
foreach 1.5.2 иностранный 0.8-82 forge 0.2.0
fs 1.6.2 будущее 1.33.0 future.apply 1.11.0
gargle 1.5.1 Универсальные шаблоны 0.1.3 gert 1.9.2
ggplot2 3.4.2 gh 1.4.0 gitcreds 0.1.2
glmnet 4.1-7 globals 0.16.2 клей 1.6.2
googledrive 2.1.1 googlesheets4 1.1.1 Говер 1.0.1
графика 4.3.1 grDevices 4.3.1 grid 4.3.1
gridExtra 2.3 gsubfn 0,7 gtable 0.3.3
hardhat 1.3.0 haven 2.5.3 высокий 0.10
hms 1.1.3 htmltools 0.5.5 htmlwidgets 1.6.2
httpuv 1.6.11 httr 1.4.6 httr2 0.2.3
ids 1.0.1 ini 0.3.1 ipred 0.9-14
isoband 0.2.7 Итераторы 1.0.14 jquerylib 0.1.4
jsonlite 1.8.7 KernSmooth 2.23-21 трикотажный 1,43
маркирование 0.4.2 later 1.3.1 решётка 0.21-8
Lava 1.7.2.1 жизненный цикл 1.0.3 listenv 0.9.0
lubridate 1.9.2 magrittr 2.0.3 Markdown 1,7
МАССАЧУСЕТС 7.3-60 «Матрица» 1.5-4.1 memoise 2.0.1
оплаты 4.3.1 mgcv 1.8-42 мим 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-162 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.0.6 parallel 4.3.1
parallelly 1.36.0 столб 1.9.0 pkgbuild 1.4.2
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2.1
plogr 0.2.0 plyr 1.8.8 хвалить 1.0.0
prettyunits 1.1.1 pROC 1.18.4 processx 3.8.2
prodlim 2023.03.31 profvis 0.3.8 Ход выполнения 1.2.2
progressr 0.13.0 promises 1.2.0.1 proto 1.0.0
proxy 0.4-27 ps 1.7.5 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.11 RcppEigen 0.3.3.9.3
readr 2.1.4 readxl 1.4.3 Рецепты 1.0.6
реванш 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.1.1
rmarkdown 2,23 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.3.1 rstudioapi 0.15.0 rversions 2.1.2
rvest 1.0.3 sass 0.4.6 весы 1.2.1
селектор 0.4-2 sessioninfo 1.2.2 форма 1.4.6
блестящий 1.7.4.1 sourcetools 0.1.7-1 sparklyr 1.8.1
SparkR 3.5.0 пространственный 7.3-15 Сплайны 4.3.1
sqldf 0.4-11 SQUAREM 2021.1 stats 4.3.1
статистика4 4.3.1 stringi 1.7.12 stringr 1.5.0
выживание 3.5-5 sys 3.4.2 systemfonts 1.0.4
tcltk 4.3.1 testthat 3.1.10 textshaping 0.3.6
tibble 3.2.1 tidyr 1.3.0 tidyselect 1.2.0
tidyverse 2.0.0 timechange 0.2.0 TimeDate 4022.108
tinytex 0,45 % средства 4.3.1 tzdb 0.4.0
urlchecker 1.0.1 usethis 2.2.2 utf8 1.2.3
служебные программы 4.3.1 uuid 1.1-0 vctrs 0.6.3
viridisLite 0.4.2 vroom 1.6.3 waldo 0.5.1
усы 0.4.1 withr 2.5.0 xfun 0,39
xml2 1.3.5 xopen 1.0.0 xtable 1.8-4
yaml 2.3.7 zip 2.3.0

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)

ИД группы Идентификатор артефакта Версия
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics потоковая передача 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.7.0
com.databricks jets3t 0.7.1–0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.1
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1,1
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15,0
com.google.protobuf protobuf-java 2.6.1
com.helger профилировщик 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.25
io.delta delta-sharing-spark_2.12 0.7.5
io.dropwizard.metrics метрики-заметки 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx коллектор 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1,3
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.33
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow arrow-format 12.0.1
org.apache.arrow arrow-memory-core 12.0.1
org.apache.arrow arrow-memory-netty 12.0.1
org.apache.arrow arrow-vector 12.0.1
org.apache.avro avro 1.11.2
org.apache.avro avro-ipc 1.11.2
org.apache.avro avro-mapred 1.11.2
org.apache.commons commons-collections4 4.4.
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.20.0
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j2-impl 2.20.0
org.apache.mesos mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.9.1-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.1-shaded-protobuf
org.apache.orc orc-shims 1.9.1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4,23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.9
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.0
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap shims 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.9.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest Scalatest-compatible 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.threeten threeten-extra 1.7.1
org.tukaani xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1