Databricks Runtime 14.1

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 14.1, на базе Apache Spark 3.5.0.

Databricks выпустила эти изображения в октябре 2023 года.

Новые функции и внесенные улучшения

• array_insert() основан на 1 для отрицательных индексов
• Точка проверка delta версии 2, включенная по умолчанию с кластеризация жидкости
• Функция "Удалить разностную таблицу" в общедоступной предварительной версии
• Разностный общий доступ: получатели могут выполнять пакетные запросы к общим таблицам с векторами удаления (общедоступная предварительная версия)
• Разностный общий доступ: получатели могут выполнять пакетные запросы к общим таблицам с сопоставлением столбцов (общедоступная предварительная версия)
• Потоковая передача из представлений каталога Unity в общедоступной предварительной версии
• Соединитель Apache Pulsar в общедоступной предварительной версии
• Обновленный драйвер Snowflake
• Переменные сеанса SQL
• Вызов именованных параметров для UDF SQL и Python.
• Аргументы таблицы для функций поддерживают секционирование и упорядочение.
• Новые и расширенные встроенные функции SQL
• Улучшенная обработка коррелированных вложенных запросов

array_insert() основан на 1 для отрицательных индексов

Функция array_insert основана на 1 для положительных и отрицательных индексов. Теперь он вставляет новый элемент в конец входных массивов для индекса -1. Чтобы восстановить прежнее поведение, присвойте параметру spark.sql.legacy.negativeIndexInArrayInsert значение true.

Точка проверка delta версии 2, включенная по умолчанию с кластеризация жидкости

Только что созданные таблицы Delta с жидкостью кластеризация по умолчанию используют проверка точки версии 2. См. сведения о совместимости таблиц с ликвидной кластеризация.

Функция "Удалить разностную таблицу" в общедоступной предварительной версии

Теперь можно удалить некоторые функции таблиц для таблиц Delta. Текущая поддержка включает удаление deletionVectors и v2Checkpointудаление. См. сведения о функциях таблицы Drop Delta.

Разностный общий доступ: получатели могут выполнять пакетные запросы к общим таблицам с векторами удаления (общедоступная предварительная версия)

Получатели разностного общего доступа теперь могут выполнять пакетные запросы в общих таблицах, использующих векторы удаления. См. статью "Добавление таблиц с векторами удаления или сопоставлением столбцов в общую папку", "Чтение таблиц с включенными векторами удаления" или "Сопоставление столбцов" и "Чтение таблиц" с включенными векторами удаления или сопоставлением столбцов.

Разностный общий доступ: получатели могут выполнять пакетные запросы к общим таблицам с сопоставлением столбцов (общедоступная предварительная версия)

Получатели разностного общего доступа теперь могут выполнять пакетные запросы в общих таблицах, использующих сопоставление столбцов. См. статью "Добавление таблиц с векторами удаления или сопоставлением столбцов в общую папку", "Чтение таблиц с включенными векторами удаления" или "Сопоставление столбцов" и "Чтение таблиц" с включенными векторами удаления или сопоставлением столбцов.

Потоковая передача из представлений каталога Unity в общедоступной предварительной версии

Теперь можно использовать структурированную потоковую передачу для выполнения потоковых операций чтения из представлений, зарегистрированных в каталоге Unity. Azure Databricks поддерживает только потоковое чтение из представлений, определенных в таблицах Delta. См. поток из представлений каталога Unity.

Соединитель Apache Pulsar в общедоступной предварительной версии

Теперь можно использовать структурированную потоковую передачу для потоковой передачи данных из Apache Pulsar в Azure Databricks. См . Stream из Apache Pulsar.

Обновленный драйвер Snowflake

Драйвер Snowflake JDBC теперь использует версию 3.13.33.

Переменные сеанса SQL

В этом выпуске представлена возможность объявлять временные переменные в сеансе, который можно задать, а затем ссылаться на них в запросах. См . переменные.

Вызов именованных параметров для UDF SQL и Python.

Теперь вы можете использовать вызов именованных параметров в SQL и Python UDF.

Аргументы таблицы для функций поддерживают секционирование и упорядочение.

Теперь можно использовать PARTITION BY и ORDER BY предложения для управления передачем аргументов таблицы функции во время вызова функции.

Новые и расширенные встроенные функции SQL

Добавлены следующие встроенные функции:

• from_xml: анализирует XML-файл STRING в STRUCT.
• schema_of_xml. Наследует схему из XMLSTRING.
• session_user. Возвращает пользователя, вошедшего в систему.
• try_reflect. Возвращает вместо исключения, если метод Java завершается NULL ошибкой.

Были улучшены следующие встроенные функции:

• режим: поддержка необязательного параметра, заставляющего детерминированный результат.
• to_char: новая поддержка DATE, TIMESTAMPа также BINARY.
• to_varchar: новая поддержка DATE, TIMESTAMPа также BINARY.

Улучшенная обработка коррелированных вложенных запросов

Возможность обработки корреляции в вложенных запросах была расширена:

• Обработка ограничения и порядка в сопоставленных скалярных (боковом) вложенных запросах.
• Поддержка функций окна в сопоставленных скалярных вложенных запросах.
• Поддержка сопоставленных ссылок в предикаты соединения для скалярных и боковой вложенных запросов

Изменение поведения

Строгий тип проверка в средстве чтения Photon Parquet

Фотон завершается ошибкой при попытке считывать десятичное значение из столбца Parquet, который не является десятичным типом. Фотон также завершается ошибкой при чтении массива байтов фиксированной длины из Parquet в виде строки.

Обновления библиотек

• Обновленные библиотеки Python:
  • блокировка файлов от 3.12.2 до 3.12.3
  • s3transfer от 0.6.1 до 0.6.2
• Обновленные библиотеки Java:
  • com.uber.h3 от 3.7.0 до 3.7.3
  • io.airlift.aircompressor от 0,24 до 0,25
  • io.delta.delta-sharing-spark_2.12 от 0.7.1 до 0.7.5
  • io.netty.netty-all от 4.1.93.Final до 4.1.96.Final
  • io.netty.netty-buffer от 4.1.93.Final до 4.1.96.Final
  • io.netty.netty-codec от 4.1.93.Final до 4.1.96.Final
  • io.netty.netty-codec-http с 4.1.93.Final до 4.1.96.Final
  • io.netty.netty-codec-http2 с 4.1.93.Final до 4.1.96.Final
  • io.netty.netty-codec-socks от 4.1.93.Final до 4.1.96.Final
  • io.netty.netty-common с 4.1.93.Final до 4.1.96.Final
  • io.netty.netty-handler от 4.1.93.Final до 4.1.96.Final
  • io.netty.netty-handler-proxy от 4.1.93.Final до 4.1.96.Final
  • io.netty.netty-resolver от 4.1.93.Final до 4.1.96.Final
  • io.netty.netty-transport от 4.1.93.Final до 4.1.96.Final
  • io.netty.netty-transport-classes-epoll от 4.1.93.Final до 4.1.96.Final
  • io.netty.netty-transport-classes-kqueue от 4.1.93.Final до 4.1.96.Final
  • io.netty.netty-transport-native-epoll от 4.1.93.Final-linux-x86_64 до 4.1.96.Final-linux-x86_64
  • io.netty.netty-transport-native-kqueue от 4.1.93.Final-osx-x86_64 до 4.1.96.Final-osx-x86_64
  • io.netty.netty-transport-native-unix-common от 4.1.93.Final до 4.1.96.Final
  • net.snowflake.snowflake-jdbc от 3.13.29 до 3.13.33
  • org.apache.orc.orc-core от 1.9.0-shaded-protobuf до 1.9.1-shaded-protobuf
  • org.apache.orc.orc-mapreduce от 1.9.0-shaded-protobuf до 1.9.1-shaded-protobuf
  • org.apache.orc.orc-shims от 1.9.0 до 1.9.1

Apache Spark

Databricks Runtime 14.1 включает Apache Spark 3.5.0. Этот выпуск включает все исправления Spark и улучшения, включенные в Databricks Runtime 14.0 (неподдерживаемые), а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

• [SPARK-450888] [DBRRM-557] Возврат "[SC-142785][PYTHON][CONNECT] Сделать getitem работой с повторяющимся столбцом"
• [SPARK-43453] [DBRRM-557] Возврат "[SC-143135][PS] Игнорируйте namesMultiIndex, когда axis=1 "concat
• [SPARK-45225] [SC-143207] [SQL] XML: поддержка URL-адреса XSD-файла
• [SPARK-45156] [SC-142782] [SQL] Обтекание inputName обратными знаками в NON_FOLDABLE_INPUT классе ошибок
• [SPARK-44910] [SC-143082] [SQL] Encoders.bean не поддерживает суперклассы с аргументами универсального типа
• [SPARK-43453] [SC-143135] [PS] Игнорировать время namesMultiIndexaxis=1 для concat
• [SPARK-44463] [SS] [CONNECT] Улучшение обработки ошибок для рабочей роли Python Подключение
• [SPARK-44960] [SC-141023] [пользовательский интерфейс] Распакуйте и состоит из сводки ошибок на страницах пользовательского интерфейса
• [SPARK-447888] [SC-142980] [CONNECT] [PYTHON] [SQL] Добавление from_xml и schema_of_xml в pyspark, spark connect и sql function
• [SPARK-44614] [SC-138460] [PYTHON] [CONNECT] [3.5] Добавление отсутствующих пакетов в setup.py
• [SPARK-45151] [SC-142861] [CORE] [пользовательский интерфейс] Поддержка дампа потока на уровне задач
• [SPARK-45056] [SC-142779] [PYTHON] [SS] [CONNECT] Тесты завершения для streamingQueryListener и foreachBatch
• [SPARK-45084] [SC-142828] [SS] StateOperatorProgresss для использования точного эффективного номера секции перетасовки
• [SPARK-44872] [SC-142405] [CONNECT] Серверное тестирование в инфраструктуре и reattachableExecuteSuite
• [SPARK-45197] [SC-142984] [CORE] JavaModuleOptions Добавление StandaloneRestServer драйверов
• [SPARK-44404] [SC-139601] [SQL] Назначьте имена классу ошибок LEGACY_ERROR_TEMP[1009 1010 1013 1015 1016 1278]
• [SPARK-44647] [SC-142297] [SQL] Поддержка SPJ, где ключи соединения меньше, чем ключи кластера
• [SPARK-450888] [SC-142785] [PYTHON] [CONNECT] Работа getitem с повторяющимися столбцами
• [SPARK-45128] [SC-142851] [SQL] Поддержка в стрелке CalendarIntervalType
• [SPARK-45130] [SC-142976] [CONNECT] [ML] [PYTHON] Избегайте использования модели машинного обучения Spark для изменения входного кадра данных Pandas
• [SPARK-45034] [SC-142959] [SQL] Поддержка детерминированной функции режима
• [SPARK-45173] [SC-142931] [пользовательский интерфейс] Удаление некоторых ненужных файлов sourceMapping в пользовательском интерфейсе
• [SPARK-45162] [SC-142781] [SQL] Поддержка карт и параметров массива, созданных с помощью call_function
• [SPARK-45143] [SC-142840] [PYTHON] [CONNECT] Совместимость PySpark с PyArrow 13.0.0
• [SPARK-45174] [SC-142837] [CORE] Поддержки spark.deploy.maxDrivers
• [SPARK-45167] [SC-142956] [CONNECT] [PYTHON] Клиент Python должен вызываться release_all
• [SPARK-36191] [SC-142777] [SQL] Обработка ограничения и порядка в сопоставленных скалярных (боковом) вложенных запросах
• [SPARK-45159] [SC-142829] [PYTHON] Обработка именованных аргументов только при необходимости
• [SPARK-45133] [SC-142512] [CONNECT] Сделайте запросы Spark Подключение завершенными после завершения последней задачи результата
• [SPARK-44801] [SC-140802] [SQL] [пользовательский интерфейс] Запись анализа неудачных запросов в прослушивателе и пользовательском интерфейсе
• [SPARK-45139] [SC-142527] [SQL] Добавление DatabricksDialect для обработки преобразования типов SQL
• [SPARK-45157] [SC-142546] [SQL] Избегайте повторений if проверка в[On|Off|HeapColumnVector
• [SPARK-45077] Возврат "[SC-142069][UI] Обновление dagre-d3.js с 04.3 до 0.6.4"
• [SPARK-45145] [SC-142521] [ПРИМЕР] Добавление примера JavaSparkSQLCli
• [SPARK-43295] Возврат "[SC-142254][PS] Поддержка столбцов строковых типов для DataFrameGroupBy.sum"
• [SPARK-44915] [SC-142383] [CORE] Проверка проверка сумы переключения данных ПВХ перед восстановлением
• [SPARK-45147] [SC-142524] [CORE] Удаление System.setSecurityManager использования
• [SPARK-45104] [SC-142206] [пользовательский интерфейс] Обновление graphlib-dot.min.js до версии 1.0.2
• [SPARK-44238] [SC-141606] [CORE] [SQL] Введение нового readFrom метода с входными данными массива байтов для BloomFilter
• [SPARK-45060] [SC-141742] [SQL] Исправлена внутренняя ошибка из to_char()NULL формата
• [SPARK-43252] [SC-142381] [SQL] Замените класс _LEGACY_ERROR_TEMP_2016 ошибок внутренним ошибкой
• [SPARK-45069] [SC-142279] [SQL] Переменная SQL всегда должна разрешаться после внешней ссылки
• [SPARK-44911] [SC-142388] [SQL] Создание таблицы Hive с недопустимым столбцом должно возвращать класс ошибок
• [SPARK-42754] [SC-125567] [SQL] [пользовательский интерфейс] Исправлена проблема с обратной совместимостью в вложенном выполнении SQL
• [SPARK-45121] [SC-142375] [CONNECT] [PS] Поддержка Series.empty Подключение Spark.
• [SPARK-44805] [SC-142203] [SQL] getBytes/getShorts/getInts/etc. Должен работать в векторе столбцов с словарем.
• [SPARK-45027] [SC-142248] [PYTHON] Скрытие внутренних функций и переменных из pyspark.sql.functions автоматического завершения
• [SPARK-45073] [SC-141791] [PS] [CONNECT] Замена LastNotNull на Last(ignoreNulls=True)
• [SPARK-44901] [SC-141676] [SQL] Обратный порт вручную. Добавление API в метод анализа UDTF Python для возврата выражений секционирования и упорядочивания
• [SPARK-45076] [SC-141795] [PS] Переключение на встроенную repeat функцию
• [SPARK-44162] [SC-141605] [CORE] Поддержка G1GC в метриках Spark
• [SPARK-45053] [SC-141733] [PYTHON] [ДОПОЛНИТЕЛЬНЫЙ] Улучшение журнала в несоответствии версии Python
• [SPARK-44866] [SC-142221] [SQL] Добавление SnowflakeDialect для правильной обработки типа BOOLEAN
• [SPARK-45064] [SC-141775] [PYTHON] [CONNECT] Добавление отсутствующих scale параметров в ceil/ceiling
• [SPARK-45059] [SC-141757] [CONNECT] [PYTHON] Добавление try_reflect функций в Scala и Python
• [SPARK-43251] [SC-142280] [SQL] Замените класс _LEGACY_ERROR_TEMP_2015 ошибок внутренним ошибкой
• [SPARK-45052] [SC-141736] [SQL] [PYTHON] [CONNECT] Согласование имени выходного столбца функции с sql
• [SPARK-44239] [SC-141502] [SQL] Свободная память, выделенная большими векторами при сбросе векторов
• [SPARK-43295] [SC-142254] [PS] Поддержка столбцов строковых типов для DataFrameGroupBy.sum
• [SPARK-45080] [SC-142062] [SS] Явное вызовите поддержку columnar в источниках данных потоковой передачи DSv2
• [SPARK-45036] [SC-141768] [SQL] SPJ: упрощение логики для обработки частично кластеризованного распределения
• [SPARK-45077] [SC-142069] [пользовательский интерфейс] Обновление dagre-d3.js с версии 0.4.3 до версии 0.6.4
• [SPARK-45091] [SC-142020] [PYTHON] [CONNECT] [SQL] Функция floor/round/bround принимает тип столбца scale
• [SPARK-45090] [SC-142019] [PYTHON] [CONNECT] DataFrame.{cube, rollup} Порядковые номера столбцов поддержки
• [SPARK-44743] [SC-141625] [SQL] Добавление try_reflect функции
• [SPARK-45086] [SC-142052] [пользовательский интерфейс] Отображение шестнадцатеричного хэш-кода блокировки потока
• [SPARK-44952] [SC-141644] [SQL] [PYTHON] Поддержка именованных аргументов в агрегатных пользовательских файлах Pandas
• [SPARK-44987] [SC-141552] [SQL] Назначение имени классу ошибок _LEGACY_ERROR_TEMP_1100
• [SPARK-45032] [SC-141730] [CONNECT] Исправление предупреждений компиляции, связанных с Top-level wildcard is not allowed and will error under -Xsource:3
• [SPARK-45048] [SC-141629] [CONNECT] Добавление дополнительных тестов для клиента Python и присоединенного выполнения
• [SPARK-45072] [SC-141807] [CONNECT] Исправление внешних область для классов аммонита
• [SPARK-45033] [SC-141759] [SQL] Поддержка карт по параметризованным sql()
• [SPARK-45066] [SC-141772] [SQL] [PYTHON] [CONNECT] Создание функции repeat accept column-type n
• [SPARK-44860] [SC-141103] [SQL] Добавление функции SESSION_USER
• [SPARK-45074] [SC-141796] [PYTHON] [CONNECT] DataFrame.{sort, sortWithinPartitions} Порядковые номера столбцов поддержки
• [SPARK-45047] [SC-141774] [PYTHON] [CONNECT] DataFrame.groupBy порядковые номера поддержки
• [SPARK-44863] [SC-140798] [пользовательский интерфейс] Добавление кнопки для скачивания дампа потока в виде txt в пользовательском интерфейсе Spark
• [SPARK-45026] [SC-141604] [CONNECT] spark.sql должна поддерживать типы данных, несовместимые со стрелкой
• [SPARK-44999] [SC-141145] [CORE] Рефакторинг для уменьшения ExternalSorter проверка при shouldPartition вызовеgetPartition
• [SPARK-42304] [SC-141501] [SQL] Переименование _LEGACY_ERROR_TEMP_2189 в GET_TABLES_BY_TYPE_UNSUPPORTED_BY_HIVE_VERSION
• [SPARK-43781] [SC-139450] [SQL] Исправление IllegalStateException при совместном группировке двух наборов данных, производных от одного источника.
• [SPARK-45018] [SC-141516] [PYTHON] [CONNECT] Добавление CalendarIntervalType в клиент Python
• [SPARK-45024] [SC-141513] [PYTHON] [CONNECT] Фильтрация некоторых конфигураций при создании сеанса
• [SPARK-45017] [SC-141508] [PYTHON] Добавление CalendarIntervalType в PySpark
• [SPARK-44720] [SC-139375] [CONNECT] Создание набора данных с помощью кодировщика вместо AgnosticEncoder
• [SPARK-44982] [SC-141027] [CONNECT] Пометить конфигурации сервера Spark Подключение как статические
• [SPARK-44839] [SC-140900] [SS] [CONNECT] Улучшение ведения журнала ошибок при попытке пользователя сериализовать сеанс Spark
• [SPARK-44865] [SC-140905] [SS] Создание столбца метаданных с поддержкой StreamingRelationV2
• [SPARK-45001] [SC-141141] [PYTHON] [CONNECT] Реализация DataFrame.foreachPartition
• [SPARK-44497] [SC-141017] [WEBUI] Отображение идентификатора секции задачи в таблице задач
• [SPARK-45006] [SC-141143] [пользовательский интерфейс] Используйте тот же формат даты других элементов даты пользовательского интерфейса для оси x временная шкала
• [SPARK-450000] [SC-141135] [PYTHON] [CONNECT] Реализация DataFrame.foreach
• [SPARK-44967] [SC-141137] [SQL] [CONNECT] Прежде чем использовать boolean for TreeNodeTag, следует учитывать единицу.
• [SPARK-44993] [SC-1410888] [CORE] Добавление ShuffleChecksumUtils.compareChecksums путем повторного выполнения ShuffleChecksumTestHelp.compareChecksums
• [SPARK-44807] [SC-140176] [CONNECT] Добавление Dataset.metadataColumn в клиент Scala
• [SPARK-44965] [SC-141098] [PYTHON] Скрытие внутренних функций и переменных из pyspark.sql.functions
• [SPARK-44983] [SC-141030] [SQL] Преобразование двоичного файла в строку по to_char форматам: hex, base64utf-8
• [SPARK-44980] [DBRRM-462] [SC-141024] [PYTHON] [CONNECT] Исправление унаследованных именованных элементов для работы в createDataFrame
• [SPARK-44985] [SC-141033] [CORE] Используйте toString вместо stacktrace для извлечения задач threadDump
• [SPARK-44984] [SC-141028] [PYTHON] [CONNECT] Удаление _get_alias из кадра данных
• [SPARK-44975] [SC-141013] [SQL] Удаление разрешенной переопределения BinaryArithmetic без использования
• [SPARK-44969] [SC-140957] [SQL] Повторное использование ArrayInsert в ArrayAppend
• [SPARK-44549] [SC-140714] [SQL] Поддержка функций окна в сопоставленных скалярных вложенных запросах
• [SPARK-44938] [SC-140811] [SQL] Изменение значения spark.sql.maxSinglePartitionBytes по умолчанию на 128 млн
• [SPARK-44918] [SC-140816] [SQL] [PYTHON] Поддержка именованных аргументов в скалярных пользовательских файлах Python/Pandas
• [SPARK-44966] [SC-140907] [CORE] [CONNECT] Изменение никогда не изменялось varval
• [SPARK-41471] [SC-140804] [SQL] Уменьшение перетасовки Spark, если только одна сторона соединения — KeyGroupedPartitioning
• [SPARK-44214] [SC-140528] [CORE] Поддержка пользовательского интерфейса журнала Spark Driver Live Log
• [SPARK-44861] [SC-140716] [CONNECT] jsonignore SparkListener Подключение OperationStarted.planRequest
• [SPARK-44776] [SC-140519] [CONNECT] Добавление ProducedRowCount в SparkListener Подключение OperationFinished
• [SPARK-42017] [SC-140765] [PYTHON] [CONNECT] df['col_name'] должен проверить имя столбца
• [SPARK-40178] [SC-140433] [SQL] [COONECT] Поддержка подсказок объединения с легкостью для PySpark и R
• [SPARK-44840] [SC-140593] [SQL] Создание array_insert() 1 на основе отрицательных индексов
• [SPARK-44939] [SC-140778] [R] Поддержка Java 21 в SparkR SystemRequirements
• [SPARK-44936] [SC-140770] [CORE] Упрощение журнала при достижении ограничения памяти в гибридном хранилище Spark
• [SPARK-44908] [SC-140712] [ML] [CONNECT] Исправление функциональных возможностей перекрестного проверяющего элемента свертыванияCol
• [SPARK-44816] [SC-140717] [CONNECT] Улучшение сообщения об ошибке, если класс UDF не найден
• [SPARK-44909] [SC-140710] [ML] Пропустить запуск сервера потоковой передачи журналов распространителя факелов, если он недоступен
• [SPARK-44920] [SC-140707] [CORE] Используйте await() вместо awaitUninterruptibly() в TransportClientFactory.createClient()
• [SPARK-44905] [SC-140703] [SQL] Stateful lastRegex вызывает nullPointerException на eval для regexp_replace
• [SPARK-43987] [SC-139594] [Перетасовка] Отдельная обработкаShuffleMerge для выделенных пулов потоков
• [SPARK-42768] [SC-140549] [SQL] Включение кэшированного плана применяет AQE по умолчанию
• [SPARK-44741] [SC-139447] [CORE] Поддержка regex-based MetricFilter в StatsdSink
• [SPARK-44751] [SC-140532] [SQL] Реализация интерфейса XML FileFormat
• [SPARK-44868] [SC-140438] [SQL] Преобразование даты и времени в строку по to_char/to_varchar
• [SPARK-44748] [SC-140504] [SQL] Выполнение запроса для предложения PARTITION BY в аргументах UDTF TABLE
• [SPARK-44873] [SC-140427] Поддержка изменения представления с вложенными столбцами в клиенте Hive
• [SPARK-44876] [SC-140431] [PYTHON] Исправление UDF Python, оптимизированного со стрелками, на Подключение Spark
• [SPARK-44520] [SC-137845] [SQL] Замените термин UNSUPPORTED_DATA_SOURCE_FOR_DIRECT_QUERY на UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY и корневую AE раскрытия
• [SPARK-42664] [SC-139769] [CONNECT] Функция поддержки bloomFilter для DataFrameStatFunctions
• [SPARK-43567] [SC-139227] [PS] Поддержка use_na_sentinelfactorize
• [SPARK-44859] [SC-140254] [SS] Исправлено неправильное имя свойства в структурированной потоковой документации
• [SPARK-44822] [SC-140182] [PYTHON] [SQL] Создание определяемых пользователем функций Python по умолчанию, недетерминированных
• [SPARK-44731] [SC-139524] [PYTHON] [CONNECT] Создание метки времени работает с литералами в Python Spark Подключение
• [SPARK-44836] [SC-140180] [PYTHON] Рефакторинг стрелки Python UDTF
• [SPARK-44714] [SC-139238] Упрощение ограничения разрешения LCA относительно запросов с наличием
• [SPARK-44749] [SC-139664] [SQL] [PYTHON] Поддержка именованных аргументов в UDTF Python
• [SPARK-44737] [SC-139512] [SQL] [пользовательский интерфейс] Не следует отображать ошибки формата JSON на странице SQL для неиспространимых файлов SparkThrowable на вкладке SQL
• [SPARK-44665] [SC-139307] [PYTHON] Добавление поддержки pandas DataFrame assertDataFrameEqual
• [SPARK-44736] [SC-139622] [CONNECT] Добавление Dataset.explode в клиент Spark Подключение Scala
• [SPARK-44732] [SC-139422] [SQL] Встроенная поддержка источника данных XML
• [SPARK-44694] [SC-139213] [PYTHON] [CONNECT] Рефакторинг активных сеансов и их предоставление в качестве API
• [SPARK-44652] [SC-138881] Возникает ошибка, если только одна функция df имеет значение None
• [SPARK-44562] [SC-138824] [SQL] Добавление OptimizeOneRowRelationSubquery в пакет вложенных запросов
• [SPARK-44717] [SC-139319] [PYTHON] [PS] Уважение метки времени в resampling
• [SPARK-42849] [SC-139365] [SQL] Переменные сеанса
• [SPARK-44236] [SC-139239] [SQL] Отключение Кто leStageCodegen при установке spark.sql.codegen.factoryMode значения NO_CODEGEN
• [SPARK-44695] [SC-139316] [PYTHON] Улучшение сообщения об ошибке для DataFrame.toDF
• [SPARK-44680] [SC-139234] [SQL] Улучшение ошибки для параметров в DEFAULT
• [SPARK-43402] [SC-138321] [SQL] FileSourceScanExec поддерживает фильтрацию данных с скалярным вложенным запросом
• [SPARK-44641] [SC-139216] [SQL] Неправильный результат в определенных сценариях, когда SPJ не активируется
• [SPARK-44689] [SC-139219] [CONNECT] Сделать обработку исключений функции SparkConnectPlanner#unpackScalarScalaUDF более универсальной
• [SPARK-41636] [SC-139061] [SQL] Убедитесь, что selectFilters возвращаются предикаты в детерминированном порядке
• [SPARK-44132] [SC-139197] [SQL] Материализация Stream имен столбцов соединения, чтобы избежать сбоя кодегена
• [SPARK-42330] [SC-138838] [SQL] Назначение имени RULE_ID_NOT_FOUND классу ошибок _LEGACY_ERROR_TEMP_2175
• [SPARK-44683] [SC-139214] [SS] Уровень ведения журнала не передается поставщику хранилища состояний RocksDB правильно
• [SPARK-44658] [SC-138868] [CORE] ShuffleStatus.getMapStatus должен возвращаться None вместо Some(null)
• [SPARK-44603] [SC-138353] Добавление pyspark.testing в setup.py
• [SPARK-44252] [SC-137505] [SS] Определите новый класс ошибок и примените к ситуации, когда состояние загрузки из DFS завершается ошибкой
• [SPARK-29497] [DBRRM-396] [SC-138477] [CONNECT] Возникает ошибка, если UDF не десериализуется.
• [SPARK-44624] [DBRRM-396] [SC-138900] [CONNECT] Повторная попытка ExecutePlan в случае, если первоначальный запрос не достиг сервера
• [SPARK-41400] [DBRRM-396] [SC-138287] [CONNECT] Удаление зависимости клиентского катализатора Подключение
• [SPARK-44059] [SC-138833] [SQL] Добавление лучших сообщений об ошибках для SQL с именем argumnts
• [SPARK-44620] [SC-138831] [SQL] [PS] [CONNECT] Сохранение ResolvePivotPlan_ID_TAG
• [SPARK-43838] [SC-137413] [SQL] Исправление вложенных запросов в одной таблице с предложением не может быть оптимизировано
• [SPARK-44555] [SC-138820] [SQL] Использование проверка Error() для проверка исключения в command Suite и назначения некоторых имен классов ошибок
• [SPARK-44280] [SC-138821] [SQL] Добавление convertJavaTimestampToTimestamp в API JDBCDialect
• [SPARK-44602] [SC-138337] [SQL] [CONNECT] [PS] Сохранение WidenSetOperationTypesPlan_ID_TAG
• [SPARK-42941] [SC-138389] [SS] [CONNECT] Python StreamingQueryListener
• [SPARK-43838] Возврат "[SC-137413][SQL] Исправление вложенных запросов на одном ta...
• [SPARK-44538] [SC-138178] [CONNECT] [SQL] Восстановление Row.jsonValue и друзей
• [SPARK-44421] [SC-138434] [SPARK-44423] [CONNECT] Повторное выполнение в Spark Подключение
• [SPARK-43838] [SC-137413] [SQL] Исправление вложенных запросов в одной таблице с предложением не может быть оптимизировано
• [SPARK-44587] [SC-138315] [SQL] [CONNECT] Увеличение предела рекурсии protobuf маршаллера
• [SPARK-44605] [SC-138338] [CORE] Уточнение внутреннего API ShuffleWriteProcessor
• [SPARK-44394] [SC-138291] [CONNECT] [WEBUI] Добавление страницы пользовательского интерфейса Spark для Spark Подключение
• [SPARK-44585] [SC-138286] [MLLIB] Исправлено условие предупреждения в MLLib RankingMetrics ndcgAk
• [SPARK-44198] [SC-138137] [CORE] Поддержка распространения уровня журнала исполнителям
• [SPARK-44454] [SC-138071] [SQL] [HIVE] Поддержка HiveShim getTablesByType
• [SPARK-44425] [SC-138135] [CONNECT] Проверка того, что предоставленный пользователем sessionId является UUID
• [SPARK-43611] [SC-138051] [SQL] [PS] [CONNCECT] Сохранение ExtractWindowExpressionsPLAN_ID_TAG
• [SPARK-44560] [SC-138117] [PYTHON] [CONNECT] Улучшение тестов и документации по UDF со стрелками Python
• [SPARK-44482] [SC-138067] [CONNECT] сервер Подключение должен указывать адрес привязки
• [SPARK-44528] [SC-138047] [CONNECT] Поддержка правильного использования hasattr() для Подключение кадра данных
• [SPARK-44525] [SC-138043] [SQL] Улучшение сообщения об ошибке, если метод Invoke не найден
• [SPARK-44355] [SC-137878] [SQL] Перемещение WithCTE в запросы команд

Поддержка драйвера ODBC/JDBC Databricks

Databricks поддерживает драйверы ODBC/JDBC, выпущенные за последние 2 года. Скачайте недавно выпущенные драйверы и обновление (скачайте ODBC, скачайте JDBC).

Системная среда

• Операционная система: Ubuntu 22.04.3 LTS
• Java: Zulu 8.72.0.17-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.3.1
• Delta Lake: 3.0.0

Установленные библиотеки Python

Библиотека	Версия	Библиотека	Версия	Библиотека	Версия
anyio	3.5.0	argon2-cffi	21.3.0	argon2-cffi-bindings	21.2.0
asttokens	2.0.5	attrs	22.1.0	backcall	0.2.0
beautifulsoup4	4.11.1	black	22.6.0	bleach	4.1.0
blinker	1.4	boto3	1.24.28	botocore	1.27.96
certifi	2022.12.7	cffi	1.15.1	chardet	4.0.0
charset-normalizer	2.0.4	щелчок	8.0.4	comm	0.1.2
контурная диаграмма	1.0.5	Криптографии	39.0.1	cycler	0.11.0
Cython	0.29.32	databricks-sdk	0.1.6	dbus-python	1.2.18
debugpy	1.6.7	decorator	5.1.1	defusedxml	0.7.1
distlib	0.3.7	docstring-to-markdown	0,11	entrypoints	0,4
executing	0.8.3	facets-overview	1.1.1	fastjsonschema	2.18.0
filelock	3.12.3	шрифтовые инструменты	4.25.0	Библиотека среды выполнения GCC	1.10.0
googleapis-common-protos	1.60.0	grpcio	1.48.2	grpcio-status	1.48.1
httplib2	0.20.2	idna	3,4	importlib-metadata	4.6.4
ipykernel	6.25.0	ipython	8.14.0	ipython-genutils	0.2.0
ipywidgets	7.7.2	jedi	0.18.1	jeepney	0.7.1
Jinja2	3.1.2	jmespath	0.10.0	joblib	1.2.0
jsonschema	4.17.3	jupyter-client	7.3.4	jupyter-server	1.23.4
jupyter_core	5.2.0	jupyterlab-pygments	0.1.2	jupyterlab-widgets	1.0.0
Брелок	23.5.0	kiwisolver	1.4.4	launchpadlib	1.10.16
lazr.restfulclient	0.14.4	lazr.uri	1.0.6	lxml	4.9.1
MarkupSafe	2.1.1	matplotlib	3.7.0	matplotlib-inline	0.1.6
Маккейб	0.7.0	mistune	0.8.4	more-itertools	8.10.0
mypy-extensions	0.4.3	nbclassic	0.5.2	nbclient	0.5.13
nbconvert	6.5.4	nbformat	5.7.0	nest-asyncio	1.5.6
nodeenv	1.8.0	записная книжка	6.5.2	notebook_shim	0.2.2
numpy	1.23.5	oauthlib	3.2.0	во внешнем виде	22,0
pandas	1.5.3	pandocfilters	1.5.0	parso	0.8.3
pathspec	0.10.3	patsy	0.5.3	pexpect	4.8.0
pickleshare	0.7.5	Pillow	9.4.0	pip	22.3.1
platformdirs	2.5.2	график	5.9.0	pluggy	1.0.0
prometheus-client	0.14.1	prompt-toolkit	3.0.36	protobuf	4.24.0
psutil	5.9.0	psycopg2	2.9.3	ptyprocess	0.7.0
pure-eval	0.2.2	pyarrow	8.0.0	pycparser	2.21
pydantic	1.10.6	pyflakes	3.0.1	Pygments	2.11.2
PyGObject	3.42.1	PyJWT	2.3.0	pyodbc	4.0.32
pyparsing	3.0.9	pyright	1.1.294	pyrsistent	0.18.0
python-dateutil	2.8.2	python-lsp-jsonrpc	1.0.0	python-lsp-server	1.7.1
pytoolconfig	1.2.5	pytz	2022.7	pyzmq	23.2.0
requests	2.28.1	Веревку	1.7.0	s3transfer	0.6.2
scikit-learn	1.1.1	Сиборн	0.12.2	Секрет служба хранилища	3.3.1
Send2Trash	1.8.0	setuptools	65.6.3	six	1.16.0
sniffio	1.2.0	soupsieve	2.3.2.post1	ssh-import-id	5,11
stack-data	0.2.0	statsmodels	0.13.5	tenacity	8.1.0
terminado	0.17.1	threadpoolctl	2.2.0	tinycss2	1.2.1
tokenize-rt	4.2.1	tomli	2.0.1	tornado	6.1
traitlets	5.7.1	typing_extensions	4.4.0	ujson	5.4.0
unattended-upgrades	0,1	urllib3	1.26.14	virtualenv	20.16.7
wadllib	1.3.6	wcwidth	0.2.5	webencodings	0.5.1
websocket-client	0.58.0	whatthepatch	1.0.2	wheel	0.38.4
widgetsnbextension	3.6.1	yapf	0.31.0	zipp	1.0.0
SciPy	1.10.1

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка Posit диспетчер пакетов CRAN 2023-02-10.

Библиотека	Версия	Библиотека	Версия	Библиотека	Версия
Стрелка	12.0.1	askpass	1,1	assertthat	0.2.1
внутренние порты	1.4.1	base	4.3.1	base64enc	0.1-3
bit	4.0.5	bit64	4.0.5	большой двоичный объект	1.2.4
загрузка	1.3-28	Заваривать	1,0–8	brio	1.1.3
Метлу	1.0.5	bslib	0.5.0	cachem	1.0.8
вызывающий объект	3.7.3	крышка	6.0-94	cellranger	1.1.0
chron	2.3-61	class	7.3-22	cli	3.6.1
clipr	0.8.0	clock	0.7.0	cluster	2.1.4
codetools	0.2-19	colorspace	2.1-0	commonmark	1.9.0
компилятор	4.3.1	config	0.3.1	Противоречие	1.2.0
cpp11	0.4.4	Карандаш	1.5.2	учетные данные	1.3.2
curl	5.0.1	data.table	1.14.8	наборы данных	4.3.1
DBI	1.1.3	dbplyr	2.3.3	desc	1.4.2
средства разработки	2.4.5	Схема	1.6.5	diffobj	0.3.5
digest	0.6.33	downlit	0.4.3	dplyr	1.1.2
dtplyr	1.3.1	e1071	1.7-13	многоточие	0.3.2
evaluate	0.21	вентиляторы	1.0.4	Farver	2.1.1
fastmap	1.1.1	fontawesome	0.5.1	forcats	1.0.0
foreach	1.5.2	Иностранных	0.8-82	forge	0.2.0
fs	1.6.2	будущее	1.33.0	future.apply	1.11.0
gargle	1.5.1	Универсальные шаблоны	0.1.3	gert	1.9.2
ggplot2	3.4.2	gh	1.4.0	gitcreds	0.1.2
glmnet	4.1-7	globals	0.16.2	Клей	1.6.2
googledrive	2.1.1	googlesheets4	1.1.1	Говер	1.0.1
графика	4.3.1	grDevices	4.3.1	grid	4.3.1
gridExtra	2.3	gsubfn	0,7	gtable	0.3.3
hardhat	1.3.0	haven	2.5.3	высокий	0.10
Hms	1.1.3	htmltools	0.5.5	htmlwidgets	1.6.2
httpuv	1.6.11	httr	1.4.6	httr2	0.2.3
ids	1.0.1	ini	0.3.1	ipred	0.9-14
isoband	0.2.7	Итераторы	1.0.14	jquerylib	0.1.4
jsonlite	1.8.7	KernSmooth	2.23-21	трикотажный	1,43
Маркировки	0.4.2	later	1.3.1	Решетки	0.21-8
Lava	1.7.2.1	жизненный цикл	1.0.3	listenv	0.9.0
lubridate	1.9.2	magrittr	2.0.3	Markdown	1,7
МАССАЧУСЕТС	7.3-60	«Матрица»	1.5-4.1	memoise	2.0.1
оплаты	4.3.1	mgcv	1.8-42	Mime	0,12
miniUI	0.1.1.1	ModelMetrics	1.2.2.2	modelr	0.1.11
munsell	0.5.0	nlme	3.1-162	nnet	7.3-19
numDeriv	2016.8-1.1	openssl	2.0.6	parallel	4.3.1
parallelly	1.36.0	Столб	1.9.0	pkgbuild	1.4.2
pkgconfig	2.0.3	pkgdown	2.0.7	pkgload	1.3.2.1
plogr	0.2.0	plyr	1.8.8	Похвалы	1.0.0
prettyunits	1.1.1	Proc	1.18.4	processx	3.8.2
prodlim	2023.03.31	profvis	0.3.8	Ход выполнения	1.2.2
progressr	0.13.0	promises	1.2.0.1	proto	1.0.0
proxy	0.4-27	ps	1.7.5	purrr	1.0.1
r2d3	0.2.6	R6	2.5.1	ragg	1.2.5
randomForest	4.7-1.1	rappdirs	0.3.3	rcmdcheck	1.4.0
RColorBrewer	1.1-3	Rcpp	1.0.11	RcppEigen	0.3.3.9.3
readr	2.1.4	readxl	1.4.3	Рецепты	1.0.6
Реванш	1.0.1	rematch2	2.1.2	remotes	2.4.2
reprex	2.0.2	reshape2	1.4.4	rlang	1.1.1
rmarkdown	2,23	RODBC	1.3-20	roxygen2	7.2.3
rpart	4.1.19	rprojroot	2.0.3	Rserve	1.8-11
RSQLite	2.3.1	rstudioapi	0.15.0	rversions	2.1.2
rvest	1.0.3	sass	0.4.6	Весы	1.2.1
селектор	0.4-2	sessioninfo	1.2.2	Формы	1.4.6
Блестящие	1.7.4.1	sourcetools	0.1.7-1	sparklyr	1.8.1
SparkR	3.5.0	пространственный	7.3-15	Сплайны	4.3.1
sqldf	0.4-11	SQUAREM	2021.1	stats	4.3.1
статистика4	4.3.1	stringi	1.7.12	stringr	1.5.0
Выживания	3.5-5	sys	3.4.2	systemfonts	1.0.4
tcltk	4.3.1	testthat	3.1.10	textshaping	0.3.6
tibble	3.2.1	tidyr	1.3.0	tidyselect	1.2.0
tidyverse	2.0.0	timechange	0.2.0	TimeDate	4022.108
tinytex	0,45 %	средства	4.3.1	tzdb	0.4.0
urlchecker	1.0.1	usethis	2.2.2	utf8	1.2.3
служебные программы	4.3.1	uuid	1.1-0	vctrs	0.6.3
viridisLite	0.4.2	vroom	1.6.3	waldo	0.5.1
виски	0.4.1	withr	2.5.0	xfun	0,39
xml2	1.3.5	xopen	1.0.0	xtable	1.8-4
Yaml	2.3.7	zip	2.3.0

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)

ИД группы	Идентификатор артефакта	Версия
antlr	antlr	2.7.7
com.amazonaws	amazon-kinesis-client	1.12.0
com.amazonaws	aws-java-sdk-autoscaling	1.12.390
com.amazonaws	aws-java-sdk-cloudformation	1.12.390
com.amazonaws	aws-java-sdk-cloudfront	1.12.390
com.amazonaws	aws-java-sdk-cloudhsm	1.12.390
com.amazonaws	aws-java-sdk-cloudsearch	1.12.390
com.amazonaws	aws-java-sdk-cloudtrail	1.12.390
com.amazonaws	aws-java-sdk-cloudwatch	1.12.390
com.amazonaws	aws-java-sdk-cloudwatchmetrics	1.12.390
com.amazonaws	aws-java-sdk-codedeploy	1.12.390
com.amazonaws	aws-java-sdk-cognitoidentity	1.12.390
com.amazonaws	aws-java-sdk-cognitosync	1.12.390
com.amazonaws	aws-java-sdk-config	1.12.390
com.amazonaws	aws-java-sdk-core	1.12.390
com.amazonaws	aws-java-sdk-datapipeline	1.12.390
com.amazonaws	aws-java-sdk-directconnect	1.12.390
com.amazonaws	aws-java-sdk-directory	1.12.390
com.amazonaws	aws-java-sdk-dynamodb	1.12.390
com.amazonaws	aws-java-sdk-ec2	1.12.390
com.amazonaws	aws-java-sdk-ecs	1.12.390
com.amazonaws	aws-java-sdk-efs	1.12.390
com.amazonaws	aws-java-sdk-elasticache	1.12.390
com.amazonaws	aws-java-sdk-elasticbeanstalk	1.12.390
com.amazonaws	aws-java-sdk-elasticloadbalancing	1.12.390
com.amazonaws	aws-java-sdk-elastictranscoder	1.12.390
com.amazonaws	aws-java-sdk-emr	1.12.390
com.amazonaws	aws-java-sdk-glacier	1.12.390
com.amazonaws	aws-java-sdk-glue	1.12.390
com.amazonaws	aws-java-sdk-iam	1.12.390
com.amazonaws	aws-java-sdk-importexport	1.12.390
com.amazonaws	aws-java-sdk-kinesis	1.12.390
com.amazonaws	aws-java-sdk-kms	1.12.390
com.amazonaws	aws-java-sdk-lambda	1.12.390
com.amazonaws	aws-java-sdk-logs	1.12.390
com.amazonaws	aws-java-sdk-machinelearning	1.12.390
com.amazonaws	aws-java-sdk-opsworks	1.12.390
com.amazonaws	aws-java-sdk-rds	1.12.390
com.amazonaws	aws-java-sdk-redshift	1.12.390
com.amazonaws	aws-java-sdk-route53	1.12.390
com.amazonaws	aws-java-sdk-s3	1.12.390
com.amazonaws	aws-java-sdk-ses	1.12.390
com.amazonaws	aws-java-sdk-simpledb	1.12.390
com.amazonaws	aws-java-sdk-simpleworkflow	1.12.390
com.amazonaws	aws-java-sdk-sns	1.12.390
com.amazonaws	aws-java-sdk-sqs	1.12.390
com.amazonaws	aws-java-sdk-ssm	1.12.390
com.amazonaws	aws-java-sdk-storagegateway	1.12.390
com.amazonaws	aws-java-sdk-sts	1.12.390
com.amazonaws	aws-java-sdk-support	1.12.390
com.amazonaws	aws-java-sdk-swf-libraries	1.11.22
com.amazonaws	aws-java-sdk-workspaces	1.12.390
com.amazonaws	jmespath-java	1.12.390
com.clearspring.analytics	потоковая передача	2.9.6
com.databricks	Rserve	1.8-3
com.databricks	databricks-sdk-java	0.7.0
com.databricks	jets3t	0.7.1–0
com.databricks.scalapb	compilerplugin_2.12	0.4.15-10
com.databricks.scalapb	scalapb-runtime_2.12	0.4.15-10
com.esotericsoftware	kryo-shaded	4.0.2
com.esotericsoftware	minlog	1.3.0
com.fasterxml	classmate	1.3.4
com.fasterxml.jackson.core	jackson-annotations	2.15.2
com.fasterxml.jackson.core	jackson-core	2.15.2
com.fasterxml.jackson.core	jackson-databind	2.15.2
com.fasterxml.jackson.dataformat	jackson-dataformat-cbor	2.15.2
com.fasterxml.jackson.datatype	jackson-datatype-joda	2.15.2
com.fasterxml.jackson.datatype	jackson-datatype-jsr310	2.15.1
com.fasterxml.jackson.module	jackson-module-paranamer	2.15.2
com.fasterxml.jackson.module	jackson-module-scala_2.12	2.15.2
com.github.ben-manes.caffeine	caffeine	2.9.3
com.github.fommil	jniloader	1,1
com.github.fommil.netlib	native_ref-java	1,1
com.github.fommil.netlib	native_ref-java	1.1-natives
com.github.fommil.netlib	native_system-java	1,1
com.github.fommil.netlib	native_system-java	1.1-natives
com.github.fommil.netlib	netlib-native_ref-linux-x86_64	1.1-natives
com.github.fommil.netlib	netlib-native_system-linux-x86_64	1.1-natives
com.github.luben	zstd-jni	1.5.5-4
com.github.wendykierp	JTransforms	3.1
com.google.code.findbugs	jsr305	3.0.0
com.google.code.gson	gson	2.10.1
com.google.crypto.tink	tink	1.9.0
com.google.errorprone	error_prone_annotations	2.10.0
com.google.flatbuffers	flatbuffers-java	1.12.0
com.google.guava	guava	15,0
com.google.protobuf	protobuf-java	2.6.1
com.helger	профилировщик	1.1.1
com.jcraft	jsch	0.1.55
com.jolbox	bonecp	0.8.0.RELEASE
com.lihaoyi	sourcecode_2.12	0.1.9
com.microsoft.azure	azure-data-lake-store-sdk	2.3.9
com.microsoft.sqlserver	mssql-jdbc	11.2.2.jre8
com.ning	compress-lzf	1.1.2
com.sun.mail	javax.mail	1.5.2
com.sun.xml.bind	jaxb-core	2.2.11
com.sun.xml.bind	jaxb-impl	2.2.11
com.tdunning	json	1.8
com.thoughtworks.paranamer	paranamer	2.8
com.trueaccord.lenses	lenses_2.12	0.4.12
com.twitter	chill-java	0.10.0
com.twitter	chill_2.12	0.10.0
com.twitter	util-app_2.12	7.1.0
com.twitter	util-core_2.12	7.1.0
com.twitter	util-function_2.12	7.1.0
com.twitter	util-jvm_2.12	7.1.0
com.twitter	util-lint_2.12	7.1.0
com.twitter	util-registry_2.12	7.1.0
com.twitter	util-stats_2.12	7.1.0
com.typesafe	config	1.2.1
com.typesafe.scala-logging	scala-logging_2.12	3.7.2
com.uber	h3	3.7.3
com.univocity	univocity-parsers	2.9.1
com.zaxxer	HikariCP	4.0.3
commons-cli	commons-cli	1.5.0
commons-codec	commons-codec	1.16.0
commons-collections	commons-collections	3.2.2
commons-dbcp	commons-dbcp	1.4
commons-fileupload	commons-fileupload	1.5
commons-httpclient	commons-httpclient	3.1
commons-io	commons-io	2.13.0
commons-lang	commons-lang	2.6
commons-logging	commons-logging	1.1.3
commons-pool	commons-pool	1.5.4
dev.ludovic.netlib	arpack	3.0.3
dev.ludovic.netlib	blas	3.0.3
dev.ludovic.netlib	lapack	3.0.3
info.ganglia.gmetric4j	gmetric4j	1.0.10
io.airlift	aircompressor	0.25
io.delta	delta-sharing-spark_2.12	0.7.5
io.dropwizard.metrics	метрики-заметки	4.2.19
io.dropwizard.metrics	metrics-core	4.2.19
io.dropwizard.metrics	metrics-graphite	4.2.19
io.dropwizard.metrics	metrics-healthchecks	4.2.19
io.dropwizard.metrics	metrics-jetty9	4.2.19
io.dropwizard.metrics	metrics-jmx	4.2.19
io.dropwizard.metrics	metrics-json	4.2.19
io.dropwizard.metrics	metrics-jvm	4.2.19
io.dropwizard.metrics	metrics-servlets	4.2.19
io.netty	netty-all	4.1.96.Final
io.netty	netty-buffer	4.1.96.Final
io.netty	netty-codec	4.1.96.Final
io.netty	netty-codec-http	4.1.96.Final
io.netty	netty-codec-http2	4.1.96.Final
io.netty	netty-codec-socks	4.1.96.Final
io.netty	netty-common	4.1.96.Final
io.netty	netty-handler	4.1.96.Final
io.netty	netty-handler-proxy	4.1.96.Final
io.netty	netty-resolver	4.1.96.Final
io.netty	netty-tcnative-boringssl-static	2.0.61.Final-linux-aarch_64
io.netty	netty-tcnative-boringssl-static	2.0.61.Final-linux-x86_64
io.netty	netty-tcnative-boringssl-static	2.0.61.Final-osx-aarch_64
io.netty	netty-tcnative-boringssl-static	2.0.61.Final-osx-x86_64
io.netty	netty-tcnative-boringssl-static	2.0.61.Final-windows-x86_64
io.netty	netty-tcnative-classes	2.0.61.Final
io.netty	netty-transport	4.1.96.Final
io.netty	netty-transport-classes-epoll	4.1.96.Final
io.netty	netty-transport-classes-kqueue	4.1.96.Final
io.netty	netty-transport-native-epoll	4.1.96.Final
io.netty	netty-transport-native-epoll	4.1.96.Final-linux-aarch_64
io.netty	netty-transport-native-epoll	4.1.96.Final-linux-x86_64
io.netty	netty-transport-native-kqueue	4.1.96.Final-osx-aarch_64
io.netty	netty-transport-native-kqueue	4.1.96.Final-osx-x86_64
io.netty	netty-transport-native-unix-common	4.1.96.Final
io.prometheus	simpleclient	0.7.0
io.prometheus	simpleclient_common	0.7.0
io.prometheus	simpleclient_dropwizard	0.7.0
io.prometheus	simpleclient_pushgateway	0.7.0
io.prometheus	simpleclient_servlet	0.7.0
io.prometheus.jmx	Коллектор	0.12.0
jakarta.annotation	jakarta.annotation-api	1.3.5
jakarta.servlet	jakarta.servlet-api	4.0.3
jakarta.validation	jakarta.validation-api	2.0.2
jakarta.ws.rs	jakarta.ws.rs-api	2.1.6
javax.activation	activation	1.1.1
javax.el	javax.el-api	2.2.4
javax.jdo	jdo-api	3.0.1
javax.transaction	jta	1,1
javax.transaction	transaction-api	1,1
javax.xml.bind	jaxb-api	2.2.11
javolution	javolution	5.5.1
jline	jline	2.14.6
joda-time	joda-time	2.12.1
net.java.dev.jna	jna	5.8.0
net.razorvine	pickle	1,3
net.sf.jpam	jpam	1,1
net.sf.opencsv	opencsv	2.3
net.sf.supercsv	super-csv	2.2.0
net.snowflake	snowflake-ingest-sdk	0.9.6
net.snowflake	snowflake-jdbc	3.13.33
net.sourceforge.f2j	arpack_combined_all	0,1
org.acplt.remotetea	remotetea-oncrpc	1.1.2
org.antlr	ST4	4.0.4
org.antlr	antlr-runtime	3.5.2
org.antlr	antlr4-runtime	4.9.3
org.antlr	stringtemplate	3.2.1
org.apache.ant	ant	1.9.16
org.apache.ant	ant-jsch	1.9.16
org.apache.ant	ant-launcher	1.9.16
org.apache.arrow	arrow-format	12.0.1
org.apache.arrow	arrow-memory-core	12.0.1
org.apache.arrow	arrow-memory-netty	12.0.1
org.apache.arrow	arrow-vector	12.0.1
org.apache.avro	avro	1.11.2
org.apache.avro	avro-ipc	1.11.2
org.apache.avro	avro-mapred	1.11.2
org.apache.commons	commons-collections4	4.4.
org.apache.commons	commons-compress	1.23.0
org.apache.commons	commons-crypto	1.1.0
org.apache.commons	commons-lang3	3.12.0
org.apache.commons	commons-math3	3.6.1
org.apache.commons	commons-text	1.10.0
org.apache.curator	curator-client	2.13.0
org.apache.curator	curator-framework	2.13.0
org.apache.curator	curator-recipes	2.13.0
org.apache.datasketches	datasketches-java	3.1.0
org.apache.datasketches	datasketches-memory	2.0.0
org.apache.derby	derby	10.14.2.0
org.apache.hadoop	hadoop-client-runtime	3.3.6
org.apache.hive	hive-beeline	2.3.9
org.apache.hive	hive-cli	2.3.9
org.apache.hive	hive-jdbc	2.3.9
org.apache.hive	hive-llap-client	2.3.9
org.apache.hive	hive-llap-common	2.3.9
org.apache.hive	hive-serde	2.3.9
org.apache.hive	hive-shims	2.3.9
org.apache.hive	hive-storage-api	2.8.1
org.apache.hive.shims	hive-shims-0.23	2.3.9
org.apache.hive.shims	hive-shims-common	2.3.9
org.apache.hive.shims	hive-shims-scheduler	2.3.9
org.apache.httpcomponents	httpclient	4.5.14
org.apache.httpcomponents	httpcore	4.4.16
org.apache.ivy	ivy	2.5.1
org.apache.logging.log4j	log4j-1.2-api	2.20.0
org.apache.logging.log4j	log4j-api	2.20.0
org.apache.logging.log4j	log4j-core	2.20.0
org.apache.logging.log4j	log4j-slf4j2-impl	2.20.0
org.apache.mesos	mesos	1.11.0-shaded-protobuf
org.apache.orc	orc-core	1.9.1-shaded-protobuf
org.apache.orc	orc-mapreduce	1.9.1-shaded-protobuf
org.apache.orc	orc-shims	1.9.1
org.apache.thrift	libfb303	0.9.3
org.apache.thrift	libthrift	0.12.0
org.apache.ws.xmlschema	xmlschema-core	2.3.0
org.apache.xbean	xbean-asm9-shaded	4,23
org.apache.yetus	audience-annotations	0.13.0
org.apache.zookeeper	zookeeper	3.6.3
org.apache.zookeeper	zookeeper-jute	3.6.3
org.checkerframework	checker-qual	3.31.0
org.codehaus.jackson	jackson-core-asl	1.9.13
org.codehaus.jackson	jackson-mapper-asl	1.9.13
org.codehaus.janino	commons-compiler	3.0.16
org.codehaus.janino	janino	3.0.16
org.datanucleus	datanucleus-api-jdo	4.2.4
org.datanucleus	datanucleus-core	4.1.17
org.datanucleus	datanucleus-rdbms	4.1.19
org.datanucleus	javax.jdo	3.2.0-m3
org.eclipse.jetty	jetty-client	9.4.52.v20230823
org.eclipse.jetty	jetty-continuation	9.4.52.v20230823
org.eclipse.jetty	jetty-http	9.4.52.v20230823
org.eclipse.jetty	jetty-io	9.4.52.v20230823
org.eclipse.jetty	jetty-jndi	9.4.52.v20230823
org.eclipse.jetty	jetty-plus	9.4.52.v20230823
org.eclipse.jetty	jetty-proxy	9.4.52.v20230823
org.eclipse.jetty	jetty-security	9.4.52.v20230823
org.eclipse.jetty	jetty-server	9.4.52.v20230823
org.eclipse.jetty	jetty-servlet	9.4.52.v20230823
org.eclipse.jetty	jetty-servlets	9.4.52.v20230823
org.eclipse.jetty	jetty-util	9.4.52.v20230823
org.eclipse.jetty	jetty-util-ajax	9.4.52.v20230823
org.eclipse.jetty	jetty-webapp	9.4.52.v20230823
org.eclipse.jetty	jetty-xml	9.4.52.v20230823
org.eclipse.jetty.websocket	websocket-api	9.4.52.v20230823
org.eclipse.jetty.websocket	websocket-client	9.4.52.v20230823
org.eclipse.jetty.websocket	websocket-common	9.4.52.v20230823
org.eclipse.jetty.websocket	websocket-server	9.4.52.v20230823
org.eclipse.jetty.websocket	websocket-servlet	9.4.52.v20230823
org.fusesource.leveldbjni	leveldbjni-all	1.8
org.glassfish.hk2	hk2-api	2.6.1
org.glassfish.hk2	hk2-locator	2.6.1
org.glassfish.hk2	hk2-utils	2.6.1
org.glassfish.hk2	osgi-resource-locator	1.0.3
org.glassfish.hk2.external	aopalliance-repackaged	2.6.1
org.glassfish.hk2.external	jakarta.inject	2.6.1
org.glassfish.jersey.containers	jersey-container-servlet	2.40
org.glassfish.jersey.containers	jersey-container-servlet-core	2.40
org.glassfish.jersey.core	jersey-client	2.40
org.glassfish.jersey.core	jersey-common	2.40
org.glassfish.jersey.core	jersey-server	2.40
org.glassfish.jersey.inject	jersey-hk2	2.40
org.hibernate.validator	hibernate-validator	6.1.7.Final
org.ini4j	ini4j	0.5.4
org.javassist	javassist	3.29.2-GA
org.jboss.logging	jboss-logging	3.3.2.Final
org.jdbi	jdbi	2.63.1
org.jetbrains	annotations	17.0.0
org.joda	joda-convert	1,7
org.jodd	jodd-core	3.5.2
org.json4s	json4s-ast_2.12	3.7.0-M11
org.json4s	json4s-core_2.12	3.7.0-M11
org.json4s	json4s-jackson_2.12	3.7.0-M11
org.json4s	json4s-scalap_2.12	3.7.0-M11
org.lz4	lz4-java	1.8.0
org.mariadb.jdbc	mariadb-java-client	2.7.9
org.mlflow	mlflow-spark	2.2.0
org.objenesis	objenesis	2.5.1
org.postgresql	postgresql	42.6.0
org.roaringbitmap	RoaringBitmap	0.9.45
org.roaringbitmap	shims	0.9.45
org.rocksdb	rocksdbjni	8.3.2
org.rosuda.REngine	REngine	2.1.0
org.scala-lang	scala-compiler_2.12	2.12.15
org.scala-lang	scala-library_2.12	2.12.15
org.scala-lang	scala-reflect_2.12	2.12.15
org.scala-lang.modules	scala-collection-compat_2.12	2.9.0
org.scala-lang.modules	scala-parser-combinators_2.12	1.1.2
org.scala-lang.modules	scala-xml_2.12	1.2.0
org.scala-sbt	test-interface	1.0
org.scalacheck	scalacheck_2.12	1.14.2
org.scalactic	scalactic_2.12	3.2.15
org.scalanlp	breeze-macros_2.12	2.1.0
org.scalanlp	breeze_2.12	2.1.0
org.scalatest	Scalatest-compatible	3.2.15
org.scalatest	scalatest-core_2.12	3.2.15
org.scalatest	scalatest-diagrams_2.12	3.2.15
org.scalatest	scalatest-featurespec_2.12	3.2.15
org.scalatest	scalatest-flatspec_2.12	3.2.15
org.scalatest	scalatest-freespec_2.12	3.2.15
org.scalatest	scalatest-funspec_2.12	3.2.15
org.scalatest	scalatest-funsuite_2.12	3.2.15
org.scalatest	scalatest-matchers-core_2.12	3.2.15
org.scalatest	scalatest-mustmatchers_2.12	3.2.15
org.scalatest	scalatest-propspec_2.12	3.2.15
org.scalatest	scalatest-refspec_2.12	3.2.15
org.scalatest	scalatest-shouldmatchers_2.12	3.2.15
org.scalatest	scalatest-wordspec_2.12	3.2.15
org.scalatest	scalatest_2.12	3.2.15
org.slf4j	jcl-over-slf4j	2.0.7
org.slf4j	jul-to-slf4j	2.0.7
org.slf4j	slf4j-api	2.0.7
org.threeten	threeten-extra	1.7.1
org.tukaani	xz	1,9
org.typelevel	algebra_2.12	2.0.1
org.typelevel	cats-kernel_2.12	2.1.1
org.typelevel	spire-macros_2.12	0.17.0
org.typelevel	spire-platform_2.12	0.17.0
org.typelevel	spire-util_2.12	0.17.0
org.typelevel	spire_2.12	0.17.0
org.wildfly.openssl	wildfly-openssl	1.1.3.Final
org.xerial	sqlite-jdbc	3.42.0.0
org.xerial.snappy	snappy-java	1.1.10.3
org.yaml	snakeyaml	2.0
oro	oro	2.0.8
pl.edu.icm	JLargeArrays	1.5
software.amazon.cryptools	AmazonCorrettoCryptoProvider	1.6.1-linux-x86_64
software.amazon.ion	ion-java	1.0.2
stax	stax-api	1.0.1