Поделиться через

Databricks Runtime 14.3 LTS

  • Статья

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 14.3 LTS, на базе Apache Spark 3.5.0.

Databricks выпустила эту версию в феврале 2024 года.

Примечание.

LTS означает, что эта версия находится в долгосрочной поддержке. См. жизненный цикл версии LTS среды выполнения Databricks.

Совет

Сведения о выпуске заметок о выпуске Databricks Runtime, которые достигли окончания поддержки (EoS), см . в заметках о выпуске Databricks Runtime. Версии среды выполнения EoS Databricks устарели и могут не обновляться.

Новые функции и внесенные улучшения

Поддержка файловой системы рабочей области в определяемых пользователем функциях PySpark в общих кластерах

Пользовательские функции PySpark в общих кластерах теперь могут импортировать модули Python из папок Git, файлов рабочей области или томов UC.

Дополнительные сведения о работе с модулями в папках Git или файлах рабочей области см. в статье "Работа с модулями Python и R".

Поддержка оптимизации векторов MERGE удаления без Фотона

Фотон больше не требуется для MERGE операций для использования оптимизаций векторов удаления. См. раздел " Что такое векторы удаления?".

Api каталога Spark теперь полностью поддерживаются в режиме общего доступа

Теперь можно использовать все функции в spark.catalog API в Python и Scala для вычислений, настроенных в режиме общего доступа.

Delta UniForm теперь общедоступен

UniForm теперь общедоступен и использует функцию IcebergCompatV2 таблицы. Теперь вы можете включить или обновить UniForm в существующих таблицах. См. раздел "Использование UniForm" для чтения таблиц Delta с клиентами Iceberg.

Новая функция SQL EXECUTE ИНТЕРПРЕТАЦИЯ

Теперь можно использовать синтаксис EXECUTE IMMEDIATE для поддержки параметризованных запросов в SQL. См. статью EXECUTE ИНТЕРПРЕТАЦИЯ.

Перекомпьютерировать статистику пропуска данных для таблиц Delta

Теперь можно перекомпьютировать статистику, хранящуюся в журнале Delta после изменения столбцов, используемых для пропуска данных. См. раздел "Указание столбцов статистики delta".

Запрос сведений о состоянии для запросов потоковой передачи с отслеживанием состояния

Теперь можно запрашивать структурированные данные о состоянии потоковой передачи и метаданные. См . сведения о состоянии структурированной потоковой передачи.

Использование идентификатора Microsoft Entra для проверки подлинности Kafka в общих кластерах

Теперь можно пройти проверку подлинности служб Центров событий с помощью OAuth с помощью идентификатора Microsoft Entra id для вычислений, настроенных в режиме общего доступа. См. проверку подлинности субъекта-службы с помощью идентификатора Microsoft Entra и Центры событий Azure.

Поддержка, добавленная для очистки файлов и секций для повышения производительности запросов

Чтобы ускорить некоторые запросы, основанные на допустимом значении null в условиях JOIN, теперь мы поддерживаем DynamicFilePruning оператор DynamicPartitionPruning EqualNullSafe в JOIN.

Объявление временных переменных в сеансе SQL

В этом выпуске представлена возможность объявлять временные переменные в сеансе, который можно задать, а затем ссылаться на них в запросах. См . переменные.

Обновления Thriftserver для удаления неиспользуемых функций

Код Thriftserver был обновлен, чтобы удалить код для устаревших функций. Из-за этих изменений следующие конфигурации больше не поддерживаются:

  • Вспомогательные JAR Hive, настроенные с помощью hive.aux.jars.path свойства, больше не поддерживаются для hive-thriftserver подключений.
  • Глобальный файл инициализации Hive,.hiverc расположение которого настроено с помощью hive.server2.global.init.file.location свойства или переменной HIVE_CONF_DIR среды, больше не поддерживается для hive-thriftserver подключений.

Использование файлов truststore и хранилища ключей в томах каталога Unity

Теперь вы можете использовать файлы truststore и хранилища ключей в томах каталога Unity для проверки подлинности в реестре схем Confluent для данных буфера avro или протокола. См. документацию по буферам avro или protocol.

Поддержка формата собственного XML-файла (общедоступная предварительная версия)

Поддержка формата собственного XML-файла теперь доступна в общедоступной предварительной версии. Поддержка формата XML-файла позволяет получать, запрашивать и анализировать XML-данные для пакетной обработки или потоковой передачи. Он может автоматически выводить и развивать схемы и типы данных, поддерживать такие выражения SQL, как from_xmlи создавать XML-документы. Он не требует внешних jar-модулей и работает без проблем с автозагрузчиком, read_filesи COPY INTOразностными динамическими таблицами. См. статью "Чтение и запись XML-файлов".

Поддержка хранилища Cloudflare R2 (общедоступная предварительная версия)

Теперь вы можете использовать Cloudflare R2 в качестве облачного хранилища для данных, зарегистрированных в каталоге Unity. Cloudflare R2 предназначен в основном для вариантов использования Delta Sharing, в которых вы хотите избежать сборов за исходящий трафик данных, взимается поставщиками облачных служб при пересечении данных между регионами. Хранилище R2 поддерживает все данные Databricks и ресурсы ИИ, поддерживаемые в AWS S3, Azure Data Lake Storage 2-го поколения и Google Cloud Storage. См. статью "Использование реплик Cloudflare R2" или миграции хранилища в R2 и создание учетных данных хранения для подключения к Cloudflare R2.

Доступ к файлам рабочей области Spark и dbutils в кластерах каталога Unity общего доступа

Spark и доступ на чтение и dbutils запись к файлам рабочей области теперь поддерживается в кластерах каталога Unity в режиме общего доступа. См. статью " Работа с файлами рабочей области".

Поддержка сценариев и библиотеки кластеров в кластерах каталога Unity с общим доступом

Установка сценариев инициализации кластера и библиотек Python и JAR-файлов в кластерах каталога Unity в режиме общего доступа, включая установку с помощью политик кластера, теперь общедоступна. Databricks рекомендует устанавливать скрипты и библиотеки инициализации из томов каталога Unity.

Обновления библиотек

  • Обновленные библиотеки Python:
    • fastjsonschema от 2.19.0 до 2.19.1
    • блокировка файлов от 3.12.4 до 3.13.1
    • googleapis-common-protos с 1.61.0 до 1.62.0
    • упаковка от 22.0 до 23.2
  • Обновленные библиотеки R:
    • внешний от 0,8-82 до 0,8-85
    • nlme от 3.1-162 до 3.1-163
    • rpart от 4.1.19 до 4.1.21
  • Обновленные библиотеки Java:
    • com.databricks.databricks-sdk-java от 0.7.0 до 0.13.0
    • org.apache.orc.orc-core от 1.9.1-shaded-protobuf до 1.9.2-шейд-protobuf
    • org.apache.orc.orc-mapreduce от 1.9.1-shaded-protobuf до 1.9.2-шейд-protobuf
    • org.apache.orc.orc-shims от 1.9.1 до 1.9.2
    • org.scala-lang.modules.scala-collection-compat_2.12 от 2.9.0 до 2.11.0

Apache Spark

Databricks Runtime 14.3 включает Apache Spark 3.5.0. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 14.2, а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

  • [SPARK-46541] [SC-153546][SQL][CONNECT] Исправление неоднозначной ссылки на столбец при самостоятельном соединении
  • [SPARK-45433] Возврат "[SC-145163][SQL] Исправление схемы CSV/JSON...
  • [SPARK-46723] [14.3][SASP-2792][SC-153425][CONNECT][SCALA] Создание повторной попытки addArtifact
  • [SPARK-46660] [SC-153391][CONNECT] Запросы reattachExecute обновляют активность сеансаHolder
  • [SPARK-46670] [SC-153273][PYTHON][SQL] Самостоятельное клонирование DataSourceManager путем разделения статических и сред выполнения источников данных Python
  • [SPARK-46720] [SC-153410][SQL][PYTHON] Рефакторинг источника данных Python для выравнивания с другими встроенными источниками данных DSv2
  • [SPARK-46684] [SC-153275][PYTHON][CONNECT] Исправление CoGroup.applyInPandas/Стрелка для правильного передачи аргументов
  • [SPARK-46667] [SC-153271][SC-153263][SQL] XML: создание ошибки в нескольких источниках данных XML
  • [SPARK-46382] [SC-151881][SQL]XML: по умолчанию игнорироватьSurroundingSpaces значение true
  • [SPARK-46382] [SC-153178][SQL] XML: обновление документа для ignoreSurroundingSpaces
  • [SPARK-45292] Возврат "[SC-151609][SQL][HIVE] Удалить Guava из общих классов из IsolatedClientLoader"
  • [SPARK-45292] [SC-151609][SQL][HIVE] Удаление Guava из общих классов из IsolatedClientLoader
  • [SPARK-46311] [SC-150137][CORE] Зайдите в журнал конечного состояния драйверов во время Master.removeDriver
  • [SPARK-46413] [SC-151052][PYTHON] Проверка возвращаемого типа UDF со стрелками Python
  • [SPARK-46633] [ТЕПЛОФИКС][SC-153092][SQL] Исправление средства чтения Avro для обработки блоков нулевой длины
  • [SPARK-46537] [SC-151286][SQL] Преобразование NPE и утверждений из команд в внутренние ошибки
  • [SPARK-46179] [SC-151678][SQL] Добавление CrossDbmsQueryTestSuites, которое запускает другие СУБД с золотыми файлами с другими СУБД, начиная с Postgres
  • [SPARK-44001] [SC-151413][PROTOBUF] Добавление параметра, позволяющего распакуировать известные типы оболочки protobuf
  • [SPARK-40876] [SC-151786][SQL] Повышение уровня типов для десятичных разрядов с большим масштабом в средствах чтения Parquet
  • [SPARK-46605] [SC-151769][CONNECT] Создание lit/typedLit функции в поддержке модуля connect s.c.immutable.ArraySeq
  • [SPARK-46634] [SC-153005]Проверка литерала [SQL] не должна выполнять детализацию до полей NULL
  • [SPARK-37039] [SC-153094][PS] Исправление Series.astype для правильной работы с отсутствующим значением
  • [SPARK-46312] [SC-150163][CORE] Использование lower_camel_case в store_types.proto
  • [SPARK-46630] [SC-153084][SQL] XML: проверка имени XML-элемента при записи
  • [SPARK-46627] [SC-152981][SS][пользовательский интерфейс] Исправление содержимого подсказки временной шкалы в пользовательском интерфейсе потоковой передачи
  • [SPARK-46248] [SC-151774][SQL] XML: поддержка параметров ignoreCorruptFiles и ignoreMissingFiles
  • [SPARK-46386] [SC-150766][PYTHON] Улучшение утверждений наблюдения (pyspark.sql.observation)
  • [SPARK-46581] [SC-151789][CORE] Обновление комментария isZero в AccumulatorV2
  • [SPARK-46601] [SC-151785] [CORE] Исправлена ошибка журнала в handleStatusMessage
  • [SPARK-46568] [SC-151685][PYTHON] Настройка параметров источника данных Python в словаре без учета регистра
  • [SPARK-46611] [SC-151783][CORE] Удаление ThreadLocal путем замены SimpleDateFormat на DateTimeFormatter
  • [SPARK-46604] [SC-151768][SQL] Создание Literal.apply поддержки s.c.immuable.ArraySeq
  • [SPARK-46324] [SC-150223][SQL][PYTHON] Исправление выходного имени pyspark.sql.functions.user и session_user
  • [SPARK-46621] [SC-151794][PYTHON] Адрес NULL из Exception.getMessage в записанном исключении Py4J
  • [SPARK-46598] [SC-151767][SQL] OrcColumnarBatchReader должен учитывать режим памяти при создании векторов столбцов для отсутствующих столбцов.
  • [SPARK-46613] [SC-151778][SQL][PYTHON] Полное исключение журнала при сбое поиска источников данных Python
  • [SPARK-46559] [SC-151364][MLLIB] export Перенос имени пакета с обратными знаками
  • [SPARK-46522] [SC-151784][PYTHON] Блокировка регистрации источника данных Python с конфликтами имен
  • [SPARK-45580] [SC-149956][SQL] Обработка случая, когда вложенный вложенный запрос становится соединением существования
  • [SPARK-46609] [SC-151714][SQL] Избегайте экспоненциального взрыва в PartitioningPreservingUnaryExecNode
  • [SPARK-46535] [SC-151288][SQL] Исправление NPE при описании расширенного столбца без статистики col
  • [SPARK-46599] [SC-147661][SC-151770][SQL] XML: использование TypeCoercion.findTightestCommonType для проверки совместимости
  • [SPARK-40876] [SC-151129][SQL] Повышение уровня типов в читателях Parquet
  • [SPARK-46179] [SC-151069][SQL] Извлечение кода в повторно используемые функции в SQLQueryTestSuite
  • [SPARK-46586] [SC-151679][SQL] Поддержка s.c.immutable.ArraySeq как customCollectionCls в MapObjects
  • [SPARK-46585] [SC-151622][CORE] Непосредственно построен metricPeaks как вместо immutable.ArraySeq использования mutable.ArraySeq.toSeqExecutor
  • [SPARK-46488] [SC-151173][SQL] Пропуск вызова trimAll во время синтаксического анализа метки времени
  • [SPARK-46231] [SC-149724][PYTHON] Перенос всех оставшихся и в NotImplementedError TypeError платформу ошибок PySpark
  • [SPARK-46348] [SC-150281][CORE] Поддержка spark.deploy.recoveryTimeout
  • [SPARK-46313] [SC-150164][CORE] Длительность восстановления журнала Spark HA
  • [SPARK-46358] [SC-150307][CONNECT] Упрощение проверки условия ResponseValidator#verifyResponse
  • [SPARK-46380] [SC-151078][SQL]Замените текущее время и дату до оценки встроенных выражений таблицы.
  • [SPARK-46563] [SC-151441][SQL] Просмотр simpleString не следует conf spark.sql.debug.maxToStringFields
  • [SPARK-46101] [SC-149211][CORE][SQL][MLLIB][SS][R][CONNCT][GRAPHX] Уменьшение глубины стека путем замены (string|array).size with (string|array).length
  • [SPARK-46539] [SC-151469][SQL] SELECT * EXCEPT(все поля из структуры) приводит к сбою утверждения
  • [SPARK-46565] [SC-151414][PYTHON] Уточнение классов ошибок и сообщений об ошибках для источников данных Python
  • [SPARK-46576] [SC-151614][SQL] Улучшение сообщений об ошибках для неподдерживаемого режима сохранения источника данных
  • [SPARK-46540] [SC-151355][PYTHON] Уважение имен столбцов, когда выходные данные источника данных Python считывают выходные данные с именами объектов Row
  • [SPARK-46577] [SC-151448][SQL] HiveMetastoreLazyInitializationSuite утечки hive SessionState
  • [SPARK-44556] [SC-151562][SQL] Повторное использование OrcTail при включении vectorizedReader
  • [SPARK-46587] [SC-151618][SQL] XML: исправление преобразования больших целых чисел XSD
  • [SPARK-46382] [SC-151297][SQL] XML: захват значений, перемежаемых между элементами
  • [SPARK-46567] [SC-151447][CORE] Удаление ThreadLocal для ReadAheadInputStream
  • [SPARK-45917] [SC-151269][PYTHON][SQL] Автоматическая регистрация источника данных Python при запуске
  • [SPARK-28386] [SC-151014][SQL] Не удается разрешить столбцы ORDER BY с помощью GROUP BY и HAVING
  • [SPARK-46524] [SC-151446][SQL] Улучшение сообщений об ошибках для недопустимого режима сохранения
  • [SPARK-46294] [SC-150672][SQL] Очистка семантики инициализации и нуля значений
  • [SPARK-46301] [SC-150100][CORE] Поддержка spark.worker.(initial|max)RegistrationRetries
  • [SPARK-46542] [SC-151324][SQL] Удаление проверки c>=0 по ExternalCatalogUtils#needsEscaping мере того, как оно всегда верно
  • [SPARK-46553] [SC-151360][PS] FutureWarning for interpolate with object dtype
  • [SPARK-45914] [SC-151312][PYTHON] Поддержка фиксации и прерывания API для записи источника данных Python
  • [SPARK-46543] [SC-151350][PYTHON][CONNECT] Создайте json_tuple исключение PySparkValueError для пустых полей
  • [SPARK-46520] [SC-151227][PYTHON] Поддержка перезаписи для записи источника данных Python
  • [SPARK-46502] [SC-151235][SQL] Поддержка типов меток времени в UnwrapCastInBinaryComparison
  • [SPARK-46532] [SC-151279][CONNECT] Передача параметров сообщения в метаданных ErrorInfo
  • [SPARK-46397] Возврат "[SC-151311][PYTHON][CONNECT] Функция sha2 должна вызываться PySparkValueError для недопустимого numBits"
  • [SPARK-46170] [SC-149472][SQL] Поддержка внедрения правил стратегии адаптивного запроса после планировщика в SparkSessionExtensions
  • [SPARK-46444] [SC-151195][SQL] Версия 2SessionCatalog#createTable не должна загружать таблицу
  • [SPARK-46397] [SC-151311][PYTHON][CONNECT] Функция sha2 должна вызываться PySparkValueError для недопустимого numBits
  • [SPARK-46145] [SC-149471][SQL] spark.catalog.listTables не создает исключение, если таблица или представление не найдены
  • [SPARK-46272] [SC-151012][SQL] Поддержка CTAS с помощью источников DSv2
  • [SPARK-46480] [SC-151127][CORE][SQL] Исправление NPE при попытке задачи кэша таблиц
  • [SPARK-46100] [SC-149051][CORE][PYTHON] Уменьшение глубины стека путем замены (string|array).size with (string|array).length
  • [SPARK-45795] [SC-150764][SQL] DS V2 поддерживает режим отправки
  • [SPARK-46485] [SC-151133][SQL] V1Write не должен добавлять сортировку при необходимости
  • [SPARK-46468] [SC-151121] [SQL] Обработка ошибки COUNT для вложенных запросов EXISTS с помощью агрегата без группирования ключей
  • [SPARK-46246] [SC-150927][SQL] Поддержка EXECUTE ИНТЕРПРЕТАЦИЯ SQL
  • [SPARK-46498] [SC-151199][CORE] Удаление shuffleServiceEnabled из o.a.spark.util.Utils#getConfiguredLocalDirs
  • [SPARK-46440] [SC-150807][SQL] Настройка конфигураций повторной базы в режиме CORRECTED по умолчанию
  • [SPARK-45525] [SC-151120][SQL][PYTHON] Поддержка записи источника данных Python с помощью DSv2
  • [SPARK-46505] [SC-151187][CONNECT] Настройка порогового значения байтов ProtoUtils.abbreviate
  • [SPARK-46447] [SC-151025][SQL] Удаление устаревших конфигураций даты и времени
  • [SPARK-46443] [SC-151123][SQL] Десятичная точность и масштаб должны быть определены диалектом H2.
  • [SPARK-46384] [SC-150694][SPARK-46404][SS][пользовательский интерфейс] Исправлена диаграмма стека длительности операций на странице структурированной потоковой передачи
  • [SPARK-46207] [SC-151068][SQL] Поддержка MergeInto в DataFrameWriterV2
  • [SPARK-46452] [SC-151018][SQL] Добавление нового API в DataWriter для записи итератора записей
  • [SPARK-46273] [SC-150313][SQL] Поддержка INSERT INTO/OVERWRITE с помощью источников DSv2
  • [SPARK-46344] [SC-150267][CORE] Предупреждать правильно, если драйвер существует успешно, но главный отключен
  • [SPARK-46284] [SC-149944][PYTHON][CONNECT] Добавление session_user функции в Python
  • [SPARK-46043] [SC-149786][SQL] Поддержка создания таблицы с помощью источников DSv2
  • [SPARK-46323] [SC-150191][PYTHON] Исправление выходного имени pyspark.sql.functions.now.
  • [SPARK-46465] [SC-151059][PYTHON][CONNECT] Добавление Column.isNaN в PySpark
  • [SPARK-46456] [SC-151050][CORE] Добавление spark.ui.jettyStopTimeout для задания времени ожидания остановки сервера Jetty для разблокировки завершения работы SparkContext
  • [SPARK-43427] [SC-150356][PROTOBUF] spark protobuf: разрешить передачу без знака целых типов
  • [SPARK-46399] [SC-151013][14.x][Ядро] Добавление состояния выхода в событие конца приложения для использования прослушивателя Spark
  • [SPARK-46423] [SC-150752][PYTHON][SQL] Создание экземпляра источника данных Python в DataSource.lookupDataSourceV2
  • [SPARK-46424] [SC-150765][PYTHON][SQL] Поддержка метрик Python в источнике данных Python
  • [SPARK-46330] [SC-151015] Загрузка блоков пользовательского интерфейса Spark в течение длительного времени при включении гибридного хранилища
  • [SPARK-46378] [SC-150397][SQL] По-прежнему удаляется сортировка после преобразования агрегата в проект
  • [SPARK-45506] [SC-146959][CONNECT] Добавление поддержки URI ivy в addArtifact SparkConnect
  • [SPARK-45814] [SC-147871][CONNECT][SQL]Создание вызова arrowConverters.createEmptyArrowBatch call close(), чтобы избежать утечки памяти
  • [SPARK-46427] [SC-150759][PYTHON][SQL] Изменение описания источника данных Python, чтобы быть красивым в объяснении
  • [SPARK-45597] [SC-150730][PYTHON][SQL] Поддержка создания таблицы с помощью источника данных Python в SQL (exec DSv2)
  • [SPARK-46402] [SC-150700][PYTHON] Добавление поддержки getMessageParameters и getQueryContext
  • [SPARK-46453] [SC-150897][CONNECT] Создание исключения из internalError()SessionHolder
  • [SPARK-45758] [SC-147454][SQL] Знакомство с картой для кодеков сжатия hadoop
  • [SPARK-46213] [PYTHON] Введение PySparkImportError в платформу ошибок
  • [SPARK-46230] [SC-149960][PYTHON] Ошибка миграции RetriesExceeded в PySpark
  • [SPARK-45035] [SC-145887][SQL] Исправление ignoreCorruptFiles/ignoreMissingFiles с помощью multiline CSV/JSON сообщит об ошибке
  • [SPARK-46289] [SC-150846][SQL] Поддержка упорядочения определяемых пользователем пользователей в интерпретируемом режиме
  • [SPARK-46229] [SC-150798][PYTHON][CONNECT] Добавление applyInArrow к groupBy и cogroup в Spark Connect
  • [SPARK-46420] [SC-150847][SQL] Удаление неиспользуемого транспорта в SparkSQLCLIDriver
  • [SPARK-46226] [PYTHON] Перенос всех оставшихся RuntimeError в платформу ошибок PySpark
  • [SPARK-45796] [SC-150613][SQL] SUPPORT MODE() WITHIN GROUP (ORDER BY col)
  • [SPARK-40559] [SC-149686][PYTHON][14.X] Добавление applyInArrow к groupBy и cogroup
  • [SPARK-46069] [SC-149672][SQL] Поддержка типа метки времени unwrap для типа даты
  • [SPARK-46406] [SC-150770][SQL] Назначение имени классу ошибок _LEGACY_ERROR_TEMP_1023
  • [SPARK-46431] [SC-150782][SS] internalError Преобразование IllegalStateException в итераторы сеанса
  • [SPARK-45807] [SC-150751][SQL] Улучшение API ViewCatalog
  • [SPARK-46009] [SC-149771][SQL][CONNECT] Слияние правила синтаксического анализа percentileCont и PercentileDisc в functionCall
  • [SPARK-46403] [SC-150756][SQL] Декодирование двоичного файла Parquet с помощью метода getBytesUnsafe
  • [SPARK-46389] [SC-150779][CORE] Закрытие экземпляра вручную при checkVersion вызове RocksDB/LevelDB исключения
  • [SPARK-46360] [SC-150376][PYTHON] Улучшение отладки сообщений об ошибке с помощью нового getMessage API
  • [SPARK-46233] [SC-149766][PYTHON] Перенос всех оставшихся AttributeError в платформу ошибок PySpark
  • [SPARK-46394] [SC-150599][SQL] Исправление проблем spark.catalog.listDatabases() со схемами со специальными символами при spark.sql.legacy.keepCommandOutputSchema установке значения true
  • [SPARK-45964] [SC-148484][SQL] Удаление частного метода доступа sql в пакете XML и JSON в пакете катализатора
  • [SPARK-45856] [SC-148691] Перемещение ArtifactManager из Spark Connect в SparkSession (sql/core)
  • [SPARK-46409] [SC-150714][CONNECT] Исправлен сценарий запуска spark-connect-scala-client
  • [SPARK-46416] [SC-150699][CORE] Добавить @tailrec в HadoopFSUtils#shouldFilterOutPath
  • [SPARK-46115] [SC-149154][SQL] Ограничение наборов символов в encode()
  • [SPARK-46253] [SC-150416][PYTHON] Планирование чтения источника данных Python с помощью MapInArrow
  • [SPARK-46339] [SC-150266][SS] Каталог с именем пакетного номера не должен рассматриваться как журнал метаданных
  • [SPARK-46353] [SC-150396][CORE] Рефакторинг для улучшения RegisterWorker покрытия модульного теста
  • [SPARK-45826] [SC-149061][SQL] Добавление конфигурации SQL для трассировок стека в контексте запроса DataFrame
  • [SPARK-45649] [SC-150300][SQL] Объединение платформы подготовки для OffsetWindowFunctionFrame
  • [SPARK-46346] [SC-150282][CORE] Исправление мастера для обновления рабочей роли на UNKNOWN ALIVE RegisterWorker msg
  • [SPARK-46388] [SC-150496][SQL] HiveAnalysis пропускает защиту шаблонов query.resolved
  • [SPARK-46401] [SC-150609][CORE] RoaringBitmap Использование !isEmpty() вместо getCardinality() > 0 inRemoteBlockPushResolver
  • [SPARK-46393] [SC-150603][SQL] Классификация исключений в каталоге таблиц JDBC
  • [SPARK-45798] [SC-150513][CONNECT] Дальнейшие действия. Добавление serverSessionId в SessionHolderInfo
  • [SPARK-46153] [SC-146564][SC-150508][SQL] XML: добавление поддержки TimestampNTZType
  • [SPARK-46075] [SC-150393][CONNECT] Усовершенствования SparkConnectSessionManager
  • [SPARK-46357] [SC-150596] Замените неправильное использование документации setConf conf.set
  • [SPARK-46202] [SC-150420][CONNECT] Предоставление новых API ArtifactManager для поддержки пользовательских целевых каталогов
  • [SPARK-45824] [SC-147648][SQL] Принудительное применение класса ошибок в ParseException
  • [SPARK-45845] [SC-148163][SS][пользовательский интерфейс] Добавление количества вытеснили строк состояния в пользовательский интерфейс потоковой передачи
  • [SPARK-46316] [SC-150181][CORE] Включение buf-lint-action в модуле core
  • [SPARK-45816] [SC-147656][SQL] Возвращается NULL при переполнении во время приведения из метки времени в целые числа
  • [SPARK-46333] [SC-150263][SQL] Замена IllegalStateException катализатором SparkException.internalError
  • [SPARK-45762] [SC-148486][CORE] Поддержка диспетчеров перетасовки, определенных в пользовательских jar-файлах, изменяя порядок запуска
  • [SPARK-46239] [SC-149752][CORE] Скрытие Jetty сведений
  • [SPARK-45886] [SC-148089][SQL] Вывод полной трассировки стека в callSite контексте Кадра данных
  • [SPARK-46290] [SC-150059][PYTHON] Изменение saveMode на логический флаг для DataSourceWriter
  • [SPARK-45899] [SC-148097][CONNECT] Установка errorClass в errorInfoToThrowable
  • [SPARK-45841] [SC-147657][SQL] Предоставление трассировки стека по DataFrameQueryContext
  • [SPARK-45843] [SC-147721][CORE] Поддержка killall в API отправки REST
  • [SPARK-46234] [SC-149711][PYTHON] Введение PySparkKeyError в платформу ошибок PySpark
  • [SPARK-45606] [SC-147655][SQL] Ограничения выпуска для фильтра среды выполнения с несколькими слоями
  • [SPARK-45725] [SC-147006][SQL] Удаление фильтра среды выполнения, отличного от по умолчанию IN
  • [SPARK-45694] [SC-147314][SPARK-45695][SQL] Очистка нерекомендуемого использования View.force API и ScalaNumberProxy.signum
  • [SPARK-45805] [SC-147488][SQL] Сделать withOrigin более универсальным
  • [SPARK-46292] [SC-150086][CORE][пользовательский интерфейс] Отображение сводки работников в MasterPage
  • [SPARK-45685] [SC-146881][CORE][SQL] Используйте LazyList вместо Stream
  • [SPARK-458888] [SC-149945][SS] Применение платформы классов ошибок к источнику данных state (metadata)
  • [SPARK-46261] [SC-150111][CONNECT] DataFrame.withColumnsRenamed должен хранить порядок диктовки или карты
  • [SPARK-46263] [SC-149933][SQL][SS][ML][MLLIB][пользовательский интерфейс] Очистка SeqOps.view и ArrayOps.view преобразование
  • [SPARK-46029] [SC-149255][SQL] Экранируйте одинарный кавычок _ и % для pushdown DS V2
  • [SPARK-46275] [SC-150189] Protobuf: возвращает значение NULL в разрешительном режиме при сбое десериализации.
  • [SPARK-46320] [SC-150187][CORE] Поддержка spark.master.rest.host
  • [SPARK-46092] [SC-149658][SQL] Не нажимайте фильтры групп строк Parquet, которые переполнены
  • [SPARK-46300] [SC-150097][PYTHON][CONNECT] Совпадение с незначительным поведением в столбце с полным покрытием теста
  • [SPARK-46298] [SC-150092][PYTHON][CONNECT] Предупреждение о несоответствии, тестовый случай и ошибка Catalog.createExternalTable
  • [SPARK-45689] [SC-146898][SPARK-45690][SPARK-45691][CORE][SQL] Очистка устаревшего использования API, связанного с StringContext/StringOps/RightProjection/LeftProjection/Either использованием и типом BufferedIterator/CanBuildFrom/Traversable
  • [SPARK-33393] [SC-148407][SQL] Поддержка SHOW TABLE EXTENDED в версии 2
  • [SPARK-45737] [SC-147011][SQL] Удаление ненужных .toArray[InternalRow] в SparkPlan#executeTake
  • [SPARK-46249] [SC-149797][SS] Требовать блокировку экземпляра для получения метрик RocksDB, чтобы предотвратить гонку с фоновыми операциями
  • [SPARK-46260] [SC-149940][PYTHON][SQL] DataFrame.withColumnsRenamed должен соблюдать порядок диктовки
  • [SPARK-46274] [SC-150043] [SQL] Исправление оператора range computeStats() для проверки длительной допустимости перед преобразованием
  • [SPARK-46040] [SC-149767][SQL][Python] Обновление API UDTF для секционирования и упорядочивания столбцов для поддержки общих выражений
  • [SPARK-46287] [SC-149949][PYTHON][CONNECT] DataFrame.isEmpty должен работать со всеми типами данных
  • [SPARK-45678] [SC-146825][CORE] Обложка BufferReleasingInputStream.available/reset в разделе tryOrFetchFailedException
  • [SPARK-45667] [SC-146716][CORE][SQL][CONNECT] Очистка нерекомендуемого использования API, связанного с IterableOnceExtensionMethods.
  • [SPARK-43980] [SC-148992][SQL] введение синтаксиса select * except
  • [SPARK-46269] [SC-149816][PS] Включение дополнительных тестов функций совместимости NumPy
  • [SPARK-45807] [SC-149851][SQL] Добавление createOrReplaceView(..) / replaceView(..) в ViewCatalog
  • [SPARK-45742] [SC-147212][CORE][CONNECT][MLLIB][PYTHON] Введите неявную функцию для Scala Array, включаемой в immutable.ArraySeqоболочку.
  • [SPARK-46205] [SC-149655][CORE] Повышение PersistenceEngine производительности с помощью KryoSerializer
  • [SPARK-45746] [SC-149359][Python] Возвращает определенные сообщения об ошибках, если метод UDTF "анализ" или "eval" принимает или возвращает неправильные значения
  • [SPARK-46186] [SC-149707][CONNECT] Исправление незаконного перехода состояния при прерывании ExecuteThreadRunner перед началом работы
  • [SPARK-46262] [SC-149803][PS] Включите тест для np.left_shift объекта Pandas-on-Spark.
  • [SPARK-45093] [SC-149679][CONNECT][PYTHON] Правильная поддержка обработки ошибок и преобразования для AddArtifactHandler
  • [SPARK-46188] [SC-149571][Doc][3.5] Исправление CSS созданных таблиц документации Spark
  • [SPARK-45940] [SC-149549][PYTHON] Добавление InputPartition в интерфейс DataSourceReader
  • [SPARK-43393] [SC-148301][SQL] Ошибка переполнения выражения последовательности адресов.
  • [SPARK-46144] [SC-149466][SQL] Сбой INSERT В ... Инструкция REPLACE, если условие содержит вложенный запрос
  • [SPARK-46118] [SC-149096][SQL][SS][CONNECT] Используйте SparkSession.sessionState.conf вместо нерекомендуемого SQLContext.conf и пометьте SQLContext.conf как нерекомендуемые
  • [SPARK-45760] [SC-147550][SQL] Добавление с помощью выражения, чтобы избежать дедупликации выражений
  • [SPARK-43228] [SC-149670][SQL] Ключи соединения также совпадают с СекционированиемCollection в CoalesceBucketsInJoin
  • [SPARK-46223] [SC-149691][PS] Тестирование SparkPandasNotImplementedError с очисткой неиспользуемого кода
  • [SPARK-46119] [SC-149205][SQL] Метод переопределения toString для UnresolvedAlias
  • [SPARK-46206] [SC-149674][PS] Использование более узкого исключения области для процессора SQL
  • [SPARK-46191] [SC-149565][CORE] Улучшение FileSystemPersistenceEngine.persist msg ошибки в случае существующего файла
  • [SPARK-46036] [SC-149356][SQL] Удаление класса ошибок из функции raise_error
  • [SPARK-46055] [SC-149254][SQL] Реализация API-интерфейсов базы данных переопределения каталога
  • [SPARK-46152] [SC-149454][SQL] XML: добавление поддержки DecimalType в выводе схемы XML
  • [SPARK-45943] [SC-149452][SQL] Перемещение DetermineTableStats в правила разрешения
  • [SPARK-45887] [SC-148994][SQL] Выравнивание реализации codegen и некодегенов Encode
  • [SPARK-45022] [SC-147158][SQL] Предоставление контекста для ошибок API набора данных
  • [SPARK-45469] [SC-145135][CORE][SQL][CONNECT][PYTHON] Замена toIterator на iteratorIterableOnce
  • [SPARK-46141] [SC-149357][SQL] Измените значение по умолчанию для spark.sql.legacy.ctePrecedencePolicy на CORRECTED
  • [SPARK-45663] [SC-146617][CORE][MLLIB] Замена IterableOnceOps#aggregate на IterableOnceOps#foldLeft
  • [SPARK-45660] [SC-146493][SQL] Повторное использование объектов Литерала в правиле ComputeCurrentTime
  • [SPARK-45803] [SC-147489][CORE] Удаление больше не используемого RpcAbortException
  • [SPARK-46148] [SC-149350][PS] Исправление pyspark.pandas.mlflow.load_model теста (Python 3.12)
  • [SPARK-46110] [SC-149090][PYTHON] Использование классов ошибок в каталоге, conf, connect, наблюдения, pandas modules
  • [SPARK-45827] [SC-149203][SQL] Исправление вариантов с отключенным кодом и векторизованным средством чтения
  • [SPARK-46080] Возврат "[SC-149012][PYTHON] Обновление Cloudpickle до 3.0.0"
  • [SPARK-45460] [SC-144852][SQL] Замена scala.collection.convert.ImplicitConversions на scala.jdk.CollectionConverters
  • [SPARK-46073] [SC-149019][SQL] Удаление специального разрешения неразрешенного пространстваName для определенных команд
  • [SPARK-45600] [SC-148976][PYTHON] Создание уровня регистрации источника данных Python
  • [SPARK-46074] [SC-149063][CONNECT][SCALA] Недостаточно сведений об ошибке при сбое UDF
  • [SPARK-46114] [SC-149076][PYTHON] Добавление PySparkIndexError для платформы ошибок
  • [SPARK-46120] [SC-149083][CONNECT][PYTHON] Удаление вспомогательной функции DataFrame.withPlan
  • [SPARK-45927] [SC-148660][PYTHON] Обработка пути обновления для источника данных Python
  • [SPARK-46062] [14.x][SC-148991][SQL] Синхронизация флага isStreaming между определением CTE и ссылкой
  • [SPARK-45698] [SC-146736][CORE][SQL][SS] Очистка устаревшего использования API, связанного с Buffer
  • [SPARK-46064] [SC-148984][SQL][SS] Переместите в анализатор УдалитьEventTimeWatermark и измените действие только на разрешенный дочерний элемент
  • [SPARK-45922] [SC-149038][CONNECT][КЛИЕНТ] Незначительные повторные попытки рефакторинга (последующие действия по нескольким политикам)
  • [SPARK-45851] [SC-148419][CONNECT][SCALA] Поддержка нескольких политик в клиенте Scala
  • [SPARK-45974] [SC-149062][SQL] Добавление scan.filterAttributes, непустого решения для RowLevelOperationRuntimeGroupFiltering
  • [SPARK-46085] [SC-149049][CONNECT] Dataset.groupingSets в клиенте Scala Spark Connect
  • [SPARK-45136] [SC-146607][CONNECT] Повышение эффективности ЗакрытияCleaner с поддержкой Ammonite
  • [SPARK-46084] [SC-149020][PS] Операция приведения типов данных рефакторинга для категориального типа.
  • [SPARK-46083] [SC-149018][PYTHON] Создание SparkNoSuchElementException в качестве канонического API ошибок
  • [SPARK-46048] [SC-148982][PYTHON][CONNECT] Поддержка DataFrame.groupingSets в Python Spark Connect
  • [SPARK-46080] [SC-149012][PYTHON] Обновление Cloudpickle до версии 3.0.0
  • [SPARK-46082] [SC-149015][PYTHON][CONNECT] Исправление строкового представления protobuf для API функций Pandas с помощью Spark Connect
  • [SPARK-46065] [SC-148985][PS] Рефакторинг (DataFrame|Series).factorize() для использования create_map.
  • [SPARK-46070] [SC-148993][SQL] Компиляция шаблона regex в SparkDateTimeUtils.getZoneId за пределами горячего цикла
  • [SPARK-46063] [SC-148981][PYTHON][CONNECT] Улучшение сообщений об ошибках, связанных с типами аргументов в милый, свертки, группирования и сводной таблицы
  • [SPARK-44442] [SC-144120][MESOS] Удаление поддержки Mesos
  • [SPARK-45555] [SC-147620][PYTHON] Включает отлаживаемый объект для неудачного утверждения
  • [SPARK-46048] [SC-148871][PYTHON][SQL] Поддержка DataFrame.groupingSets в PySpark
  • [SPARK-45768] [SC-147304][SQL][PYTHON] Создание отказоустойчивого сервера конфигурации среды выполнения для выполнения Python в SQL
  • [SPARK-45996] [SC-148586][PYTHON][CONNECT] Отображение соответствующих сообщений о требованиях зависимостей для Spark Connect
  • [SPARK-45681] [SC-146893][пользовательский интерфейс] Клонирование js-версии UIUtils.errorMessageCell для согласованной отрисовки ошибок в пользовательском интерфейсе
  • [SPARK-45767] [SC-147225][CORE] Удаление TimeStampedHashMap и ее UT
  • [SPARK-45696] [SC-148864][CORE] Исправление метода tryCompleteWith in trait Promise является устаревшим
  • [SPARK-45503] [SC-146338][SS] Добавление conf в набор сжатия RocksDB
  • [SPARK-45338] [SC-143934][CORE][SQL] Замена scala.collection.JavaConverters на scala.jdk.CollectionConverters
  • [SPARK-44973] [SC-148804][SQL] Исправление ArrayIndexOutOfBoundsException в conv()
  • [SPARK-45912] [SC-144982][SC-148467][SQL] Усовершенствование API XSDToSchema. Изменение API HDFS для специальных возможностей облачного хранилища
  • [SPARK-45819] [SC-147570][CORE] Поддержка clear в API отправки REST
  • [SPARK-45552] [14.x][SC-146874][PS] Введение гибких параметров в assertDataFrameEqual
  • [SPARK-45815] [SC-147877][SQL][Потоковая передача][14.x][ЧЕРРИ-PICK] Предоставление интерфейса для других источников потоковой передачи для добавления _metadata столбцов
  • [SPARK-45929] [SC-148692][SQL] Поддержка операций groupingSets в API кадра данных
  • [SPARK-46012] [SC-148693][CORE] EventLogFileReader не должен считывать скользящие журналы, если отсутствует файл состояния приложения
  • [SPARK-45965] [SC-148575][SQL] Перемещение выражений секционирования DSv2 в functions.partitioning
  • [SPARK-45971] [SC-148541][CORE][SQL] Исправление имени SparkCollectionUtils пакета org.apache.spark.util
  • [SPARK-45688] [SC-147356][SPARK-45693][CORE] Очистка устаревшего использования API, связанного с MapOps &Исправлением method += in trait Growable is deprecated
  • [SPARK-45962] [SC-144645][SC-148497][SQL] Удаление treatEmptyValuesAsNulls и использование nullValue параметра вместо этого в XML
  • [SPARK-459888] [SC-148580][SPARK-45989][PYTHON] Исправление типов для обработки list GenericAlias в Python 3.11+
  • [SPARK-45999] [SC-148595][PS] Использование выделенного PandasProduct в cumprod
  • [SPARK-45986] [SC-148583][ML][PYTHON] Исправление pyspark.ml.torch.tests.test_distributor в Python 3.11
  • [SPARK-45994] [SC-148581][PYTHON] Переход description-file на description_file
  • [SPARK-45575] [SC-146713][SQL] Поддержка вариантов перемещения по времени для API чтения df
  • [SPARK-45747] [SC-148404][SS] Использование сведений о ключе префикса в метаданных состояния для обработки состояния чтения для агрегирования окна сеанса
  • [SPARK-45898] [SC-148213][SQL] Переопределение API таблиц каталога для использования неразрешенного логического плана
  • [SPARK-45828] [SC-147663][SQL] Удаление устаревшего метода в dsl
  • [SPARK-45990] [SC-148576][SPARK-45987][PYTHON][CONNECT] Обновление protobuf до версии 4.25.1 для поддержки Python 3.11
  • [SPARK-45911] [SC-148226][CORE] Сделайте TLS1.3 по умолчанию для ПРОТОКОЛА SSL RPC
  • [SPARK-45955] [SC-148429][пользовательский интерфейс] Поддержка свертывание сведений о пламях и дампа потоках
  • [SPARK-45936] [SC-148392][PS] Оптимизировать Index.symmetric_difference
  • [SPARK-45389] [SC-144834][SQL][3.5] Правильное правило сопоставления MetaException при получении метаданных секции
  • [SPARK-45655] [SC-148085][SQL][SS] Разрешить недетерминированные выражения внутри AggregateFunctions в CollectMetrics
  • [SPARK-45946] [SC-148448][SS] Исправлено использование устаревшей записи FileUtils для передачи символов по умолчанию в RocksDBSuite
  • [SPARK-45511] [SC-148285][SS] Источник данных состояния — читатель
  • [SPARK-45918] [SC-148293][PS] Оптимизировать MultiIndex.symmetric_difference
  • [SPARK-45813] [SC-148288][CONNECT][PYTHON] Возврат наблюдаемых метрик из команд
  • [SPARK-45867] [SC-147916][CORE] Поддержка spark.worker.idPattern
  • [SPARK-45945] [SC-148418][CONNECT] Добавление вспомогательной функции для parser
  • [SPARK-45930] [SC-148399][SQL] Поддержка недетерминированных определяемых пользователей в MapInPandas/MapInArrow
  • [SPARK-45810] [SC-148356][Python] Создание API UDTF Python для остановки использования строк из входной таблицы
  • [SPARK-45731] [SC-147929][SQL] Также обновите статистику секций с помощью ANALYZE TABLE команды
  • [SPARK-45868] [SC-148355][CONNECT] Убедитесь, что spark.table используйте тот же средство синтаксического анализа с ванильной spark
  • [SPARK-45882] [SC-148161][SQL] Широковещательное распространениеHashJoinExec должно учитывать секционирование CoalescedHashPartitioning
  • [SPARK-45710] [SC-147428][SQL] Назначение имен ошибке _LEGACY_ERROR_TEMP_21[59 60 61 62]
  • [SPARK-45915] [SC-148306][SQL] Обрабатывать десятичное (x, 0) то же, что и Целочисленный тип в PromoteStrings
  • [SPARK-45786] [SC-147552][SQL] Исправление неточного умножения десятичных и деления результатов
  • [SPARK-45871] [SC-148084][CONNECT] Преобразование коллекции оптимизаций, связанное connect с .toBuffer модулями
  • [SPARK-45822] [SC-147546][CONNECT] SparkConnectSessionManager может найти остановленный sparkcontext
  • [SPARK-45913] [SC-148289][PYTHON] Сделайте внутренние атрибуты закрытыми из ошибок PySpark.
  • [SPARK-45827] [SC-148201][SQL] Добавление типа данных Variant в Spark.
  • [SPARK-44886] [SC-147876][SQL] Введение предложения CLUSTER BY для CREATE/REPLACE TABLE
  • [SPARK-45756] [SC-147959][CORE] Поддержка spark.master.useAppNameAsAppId.enabled
  • [SPARK-45798] [SC-147956][CONNECT] Утверждение идентификатора сеанса на стороне сервера
  • [SPARK-45896] [SC-148091][SQL] Создание ValidateExternalType с правильным ожидаемым типом
  • [SPARK-45902] [SC-148123][SQL] Удаление неиспользуемой функции resolvePartitionColumns из DataSource
  • [SPARK-45909] [SC-148137][SQL] Удаление NumericType приведения, если оно может безопасно выполнить приведение в IsNotNull
  • [SPARK-42821] [SC-147715][SQL] Удаление неиспользуемых параметров в методах splitFiles
  • [SPARK-45875] [SC-1480888][CORE] Удаление MissingStageTableRowData из core модуля
  • [SPARK-45783] [SC-148120][PYTHON][CONNECT] Улучшение сообщений об ошибках при включенном режиме Spark Connect, но удаленный URL-адрес не заданы
  • [SPARK-45804] [SC-147529][пользовательский интерфейс] Добавление конфигурации spark.ui.threadDump.flamegraphEnabled для переключения графа пламени
  • [SPARK-45664] [SC-146878][SQL] Знакомство с кодеками сжатия orc
  • [SPARK-45481] [SC-146715][SQL] Знакомство с картой для кодеков сжатия parquet
  • [SPARK-45752] [SC-148005][SQL] Упрощение кода для проверки отношений CTE без ссылки
  • [SPARK-44752] [SC-14626262][SQL] XML: обновление документов Spark
  • [SPARK-45752] [SC-147869][SQL] Отмена ссылки на CTE должна быть проверена CheckAnalysis0
  • [SPARK-45842] [SC-147853][SQL] API-интерфейсы функции рефакторинга каталога для использования анализатора
  • [SPARK-45639] [SC-147676][SQL][PYTHON] Поддержка загрузки источников данных Python в DataFrameReader
  • [SPARK-45592] [SC-146977][SQL] Проблема с правильностью в AQE с InMemoryTableScanExec
  • [SPARK-45794] [SC-147646][SS] Ввод источника метаданных состояния для запроса сведений о метаданных состояния потоковой передачи
  • [SPARK-45739] [SC-147059][PYTHON] Перехват ioException вместо EOFException только для отказоустойчивого
  • [SPARK-45677] [SC-146700] Лучшее ведение журнала ошибок для API наблюдения
  • [SPARK-45544] [SC-146873][CORE] Интеграция поддержки SSL в TransportContext
  • [SPARK-45654] [SC-147152][PYTHON] Добавление API записи источника данных Python
  • [SPARK-45771] [SC-147270][CORE] Включить spark.eventLog.rolling.enabled по умолчанию
  • [SPARK-45713] [SC-146986][PYTHON] Поддержка регистрации источников данных Python
  • [SPARK-45656] [SC-146488][SQL] Исправление наблюдения при именованных наблюдениях с одинаковым именем в разных наборах данных
  • [SPARK-45808] [SC-147571][CONNECT][PYTHON] Улучшена обработка ошибок для исключений SQL
  • [SPARK-45774] [SC-147353][CORE][пользовательский интерфейс] Поддержка spark.master.ui.historyServerUrl в ApplicationPage
  • [SPARK-45776] [SC-147327][CORE] Удаление защищенной проверки null для MapOutputTrackerMaster#unregisterShuffle добавления в SPARK-39553
  • [SPARK-45780] [SC-147410][CONNECT] Распространение всех потоков клиента Spark Connect в НаследуемомThread
  • [SPARK-45785] [SC-147419][CORE] Поддержка spark.deploy.appNumberModulo смены номера приложения
  • [SPARK-45793] [SC-147456][CORE] Улучшение встроенных кодеков сжатия
  • [SPARK-45757] [SC-147282][ML] Избегайте повторного вычисления NNZ в Binarizer
  • [SPARK-45209] [SC-146490][CORE][пользовательский интерфейс] Поддержка Диаграммы пламя для страницы дампа потока исполнителя
  • [SPARK-45777] [SC-147319][CORE] Поддержка spark.test.appId в LocalSchedulerBackend
  • [SPARK-45523] [SC-146331][PYTHON] Рефакторинг проверки null для сочетаний клавиш
  • [SPARK-45711] [SC-146854][SQL] Знакомство с картой для кодеков сжатия avro
  • [SPARK-45523] [SC-146077][Python] Возвращает полезное сообщение об ошибке, если UDTF возвращает none для любого столбца, не допускающего значения NULL
  • [SPARK-45614] [SC-146729][SQL] Назначение имен ошибке _LEGACY_ERROR_TEMP_215[6,7,8]
  • [SPARK-45755] [SC-147164][SQL] Улучшение Dataset.isEmpty() путем применения глобального ограничения 1
  • [SPARK-45569] [SC-145915][SQL] Назначение имени _LEGACY_ERROR_TEMP_2153 ошибки
  • [SPARK-45749] [SC-147153][CORE][WEBUI] Исправление Spark History Server для правильной сортировки Duration столбца
  • [SPARK-45754] [SC-147169][CORE] Поддержка spark.deploy.appIdPattern
  • [SPARK-45707] [SC-146880][SQL] Упрощение DataFrameStatFunctions.countMinSketch с помощью CountMinSketchAgg
  • [SPARK-45753] [SC-147167][CORE] Поддержка spark.deploy.driverIdPattern
  • [SPARK-45763] [SC-147177][CORE][пользовательский интерфейс] Улучшение MasterPage отображения Resource столбца только в том случае, если оно существует
  • [SPARK-45112] [SC-143259][SQL] Использование разрешения на основе неразрешенногоFunction в функциях набора данных SQL

Поддержка драйвера ODBC/JDBC Databricks

Databricks поддерживает драйверы ODBC/JDBC, выпущенные за последние 2 года. Скачайте недавно выпущенные драйверы и обновление (скачайте ODBC, скачайте JDBC).

Обновления в рамках обслуживания

Ознакомьтесь с обновлениями обслуживания Databricks Runtime 14.3. Это закомментировано при первоначальном выпуске.

Системная среда

  • Операционная система: Ubuntu 22.04.3 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.3.1
  • Delta Lake: 3.1.0

Установленные библиотеки Python

Библиотека Версия Библиотека Версия Библиотека Версия
anyio 3.5.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.0.5 attrs 22.1.0 backcall 0.2.0
beautifulsoup4 4.11.1 black 22.6.0 bleach 4.1.0
blinker 1.4 boto3 1.24.28 botocore 1.27.96
certifi 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 щелчок 8.0.4 comm 0.1.2
контурная диаграмма 1.0.5 криптография 39.0.1 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.1.6 dbus-python 1.2.18
debugpy 1.6.7 decorator 5.1.1 defusedxml 0.7.1
distlib 0.3.7 docstring-to-markdown 0,11 entrypoints 0,4
executing 0.8.3 facets-overview 1.1.1 fastjsonschema 2.19.1
filelock 3.13.1 шрифтовые инструменты 4.25.0 googleapis-common-protos 1.62.0
grpcio 1.48.2 grpcio-status 1.48.1 httplib2 0.20.2
idna 3,4 importlib-metadata 4.6.4 ipykernel 6.25.0
ipython 8.14.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
jedi 0.18.1 jeepney 0.7.1 Jinja2 3.1.2
jmespath 0.10.0 joblib 1.2.0 jsonschema 4.17.3
jupyter-client 7.3.4 jupyter-server 1.23.4 jupyter_core 5.2.0
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 нажатие клавиш 23.5.0
kiwisolver 1.4.4 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 lxml 4.9.1 MarkupSafe 2.1.1
matplotlib 3.7.0 matplotlib-inline 0.1.6 Маккейб 0.7.0
mistune 0.8.4 more-itertools 8.10.0 mypy-extensions 0.4.3
nbclassic 0.5.2 nbclient 0.5.13 nbconvert 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 nodeenv 1.8.0
записная книжка 6.5.2 notebook_shim 0.2.2 numpy 1.23.5
oauthlib 3.2.0 во внешнем виде 23,2 pandas 1.5.3
pandocfilters 1.5.0 parso 0.8.3 pathspec 0.10.3
patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.4.0 pip 22.3.1 platformdirs 2.5.2
график 5.9.0 pluggy 1.0.0 prometheus-client 0.14.1
prompt-toolkit 3.0.36 protobuf 4.24.0 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 8.0.0 pyarrow-hotfix 0,5 pycparser 2.21
pydantic 1.10.6 pyflakes 3.1.0 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 python-lsp-server 1.8.0
pytoolconfig 1.2.5 pytz 2022.7 pyzmq 23.2.0
requests 2.28.1 верёвка 1.7.0 s3transfer 0.6.2
scikit-learn 1.1.1 scipy 1.10.0 мореборн 0.12.2
SecretStorage 3.3.1 Send2Trash 1.8.0 setuptools 65.6.3
six 1.16.0 sniffio 1.2.0 soupsieve 2.3.2.post1
ssh-import-id 5,11 stack-data 0.2.0 statsmodels 0.13.5
tenacity 8.1.0 terminado 0.17.1 threadpoolctl 2.2.0
tinycss2 1.2.1 tokenize-rt 4.2.1 tomli 2.0.1
tornado 6.1 traitlets 5.7.1 typing_extensions 4.4.0
ujson 5.4.0 unattended-upgrades 0,1 urllib3 1.26.14
virtualenv 20.16.7 wadllib 1.3.6 wcwidth 0.2.5
webencodings 0.5.1 websocket-client 0.58.0 whatthepatch 1.0.2
wheel 0.38.4 widgetsnbextension 3.6.1 yapf 0.33.0
zipp 1.0.0

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка Posit диспетчер пакетов CRAN 2023-02-10.

Библиотека Версия Библиотека Версия Библиотека Версия
Стрелка 12.0.1 askpass 1,1 assertthat 0.2.1
внутренние порты 1.4.1 base 4.3.1 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 большой двоичный объект 1.2.4
загрузка 1.3-28 заваривать 1,0–8 brio 1.1.3
метла 1.0.5 bslib 0.5.0 cachem 1.0.8
вызывающий объект 3.7.3 крышка 6.0-94 cellranger 1.1.0
chron 2.3-61 class 7.3-22 cli 3.6.1
clipr 0.8.0 clock 0.7.0 cluster 2.1.4
codetools 0.2-19 colorspace 2.1-0 commonmark 1.9.0
компилятор 4.3.1 config 0.3.1 Противоречие 1.2.0
cpp11 0.4.4 карандаш 1.5.2 учетные данные 1.3.2
curl 5.0.1 data.table 1.14.8 наборы данных 4.3.1
DBI 1.1.3 dbplyr 2.3.3 desc 1.4.2
средства разработки 2.4.5 Схема 1.6.5 diffobj 0.3.5
digest 0.6.33 downlit 0.4.3 dplyr 1.1.2
dtplyr 1.3.1 e1071 1.7-13 многоточие 0.3.2
evaluate 0.21 вентиляторы 1.0.4 Farver 2.1.1
fastmap 1.1.1 fontawesome 0.5.1 forcats 1.0.0
foreach 1.5.2 иностранный 0.8-85 forge 0.2.0
fs 1.6.2 будущее 1.33.0 future.apply 1.11.0
gargle 1.5.1 Универсальные шаблоны 0.1.3 gert 1.9.2
ggplot2 3.4.2 gh 1.4.0 gitcreds 0.1.2
glmnet 4.1-7 globals 0.16.2 клей 1.6.2
googledrive 2.1.1 googlesheets4 1.1.1 Говер 1.0.1
графика 4.3.1 grDevices 4.3.1 grid 4.3.1
gridExtra 2.3 gsubfn 0,7 gtable 0.3.3
hardhat 1.3.0 haven 2.5.3 высокий 0.10
hms 1.1.3 htmltools 0.5.5 htmlwidgets 1.6.2
httpuv 1.6.11 httr 1.4.6 httr2 0.2.3
ids 1.0.1 ini 0.3.1 ipred 0.9-14
isoband 0.2.7 Итераторы 1.0.14 jquerylib 0.1.4
jsonlite 1.8.7 KernSmooth 2.23-21 трикотажный 1,43
маркирование 0.4.2 later 1.3.1 решётка 0.21-8
Lava 1.7.2.1 жизненный цикл 1.0.3 listenv 0.9.0
lubridate 1.9.2 magrittr 2.0.3 Markdown 1,7
МАССАЧУСЕТС 7.3-60 «Матрица» 1.5-4.1 memoise 2.0.1
оплаты 4.3.1 mgcv 1.8-42 мим 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.0.6 parallel 4.3.1
parallelly 1.36.0 столб 1.9.0 pkgbuild 1.4.2
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2.1
plogr 0.2.0 plyr 1.8.8 хвалить 1.0.0
prettyunits 1.1.1 pROC 1.18.4 processx 3.8.2
prodlim 2023.03.31 profvis 0.3.8 Ход выполнения 1.2.2
progressr 0.13.0 promises 1.2.0.1 proto 1.0.0
proxy 0.4-27 ps 1.7.5 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.11 RcppEigen 0.3.3.9.3
readr 2.1.4 readxl 1.4.3 Рецепты 1.0.6
реванш 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.1.1
rmarkdown 2,23 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.21 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.3.1 rstudioapi 0.15.0 rversions 2.1.2
rvest 1.0.3 sass 0.4.6 весы 1.2.1
селектор 0.4-2 sessioninfo 1.2.2 форма 1.4.6
блестящий 1.7.4.1 sourcetools 0.1.7-1 sparklyr 1.8.1
пространственный 7.3-15 Сплайны 4.3.1 sqldf 0.4-11
SQUAREM 2021.1 stats 4.3.1 статистика4 4.3.1
stringi 1.7.12 stringr 1.5.0 выживание 3.5-5
sys 3.4.2 systemfonts 1.0.4 tcltk 4.3.1
testthat 3.1.10 textshaping 0.3.6 tibble 3.2.1
tidyr 1.3.0 tidyselect 1.2.0 tidyverse 2.0.0
timechange 0.2.0 TimeDate 4022.108 tinytex 0,45 %
средства 4.3.1 tzdb 0.4.0 urlchecker 1.0.1
usethis 2.2.2 utf8 1.2.3 служебные программы 4.3.1
uuid 1.1-0 vctrs 0.6.3 viridisLite 0.4.2
vroom 1.6.3 waldo 0.5.1 усы 0.4.1
withr 2.5.0 xfun 0,39 xml2 1.3.5
xopen 1.0.0 xtable 1.8-4 yaml 2.3.7
zip 2.3.0

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)

ИД группы Идентификатор артефакта Версия
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics потоковая передача 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.13.0
com.databricks jets3t 0.7.1–0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat джексон-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.1
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1,1
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15,0
com.google.protobuf protobuf-java 2.6.1
com.helger профилировщик 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.25
io.delta delta-sharing-client_2.12 1.0.3
io.dropwizard.metrics метрики-заметки 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx коллектор 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1,3
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow arrow-format 12.0.1
org.apache.arrow arrow-memory-core 12.0.1
org.apache.arrow arrow-memory-netty 12.0.1
org.apache.arrow arrow-vector 12.0.1
org.apache.avro avro 1.11.2
org.apache.avro avro-ipc 1.11.2
org.apache.avro avro-mapred 1.11.2
org.apache.commons commons-collections4 4.4.
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.20.0
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j2-impl 2.20.0
org.apache.orc orc-core 1.9.2-шейд-protobuf
org.apache.orc orc-mapreduce 1.9.2-шейд-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4,23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.0
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap shims 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest Scalatest-compatible 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1