Поделиться через

Databricks Runtime 15.2

  • Статья

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 15.2, на базе Apache Spark 3.5.0.

Databricks выпустила эту версию в мае 2024 года.

Совет

Сведения о выпуске заметок о выпуске Databricks Runtime, которые достигли окончания поддержки (EoS), см . в заметках о выпуске Databricks Runtime. Версии среды выполнения EoS Databricks устарели и могут не обновляться.

Изменение поведения

Очистка вакуума копирует файлы метаданных COPY INTO

Запуск VACUUM в таблице, написанной с COPY INTO помощью функции очистки метаданных без ссылок, связанных с отслеживающими файлами приема. Не влияет на семантику COPY INTOопераций.

Федерация Lakehouse общедоступна (GA)

В Databricks Runtime 15.2 и более поздних версиях соединители федерации Lakehouse в следующих типах баз данных общедоступны (GA):

  • MySQL
  • PostgreSQL
  • Amazon Redshift
  • Снежинка
  • Microsoft SQL Server
  • Azure Synapse (хранилище данных SQL)
  • Databricks

В этом выпуске также представлены следующие улучшения:

  • Поддержка проверки подлинности единого входа в соединителях Snowflake и Microsoft SQL Server .

  • Приватный канал Azure поддержку соединителя SQL Server из бессерверных вычислительных сред. См . шаг 3. Создание правил частной конечной точки.

  • Поддержка дополнительных pushdowns (строковых, математических и других функций).

  • Улучшена скорость успешного выполнения pushdown в разных формах запросов.

  • Дополнительные возможности отладки pushdown:

    • В выходных EXPLAIN FORMATTED данных отображается отложенный текст запроса.
    • Пользовательский интерфейс профиля запроса отображает отложенный текст запроса, идентификаторы федеративного узла и время выполнения запроса JDBC (в подробном режиме). См. статью "Просмотр системных федеративных запросов".

BY POSITION для сопоставления столбцов с файлами COPY INTO CSV без заголовков

В Databricks Runtime 15.2 и более поздних версиях можно использовать BY POSITION ключевые слова (или альтернативный синтаксис ( col_name [ , <col_name> ... ] )) с COPY INTO файлами CSV без заголовков, чтобы упростить сопоставление исходных столбцов для целевого табличного столбца. См. Параметры.

Уменьшение потребления памяти при сбое задач Spark с ошибкой Resubmitted

В Databricks Runtime 15.2 и более поздних версиях возвращаемое значение метода Spark TaskInfo.accumulables() пусто, если задачи завершаются ошибкой Resubmitted . Ранее метод вернул значения предыдущей успешной попытки задачи. Это изменение поведения влияет на следующих потребителей:

  • Задачи Spark, использующие EventLoggingListener класс.
  • Пользовательские прослушиватели Spark.

Чтобы восстановить прежнее поведение, присвойте параметру spark.scheduler.dropTaskInfoAccumulablesOnTaskCompletion.enabled значение false.

Просмотр версий плана адаптивного выполнения запросов отключен

Чтобы уменьшить потребление памяти, версии плана адаптивного выполнения запросов (AQE) теперь отключены по умолчанию в пользовательском интерфейсе Spark. Чтобы включить просмотр версий плана AQE в пользовательском интерфейсе Spark, задайте для нее spark.databricks.sql.aqe.showPlanChangesInUI.enabled значение true.

Ограничение на сохраненные запросы снижается, чтобы уменьшить использование памяти пользовательского интерфейса Spark.

В Databricks Runtime 15.2 и более поздних версиях, чтобы уменьшить объем памяти, потребляемой пользовательским интерфейсом Spark в вычислениях Azure Databricks, ограничение на количество запросов, видимых в пользовательском интерфейсе, снижается с 1000 до 100. Чтобы изменить ограничение, задайте новое значение с помощью spark.sql.ui.retainedExecutions конфигурации Spark.

DESCRIBE HISTORY Теперь отображаются столбцы кластеризации для таблиц, использующих кластеризацию жидкости

При выполнении DESCRIBE HISTORY запроса operationParameters в столбце по умолчанию отображается clusterBy поле для CREATE OR REPLACE операций и OPTIMIZE операций. Для разностной таблицы, использующей кластеризацию жидкости, clusterBy поле заполняется столбцами кластеризации таблицы. Если таблица не использует кластеризацию жидкости, поле пусто.

Новые функции и внесенные улучшения

Поддержка первичных и внешних ключей — общедоступная версия

Общедоступна поддержка первичных и внешних ключей в Databricks Runtime. Выпуск общедоступной версии включает следующие изменения привилегий, необходимых для использования первичных и внешних ключей:

  • Чтобы определить внешний ключ, необходимо иметь SELECT права на таблицу с первичным ключом, на который ссылается внешний ключ. Вам не нужно владеть таблицей с первичным ключом, который ранее требовался.
  • Удаление первичного ключа с помощью CASCADE предложения не требует привилегий для таблиц, определяющих внешние ключи, ссылающиеся на первичный ключ. Ранее необходимо принадлежать таблицам ссылок.
  • Для удаления таблицы, включающей ограничения, теперь требуются те же привилегии, что и для удаления таблиц, которые не включают ограничения.

Сведения об использовании первичных и внешних ключей с таблицами или представлениями см . в предложении CONSTRAINT, предложении ADD CONSTRAINT и предложении DROP CONSTRAINT.

Отказоустойчивая кластеризация — это общедоступная версия

Поддержка кластеризации жидкости теперь общедоступна с помощью Databricks Runtime 15.2 и более поздних версий. См. статью Использование "жидкой" кластеризации для таблиц Delta.

Расширение типов в общедоступной предварительной версии

Теперь можно включить расширение типов в таблицах, поддерживаемых Delta Lake. Таблицы с включенным расширением типов позволяют изменять тип столбцов на более широкий тип данных без перезаписи базовых файлов данных. См . расширение типов.

Предложение эволюции схемы, добавленное в синтаксис слияния SQL

Теперь можно добавить предложение в WITH SCHEMA EVOLUTION инструкцию слияния SQL, чтобы включить эволюцию схемы для операции. См . синтаксис эволюции схемы для слияния.

Пользовательские источники данных PySpark доступны в общедоступной предварительной версии

Источник данных PySpark можно создать с помощью API источника данных Python (PySpark), который позволяет читать из пользовательских источников данных и записывать их в пользовательские приемники данных в Apache Spark с помощью Python. Просмотр пользовательских источников данных PySpark

applyInPandas и mapInPandas теперь доступны в вычислительных ресурсах каталога Unity с общим доступом

В рамках выпуска обслуживания Databricks Runtime 14.3 LTS, applyInPandas а mapInPandas типы UDF теперь поддерживаются в вычислительных ресурсах общего режима доступа под управлением Databricks Runtime 14.3 и более поздних версий.

Использование dbutils.widgets.getAll() для получения всех мини-приложений в записной книжке

Используется dbutils.widgets.getAll() для получения всех значений мини-приложений в записной книжке. Это особенно полезно при передаче нескольких значений мини-приложений в sql-запрос Spark.

Поддержка инвентаризации вакуума

Теперь можно указать инвентаризацию файлов, которые следует учитывать при выполнении VACUUM команды в таблице Delta. Ознакомьтесь с документацией по OSS Delta.

Поддержка функций сжатия Zstandard

Теперь можно использовать функции zst_compress, zstd_decompress и try_zstd_decompress для сжатия и распаковки BINARY данных.

Исправления ошибок

Планы запросов в пользовательском интерфейсе SQL теперь отображаются правильно PhotonWriteStage

При отображении в пользовательском интерфейсе write SQL команды в планах запросов неправильно отображались PhotonWriteStage как оператор. В этом выпуске пользовательский интерфейс обновляется для отображения PhotonWriteStage как этапа. Это изменение пользовательского интерфейса только и не влияет на выполнение запросов.

Ray обновляется, чтобы устранить проблемы с запуском кластеров Ray

Этот выпуск включает исправленную версию Ray, которая устраняет критическое изменение, которое предотвращает запуск кластеров Ray с Databricks Runtime для Машинное обучение. Это изменение гарантирует, что функциональность Ray идентична версиям Databricks Runtime до 15.2.

GraphFrames обновляется, чтобы исправить неверные результаты с помощью Spark 3.5

Этот выпуск включает обновление пакета GraphFrames для устранения проблем, которые вызывают неправильные результаты для некоторых алгоритмов с GraphFrames и Spark 3.5.

Исправлен класс ошибок для DataFrame.sort() функций и DataFrame.sortWithinPartitions() функций

Этот выпуск включает обновление pySpark DataFrame.sort() и DataFrame.sortWithinPartitions() функций, чтобы гарантировать ZERO_INDEX , что класс ошибок возникает при 0 передаче в качестве аргумента индекса. Ранее был создан класс INDEX_NOT_POSITIVE ошибок.

ipywidgets понижен с 8.0.4 до 7.7.2

Чтобы устранить ошибки, введенные обновлением ipywidgets до версии 8.0.4 в Databricks Runtime 15.0, ipywidgets понижен до 7.7.2 в Databricks Runtime 15.2. Это та же версия, что и в предыдущих версиях Databricks Runtime.

Обновления библиотек

  • Обновленные библиотеки Python:
    • GitPython от 3.1.42 до 3.1.43
    • google-api-core от 2.17.1 до 2.18.0
    • google-auth от 2.28.1 до 2.29.0
    • google-cloud-storage с 2.15.0 до 2.16.0
    • googleapis-common-protos с 1.62.0 до 1.63.0
    • ipywidgets от 8.0.4 до 7.7.2
    • mlflow-skinny с 2.11.1 до 2.11.3
    • s3transfer от 0.10.0 до 0.10.1
    • sqlparse от 0.4.4 до 0.5.0
    • typing_extensions от 4.7.1 до 4.10.0
  • Обновленные библиотеки R:
  • Обновленные библиотеки Java:
    • com.amazonaws.aws-java-sdk-autoscaling от 1.12.390 до 1.12.610
    • com.amazonaws.aws-java-sdk-cloudformation с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-cloudfront от 1.12.390 до 1.12.610
    • com.amazonaws.aws-java-sdk-cloudhsm с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-cloudsearch с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-cloudtrail с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-cloudwatch с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-cloudwatchmetrics от 1.12.390 до 1.12.610
    • com.amazonaws.aws-java-sdk-codedeploy с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-cognitoidentity от 1.12.390 до 1.12.610
    • com.amazonaws.aws-java-sdk-cognitosync с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-config с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-core от 1.12.390 до 1.12.610
    • com.amazonaws.aws-java-sdk-datapipeline с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-directconnect с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-directory с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-dynamodb с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-ec2 с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-ecs от 1.12.390 до 1.12.610
    • com.amazonaws.aws-java-sdk-efs с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-elasticache с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-elasticbeanstalk от 1.12.390 до 1.12.610
    • com.amazonaws.aws-java-sdk-elasticloadbalancing с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-elastictranscoder с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-emr от 1.12.390 до 1.12.610
    • com.amazonaws.aws-java-sdk-glacier с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-glue с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-iam с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-importexport с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-kinesis с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-kms от 1.12.390 до 1.12.610
    • com.amazonaws.aws-java-sdk-lambda с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-logs от 1.12.390 до 1.12.610
    • com.amazonaws.aws-java-sdk-machinelearning с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-opsworks с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-rds с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-redshift с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-route53 с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-s3 от 1.12.390 до 1.12.610
    • com.amazonaws.aws-java-sdk-ses с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-simpledb с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-simpleworkflow с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-sns от 1.12.390 до 1.12.610
    • com.amazonaws.aws-java-sdk-sqs с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-ssm с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-storagegateway с 1.12.390 по 1.12.610
    • com.amazonaws.aws-java-sdk-sts от 1.12.390 до 1.12.610
    • com.amazonaws.aws-java-sdk-support от 1.12.390 до 1.12.610
    • com.amazonaws.aws-java-sdk-workspaces от 1.12.390 до 1.12.610
    • com.amazonaws.jmespath-java с 1.12.390 до 1.12.610

Apache Spark

Databricks Runtime 15.2 включает Apache Spark 3.5.0. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 15.1 (EoS), а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

  • [SPARK-47941] [SC-163568] [SS] [Подключение] Распространение ошибок инициализации рабочей роли ForeachBatch пользователям для PySpark
  • [SPARK-47412] [SC-163455][SQL] Добавьте поддержку сортировки для LPad/RPad.
  • [SPARK-47907] [SC-163408][SQL] Поместите удар под конфигурацией
  • [SPARK-46820] [SC-157093][PYTHON] Устранение регрессии сообщения об ошибке путем восстановления new_msg
  • [SPARK-47602] [SPARK-47577][SPARK-47598][SPARK-47577]Core/MLLib/Resource Manager: структурированная миграция ведения журнала
  • [SPARK-47890] [SC-163324][CONNECT][PYTHON] Добавьте вариантные функции в Scala и Python.
  • [SPARK-47894] [SC-163086][CORE][WEBUI] Добавление Environment страницы в главный пользовательский интерфейс
  • [SPARK-47805] [SC-163459][SS] Реализация TTL для MapState
  • [SPARK-47900] [SC-163326] Исправлена проверка неявного сортировки (UTF8_BINARY)
  • [SPARK-47902] [SC-163316][SQL]Создание свертываемых выражений вычислений Current Time*
  • [SPARK-47845] [SC-163315][SQL][PYTHON][CONNECT] Поддержка типа столбца в функции разделения для scala и python
  • [SPARK-47754] [SC-162144][SQL] Postgres: поддержка чтения многомерных массивов
  • [SPARK-47416] [SC-163001][SQL] Добавление новых функций в CollationBenchmark #90339
  • [SPARK-47839] [SC-163075][SQL] Исправлена статистическая ошибка в RewriteWithExpression
  • [SPARK-47821] [SC-162967][SQL] Реализация выражения is_variant_null
  • [SPARK-47883] [SC-163184][SQL] Отложение CollectTailExec.doExecute с помощью RowQueue
  • [SPARK-47390] [SC-163306][SQL] PostgresDialect отличает TIMESTAMP от TIMESTAMP_TZ
  • [SPARK-47924] [SC-163282][CORE] Добавление журнала DEBUG в DiskStore.moveFileToBlock
  • [SPARK-47897] [SC-163183][SQL][3.5] Исправление регрессии производительности ExpressionSet в scala 2.12
  • [SPARK-47565] [SC-161786][PYTHON] Устойчивость рабочего пула PySpark к сбоям
  • [SPARK-47885] [SC-162989][PYTHON][CONNECT] Совместимость pyspark.resource с pyspark-connect
  • [SPARK-47887] [SC-163122][CONNECT] Удаление неиспользуемого импорта spark/connect/common.proto из spark/connect/relations.proto
  • [SPARK-47751] [SC-161991][PYTHON][CONNECT] Совместимость pyspark.worker_utils с pyspark-connect
  • [SPARK-47691] [SC-161760][SQL] Postgres: поддержка многомерного массива на стороне записи
  • [SPARK-47617] [SC-162513][SQL] Добавление инфраструктуры тестирования TPC-DS для параметров сортировки
  • [SPARK-47356] [SC-162858][SQL] Добавление поддержки ConcatWs и Elt (все параметры сортировки)
  • [SPARK-47543] [SC-161234][CONNECT][PYTHON] dict Вывод из MapType кадра данных Pandas для разрешения создания кадра данных
  • [SPARK-47863] [SC-162974][SQL] Исправление реализации для ICU с поддержкой параметров сортировки и выполнения с поддержкой параметров сортировки
  • [SPARK-47867] [SC-162966][SQL] Вариант поддержки в проверке JSON.
  • [SPARK-47366] [SC-162475][SQL][PYTHON] Добавление VariantVal для PySpark
  • [SPARK-47803] [SC-162726][SQL] Поддержка приведения к варианту.
  • [SPARK-47769] [SC-162841][SQL] Добавьте выражение schema_of_variant_agg.
  • [SPARK-47420] [SC-162842][SQL] Исправление выходных данных теста
  • [SPARK-47430] [SC-161178][SQL] Поддержка GROUP BY для MapType
  • [SPARK-47357] [SC-162751][SQL] Добавление поддержки верхнего, нижнего, initCap (все параметры сортировки)
  • [SPARK-477888] [SC-162729][SS] Обеспечение того же хэш-секционирования для операций с отслеживанием состояния потоковой передачи
  • [SPARK-47776] [SC-162291][SS] Запрет использования параметров сортировки двоичного неравенства в схеме ключей оператора с отслеживанием состояния
  • [SPARK-47673] [SC-162824][SS] Реализация TTL для ListState
  • [SPARK-47818] [SC-162845][CONNECT] Введение кэша планов в SparkConnectPlanner для повышения производительности запросов анализа
  • [SPARK-47694] [SC-162783][CONNECT] Настройка максимального размера сообщения на стороне клиента
  • [SPARK-47274] Возврат "[SC-162479][PYTHON][SQL] Укажите больше использования...
  • [SPARK-47616] [SC-161193][SQL] Добавление пользовательского документа для сопоставления типов данных SQL Spark из MySQL
  • [SPARK-47862] [SC-162837][PYTHON][CONNECT]Исправление создания файлов proto
  • [SPARK-47849] [SC-162724][PYTHON][CONNECT] Изменение скрипта выпуска на выпуск pyspark-connect
  • [SPARK-47410] [SC-162518][SQL] Рефакторинг UTF8String и CollationFactory
  • [SPARK-47807] [SC-162505][PYTHON][ML] Сделайте pyspark.ml совместимым с pyspark-connect
  • [SPARK-47707] [SC-161768][SQL] Специальная обработка типа JSON для соединителя MySQL/J 5.x
  • [SPARK-47765] Вернитесь на "[SC-162636][SQL] Добавьте ПАРАМЕТР СОРТИРОВКИ для синтаксического анализа...
  • [SPARK-47081] [SC-162151][CONNECT][СЛЕДУЙТЕ] Улучшение удобства использования обработчика хода выполнения
  • [SPARK-47289] [SC-161877][SQL] Разрешить расширениям регистрировать расширенные сведения в плане объяснения
  • [SPARK-47274] [SC-162479][PYTHON][SQL] Предоставление более полезного контекста для ошибок API Api PySpark DataFrame
  • [SPARK-47765] [SC-162636][SQL] Добавление параметра SET COLLATION в правила синтаксического анализа
  • [SPARK-47828] [SC-162722][CONNECT][PYTHON] DataFrameWriterV2.overwrite сбой с недопустимым планом
  • [SPARK-47812] [SC-162696][CONNECT] Поддержка сериализации SparkSession для рабочей роли ForEachBatch
  • [SPARK-47253] [SC-162698][CORE] Разрешить LiveEventBus остановиться без полностью очистки очереди событий
  • [SPARK-47827] [SC-162625][PYTHON] Отсутствующие предупреждения для устаревших функций
  • [SPARK-47733] [SC-162628][SS] Добавление пользовательских метрик для оператора transformWithState, часть хода выполнения запроса
  • [SPARK-47784] [SC-162623][SS] Слияние TTLMode и TimeoutMode в единый TimeMode.
  • [SPARK-47775] [SC-162319][SQL] Поддержка оставшихся скалярных типов в спецификации варианта.
  • [SPARK-47736] [SC-162503][SQL] Добавление поддержки AbstractArrayType
  • [SPARK-47081] [SC-161758][CONNECT] Ход выполнения запроса поддержки
  • [SPARK-47682] [SC-162138][SQL] Поддержка приведения из варианта.
  • [SPARK-47802] [SC-162478][SQL] Возврат () от значения структуры() обратно к значению *
  • [SPARK-47680] [SC-162318][SQL] Добавьте выражение variant_explode.
  • [SPARK-47809] [SC-162511][SQL] checkExceptionInExpression должен проверять ошибку для каждого режима кодегена
  • [SPARK-41811] [SC-162470][PYTHON][CONNECT] Реализация SQLStringFormatter с помощью WithRelations
  • [SPARK-47693] [SC-162326][SQL] Добавление оптимизации для сравнения строчных регистров UTF8String, используемого в UTF8_BINARY_LCASE сортировке
  • [SPARK-47541] [SC-162006][SQL] Свораченные строки в сложных типах, поддерживающие операции обратной, array_join, сцепления, сопоставление
  • [SPARK-46812] [SC-161535][CONNECT][PYTHON] Создание mapInPandas / mapInArrow поддержки ResourceProfile
  • [SPARK-47727] [SC-161982][PYTHON] Создание SparkConf на корневом уровне для SparkSession и SparkContext
  • [SPARK-47406] [SC-159376][SQL] Обработка TIMESTAMP и DATETIME в MYSQLDialect
  • [SPARK-47081] Возврат "[SC-161758][CONNECT] Поддержка выполнения запроса...
  • [SPARK-47681] [SC-162043][SQL] Добавьте выражение schema_of_variant.
  • [SPARK-47783] [SC-162222] Добавьте некоторые отсутствующие SQLSTATEs очистку Y000 для использования...
  • [SPARK-47634] [SC-161558][SQL] Добавление устаревшей поддержки отключения нормализации ключа карты
  • [SPARK-47746] [SC-162022] Реализация кодировки диапазона на основе порядков в RocksDBStateEncoder
  • [SPARK-47285] [SC-158340][SQL] AdaptiveSparkPlanExec всегда должен использовать context.session
  • [SPARK-47643] [SC-161534][SS][PYTHON] Добавление теста pyspark для источника потоковой передачи Python
  • [SPARK-47582] [SC-161943][SQL] Миграция logInfo с переменными в структурированную платформу ведения журнала
  • [SPARK-47558] [SC-162007][SS] Поддержка TTL состояния для ValueState
  • [SPARK-47358] [SC-160912][SQL][СОРТИРОВКА] Улучшение поддержки повторяемых выражений для возврата правильного типа данных
  • [SPARK-47504] [SC-162044][SQL] Разрешение AbstractDataType simpleStrings для StringTypeCollated
  • [SPARK-47719] Возврат "[SC-161909][SQL] Изменение spark.sql.legacy.t...
  • [SPARK-47657] [SC-162010][SQL] Реализация фильтра сортировки принудительной поддержки для каждого источника файла
  • [SPARK-47081] [SC-161758][CONNECT] Ход выполнения запроса поддержки
  • [SPARK-47744] [SC-161999] Добавление поддержки отрицательных байтов в кодировщике диапазона
  • [SPARK-47713] [SC-162009][SQL][CONNECT] Исправлена ошибка самосоединяющегося
  • [SPARK-47310] [SC-161930][SS] Добавление микро-теста для операций слияния для нескольких значений в части хранилища состояний
  • [SPARK-47700] [SC-161774][SQL] Исправление форматирования сообщений об ошибках с помощью treeNode
  • [SPARK-47752] [SC-161993][PS][CONNECT] Совместимость pyspark.pandas с pyspark-connect
  • [SPARK-47575] [SC-161402][SPARK-47576][SPARK-47654] Реализация API logWarning/logInfo в структурированной платформе ведения журнала
  • [SPARK-47107] [SC-161201][SS][PYTHON] Реализация средства чтения секций для источника данных потоковой передачи Python
  • [SPARK-47553] [SC-161772][SS] Добавление поддержки Java для API-интерфейсов операторов transformWithState
  • [SPARK-47719] [SC-161909][SQL] Измените значение по умолчанию spark.sql.legacy.timeParserPolicy на CORRECTED
  • [SPARK-47655] [SC-161761][SS] Интеграция таймера с обработкой начального состояния для state-v2
  • [SPARK-47665] [SC-161550][SQL] Использование SMALLINT для записи ShortType в MYSQL
  • [SPARK-47210] [SC-161777][SQL] Добавление неявного приведения без неопределенной поддержки
  • [SPARK-47653] [SC-161767][SS] Добавление поддержки отрицательных числовых типов и кодировщика ключа сканирования диапазона
  • [SPARK-46743] [SC-1607777][SQL] Подсчет ошибок после константного свертывания
  • [SPARK-47525] [SC-154568][SQL] Поддержка объединения корреляции вложенных запросов на атрибуты карты
  • [SPARK-46366] [SC-151277][SQL] Использование выражения WITH в BETWEEN для предотвращения повторяющихся выражений
  • [SPARK-47563] [SC-161183][SQL] Добавление нормализации карты при создании
  • [SPARK-42040] [SC-161171][SQL] SPJ: введение нового API для входной секции версии 2 для отчета о статистике секций
  • [SPARK-47679] [SC-161549][SQL] Использование или непосредственное использование HiveConf.getConfVars имен conf Hive
  • [SPARK-47685] [SC-161566][SQL] Восстановление поддержки Stream типа в Dataset#groupBy
  • [SPARK-47646] [SC-161352][SQL] Получение значения NULL try_to_number для неправильно сформированных входных данных
  • [SPARK-47366] [SC-161324][PYTHON] Добавление псевдонимов pyspark и кадра данных parse_json
  • [SPARK-47491] [SC-161176][CORE] Прежде чем другие каталоги, добавьте slf4j-api JAR-файл в путь к классу jars .
  • [SPARK-47270] [SC-158741][SQL] Dataset.isEmpty проекты CommandResults локально
  • [SPARK-47364] [SC-158927][CORE] Предупреждайте PluginEndpoint , когда подключаемые модули отвечают на одностороннее сообщение
  • [SPARK-47280] [SC-158350][SQL] Удаление ограничения часового пояса для ORACLE TIMESTAMP WITH TIMEZONE
  • [SPARK-47551] [SC-161542][SQL] Добавьте выражение variant_get.
  • [SPARK-47559] [SC-161255][SQL] Поддержка Codegen для варианта parse_json
  • [SPARK-47572] [SC-161351][SQL] Принудительное применение секции WindowSpec можно упорядочить.
  • [SPARK-47546] [SC-161241][SQL] Улучшение проверки при чтении Variant из Parquet
  • [SPARK-47543] [SC-161234][CONNECT][PYTHON] dict Вывод из MapType кадра данных Pandas для разрешения создания кадра данных
  • [SPARK-47485] [SC-161194][SQL][PYTHON][CONNECT] Создание столбца с параметрами сортировки в API кадра данных
  • [SPARK-47641] [SC-161376][SQL] Повышение производительности и UnaryMinusAbs
  • [SPARK-47631] [SC-161325][SQL] Удаление неиспользуемого SQLConf.parquetOutputCommitterClass метода
  • [SPARK-47674] [SC-161504][CORE] Включить spark.metrics.appStatusSource.enabled по умолчанию
  • [SPARK-47273] [SC-161162][SS][PYTHON] реализует интерфейс записи потоков данных Python.
  • [SPARK-47637] [SC-161408][SQL] Использование errorCapturingIdentifier в других местах
  • [SPARK-47497] Вернуть значение "Revert"[SC-160724][SQL] Сделайте to_csv поддерживать выходные данные массива/ структуры/карты/двоичного файла как красивые строки"
  • [SPARK-47492] [SC-161316][SQL] Расширенные правила пробелов в лексерах
  • [SPARK-47664] [SC-161475][PYTHON][CONNECT] Проверка имени столбца с помощью кэшированных схем
  • [SPARK-47638] [SC-161339][PS][CONNECT] Пропуск проверки имени столбца в PS
  • [SPARK-47363] [SC-161247][SS] Начальное состояние без реализации средства чтения состояний для API состояния версии 2.
  • [SPARK-47447] [SC-160448][SQL] Разрешить чтение Parquet TimestampLTZ в качестве timestampNTZ
  • [SPARK-47497] Возврат "[SC-160724][SQL] Сделайте to_csv поддержку выходных данных array/struct/map/binary в виде красивых строк"
  • [SPARK-47434] [SC-160122][WEBUI] Исправление statistics ссылки в StreamingQueryPage
  • [SPARK-46761] [SC-159045][SQL] Кавычки строк в пути JSON должны поддерживаться? characters
  • [SPARK-46915] [SC-155729][SQL] Упрощение и выравнивание UnaryMinus Abs класса ошибок
  • [SPARK-47431] [SC-160919][SQL] Добавление сортировки уровня сеанса по умолчанию
  • [SPARK-47620] [SC-161242][PYTHON][CONNECT] Добавление вспомогательной функции для сортировки столбцов
  • [SPARK-47570] [SC-161165][SS] Интеграция изменений кодировщика сканирования диапазона с реализацией таймера
  • [SPARK-47497] [SC-160724][SQL] Поддержка to_csv выходных array/struct/map/binary данных в виде красивых строк
  • [SPARK-47562] [SC-161166][CONNECT] Обработка литерала фактора вне plan.py
  • [SPARK-47509] [SC-160902][SQL] Блокировать выражения вложенных запросов в лямбда-функциях и функциях более высокого порядка
  • [SPARK-47539] [SC-160750][SQL] Значение возвращаемого метода castToStringAny => UTF8String
  • [SPARK-47372] [SC-160905][SS] Добавление поддержки кодировщика состояния ключа на основе диапазона для использования с поставщиком хранилища состояний
  • [SPARK-47517] [SC-160642][CORE][SQL] Предпочитать Utils.bytesToString для отображения размера
  • [SPARK-47243] [SC-158059][SS] Исправление имени пакета StateMetadataSource.scala
  • [SPARK-47367] [SC-160913][PYTHON][CONNECT] Поддержка источников данных Python с помощью Spark Connect
  • [SPARK-47521] [SC-160666][CORE] Использование Utils.tryWithResource во время чтения данных перетасовки из внешнего хранилища
  • [SPARK-47474] [SC-160522][CORE] Вернуть SPARK-47461 и добавить некоторые комментарии
  • [SPARK-47560] [SC-160914][PYTHON][CONNECT] Избегайте проверки имени столбца с помощью кэшированных схем RPC
  • [SPARK-47451] [SC-160749][SQL] Поддержка to_json(variant).
  • [SPARK-47528] [SC-160727][SQL] Добавление поддержки UserDefinedType в DataTypeUtils.canWrite
  • [SPARK-44708] Возврат "[SC-160734][PYTHON] Миграция test_reset_index assert_eq на использование assertDataFrameEqual"
  • [SPARK-47506] [SC-160740][SQL] Добавление поддержки для всех форматов источников файлов для типов данных с сортировкой
  • [SPARK-47256] [SC-160784][SQL] Назначение имен классам ошибок _LEGACY_ERROR_TEMP_102[4-7]
  • [SPARK-47495] [SC-160720][CORE] Исправление jar-файла основного ресурса, добавленного в spark.jars дважды в режиме кластера k8s
  • [SPARK-47398] [SC-160572][SQL] Извлечение признака для InMemoryTableScanExec для расширения функциональных возможностей
  • [SPARK-47479] [SC-160623][SQL] Оптимизация не может записывать данные в отношения с несколькими путями журнала ошибок
  • [SPARK-47483] [SC-160629][SQL] Добавление поддержки агрегирования и соединения операций с массивами параметров сортировки
  • [SPARK-47458] [SC-160237][CORE] Устранение проблемы с вычислением максимальной параллельной задачи для этапа барьера
  • [SPARK-47534] [SC-160737][SQL] Перейти o.a.s.variant к o.a.s.types.variant
  • [SPARK-47396] [SC-159312][SQL] Добавление общего сопоставления для TIME БЕЗ ЧАСОВОГО ПОЯСа в TimestampNTZType
  • [SPARK-44708] [SC-160734][PYTHON] Миграция test_reset_index assert_eq на использование assertDataFrameEqual
  • [SPARK-47309] [SC-157733][SC-160398][SQL] XML: добавление тестов вывода схемы для тегов значений
  • [SPARK-47007] [SC-160630][SQL] MapSort Добавление выражения
  • [SPARK-47523] [SC-160645][SQL] Заменить устаревшим JsonParser#getCurrentNameJsonParser#currentName
  • [SPARK-47440] [SC-160635][SQL] Исправление отправки неподдерживаемого синтаксиса в MsSqlServer
  • [SPARK-47512] [SC-160617][SS] Тип операции тега, используемый для приобретения или выпуска экземпляра хранилища состояний RocksDB
  • [SPARK-47346] [SC-159425][PYTHON] Настройка режима управляющей программы при создании рабочих ролей планировщика Python
  • [SPARK-47446] [SC-160163][CORE] Предостеречьте BlockManager предупреждение перед removeBlockInternal
  • [SPARK-46526] [SC-156099][SQL] Поддержка LIMIT через коррелированные вложенные запросы, в которых предикаты ссылаются только на внешнюю таблицу
  • [SPARK-47461] [SC-160297][CORE] Удаление частной функции totalRunningTasksPerResourceProfile из ExecutorAllocationManager
  • [SPARK-47422] [SC-160219][SQL] Поддержка параметров сортировки в операциях массива
  • [SPARK-47500] [SC-160627][PYTHON][CONNECT] Обработка имени столбца фактора вне plan.py
  • [SPARK-47383] [SC-160144][CORE] Конфигурация поддержки spark.shutdown.timeout
  • [SPARK-47342] [SC-159049]Возврат "[SQL] Поддержка TimestampNTZ для DB2 TIMESTAMP WITH TIME ZONE"
  • [SPARK-47486] [SC-160491][CONNECT] Удаление неиспользуемого закрытого ArrowDeserializers.getString метода
  • [SPARK-47233] [SC-154486][CONNECT][SS][2/2] Логика клиента и сервера для прослушивателя потоковых запросов на стороне клиента
  • [SPARK-47487] [SC-160534][SQL] Упрощение кода в AnsiTypeCoercion
  • [SPARK-47443] [SC-160459][SQL] Поддержка параметров сортировки окон
  • [SPARK-47296] [SC-160457][SQL][СОРТИРОВКА] Сбой неподдерживаемых функций для не двоичных параметров сортировки
  • [SPARK-47380] [SC-160164][CONNECT] Убедитесь в том, что SparkSession совпадает с сервером.
  • [SPARK-47327] [SC-160069][SQL] Перемещение теста параллелизма ключей сортировки в CollationFactorySuite
  • [SPARK-47494] [SC-160495][Doc] Добавление документации по миграции для изменения метки времени Parquet с помощью Spark 3.3
  • [SPARK-47449] [SC-160372][SS] Рефакторинг и разделение модульных тестов списка и таймера
  • [SPARK-46473] [SC-155663][SQL] Метод повторного использования getPartitionedFile
  • [SPARK-47423] [SC-160068][SQL] Параметры сортировки — настройка поддержки операций для строк с параметрами сортировки
  • [SPARK-47439] [SC-160115][PYTHON] Api источника данных Python в справочнике по API
  • [SPARK-47457] [SC-160234][SQL] Исправление IsolatedClientLoader.supportsHadoopShadedClient для обработки Hadoop 3.4+
  • [SPARK-47366] [SC-159348][SQL] Реализуйте parse_json.
  • [SPARK-46331] [SC-152982][SQL] Удаление CodegenFallback из подмножества выражений DateTime и выражений version()
  • [SPARK-47395] [SC-159404] Добавление сортировки и сортировки в другие API
  • [SPARK-47437] [SC-160117][PYTHON][CONNECT] Исправление класса ошибок для DataFrame.sort*
  • [SPARK-47174] [SC-154483][CONNECT][SS][1/2] Серверная сторона SparkConnectListenerBusListener для прослушивателя запросов потоковой передачи на стороне клиента
  • [SPARK-47324] [SC-158720][SQL] Добавление отсутствующих преобразований меток времени для вложенных типов JDBC
  • [SPARK-46962] [SC-158834][SS][PYTHON] Добавление интерфейса для API источника данных потоковой передачи Python и реализация рабочей роли Python для запуска источника данных потоковой передачи Python
  • [SPARK-45827] [SC-158498][SQL] Перемещение проверок типов данных в CreatableRelationProvider
  • [SPARK-47342] [SC-158874][SQL] Поддержка TimestampNTZ для DB2 TIMESTAMP WITH TIME ZONE
  • [SPARK-47399] [SC-159378][SQL] Отключение созданных столбцов для выражений с параметрами сортировки
  • [SPARK-47146] [SC-158247][CORE] Возможная утечка потока при выполнении объединения сортировки
  • [SPARK-46913] [SC-159149][SS] Добавление поддержки таймеров на основе времени обработки и событий с помощью оператора transformWithState
  • [SPARK-47375] [SC-159063][SQL] Добавление рекомендаций по сопоставлению меток времени в JdbcDialect#getCatalystType
  • [SPARK-47394] [SC-159282][SQL] Поддержка TIMESTAMP WITH TIME ZONE для H2Dialect
  • [SPARK-45827] Возврат "[SC-158498][SQL] Перемещение проверок типов данных в ...
  • [SPARK-47208] [SC-159279][CORE] Разрешить переопределение базовой нагрузки памяти
  • [SPARK-42627] [SC-158021][SPARK-26494][SQL] Поддержка Oracle TIMESTAMP WITH LOCAL TIME ZONE
  • [SPARK-47055] [SC-156916][PYTHON] Обновление MyPy 1.8.0
  • [SPARK-46906] [SC-157205][SS] Добавление проверки изменения оператора с отслеживанием состояния для потоковой передачи
  • [SPARK-47391] [SC-159283][SQL] Удаление обходного решения тестового варианта для JDK 8
  • [SPARK-47272] [SC-158960][SS] Добавление реализации MapState для API состояния версии 2.
  • [SPARK-47375] [SC-159278][Doc][Отслеживание] Исправлена ошибка в документации по параметру JDBC preferTimestampNTZ
  • [SPARK-42328] [SC-157363][SQL] Удаление _LEGACY_ERROR_TEMP_1175 из классов ошибок
  • [SPARK-47375] [SC-159261][Doc][Отслеживание] Исправление описания параметра preferTimestampNTZ в документе JDBC
  • [SPARK-47344] [SC-159146] Расширение INVALID_IDENTIFIER ошибки за пределами перехвата "-" в неквотируемый идентификатор и исправление "IS! NULL" et al.
  • [SPARK-47340] [SC-159039][SQL] Измените "collate" в StringType typename на нижний регистр
  • [SPARK-47087] [SC-157077][SQL] Вызов исключения Spark с классом ошибок в проверке значения конфигурации
  • [SPARK-47327] [SC-158824][SQL] Устранение проблемы с безопасностью потоков в коллаторе ICU
  • [SPARK-47082] [SC-157058][SQL] Исправление условия ошибки вне границ
  • [SPARK-47331] [SC-158719][SS] Сериализация с помощью классов регистров/примитивных элементов/POJO на основе кодировщика SQL для API произвольного состояния версии 2.
  • [SPARK-47250] [SC-158840][SS] Добавление дополнительных проверок и изменений NERF для поставщика состояний RocksDB и использование семейств столбцов
  • [SPARK-47328] [SC-158745][SQL] Переименование UCS_BASIC сортировки в UTF8_BINARY
  • [SPARK-47207] [SC-157845][CORE] Поддержка spark.driver.timeout и DriverTimeoutPlugin
  • [SPARK-47370] [SC-158956][Doc] Добавление документации по миграции: вывод типа TimestampNTZ в файлах Parquet
  • [SPARK-47309] [SC-158827][SQL][XML] Добавление модульных тестов вывода схемы
  • [SPARK-47295] [SC-158850][SQL] Добавлен ICU StringSearch для startsWith функций и endsWith функций
  • [SPARK-47343] [SC-158851][SQL] Исправление NPE, если sqlString переменное значение равно null строке при выполнении немедленного выполнения
  • [SPARK-46293] [SC-150117][CONNECT][PYTHON] Использование protobuf транзитной зависимости
  • [SPARK-46795] [SC-154143][SQL] Замена UnsupportedOperationException на SparkUnsupportedOperationExceptionsql/core
  • [SPARK-46087] [SC-149023][PYTHON] Синхронизация зависимостей PySpark в документации и требованиях к разработке
  • [SPARK-47169] [SC-158848][SQL] Отключение сегментирования в столбцах с сортировкой
  • [SPARK-42332] [SC-153996][SQL] Изменение требования к SparkException в ComplexTypeMergingExpression
  • [SPARK-45827] [SC-158498][SQL] Перемещение проверок типов данных в CreatableRelationProvider
  • [SPARK-47341] [SC-158825][Подключение] Замените команды связями в нескольких тестах в SparkConnectClientSuite
  • [SPARK-43255] [SC-158026][SQL] Замените класс ошибок _LEGACY_ERROR_TEMP_2020 внутренней ошибкой
  • [SPARK-47248] [SC-158494][SQL][СОРТИРОВКА] Улучшенная поддержка строковых функций: содержит
  • [SPARK-47334] [SC-158716][SQL] Повторное withColumnRenamed использование реализации withColumnsRenamed
  • [SPARK-46442] [SC-153168][SQL] DS V2 поддерживает отправку PERCENTILE_CONT и PERCENTILE_DISC
  • [SPARK-47313] [SC-158747][SQL] Добавлена скала. Обработка MatchError внутри QueryExecution.toInternalError
  • [SPARK-45827] [SC-158732][SQL] Добавление варианта одноэлементного типа для Java
  • [SPARK-47337] [SC-158743][SQL][DOCKER] Обновление образа Docker db2 до версии 11.5.8.0
  • [SPARK-47302] [SC-158609][SQL] Ключевое слово Collate в качестве идентификатора
  • [SPARK-46817] [SC-154196][CORE] Исправление spark-daemon.sh использования путем добавления decommission команды
  • [SPARK-46739] [SC-153553][SQL] Добавление класса ошибок UNSUPPORTED_CALL
  • [SPARK-47102] [SC-158253][SQL] Добавление флага конфигурации COLLATION_ENABLED
  • [SPARK-46774] [SC-153925][SQL][AVRO] Используйте mapreduce.output.fileoutputformat.compress вместо нерекомендуемого mapred.output.compress в заданиях записи Avro
  • [SPARK-45245] [SC-146961][PYTHON][CONNECT] PythonWorkerFactory: время ожидания, если рабочая роль не подключается.
  • [SPARK-46835] [SC-158355][SQL][Параметры сортировки] Поддержка присоединения к не двоичным параметрам сортировки
  • [SPARK-47131] [SC-158154][SQL][СОРТИРОВКА] Поддержка строковых функций: содержит, startswith, endswith
  • [SPARK-46077] [SC-157839][SQL] Рассмотрим тип, созданный TimestampNTZConverter в JdbcDialect.compileValue.
  • [SPARK-47311] [SC-158465][SQL][PYTHON] Подавление исключений Python, в которых PySpark не находится в пути к Python
  • [SPARK-47319] [SC-158599][SQL] Улучшение вычисления отсутствующих Данных
  • [SPARK-47316] [SC-158606][SQL] Исправление метки времени в массиве Postgres
  • [SPARK-47268] [SC-158158][SQL][Параметры сортировки] Поддержка повторного разбиения с параметрами сортировки
  • [SPARK-47191] [SC-157831][SQL] Избегайте ненужного поиска связей при некачивании таблицы или представления
  • [SPARK-47168] [SC-158257][SQL] Отключение pushdown фильтра Parquet при работе со строками, не параметров сортировки по умолчанию
  • [SPARK-47236] [SC-158015][CORE] Исправление deleteRecursivelyUsingJavaIO , чтобы пропустить не существующие входные данные файла
  • [SPARK-47238] [SC-158466][SQL] Сокращение использования памяти исполнителя путем создания созданного кода в WSCG широковещательной переменной
  • [SPARK-47249] [SC-158133][CONNECT] Исправлена ошибка, из-за которой все выполнения подключения считаются заброшенными независимо от их фактического состояния
  • [SPARK-47202] [SC-157828][PYTHON] Исправление критических дат и времени ввода с помощью tzinfo
  • [SPARK-46834] [SC-158139][SQL][Параметры сортировки] Поддержка агрегатов
  • [SPARK-47277] [SC-158351][3.5] Функция PySpark util assertDataFrameEqual не должна поддерживать потоковую передачу DF
  • [SPARK-47155] [SC-158473][PYTHON] Исправлена проблема класса ошибок
  • [SPARK-47245] [SC-158163][SQL] Улучшение кода ошибки для INVALID_PARTITION_COLUMN_DATA_TYPE
  • [SPARK-39771] [SC-158425][CORE] Добавьте в нее предупреждение Dependency , если требуется создать слишком большое количество блоков перетасовки.
  • [SPARK-47277] [SC-158329] Функция PySpark util assertDataFrameEqual не должна поддерживать потоковую передачу DF
  • [SPARK-47293] [SC-158356][CORE] Сборка batchSchema с sparkSchema вместо добавления по одному
  • [SPARK-46732] [SC-153517][CONNECT]Работа потока вложенных запросов и трансляций с помощью управления артефактами Connect
  • [SPARK-44746] [SC-158332][PYTHON] Добавление дополнительной документации по UDTF Python для функций, которые принимают входные таблицы
  • [SPARK-47120] [SC-157517][SQL] Сравнение значений NULL push down data filter from subquery производится в NPE в фильтре Parquet
  • [SPARK-47251] [SC-158291][PYTHON] Блокировать недопустимые типы из аргумента args команды sql
  • [SPARK-47251] Возврат "[SC-158121][PYTHON] Блокировать недопустимые типы из аргумента args команды sql "
  • [SPARK-47015] [SC-157900][SQL] Отключение секционирования для сортировки столбцов
  • [SPARK-46846] [SC-154308][CORE] Явное WorkerResourceInfo расширение Serializable
  • [SPARK-46641] [SC-156314][SS] Добавление порогового значения maxBytesPerTrigger
  • [SPARK-47244] [SC-158122][CONNECT] SparkConnectPlanner сделать внутренние функции закрытыми
  • [SPARK-47266] [SC-158146][CONNECT] Возвращайте ProtoUtils.abbreviate тот же тип, что и входные данные
  • [SPARK-46961] [SC-158183][SS] Использование ProcessorContext для хранения и извлечения дескриптора
  • [SPARK-46862] [SC-154548][SQL] Отключение очистки столбца CSV в многострочный режим
  • [SPARK-46950] [SC-155803][CORE][SQL] Выравнивание not available codec класса ошибок
  • [SPARK-46368] [SC-153236][CORE] Поддержка readyz в API отправки REST
  • [SPARK-46806] [SC-154108][PYTHON] Улучшение сообщения об ошибке для spark.table при неправильном типе аргумента
  • [SPARK-47211] [SC-158008][CONNECT][PYTHON] Исправлено игнорируемое параметры сортировки строк PySpark Connect
  • [SPARK-46552] [SC-151366][SQL] Замена UnsupportedOperationException на SparkUnsupportedOperationExceptioncatalyst
  • [SPARK-47147] [SC-157842][PYTHON][SQL] Исправлена ошибка преобразования строк с сортировкой PySpark
  • [SPARK-47144] [SC-157826][CONNECT][SQL][PYTHON] Исправлена ошибка сортировки Spark Connect путем добавления поля collateId protobuf
  • [SPARK-46575] [SC-153200][SQL][HIVE] Сделайте HiveThriftServer2.startWithContext DevelopApi извлекаемым и исправьте flakiness ThriftServerWithSparkContextInHttpSuite
  • [SPARK-46696] [SC-153832][CORE] В ResourceProfileManager вызовы функций должны возникать после объявления переменной
  • [SPARK-47214] [SC-157862][Python] Создание API UDTF для метода "анализ" для отличия аргументов константы NULL и других типов аргументов
  • [SPARK-46766] [SC-153909][SQL][AVRO] Поддержка буферного пула ZSTD для источника данных AVRO
  • [SPARK-47192] [SC-157819] Преобразование некоторых ошибок _LEGACY_ERROR_TEMP_0035
  • [SPARK-46928] [SC-157341][SS] Добавьте поддержку ListState в API произвольного состояния версии 2.
  • [SPARK-46881] [SC-154612][CORE] Поддержка spark.deploy.workerSelectionPolicy
  • [SPARK-46800] [SC-154107][CORE] Поддержка spark.deploy.spreadOutDrivers
  • [SPARK-45484] [SC-146014][SQL] Исправлена ошибка, использующая неправильный кодек сжатия parquet lz4raw
  • [SPARK-46791] [SC-154018][SQL] Поддержка набора Java в JavaTypeInference
  • [SPARK-46332] [SC-150224][SQL] Миграция CatalogNotFoundException в класс ошибок CATALOG_NOT_FOUND
  • [SPARK-47164] [SC-157616][SQL] Сделать значение по умолчанию из более широкого типа узкий литерал версии 2 работает так же, как v1
  • [SPARK-46664] [SC-153181][CORE] Улучшение Master для быстрого восстановления в случае нуля рабочих и приложений
  • [SPARK-46759] [SC-153839][SQL][AVRO] Кодек xz и zstandard поддерживают уровень сжатия для avro-файлов

Поддержка драйвера ODBC/JDBC Databricks

Databricks поддерживает драйверы ODBC/JDBC, выпущенные за последние 2 года. Скачайте недавно выпущенные драйверы и обновление (скачайте ODBC, скачайте JDBC).

Системная среда

  • Операционная система: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.11.0
  • R: 4.3.2
  • Delta Lake: 3.2.0

Установленные библиотеки Python

Библиотека Версия Библиотека Версия Библиотека Версия
asttokens 2.0.5 astunparse 1.6.3 azure-core 1.30.1
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 backcall 0.2.0
black 23.3.0 blinker 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
щелчок 8.0.4 cloudpickle 2.2.1 comm 0.1.2
контурная диаграмма 1.0.5 криптография 41.0.3 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbus-python 1.2.18
debugpy 1.6.7 decorator 5.1.1 distlib 0.3.8
entrypoints 0,4 executing 0.8.3 facets-overview 1.1.1
filelock 3.13.1 шрифтовые инструменты 4.25.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.18.0 google-auth 2.29.0
google-cloud-core 2.4.1 google-cloud-storage 2.16.0 google-crc32c 1.5.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3,4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jedi 0.18.1 jeepney 0.7.1
jmespath 0.10.0 joblib 1.2.0 jupyter_client 7.4.9
jupyter_core 5.3.0 нажатие клавиш 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.3
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 во внешнем виде 23,2
pandas 1.5.3 parso 0.8.3 pathspec 0.10.3
patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.4.0 pip 23.2.1 platformdirs 3.10.0
график 5.9.0 prompt-toolkit 3.0.36 proto-plus 1.23.0
protobuf 4.24.1 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 14.0.1
pyasn1 0.4.8 pyasn1-modules 0.2.8 pyccolo 0.0.52
pycparser 2.21 pydantic 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.38
pyparsing 3.0.9 python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1
pytz 2022.7 PyYAML 6,0 pyzmq 23.2.0
requests 2.31.0 rsa 4,9 s3transfer 0.10.1
scikit-learn 1.3.0 scipy 1.11.1 мореборн 0.12.2
SecretStorage 3.3.1 setuptools 68.0.0 six 1.16.0
smmap 5.0.1 sqlparse 0.5.0 ssh-import-id 5,11
stack-data 0.2.0 statsmodels 0.14.0 tenacity 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tornado 6.3.2
traitlets 5.7.1 typing_extensions 4.10.0 tzdata 2022.1
ujson 5.4.0 unattended-upgrades 0,1 urllib3 1.26.16
virtualenv 20.24.2 wadllib 1.3.6 wcwidth 0.2.5
wheel 0.38.4 zipp 3.11.0

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка Posit диспетчер пакетов CRAN.

Библиотека Версия Библиотека Версия Библиотека Версия
Стрелка 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
внутренние порты 1.4.1 base 4.3.2 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-7 большой двоичный объект 1.2.4 загрузка 1.3-28
заваривать 1.0-10 brio 1.1.4 метла 1.0.5
bslib 0.6.1 cachem 1.0.8 вызывающий объект 3.7.3
крышка 6.0-94 cellranger 1.1.0 chron 2.3-61
class 7.3-22 cli 3.6.2 clipr 0.8.0
clock 0.7.0 cluster 2.1.4 codetools 0.2-19
colorspace 2.1-0 commonmark 1.9.1 компилятор 4.3.2
config 0.3.2 Противоречие 1.2.0 cpp11 0.4.7
карандаш 1.5.2 учетные данные 2.0.1 curl 5.2.0
data.table 1.15.0 наборы данных 4.3.2 DBI 1.2.1
dbplyr 2.4.0 desc 1.4.3 средства разработки 2.4.5
Схема 1.6.5 diffobj 0.3.5 digest 0.6.34
downlit 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 многоточие 0.3.2 evaluate 0,23
вентиляторы 1.0.6 Farver 2.1.1 fastmap 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
иностранный 0.8-85 forge 0.2.0 fs 1.6.3
будущее 1.33.1 future.apply 1.11.1 gargle 1.5.2
Универсальные шаблоны 0.1.3 gert 2.0.1 ggplot2 3.4.4
gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.2 клей 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 Говер 1.0.1
графика 4.3.2 grDevices 4.3.2 grid 4.3.2
gridExtra 2.3 gsubfn 0,7 gt 0.10.1
gtable 0.3.4 hardhat 1.3.1 haven 2.5.4
высокий 0.10 hms 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 ids 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 Итераторы 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-21 трикотажный 1,45 маркирование 0.4.3
later 1.3.2 решётка 0.21-8 Lava 1.7.3
жизненный цикл 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 Markdown 1.12 МАССАЧУСЕТС 7.3-60
«Матрица» 1.5-4.1 memoise 2.0.1 оплаты 4.3.2
mgcv 1.8-42 мим 0,12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 parallel 4.3.2
parallelly 1.36.0 столб 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 хвалить 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 Ход выполнения 1.2.3
progressr 0.14.0 promises 1.2.1 proto 1.0.0
proxy 0.4-27 ps 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 reactable 0.4.4
ReactR 0.5.0 readr 2.1.5 readxl 1.4.3
Рецепты 1.0.9 реванш 2.0.0 rematch2 2.1.2
remotes 2.4.2.1 reprex 2.1.0 reshape2 1.4.4
rlang 1.1.3 rmarkdown 2,25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 sass 0.4.8
весы 1.3.0 селектор 0.4-2 sessioninfo 1.2.2
форма 1.4.6 блестящий 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 пространственный 7.3-15 Сплайны 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.3.2
статистика4 4.3.2 stringi 1.8.3 stringr 1.5.1
выживание 3.5-5 swagger 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
textshaping 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 timechange 0.3.0
TimeDate 4032.109 tinytex 0,49 средства 4.3.2
tzdb 0.4.0 urlchecker 1.0.1 usethis 2.2.2
utf8 1.2.4 служебные программы 4.3.2 uuid 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 waldo 0.5.2 усы 0.4.1
withr 3.0.0 xfun 0,41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 zip 2.3.1

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)

ИД группы Идентификатор артефакта Версия
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.610
com.amazonaws aws-java-sdk-cloudformation 1.12.610
com.amazonaws aws-java-sdk-cloudfront 1.12.610
com.amazonaws aws-java-sdk-cloudhsm 1.12.610
com.amazonaws aws-java-sdk-cloudsearch 1.12.610
com.amazonaws aws-java-sdk-cloudtrail 1.12.610
com.amazonaws aws-java-sdk-cloudwatch 1.12.610
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.610
com.amazonaws aws-java-sdk-codedeploy 1.12.610
com.amazonaws aws-java-sdk-cognitoidentity 1.12.610
com.amazonaws aws-java-sdk-cognitosync 1.12.610
com.amazonaws aws-java-sdk-config 1.12.610
com.amazonaws aws-java-sdk-core 1.12.610
com.amazonaws aws-java-sdk-datapipeline 1.12.610
com.amazonaws aws-java-sdk-directconnect 1.12.610
com.amazonaws aws-java-sdk-directory 1.12.610
com.amazonaws aws-java-sdk-dynamodb 1.12.610
com.amazonaws aws-java-sdk-ec2 1.12.610
com.amazonaws aws-java-sdk-ecs 1.12.610
com.amazonaws aws-java-sdk-efs 1.12.610
com.amazonaws aws-java-sdk-elasticache 1.12.610
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.610
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.610
com.amazonaws aws-java-sdk-elastictranscoder 1.12.610
com.amazonaws aws-java-sdk-emr 1.12.610
com.amazonaws aws-java-sdk-glacier 1.12.610
com.amazonaws aws-java-sdk-glue 1.12.610
com.amazonaws aws-java-sdk-iam 1.12.610
com.amazonaws aws-java-sdk-importexport 1.12.610
com.amazonaws aws-java-sdk-kinesis 1.12.610
com.amazonaws aws-java-sdk-kms 1.12.610
com.amazonaws aws-java-sdk-lambda 1.12.610
com.amazonaws aws-java-sdk-logs 1.12.610
com.amazonaws aws-java-sdk-machinelearning 1.12.610
com.amazonaws aws-java-sdk-opsworks 1.12.610
com.amazonaws aws-java-sdk-rds 1.12.610
com.amazonaws aws-java-sdk-redshift 1.12.610
com.amazonaws aws-java-sdk-route53 1.12.610
com.amazonaws aws-java-sdk-s3 1.12.610
com.amazonaws aws-java-sdk-ses 1.12.610
com.amazonaws aws-java-sdk-simpledb 1.12.610
com.amazonaws aws-java-sdk-simpleworkflow 1.12.610
com.amazonaws aws-java-sdk-sns 1.12.610
com.amazonaws aws-java-sdk-sqs 1.12.610
com.amazonaws aws-java-sdk-ssm 1.12.610
com.amazonaws aws-java-sdk-storagegateway 1.12.610
com.amazonaws aws-java-sdk-sts 1.12.610
com.amazonaws aws-java-sdk-support 1.12.610
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.610
com.amazonaws jmespath-java 1.12.610
com.clearspring.analytics потоковая передача 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1–0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat джексон-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1,1
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guava 15,0
com.google.protobuf protobuf-java 2.6.1
com.helger профилировщик 1.1.1
com.ibm.icu icu4j 72.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.25
io.delta delta-sharing-client_2.12 1.0.5
io.dropwizard.metrics метрики-заметки 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx коллектор 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1,3
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow arrow-format 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow arrow-vector 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4.
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-шейд-protobuf
org.apache.orc orc-mapreduce 1.9.2-шейд-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4,23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections Eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap shims 0.9.45-databricks
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest Scalatest-compatible 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1