Databricks Runtime 15.3

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 15.3, на базе Apache Spark 3.5.0.

Databricks выпустила эти изображения в июне 2024 года.

Новые функции и внесенные улучшения

PySpark DataSources теперь поддерживает потоковую чтение и запись

PySpark DataSources, который позволяет читать из пользовательских источников данных и записывать их в пользовательские приемники данных, теперь поддерживает потоковую чтение и запись. См . настраиваемые источники данных PySpark.

Отключение сопоставления столбцов с функцией удаления

Теперь можно отключить DROP FEATURE сопоставление столбцов в таблицах Delta и изменить протокол таблицы. См. раздел "Отключить сопоставление столбцов".

Синтаксис типа variant и функции в общедоступной предварительной версии

Встроенная поддержка Apache Spark для работы с полуструктурированных данных как VARIANT типа теперь доступна в Spark DataFrames и SQL. См . сведения о варианте запроса.

Поддержка типа variant для Delta Lake в общедоступной предварительной версии

Теперь можно использовать VARIANT для хранения полуструктурированных данных в таблицах, поддерживаемых Delta Lake. См . раздел "Поддержка variant" в Delta Lake.

Поддержка различных режимов эволюции схемы в представлениях

CREATE VIEW и ALTER VIEW теперь позволяют задать режим привязки схемы, повышая способ обработки изменений схемы в базовых объектах. Эта функция позволяет представлениям терпеть или адаптироваться к изменениям схемы в базовых объектах. Он устраняет изменения в схеме запроса, вызванные изменениями определений объектов.

observe() Поддержка методов, добавленных в клиент Spark Connect Scala

Клиент Spark Connect Scala теперь поддерживает Dataset.observe() методы. Поддержка этих методов позволяет определить метрики для наблюдения за Dataset объектом с помощью ds.observe("name", metrics...) методов или ds.observe(observationObject, metrics...) методов.

Улучшена задержка перезапуска потока для автозагрузчика

Этот выпуск включает изменение, которое улучшает задержку перезапуска потока для автозагрузчика. Это улучшение реализуется путем загрузки состояния в хранилище состояний RocksDB асинхронно. При этом изменении вы увидите улучшение времени начала потоков с большими состояниями, например потоки с большим количеством уже полученных файлов.

Возврат кадра данных в виде pyarrow.Table

Для поддержки записи кадра данных непосредственно в объект Apache Arrow pyarrow.Table этот выпуск включает функцию DataFrame.toArrow() . Дополнительные сведения об использовании стрелки в PySpark см. в разделе Apache Arrow в PySpark.

Улучшение производительности некоторых функций окна

Этот выпуск включает изменение, которое повышает производительность некоторых функций окна Spark, в частности функции, которые не включают ORDER BY предложение или window_frame параметр. В таких случаях система может перезаписать запрос, чтобы запустить его с помощью агрегатной функции. Это изменение позволяет запросу выполняться быстрее с помощью частичной агрегирования и предотвращения затрат на выполнение функций окна. Параметр spark.databricks.optimizer.replaceWindowsWithAggregates.enabled конфигурации Spark управляет этой оптимизацией и имеет значение true по умолчанию. Чтобы отключить эту оптимизацию, установите значение spark.databricks.optimizer.replaceWindowsWithAggregates.enabled false.

Поддержка необязательного параметра области в list_secrets()

Этот выпуск позволяет ограничить результаты функции таблицы list_secrets() определенной областью.

Исправления ошибок

WriteIntoDeltaCommand Метрики в пользовательском интерфейсе Spark теперь отображаются правильно

Этот выпуск включает исправление метрик, отображаемых на вкладке SQL пользовательского интерфейса Spark для Execute WriteIntoDeltaCommand узла. Ранее метрики, отображаемые для этого узла, были нулевыми.

Функция groupby() в API Pandas игнорирует as_index=False аргумент

Этот выпуск включает исправление проблемы с groupby() функцией в API Pandas в Spark. Перед этим исправлением groupby() в результирующем кадре данных не включался ключи группы с изменением метки агрегированных столбцов и as_index=False аргументом.

Ошибка синтаксического анализа с несколькими функциями окна, ссылающимися на выходные данные других функций

Этот выпуск устраняет проблему, которая может возникать, когда запрос Spark имеет несколько последовательных функций окна, где ссылки на выходные данные функций окна из других функций окна. В редких случаях система может удалить одну из ссылок, что приводит к ошибкам при оценке запроса. Это исправляет проекты этих ссылок, чтобы обеспечить оценку запросов. Это изменение управляется параметром spark.databricks.optimizer.collapseWindows.projectReferencesконфигурации Spark, который устанавливается true по умолчанию. Чтобы отключить это изменение, установите значение spark.databricks.optimizer.collapseWindows.projectReferences false.

Обновления библиотек

• Обновленные библиотеки Python:
  • блокировка файлов с 3.13.1 до 3.13.4
• Обновленные библиотеки R:
• Обновленные библиотеки Java:
  • org.rocksdb.rocksdbjni с 8.3.2 до 8.11.4

Apache Spark

Databricks Runtime 15.3 включает Apache Spark 3.5.0. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 15.2, а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

• [SPARK-48288] [SC-166141] Добавление типа исходных данных для выражения приведения соединителя
• [SPARK-48175] [SC-166341] [SQL] [PYTHON] Хранение сведений о сортировке в метаданных, а не в типе SER/DE
• [SPARK-48172] [SC-166078] [SQL] Устранение проблем с устранением неполадок в JDBCDialects
• [SPARK-48186] [SC-165544] [SQL] Добавление поддержки AbstractMapType
• [SPARK-48031] [SC-166523] Дед устаревших представлений в SCHEMA BINDING
• [SPARK-48369] [SC-166566] [SQL] [PYTHON] [CONNECT] Добавление функции timestamp_add
• [SPARK-48330] [SC-166458] [SS] [PYTHON] Исправлена проблема времени ожидания источника данных потоковой передачи Python для большого интервала триггера
• [SPARK-48369] Возврат "[SC-166494][SQL][PYTHON][CONNECT] Добавить функцию timestamp_add"
• [SPARK-48336] [SC-166495] [PS] [CONNECT] Реализация ps.sql в Spark Connect
• [SPARK-48369] [SC-166494] [SQL] [PYTHON] [CONNECT] Добавление функции timestamp_add
• [SPARK-47354] [SC-165546] [SQL] Добавление поддержки сортировки для выражений вариантов
• [SPARK-48161] [SC-165325] [SQL] Исправлено исправление обратного pr- добавление поддержки сортировки для выражений JSON
• [SPARK-48031] [SC-166391] Decompose viewSchemaMode config, add SHOW CREATE TABLE support
• [SPARK-48268] [SC-166217] [CORE] Добавление конфигурации для SparkContext.setCheckpointDir
• [SPARK-48312] [ES-1076198] [SQL] Улучшение производительности Alias.removeNonInheritableMetadata
• [SPARK-48294] [SC-166205] [SQL] Обработка нижнего регистра в вложенныхTypeMissingElementTypeError
• [SPARK-47254] [SC-158847] [SQL] Назначение имен классам ошибок _LEGACY_ERROR_TEMP_325[1-9]
• [SPARK-47255] [SC-158749] [SQL] Назначение имен классам ошибок _LEGACY_ERROR_TEMP_323[6-7] и _LEGACY_ERROR_TEMP_324[7-9]
• [SPARK-48310] [SC-166239] [PYTHON] [CONNECT] Кэшированные свойства должны возвращать копии
• [SPARK-48308] [SC-166152] [Ядро] Объединение схемы получения данных без столбцов секционирования в FileSourceStrategy
• [SPARK-48301] [SC-166143] [SQL] Переименование CREATE_FUNC_WITH_IF_NOT_EXISTS_AND_REPLACE в CREATE_ROUTINE_WITH_IF_NOT_EXISTS_AND_REPLACE
• [SPARK-48287] [SC-166139] [PS] [CONNECT] Применение встроенного timestamp_diff метода
• [SPARK-47607] [SC-166129] Добавление документации для структурированной платформы ведения журнала
• [SPARK-48297] [SC-166136] [SQL] Исправление предложения TRANSFORM регрессии с помощью char/varchar
• [SPARK-47045] [SC-156808] [SQL] Замена IllegalArgumentException на SparkIllegalArgumentExceptionsql/api
• [SPARK-46991] [SC-156399] [SQL] Замена IllegalArgumentException на SparkIllegalArgumentExceptioncatalyst
• [SPARK-48031] [SC-165805] [SQL] Поддержка эволюции схемы представления
• [SPARK-48276] [SC-166116] [PYTHON] [CONNECT] Добавление отсутствующих __repr__ методов для SQLExpression
• [SPARK-48278] [SC-166071] [PYTHON] [CONNECT] Уточнение строкового представления Cast
• [SPARK-48272] [SC-166069] [SQL] [PYTHON] [CONNECT] Добавление функции timestamp_diff
• [SPARK-47798] [SC-162492] [SQL] Обогащение сообщения об ошибке для сбоев чтения десятичных значений
• [SPARK-47158] [SC-158078] [SQL] Назначьте правильное имя и sqlState_LEGACY_ERROR_TEMP_(2134|2231)
• [SPARK-48218] [SC-166082] [CORE] TransportClientFactory.createClient может вызвать FetchFailedException
• [SPARK-48277] [SC-166066] Улучшение сообщения об ошибке для ErrorClassesJsonReader.getErrorMessage
• [SPARK-47545] [SC-165444] [CONNECT] Поддержка набора observe данных для клиента Scala
• [SPARK-43258] [SC-158151] [SQL] Назначение имен ошибкам _LEGACY_ERROR_TEMP_202[3,5]
• [SPARK-48267] [SC-165903] [SS] Регрессионный тест e2e с SPARK-47305
• [SPARK-48263] [SC-165925] Поддержка функции сортировки для строк, отличных от UTF8_BINARY
• [SPARK-48260] [SC-165883] [SQL] Отключение координации фиксации выходных данных в одном тесте ParquetIOSuite
• [SPARK-47834] [SC-165645] [SQL] [CONNECT] Пометка устаревших функций с помощью @deprecated in SQLImplicits
• [SPARK-48011] [SC-164061] [Ядро] Сохранить имя LogKey в качестве значения, чтобы избежать создания новых экземпляров строк
• [SPARK-48074] [SC-164647] [Ядро] Повышение удобочитаемости журналов JSON
• [SPARK-44953] [SC-165866] [CORE] Журнал предупреждения при включении отслеживания перетасовки рядом с другим поддерживаемым механизмом DA
• [SPARK-48266] [SC-165897] [CONNECT] Перемещение объекта org.apache.spark.sql.connect.dsl пакета в тестовый каталог
• [SPARK-47847] [SC-165651] [CORE] Возражать spark.network.remoteReadNioBufferConversion
• [SPARK-48171] [SC-165178] [CORE] Очистка использования устаревших конструкторов o.rocksdb.Logger
• [SPARK-48235] [SC-165669] [SQL] Непосредственно передайте соединение вместо всех аргументов, чтобы получитьBroadcastBuildSide и getShuffleHashJoinBuildSide
• [SPARK-48224] [SC-165648] [SQL] Запретить использование ключей карты от типа variant
• [SPARK-48248] [SC-165791] [PYTHON] Исправление вложенного массива для уважения устаревшего conf объекта inferArrayTypeFromFirstElement
• [SPARK-47409] [SC-165568] [SQL] Добавление поддержки сортировки для типа StringTrim функций и выражений (для UTF8_BINARY и LCASE)
• [SPARK-48143] [ES-1095638] [SQL] Использование упрощенных исключений для потока управления между UnivocityParser и FailureSafeParser
• [SPARK-48146] [SC-165668] [SQL] Исправлена агрегатная функция в дочернем утверждении выражения
• [SPARK-48161] Возврат "[SC-165325][SQL] Добавление поддержки сортировки для выражений JSON"
• [SPARK-47963] [CORE] Создание внешней экосистемы Spark может использовать структурированные механизмы ведения журнала
• [SPARK-48180] [SC-165632] [SQL] Улучшение ошибки при вызове UDTF с помощью arg TABLE забывает круглые скобки вокруг нескольких exprs PARTITION/ORDER BY
• [SPARK-48002] [SC-164132] [PYTHON] [SS] Добавление теста для наблюдаемых метрик в PySpark StreamingQueryListener
• [SPARK-47421] [SC-165548] [SQL] Добавление поддержки сортировки для выражений URL-адресов
• [SPARK-48161] [SC-165325] [SQL] Добавление поддержки сортировки для выражений JSON
• [SPARK-47359] [SC-164328] [SQL] Поддержка функции TRANSLATE для работы с сортировкой строк
• [SPARK-47365] [SC-165643] [PYTHON] Добавление метода dataFrame в PySpark в метод DataFrame () to PySpark
• [SPARK-48228] [SC-165649] [PYTHON] [CONNECT] Реализация проверки отсутствующих функций в ApplyInXXXX
• [SPARK-47986] [SC-165549] [CONNECT] [PYTHON] Не удается создать новый сеанс при закрытии сеанса по умолчанию сервером
• [SPARK-47963] Возврат "[CORE] Сделать внешнюю экосистему Spark может использовать структурированные механизмы ведения журнала "
• [SPARK-47963] [CORE] Создание внешней экосистемы Spark может использовать структурированные механизмы ведения журнала
• [SPARK-48208] [SC-165547] [SS] Пропустить предоставление метрик использования памяти из RocksDB, если включена ограниченная загрузка памяти
• [SPARK-47566] [SC-164314] [SQL] Поддержка функции SubstringIndex для работы с сортировкой строк
• [SPARK-47589] [SC-162127] [SQL] Hive-Thriftserver: миграция logError с переменными в структурированную платформу ведения журнала
• [SPARK-48205] [SC-165501] [PYTHON] Удаление модификатора private[sql] для источников данных Python
• [SPARK-48173] [SC-165181] [SQL] CheckAnalysis должен видеть весь план запроса
• [SPARK-48197] [SC-165520] [SQL] Избегайте ошибки утверждения для недопустимой лямбда-функции
• [SPARK-47318] [SC-162573] [CORE] Добавляет раунд HKDF в производное ключ AuthEngine для выполнения стандартных методик KEX
• [SPARK-48184] [SC-165335] [PYTHON] [CONNECT] Всегда задавать начальное значение Dataframe.sample на стороне клиента
• [SPARK-48128] [SC-165004] [SQL] Для выражения BitwiseCount / bit_count исправлена ошибка синтаксиса кодегена для входных данных логического типа
• [SPARK-48147] [SC-165144] [SS] [CONNECT] Удаление прослушивателей на стороне клиента при удалении локального сеанса Spark
• [SPARK-48045] [SC-165299] [PYTHON] Api Pandas groupby с несколькими agg-relabel игнорирует as_index=False
• [SPARK-48191] [SC-165323] [SQL] Поддержка кодировки и декодирования строк UTF-32
• [SPARK-45352] [SC-137627] [SQL] Устранение свертываемых секций окна
• [SPARK-47297] [SC-165179] [SQL] Добавление поддержки сортировки для выражений форматирования
• [SPARK-47267] [SC-165170] [SQL] Добавление поддержки сортировки для хэш-выражений
• [SPARK-47965] [SC-163822] [CORE] Избегайте orNull в TypedConfigBuilder и OptionalConfigEntry
• [SPARK-48166] [SQL] Избегайте использования BadRecordException в качестве ошибки с пользователем в VariantExpressionEvalUtils
• [SPARK-48105] [SC-165132] [SS] Исправление состояния гонки между выгрузками и моментальными снимками хранилища состояний
• [SPARK-47922] [SC-163997] [SQL] Реализация выражения try_parse_json
• [SPARK-47719] [SC-161909] [SQL] Изменение spark.sql.legacy.timeParse...
• [SPARK-48035] [SC-165136] [SQL] Исправление try_add/try_multiply семантики для добавления и умножения
• [SPARK-48107] [SC-164878] [PYTHON] Исключение тестов из дистрибутива Python
• [SPARK-46894] [SC-164447] [PYTHON] Перемещение условий ошибок PySpark в автономный JSON-файл
• [SPARK-47583] [SC-163825] [CORE] SQL Core: перенос logError с переменными в структурированную платформу ведения журнала
• [SPARK-48064] Возврат "[SC-164697][SQL] Обновление сообщений об ошибках для стандартных связанных классов ошибок"
• [SPARK-48048] [SC-164846] [CONNECT] [SS] Добавлена поддержка прослушивателя на стороне клиента для Scala
• [SPARK-48064] [SC-164697] [SQL] Обновление сообщений об ошибках для стандартных связанных классов ошибок
• [SPARK-48056] [SC-164715] [CONNECT] [PYTHON] Повторный запуск плана, если возникает ошибка SESSION_NOT_FOUND, и не было получено частичного ответа
• [SPARK-48124] [SC-165009] [CORE] Отключение структурированного ведения журнала для Connect-Repl по умолчанию
• [SPARK-47922] Возврат "[SC-163997][SQL] Реализация выражения try_parse_json"
• [SPARK-48065] [SC-164817] [SQL] SPJ: allowJoinKeysSubsetOfPartitionKeys является слишком строгим
• [SPARK-48114] [SC-164956] [CORE] Повторная компиляция шаблона, чтобы избежать ненужных работ
• [SPARK-48067] [SC-164773] [SQL] Исправление столбцов по умолчанию по умолчанию
• [SPARK-47922] [SC-163997] [SQL] Реализация выражения try_parse_json
• [SPARK-48075] [SC-164709] [SS] Добавление проверки типов для функций PySpark avro
• [SPARK-47793] [SC-164324] [SS] [PYTHON] Реализация SimpleDataSourceStreamReader для источника данных потоковой передачи Python
• [SPARK-48081] [SC-164719] Исправление ClassCastException в NTile.checkInputDataTypes(), если аргумент не является свертываемым или неправильным типом
• [SPARK-48102] [SC-164853] [SS] Отслеживание длительности получения метрик источника и приемника при выполнении потокового запроса
• [SPARK-47671] [SC-164854] [Ядро] Включение структурированного ведения журнала в log4j2.properties.template и документация по обновлению
• [SPARK-47904] [SC-163409] [SQL] Сохранение регистра в схеме Avro при использовании enableStableIdentifiersForUnionType
• [SPARK-48058] [SC-164695] [SPARK-43727] [PYTHON] [CONNECT] UserDefinedFunction.returnType анализ строки DDL
• [SPARK-46922] [SC-156102] [CORE] [SQL] Не упаковывать ошибки среды выполнения, связанные с пользователем
• [SPARK-48047] [SC-164576] [SQL] Уменьшение нагрузки на память пустых тегов TreeNode
• [SPARK-47934] [SC-164648] [CORE] Убедитесь, что конечные косые черты в HistoryServer перенаправлениях URL-адресов
• [SPARK-47921] [SC-163826] [CONNECT] Исправление создания ExecuteJobTag в ExecuteHolder
• [SPARK-48014] [SC-164150] [SQL] Измените ошибку makeFromJava в EvaluatePython на ошибку с пользователем
• [SPARK-47903] [SC-163424] [PYTHON] Добавление поддержки оставшихся скалярных типов в библиотеке Variant PySpark
• [SPARK-48068] [SC-164579] [PYTHON] mypy должен иметь --python-executable параметр
• [SPARK-47846] [SC-163074] [SQL] Добавление поддержки типа Variant в выражении from_json
• [SPARK-48050] [SC-164322] [SS] Логический план журнала при запуске запроса
• [SPARK-47810] [SC-163076] [SQL] Заменить эквивалентное выражение <=> в условии соединения
• [SPARK-47741] [SC-164290] Добавлена обработка переполнения стека в средстве синтаксического анализа
• [SPARK-48053] [SC-164309] [PYTHON] [CONNECT] SparkSession.createDataFrame должен предупреждать о неподдерживаемых параметрах
• [SPARK-47939] [SC-164171] [SQL] Реализация нового правила анализатора для перемещения ParameterizedQuery в ExplainCommand и DescribeQueryCommand
• [SPARK-48063] [SC-164432] [CORE] Включить spark.stage.ignoreDecommissionFetchFailure по умолчанию
• [SPARK-48016] [SC-164280] [SQL] Исправлена ошибка в функции try_divide при использовании десятичных разрядов
• [SPARK-48033] [SC-164291] [SQL] Исправление RuntimeReplaceable выражений, используемых в столбцах по умолчанию
• [SPARK-48010] [SC-164051] [SQL] [ES-1109148] Избегайте повторных вызовов conf.resolver в resolveExpression
• [SPARK-48003] [SC-164323] [SQL] Добавление поддержки сортировки для статистической обработки эскизов hll
• [SPARK-47994] [SC-164175] [SQL] Исправлена ошибка с помощью фильтра столбцов CASE WHEN в SQLServer
• [SPARK-47984] [SC-163837] [ML] [SQL] Изменение MetricsAggregate/V2Aggregator#serialize/deserialize вызова SparkSerDeUtils#serialize/deserialize
• [SPARK-48042] [SC-164202] [SQL] Используйте форматировщик меток времени с часовыми поясами на уровне класса вместо копирования на уровне метода
• [SPARK-47596] [SPARK-47600] [SPARK-47604] [SPARK-47804] Миграции структурированных журналов
• [SPARK-47594] [SPARK-47590] [SPARK-47588] [SPARK-47584] Миграции структурированных журналов
• [SPARK-47567] [SC-164172] [SQL] Поддержка функции LOCATE для работы с сортировкой строк
• [SPARK-47764] [SC-163820] [CORE] [SQL] Очистка зависимостей перетасовки на основе ShuffleCleanupMode
• [SPARK-48039] [SC-164174] [PYTHON] [CONNECT] Обновление класса ошибок для group.apply
• [SPARK-47414] [SC-163831] [SQL] Поддержка сортировки строчных регистров для выражений regexp
• [SPARK-47418] [SC-163818] [SQL] Добавление рукописных реализаций для содержащихся в нижнем регистре юникодов, запусков и окончанийWith и оптимизации UTF8_BINARY_LCASE
• [SPARK-47580] [SC-163834] [SQL] Катализатор SQL: устранение неименованных переменных в журналах ошибок
• [SPARK-47351] [SC-164008] [SQL] Добавление поддержки сортировки для строковых выражений StringToMap и Маски
• [SPARK-47292] [SC-164151] [SS] safeMapToJValue должен учитывать значения типа NULL
• [SPARK-47476] [SC-164014] [SQL] Поддержка функции REPLACE для работы с сортировкой строк
• [SPARK-47408] [SC-164104] [SQL] Исправление математических выражений, использующих StringType
• [SPARK-47350] [SC-164006] [SQL] Добавление поддержки сортировки для выражения строки SplitPart
• [SPARK-47692] [SC-163819] [SQL] Исправление значения StringType по умолчанию при неявном приведение
• [SPARK-47094] [SC-161957] [SQL] SPJ: динамическое перебалансирование количества контейнеров, если они не равны
• [SPARK-48001] [SC-164000] [CORE] Удаление неиспользуемого private implicit def arrayToArrayWritable из SparkContext
• [SPARK-47986] [SC-163999] [CONNECT] [PYTHON] Не удается создать новый сеанс при закрытии сеанса по умолчанию сервером
• [SPARK-48019] [SC-164121] Исправлено неправильное поведение в ColumnVector/ColumnarArray с помощью словаря и null
• [SPARK-47743] [SPARK-47592] [SPARK-47589] [SPARK-47581] [SPARK-47586] [SPARK-47593] [SPARK-47595] [SPARK-47587] [SPARK-47603] Миграции структурированных журналов
• [SPARK-47999] [SC-163998] [SS] Улучшение ведения журнала вокруг создания моментального снимка и добавления и удаления записей из карты кэша состояний в HDFS в поставщике хранилища состояний в HDFS
• [SPARK-47417] [SC-162872] [SQL] Поддержка сортировки: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Предложения
• [SPARK-47712] [SC-161871] [CONNECT] Разрешить подключать подключаемые модули для создания и обработки наборов данных
• [SPARK-47411] [SC-163351] [SQL] Поддержка функций StringInstr и FindInSet для работы с сортировкой строк
• [SPARK-47360] [SC-163014] [SQL] Поддержка сортировки: Overlay, FormatString, Length, BitLength, OctetLength, SoundEx, Luhncheck
• [SPARK-47413] [SC-163323] [SQL] — добавление поддержки в подстроку/слева/вправо для параметров сортировки
• [SPARK-47983] [SC-163835] [SQL] Demote spark.sql.pyspark.legacy.inferArrayTypeFromFirstElement.enabled to internal
• [SPARK-47964] [SC-163816] [PYTHON] [CONNECT] Скрытие SQLContext и HiveContext в pyspark-connect
• [SPARK-47985] [SC-163841] [PYTHON] Упрощение функций с помощью lit
• [SPARK-47633] [SC-163453] [SQL] Включение выходных данных плана правой стороны для LateralJoin#allAttributes более согласованной канонизации
• [SPARK-47909] Возврат "[PYTHON][CONNECT] Родительский класс DataFrame f...
• [SPARK-47767] [SC-163096] [SQL] Отображение значения смещения в TakeOrderedAndProjectExec
• [SPARK-47822] [SC-162968] [SQL] Запрет хэш-выражений хэширования типа данных Variant
• [SPARK-47490] [SC-160494] [SS] Исправление конструктора ведения журнала RocksDB, чтобы избежать предупреждения об отказе
• [SPARK-47417] Вернуть значение "[SC-162872][SQL] Поддержка сортировки: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Sentences"
• [SPARK-47352] [SC-163460] [SQL] Исправление параметров верхнего, нижнего, параметров сортировки InitCap
• [SPARK-47909] [PYTHON] [CONNECT] Родительский класс DataFrame для Spark Connect и Классической модели Spark
• [SPARK-47417] [SC-162872] [SQL] Поддержка сортировки: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Предложения

Поддержка драйвера ODBC/JDBC Databricks

Databricks поддерживает драйверы ODBC/JDBC, выпущенные за последние 2 года. Скачайте недавно выпущенные драйверы и обновление (скачайте ODBC, скачайте JDBC).

Системная среда

• Операционная система: Ubuntu 22.04.4 LTS
• Java: Zulu 8.78.0.19-CA-linux64
• Scala: 2.12.18
• Python: 3.11.0
• R: 4.3.2
• Delta Lake: 3.2.0

Установленные библиотеки Python

Библиотека	Версия	Библиотека	Версия	Библиотека	Версия
asttokens	2.0.5	astunparse	1.6.3	azure-core	1.30.1
azure-storage-blob	12.19.1	azure-storage-file-datalake	12.14.0	backcall	0.2.0
black	23.3.0	blinker	1.4	boto3	1.34.39
botocore	1.34.39	cachetools	5.3.3	certifi	2023.7.22
cffi	1.15.1	chardet	4.0.0	charset-normalizer	2.0.4
щелчок	8.0.4	cloudpickle	2.2.1	comm	0.1.2
контурная диаграмма	1.0.5	криптография	41.0.3	cycler	0.11.0
Cython	0.29.32	databricks-sdk	0.20.0	dbus-python	1.2.18
debugpy	1.6.7	decorator	5.1.1	distlib	0.3.8
entrypoints	0,4	executing	0.8.3	facets-overview	1.1.1
filelock	3.13.4	шрифтовые инструменты	4.25.0	gitdb	4.0.11
GitPython	3.1.43	google-api-core	2.18.0	google-auth	2.29.0
google-cloud-core	2.4.1	google-cloud-storage	2.16.0	google-crc32c	1.5.0
google-resumable-media	2.7.0	googleapis-common-protos	1.63.0	grpcio	1.60.0
grpcio-status	1.60.0	httplib2	0.20.2	idna	3,4
importlib-metadata	6.0.0	ipyflow-core	0.0.198	ipykernel	6.25.1
ipython	8.15.0	ipython-genutils	0.2.0	ipywidgets	7.7.2
isodate	0.6.1	jedi	0.18.1	jeepney	0.7.1
jmespath	0.10.0	joblib	1.2.0	jupyter_client	7.4.9
jupyter_core	5.3.0	нажатие клавиш	23.5.0	kiwisolver	1.4.4
launchpadlib	1.10.16	lazr.restfulclient	0.14.4	lazr.uri	1.0.6
matplotlib	3.7.2	matplotlib-inline	0.1.6	mlflow-skinny	2.11.3
more-itertools	8.10.0	mypy-extensions	0.4.3	nest-asyncio	1.5.6
numpy	1.23.5	oauthlib	3.2.0	во внешнем виде	23,2
pandas	1.5.3	parso	0.8.3	pathspec	0.10.3
patsy	0.5.3	pexpect	4.8.0	pickleshare	0.7.5
Pillow	9.4.0	pip	23.2.1	platformdirs	3.10.0
график	5.9.0	prompt-toolkit	3.0.36	proto-plus	1.23.0
protobuf	4.24.1	psutil	5.9.0	psycopg2	2.9.3
ptyprocess	0.7.0	pure-eval	0.2.2	pyarrow	14.0.1
pyasn1	0.4.8	pyasn1-modules	0.2.8	pyccolo	0.0.52
pycparser	2.21	pydantic	1.10.6	Pygments	2.15.1
PyGObject	3.42.1	PyJWT	2.3.0	pyodbc	4.0.38
pyparsing	3.0.9	python-dateutil	2.8.2	python-lsp-jsonrpc	1.1.1
pytz	2022.7	PyYAML	6,0	pyzmq	23.2.0
requests	2.31.0	rsa	4,9	s3transfer	0.10.1
scikit-learn	1.3.0	scipy	1.11.1	мореборн	0.12.2
SecretStorage	3.3.1	setuptools	68.0.0	six	1.16.0
smmap	5.0.1	sqlparse	0.5.0	ssh-import-id	5,11
stack-data	0.2.0	statsmodels	0.14.0	tenacity	8.2.2
threadpoolctl	2.2.0	tokenize-rt	4.2.1	tornado	6.3.2
traitlets	5.7.1	typing_extensions	4.10.0	tzdata	2022.1
ujson	5.4.0	unattended-upgrades	0,1	urllib3	1.26.16
virtualenv	20.24.2	wadllib	1.3.6	wcwidth	0.2.5
wheel	0.38.4	zipp	3.11.0

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка Posit диспетчер пакетов CRAN.

Библиотека	Версия	Библиотека	Версия	Библиотека	Версия
Стрелка	14.0.0.2	askpass	1.2.0	assertthat	0.2.1
внутренние порты	1.4.1	base	4.3.2	base64enc	0.1-3
bigD	0.2.0	bit	4.0.5	bit64	4.0.5
bitops	1.0-7	большой двоичный объект	1.2.4	загрузка	1.3-28
заваривать	1.0-10	brio	1.1.4	метла	1.0.5
bslib	0.6.1	cachem	1.0.8	вызывающий объект	3.7.3
крышка	6.0-94	cellranger	1.1.0	chron	2.3-61
class	7.3-22	cli	3.6.2	clipr	0.8.0
clock	0.7.0	cluster	2.1.4	codetools	0.2-19
colorspace	2.1-0	commonmark	1.9.1	компилятор	4.3.2
config	0.3.2	Противоречие	1.2.0	cpp11	0.4.7
карандаш	1.5.2	учетные данные	2.0.1	curl	5.2.0
data.table	1.15.0	наборы данных	4.3.2	DBI	1.2.1
dbplyr	2.4.0	desc	1.4.3	средства разработки	2.4.5
Схема	1.6.5	diffobj	0.3.5	digest	0.6.34
downlit	0.4.3	dplyr	1.1.4	dtplyr	1.3.1
e1071	1.7-14	многоточие	0.3.2	evaluate	0,23
вентиляторы	1.0.6	Farver	2.1.1	fastmap	1.1.1
fontawesome	0.5.2	forcats	1.0.0	foreach	1.5.2
иностранный	0.8-85	forge	0.2.0	fs	1.6.3
будущее	1.33.1	future.apply	1.11.1	gargle	1.5.2
Универсальные шаблоны	0.1.3	gert	2.0.1	ggplot2	3.4.4
gh	1.4.0	git2r	0.33.0	gitcreds	0.1.2
glmnet	4.1-8	globals	0.16.2	клей	1.7.0
googledrive	2.1.1	googlesheets4	1.1.1	Говер	1.0.1
графика	4.3.2	grDevices	4.3.2	grid	4.3.2
gridExtra	2.3	gsubfn	0,7	gt	0.10.1
gtable	0.3.4	hardhat	1.3.1	haven	2.5.4
высокий	0.10	hms	1.1.3	htmltools	0.5.7
htmlwidgets	1.6.4	httpuv	1.6.14	httr	1.4.7
httr2	1.0.0	ids	1.0.1	ini	0.3.1
ipred	0.9-14	isoband	0.2.7	Итераторы	1.0.14
jquerylib	0.1.4	jsonlite	1.8.8	juicyjuice	0.1.0
KernSmooth	2.23-21	трикотажный	1,45	маркирование	0.4.3
later	1.3.2	решётка	0.21-8	Lava	1.7.3
жизненный цикл	1.0.4	listenv	0.9.1	lubridate	1.9.3
magrittr	2.0.3	Markdown	1.12	МАССАЧУСЕТС	7.3-60
«Матрица»	1.5-4.1	memoise	2.0.1	оплаты	4.3.2
mgcv	1.8-42	мим	0,12	miniUI	0.1.1.1
mlflow	2.10.0	ModelMetrics	1.2.2.2	modelr	0.1.11
munsell	0.5.0	nlme	3.1-163	nnet	7.3-19
numDeriv	2016.8-1.1	openssl	2.1.1	parallel	4.3.2
parallelly	1.36.0	столб	1.9.0	pkgbuild	1.4.3
pkgconfig	2.0.3	pkgdown	2.0.7	pkgload	1.3.4
plogr	0.2.0	plyr	1.8.9	хвалить	1.0.0
prettyunits	1.2.0	pROC	1.18.5	processx	3.8.3
prodlim	2023.08.28	profvis	0.3.8	Ход выполнения	1.2.3
progressr	0.14.0	promises	1.2.1	proto	1.0.0
proxy	0.4-27	ps	1.7.6	purrr	1.0.2
R6	2.5.1	ragg	1.2.7	randomForest	4.7-1.1
rappdirs	0.3.3	rcmdcheck	1.4.0	RColorBrewer	1.1-3
Rcpp	1.0.12	RcppEigen	0.3.3.9.4	reactable	0.4.4
ReactR	0.5.0	readr	2.1.5	readxl	1.4.3
Рецепты	1.0.9	реванш	2.0.0	rematch2	2.1.2
remotes	2.4.2.1	reprex	2.1.0	reshape2	1.4.4
rlang	1.1.3	rmarkdown	2,25	RODBC	1.3-23
roxygen2	7.3.1	rpart	4.1.21	rprojroot	2.0.4
Rserve	1.8-13	RSQLite	2.3.5	rstudioapi	0.15.0
rversions	2.1.2	rvest	1.0.3	sass	0.4.8
весы	1.3.0	селектор	0.4-2	sessioninfo	1.2.2
форма	1.4.6	блестящий	1.8.0	sourcetools	0.1.7-1
sparklyr	1.8.4	пространственный	7.3-15	Сплайны	4.3.2
sqldf	0.4-11	SQUAREM	2021.1	stats	4.3.2
статистика4	4.3.2	stringi	1.8.3	stringr	1.5.1
выживание	3.5-5	swagger	3.33.1	sys	3.4.2
systemfonts	1.0.5	tcltk	4.3.2	testthat	3.2.1
textshaping	0.3.7	tibble	3.2.1	tidyr	1.3.1
tidyselect	1.2.0	tidyverse	2.0.0	timechange	0.3.0
TimeDate	4032.109	tinytex	0,49	средства	4.3.2
tzdb	0.4.0	urlchecker	1.0.1	usethis	2.2.2
utf8	1.2.4	служебные программы	4.3.2	uuid	1.2-0
V8	4.4.1	vctrs	0.6.5	viridisLite	0.4.2
vroom	1.6.5	waldo	0.5.2	усы	0.4.1
withr	3.0.0	xfun	0,41	xml2	1.3.6
xopen	1.0.0	xtable	1.8-4	yaml	2.3.8
zeallot	0.1.0	zip	2.3.1

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)

ИД группы	Идентификатор артефакта	Версия
antlr	antlr	2.7.7
com.amazonaws	amazon-kinesis-client	1.12.0
com.amazonaws	aws-java-sdk-autoscaling	1.12.610
com.amazonaws	aws-java-sdk-cloudformation	1.12.610
com.amazonaws	aws-java-sdk-cloudfront	1.12.610
com.amazonaws	aws-java-sdk-cloudhsm	1.12.610
com.amazonaws	aws-java-sdk-cloudsearch	1.12.610
com.amazonaws	aws-java-sdk-cloudtrail	1.12.610
com.amazonaws	aws-java-sdk-cloudwatch	1.12.610
com.amazonaws	aws-java-sdk-cloudwatchmetrics	1.12.610
com.amazonaws	aws-java-sdk-codedeploy	1.12.610
com.amazonaws	aws-java-sdk-cognitoidentity	1.12.610
com.amazonaws	aws-java-sdk-cognitosync	1.12.610
com.amazonaws	aws-java-sdk-config	1.12.610
com.amazonaws	aws-java-sdk-core	1.12.610
com.amazonaws	aws-java-sdk-datapipeline	1.12.610
com.amazonaws	aws-java-sdk-directconnect	1.12.610
com.amazonaws	aws-java-sdk-directory	1.12.610
com.amazonaws	aws-java-sdk-dynamodb	1.12.610
com.amazonaws	aws-java-sdk-ec2	1.12.610
com.amazonaws	aws-java-sdk-ecs	1.12.610
com.amazonaws	aws-java-sdk-efs	1.12.610
com.amazonaws	aws-java-sdk-elasticache	1.12.610
com.amazonaws	aws-java-sdk-elasticbeanstalk	1.12.610
com.amazonaws	aws-java-sdk-elasticloadbalancing	1.12.610
com.amazonaws	aws-java-sdk-elastictranscoder	1.12.610
com.amazonaws	aws-java-sdk-emr	1.12.610
com.amazonaws	aws-java-sdk-glacier	1.12.610
com.amazonaws	aws-java-sdk-glue	1.12.610
com.amazonaws	aws-java-sdk-iam	1.12.610
com.amazonaws	aws-java-sdk-importexport	1.12.610
com.amazonaws	aws-java-sdk-kinesis	1.12.610
com.amazonaws	aws-java-sdk-kms	1.12.610
com.amazonaws	aws-java-sdk-lambda	1.12.610
com.amazonaws	aws-java-sdk-logs	1.12.610
com.amazonaws	aws-java-sdk-machinelearning	1.12.610
com.amazonaws	aws-java-sdk-opsworks	1.12.610
com.amazonaws	aws-java-sdk-rds	1.12.610
com.amazonaws	aws-java-sdk-redshift	1.12.610
com.amazonaws	aws-java-sdk-route53	1.12.610
com.amazonaws	aws-java-sdk-s3	1.12.610
com.amazonaws	aws-java-sdk-ses	1.12.610
com.amazonaws	aws-java-sdk-simpledb	1.12.610
com.amazonaws	aws-java-sdk-simpleworkflow	1.12.610
com.amazonaws	aws-java-sdk-sns	1.12.610
com.amazonaws	aws-java-sdk-sqs	1.12.610
com.amazonaws	aws-java-sdk-ssm	1.12.610
com.amazonaws	aws-java-sdk-storagegateway	1.12.610
com.amazonaws	aws-java-sdk-sts	1.12.610
com.amazonaws	aws-java-sdk-support	1.12.610
com.amazonaws	aws-java-sdk-swf-libraries	1.11.22
com.amazonaws	aws-java-sdk-workspaces	1.12.610
com.amazonaws	jmespath-java	1.12.610
com.clearspring.analytics	потоковая передача	2.9.6
com.databricks	Rserve	1.8-3
com.databricks	databricks-sdk-java	0.17.1
com.databricks	jets3t	0.7.1–0
com.databricks.scalapb	compilerplugin_2.12	0.4.15-10
com.databricks.scalapb	scalapb-runtime_2.12	0.4.15-10
com.esotericsoftware	kryo-shaded	4.0.2
com.esotericsoftware	minlog	1.3.0
com.fasterxml	classmate	1.3.4
com.fasterxml.jackson.core	jackson-annotations	2.15.2
com.fasterxml.jackson.core	jackson-core	2.15.2
com.fasterxml.jackson.core	jackson-databind	2.15.2
com.fasterxml.jackson.dataformat	jackson-dataformat-cbor	2.15.2
com.fasterxml.jackson.dataformat	джексон-dataformat-yaml	2.15.2
com.fasterxml.jackson.datatype	jackson-datatype-joda	2.15.2
com.fasterxml.jackson.datatype	jackson-datatype-jsr310	2.16.0
com.fasterxml.jackson.module	jackson-module-paranamer	2.15.2
com.fasterxml.jackson.module	jackson-module-scala_2.12	2.15.2
com.github.ben-manes.caffeine	caffeine	2.9.3
com.github.fommil	jniloader	1,1
com.github.fommil.netlib	native_ref-java	1,1
com.github.fommil.netlib	native_ref-java	1.1-natives
com.github.fommil.netlib	native_system-java	1,1
com.github.fommil.netlib	native_system-java	1.1-natives
com.github.fommil.netlib	netlib-native_ref-linux-x86_64	1.1-natives
com.github.fommil.netlib	netlib-native_system-linux-x86_64	1.1-natives
com.github.luben	zstd-jni	1.5.5-4
com.github.wendykierp	JTransforms	3.1
com.google.code.findbugs	jsr305	3.0.0
com.google.code.gson	gson	2.10.1
com.google.crypto.tink	tink	1.9.0
com.google.errorprone	error_prone_annotations	2.10.0
com.google.flatbuffers	flatbuffers-java	23.5.26
com.google.guava	guava	15,0
com.google.protobuf	protobuf-java	2.6.1
com.helger	профилировщик	1.1.1
com.ibm.icu	icu4j	72.1
com.jcraft	jsch	0.1.55
com.jolbox	bonecp	0.8.0.RELEASE
com.lihaoyi	sourcecode_2.12	0.1.9
com.microsoft.azure	azure-data-lake-store-sdk	2.3.9
com.microsoft.sqlserver	mssql-jdbc	11.2.2.jre8
com.ning	compress-lzf	1.1.2
com.sun.mail	javax.mail	1.5.2
com.sun.xml.bind	jaxb-core	2.2.11
com.sun.xml.bind	jaxb-impl	2.2.11
com.tdunning	json	1.8
com.thoughtworks.paranamer	paranamer	2.8
com.trueaccord.lenses	lenses_2.12	0.4.12
com.twitter	chill-java	0.10.0
com.twitter	chill_2.12	0.10.0
com.twitter	util-app_2.12	7.1.0
com.twitter	util-core_2.12	7.1.0
com.twitter	util-function_2.12	7.1.0
com.twitter	util-jvm_2.12	7.1.0
com.twitter	util-lint_2.12	7.1.0
com.twitter	util-registry_2.12	7.1.0
com.twitter	util-stats_2.12	7.1.0
com.typesafe	config	1.4.3
com.typesafe.scala-logging	scala-logging_2.12	3.7.2
com.uber	h3	3.7.3
com.univocity	univocity-parsers	2.9.1
com.zaxxer	HikariCP	4.0.3
commons-cli	commons-cli	1.5.0
commons-codec	commons-codec	1.16.0
commons-collections	commons-collections	3.2.2
commons-dbcp	commons-dbcp	1.4
commons-fileupload	commons-fileupload	1.5
commons-httpclient	commons-httpclient	3.1
commons-io	commons-io	2.13.0
commons-lang	commons-lang	2.6
commons-logging	commons-logging	1.1.3
commons-pool	commons-pool	1.5.4
dev.ludovic.netlib	arpack	3.0.3
dev.ludovic.netlib	blas	3.0.3
dev.ludovic.netlib	lapack	3.0.3
info.ganglia.gmetric4j	gmetric4j	1.0.10
io.airlift	aircompressor	0.25
io.delta	delta-sharing-client_2.12	1.0.5
io.dropwizard.metrics	метрики-заметки	4.2.19
io.dropwizard.metrics	metrics-core	4.2.19
io.dropwizard.metrics	metrics-graphite	4.2.19
io.dropwizard.metrics	metrics-healthchecks	4.2.19
io.dropwizard.metrics	metrics-jetty9	4.2.19
io.dropwizard.metrics	metrics-jmx	4.2.19
io.dropwizard.metrics	metrics-json	4.2.19
io.dropwizard.metrics	metrics-jvm	4.2.19
io.dropwizard.metrics	metrics-servlets	4.2.19
io.netty	netty-all	4.1.96.Final
io.netty	netty-buffer	4.1.96.Final
io.netty	netty-codec	4.1.96.Final
io.netty	netty-codec-http	4.1.96.Final
io.netty	netty-codec-http2	4.1.96.Final
io.netty	netty-codec-socks	4.1.96.Final
io.netty	netty-common	4.1.96.Final
io.netty	netty-handler	4.1.96.Final
io.netty	netty-handler-proxy	4.1.96.Final
io.netty	netty-resolver	4.1.96.Final
io.netty	netty-tcnative-boringssl-static	2.0.61.Final-linux-aarch_64
io.netty	netty-tcnative-boringssl-static	2.0.61.Final-linux-x86_64
io.netty	netty-tcnative-boringssl-static	2.0.61.Final-osx-aarch_64
io.netty	netty-tcnative-boringssl-static	2.0.61.Final-osx-x86_64
io.netty	netty-tcnative-boringssl-static	2.0.61.Final-windows-x86_64
io.netty	netty-tcnative-classes	2.0.61.Final
io.netty	netty-transport	4.1.96.Final
io.netty	netty-transport-classes-epoll	4.1.96.Final
io.netty	netty-transport-classes-kqueue	4.1.96.Final
io.netty	netty-transport-native-epoll	4.1.96.Final
io.netty	netty-transport-native-epoll	4.1.96.Final-linux-aarch_64
io.netty	netty-transport-native-epoll	4.1.96.Final-linux-x86_64
io.netty	netty-transport-native-kqueue	4.1.96.Final-osx-aarch_64
io.netty	netty-transport-native-kqueue	4.1.96.Final-osx-x86_64
io.netty	netty-transport-native-unix-common	4.1.96.Final
io.prometheus	simpleclient	0.7.0
io.prometheus	simpleclient_common	0.7.0
io.prometheus	simpleclient_dropwizard	0.7.0
io.prometheus	simpleclient_pushgateway	0.7.0
io.prometheus	simpleclient_servlet	0.7.0
io.prometheus.jmx	коллектор	0.12.0
jakarta.annotation	jakarta.annotation-api	1.3.5
jakarta.servlet	jakarta.servlet-api	4.0.3
jakarta.validation	jakarta.validation-api	2.0.2
jakarta.ws.rs	jakarta.ws.rs-api	2.1.6
javax.activation	activation	1.1.1
javax.el	javax.el-api	2.2.4
javax.jdo	jdo-api	3.0.1
javax.transaction	jta	1,1
javax.transaction	transaction-api	1,1
javax.xml.bind	jaxb-api	2.2.11
javolution	javolution	5.5.1
jline	jline	2.14.6
joda-time	joda-time	2.12.1
net.java.dev.jna	jna	5.8.0
net.razorvine	pickle	1,3
net.sf.jpam	jpam	1,1
net.sf.opencsv	opencsv	2.3
net.sf.supercsv	super-csv	2.2.0
net.snowflake	snowflake-ingest-sdk	0.9.6
net.sourceforge.f2j	arpack_combined_all	0,1
org.acplt.remotetea	remotetea-oncrpc	1.1.2
org.antlr	ST4	4.0.4
org.antlr	antlr-runtime	3.5.2
org.antlr	antlr4-runtime	4.9.3
org.antlr	stringtemplate	3.2.1
org.apache.ant	ant	1.10.11
org.apache.ant	ant-jsch	1.10.11
org.apache.ant	ant-launcher	1.10.11
org.apache.arrow	arrow-format	15.0.0
org.apache.arrow	arrow-memory-core	15.0.0
org.apache.arrow	arrow-memory-netty	15.0.0
org.apache.arrow	arrow-vector	15.0.0
org.apache.avro	avro	1.11.3
org.apache.avro	avro-ipc	1.11.3
org.apache.avro	avro-mapred	1.11.3
org.apache.commons	commons-collections4	4.4.
org.apache.commons	commons-compress	1.23.0
org.apache.commons	commons-crypto	1.1.0
org.apache.commons	commons-lang3	3.12.0
org.apache.commons	commons-math3	3.6.1
org.apache.commons	commons-text	1.10.0
org.apache.curator	curator-client	2.13.0
org.apache.curator	curator-framework	2.13.0
org.apache.curator	curator-recipes	2.13.0
org.apache.datasketches	datasketches-java	3.1.0
org.apache.datasketches	datasketches-memory	2.0.0
org.apache.derby	derby	10.14.2.0
org.apache.hadoop	hadoop-client-runtime	3.3.6
org.apache.hive	hive-beeline	2.3.9
org.apache.hive	hive-cli	2.3.9
org.apache.hive	hive-jdbc	2.3.9
org.apache.hive	hive-llap-client	2.3.9
org.apache.hive	hive-llap-common	2.3.9
org.apache.hive	hive-serde	2.3.9
org.apache.hive	hive-shims	2.3.9
org.apache.hive	hive-storage-api	2.8.1
org.apache.hive.shims	hive-shims-0.23	2.3.9
org.apache.hive.shims	hive-shims-common	2.3.9
org.apache.hive.shims	hive-shims-scheduler	2.3.9
org.apache.httpcomponents	httpclient	4.5.14
org.apache.httpcomponents	httpcore	4.4.16
org.apache.ivy	ivy	2.5.1
org.apache.logging.log4j	log4j-1.2-api	2.22.1
org.apache.logging.log4j	log4j-api	2.22.1
org.apache.logging.log4j	log4j-core	2.22.1
org.apache.logging.log4j	log4j-layout-template-json	2.22.1
org.apache.logging.log4j	log4j-slf4j2-impl	2.22.1
org.apache.orc	orc-core	1.9.2-шейд-protobuf
org.apache.orc	orc-mapreduce	1.9.2-шейд-protobuf
org.apache.orc	orc-shims	1.9.2
org.apache.thrift	libfb303	0.9.3
org.apache.thrift	libthrift	0.12.0
org.apache.ws.xmlschema	xmlschema-core	2.3.0
org.apache.xbean	xbean-asm9-shaded	4,23
org.apache.yetus	audience-annotations	0.13.0
org.apache.zookeeper	zookeeper	3.6.3
org.apache.zookeeper	zookeeper-jute	3.6.3
org.checkerframework	checker-qual	3.31.0
org.codehaus.jackson	jackson-core-asl	1.9.13
org.codehaus.jackson	jackson-mapper-asl	1.9.13
org.codehaus.janino	commons-compiler	3.0.16
org.codehaus.janino	janino	3.0.16
org.datanucleus	datanucleus-api-jdo	4.2.4
org.datanucleus	datanucleus-core	4.1.17
org.datanucleus	datanucleus-rdbms	4.1.19
org.datanucleus	javax.jdo	3.2.0-m3
org.eclipse.collections	eclipse-collections	11.1.0
org.eclipse.collections	Eclipse-collections-api	11.1.0
org.eclipse.jetty	jetty-client	9.4.52.v20230823
org.eclipse.jetty	jetty-continuation	9.4.52.v20230823
org.eclipse.jetty	jetty-http	9.4.52.v20230823
org.eclipse.jetty	jetty-io	9.4.52.v20230823
org.eclipse.jetty	jetty-jndi	9.4.52.v20230823
org.eclipse.jetty	jetty-plus	9.4.52.v20230823
org.eclipse.jetty	jetty-proxy	9.4.52.v20230823
org.eclipse.jetty	jetty-security	9.4.52.v20230823
org.eclipse.jetty	jetty-server	9.4.52.v20230823
org.eclipse.jetty	jetty-servlet	9.4.52.v20230823
org.eclipse.jetty	jetty-servlets	9.4.52.v20230823
org.eclipse.jetty	jetty-util	9.4.52.v20230823
org.eclipse.jetty	jetty-util-ajax	9.4.52.v20230823
org.eclipse.jetty	jetty-webapp	9.4.52.v20230823
org.eclipse.jetty	jetty-xml	9.4.52.v20230823
org.eclipse.jetty.websocket	websocket-api	9.4.52.v20230823
org.eclipse.jetty.websocket	websocket-client	9.4.52.v20230823
org.eclipse.jetty.websocket	websocket-common	9.4.52.v20230823
org.eclipse.jetty.websocket	websocket-server	9.4.52.v20230823
org.eclipse.jetty.websocket	websocket-servlet	9.4.52.v20230823
org.fusesource.leveldbjni	leveldbjni-all	1.8
org.glassfish.hk2	hk2-api	2.6.1
org.glassfish.hk2	hk2-locator	2.6.1
org.glassfish.hk2	hk2-utils	2.6.1
org.glassfish.hk2	osgi-resource-locator	1.0.3
org.glassfish.hk2.external	aopalliance-repackaged	2.6.1
org.glassfish.hk2.external	jakarta.inject	2.6.1
org.glassfish.jersey.containers	jersey-container-servlet	2.40
org.glassfish.jersey.containers	jersey-container-servlet-core	2.40
org.glassfish.jersey.core	jersey-client	2.40
org.glassfish.jersey.core	jersey-common	2.40
org.glassfish.jersey.core	jersey-server	2.40
org.glassfish.jersey.inject	jersey-hk2	2.40
org.hibernate.validator	hibernate-validator	6.1.7.Final
org.ini4j	ini4j	0.5.4
org.javassist	javassist	3.29.2-GA
org.jboss.logging	jboss-logging	3.3.2.Final
org.jdbi	jdbi	2.63.1
org.jetbrains	annotations	17.0.0
org.joda	joda-convert	1,7
org.jodd	jodd-core	3.5.2
org.json4s	json4s-ast_2.12	3.7.0-M11
org.json4s	json4s-core_2.12	3.7.0-M11
org.json4s	json4s-jackson_2.12	3.7.0-M11
org.json4s	json4s-scalap_2.12	3.7.0-M11
org.lz4	lz4-java	1.8.0
org.mlflow	mlflow-spark_2.12	2.9.1
org.objenesis	objenesis	2.5.1
org.postgresql	postgresql	42.6.1
org.roaringbitmap	RoaringBitmap	0.9.45-databricks
org.roaringbitmap	shims	0.9.45-databricks
org.rocksdb	rocksdbjni	8.11.4
org.rosuda.REngine	REngine	2.1.0
org.scala-lang	scala-compiler_2.12	2.12.15
org.scala-lang	scala-library_2.12	2.12.15
org.scala-lang	scala-reflect_2.12	2.12.15
org.scala-lang.modules	scala-collection-compat_2.12	2.11.0
org.scala-lang.modules	scala-parser-combinators_2.12	1.1.2
org.scala-lang.modules	scala-xml_2.12	1.2.0
org.scala-sbt	test-interface	1.0
org.scalacheck	scalacheck_2.12	1.14.2
org.scalactic	scalactic_2.12	3.2.15
org.scalanlp	breeze-macros_2.12	2.1.0
org.scalanlp	breeze_2.12	2.1.0
org.scalatest	Scalatest-compatible	3.2.15
org.scalatest	scalatest-core_2.12	3.2.15
org.scalatest	scalatest-diagrams_2.12	3.2.15
org.scalatest	scalatest-featurespec_2.12	3.2.15
org.scalatest	scalatest-flatspec_2.12	3.2.15
org.scalatest	scalatest-freespec_2.12	3.2.15
org.scalatest	scalatest-funspec_2.12	3.2.15
org.scalatest	scalatest-funsuite_2.12	3.2.15
org.scalatest	scalatest-matchers-core_2.12	3.2.15
org.scalatest	scalatest-mustmatchers_2.12	3.2.15
org.scalatest	scalatest-propspec_2.12	3.2.15
org.scalatest	scalatest-refspec_2.12	3.2.15
org.scalatest	scalatest-shouldmatchers_2.12	3.2.15
org.scalatest	scalatest-wordspec_2.12	3.2.15
org.scalatest	scalatest_2.12	3.2.15
org.slf4j	jcl-over-slf4j	2.0.7
org.slf4j	jul-to-slf4j	2.0.7
org.slf4j	slf4j-api	2.0.7
org.slf4j	slf4j-simple	1.7.25
org.threeten	threeten-extra	1.7.1
org.tukaani	xz	1,9
org.typelevel	algebra_2.12	2.0.1
org.typelevel	cats-kernel_2.12	2.1.1
org.typelevel	spire-macros_2.12	0.17.0
org.typelevel	spire-platform_2.12	0.17.0
org.typelevel	spire-util_2.12	0.17.0
org.typelevel	spire_2.12	0.17.0
org.wildfly.openssl	wildfly-openssl	1.1.3.Final
org.xerial	sqlite-jdbc	3.42.0.0
org.xerial.snappy	snappy-java	1.1.10.3
org.yaml	snakeyaml	2.0
oro	oro	2.0.8
pl.edu.icm	JLargeArrays	1.5
software.amazon.cryptools	AmazonCorrettoCryptoProvider	1.6.1-linux-x86_64
software.amazon.ion	ion-java	1.0.2
stax	stax-api	1.0.1