Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
Замечание
Поддержка этой версии databricks Runtime закончилась. Сведения о дате окончания поддержки см. в разделе История окончания поддержки. Для всех поддерживаемых версий Databricks Runtime см. заметки о версиях выпуска и совместимости Databricks Runtime.
В следующих заметках о выпуске содержатся сведения о Databricks Runtime 16.3, на базе Apache Spark 3.5.2.
Databricks выпустила эту версию в марте 2025 года.
Изменения поведения
Исправление ошибки для параметров автозагрузчика: modifiedBefore, modifiedAfterpathGlobFilter
Ранее изменение значений параметров modifiedBeforemodifiedAfterавтозагрузчика и pathGlobFilter не повлияло. Теперь эта проблема устранена.
Теперь, когда вы изменяете значения этих фильтров, Auto Loader загружает новые файлы, которые проходят через фильтры. Если на основе обновленных значений фильтра уменьшается количество файлов, соответствующих условиям, файлы, которые больше не соответствуют, не удаляются из хранилища, а остаются загруженными.
Улучшено сообщение об ошибке, когда kafka.sasl.client.callback.handler.class назначено недопустимое значение.
В этом выпуске внесено изменение, позволяющее возвращать более подробное сообщение об ошибке, когда kafka.sasl.client.callback.handler.class присваивается неверное значение.
Новое сообщение об ошибке: org.apache.spark.sql.AnalysisException: [RESTRICTED_STREAMING_OPTION_PERMISSION_ENFORCED.KAFKA_CLIENT_CALLBACK_SHADED_CLASS] The option kafka.sasl.client.callback.handler.class has restricted values on Shared clusters for the kafka source. The Kafka client callback class must be "shadedmskiam.software.amazon.msk.auth.iam.IAMClientCallbackHandler". SQLSTATE: 0A000
Ранее возвращаемое сообщение об ошибке было org.apache.spark.sql.AnalysisException: [UNSUPPORTED_STREAMING_OPTIONS_PERMISSION_ENFORCED] Streaming options kafka.sasl.client.callback.handler.class are not supported for data source kafka on a shared cluster. Please confirm that the options are specified and spelled correctly, and check https://docs.databricks.com/en/compute/access-mode-limitations.html#streaming-shared for limitations. SQLSTATE: 0A000
Новые функции и улучшения
- Поддержка считывателя состояния общедоступна для стандартных вычислений
- Понижение протокола Delta table доступно для общих с защитой контрольной точки
- Написание процедурных скриптов SQL на основе ANSI SQL/PSM (общедоступная предварительная версия)
- Сортировка по умолчанию на уровне таблицы и представления
- Установка пользовательских зависимостей в пользовательских функциях Unity Catalog (UDFs) (общедоступная предварительная версия)
- Изменение нескольких столбцов таблицы в одной ALTER TABLE инструкции
-
Поддержка стандартных
transformWithStateInPandasвычислений -
MERGE INTOПоддержка таблиц с точным контролем доступа на выделенных вычислительных ресурсах (общедоступная предварительная версия) - Поддержка добавления данных в таблицы с детализированным управлением доступом на выделенных вычислительных ресурсах
- Расширенная поддержка самосоединений с объектами с точно управляемым доступом на выделенных вычислительных мощностях
- Новые функции H3
Поддержка чтения состояния находится в стадии общей доступности для стандартных вычислений
Поддержка чтения сведений о состоянии для запросов структурированной потоковой передачи теперь общедоступна для вычислений, настроенных в стандартном режиме доступа. См. Сведения о состоянии структурированной потоковой передачи.
Понижение уровня протокола Delta-таблицы доступно в общедоступной версии с защитой контрольных точек.
DROP FEATURE обычно доступен для удаления функций таблицы Delta Lake и понижения протокола таблицы. По умолчанию DROP FEATURE теперь создает защищенные контрольные точки для более оптимизированного и упрощенного опыта понижения, который не требует времени ожидания или обрезки истории. См. Управление функцией удаления таблицы Delta Lake и понижение протокола таблицы.
Написание процедурных скриптов SQL на основе ANSI SQL/PSM (общедоступная предварительная версия)
Теперь можно использовать возможности сценариев на основе ANSI SQL/PSM для записи процедурной логики с помощью SQL, включая инструкции потока управления, локальные переменные и обработку исключений. См. скриптов SQL.
Колляция по умолчанию на уровне таблицы и представления
Теперь можно указать параметры сортировки по умолчанию для таблиц и представлений. Это упрощает создание таблицы и представлений, где все или большинство столбцов имеют одинаковые параметры сортировки. См. сортировки.
Установка пользовательских зависимостей в Unity Catalog UDFs (общедоступная предварительная версия)
Расширьте функциональные возможности функций Python, определяемых пользователем, за пределами среды выполнения Databricks Runtime, определив пользовательские зависимости для внешних библиотек. См. Расширение UDF с использованием настраиваемых зависимостей.
Изменение нескольких столбцов таблицы в одной ALTER TABLE инструкции
В Databricks Runtime 16.3 можно изменить несколько столбцов в одной ALTER TABLE инструкции. Смотрите ALTER TABLE ... COLUMN пункт.
Поддержка transformWithStateInPandas для стандартных вычислений
Теперь вы можете использовать transformWithStateInPandas для вычислений, настроенных в стандартном режиме доступа. См. Создание пользовательского стейтфул приложения.
Поддержка MERGE INTO для таблиц с точным контролем доступа на выделенных вычислительных ресурсах (публичная предварительная версия)
В Databricks Runtime 16.3 и более поздних версиях выделенные вычислительные ресурсы поддерживают операции MERGE INTO с таблицами каталога Unity, которые используют детальное управление доступом. Подобно чтению из этих объектов, команды MERGE автоматически передаются бессерверным вычислениям при необходимости.
См. тонкое управление доступом на выделенных вычислительных ресурсах.
Поддержка добавления данных в таблицы с детализированным контролем доступа на выделенных вычислительных ресурсах.
В Databricks Runtime 16.3 и более поздних версиях выделенные вычислительные мощности поддерживают добавление к объектам каталога Unity, которые используют детализированное управление доступом. Чтобы использовать эту функцию, используйте функцию DataFrame.write.mode("append") в API Apache Spark. Аналогично чтению из этих объектов, записывающиеся данные автоматически передаются бессерверному вычислительному процессу, когда это необходимо.
Дополнительные сведения об использовании выделенных вычислений с детально контролируемыми объектами каталога Unity см. в статье "Точное управление доступом" для выделенных вычислений.
Расширенная поддержка самосоединений с объектами, обладающими детализированным управлением доступом, на выделенных вычислительных ресурсах.
В Databricks Runtime 16.3 и более поздних версиях функция фильтрации данных для точного управления доступом на выделенных вычислительных ресурсах теперь автоматически синхронизирует моментальные снимки между выделенными и бессерверными вычислительными ресурсами, за исключением материализованных представлений и любых представлений и потоковых таблиц, которые используются совместно через Delta Sharing. Эта расширенная функциональность гарантирует, что самостоятельное объединение возвращает идентичные моментальные снимки при использовании процедуры фильтрации данных. См. тонкое управление доступом на выделенных вычислительных ресурсах.
Новые функции H3
Добавлены три новых функции H3: h3_try_coverash3, h3_try_coverash3string и h3_try_tessellateaswkb.
Обновления библиотек
Обновленные библиотеки Python:
- mlflow-skinny с версии 2.15.1 до 2.19.0
Обновленные библиотеки R:
Обновленные библиотеки Java:
Apache Spark
Databricks Runtime 16.3 включает Apache Spark 3.5.2. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 16.2 (EoS), а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:
- [SPARK-51594] [ DBRRM-1604][sc-192125][SQL] Используйте пустую схему при сохранении представления, которое не совместимо с Hive
- [SPARK-51388] [SC-190503][sql] Улучшение распространения фрагментов SQL в to_timestamp и UNION
- [SPARK-51394] [SC-190492][ml] Устранение дополнительных перетасовок в статистических тестах
- [SPARK-51385] [SC-190486][sql] Нормализация проекции, добавленной в DeduplicateRelations для дедупликации выходных данных дочерних элементов объединения
- [SPARK-51357] [SC-190485][sql] Сохранить уровень ведения журналов изменений плана для представлений
- [SPARK-50654] [SC-186686][ss] CommitMetadata должен задать состояниеUniqueIds на None в версии 1
- [SPARK-51362] [SC-190352][sql] Измените toJSON, чтобы использовать API NextIterator для устранения смежных зависимостей записей
-
[SPARK-51375] [SC-190355][sql][CONNECT] Сокрытие сообщений журнала
SparkConnect(Execution|Session)Manager.periodicMaintenance - [SPARK-50596] [SC-184060][python] Обновление Py4J с 0.10.9.7 до 0.10.9.8
- [SPARK-51097] [SC-190456][revert] Отмена изменения метрик экземпляра RocksDB
-
[SPARK-51363] [SC-190343][sql]
Desc As JSONимена столбцов кластеризации - [SPARK-51373] [SC-190370] [SS] Удаление лишней копии префикса семейства столбцов из 'ReplyChangelog'
- [SPARK-51378] [SC-190363][core] Применение accumulableExcludeList JsonProtocol к ExecutorMetricsUpdate и TaskEndReason
- [SPARK-51369] [SC-190253][sql] Исправить переменную курсора FOR, чтобы она работала с именами в смешанном регистре.
-
[SPARK-51381] [SC-190360][sql][CONNECT] Показать
Session IDна страницеSpark Connect Session - [SPARK-51119] [SC-188491][sql] Читатели на исполнителях, разрешающих EXISTS_DEFAULT, не должны вызывать каталоги
- [SPARK-51322] [SC-190013][sql] Улучшено сообщение об ошибке для выражения потокового подзапроса
- [SPARK-50817] [SC-186642][ss] Исправление отчетов об ошибках RocksDB
- [SPARK-51370] [SC-190286] Улучшения ясности кода для парсинга операторов INTO в AstBuilder.scala
- [SPARK-51083] [SC-189217][core][16.x] Изменить JavaUtils, чтобы не проглатывать исключения прерывания
- [SPARK-51324] [SC-189997][sql] Исправление вложенной инструкции FOR, из-за которой возникает ошибка, если результат пустой.
- [SPARK-49756] [SC-178793][sql] Postgres диалект поддерживает функции pushdown datetime.
- [SPARK-51270] [SC-190108][sql] Поддержка типа UUID в Variant
- [SPARK-51310] [SC-190018][sql] Определить тип выражений, создающих строки по умолчанию
- [SPARK-49488] [SC-176685][sql] Диалект MySQL поддерживает функции pushdown datetime.
- [SPARK-50856] [DBR16.x][sc-189812][SS][python][CONNECT] Spark Connect Support for TransformWithStateInPandas на Python
-
[SPARK-50553] [SC-190076][connect] Выброс
InvalidPlanInputдля недопустимого сообщения плана - [SPARK-51337] [16.x][sc-190105][SQL] Добавление maxRows в CTERelationDef и CTERelationRef
- [SPARK-51281] [SC-190033][sql] DataFrameWriterV2 должен учитывать параметр пути
- [SPARK-51323] [SC-190005][python] Повторяющийся "итог" в метриках Py SQL
-
[SPARK-48618] [SC-174007][sql] Использовать
ErrorCodeиSQLState, возвращённые в SQLException, для точного определения ошибок - [SPARK-47871] [SC-162873][sql] В Oracle: сопоставление TimestampType с TIMESTAMP WITH LOCAL TIME ZONE
- [SPARK-50993] [SC-187319][sql] Перенос nullDataSourceOption из QueryCompilationErrors в QueryExecutionErrors
- [SPARK-47761] [SC-162288][sql] Oracle: поддержка чтения AnsiIntervalTypes
- [SPARK-51265] [SC-189826][sql] IncrementalExecution должен правильно задать код выполнения команд
- [SPARK-50785] [SC-189722][sql] Рефакторинг оператора FOR для правильного использования локальных переменных.
- [SPARK-51315] [SC-189838][sql] Включение параметров сортировки на уровне объектов по умолчанию
- [SPARK-51312] [SC-189824][sql] Исправить createDataFrame из RDD[Row]
-
[SPARK-51305] [SC-189625][sql][CONNECT] Улучшить
SparkConnectPlanExecution.createObservedMetricsResponse - [SPARK-51313] [SC-189816][python] Исправление формата метки времени для PySparkLogger
- [SPARK-51095] [SC-189623][core][SQL] Включить контекст вызывающей стороны для журналов аудита HDFS для вызовов, исходящих от драйвера
- [SPARK-51292] [SC-189566][sql] Удалите ненужное наследование из PlanTestBase, ExpressionEvalHelper и PlanTest
- [SPARK-50739] [SC-186903][sql][FOLLOW] Упростите ResolveRecursiveCTESuite с использованием DSL
- [SPARK-51097] [SC-189428] [SS] Добавление метрик экземпляра хранилища состояний для последней загруженной версии снимка в RocksDB
- [SPARK-49912] [SC-189615] Рефакторинг простого оператора CASE для вычисления переменной case только один раз
- [SPARK-50655] [16x][sc-189235][SS] Перенести сопоставление виртуальных семейств столбцов в слой базы данных вместо кодировщика
-
[SPARK-51177] [SC-188989][python][CONNECT] Добавление
InvalidCommandInputв клиент Python Spark Connect -
[SPARK-51278] [SC-189608][python] Используйте соответствующую структуру формата JSON для
PySparkLogger - [SPARK-48530] [SC-189357][sql] Поддержка локальных переменных в скриптах SQL
- [SPARK-51258] [SC-189551][sql] Удалите ненужное наследование из SQLConfHelper
- [SPARK-50739] [SC-186818][sql] Рекурсивный CTE. Анализатор изменяет компоненты рекурсии, чтобы распутать и разрешить их.
- [SPARK-51284] [SC-189483][sql] Исправление выполнения скрипта SQL для пустого результата
- [SPARK-50881] [SC-188407][python] Используйте кэшированную схему, где это возможно при подключении dataframe.py
- [SPARK-51274] [SC-189516][python] PySparkLogger должен учитывать ожидаемые аргументы ключевых слов
- [SPARK-50636] [SC-184783][sql] Расширение возможностей CTESubstitution.scala для учета рекурсии
-
[SPARK-50960] [SC-188821][python][CONNECT] Добавление
InvalidPlanInputв клиент Python Spark Connect - [SPARK-51109] [SC-188394][sql] CTE в подзапросе в качестве столбца группировки
- [SPARK-51067] [16.x][sc-188855][SQL] Вернуть параметры сортировки уровня сеанса для запросов DML и применить параметры сортировки на уровне объектов для запросов DDL
- [SPARK-50849] [SC-189071][connect] Добавление примера проекта для демонстрации библиотек сервера Spark Connect
- [SPARK-51259] [SC-189344][sql] Рефакторинг вычислений естественных и вложенных ключей соединения
- [SPARK-51185] [SC-188832][core] Восстановление упрощения в API PartitionedFileUtil для снижения требований к памяти
- [SPARK-51237] [16x][sc-189028][SS] Добавить детали API для новых вспомогательных функций transformWithState по мере необходимости
- [SPARK-51247] [SC-189236][sql] Переместить SubstituteExecuteImmediate в пакет «resolution» и подготовить для работы с локальными переменными скрипта SQL.
-
[SPARK-50403] [SC-186416][sql] Исправление параметризованного
EXECUTE IMMEDIATE - [SPARK-50598] [SC-183992][sql] Начальный no-op запрос на интеграцию (PR), который добавляет новые параметры к уже существующим классам UnresolvedWith, CTERelationRef и CTERelationDef, чтобы обеспечить более позднюю реализацию рекурсивных общих табличных выражений (CTEs).
- [SPARK-48114] [SC-189176][sql] Переместить валидацию подзапроса из CheckAnalysis
-
[SPARK-50767] [SC-189169][sql] Удалить генерацию кода
from_json - [SPARK-51242] [SC-189200][conenct][PYTHON] Повышение производительности столбцов при отключении DQC
- [SPARK-51202] [SC-189208][ml][PYTHON] Передача сеанса в записыватели метаалгоритма Python
- [SPARK-51246] [SC-189175][sql] InTypeCoercion производит разрешенные преобразования
-
[SPARK-51192] [SC-189070][connect] Обеспечение доступа к
processWithoutResponseObserverForTestingвSparkConnectPlanner - [SPARK-51183] [SC-189010][sql] Ссылка на спецификацию Parquet в документации Variant
-
[SPARK-51189] [SC-188829][core] Повышение
JobFailedдоDeveloperApi -
[SPARK-51184] [SC-188801][core] Удаление логики
TaskState.LOSTизTaskSchedulerImpl - [SPARK-51218] [SC-189012][sql] Избегайте использования map/flatMap в NondeterministicExpressionCollection
- [SPARK-51228] [SC-189022][sql] Введение нормализации подзапросов в NormalizePlan
- [SPARK-51113] [SC-1888883][sql] Исправьте правильность с помощью UNION/EXCEPT/INTERSECT внутри представления или EXECUTE IMMEDIATE
-
[SPARK-51209] [SC-188987][core] Улучшить
getCurrentUserNameдля обработки Java 24+ - [SPARK-50953] [SC-188409][python][CONNECT] Добавление поддержки нетривиальных путей в VariantGet
- [SPARK-51181] [SC-188854] [SQL] Принудительно применять детерминизм при извлечении недетерминированных выражений из логического плана
- [SPARK-50872] [SC-186901][sql][UI] Делает выражение ToPrettyString не влияет на презентацию пользовательского интерфейса
- [SPARK-51150] [SC-188512][ml] Явно передавайте сеанс в средствах записи мета-алгоритмов
- [SPARK-51008] [SC-188655][sql] Добавить ResultStage для AQE
- [SPARK-51114] [SC-188633] [SQL] Рефакторинг правила PullOutNondeterministic
- [SPARK-51160] [SC-188666][sql] Реорганизация разрешения литеральных функций
- [SPARK-51127] [SC-188366][python] Убить рабочий процесс Python при тайм-ауте простоя
- [SPARK-51099] [SC-188350][python] Добавление журналов, когда воркер Python выглядит застрявшим
- [SPARK-51157] [SC-188536][sql] Добавление отсутствующей аннотации @varargs Scala для API функций Scala
-
[SPARK-51155] [CORE] Сделать
SparkContextпоказывать общее время выполнения после остановки - [SPARK-51140] [SC-188487][ml] Отсортировать параметры перед сохранением
- [SPARK-51135] [SC-188392][sql] Исправить ViewResolverSuite для режимов ANSI
- [SPARK-51057] [SC-188191][ss] Удалить API вариант на основе scala option для состояния значения
- [SPARK-51131] [SC-188359][sql] Вызывает исключение при обнаружении скрипта SQL в команде EXECUTE IMMEDIATE
- [SPARK-51048] [SC-188369][core] Поддержка остановки контекста Java Spark с кодом выхода
- [SPARK-50234] [SC-181433][python][SQL] Улучшение сообщения об ошибке и теста для API транспонирования DataFrame.
- [SPARK-51074] [SC-188153][ss][CONNECT] Установить тайм-аут для обмена начальными конфигурациями в потоковой передаче foreachBatch
- [SPARK-48353] [SC-187986][sql] Введение механизма обработки исключений в скриптах SQL
- [SPARK-50596] [SC-184060][python] Обновление Py4J с 0.10.9.7 до 0.10.9.8
- [SPARK-51043] [SC-187928][ss][CONNECT] Детализированное ведение журналов пользователей для Spark Connect foreachBatch
-
[SPARK-51084] [ES-13360002][sc-188171][SQL] Назначьте соответствующий класс ошибок для
negativeScaleNotAllowedError - [SPARK-51042] [SC-188216][sql] Чтение и запись полей интервалов месяца и дней с одним вызовом в классах Unsafe*
- [SPARK-51010] [SC-188188][sql] Исправление AlterColumnSpec неправильно сообщает о разрешённом статусе.
- [SPARK-50799] [SC-188169][python] Уточнить описание функции rlike, length, octet_length, bit_length и transform
-
[SPARK-51061] [SC-187910][core] Скрыть
Jettyсведения в API отправки REST - [SPARK-51055] [SC-187993][ss][CONNECT] В потоковом foreachBatch инициализация должна вызываться внутри блока try.
- [SPARK-50982] [SC-188059][sql] Поддержка расширенной функциональности пути чтения SQL/DataFrame в однопроходном анализаторе
-
[SPARK-51081] [SC-188092][sql] Рефакторинг
Join.outputдля одноразового резолвера -
[SPARK-51064] [SC-188039][sql] Включить
spark.sql.sources.v2.bucketing.enabledпо умолчанию - [SPARK-50883] [LC-5998][sc-187120][SQL] Поддержка изменения нескольких столбцов в одной команде
- [SPARK-51034] [SC-187985][sql] Переформатировать описание в формате JSON для возможности синтаксического анализа
- [SPARK-51058] [SC-187961][python] Избегайте использования jvm. SparkSession
- [SPARK-51056] [SC-1878771][python] Избегайте ненужного создания объектов в SparkSession.getActiveSession.
- [SPARK-50967] [SC-187860][ss] Добавить возможность пропуска начальных ключей состояния в операторе FMGWS
- [SPARK-50813] [SC-186457][sql] Разрешить только неполные имена меток в скриптах языка SQL
- [SPARK-50858] [SC-187399][python] Добавление конфигурации для скрытия трассировки стека UDF Python
- [SPARK-50853] [SC-187219][core] Закрыть канал записи временного shuffle-файла
- [SPARK-50663] [SC-187541][sql] Исправление грамматики для инструкции IF ELSE (ELSE IF -> ELSEIF)
-
[SPARK-51027] [SC-187502][sql] Запретить вызов
HiveClient.runSqlHiveв среде без тестирования - [SPARK-50977] [SC-187400][sc-187006][CORE] Повышение доступности логики, выполняющей агрегирование результатов аккуматора
- [SPARK-51001] [SC-187442][sql] Усовершенствование функции arrayEquals
- [SPARK-50962] [SC-187168][sql] Избегайте StringIndexOutOfBoundsException в AttributeNameParser
- [SPARK-50683] [SC-184728][sql] Встроить общее выражение в With, если оно используется один раз
- [SPARK-50959] [SC-187139][ml][PYTHON] Перехват исключения JavaWrapper.del
- [SPARK-50558] [SC-187337][sql] Введение simpleString для ExpressionSet
- [SPARK-50648] [SC-184706][core] Очистка задач-зомби на неработающих стадиях при отмене задания
-
[SPARK-50990] [SC-187316][sql] Переработать разрешение из
UpCastAnalyzer - [SPARK-49491] [SC-184714][sql] Заменить AnyRefMap на hashMap
- [SPARK-50685] [SC-186941][python] Улучшение производительности Py4J путем использования getattr
- [SPARK-50688] [SC-184666][sql] Устранить неоднозначность в случае отсутствия rowTag в процессе записи xml
-
[SPARK-50976] [SC-187265][ml][PYTHON] Исправление сохранения и загрузки
TargetEncoder - [SPARK-49639] [SC-187297][sql] Удалите предложение настройки ANSI в INVALID_INTERVAL_WITH_MICROSECONDS_ADDITION
- [SPARK-50118] [SC-187110]Revert "[CONNECT] Сброс изолированного кэша состояния при запуске задач"
- [SPARK-47579] [16.x][sc-166971][CORE][part3] Ядро Spark: перенос logInfo с переменными на структурированный фреймворк ведения журнала
- [SPARK-50669] [SC-184566][es-1327450][PHOTON][только тестирование] Расширить модульные тесты Photon для выражения TimestampAdd с использованием длинных типов
- [SPARK-50909] [SC-187119][python] Настройка обработчика ошибок в системе PythonPlannerRunners
- [SPARK-50774] [SC-186349][sql] Централизовать названия колляций в одном месте
- [SPARK-50804] [SC-186684][sql] to_protobuf() не должен вызывать MatchError
- [SPARK-50957] [ SC-187136][protobuf] Сделать protobuf.utils.SchemaConverters приватным
- [SPARK-50900] [SC-186948][ml][CONNECT] Добавить VectorUDT и MatrixUDT в ProtoDataTypes
- [SPARK-50895] [SC-186998][sql] Создание общего интерфейса для выражений, которые создают тип строки по умолчанию
- [SPARK-50558] [SC-184216][sql] Добавьте настраиваемые ограничения ведения журнала для количества элементов в InSet и In
- [SPARK-50875] [SC-186951][sql][16.x] Добавление колляций RTRIM в TVF
-
[SPARK-50579] [SC-183826][sql] Исправление
truncatedString
Поддержка драйверов ODBC и JDBC в Databricks
Databricks поддерживает драйверы ODBC/JDBC, выпущенные за последние 2 года. Скачайте недавно выпущенные драйверы и обновления (скачать ODBC, скачать JDBC).
Системная среда
-
Операционная система: Ubuntu 24.04.2 LTS
- Примечание. Это версия Ubuntu, используемая контейнерами среды выполнения Databricks. Контейнеры среды выполнения Databricks выполняются на виртуальных машинах поставщика облачных служб, которые могут использовать другую версию Ubuntu или дистрибутив Linux.
- Java: Zulu17.54+21-CA
- Scala: 2.12.15
- Python: 3.12.3
- R: 4.4.0
- Delta Lake: 3.3.0
Установленные библиотеки Python
| Библиотека | Версия | Библиотека | Версия | Библиотека | Версия |
|---|---|---|---|---|---|
| аннотированные типы | 0.7.0 | асттокенс | 2.0.5 | астунпарс | 1.6.3 |
| автоматическая команда | 2.2.2 | azure-core | 1.31.0 | azure-storage-blob (облако сохранения Azure) | 12.23.0 |
| хранилище файлов данных Azure Data Lake | 12.17.0 | backports.tarfile | 1.2.0 | черный | 24.4.2 |
| указатель поворота | 1.7.0 | boto3 | 1.34.69 | botocore | 1.34.69 |
| инструменты для кэша | 5.3.3 | сертификат | 2024.6.2 | cffi | 1.16.0 |
| chardet | 4.0.0 | нормализатор кодировки | 2.0.4 | щелчок | 8.1.7 |
| Клаудпикл | 2.2.1 | коммуникация | 0.2.1 | Contourpy | 1.2.0 |
| криптография | 42.0.5 | велосипедист | 0.11.0 | Cython | 3.0.11 |
| databricks-sdk | 0.30.0 | dbus-python | 1.3.2 | debugpy | 1.6.7 |
| декоратор | 5.1.1 | Deprecated | 1.2.14 | Дистлиб | 0.3.8 |
| Конвертация docstring в markdown | 0.11 | исполнение | 0.8.3 | Обзор аспектов | 1.1.1 |
| файловая блокировка | 3.15.4 | шрифтовые инструменты | 4.51.0 | gitdb | 4.0.11 |
| GitPython | 3.1.37 | google-api-core | 2.20.0 | google-auth (аутентификация от Google) | 2.35.0 |
| google-cloud-core (основной модуль Google Cloud) | 2.4.1 | облачное хранилище Google | 2.18.2 | google-crc32c | 1.6.0 |
| гугл-возобновляемые-медиа | 2.7.2 | googleapis-common-protos (общие протоколы googleapis) | 1.65.0 | grpcio | 1.60.0 |
| grpcio-status | 1.60.0 | httplib2 | 0.20.4 | IDNA | 3,7 |
| importlib-metadata | 6.0.0 | importlib_resources | 6.4.0 | склонять | 7.3.1 |
| ipyflow-core | 0.0.201 | ipykernel | 6.28.0 | ipython | 8.25.0 |
| ipython-genutils (утилиты для iPython) | 0.2.0 | ipywidgets | 7.7.2 | isodate (стандартная дата ISO) | 0.6.1 |
| jaraco.context | 5.3.0 | jaraco.functools | 4.0.1 | jaraco.text | 3.12.1 |
| джедаи | 0.19.1 | jmespath | 1.0.1 | joblib | 1.4.2 |
| клиент Jupyter | 8.6.0 | jupyter_core (ядро Jupyter) | 5.7.2 | Кивисолвер | 1.4.4 |
| launchpadlib | 1.11.0 | lazr.restfulclient | 0.14.6 | lazr.uri | 1.0.6 |
| matplotlib | 3.8.4 | матплотлиб-инлайн | 0.1.6 | МакКейб | 0.7.0 |
| mlflow-skinny (упрощённая версия пакета mlflow) | 2.19.0 | more-itertools | 10.3.0 | MYPY | 1.10.0 |
| mypy-extensions (расширения для mypy) | 1.0.0 | nest-asyncio | 1.6.0 | nodeenv | 1.9.1 |
| numpy (библиотека для работы с массивами и матрицами в Python) | 1.26.4 | OAuthlib | 3.2.2 | opentelemetry-api | 1.27.0 |
| opentelemetry-sdk | 1.27.0 | cемантические соглашения opentelemetry | 0.48b0 | упаковка | 24,1 |
| Панды | 1.5.3 | Парсо | 0.8.3 | спецификация пути | 0.10.3 |
| простак | 0.5.6 | pexpect (библиотека Python для автоматизации взаимодействия с приложениями) | 4.8.0 | подушка | 10.3.0 |
| пит | 24,2 | Platformdirs | 3.10.0 | библиотека Plotly для визуализации данных | 5.22.0 |
| менеджер плагинов Pluggy | 1.0.0 | prompt-toolkit (инструментарий подсказок) | 3.0.43 | proto-plus | 1.24.0 |
| protobuf (протобуф) | 4.24.1 | psutil (пакет Python для работы с процессами и системами) | 5.9.0 | psycopg2 | 2.9.3 |
| ptyprocess | 0.7.0 | пьюр-эвэл | 0.2.2 | pyarrow | 15.0.2 |
| pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | Пикколо | 0.0.65 |
| pycparser | 2.21 | pydantic (библиотека Python для валидации данных) | 2.8.2 | pydantic_core | 2.20.1 |
| pyflakes (аналитический инструмент для Python) | 3.2.0 | Пигменты | 2.15.1 | PyGObject | 3.48.2 |
| PyJWT | 2.7.0 | pyodbc | 5.0.1 | pyparsing (библиотека для синтаксического анализа в Python) | 3.0.9 |
| pyright | 1.1.294 | python-dateutil (библиотека для работы с датами и временем в Python) | Версия 2.9.0.post0 | python-lsp-jsonrpc | 1.1.2 |
| python-lsp-server (сервер Python LSP) | 1.10.0 | Pytoolconfig | 1.2.6 | pytz (библиотека Python для работы с часовыми поясами) | 2024.1 |
| PyYAML | 6.0.1 | pyzmq | 25.1.2 | Запросы | 2.32.2 |
| верёвка | 1.12.0 | rsa | 4,9 | s3transfer | 0.10.2 |
| scikit-learn (библиотека машинного обучения) | 1.4.2 | scipy (библиотека Python) | 1.13.1 | мореборн | 0.13.2 |
| setuptools (пакет для установки и управления Python-пакетами) | 74.0.0 | шесть | 1.16.0 | сммап | 5.0.0 |
| sqlparse | 0.5.1 | ssh-import-id (импортировать идентификатор SSH) | 5.11 | стековые данные | 0.2.0 |
| statsmodels (библиотека Python для статистического моделирования) | 0.14.2 | упорство | 8.2.2 | Threadpoolctl | 2.2.0 |
| токенизация-рт | 4.2.1 | томли | 2.0.1 | торнадо | 6.4.1 |
| Трейтлеты | 5.14.3 | типгард | 4.3.0 | types-protobuf | 3.20.3 |
| types-psutil | 5.9.0 | types-pytz | 2023.3.1.1 | types-PyYAML | 6.0.0 |
| типы-запросы | 2.31.0.0 | типы setuptools | 68.0.0.0 | шесть типов | 1.16.0 |
| types-urllib3 | 1.26.25.14 | typing_extensions (расширения для ввода текста) | 4.11.0 | ujson | 5.10.0 |
| автоматические обновления без участия пользователя | 0,1 | urllib3 | 1.26.16 | virtualenv | 20.26.2 |
| wadllib | 1.3.6 | wcwidth (ширина символа в Unicode) | 0.2.5 | чтоэто за патч | 1.0.2 |
| колесо | 0.43.0 | завёрнут | 1.14.1 | yapf (форматировщик Python кода) | 0.33.0 |
| ZIPP | 3.17.0 |
Установленные библиотеки R
Библиотеки R устанавливаются из снимка CRAN, предоставленного диспетчером пакетов Posit, от 04-08-2024.
| Библиотека | Версия | Библиотека | Версия | Библиотека | Версия |
|---|---|---|---|---|---|
| стрела | 16.1.0 | аскпасс | 1.2.0 | утверждать, что | 0.2.1 |
| обратные порты | 1.5.0 | основа | 4.4.0 | base64enc | 0.1-3 |
| bigD | 0.2.0 | кусочек | 4.0.5 | 64-бит | 4.0.5 |
| bitops | 1,0–8 | комок | 1.2.4 | сапог | 1.3-30 |
| варить | 1.0-10 | жизнерадостность | 1.1.5 | метла | 1.0.6 |
| bslib | 0.8.0 | кашемир | 1.1.0 | звонящий | 3.7.6 |
| каретка | 6.0-94 | целлрейнджер | 1.1.0 | хронометр | 2.3-61 |
| класс | 7.3-22 | интерфейс командной строки (CLI) | 3.6.3 | клиппер | 0.8.0 |
| часы | 0.7.1 | кластер | 2.1.6 | codetools | 0.2-20 |
| цветовое пространство | 2.1-1 | коммонмарк | 1.9.1 | компилятор | 4.4.0 |
| config | 0.3.2 | испытывающий противоречивые чувства | 1.2.0 | cpp11 | 0.4.7 |
| карандаш | 1.5.3 | credentials | 2.0.1 | завиток | 5.2.1 |
| таблица данных | 1.15.4 | Наборы данных | 4.4.0 | DBI | 1.2.3 |
| dbplyr | 2.5.0 | описание | 1.4.3 | средства разработки | 2.4.5 |
| Схема | 1.6.5 | diffobj | 0.3.5 | дайджест | 0.6.36 |
| направленное вниз освещение | 0.4.4 | dplyr (пакет для обработки данных в R) | 1.1.4 | dtplyr | 1.3.1 |
| e1071 | 1.7-14 | многоточие | 0.3.2 | оценивать | 0.24.0 |
| поклонники | 1.0.6 | Цвета | 2.1.2 | фастмап | 1.2.0 |
| fontawesome | 0.5.2 | Forcats (форкатс) | 1.0.0 | foreach | 1.5.2 |
| иностранный | 0.8-86 | кузница | 0.2.0 | fs | 1.6.4 |
| будущее | 1.34.0 | будущее.применить | 1.11.2 | полоскать горло | 1.5.2 |
| Дженерики | 0.1.3 | Герт | 2.1.0 | ggplot2 | 3.5.1 |
| gh | 1.4.1 | git2r | 0.33.0 | gitcreds | 0.1.2 |
| glmnet | 4.1-8 | глобальные переменные | 0.16.3 | клей | 1.7.0 |
| googledrive | 2.1.1 | googlesheets4 | 1.1.1 | Говер | 1.0.1 |
| графика | 4.4.0 | grDevices | 4.4.0 | сеть | 4.4.0 |
| gridExtra | 2.3 | gsubfn | 0.7 | gt | 0.11.0 |
| гтабл | 0.3.5 | каска | 1.4.0 | убежище | 2.5.4 |
| выше | 0.11 | HMS | 1.1.3 | инструменты для HTML | 0.5.8.1 |
| HTML-виджеты | 1.6.4 | httpuv | 1.6.15 | httr | 1.4.7 |
| httr2 | 1.0.2 | удостоверения личности | 1.0.1 | ini | 0.3.1 |
| ипред | 0,9–15 | изо-лента | 0.2.7 | Itераторы | 1.0.14 |
| jquerylib | 0.1.4 | jsonlite | 1.8.8 | сочный сок | 0.1.0 |
| KernSmooth | 2,23-22 | knitr (пакет для динамической генерации отчетов в языке программирования R) | 1,48 | маркирование | 0.4.3 |
| позже | 1.3.2 | решётка | 0,22–5 | лава | 1.8.0 |
| жизненный цикл | 1.0.4 | слушай | 0.9.1 | лубридейт | 1.9.3 |
| магриттр | 2.0.3 | Markdown | 1.13 | Масса | 7.3-60.0.1 |
| «Матрица» | 1.6-5 | Запоминание | 2.0.1 | методы | 4.4.0 |
| mgcv | 1.9-1 | mime | 0,12 | мини-интерфейс | 0.1.1.1 |
| mlflow | 2.14.1 | ModelMetrics | 1.2.2.2 | модельер | 0.1.11 |
| munsell | 0.5.1 | nlme | 3.1-165 | ннейронная сеть | 7.3-19 |
| numDeriv | 2016.8-1.1 | OpenSSL | 2.2.0 | параллельный | 4.4.0 |
| параллельно | 1.38.0 | столб | 1.9.0 | пакджбилд | 1.4.4 |
| pkgconfig | 2.0.3 | pkgdown | 2.1.0 | пкглоад (pkgload) | 1.4.0 |
| Плогр | 0.2.0 | плайр | 1.8.9 | похвала | 1.0.0 |
| prettyunits | 1.2.0 | pROC | 1.18.5 | Processx | 3.8.4 |
| Prodlim | 2024.06.25 | profvis | 0.3.8 | прогресс | 1.2.3 |
| progressr | 0.14.0 | обещания | 1.3.0 | прото | 1.0.0 |
| прокси | 0.4-27 | п.с. | 1.7.7 | мурлыканье | 1.0.2 |
| Р6 | 2.5.1 | ragg | 1.3.2 | randomForest (рандомФорест) | 4.7-1.1 |
| рэпдирс | 0.3.3 | rcmdcheck | 1.4.0 | RColorBrewer | 1.1-3 |
| Rcpp | 1.0.13 | RcppEigen | 0.3.4.0.0 | реактивный | 0.4.4 |
| ReactR | 0.6.0 | readr | 2.1.5 | readxl (пакет для чтения Excel-файлов) | 1.4.3 |
| Рецепты | 1.1.0 | реванш | 2.0.0 | реванш2 | 2.1.2 |
| пульты дистанционного управления | 2.5.0 | репрекс | 2.1.1 | Изменить форму2 | 1.4.4 |
| rlang | 1.1.4 | rmarkdown (инструмент для создания динамических документов в R) | 2.27 | RODBC | 1.3-23 |
| roxygen2 | 7.3.2 | rpart (пакет для построения деревьев решений в языке программирования R) | 4.1.23 | rprojroot | 2.0.4 |
| Rserve (Рcерве) | 1.8-13 | RSQLite | 2.3.7 | рстудиоапи | 0.16.0 |
| rversions | 2.1.2 | Рвест | 1.0.4 | дерзость | 0.4.9 |
| весы | 1.3.0 | селектор | 0.4-2 | информация о сессии | 1.2.2 |
| форма | 1.4.6.1 | блестящий | 1.9.1 | sourcetools | 0.1.7-1 |
| sparklyr | 1.8.6 | SparkR | 3.5.2 | пространственный | 7.3-17 |
| Сплайны | 4.4.0 | SQLDF | 0,4-11 | SQUAREM | январь 2021 |
| статистика | 4.4.0 | статистика4 | 4.4.0 | стринги | 1.8.4 |
| стрингр | 1.5.1 | выживание | 3.6-4 | самоуверенность и стильный вид | 5.17.14.1 |
| sys | 3.4.2 | systemfonts | 1.1.0 | язык программирования Tcl/Tk | 4.4.0 |
| testthat | 3.2.1.1 | форматирование текста | 0.4.0 | Tibble | 3.2.1 |
| Тидыр | 1.3.1 | tidyselect | 1.2.1 | tidyverse (тайдивёрс) | 2.0.0 |
| смена времени | 0.3.0 | ТаймДата | 4032.109 | tinytex | 0,52 |
| инструменты | 4.4.0 | База данных часовых зон (tzdb) | 0.4.0 | URL-чекер | 1.0.1 |
| используйэто | 3.0.0 | utf8 | 1.2.4 | утилиты | 4.4.0 |
| UUID (Универсальный уникальный идентификатор) | 1.2-1 | V8 | 4.4.2 | vctrs | 0.6.5 |
| viridisLite | 0.4.2 | брррм | 1.6.5 | Уолдо | 0.5.2 |
| ус | 0.4.1 | увядать | 3.0.1 | xfun | 0,46 |
| xml2 | 1.3.6 | xopen | 1.0.1 | xtable | 1.8-4 |
| YAML | 2.3.10 | зилот | 0.1.0 | ZIP-архив | 2.3.1 |
Установленные библиотеки Java и Scala (версия кластера Scala 2.12)
| Идентификатор группы | Идентификатор артефакта | Версия |
|---|---|---|
| Антлер | Антлер | 2.7.7 |
| com.amazonaws | Клиент Amazon Kinesis | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling (автоматическое масштабирование) | 1.12.638 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.638 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.638 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.638 |
| com.amazonaws | AWS Java SDK для CloudSearch | 1.12.638 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.638 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.638 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.638 |
| com.amazonaws | aws-java-sdk-codedeploy (AWS Java SDK для CodeDeploy) | 1.12.638 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.638 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.638 |
| com.amazonaws | Конфигурация SDK для Java от AWS | 1.12.638 |
| com.amazonaws | aws-java-sdk-core | 1.12.638 |
| com.amazonaws | aws-java-sdk-datapipeline (пакет для работы с Data Pipeline на Java) | 1.12.638 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.638 |
| com.amazonaws | aws-java-sdk-directory | 1.12.638 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.638 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.638 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.638 |
| com.amazonaws | aws-java-sdk-efs | 1.12.638 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.638 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.638 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing (пакет программного обеспечения для балансировки нагрузки в AWS, написанный на Java) | 1.12.638 |
| com.amazonaws | aws-java-sdk-elastictranscoder (Java SDK для Elastic Transcoder) | 1.12.638 |
| com.amazonaws | aws-java-sdk-emr | 1.12.638 |
| com.amazonaws | aws-java-sdk-glacier (пакет программного обеспечения для работы с Glacier) | 1.12.638 |
| com.amazonaws | aws-java-sdk-glue | 1.12.638 |
| com.amazonaws | aws-java-sdk-iam | 1.12.638 |
| com.amazonaws | aws-java-sdk-importexport (пакет для импорта и экспорта данных) | 1.12.638 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.638 |
| com.amazonaws | aws-java-sdk-kms (пакет программного обеспечения для работы с AWS KMS) | 1.12.638 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.638 |
| com.amazonaws | aws-java-sdk-logs | 1.12.638 |
| com.amazonaws | AWS Java SDK для машинного обучения | 1.12.638 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.638 |
| com.amazonaws | AWS Java SDK для RDS | 1.12.638 |
| com.amazonaws | AWS Java SDK для Redshift | 1.12.638 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.638 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.638 |
| com.amazonaws | aws-java-sdk-ses | 1.12.638 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.638 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.638 |
| com.amazonaws | aws-java-sdk-sns | 1.12.638 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.638 |
| com.amazonaws | aws-java-sdk-ssm (AWS SDK для Java — SSM модуль) | 1.12.638 |
| com.amazonaws | AWS Java SDK для Storage Gateway | 1.12.638 |
| com.amazonaws | aws-java-sdk-sts | 1.12.638 |
| com.amazonaws | Поддержка AWS Java SDK | 1.12.638 |
| com.amazonaws | aws-java-sdk-swf библиотеки | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.638 |
| com.amazonaws | jmespath-java | 1.12.638 |
| com.clearspring.analytics | поток | 2.9.6 |
| com.databricks | Rserve (Рcерве) | 1.8-3 |
| com.databricks | SDK для Java от Databricks | 0.27.0 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | криогенное затенение | 4.0.2 |
| com.esotericsoftware | минлог | 1.3.0 |
| com.fasterxml | одноклассник | 1.3.4 |
| com.fasterxml.jackson.core | аннотации Джексона | 2.15.2 |
| com.fasterxml.jackson.core | джексон-ядро | 2.15.2 |
| com.fasterxml.jackson.core | джексон-databind | 2.15.2 |
| com.fasterxml.jackson.dataformat | Джексон-формат-данных-CBOR | 2.15.2 |
| com.fasterxml.jackson.dataformat | Джексон-датаформат-ЯМЛ | 2.15.2 |
| com.fasterxml.jackson.datatype | джексон-дейтайп-джода | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.16.0 |
| com.fasterxml.jackson.module | джексон-модуль-паранэймер | 2.15.2 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.15.2 |
| com.github.ben-manes.caffeine | кофеин | 2.9.3 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | нативная_ссылка-java | 1.1 |
| com.github.fommil.netlib | нативная_ссылка-java | 1.1-коренные жители |
| com.github.fommil.netlib | Нативная_система-java | 1.1 |
| com.github.fommil.netlib | Нативная_система-java | 1.1-коренные жители |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1-коренные жители |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64 | 1.1-коренные жители |
| com.github.luben | zstd-jni | 1.5.5-4 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | Gson | 2.10.1 |
| com.google.crypto.tink | тинк | 1.9.0 |
| com.google.errorprone | ошибкоопасные аннотации | 2.10.0 |
| com.google.flatbuffers | flatbuffers-java | 26.05.23 |
| com.google.guava | гуава | 15,0 |
| com.google.protobuf | protobuf-java | 3.25.1 |
| com.helger | Профилировщик | 1.1.1 |
| com.ibm.icu | icu4j | 75.1 |
| com.jcraft | jsch | 0.1.55 |
| com.jolbox | bonecp | 0.8.0.ВЫПУСК |
| com.lihaoyi | исходный код_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk (SDK для Azure Data Lake Store) | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
| com.microsoft.sqlserver | mssql-jdbc | 11.2.3.jre8 |
| com.ning | compress-lzf (метод сжатия данных) | 1.1.2 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.sun.xml.bind | jaxb-core | 2.2.11 |
| com.sun.xml.bind | jaxb-impl | 2.2.11 |
| com.tdunning | JSON (формат обмена данными JavaScript) | 1.8 |
| com.thoughtworks.paranamer | Паранэймер | 2.8 |
| com.trueaccord.lenses | линзы_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.4.3 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.3 |
| com.univocity | юнивосити-парсерс | 2.9.1 |
| com.zaxxer | ХикариCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.16.0 |
| общие коллекции | общие коллекции | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| загрузка файлов через модуль commons | загрузка файлов через модуль commons | 1.5 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.13.0 |
| commons-lang | commons-lang | 2.6 |
| коммонс-логгинг | коммонс-логгинг | 1.1.3 |
| коммонс-пул | коммонс-пул | 1.5.4 |
| dev.ludovic.netlib | arpack | 3.0.3 |
| dev.ludovic.netlib | Блас | 3.0.3 |
| dev.ludovic.netlib | LAPACK (программная библиотека для линейной алгебры) | 3.0.3 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | компрессор воздуха | 0.27 |
| io.delta | delta-sharing-client_2.12 | 1.2.3 |
| io.dropwizard.metrics | аннотирование метрик | 4.2.19 |
| io.dropwizard.metrics | основные метрики | 4.2.19 |
| io.dropwizard.metrics | «metrics-graphite» | 4.2.19 |
| io.dropwizard.metrics | Метрики-Чек здоровья | 4.2.19 |
| io.dropwizard.metrics | метрики для Jetty9 | 4.2.19 |
| io.dropwizard.metrics | Метрики-JMX | 4.2.19 |
| io.dropwizard.metrics | metrics-json | 4.2.19 |
| io.dropwizard.metrics | метрики для JVM | 4.2.19 |
| io.dropwizard.metrics | метрики и сервлеты | 4.2.19 |
| io.netty | netty-all (все пакеты netty) | 4.1.108.Final |
| io.netty | буфер Netty | 4.1.108.Final |
| io.netty | netty-codec (кодек Netty) | 4.1.108.Final |
| io.netty | netty-codec-http | 4.1.108.Final |
| io.netty | netty-codec-http2 | 4.1.108.Final |
| io.netty | netty-codec-socks | 4.1.108.Final |
| io.netty | нетти-общий | 4.1.108.Final |
| io.netty | нетти-хэндлер | 4.1.108.Final |
| io.netty | нетти-обработчик-прокси | 4.1.108.Final |
| io.netty | Netty-резолвер | 4.1.108.Final |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-db-r16 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-db-r16-linux-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-db-r16-linux-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-db-r16-osx-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-db-r16-osx-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-db-r16-windows-x86_64 |
| io.netty | netty-tcnative-classes (классы netty-tcnative) | 2.0.61.Final |
| io.netty | netty-transport | 4.1.108.Final |
| io.netty | netty-transport-classes-epoll | 4.1.108.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.108.Final |
| io.netty | netty-transport-native-epoll | 4.1.108.Final |
| io.netty | netty-transport-native-epoll | 4.1.108.Final-linux-aarch_64 |
| io.netty | netty-transport-native-epoll | 4.1.108.Final-linux-riscv64 |
| io.netty | netty-transport-native-epoll | 4.1.108.Final-linux-x86_64 |
| io.netty | netty-transport-native-kqueue | 4.1.108.Final-osx-aarch_64 |
| io.netty | netty-transport-native-kqueue | 4.1.108.Final-osx-x86_64 |
| io.netty | нетти-транспорт-натив-уникс-коммон | 4.1.108.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | простыйклиент_общий | 0.7.0 |
| io.prometheus | Симплклиент_дропвизард | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | коллекционер | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api (аннотация API Джакарты) | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | активация | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | джта | 1.1 |
| javax.transaction | интерфейс транзакций | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| джлайн | джлайн | 2.14.6 |
| joda-time | joda-time | 2.12.1 |
| net.java.dev.jna | джна | 5.8.0 |
| net.razorvine | рассол | 1.3 |
| net.sf.jpam | джпам | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv — инструмент для работы с CSV файлами | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk (SDK для обработки данных Snowflake) | 0.9.6 |
| net.sourceforge.f2j | арпак_комбинированный_все | 0,1 |
| org.acplt.remotetea | «remotetea-oncrpc» | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.9.3 |
| org.antlr | шаблон строки | 3.2.1 |
| org.apache.ant | муравей | 1.10.11 |
| org.apache.ant | ant-jsch | 1.10.11 |
| org.apache.ant | ant-launcher | 1.10.11 |
| org.apache.arrow | формат стрелок | 15.0.0 |
| org.apache.arrow | ядро памяти Arrow | 15.0.0 |
| org.apache.arrow | арроу-мемори-нетти | 15.0.0 |
| org.apache.arrow | вектор стрелки | 15.0.0 |
| org.apache.avro | Авро | 1.11.3 |
| org.apache.avro | avro-ipc | 1.11.3 |
| org.apache.avro | avro-mapred | 1.11.3 |
| org.apache.commons | commons-collections4 | 4.4. |
| org.apache.commons | Коммонс-компресс | 1.23.0 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | коммонс-матх3 | 3.6.1 |
| org.apache.commons | Общедоступный текст | 1.10.0 |
| org.apache.curator | куратор-клиент | 2.13.0 |
| org.apache.curator | кураторский фреймворк | 2.13.0 |
| org.apache.curator | куратор рецептов | 2.13.0 |
| org.apache.datasketches | datasketches-java | 3.1.0 |
| org.apache.datasketches | Датаскетчес-мемори | 2.0.0 |
| org.apache.derby | дерби | 10.14.2.0 |
| org.apache.hadoop | среда выполнения hadoop-клиента | 3.3.6 |
| org.apache.hive | hive-beeline (инструмент командной строки для работы с Apache Hive) | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | Hive-Serde | 2.3.9 |
| org.apache.hive | хив-шимы | 2.3.9 |
| org.apache.hive | hive-storage-api (интерфейс хранения данных Hive) | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | хив-шимс-коммон | 2.3.9 |
| org.apache.hive.shims | планировщик hive-shims | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.14 |
| org.apache.httpcomponents | httpcore | 4.4.16 |
| org.apache.ivy | плющ | 2.5.2 |
| org.apache.logging.log4j | log4j-1.2-api | 2.22.1 |
| org.apache.logging.log4j | log4j-api | 2.22.1 |
| org.apache.logging.log4j | log4j-core | 2.22.1 |
| org.apache.logging.log4j | log4j-layout-template-json (шаблон компоновки для log4j в формате JSON) | 2.22.1 |
| org.apache.logging.log4j | log4j-slf4j2-impl | 2.22.1 |
| org.apache.orc | орк-кор | 1.9.2-затененный-protobuf |
| org.apache.orc | orc-mapreduce (орч-мапредьюс) | 1.9.2-затененный-protobuf |
| org.apache.orc | орк-шимы | 1.9.2 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.ws.xmlschema | xmlschema-core | 2.3.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.23 |
| org.apache.yetus | аннотации для аудитории | 0.13.0 |
| org.apache.zookeeper | смотритель зоопарка | 3.9.2 |
| org.apache.zookeeper | Zookeeper-JUTE | 3.9.2 |
| org.checkerframework | checker-qual | 3.31.0 |
| org.codehaus.джексон | джексон-core-asl | 1.9.13 |
| org.codehaus.джексон | jackson-mapper-asl (джексон-маппер-асл) | 1.9.13 |
| org.codehaus.janino | commons-компилятор | 3.0.16 |
| org.codehaus.janino | джанино | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core (ядро датануклеус) | 4.1.17 |
| org.datanucleus | Datanucleus-RDBMS | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.collections | Eclipse Collections | 11.1.0 |
| org.eclipse.collections | Eclipse Collections API | 11.1.0 |
| org.eclipse.jetty | jetty-client | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-continuation (продолжение Jetty) | 9.4.52.v20230823 |
| org.eclipse.jetty | «jetty-http» | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-io | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-jndi | 9.4.52.v20230823 |
| org.eclipse.jetty | Jetty Plus | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-proxy (джетти-прокси) | 9.4.52.v20230823 |
| org.eclipse.jetty | защита пристани | 9.4.52.v20230823 |
| org.eclipse.jetty | сервер Jetty | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlet | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlets | 9.4.52.v20230823 |
| org.eclipse.jetty | джетти-ютил (jetty-util) | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.52.v20230823 |
| org.eclipse.jetty | Jetty - веб-приложение | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-xml | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | WebSocket API | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-клиент | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | WebSocket-Common | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | вебсокет-сервер | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.52.v20230823 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | хк2-локатор | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | локатор ресурсов OSGi | 1.0.3 |
| org.glassfish.hk2.external | «aopalliance-repackaged» | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | Jersey-container-servlet | 2.40 |
| org.glassfish.jersey.containers | джерси-контейнер-сервлет-кор | 2.40 |
| org.glassfish.jersey.core | jersey-client (джерси-клиент) | 2.40 |
| org.glassfish.jersey.core | джерси-коммон | 2.40 |
| org.glassfish.jersey.core | Джерси-сервер | 2.40 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.40 |
| org.hibernate.validator | гибернейт-валидатор | 6.1.7.финальная |
| org.ini4j | ini4j | 0.5.4 |
| org.javassist | javassist | 3.29.2-GA |
| org.jboss.logging | jboss-logging (логирование в JBoss) | 3.3.2.Окончательно |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | аннотации | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 4.0.7 |
| org.json4s | json4s-core_2.12 | 4.0.7 |
| org.json4s | json4s-джексон-core_2.12 | 4.0.7 |
| org.json4s | json4s-jackson_2.12 | 4.0.7 |
| org.json4s | json4s-scalap_2.12 | 4.0.7 |
| org.lz4 | lz4-java | 1.8.0-databricks-1 |
| org.mlflow | mlflow-spark_2.12 | 2.9.1 |
| org.objenesis | Обдженесис | 2.5.1 |
| org.postgresql | postgresql | 42.6.1 |
| org.roaringbitmap | RoaringBitmap | 0.9.45-databricks |
| org.roaringbitmap | прокладки | 0.9.45-databricks |
| org.rocksdb | rocksdbjni | 9.2.1 |
| org.rosuda.REngine | РЭнджин | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.15 |
| org.scala-lang | scala-library_2.12 | 2.12.15 |
| org.scala-lang | scala-reflect_2.12 | 2.12.15 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.11.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.9.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | тестовый интерфейс | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.2.16 |
| org.scalanlp | breeze-macros_2.12 | 2.1.0 |
| org.scalanlp | breeze_2.12 | 2.1.0 |
| org.scalatest | совместимый с ScalaTest | 3.2.16 |
| org.scalatest | scalatest-core_2.12 | 3.2.16 |
| org.scalatest | scalatest-diagrams_2.12 | 3.2.16 |
| org.scalatest | scalatest-featurespec_2.12 | 3.2.16 |
| org.scalatest | scalatest-flatspec_2.12 | 3.2.16 |
| org.scalatest | scalatest-freespec_2.12 | 3.2.16 |
| org.scalatest | scalatest-funspec_2.12 | 3.2.16 |
| org.scalatest | scalatest-funsuite_2.12 | 3.2.16 |
| org.scalatest | scalatest-matchers-core_2.12 | 3.2.16 |
| org.scalatest | scalatest-mustmatchers_2.12 | 3.2.16 |
| org.scalatest | scalatest-propspec_2.12 | 3.2.16 |
| org.scalatest | scalatest-refspec_2.12 | 3.2.16 |
| org.scalatest | scalatest-shouldmatchers_2.12 | 3.2.16 |
| org.scalatest | scalatest-wordspec_2.12 | 3.2.16 |
| org.scalatest | scalatest_2.12 | 3.2.16 |
| org.slf4j | jcl-over-slf4j (адаптер для JCL, работающий поверх SLF4J) | 2.0.7 |
| org.slf4j | jul-to-slf4j | 2.0.7 |
| org.slf4j | slf4j-api | 2.0.7 |
| org.slf4j | slf4j-simple | 1.7.25 |
| org.threeten | threeten-extra | 1.7.1 |
| org.tukaani | хз | 1.9 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | кошки-kernel_2.12 | 2.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.1.3.Окончательная |
| org.xerial | sqlite-jdbc | 3.42.0.0 |
| org.xerial.snappy | snappy-java | 1.1.10.3 |
| org.yaml | SnakeYAML | 2.0 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.cryptools | AmazonCorrettoCryptoProvider | 2.4.1-linux-x86_64 |
| стекс | stax-api | 1.0.1 |