Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
На этой странице представлены единые примечания к выпуску Databricks Runtime 18 LTS, работающей на базе Apache Spark 4.1.0. В нем перечислены все функции, изменения поведения и исправления, отправленные во время цикла выпуска Databricks Runtime 18 LTS.
Note
Выпуски осуществляются поэтапно. Учетная запись Azure Databricks может не обновляться через несколько дней после начальной даты выпуска.
О унифицированных примечаниях к выпуску
Azure Databricks постепенно выпускает новые функции в течение цикла релиза, не изменяя номер версии. Вместо отдельных страниц для каждой дополнительной версии все обновления отображаются на этой одной странице как устаревшие записи. Кластеры получают обновления при перезапуске.
Databricks Runtime 18 является первым выпуском для использования этого единого формата. Ранее для каждой функциональной версии (18.0, 18.1, 18.2) была своя страница примечаний к выпуску. Эти страницы остаются доступными для справки. Функции, которые ранее выпускались бы в версии 18.3 или более поздних версиях, теперь выходят в виде датированных обновлений для Databricks Runtime 18.
В будущем версии среды выполнения Databricks будут следовать жизненному циклу от бета-версии (ранняя оценка) через общедоступную версию (разработка функций, примерно шесть месяцев) до LTS (долгосрочная поддержка, три года стабильности и исправлений безопасности). Поскольку версии с 18.0 по 18.2 выпускались по предыдущей модели, Databricks Runtime 18 является переходным выпуском. В настоящее время он находится на стадии GA и перейдёт в статус LTS, когда Databricks Runtime 19 станет общедоступной. Подробные сведения о жизненных циклах см. в статье Жизненные циклы поддержки Databricks Runtime.
Databricks Runtime 18: 10 июня 2026 г.
Databricks Runtime 18 теперь общедоступен (GA). Подробные сведения о жизненном цикле см. в статье Жизненные циклы поддержки Databricks Runtime.
Новые функции и улучшения
В этом выпуске доступны следующие функции и улучшения.
- Декларативные конвейеры Spark в конвейерах Lakeflow: идентификатор потокового запроса: в декларативных конвейерах Spark для Lakeflow теперь можно при необходимости задавать идентификатор потокового запроса.
-
Новые функции IP-адресов (общедоступная предварительная версия): новые функции SQL доступны для работы с IPv4 и IPv6-адресами и блоками CIDR, включая
ip_host,ip_cidrip_versionip_prefix_lengthip_networkip_network_lastip_cidr_containsip_as_binaryиip_as_stringtry_*варианты для безопасного поведения, допускающего значение NULL. См. ip_host и связанные функции. - Переразбиение состояния по запросу (общедоступная предварительная версия): Structured Streaming теперь поддерживает изменение количества shuffle-разделов для запросов с сохранением состояния без потери состояния в контрольной точке. См. Переразбиение состояния по запросу для потоковых запросов с сохранением состояния.
Исправления и улучшения Apache Spark
Этот выпуск включает следующие исправления ошибок и улучшения, внесенные в Spark:
- Исправлена неправильная обработка значений NULL в
LEFT OUTER JOIN LATERALвыражениях, содержащихсяEXPLODE. Ранее некоторые входные данные вызвали неверные значения NULL в результатах. - Фотон теперь откладывает повторяющиеся
field_idошибки в разрешении схемы Parquet до тех пор, пока не будет доступ к затронутой области. Запросы, не ссылающиеся на дублирующееся поле, теперь выполняются успешно, а не завершаются ошибкой на этапе разрешения схемы.
Databricks Runtime 18: 8 июня 2026 г.
Исправления и улучшения Apache Spark
Этот выпуск включает следующие исправления ошибок и улучшения, внесенные в Spark:
-
NEAREST BYТеперь поддерживается тип соединения SQL для запросов верхнего-K ближайшего соседа. -
DESCRIBE TABLE ... PARTITIONтеперь поддерживается для таблиц каталога версии 2. Ранее этот синтаксис был доступен только для таблиц версии 1. - Поддержка SQL PATH была расширена: теперь поддерживается оператор SQL
SET PATH,CURRENT_PATH()возвращает текущий путь, а PATH теперь сохраняется в определениях представлений и функций SQL и включается в выводDESCRIBE. -
UPDATEЗапросы к таблицам DSv2 теперь включают метрики операций в выходные данные запроса. - Предикаты секционирования DSv2 теперь поддерживают вложенные столбцы секционирования.
- Исправлена ошибка, из-за которой агрегатные запросы при использовании агрегатного выполнения
PartialMergeилиFinalмогли завершаться ошибкой из-за отсутствия необходимых входных атрибутов. - При больших внешних сортировках теперь используется ограниченное k-путевое слияние, чтобы уменьшить количество ошибок нехватки памяти при сбросе данных на диск.
Databricks Runtime 18: 4 июня 2026 г.
Изменения поведения
Просмотрите следующие изменения, которые вступили в силу при перезапуске кластеров в этой среде выполнения.
-
NATURAL JOINСопоставление столбцов без учета регистра:NATURAL JOINтеперь учитываетspark.sql.caseSensitiveконфигурацию (по умолчанию:false) при сопоставлении общих столбцов между левыми и правыми сторонами соединения. Ранее при сопоставлении столбцов всегда учитывался регистр, из-за чего столбцы, различающиеся только регистром символов (например,IDиid), не распознавались как общие столбцы. Это привело к автоматическому перекрестному соединению вместо ожидаемого присоединения к эквиваленту. ЭквивалентноеUSINGсоединение уже обработало это правильно. Чтобы восстановить прежнее поведение, присвойте параметруspark.sql.legacy.naturalJoinCaseSensitiveColumnMatchingзначениеtrue.
Databricks Runtime 18: 29 мая 2026 г.
-
Устранение дубликатов в Structured Streaming с ключами
NaN: в Structured Streaming значенияNaNс разными битовыми представлениями теперь считаются дубликатами, если в качестве ключа устранения дубликатов используется столбец типаdoubleилиfloat.NaNРанее значения с различными внутренними представлениями рассматривались как отдельные и не были дедупликированы. - Исправлена проблема, из-за которой разрешения на уровне таблицы могли удаляться из таблиц внешних каталогов Unity Catalog (например, таблиц подключений Snowflake) во время обновления метаданных, из-за чего выполнение запросов завершалось с ошибками
INSUFFICIENT_PERMISSIONS. Теперь разрешения сохраняются при обновлении метаданных внешней таблицы.
Databricks Runtime 18: 18 мая 2026 г.
Изменения поведения
Просмотрите следующие изменения, которые вступили в силу при перезапуске кластеров в этой среде выполнения.
-
CREATE OR REPLACE TABLE:CREATE OR REPLACE TABLEтеперь сохраняет существующие примечания к столбцам и таблицам по умолчанию. Ранее при повторном создании таблицы были удалены комментарии. Управляемые таблицы и представления теперь соответствуют существующему поведению материализованных представлений и потоковых таблиц. -
Запись DataFrame по именам столбцов:
writeTo().append(),writeTo().overwrite(),writeTo().overwritePartitions()иwrite.mode("append").saveAsTable()теперь автоматически приводят столбцы с совместимыми типами (например, изintвlong), чтобы они соответствовали схеме целевой таблицы Delta. Ранее эти операции завершились ошибкойDELTA_FAILED_TO_MERGE_FIELDS, когда типы столбцов были совместимы, но не идентичны. Поведение теперь соответствует SQLINSERT INTO ... BY NAME.save()иsaveAsTable()в режиме перезаписи не затрагиваются. -
ALTER TABLE SET TBLPROPERTIESforpipelines.pipelineId:ALTER TABLE <table> SET TBLPROPERTIES('pipelines.pipelineId' = '<pipeline-id>')теперь пытается сделать указанную таблицу доступной для записи конвейером. Ранее установка этого свойства в обычной таблице не влияла. Если таблица не поддерживает запись через конвейер, команда выдает ошибкуSETTING_PIPELINES_PIPELINE_ID_NOT_SUPPORTED. -
cloud_files_state: табличноеcloud_files_stateзначение функции (TVF) теперь содержитdiscovery_modeстолбец, показывающий, как автозагрузчик обнаружил каждый файл. Файлы, обнаруженные перед обновлением, имеют в этом столбце значениеnull. -
DESCRIBE EXTENDED AS JSON: Теперь включает результаты оценки прогнозной оптимизации в свои выходные данные. Ранее эти сведения не возвращались в выходных данных JSON. -
Меры окна представления метрик: теперь возвращают правильные результаты при использовании
GROUP BYзапросов,IN/BETWEENфильтрах или смешанных предикатах в столбце порядка окна. Ранее эти шаблоны фильтров могут привести к неправильным результатам.
Новые функции и улучшения
В этом выпуске доступны следующие функции и улучшения.
- Библиотеки кластера: при установке библиотек PyPI, колес или requirements.txt файлов в кластере вкладка "Библиотеки" и REST API библиотек теперь отображают все разрешенные и установленные пакеты, включая транзитивные зависимости. Для установок, включающих более 500 пакетов, список сокращается. Полный отчет об установке доступен в журналах драйверов кластера.
-
Автоматический CDC из снимка с использованием синтаксиса SQL: Lakeflow Spark Declarative Pipelines теперь поддерживает автоматический CDC из снимка с использованием синтаксиса SQL. Ранее эта функция была доступна только через API Python. Используйте
CREATE STREAMING TABLE ... FLOW AUTO CDC FROM SNAPSHOTдля обработки источников снимков (таких как таблицы Delta, облачные хранилища или JDBC) по одному снимку за раз. Поддерживаются как SCD Type 1 (по умолчанию), так и SCD Type 2. -
array_sortс помощью настраиваемых компраторов: Photon теперь ускоряетarray_sortвыражения, использующие пользовательские компраторы для сортировки массивов структур по одному или нескольким полям. Ранее для этих выражений использовалось выполнение без Photon. Чтобы включить эту оптимизацию, установите дляspark.databricks.photon.rewriteArraySortComparator.enabledзначениеtrue.
Исправления и улучшения Apache Spark
Этот выпуск включает следующие исправления ошибок и улучшения, внесенные в Spark:
- Запросы SQL теперь поддерживают
QUALIFYпредложение, которое позволяет фильтровать результаты функции окна непосредственно в запросе. Ранее для этого требовалось обернуть запрос в подзапрос. -
spark.read.json,spark.read.csvиspark.read.xmlтеперь примите кадр данных в качестве входных данных, чтобы можно было проанализировать данные в памяти, не сохраняя его в файл. -
DataFrame.changes()теперь поддерживает чтение выходных данных CDC через API DataFrame. - Если на столбец DataFrame ссылаются из неправильного DataFrame, в сообщении об ошибке теперь указывается конкретный столбец. Вы также можете установить
spark.sql.columnResolution.strict, чтобы Spark применял более строгое сопоставление столбцов и выявлял эти ошибки на более раннем этапе. -
MERGE INTOЭволюция схемы теперь работает корректно, если оператор включаетWHEN MATCHED THEN DELETEили ссылается на вложенные столбцы через псевдоним. Ранее эти комбинации могли завершиться ошибкой или без каких-либо сообщений давать неверные результаты. -
SHOW COLLATIONSперечисляет все поддерживаемые параметры сортировки и их свойства, что полезно при выборе сортировки текста для сортировки текста или сравнения. - Оптимизатор запросов Spark теперь правильно оценивает, сколько фильтров данных сократится. Неверные оценки ранее заставляли Spark полностью загружать большие таблицы в память при выполнении операций JOIN, что приводило к ошибкам нехватки памяти.
- Запросы с несколькими
COUNT(DISTINCT)выражениями выполняются быстрее, так как Spark теперь сокращает данные раньше в плане выполнения, а не сначала расширяя их. - Пользовательские функции Python (UDF), использующие оптимизацию Arrow, больше не выполняют лишнее преобразование формата данных, что снижает накладные расходы.
- Не внешние соединения между потоками теперь могут выдавать результаты в режиме обновления, а не только в режиме добавления, что позволяет им записывать результаты в большее число целевых систем вывода.
- Подключения JDBC теперь закрываются должным образом при отмене задачи. Ранее отмена могла оставлять соединение открытым, из-за чего последующие задачи зависали.
-
array_insertбольше не создает неправильные результаты при указании очень большого отрицательного числа в качестве позиции вставки.
Databricks Runtime 18: 4 мая 2026 г.
Изменения поведения
Просмотрите следующие изменения, которые вступили в силу при перезапуске кластеров в этой среде выполнения.
-
XPath: При вычислении XPath-выражений для XML Azure Databricks больше не загружает внешние определения типа документа (DTD). Запросы, которые ранее не удалось выполнить только из-за недоступной внешней ссылки DTD, теперь могут завершиться успешно. -
Поведение структуры NULL при эволюции схемы: для
INSERT,MERGEи потоковой записи, использующей эволюцию схемы, структура NULL в исходных данных теперь сохраняется как NULL в целевых данных. Ранее структуры со значением NULL ошибочно материализовывались как не-NULL-структуры, в которых каждое поле было установлено в NULL. Обновите любой код, опирающийся на получение структуры, отличной от NULL, с полями all-NULL. Эти случаи теперь возвращают структуру NULL. -
NATURAL JOIN: теперь корректно использует сопоставление столбцов без учета регистра, если дляspark.sql.caseSensitiveзадано значениеfalse(по умолчанию). Ранее столбцы, которые отличались только регистром (например,IDиid), не распознавались как совпадающие, из-за чегоNATURAL JOINмолча возвращал результаты перекрёстного соединения. Это исправление приводит поведениеNATURAL JOINв соответствие с соединениямиUSING. - Зависимости AWS SDK v1: теперь затенены и больше недоступны напрямую в classpath. Если ваш код зависит от библиотек SDK AWS версии 1, ранее предоставляемых Databricks Runtime, добавьте их в качестве явных зависимостей в проекте.
- Проверка зависимостей UDF SQL в каталоге Unity: каталог Unity теперь применяет проверку зависимостей для определяемых пользователем функций SQL, чтобы предотвратить обход управления доступом. Пользовательские функции SQL с недопустимыми конфигурациями зависимостей не могут быть выполнены.
-
LEFT OUTER JOIN LATERAL: Исправлена ошибка, из-за которой строки удалялись по ошибке. Запросы, использующие эту конструкцию, теперь возвращают правильные результаты. Чтобы временно вернуться к предыдущему поведению, задайте значениеspark.databricks.sql.optimizer.lateralJoinPreserveOuterSemantictrue. -
regr_r2: теперь правильно обрабатывает первый параметр в качестве зависимой переменной. Запросы, зависящие от предыдущего неправильного поведения, возвращают разные результаты. -
Гиперболические функции:
sinh,cosh,tanhи связанные гиперболические функции теперь возвращаютInfinityвместо генерации ошибки переполнения при очень больших входных значениях. -
asinhиacosh: теперь используйте алгоритм fdlibm для согласованности между ядрами. Результаты могут немного отличаться от предыдущих версий для граничных входных данных. -
LIKEСопоставление шаблонов: теперь правильно обрабатывает дополнительные символы Юникода (кодовые точки выше U+FFFF). Шаблоны, которые ранее совпадали или завершились ошибкой для этих символов, теперь возвращают правильные результаты. -
столбцы
VOID(NullType): таблицы Delta теперь поддерживают столбцыVOID(NullType).VOIDСтолбцы больше не удаляются из схемы таблицы при чтении. На записи это не влияет.
Новые функции и улучшения
В этом выпуске доступны следующие функции и улучшения.
-
CREATE OR REPLACE TEMP TABLE: теперь поддерживается, позволяя создавать или заменять временные таблицы в одной инструкции. -
agg(): теперь доступно в качестве псевдонимаmeasure()для функции. Существующие запросы, использующиеmeasure(), продолжают работать без изменений. -
pyspark.pipelines.testing: теперь доступно в качестве удобного псевдонима дляdlt.testingAPI. - Производительность автозагрузчика: автозагрузчик теперь использует более эффективный метод перечисления, который повышает скорость перечисления для источников облачного хранилища. Если триггеры вашего потока перекрываются из-за длительных операций перечисления, эта оптимизация может привести к увеличению затрат на использование облачного API для перечисления.
-
DESCRIBE HISTORYФлаги параметров записи: история таблицы Delta (DESCRIBE HISTORY) теперь включает флаги параметров записи вoperationParametersдля операцийWRITEиREPLACE TABLE. Флаги отображаются только в том случае, еслиtrue:isDynamicPartitionOverwrite,canOverwriteSchema,canMergeSchema,predicateиisV1WriterSaveAsTableOverwrite. - Перемотка и повторное воспроизведение в Structured Streaming: Structured Streaming теперь поддерживает перемотку и повторное воспроизведение, позволяя повторно обрабатывать данные, начиная с более ранней точки потока, для восстановления после сбоев, таких как изменения схемы или ошибки логики, без полного сброса состояния.
-
SparkSession.emptyDataFrame: теперь доступен в качестве удобного API для создания пустогоDataFrameбез столбцов и строк. -
TIMESTAMP WITH LOCAL TIME ZONE: теперь поддерживается как псевдоним типаTIMESTAMP_LTZв синтаксисе SQL. -
to_jsonsortKeysопция: функцияto_jsonтеперь принимает опциюsortKeysдля вывода JSON с ключами в отсортированном порядке. -
spark.catalog.*: теперь методы API имеют четность функций с эквивалентными командами DDL для операций каталога, схемы и таблицы. - [Исправление безопасности] Обновления системы безопасности операционной системы.
Databricks Runtime 18: 20 апреля 2026 г.
- Исправлен орган, задающий пространственную систему координат CRS, для типа
GEOMETRY(102100). Теперь сообщение оESRI:102100, вместоEPSG:102100. - [Исправление безопасности] Обновления системы безопасности операционной системы.
Databricks Runtime 18: 2 апреля 2026 г.
- Улучшена обработка ошибок для запросов, записывающих данные в таблицы Delta, содержащие
VOIDNullType() столбец внутри определяемого пользователем типа (UDT). - Теперь подключения потокового приёмника JDBC используют 30‑секундный тайм-аут сокета, логику повторных попыток с экспоненциальной задержкой для временных ошибок (сбоев подключения, взаимоблокировок, ограничения частоты запросов) и корректный откат транзакций при разрыве соединения.
- Исправлено повреждение текста SQL, которое произошло при использовании символов Юникода в параметризованных запросах.
-
SHOW CREATE TABLEтеперь создает правильные выходные данные для таблиц и представлений с параметрами сортировки, не являющихся значениями по умолчанию. - [Исправление безопасности] Обновления системы безопасности операционной системы.
Databricks Runtime 18: 11 марта 2026 г.
Изменения поведения
Просмотрите следующие изменения, которые вступили в силу при перезапуске кластеров в этой среде выполнения.
-
Ошибки метрик наблюдения: больше не приводят к сбоям выполнения запроса. Ранее ошибки в
OBSERVEпредложениях (например, деление по нулю) могли блокировать или завершить весь запрос. Теперь запрос завершается успешно, и ошибка возникает при вызовеobservation.get. -
FILTERпредложение дляMEASURE: агрегатные функции MEASURE теперь поддерживают предложения FILTER. Ранее фильтры были незаметно игнорированы. -
DESCRIBE FLOW: КомандаDESCRIBE FLOWтеперь доступна. Если у вас есть таблица с именемflow, используйтеDESCRIBE schema.flow,DESCRIBE TABLE flow, илиDESCRIBE `flow`с обратными апострофами. -
Булевы операции над наборами SpatialSQL:
ST_Difference,ST_Intersection, иST_Unionиспользуют новую реализацию со следующими улучшениями:- Допустимые входные геометрии всегда создают результат и больше не вызывают ошибок.
- Производительность приблизительно в 2 раза быстрее.
- Результаты нормализуются для согласованных, сопоставимых выходных данных.
- Типы исключений для SQLSTATE: типы исключений обновляются для поддержки SQLSTATE. Если код анализирует исключения по строковым сопоставлениям или перехватывает определенные типы исключений, обновите логику обработки ошибок.
-
Автоматическое расширение типов в потоковой передаче: операции потокового чтения в таблицах Delta автоматически поддерживают расширение типа столбца. Чтобы требовать подтверждение вручную, установите значение
spark.databricks.delta.typeWidening.enableStreamingSchemaTrackingtrue.
Новые функции и улучшения
В этом выпуске доступны следующие функции и улучшения.
События файлов в Auto Loader по умолчанию: Auto Loader по умолчанию использует события файлов при загрузке из внешнего расположения с включенными событиями файлов, что сокращает количество операций перечисления файлов и снижает затраты по сравнению с перечислением каталогов. См. Обзор автозагрузчика с событиями файлов. Чтобы использовать список каталогов, установите
useManagedFileEventsнаfalse.Изменение схемы с помощью
INSERT: используйте конструкциюWITH SCHEMA EVOLUTIONв инструкциях SQL INSERT, чтобы автоматически изменять схему целевой таблицы при операциях вставки. Поддерживается дляINSERT INTO,INSERT OVERWRITEиINSERT INTO ... REPLACE. Рассмотрим пример.INSERT WITH SCHEMA EVOLUTION INTO students TABLE visiting_students_with_additional_id;Многооператорные транзакции Delta Sharing: таблицы Delta Sharing, использующие предварительно подписанный URL-адрес или режимы совместного доступа с облачными токенами, поддерживают многооператорные транзакции. При первом доступе в рамках транзакции версия таблицы фиксируется и используется повторно для всех последующих операций чтения в этой транзакции.
parse_timestamp: функция SQL parse_timestamp анализирует строки метки времени с помощью нескольких шаблонов с поддержкой модуля Photon для повышения производительности.max_byиmin_byс необязательнымlimit: агрегатные функции max_by и min_by теперь принимают необязательный третий аргументlimit(до 100 000). При указании эти функции возвращают массив из доlimitзначений, упрощая запросы на выборку K наибольших и K наименьших значений без оконных функций или общих табличных выражений (CTE).DATETIMEOFFSETдля Azure Synapse: тип данныхDATETIMEOFFSETподдерживается для подключений Microsoft Azure Synapse.Примечания к таблицам Google BigQuery: описания таблиц Google BigQuery разрешаются и предоставляются в виде комментариев к таблицам.
IGNORE NULLS/RESPECT NULLSforarray_aggandcollect_list: Агрегатные функцииarray_aggиcollect_listтеперь поддерживают предложенияIGNORE NULLSиRESPECT NULLS.PIVOTпсевдонимы: операторPIVOTтеперь поддерживает псевдонимы, что позволяет переименовывать выражения столбцов PIVOT в результирующем выводе.Переменные
CURSORскриптов SQL: скрипты SQL теперь поддерживают переменныеCURSORдля построчной итерации по результирующему набору строк запроса в блоке скрипта.Векторные математические агрегатные функции: доступны новые математические статистические функции: vector_avg, vector_sum, vector_norm и vector_normalize. Эти функции работают с плотными векторными столбцами и поддерживают рабочие нагрузки машинного обучения.
Trigger.AvailableNowв Python-ридерах потоковых источников: Python-ридеры потоковых источников данных теперь поддерживаютTrigger.AvailableNowи Admission Control, что позволяет выполнять разовую пакетную обработку всех доступных данных.API перераспределения состояния в PySpark: API перераспределения состояния для операторов потоковой обработки
TransformWithStateтеперь доступен в PySpark в дополнение к Scala. См. Переразбиение состояния по запросу для потоковых запросов с сохранением состояния.applyInPandasИсправление проблемы с производительностью: устранено трёхкратное падение производительности вapplyInPandasдля больших групп.
Databricks Runtime 18: 10 марта 2026 г.
- Сообщения об ошибках для скалярных вложенных запросов, используемых с
EXEC IMMEDIATE, теперь более чётко указывают конкретную причину. - Исправлено условие гонки в журнале контрольных точек потоковой передачи, которое может привести к недетерминированному поведению в запросах структурированной потоковой передачи.
- [Исправление безопасности] Обновления системы безопасности операционной системы.
Databricks Runtime 18: 26 февраля 2026 г.
- Команды SQL
SET METADATA ON COLUMNиUNSET METADATA ON COLUMNтеперь доступны для управления семантическими метаданными в столбцах таблиц Unity Catalog. ИспользуетсяSET METADATA ON COLUMNдля присоединения свойств (display_name,formatиsynonyms) к столбцам. ИспользуетсяUNSET METADATA ON COLUMNдля удаления ранее заданных свойств метаданных. -
DESCRIBE TABLEтеперь содержитmetadataстолбец, отображающий семантические метаданные уровня столбца в виде строки JSON. - Исправлена ошибка импорта PySpark в Windows-средах, вызванная отсутствием
UnixStreamServer. - [Исправление безопасности] Обновления системы безопасности операционной системы.
Databricks Runtime 18: 19 февраля 2026 г.
- При выводе схемы файлов Excel строковые ячейки теперь выводятся как Spark
StringType, учитывая тип ячейки, заданный в Excel. Ранее строки с числовыми значениями автоматически приводились к более узким типам данных, напримерLongилиDecimal. Обновите код, зависящий от предыдущего поведения. -
DataFrame.toJSON()теперь доступен в клиенте Python Spark Connect. - [Исправление безопасности] Обновления системы безопасности операционной системы.
Databricks Runtime 18: 27 января 2026 г.
- Автоматический загрузчик теперь сообщает о
batchSizeNumFiles,batchSizeNumBytesи состояниях обработки файлов (numFilesProcessed,numFilesSkippedCorrupted,numFilesSkippedMissing,numFilesUnknownState) как о метриках. -
INSERT INTO ... BY NAMEтеперь поддерживает конструкциюREPLACE WHERE. - Свойство
spark.sql.xml.legacyXMLParser.enabledконфигурации было переименовано вspark.sql.legacy.useLegacyXMLParser. Обновите все конфигурации кластера или сеанса, использующие старое имя. - Если значение
spark.task.resource.gpu.amountбольше 1, Torch Distributor теперь запускает один процессtorchrunдля каждого GPU, а не для каждой задачи. - [Исправление безопасности] Обновления системы безопасности операционной системы.
Databricks Runtime 18: 15 января 2026 г.
Databricks Runtime 18 теперь находится на этапе разработки новых функций и работает на базе Apache Spark 4.1.0. Эта версия включает все функции, улучшения и исправления ошибок из всех предыдущих выпусков Databricks Runtime.
Изменения поведения
Просмотрите следующие изменения, которые вступили в силу при перезапуске кластеров в этой среде выполнения.
JDK 21: Databricks Runtime 18 использует JDK 21 в качестве пакета средств разработки по умолчанию Java. JDK 21 общедоступен и является выпуском с долгосрочной поддержкой (LTS). Ранее по умолчанию использовался JDK 17. Важные изменения:
-
Double.toString()иFloat.toString()теперь создают самые короткие уникальные строковые представления, которые могут отличаться от выходных данных JDK 17 в некоторых пограничных случаях. -
Thread.stop(),Thread.suspend()иThread.resume()теперь вызываютUnsupportedOperationException. - Обновленные локальные данные (CLDR версии 42) могут повлиять на форматирование даты, времени и чисел.
При возникновении проблем совместимости вернитесь к JDK 17. Сведения о настройке версий JDK см. в статье "Создание кластера с определенной версией JDK".
-
FSCK REPAIR TABLE: теперь включает начальный этап восстановления метаданных перед проверкой отсутствующих файлов данных. Команда работает в таблицах с поврежденными контрольными точками или недопустимыми значениями секций.Допустимость значений NULL в Spark Connect Scala: Теперь в клиенте Spark Connect Scala для типизированных литералов сохраняется допустимость значений NULL для типов array и map. Ранее элементы массивов и значения отображений всегда могли иметь значение NULL.
FSCK REPAIR TABLE DRY RUN: СтолбецdataFilePathв выходной схемеFSCK REPAIR TABLE DRY RUNтеперь может содержать значение NULL, чтобы поддержать создание отчетов о новых типах проблем, для которых путь к файлу данных неприменим.SHOW TABLES DROPPED: Теперь корректно учитывает условиеLIMIT.Выполнение Python UDF: Python UDF в Unity Catalog теперь используют Apache Arrow в качестве формата обмена данными по умолчанию, что повышает общую производительность. В рамках этого изменения значения
TIMESTAMP, передаваемые в определяемые пользователем функции Python, больше не включают сведения о часовом поясе в атрибутdatetimeобъектаtzinfo. Значения метки времени остаются в формате UTC, но метаданные часового пояса теперь удаляются. Если UDF использует сведения о часовом поясе, восстановите его с помощьюdate = date.replace(tzinfo=timezone.utc). Дополнительные сведения см. в разделе о поведении метки времени в часовом поясе для входных данных.Time travel и
VACUUMсрок хранения: Azure Databricks теперь блокирует запросы с time travel по истечении порогового срока храненияdeletedFileRetentionDurationдля всех таблиц. КомандаVACUUMигнорирует аргумент длительности хранения, за исключением случаев, когда значение равно 0 часов. Невозможно задатьdeletedFileRetentionDurationразмер большеlogRetentionDurationили наоборот.BinaryTypeв PySpark: В PySparkBinaryTypeтеперь всегда сопоставляется с Pythonbytes. Ранее PySpark сопоставлялBinaryTypeлибо сbytes, либо сbytearray, в зависимости от контекста. Чтобы восстановить старое поведение, установите значениеspark.sql.execution.pyspark.binaryAsBytesfalse.Структуры NULL в Delta MERGE и UPDATE: теперь сохраняются как NULL в Delta MERGE, UPDATEи в операциях потоковой записи с приведением к типу struct. Ранее структуры NULL преобразовывались в структуры с NULL полями.
Материализация столбцов секционирования: секционированные таблицы Delta теперь материализуют столбцы секционирования в недавно записанных файлах данных Parquet. Ранее значения секций хранятся в метаданных журнала транзакций Delta и отражаются в путях к каталогу, но не записываются как столбцы в самих файлах Parquet. Это изменение соответствует поведению Apache Iceberg и UniForm и может повлиять на рабочие нагрузки, которые напрямую считывают файлы Parquet, написанные Delta Lake.
Часовой пояс секционирования по временным меткам: значения разделов по временным меткам ранее преобразовывались в UTC с использованием часового пояса JVM вместо конфигурации
spark.sql.session.timeZone. Теперь значения разделов метки времени правильно корректируются с использованием параметра часового пояса сеанса Spark.DESCRIBE TABLEСтолбец метаданных: выходные данныеDESCRIBE TABLE [EXTENDED]теперь включают новыйmetadataстолбец для всех типов таблиц. Этот столбец содержит семантические метаданные (отображаемое имя, формат и синонимы), определенные в таблице в виде строки JSON.
Новые функции и улучшения
В этом выпуске доступны следующие функции и улучшения.
- Скрипты SQL: теперь общедоступна функция сценариев SQL .
-
Общая среда изоляции для Python UDF в Unity Catalog: Python UDF в Unity Catalog с одним и тем же владельцем теперь по умолчанию могут использовать общую среду изоляции. Это повышает производительность и уменьшает использование памяти, уменьшая количество запускаемых отдельных сред. Чтобы убедиться, что UDF всегда выполняется в полностью изолированной среде, добавьте классификатор
STRICT ISOLATION. См. раздел изоляции среды. - Функции окна SQL в представлениях метрик: теперь можно использовать функции окна SQL в представлениях метрик для вычисления итогов выполнения, ранжирования и других вычислений на основе окон.
- Динамические партиции shuffle в потоковой обработке без сохранения состояния: теперь можно изменять количество партиций shuffle в запросах потоковой обработки без сохранения состояния без перезапуска запроса.
- AQE и AOS в потоковой обработке без сохранения состояния: адаптивное выполнение запросов (AQE) и автоматически оптимизируемая перетасовка (AOS) теперь поддерживаются в запросах потоковой обработки без сохранения состояния.
-
Маркеры параметров: теперь можно использовать маркеры параметров с именем (
:param) и без именованных (?) маркеров практически в любом месте, где можно использовать литеральное значение соответствующего типа. К ним относятся инструкции DDL, такие какCREATE VIEW v AS SELECT ? AS c1, типыDECIMAL(:p, :s)столбцов илиCOMMENT ON t IS :comment. См. маркеры параметров для получения подробной информации. -
IDENTIFIERконструкция: область действия конструкцииIDENTIFIER, которая преобразует строки в имена объектов SQL, была расширена практически до всех мест, где допускается идентификатор. См. IDENTIFIER для подробностей. -
BITMAP_AND_AGG: существующая библиотекаBITMAPфункций теперь включает новую функцию BITMAP_AND_AGG . - Функции Theta Sketch: теперь вы можете использовать новую библиотеку функций для приблизительного подсчёта количества уникальных элементов и операций над множествами с помощью DataSketches Theta Sketch. См. theta_sketch_agg и связанные функции.
- Функции KLL Sketch: Теперь можно использовать новую библиотеку функций для приблизительного вычисления квантилей с использованием KLL Sketch. См. kll_sketch_agg_bigint и связанные функции.
- Теперь доступны новые геопространственные функции: st_azimuth, st_boundary, st_closestpoint и st_geogfromewkt .
-
GeometryTypeиGeographyType: Apache Spark теперь поддерживает собственныеGeometryTypeиGeographyTypeтипы данных в API PySpark и Java. Эти типы поддерживают сериализацию Arrow, а также чтение и запись в формате Parquet и отличаются от геопространственных функций SQL. -
approx_top_k: новая approx_top_k агрегатная функция возвращает приблизительное наиболее частое значения top-K в столбце с использованием алгоритма эскиза с эффективностью пространства. - Драйвер JDBC Spark Connect: Apache Spark теперь включает драйвер JDBC для Spark Connect, что позволяет клиентам и средствам на основе JDBC подключаться к Spark через протокол Spark Connect.
-
Iterator[pandas.DataFrame]inapplyInPandas:DataFrame.applyInPandasтеперь принимает функцию с сигнатуройIterator[pandas.DataFrame], уменьшая затраты при обработке больших групп путем потоковой передачи данных в пакетах. - Проверка ограничений. Теперь поддерживается сравнение значений NULL в выражении ограничения.
-
API переразбиения состояния для
TransformWithState: новый API переразбиения состояния доступен для операторов потоковой обработкиTransformWithStateв Scala, позволяя изменять разбиение по ключам для данных с состоянием между перезапусками запросов. См. Переразбиение состояния по запросу для потоковых запросов с сохранением состояния. -
Python 3.14 в
pyspark-connect:pyspark-clientиpyspark-connectтеперь поддерживают Python 3.14.
Обновления библиотек
Обновленные библиотеки Python:
- anyio от 4.6.2 до 4.7.0
- asttokens от 2.0.5 до 3.0.0
- azure-core от 1.34.0 до 1.37.0
- azure-mgmt-core от 1.5.0 до 1.6.0
- azure-storage-blob с 12.23.0 до 12.28.0
- azure-storage-file-datalake с 12.17.0 до 12.22.0
- boto3 от 1.36.2 до 1.40.45
- botocore от 1.36.3 до 1.40.45
- сертификат от 2025.1.31 до 2025.4.26
- Нажмите, чтобы перейти с версии 8.1.7 на 8.1.8
- криптография от 43.0.3 до 44.0.1
- Cython от 3.0.12 до 3.1.5
- databricks-sdk от 0.49.0 до 0.67.0
- Не рекомендуется использовать от 1.2.13 до 1.2.18
- выполнение перехода с версии 0.8.3 на 1.2.0
- fastapi от 0.115.12 до 0.128.0
- блокировка файлов от 3.18.0 до 3.17.0
- google-api-core от 2.20.0 до 2.28.1
- google-auth от 2.40.0 до 2.47.0
- google-cloud-core от 2.4.3 до 2.5.0
- Обновление google-cloud-storage с версии 3.1.0 до 3.7.0
- Переход google-crc32c с версии 1.7.1 на 1.8.0
- Обновление google-resumable-media с версии 2.7.2 до 2.8.0
- h11 от 0.14.0 до 0.16.0
- httpcore от 1.0.2 до 1.0.9
- httpx от 0.27.0 до 0.28.1
- isodate от 0.6.1 до 0.7.2
- Jinja2 от 3.1.5 до 3.1.6
- jupyter-events от 0.10.0 до 0.12.0
- jupyter-lsp от 2.2.0 до 2.2.5
- jupyter_server от 2.14.1 до 2.15.0
- jupyter_server_terminals от 0.4.4 до 0.5.3
- mistune с версии 2.0.4 до 3.1.2
- mlflow-skinny от 3.0.1 до 3.8.1
- mmh3 от 5.1.0 до 5.2.0
- msal от 1.32.3 до 1.34.0
- nbclient от 0.8.0 до 0.10.2
- nbconvert от 7.16.4 до 7.16.6
- nodeenv от 1.9.1 до 1.10.0
- notebook_shim от 0.2.3 до 0.2.4
- opentelemetry-api от 1.32.1 до 1.39.1
- opentelemetry-sdk от 1.32.1 до 1.39.1
- opentelemetry-semantic-conventions от 0.53b1 до 0.60b1
- platformdirs от 3.10.0 до 4.3.7
- prometheus_client от 0.21.0 до 0.21.1
- proto-plus от 1.26.1 до 1.27.0
- psycopg2 от 2.9.3 до 2.9.11
- pyarrow от 19.0.1 до 21.0.0
- Pygments от 2.15.1 до 2.19.1
- pyiceberg от 0.9.0 до 0.10.0
- python-lsp-server с 1.12.0 до 1.12.2
- веревка от 1.12.0 до 1.13.0
- s3transfer от 0.11.3 до 0.14.0
- scipy от 1.15.1 до 1.15.3
- setuptools от 74.0.0 до 78.1.1
- шесть от 1.16.0 до 1.17.0
- sqlparse от 0.5.3 до 0.5.5
- stack-data от 0.2.0 до 0.6.3
- starlette от 0.46.2 до 0.50.0
- tornado от 6.4.2 до 6.5.1
- types-python-dateutil от 2.9.0.20241206 до 2.9.0.2025115
- uvicorn от 0.34.2 до 0.40.0
- webcolors от 24.11.1 до 25.10.0
Обновленные библиотеки R:
- стрелка от 19.0.1 до 22.0.0
- база от 4.4.2 до 4.5.1
- bigD от 0.3.0 до 0.3.1
- broom с версии 1.0.7 до 1.0.10
- часы от 0.7.2 до 0.7.3
- commonmark от 1.9.5 до 2.0.0
- компилятор от 4.4.2 до 4.5.1
- учетные данные от 2.0.2 до 2.0.3
- curl от 6.4.0 до 7.0.0
- data.table от 1.17.0 до 1.17.8
- наборы данных от 4.4.2 до 4.5.1
- dbplyr от 2.5.0 до 2.5.1
- средства разработки от 2.4.5 до 2.4.6
- diffobj от 0.3.5 до 0.3.6
- дайджест от 0.6.37 до 0.6.39
- Обновление downlit с версии 0.4.4 до версии 0.4.5
- dtplyr от 1.3.1 до 1.3.2
- оценка от 1.0.3 до 1.0.5
- fansi от 1.0.6 до 1.0.7
- forcats от 1.0.0 до 1.0.1
- fs от 1.6.5 до 1.6.6
- будущее от 1.34.0 до 1.68.0
- future.apply от 1.11.3 до 1.20.0
- обновление gargle с версии 1.5.2 до версии 1.6.0
- gert от 2.1.4 до 2.2.0
- ggplot2 от 3.5.1 до 4.0.1
- gh от 1.4.1 до 1.5.0
- git2r от 0.35.0 до 0.36.2
- glmnet от 4.1-8 до 4.1-10
- googledrive от 2.1.1 до 2.1.2
- googlesheets4 от 1.1.1 до 1.1.2
- графика от 4.4.2 до 4.5.1
- grDevices от 4.4.2 до 4.5.1
- сетка от 4.4.2 до 4.5.1
- gt; от 0.11.1 до 1.1.0
- hardhat от 1.4.1 до 1.4.2
- обновление версии haven от 2.5.4 до 2.5.5
- hms от 1.1.3 до 1.1.4
- httpuv от 1.6.15 до 1.6.16
- httr2 от 1.1.1 до 1.2.1
- jsonlite от 1.9.1 до 2.0.0
- позднее с версии 1.4.1 до 1.4.4
- лава от 1.8.1 до 1.8.2
- listenv с версии 0.9.1 до 0.10.0
- magrittr от 2.0.3 до 2.0.4
- markdown от 1.13 до 2.0
- Методы от 4.4.2 до 4.5.1
- miniUI от 0.1.1.1 до 0.1.2
- mlflow от 2.20.4 до 3.6.0
- opensl от 2.3.3 до 2.3.4
- параллельная от 4.4.2 до 4.5.1
- параллельно от 1.42.0 до 1.45.1
- столб с 1.11.0 до 1.11.1
- pkgbuild от 1.4.6 до 1.4.8
- pkgdown от 2.1.1 до 2.2.0
- pkgload от 1.4.0 до 1.4.1
- pROC от 1.18.5 до 1.19.0.1
- prodlim с 2024.06.25 по 2025.04.28
- progressr от 0.15.1 до 0.18.0
- обещания от 1.3.2 до 1.5.0
- ps от 1.9.0 до 1.9.1
- purrr от 1.0.4 до 1.2.0
- ragg от 1.3.3 до 1.5.0
- Rcpp от 1.0.14 до 1.1.0
- readr от 2.1.5 до 2.1.6
- рецепты от 1.2.0 до 1.3.1
- Обновление reshape2 с версии 1.4.4 до 1.4.5
- rmarkdown от 2.29 до 2.30
- roxygen2 от 7.3.2 до 7.3.3
- rprojroot от 2.0.4 до 2.1.1
- RSQLite от 2.3.9 до 2.4.4
- Версии r от 2.1.2 до 3.0.0
- rvest от 1.0.4 до 1.0.5
- sass от 0.4.9 до 0.4.10
- Переход от версии 1.3.0 к версии 1.4.0
- блестящий от 1.10.0 до 1.11.1
- sparklyr от 1.9.1 до 1.9.3
- SparkR от 4.0.0 до 4.1.0
- sparsevctrs от 0.3.1 до 0.3.4
- сплайны от 4.4.2 до 4.5.1
- статистика от 4.4.2 до 4.5.1
- stats4 от 4.4.2 до 4.5.1
- stringr от 1.5.1 до 1.6.0
- systemfonts от 1.2.1 до 1.3.1
- tcltk от 4.4.2 до 4.5.1
- testthat от 3.2.3 до 3.3.0
- формирование текста с 1.0.0 до 1.0.4
- timeDate от 4041.110 до 4051.111
- tinytex от 0,56 до 0,58
- инструменты от 4.4.2 до 4.5.1
- Пакет usethis с версии 3.1.0 до версии 3.2.1
- utils от 4.4.2 до 4.5.1
- V8 с версии 6.0.2 до 8.0.1
- vroom от 1.6.5 до 1.6.6.6
- waldo от 0.6.1 до 0.6.2
- xfun от 0,51 до 0,54
- xml2 от 1.3.8 до 1.5.0
- zeallot от 0.1.0 до 0.2.0
- zip от 2.3.2 до 2.3.3
Обновленные библиотеки Java:
- com.amazonaws.amazon-kinesis-client с 1.12.0 до 1.15.3
- com.amazonaws.aws-java-sdk-autoscaling от 1.12.638 до 1.12.681
- com.amazonaws.aws-java-sdk-cloudformation от 1.12.638 до 1.12.681
- com.amazonaws.aws-java-sdk-cloudfront с 1.12.638 до 1.12.681
- com.amazonaws.aws-java-sdk-cloudhsm с 1.12.638 по 1.12.681
- com.amazonaws.aws-java-sdk-cloudsearch с 1.12.638 по 1.12.681
- com.amazonaws.aws-java-sdk-cloudtrail с 1.12.638 по 1.12.681
- com.amazonaws.aws-java-sdk-cloudwatch с 1.12.638 до 1.12.681
- com.amazonaws.aws-java-sdk-cloudwatchmetrics от 1.12.638 до 1.12.681
- com.amazonaws.aws-java-sdk-codedeploy с 1.12.638 по 1.12.681
- com.amazonaws.aws-java-sdk-cognitoidentity от 1.12.638 до 1.12.681
- com.amazonaws.aws-java-sdk-cognitosync с 1.12.638 по 1.12.681
- com.amazonaws.aws-java-sdk-config с 1.12.638 по 1.12.681
- com.amazonaws.aws-java-sdk-core с 1.12.638 до 1.12.681
- com.amazonaws.aws-java-sdk-datapipeline с 1.12.638 до 1.12.681
- com.amazonaws.aws-java-sdk-directconnect с 1.12.638 до 1.12.681
- com.amazonaws.aws-java-sdk-directory с 1.12.638 по 1.12.681
- com.amazonaws.aws-java-sdk-dynamodb с 1.12.638 до 1.12.681
- com.amazonaws.aws-java-sdk-ec2 с 1.12.638 до 1.12.681
- com.amazonaws.aws-java-sdk-ecs с 1.12.638 до 1.12.681
- com.amazonaws.aws-java-sdk-efs от 1.12.638 до 1.12.681
- com.amazonaws.aws-java-sdk-elasticache с 1.12.638 по 1.12.681
- com.amazonaws.aws-java-sdk-elasticbeanstalk от 1.12.638 до 1.12.681
- com.amazonaws.aws-java-sdk-elasticloadbalancing с 1.12.638 по 1.12.681
- com.amazonaws.aws-java-sdk-elastictranscoder с 1.12.638 по 1.12.681
- com.amazonaws.aws-java-sdk-emr от 1.12.638 до 1.12.681
- com.amazonaws.aws-java-sdk-glacier с 1.12.638 до 1.12.681
- com.amazonaws.aws-java-sdk-glue от 1.12.638 до 1.12.681
- com.amazonaws.aws-java-sdk-iam с 1.12.638 до 1.12.681
- com.amazonaws.aws-java-sdk-importexport с 1.12.638 до 1.12.681
- com.amazonaws.aws-java-sdk-kinesis с 1.12.638 до 1.12.681
- com.amazonaws.aws-java-sdk-kms от 1.12.638 до 1.12.681
- com.amazonaws.aws-java-sdk-lambda с 1.12.638 до 1.12.681
- com.amazonaws.aws-java-sdk-logs от 1.12.638 до 1.12.681
- com.amazonaws.aws-java-sdk-machinelearning с 1.12.638 до 1.12.681
- com.amazonaws.aws-java-sdk-opsworks с 1.12.638 по 1.12.681
- com.amazonaws.aws-java-sdk-rds от 1.12.638 до 1.12.681
- com.amazonaws.aws-java-sdk-redshift от 1.12.638 до 1.12.681
- com.amazonaws.aws-java-sdk-route53 с 1.12.638 по 1.12.681
- com.amazonaws.aws-java-sdk-s3 от 1.12.638 до 1.12.681
- com.amazonaws.aws-java-sdk-ses с 1.12.638 по 1.12.681
- com.amazonaws.aws-java-sdk-simpledb с 1.12.638 до 1.12.681
- com.amazonaws.aws-java-sdk-simpleworkflow с 1.12.638 по 1.12.681
- com.amazonaws.aws-java-sdk-sns от 1.12.638 до 1.12.681
- com.amazonaws.aws-java-sdk-sqs с 1.12.638 до 1.12.681
- com.amazonaws.aws-java-sdk-ssm от 1.12.638 до 1.12.681
- com.amazonaws.aws-java-sdk-storagegateway с 1.12.638 по 1.12.681
- com.amazonaws.aws-java-sdk-sts с 1.12.638 по 1.12.681
- com.amazonaws.aws-java-sdk-support от 1.12.638 до 1.12.681
- com.amazonaws.aws-java-sdk-workspaces от 1.12.638 до 1.12.681
- com.amazonaws.jmespath-java с 1.12.638 до 1.12.681
- com.databricks.databricks-sdk-java с 0.27.0 до 0.53.0
- com.fasterxml.jackson.datatype.jackson-datatype-jsr310 с 2.18.2 до 2.18.3
- com.github.luben.zstd-jni от 1.5.6-10 до 1.5.7-6
- com.google.flatbuffers.flatbuffers-java с 24.3.25 до 25.2.10
- com.google.guava.failureaccess от 1.0.2 до 1.0.3
- com.google.guava.guava с 33.4.0-jre до 33.4.8-jre
- com.microsoft.sqlserver.mssql-jdbc с 11.2.3.jre8 до 12.8.0.jre8
- commons-cli.commons-cli от 1.9.0 до 1.10.0
- commons-codec.commons-codec с 1.17.2 по 1.19.0
- commons-fileupload.commons-fileupload с 1.5 по 1.6.0
- commons-io.commons-io с 2.18.0 до 2.21.0
- dev.ludovic.netlib.arpack от 3.0.3 до 3.0.4
- dev.ludovic.netlib.blas от 3.0.3 до 3.0.4
- dev.ludovic.netlib.lapack от 3.0.3 до 3.0.4
- io.dropwizard.metrics.metrics-annotation от 4.2.30 до 4.2.37
- io.dropwizard.metrics.metrics-core от 4.2.30 до 4.2.37
- io.dropwizard.metrics.metrics-graphite от 4.2.30 до 4.2.37
- io.dropwizard.metrics.metrics-healthchecks с 4.2.30 до 4.2.37
- io.dropwizard.metrics.metrics-jmx от 4.2.30 до 4.2.37
- io.dropwizard.metrics.metrics-json от 4.2.30 до 4.2.37
- io.dropwizard.metrics.metrics-jvm от 4.2.30 до 4.2.37
- io.dropwizard.metrics.metrics-servlets от 4.2.30 до 4.2.37
- io.delta.delta-sharing-client_2.13 от 1.3.10 до 1.3.11
- io.netty.netty-all от 4.1.118.Final до 4.2.7.Final
- io.netty.netty-buffer от 4.1.118.Final до 4.2.7.Final
- io.netty.netty-codec от 4.1.118.Final до 4.2.7.Final
- io.netty.netty-codec-http с 4.1.118.Final до 4.2.7.Final
- io.netty.netty-codec-http2 с 4.1.118.Final до 4.2.7.Final
- io.netty.netty-codec-socks от 4.1.118.Final до 4.2.7.Final
- Переход с версии io.netty.netty-common 4.1.118.Final на 4.2.7.Final
- io.netty.netty-handler от 4.1.118.Final до 4.2.7.Final
- io.netty.netty-handler-proxy от 4.1.118.Final до 4.2.7.Final
- io.netty.netty-resolver от 4.1.118.Final до 4.2.7.Final
- io.netty.netty-tcnative-boringssl-static от 2.0.70.Final-db-r0-windows-x86_64 до 2.0.74.Final-db-r0-windows-x86_64
- io.netty.netty-tcnative-классы от версии 2.0.70.Final до версии 2.0.74.Final
- io.netty.netty-transport с 4.1.118.Final до 4.2.7.Final
- io.netty.netty-transport-classes-epoll от 4.1.118.Final до 4.2.7.Final
- io.netty.netty-transport-classes-kqueue от 4.1.118.Final до 4.2.7.Final
- io.netty.netty-transport-native-epoll от 4.1.118.Final-linux-x86_64 до 4.2.7.Final-linux-x86_64
- io.netty.netty-transport-native-kqueue от версии 4.1.118.Final-osx-x86_64 до версии 4.2.7.Final-osx-x86_64
- io.netty.netty-transport-native-unix-common от 4.1.118.Final до 4.2.7.Final
- joda-time.joda-time с 2.13.0 до 2.14.0
- org.apache.arrow.arrow-format от 18.2.0 до 18.3.0
- Обновление org.apache.arrow.arrow-memory-core с версии 18.2.0 до 18.3.0
- org.apache.arrow.arrow-memory-netty от 18.2.0 до 18.3.0
- Обновление org.apache.arrow.arrow-memory-netty-buffer-patch с версии 18.2.0 до 18.3.0
- org.apache.arrow.arrow-vector от 18.2.0 до 18.3.0
- org.apache.avro.avro с 1.12.0 до 1.12.1
- org.apache.avro.avro-ipc с 1.12.0 до 1.12.1
- org.apache.avro.avro-mapred с 1.12.0 до 1.12.1
- org.apache.commons.commons-collections4 с 4.4 по 4.5.0
- org.apache.commons.commons-compress от 1.27.1 до 1.28.0
- org.apache.commons.commons-lang3 от 3.17.0 до 3.19.0
- org.apache.commons.commons-text от 1.13.0 до 1.14.0
- org.apache.curator.curator-client с 5.7.1 по 5.9.0
- org.apache.curator.curator-framework от 5.7.1 до 5.9.0
- org.apache.curator.curator-recipes от 5.7.1 до 5.9.0
- org.apache.datasketches.datasketches-java от 6.1.1 до 6.2.0
- org.apache.hadoop.hadoop-client-runtime с 3.4.1 до 3.4.2
- org.apache.orc.orc-core от 2.1.1-shaded-protobuf до 2.2.0-shaded-protobuf
- org.apache.orc.orc-format от версии 1.1.0-shaded-protobuf до версии 1.1.1-shaded-protobuf
- org.apache.orc.orc-mapreduce от 2.1.1-shaded-protobuf до 2.2.0-shaded-protobuf
- org.apache.orc.orc-shims от 2.1.1 до 2.2.0
- org.apache.xbean.xbean-asm9-shaded с 4.26 до 4.28
- org.apache.zookeeper.zookeeper с 3.9.3 по 3.9.4
- org.apache.zookeeper.zookeeper-jute от 3.9.3 до 3.9.4
- org.eclipse.jetty.jetty-client с 9.4.53.v20231009 до 10.0.26
- org.eclipse.jetty.jetty-http с 9.4.53.v20231009 до 10.0.26
- org.eclipse.jetty.jetty-io с 9.4.53.v20231009 до 10.0.26
- org.eclipse.jetty.jetty-jndi от 9.4.53.v20231009 до 10.0.26
- org.eclipse.jetty.jetty-plus от 9.4.53.v20231009 до 10.0.26
- org.eclipse.jetty.jetty-proxy от 9.4.53.v20231009 до 10.0.26
- org.eclipse.jetty.jetty-security с 9.4.53.v20231009 до 10.0.26
- org.eclipse.jetty.jetty-server с 9.4.53.v20231009 до 10.0.26
- org.eclipse.jetty.jetty-servlet от 9.4.53.v20231009 до 10.0.26
- org.eclipse.jetty.jetty-servlets от 9.4.53.v20231009 до 10.0.26
- org.eclipse.jetty.jetty-util от 9.4.53.v20231009 до 10.0.26
- org.eclipse.jetty.jetty-webapp с 9.4.53.v20231009 до 10.0.26
- org.eclipse.jetty.jetty-xml с 9.4.53.v20231009 до 10.0.26
- org.mlflow.mlflow-spark_2.13 от 2.9.1 до 2.22.1
- org.objenesis.objenesis с 3.3 по 3.4
- org.scala-lang.modules.scala-xml_2.13 от 2.3.0 до 2.4.0
Поддержка драйверов ODBC и JDBC в Databricks
Databricks поддерживает драйверы ODBC/JDBC, выпущенные за последние 2 года. Скачайте недавно выпущенные драйверы и обновление (скачайте ODBC, скачайте JDBC).
Системная среда
- Операционная система: Ubuntu 24.04.4 LTS
- Java: Zulu21.42+19-CA
- Scala: 2.13.16
- Python: 3.12.3
- R: 4.5.1
- Delta Lake: 4.2.0
Установленные библиотеки Python
| Библиотека | Версия | Библиотека | Версия | Библиотека | Версия |
|---|---|---|---|---|---|
| aiohappyeyeballs | 2.4.4 | aiohttp | 3.11.10 | aiosignal | 1.2.0 |
| аннотированный документ | 0.0.4 | annotated-types | 0.7.0 | anyio | 4.7.0 |
| argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | arro3-core | 0.6.5 |
| arrow | 1.3.0 | asttokens | 3.0.0 | astunparse | 1.6.3 |
| async-lru | 2.0.4 | attrs | 24.3.0 | autocommand | 2.2.2 |
| azure-common | 1.1.28 | azure-core | 1.37.0 | azure-identity | 1.20.0 |
| azure-mgmt-core | 1.6.0 | azure-mgmt-web | 8.0.0 | azure-storage-blob | 12.28.0 |
| azure-storage-file-datalake | 12.22.0 | Бабель | 2.16.0 | backports.tarfile | 1.2.0 |
| beautifulsoup4 | 4.12.3 | black | 24.10.0 | bleach | 6.2.0 |
| blinker | 1.7.0 | boto3 | 1.40.45 | botocore | 1.40.45 |
| cachetools | 5.5.1 | certifi | 2025.4.26 | cffi | 1.17.1 |
| chardet | 4.0.0 | charset-normalizer | 3.3.2 | click | 8.1.8 |
| cloudpickle | 3.0.0 | comm | 0.2.1 | contourpy | 1.3.1 |
| cryptography | 44.0.1 | cycler | 0.11.0 | Cython | 3.1.5 |
| databricks-агенты | 1.9.1 | databricks-sdk | 0.67.0 | dataclasses-json | 0.6.7 |
| dbus-python | 1.3.2 | debugpy | 1.8.11 | decorator | 5.1.1 |
| defusedxml | 0.7.1 | deltalake | 1.1.4 | Deprecated | 1.2.18 |
| distlib | 0.3.9 | docstring-to-markdown | 0.11 | executing | 1.2.0 |
| facets-overview | 1.1.1 | fastapi | 0.128.0 | fastjsonschema | 2.21.1 |
| filelock | 3.17.0 | fonttools | 4.55.3 | fqdn | 1.5.1 |
| Замороженный список | 1.5.0 | fsspec | 2023.5.0 | gitdb | 4.0.11 |
| GitPython | 3.1.43 | google-api-core | 2.28.1 | google-auth | 2.47.0 |
| google-cloud-core | 2.5.0 | google-cloud-storage | 3.7.0 | google-crc32c | 1.8.0 |
| google-resumable-media | 2.8.0 | googleapis-common-protos | 1.65.0 | grpcio | 1.67.0 |
| grpcio-status | 1.67.0 | h11 | 0.16.0 | hf-xet | 1.2.0 |
| httpcore | 1.0.9 | httplib2 | 0.20.4 | httpx | 0.28.1 |
| huggingface_hub | 1.2.4 | idna | 3.7 | importlib_metadata | 8.5.0 |
| inflect | 7.3.1 | iniconfig | 1.1.1 | ipyflow-core | 0.0.209 |
| ipykernel | 6.29.5 | ipython | 8.30.0 | ipython-genutils | 0.2.0 |
| ipywidgets | 7.8.1 | isodate | 0.7.2 | isoduration | 20.11.0 |
| jaraco.collections | 5.1.0 | jaraco.context | 5.3.0 | jaraco.functools | 4.0.1 |
| jaraco.text | 3.12.1 | jedi | 0.19.2 | Jinja2 | 3.1.6 |
| джиттер | 0.12.0 | jmespath | 1.0.1 | joblib | 1.4.2 |
| json5 | 0.9.25 | jsonpatch | 1.33 | jsonpointer | 3.0.0 |
| jsonschema | 4.23.0 | jsonschema-specifications | 2023.7.1 | jupyter-events | 0.12.0 |
| jupyter-lsp | 2.2.5 | jupyter_client | 8.6.3 | jupyter_core | 5.7.2 |
| jupyter_server | 2.15.0 | jupyter_server_terminals | 0.5.3 | jupyterlab | 4.3.4 |
| jupyterlab_pygments | 0.3.0 | jupyterlab_server | 2.27.3 | jupyterlab_widgets | 1.1.11 |
| kiwisolver | 1.4.8 | langchain-core | 1.2.6 | langchain-openai | 1.1.6 |
| langsmith | 0.6.1 | launchpadlib | 1.11.0 | lazr.restfulclient | 0.14.6 |
| lazr.uri | 1.0.6 | litellm | 1.75.9 | markdown-it-py | 2.2.0 |
| MarkupSafe | 3.0.2 | зефир | 3.26.2 | matplotlib | 3.10.0 |
| matplotlib-inline | 0.1.7 | mccabe | 0.7.0 | mdurl | 0.1.0 |
| mistune | 3.1.2 | mlflow-skinny | 3.8.1 | mmh3 | 5.2.0 |
| more-itertools | 10.3.0 | msal | 1.34.0 | msal-extensions | 1.3.1 |
| мультидикт | 6.1.0 | mypy-extensions | 1.0.0 | nbclient | 0.10.2 |
| nbconvert | 7.16.6 | nbformat | 5.10.4 | nest-asyncio | 1.6.0 |
| nodeenv | 1.10.0 | notebook | 7.3.2 | notebook_shim | 0.2.4 |
| numpy | 2.1.3 | oauthlib | 3.2.2 | openai | 2.14.0 |
| opentelemetry-api | 1.39.1 | opentelemetry-proto | 1.39.1 | opentelemetry-sdk | 1.39.1 |
| opentelemetry-semantic-conventions | 0.60b1 | orjson | 3.11.5 | Переопределения | 7.4.0 |
| packaging | 24.2 | pandas | 2.2.3 | pandocfilters | 1.5.0 |
| parso | 0.8.4 | pathspec | 0.10.3 | patsy | 1.0.1 |
| pexpect | 4.8.0 | pillow | 11.1.0 | pip | 25.0.1 |
| platformdirs | 4.3.7 | plotly | 5.24.1 | pluggy | 1.5.0 |
| prometheus_client | 0.21.1 | prompt-toolkit | 3.0.43 | кэш свойств | 0.3.1 |
| proto-plus | 1.27.0 | protobuf | 5.29.4 | psutil | 5.9.0 |
| psycopg2 | 2.9.11 | ptyprocess | 0.7.0 | pure-eval | 0.2.2 |
| pyarrow | 21.0.0 | pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 |
| pyccolo | 0.0.71 | pycparser | 2.21 | pydantic | 2.10.6 |
| pydantic_core | 2.27.2 | pyflakes | 3.2.0 | Pygments | 2.19.1 |
| PyGObject | 3.48.2 | pyiceberg | 0.10.0 | PyJWT | 2.10.1 |
| pyodbc | 5.2.0 | pyparsing | 3.2.0 | pyright | 1.1.394 |
| пироаринг | 1.0.3 | pytest | 8.3.5 | python-dateutil | 2.9.0.post0 |
| python-dotenv | 1.2.1 | python-json-logger | 3.2.1 | python-lsp-jsonrpc | 1.1.2 |
| python-lsp-server | 1.12.2 | pytoolconfig | 1.2.6 | pytz | 2024.1 |
| PyYAML | 6.0.2 | pyzmq | 26.2.0 | referencing | 0.30.2 |
| regex | 2024.11.6 | requests | 2.32.3 | requests-toolbelt | 1.0.0 |
| rfc3339-validator | 0.1.4 | rfc3986-validator | 0.1.1 | rich | 13.9.4 |
| rope | 1.13.0 | rpds-py | 0.22.3 | rsa | 4.9.1 |
| s3transfer | 0.14.0 | scikit-learn | 1.6.1 | scipy | 1.15.3 |
| seaborn | 0.13.2 | Send2Trash | 1.8.2 | setuptools | 78.1.1 |
| шеллингем | 1.5.4 | six | 1.17.0 | smmap | 5.0.0 |
| sniffio | 1.3.0 | sortedcontainers | 2.4.0 | soupsieve | 2,5 |
| sqlparse | 0.5.5 | ssh-import-id | 5.11 | stack-data | 0.6.3 |
| starlette | 0.50.0 | strictyaml | 1.7.3 | tenacity | 9.0.0 |
| terminado | 0.17.1 | threadpoolctl | 3.5.0 | тиктокен | 0.12.0 |
| tinycss2 | 1.4.0 | tokenize_rt | 6.1.0 | токенизаторы | 0.22.2 |
| tomli | 2.0.1 | tornado | 6.5.1 | tqdm | 4.67.1 |
| traitlets | 5.14.3 | typeguard | 4.3.0 | typer-slim | 0.21.1 |
| types-python-dateutil | 2.9.0.20251115 | ввод текста и проверка | 0.9.0 | typing_extensions | 4.12.2 |
| tzdata | 2024.1 | ujson | 5.10.0 | unattended-upgrades | 0.1 |
| uri-template | 1.3.0 | urllib3 | 2.3.0 | uuid_utils | 0.12.0 |
| uvicorn | 0.40.0 | virtualenv | 20.29.3 | wadllib | 1.3.6 |
| wcwidth | 0.2.5 | webcolors | 25.10.0 | webencodings | 0.5.1 |
| websocket-client | 1.8.0 | whatthepatch | 1.0.2 | wheel | 0.45.1 |
| когда бы ни | 0.7.3 | widgetsnbextension | 3.6.6 | wrapt | 1.17.0 |
| yapf | 0.40.2 | ярл | 1.18.0 | zipp | 3.21.0 |
| zstandard | 0.23.0 |
Установленные библиотеки R
Библиотеки R устанавливаются из снимка CRAN в Posit диспетчер пакетов на PACKAGES.
| Библиотека | Версия | Библиотека | Версия | Библиотека | Версия |
|---|---|---|---|---|---|
| arrow | 22.0.0 | askpass | 1.2.1 | assertthat | 0.2.1 |
| backports | 1.5.0 | base | 4.5.1 | base64enc | 0.1-3 |
| bigD | 0.3.1 | bit | 4.6.0 | bit64 | 4.6.0-1 |
| bitops | 1.0-9 | blob | 1.2.4 | boot | 1.3-30 |
| brew | 1.0-10 | brio | 1.1.5 | broom | 1.0.10 |
| bslib | 0.9.0 | cachem | 1.1.0 | callr | 3.7.6 |
| caret | 7.0-1 | cellranger | 1.1.0 | chron | 2.3-62 |
| class | 7.3-22 | cli | 3.6.5 | clipr | 0.8.0 |
| clock | 0.7.3 | cluster | 2.1.6 | codetools | 0.2-20 |
| commonmark | 2.0.0 | compiler | 4.5.1 | config | 0.3.2 |
| conflicted | 1.2.0 | cpp11 | 0.5.2 | crayon | 1.5.3 |
| учетные данные | 2.0.3 | curl | 7.0.0 | data.table | 1.17.8 |
| datasets | 4.5.1 | DBI | 1.2.3 | dbplyr | 2.5.1 |
| desc | 1.4.3 | devtools | 2.4.6 | diagram | 1.6.5 |
| diffobj | 0.3.6 | digest | 0.6.39 | downlit | 0.4.5 |
| dplyr | 1.1.4 | dtplyr | 1.3.2 | e1071 | 1.7-16 |
| ellipsis | 0.3.2 | evaluate | 1.0.5 | fansi | 1.0.7 |
| farver | 2.1.2 | fastmap | 1.2.0 | fontawesome | 0.5.3 |
| forcats | 1.0.1 | foreach | 1.5.2 | foreign | 0.8-86 |
| fs | 1.6.6 | future | 1.68.0 | future.apply | 1.20.0 |
| gargle | 1.6.0 | generics | 0.1.4 | gert | 2.2.0 |
| ggplot2 | 4.0.1 | gh | 1.5.0 | git2r | 0.36.2 |
| gitcreds | 0.1.2 | glmnet | 4.1-10 | globals | 0.18.0 |
| glue | 1.8.0 | googledrive | 2.1.2 | googlesheets4 | 1.1.2 |
| gower | 1.0.2 | graphics | 4.5.1 | grDevices | 4.5.1 |
| grid | 4.5.1 | gridExtra | 2.3 | gsubfn | 0.7 |
| gt | 1.1.0 | gtable | 0.3.6 | hardhat | 1.4.2 |
| haven | 2.5.5 | highr | 0.11 | hms | 1.1.4 |
| htmltools | 0.5.8.1 | htmlwidgets | 1.6.4 | httpuv | 1.6.16 |
| httr | 1.4.7 | httr2 | 1.2.1 | ids | 1.0.1 |
| ini | 0.3.1 | ipred | 0.9-15 | isoband | 0.2.7 |
| iterators | 1.0.14 | jquerylib | 0.1.4 | jsonlite | 2.0.0 |
| juicyjuice | 0.1.0 | KernSmooth | 2.23-22 | knitr | 1.50 |
| labeling | 0.4.3 | later | 1.4.4 | lattice | 0.22-5 |
| lava | 1.8.2 | lifecycle | 1.0.4 | listenv | 0.10.0 |
| litedown | 0.8 | lubridate | 1.9.4 | magrittr | 2.0.4 |
| markdown | 2.0 | MASS | 7.3-60.0.1 | Matrix | 1.6-5 |
| memoise | 2.0.1 | methods | 4.5.1 | mgcv | 1.9-1 |
| mime | 0.13 | miniUI | 0.1.2 | mlflow | 3.6.0 |
| ModelMetrics | 1.2.2.2 | modelr | 0.1.11 | nlme | 3.1-164 |
| nnet | 7.3-19 | numDeriv | 2016.8-1.1 | openssl | 2.3.4 |
| otel | 0.2.0 | parallel | 4.5.1 | parallelly | 1.45.1 |
| pillar | 1.11.1 | pkgbuild | 1.4.8 | pkgconfig | 2.0.3 |
| pkgdown | 2.2.0 | pkgload | 1.4.1 | plogr | 0.2.0 |
| plyr | 1.8.9 | praise | 1.0.0 | prettyunits | 1.2.0 |
| pROC | 1.19.0.1 | processx | 3.8.6 | prodlim | 2025.04.28 |
| profvis | 0.4.0 | progress | 1.2.3 | progressr | 0.18.0 |
| promises | 1.5.0 | proto | 1.0.0 | proxy | 0.4-27 |
| ps | 1.9.1 | purrr | 1.2.0 | R6 | 2.6.1 |
| ragg | 1.5.0 | randomForest | 4.7-1.2 | rappdirs | 0.3.3 |
| rcmdcheck | 1.4.0 | RColorBrewer | 1.1-3 | Rcpp | 1.1.0 |
| RcppEigen | 0.3.4.0.2 | reactable | 0.4.4 | reactR | 0.6.1 |
| readr | 2.1.6 | readxl | 1.4.5 | recipes | 1.3.1 |
| rematch | 2.0.0 | rematch2 | 2.1.2 | remotes | 2.5.0 |
| reprex | 2.1.1 | reshape2 | 1.4.5 | rlang | 1.1.6 |
| rmarkdown | 2,30 | RODBC | 1.3-26 | roxygen2 | 7.3.3 |
| rpart | 4.1.23 | rprojroot | 2.1.1 | Rserve | 1.8-15 |
| RSQLite | 2.4.4 | rstudioapi | 0.17.1 | rversions | 3.0.0 |
| rvest | 1.0.5 | S7 | 0.2.1 | sass | 0.4.10 |
| scales | 1.4.0 | selectr | 0.4-2 | sessioninfo | 1.2.3 |
| shape | 1.4.6.1 | shiny | 1.11.1 | sourcetools | 0.1.7-1 |
| sparklyr | 1.9.3 | SparkR | 4.1.0 | sparsevctrs | 0.3.4 |
| spatial | 7.3-17 | splines | 4.5.1 | sqldf | 0.4-11 |
| SQUAREM | 2021.1 | stats | 4.5.1 | stats4 | 4.5.1 |
| stringi | 1.8.7 | stringr | 1.6.0 | survival | 3.5-8 |
| swagger | 5.17.14.1 | sys | 3.4.3 | systemfonts | 1.3.1 |
| tcltk | 4.5.1 | testthat | 3.3.0 | textshaping | 1.0.4 |
| tibble | 3.3.0 | tidyr | 1.3.1 | tidyselect | 1.2.1 |
| tidyverse | 2.0.0 | timechange | 0.3.0 | timeDate | 4051.111 |
| tinytex | 0.58 | tools | 4.5.1 | tzdb | 0.5.0 |
| urlchecker | 1.0.1 | usethis | 3.2.1 | utf8 | 1.2.6 |
| utils | 4.5.1 | uuid | 1.2-1 | V8 | 8.0.1 |
| vctrs | 0.6.5 | viridisLite | 0.4.2 | vroom | 1.6.6 |
| waldo | 0.6.2 | whisker | 0.4.1 | withr | 3.0.2 |
| xfun | 0.54 | xml2 | 1.5.0 | xopen | 1.0.1 |
| xtable | 1.8-4 | yaml | 2.3.10 | zeallot | 0.2.0 |
| zip | 2.3.3 |
Установленные библиотеки Java и Scala (версия кластера Scala 2.13)
| Идентификатор группы | Идентификатор артефакта | Версия |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.clearspring.analytics | stream | 2.9.8 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | databricks-sdk-java | 0.53.0 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | scalapb-runtime_2.13 | 0.4.15-11 |
| com.esotericsoftware | kryo-shaded | 4.0.3 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.5.1 |
| com.fasterxml.jackson.core | jackson-annotations | 2.18.2 |
| com.fasterxml.jackson.core | jackson-core | 2.18.2 |
| com.fasterxml.jackson.core | jackson-databind | 2.18.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-yaml | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.18.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.18.3 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.18.2 |
| com.fasterxml.jackson.module | jackson-module-scala_2.13 | 2.18.2 |
| com.github.ben-manes.caffeine | caffeine | 2.9.3 |
| com.github.blemale | scaffeine_2.13 | 4.1.0 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1-natives |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1-natives |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1-natives |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64 | 1.1-natives |
| com.github.luben | zstd-jni | 1.5.7-6 |
| com.github.virtuald | curvesapi | 1.08 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.api.grpc | proto-google-common-protos | 2.5.1 |
| com.google.auth | google-auth-library-учетные данные | 1.20.0 |
| com.google.auth | google-auth-library-oauth2-http | 1.20.0 |
| com.google.auto.value | автоматические аннотации значений | 1.10.4 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.11.0 |
| com.google.crypto.tink | tink | 1.16.0 |
| com.google.errorprone | error_prone_annotations | 2.36.0 |
| com.google.flatbuffers | flatbuffers-java | 25.2.10 |
| com.google.guava | failureaccess | 1.0.3 |
| com.google.guava | guava | 33.4.8-jre |
| com.google.http-client | google-http-client | 1.43.3 |
| com.google.http-client | google-http-client-gson | 1.43.3 |
| com.google.j2objc | j2objc-annotations | 3.0.0 |
| com.google.protobuf | protobuf-java | 3.25.5 |
| com.google.protobuf | protobuf-java-util | 3.25.5 |
| com.helger | profiler | 1.1.1 |
| com.ibm.icu | icu4j | 75.1 |
| com.jcraft | jsch | 0.1.55 |
| com.lihaoyi | sourcecode_2.13 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.10 |
| com.microsoft.sqlserver | mssql-jdbc | 12.8.0.jre11 |
| com.microsoft.sqlserver | mssql-jdbc | 12.8.0.jre8 |
| com.ning | compress-lzf | 1.1.2 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.sun.xml.bind | jaxb-core | 2.2.11 |
| com.sun.xml.bind | jaxb-impl | 2.2.11 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.13 | 0.4.13 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.13 | 0.10.0 |
| com.twitter | util-app_2.13 | 19.8.1 |
| com.twitter | util-core_2.13 | 19.8.1 |
| com.twitter | util-function_2.13 | 19.8.1 |
| com.twitter | util-jvm_2.13 | 19.8.1 |
| com.twitter | util-lint_2.13 | 19.8.1 |
| com.twitter | util-registry_2.13 | 19.8.1 |
| com.twitter | util-stats_2.13 | 19.8.1 |
| com.typesafe | config | 1.4.3 |
| com.typesafe.scala-logging | scala-logging_2.13 | 3.9.2 |
| com.uber | h3 | 3.7.3 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| com.zaxxer | SparseBitSet | 1.3 |
| commons-cli | commons-cli | 1.10.0 |
| commons-codec | commons-codec | 1.19.0 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.6.0 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.21.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 3.0.4 |
| dev.ludovic.netlib | blas | 3.0.4 |
| dev.ludovic.netlib | lapack | 3.0.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 2.0.2 |
| io.delta | delta-sharing-client_2.13 | 1.3.11 |
| io.dropwizard.metrics | metrics-annotation | 4.2.37 |
| io.dropwizard.metrics | metrics-core | 4.2.37 |
| io.dropwizard.metrics | metrics-graphite | 4.2.37 |
| io.dropwizard.metrics | metrics-healthchecks | 4.2.37 |
| io.dropwizard.metrics | метрики-jetty10 | 4.2.37 |
| io.dropwizard.metrics | metrics-jmx | 4.2.37 |
| io.dropwizard.metrics | metrics-json | 4.2.37 |
| io.dropwizard.metrics | metrics-jvm | 4.2.37 |
| io.dropwizard.metrics | metrics-servlets | 4.2.37 |
| io.github.java-diff-utils | java-diff-utils | 4.15 |
| io.netty | netty-all | 4.2.7.Final |
| io.netty | netty-buffer | 4.2.7.Final |
| io.netty | netty-codec | 4.2.7.Final |
| io.netty | netty-codec-base | 4.2.7.Final |
| io.netty | netty-codec-classes-quic | 4.2.7.Final |
| io.netty | netty-codec-compression | 4.2.7.Final |
| io.netty | netty-codec-http | 4.2.7.Final |
| io.netty | netty-codec-http2 | 4.2.7.Final |
| io.netty | netty-codec-http3 | 4.2.7.Final |
| io.netty | netty-codec-маршаллинг | 4.2.7.Final |
| io.netty | netty-codec-native-quic | 4.2.7.Final-linux-aarch_64 |
| io.netty | netty-codec-native-quic | 4.2.7.Final-linux-x86_64 |
| io.netty | netty-codec-native-quic | 4.2.7.Final-osx-aarch_64 |
| io.netty | netty-codec-native-quic | 4.2.7.Final-osx-x86_64 |
| io.netty | netty-codec-native-quic | 4.2.7.Final-windows-x86_64 |
| io.netty | netty-codec-protobuf | 4.2.7.Final |
| io.netty | netty-codec-socks | 4.2.7.Final |
| io.netty | netty-common | 4.2.7.Final |
| io.netty | netty-handler | 4.2.7.Final |
| io.netty | netty-handler-proxy | 4.2.7.Final |
| io.netty | netty-resolver | 4.2.7.Final |
| io.netty | netty-tcnative-boringssl-static | 2.0.74.Final-db-r0-linux-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.74.Final-db-r0-linux-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.74.Final-db-r0-osx-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.74.Final-db-r0-osx-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.74.Final-db-r0-windows-x86_64 |
| io.netty | netty-tcnative-classes | 2.0.74.Final |
| io.netty | netty-transport | 4.2.7.Final |
| io.netty | netty-transport-classes-epoll | 4.2.7.Final |
| io.netty | netty-transport-classes-io_uring | 4.2.7.Final |
| io.netty | netty-transport-classes-kqueue | 4.2.7.Final |
| io.netty | netty-transport-native-epoll | 4.2.7.Final |
| io.netty | netty-transport-native-epoll | 4.2.7.Final-linux-aarch_64 |
| io.netty | netty-transport-native-epoll | 4.2.7.Final-linux-riscv64 |
| io.netty | netty-transport-native-epoll | 4.2.7.Final-linux-x86_64 |
| io.netty | netty-transport-native-io_uring | 4.2.7.Final-linux-aarch_64 |
| io.netty | netty-transport-native-io_uring | 4.2.7.Final-linux-riscv64 |
| io.netty | netty-transport-native-io_uring | 4.2.7.Final-linux-x86_64 |
| io.netty | netty-transport-native-kqueue | 4.2.7.Final-osx-aarch_64 |
| io.netty | netty-transport-native-kqueue | 4.2.7.Final-osx-x86_64 |
| io.netty | netty-transport-native-unix-common | 4.2.7.Final |
| io.opencensus | opencensus-api | 0.31.1 |
| io.opencensus | opencensus-contrib-http-util | 0.31.1 |
| io.prometheus | simpleclient | 0.16.1-databricks |
| io.prometheus | simpleclient_common | 0.16.1-databricks |
| io.prometheus | simpleclient_dropwizard | 0.16.1-databricks |
| io.prometheus | simpleclient_pushgateway | 0.16.1-databricks |
| io.prometheus | simpleclient_servlet | 0.16.1-databricks |
| io.prometheus | simpleclient_servlet_common | 0.16.1-databricks |
| io.prometheus | simpleclient_tracer_common | 0.16.1-databricks |
| io.prometheus | simpleclient_tracer_otel | 0.16.1-databricks |
| io.prometheus | simpleclient_tracer_otel_agent | 0.16.1-databricks |
| io.prometheus.jmx | collector | 0.18.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.3.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.14.0 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pickle | 1.5 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.13.1 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.10.11 |
| org.apache.ant | ant-jsch | 1.10.11 |
| org.apache.ant | ant-launcher | 1.10.11 |
| org.apache.arrow | Сжатие со стрелками | 18.3.0 |
| org.apache.arrow | arrow-format | 18.3.0 |
| org.apache.arrow | arrow-memory-core | 18.3.0 |
| org.apache.arrow | arrow-memory-netty | 18.3.0 |
| org.apache.arrow | arrow-memory-netty-buffer-patch | 18.3.0 |
| org.apache.arrow | arrow-vector | 18.3.0 |
| org.apache.avro | avro | 1.12.1 |
| org.apache.avro | avro-ipc | 1.12.1 |
| org.apache.avro | avro-mapred | 1.12.1 |
| org.apache.commons | commons-collections4 | 4.5.0 |
| org.apache.commons | commons-compress | 1.28.0 |
| org.apache.commons | commons-configuration2 | 2.11.0 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.19.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.14.0 |
| org.apache.curator | curator-client | 5.9.0 |
| org.apache.curator | curator-framework | 5.9.0 |
| org.apache.curator | curator-recipes | 5.9.0 |
| org.apache.datasketches | datasketches-java | 6.2.0 |
| org.apache.datasketches | datasketches-memory | 3.0.2 |
| org.apache.derby | derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-runtime | 3.4.2 |
| org.apache.hive | hive-beeline | 2.3.10 |
| org.apache.hive | hive-cli | 2.3.10 |
| org.apache.hive | hive-jdbc | 2.3.10 |
| org.apache.hive | hive-llap-client | 2.3.10 |
| org.apache.hive | hive-llap-common | 2.3.10 |
| org.apache.hive | hive-serde | 2.3.10 |
| org.apache.hive | hive-shims | 2.3.10 |
| org.apache.hive | hive-storage-api | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.10 |
| org.apache.hive.shims | hive-shims-common | 2.3.10 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.10 |
| org.apache.httpcomponents | httpclient | 4.5.14 |
| org.apache.httpcomponents | httpcore | 4.4.16 |
| org.apache.ivy | ivy | 2.5.3 |
| org.apache.logging.log4j | log4j-1.2-api | 2.24.3 |
| org.apache.logging.log4j | log4j-api | 2.24.3 |
| org.apache.logging.log4j | log4j-core | 2.24.3 |
| org.apache.logging.log4j | log4j-layout-template-json | 2.24.3 |
| org.apache.logging.log4j | log4j-slf4j2-impl | 2.24.3 |
| org.apache.orc | orc-core | 2.2.0-shaded-protobuf |
| org.apache.orc | orc-format | 1.1.1-shaded-protobuf |
| org.apache.orc | orc-mapreduce | 2.2.0-shaded-protobuf |
| org.apache.orc | orc-shims | 2.2.0 |
| org.apache.poi | poi | 5.4.1 |
| org.apache.poi | poi-ooxml | 5.4.1 |
| org.apache.poi | poi-ooxml-full | 5.4.1 |
| org.apache.poi | poi-ooxml-lite | 5.4.1 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.16.0 |
| org.apache.ws.xmlschema | xmlschema-core | 2.3.1 |
| org.apache.xbean | xbean-asm9-shaded | 4.28 |
| org.apache.xmlbeans | xmlbeans | 5.3.0 |
| org.apache.yetus | audience-annotations | 0.13.0 |
| org.apache.zookeeper | zookeeper | 3.9.4 |
| org.apache.zookeeper | zookeeper-jute | 3.9.4 |
| org.checkerframework | checker-qual | 3.43.0 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-alpn-client | 10.0.26 |
| org.eclipse.jetty | jetty-client | 10.0.26 |
| org.eclipse.jetty | jetty-http | 10.0.26 |
| org.eclipse.jetty | jetty-io | 10.0.26 |
| org.eclipse.jetty | jetty-jndi | 10.0.26 |
| org.eclipse.jetty | jetty-plus | 10.0.26 |
| org.eclipse.jetty | jetty-proxy | 10.0.26 |
| org.eclipse.jetty | jetty-security | 10.0.26 |
| org.eclipse.jetty | jetty-server | 10.0.26 |
| org.eclipse.jetty | jetty-servlet | 10.0.26 |
| org.eclipse.jetty | jetty-servlets | 10.0.26 |
| org.eclipse.jetty | jetty-util | 10.0.26 |
| org.eclipse.jetty | jetty-webapp | 10.0.26 |
| org.eclipse.jetty | jetty-xml | 10.0.26 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.41 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.41 |
| org.glassfish.jersey.core | jersey-client | 2.41 |
| org.glassfish.jersey.core | jersey-common | 2.41 |
| org.glassfish.jersey.core | jersey-server | 2.41 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.41 |
| org.hibernate.validator | hibernate-validator | 6.2.5.Final |
| org.ini4j | ini4j | 0.5.4 |
| org.javassist | javassist | 3.29.2-GA |
| org.jboss.logging | jboss-logging | 3.4.1.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jline | jline | 3.27.1-jdk8 |
| org.joda | joda-convert | 1.7 |
| org.json4s | json4s-ast_2.13 | 4.0.7 |
| org.json4s | json4s-core_2.13 | 4.0.7 |
| org.json4s | json4s-jackson-core_2.13 | 4.0.7 |
| org.json4s | json4s-jackson_2.13 | 4.0.7 |
| org.json4s | json4s-scalap_2.13 | 4.0.7 |
| org.locationtech.jts | jts-core | 1.20.0 |
| org.lz4 | lz4-java | 1.8.0-databricks-1 |
| org.mlflow | mlflow-spark_2.13 | 2.22.1 |
| org.objenesis | objenesis | 3,4 |
| org.postgresql | postgresql | 42.6.1 |
| org.roaringbitmap | RoaringBitmap | 1.2.1 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.13 | 2.13.16 |
| org.scala-lang | scala-library_2.13 | 2.13.16 |
| org.scala-lang | scala-reflect_2.13 | 2.13.16 |
| org.scala-lang.modules | scala-collection-compat_2.13 | 2.11.0 |
| org.scala-lang.modules | scala-java8-compat_2.13 | 0.9.1 |
| org.scala-lang.modules | scala-parallel-collections_2.13 | 1.2.0 |
| org.scala-lang.modules | scala-parser-combinators_2.13 | 2.4.0 |
| org.scala-lang.modules | scala-xml_2.13 | 2.4.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.13 | 1.18.0 |
| org.scalactic | scalactic_2.13 | 3.2.19 |
| org.scalanlp | breeze-macros_2.13 | 2.1.0 |
| org.scalanlp | breeze_2.13 | 2.1.0 |
| org.scalatest | scalatest-compatible | 3.2.19 |
| org.scalatest | scalatest-core_2.13 | 3.2.19 |
| org.scalatest | scalatest-diagrams_2.13 | 3.2.19 |
| org.scalatest | scalatest-featurespec_2.13 | 3.2.19 |
| org.scalatest | scalatest-flatspec_2.13 | 3.2.19 |
| org.scalatest | scalatest-freespec_2.13 | 3.2.19 |
| org.scalatest | scalatest-funspec_2.13 | 3.2.19 |
| org.scalatest | scalatest-funsuite_2.13 | 3.2.19 |
| org.scalatest | scalatest-matchers-core_2.13 | 3.2.19 |
| org.scalatest | scalatest-mustmatchers_2.13 | 3.2.19 |
| org.scalatest | scalatest-propspec_2.13 | 3.2.19 |
| org.scalatest | scalatest-refspec_2.13 | 3.2.19 |
| org.scalatest | scalatest-shouldmatchers_2.13 | 3.2.19 |
| org.scalatest | scalatest-wordspec_2.13 | 3.2.19 |
| org.scalatest | scalatest_2.13 | 3.2.19 |
| org.slf4j | jcl-over-slf4j | 2.0.16 |
| org.slf4j | jul-to-slf4j | 2.0.16 |
| org.slf4j | slf4j-api | 2.0.16 |
| org.slf4j | slf4j-simple | 1.7.25 |
| org.threeten | threeten-extra | 1.8.0 |
| org.tukaani | xz | 1.10 |
| org.typelevel | algebra_2.13 | 2.8.0 |
| org.typelevel | cats-kernel_2.13 | 2.8.0 |
| org.typelevel | spire-macros_2.13 | 0.18.0 |
| org.typelevel | spire-platform_2.13 | 0.18.0 |
| org.typelevel | spire-util_2.13 | 0.18.0 |
| org.typelevel | spire_2.13 | 0.18.0 |
| org.wildfly.openssl | wildfly-openssl | 1.1.3.Final |
| org.xerial | sqlite-jdbc | 3.42.0.0 |
| org.xerial.snappy | snappy-java | 1.1.10.3 |
| org.yaml | snakeyaml | 2.0 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.cryptools | AmazonCorrettoCryptoProvider | 2.5.0-linux-x86_64 |
| stax | stax-api | 1.0.1 |