Поделиться через

Databricks Runtime 17.2

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 17.2, на базе Apache Spark 4.0.0.

Azure Databricks выпустила эту версию в сентябре 2025 года.

Новые функции и улучшения

LIKE поддерживает параметры сортировки UTF8_LCASE

Теперь оператор LIKE поддерживает параметр сортировки UTF8_LCASE, что позволяет выполнять сопоставление без учета регистра.

st_exteriorring Функция теперь поддерживается

Теперь функцию st_exteriorring можно использовать для извлечения внешней границы многоугольника и возврата ее в виде строки. См. st_exteriorring функцию.

Отображение сведений о pushdown в EXPLAIN пользовательском интерфейсе Spark для удаленных проверок

Команда EXPLAIN и пользовательский интерфейс Spark для RemoteSparkConnectScan выделенных вычислений теперь отображают предикаты, агрегаты, группировку по предложениям, ограничениям и примерам, которые отправляются в удаленную проверку.

Объявление нескольких сеансов или локальных переменных в одной DECLARE инструкции

В Databricks Runtime 17.2 и более поздних версиях можно объявить несколько сеансов или локальных переменных одного типа и значения по умолчанию в одной DECLARE инструкции. См DECLARE VARIABLE . и инструкцию BEGIN END составной инструкции.

Ключевое слово поддержки TEMPORARY для создания представления метрик

Теперь при создании представления метрик можно использовать ключевое TEMPORARY слово. Временные представления метрик отображаются только в созданном сеансе и удаляются при завершении сеанса. См. CREATE VIEW.

Поддержка дополнительных команд с помощью точного управления доступом

Более точное управление доступом на выделенных вычислительных ресурсах теперь поддерживает FSCK REPAIR TABLE и DESCRIBE DETAIL команды.

Выборочно и атомарно заменять данные INSERT REPLACE USING и INSERT REPLACE ON (GA)

INSERT REPLACE USING и INSERT REPLACE ON теперь общедоступны для Databricks Runtime 17.2. Обе команды SQL заменяют часть таблицы результатом запроса.

INSERT REPLACE USING заменяет строки, когда USING столбцы сравнивают равенство. INSERT REPLACE ON заменяет строки, если они соответствуют определяемой пользователем условию.

Ознакомьтесь INSERT со ссылкой на язык SQL и выборочно перезаписывать данные с помощью Delta Lake.

Использование собственного ввода-вывода для LokiFileSystem.getFileStatus S3

LokiFileSystem.getFileStatus Теперь использует собственный стек ввода-вывода для трафика Amazon S3 и возвращает org.apache.hadoop.fs.FileStatus объекты вместо shaded.databricks.org.apache.hadoop.fs.s3a.S3AFileStatusнего.

Режим ANSI, включенный по умолчанию для API Pandas в Spark

ANSI_MODE теперь включен по умолчанию для API Pandas в Spark compute.ansi_mode_support=True, что обеспечивает четность соответствия ANSI с собственными пандами. Параметр compute.fail_on_ansi_mode по-прежнему применяется, если compute.ansi_mode_support задано значение False.

Автозагрузчик выводит столбцы разделов в режиме singleVariantColumn

Автозагрузчик теперь выводит столбцы секционирования из путей к файлам при приеме данных в качестве полуструктурированного типа варианта с помощью singleVariantColumn параметра. Ранее столбцы секционирования не были обнаружены автоматически. См. параметры автозагрузчика.

Изменения поведения

DESCRIBE CONNECTION отображение параметров среды для подключений JDBC

Azure Databricks теперь включает пользовательские параметры среды в DESCRIBE CONNECTION выходных данных для подключений JDBC, поддерживающих пользовательские драйверы и выполняющиеся в изоляции. Другие типы подключений остаются неизменными.

Параметр усечения единого журнала во время миграции управляемых таблиц

Теперь вы можете усечь единую историю при переносе таблиц с поддержкой Uniform/Iceberg.ALTER TABLE...SET MANAGED Это упрощает миграцию и сокращает время простоя по сравнению с отключением и повторной включением единообразия вручную.

Синтаксис SQL для параметров чтения Delta в потоковых запросах

Теперь можно указать параметры чтения delta для потоковых запросов на основе SQL с помощью WITH предложения. Рассмотрим пример.

SELECT * FROM STREAM tbl WITH (SKIPCHANGECOMMITS=true, STARTINGVERSION=X);

Правильные результаты для split пустого регулярного и положительного ограничения

Azure Databricks теперь возвращает правильные результаты при использовании split function с пустым регулярным выражением и положительным ограничением. Ранее функция неправильно усечена оставшуюся строку вместо того, чтобы включить ее в последний элемент.

Исправление url_decode и try_url_decode обработка ошибок в Photon

В Photon try_url_decode() и url_decode() теперь failOnError = false возвращается NULL для недопустимых строк, закодированных в URL-адресе, вместо сбоя запроса.

Общая среда выполнения для определяемых пользователем пользователей в каталоге Unity

Azure Databricks теперь использует среду выполнения для определяемых пользователем функций таблиц Python (UDTFs) от того же владельца и сеанса Spark. Необязательное STRICT ISOLATION предложение доступно для отключения общего доступа для определяемых пользователем функций с побочными эффектами, например изменение переменных среды или выполнение произвольного кода.

По умолчанию включено отслеживание изменений строк для новых таблиц

Azure Databricks теперь включает отслеживание строк по умолчанию для всех новых таблиц, управляемых каталогом Unity. Существующие таблицы не затрагиваются и поддерживают текущие параметры отслеживания строк.

TABLE поддержка аргументов для Python UDTF в Unity Catalog

UDTFs каталога Unity для Python поддерживают TABLE аргументы, что позволяет функциям принимать целые таблицы в качестве входных параметров, что позволяет выполнять более сложные преобразования данных и агрегации в структурированных наборах данных. См. определяемые пользователем функции таблиц Python (ОПФТ) в каталоге Unity. (Назадпортирован из 17.3 LTS).

Обновления библиотек

Обновленные библиотеки Python:

В этой версии библиотеки Python не были обновлены.

Обновленные библиотеки R:

В этой версии не обновлялись библиотеки R.

Обновленные библиотеки Java:

  • io.delta.delta-sharing-client_2.13 от 1.3.3 до 1.3.5

Apache Spark

Databricks Runtime 17.2 включает Apache Spark 4.0.0. Этот выпуск включает все исправления Spark и улучшения, включенные в предыдущую версию, а также следующие:

  • SPARK-53183 Использование Java Files.readString вместо o.a.s.sql.catalyst.util.fileToString
  • SPARK-51817 Повторно введите поля ansiConfig в messageParameters CAST_INVALID_INPUT и CAST_OVERFLOW
  • SPARK-53124 Обрезка ненужных полей из JsonTuple
  • SPARK-53106 Добавление тестов эволюции схемы для наборов подключений TWS Scala Spark
  • SPARK-53201 Используйте SparkFileUtils.contentEquals вместо Files.equal
  • SPARK-53308 Не удаляйте псевдонимы в RemoveRedundantAliases, что приведет к дублированию
  • SPARK-53241 Поддержка createArray в SparkCollectionUtils
  • SPARK-53239 Улучшение MapSort и SortArray производительность с помощью parallelSort
  • SPARK-53184 Исправление расплавления() при сочетании строк и чисел столбцов значений
  • SPARK-53144 Бесплатный побочный эффект CreateViewCommand в SparkConnectPlanner
  • SPARK-53303 Используйте пустой кодировщик состояния, если начальное состояние не предоставляется в TWS
  • SPARK-52917 Поддержка чтения для включения кругового пути для двоичного файла в формате XML
  • SPARK-53110 Реализация функции time_trunc в PySpark
  • SPARK-53107 Реализация функции time_trunc в Scala
  • SPARK-52146 Обнаружение циклических ссылок на функции в определяемых пользователем SQL файлах
  • SPARK-52469 Использование API JEP 223 для обработки версии Java
  • SPARK-53094 Исправление CUBE с агрегированными предложениями HAVING
  • SPARK-51874 Добавление TypedConfigBuilder для перечисления Scala
  • SPARK-53287 Добавление руководства по миграции ANSI
  • SPARK-43100 Метрики перетасовки на основе push-уведомлений должны быть десериализированы правильно
  • SPARK-53045 ОПИСАНИЕ EXTENDED должно быть устойчивым к повреждению метаданных
  • SPARK-53114 Поддержка join в JavaUtils
  • SPARK-53297 Исправление декларативной декларативной документации API конвейеров StreamingTable
  • SPARK-53181 Включение тестов документации в ANSI
  • SPARK-52482 Улучшение обработки исключений для чтения определенных поврежденных файлов zstd
  • SPARK-52990 Поддержка StringSubstitutor
  • SPARK-51874 Добавление TypedConfigBuilder для перечисления Scala
  • SPARK-53169 Удаление комментариев, связанных с "Set the logger level of File Appender to" из log4j2.properties
  • SPARK-53080 Поддержка cleanDirectory в SparkFileUtils и JavaUtils
  • SPARK-53045 ОПИСАНИЕ EXTENDED должно быть устойчивым к повреждению метаданных
  • SPARK-530000 Переименование StringUtils.scalaStringConcat.scala в sql/api модуль
  • SPARK-52952 Добавление скрипта разработки типов UDF PySpark
  • SPARK-52998 Несколько переменных внутри объявления
  • SPARK-51817 Повторно введите поля ansiConfig в messageParameters CAST_INVALID_INPUT и CAST_OVERFLOW
  • SPARK-52820 Запись полных планов в золотых файлах
  • SPARK-53274 Поддержка pushdown слева и правого соединения в JDBCScanBuilder
  • SPARK-52110 Реализация поддержки синтаксиса SQL для конвейеров
  • SPARK-52950 Включение режима ANSI в DataSourceV2StrategySuite
  • SPARK-52947 Исправление пути изображения в руководстве по программированию декларативных конвейеров
  • SPARK-52592 Поддержка создания ps. Серия из ps. Серия
  • SPARK-53301 Дифференцировать указания типов pandas UDF и стрелка UDF
  • SPARK-53146 Освобождение побочных эффектов MergeIntoTable в SparkConnectPlanner
  • SPARK-53166 Использование SparkExitCode.EXIT_FAILURE в объекте SparkPipelines
  • SPARK-53288 Исправлена ошибка утверждения с глобальным ограничением потоковой передачи
  • SPARK-52394 Исправлена ошибка автозамены по нулю в режиме ANSI
  • SPARK-51555 Добавление функции time_diff()
  • SPARK-52948 Включение test_np_spark_compat_frame в ANSI
  • SPARK-53134 Очистка неиспользуемых импортов ANSI в тестах
  • SPARK-52593 Избегайте CAST_INVALID_INPUT MultiIndex.to_seriesи Series.dotDataFrame.dot в режиме ANSI
  • SPARK-53291 Исправлена возможность null для столбца значений
  • SPARK-53097 Освобождение побочных эффектов WriteOperationV2 в SparkConnectPlanner
  • SPARK-53305 Поддержка TimeType в createDataFrame
  • SPARK-52914 Поддержка On-Demand Log Loading скользящего журнала в History Server
  • SPARK-33538 Прямая отправка предикатов IN/NOT в хранилище метаданных Hive
  • SPARK-52849 Добавить stringifyException в o.a.s.util.Utils
  • SPARK-52771 Исправление расширения типа float32 в truediv/floordiv
  • SPARK-52502 Общие сведения о количестве потоков
  • SPARK-52788 Исправлена ошибка преобразования двоичного значения в BinaryType в XML
  • SPARK-53123 Поддержка getRootCause в SparkErrorUtils
  • SPARK-53129 Улучшение SparkShell импорта java.net._ по умолчанию
  • SPARK-53061 Поддержка copyFileToDirectory в SparkFileUtils
  • SPARK-52683 Поддержка ExternalCatalog alterTableSchema
  • SPARK-52871 Слияние o.a.s.sql.catalyst.util.SparkStringUtils в o.a.s.util.SparkStringUtils
  • SPARK-52817 Исправление Like производительности выражений
  • SPARK-52545 Стандартизация двойных кавычек для выполнения спецификации SQL
  • SPARK-52711 Исправление расширения типа float32 в anSI mul/rmul
  • SPARK-52615 Замените File.mkdirs на Utils.createDirectory
  • SPARK-52381 JsonProtocol: только примите подклассы SparkListenerEvent
  • SPARK-52613 Восстановление полного стека при исключении попадания HBase/Hive DelegationTokenProvider
  • SPARK-52651 Обработка определяемого пользователем типа в вложенный columnVector
  • SPARK-52611 Исправлена версия SQLConf для исключенияSubqueryRefsFromRemoveRedundantAliases...
  • SPARK-52552 Пропуск принудительного применения ограничений CHECK для удаления векторов удаления
  • Параметр поддержки -i-I spark-shell 2.13
  • SPARK-52492 Сделать InMemoryRelation.convertToColumnarIfPossible настраиваемым
  • SPARK-52451 Освобождение побочных эффектов WriteOperation в SparkConnectPlanner
  • SPARK-53272 Логика отправки рефакторинга SPJ из BatchScanExec
  • SPARK-53071 Поддержка copyFile в SparkFileUtils
  • SPARK-51415 Поддержка типа времени по make_timestamp()
  • SPARK-51554 Добавление функции time_trunc()
  • SPARK-52426 Поддержка перенаправления stdout/stderr в систему ведения журнала
  • SPARK-51834 Поддержка комплексного управления ограничениями таблицы
  • SPARK-53063 Реализация и вызов новых API в FileCommitProtocol вместо нерекомендуемого
  • Spark-52546 проверяет sparkContext, если при выполнении блока кода catch в execute(), в противном случае возвращается неправильное состояние.
  • SPARK-53023 Удаление commons-io зависимостей из sql/api модуля
  • SPARK-52396 Корневой каталог артефакта должен использовать tmpdir
  • SPARK-53131 Улучшение SparkShell импорта java.nio.file._ по умолчанию
  • SPARK-42322 Назначение имени to_LEGACY_ERROR_TEMP_2235
  • SPARK-51834 Поддержка комплексного управления ограничениями таблицы
  • SPARK-52484 Пропуск утверждения child.supportsColumnar с стороны драйвера в ColumnarToRowExec
  • SPARK-52384 Исправление ошибки Connect должно быть нечувствительным для параметров JDBC
  • SPARK-52034 Добавление общих методов в признак SparkOperation для операций thriftserver
  • SPARK-53031 Поддержка getFile в SparkFileUtils
  • SPARK-52976 Исправлено, что UDF Python не принимает параметры сортировки в качестве входного парам/возвращаемого типа (17.x)
  • SPARK-52943 Включение arrow_cast для всех типов EDF UDF pandas
  • SPARK-53263 Поддержка TimeType в df.toArrow
  • SPARK-53141 Добавление API-интерфейсов для получения размера памяти и размера памяти offheap из профиля ресурса
  • SPARK-53259 Исправление сообщения для INVALID_UDF_EVAL_TYPE
  • SPARK-53167 Средство запуска Spark isRemote также учитывает файл свойств
  • SPARK-53165 Добавлять SparkExitCode.CLASS_NOT_FOUND
  • SPARK-53171 Повторение улучшения UTF8String
  • SPARK-53170 Улучшено SparkUserAppException , чтобы иметь cause параметр
  • SPARK-52989 Добавление явного API close() в итераторы хранилища состояний
  • SPARK-53074 Избегайте частичного кластеризации в SPJ для удовлетворения требуемого распределения дочернего элемента
  • SPARK-52252 Кодировщики ScalaUDF в вложенных запросах должны быть разрешены
  • SPARK-53244 Не сохраняйте конференц-связи с поддержкой двойного запуска и предварительно включенным режимом во время создания представления
  • SPARK-53192 Всегда кэшировать источник данных в кэше плана Spark Connect
  • SPARK-51813 Добавьте ненуляемый defaultCachedBatchKryoSerializer, чтобы избежать распространения значений NULL в DefaultCachedBatch serde
  • SPARK-52904 Повторное применение "[SC-202233][python] Enable ConvertToArrowArrayS...
  • SPARK-53253 Исправление регистра UDF типа SQL_SCALAR_ARROW_ITER_UDF
  • SPARK-53243 Вывод списка поддерживаемых типов eval в узлах со стрелками
  • SPARK-53130 Исправление toJson поведения типов строк с сортировкой
  • SPARK-53003 Поддержка strip в SparkStringUtils
  • SPARK-51902 Синхронизация ОСS: принудительное ограничение проверки при вставке таблиц
  • SPARK-52047 Создание PySparkValueError для неподдерживаемых типов графиков
  • SPARK-53004 Поддержка abbreviate в SparkStringUtils
  • SPARK-53066 Улучшение EXPLAIN выходных данных для pushdown соединения DSv2
  • SPARK-30848 Удаление productHash из TreeNode
  • SPARK-53046 Использование Java readAllBytes вместо IOUtils.toByteArray
  • SPARK-53206 Используйте SparkFileUtils.move вместо com.google.common.io.Files.move
  • SPARK-53066 Улучшение EXPLAIN выходных данных для pushdown соединения DSv2
  • SPARK-53069 Исправление неправильных метрик хранилища состояний с помощью семейств виртуальных столбцов
  • SPARK-52904 Включение convertToArrowArraySafely по умолчанию [17.x]
  • Spark-52821 add int-DecimalType> pyspark udf return type coercion
  • SPARK-51562 Добавление time функции
  • SPARK-52971 Ограничение размера очереди рабочей роли Python бездействия
  • SPARK-53057 Поддержка sizeOf в SparkFileUtils и JavaUtils
  • SPARK-53040 Запрет самонаправляемых ссылок внутри самых верхних ТС В Рекурсивных ТС
  • SPARK-53104 Введите ansi_mode_context, чтобы избежать нескольких проверок конфигурации на вызов API
  • SPARK-47547 Добавьте BloomFilter версию 2 и используйте ее в качестве значения по умолчанию
  • SPARK-53098DeduplicateRelations Не следует переназначать выражения, если старые ExprId все еще существуют в выходных данных
  • SPARK-53049 Поддержка toString в SparkStreamUtils
  • SPARK-53062 Поддержка deleteQuietly в SparkFileUtils и JavaUtils
  • SPARK-53070 Поддержка is(Not)?Empty в SparkCollectionUtils
  • SPARK-53020 Args JPMS также должны применяться к процессу, отличному от SparkSubmit
  • SPARK-52968 Выдача дополнительных метрик хранилища состояний
  • SPARK-52975 Упрощение имен полей в sql соединения pushdown
  • SPARK-52926 Добавлена SQLMetric для удаленной длительности получения схемы.
  • SPARK-53059 UDF со стрелками не требуется зависеть от pandas
  • SPARK-52646 Избегайте CAST_INVALID_INPUT __eq__ в режиме ANSI
  • SPARK-52622 Избегайте CAST_INVALID_INPUT DataFrame.melt в режиме ANSI
  • SPARK-52985 Вызов TypeError для панды numpy операндов в операторах сравнения
  • SPARK-52580 Избегайте CAST_INVALID_INPUT replace в режиме ANSI
  • SPARK-52549 Отключение рекурсивных ссылок на CTE из функций окна и внутри сортировки
  • SPARK-52895 Не добавляйте повторяющиеся элементы в resolveExprsWithAggregate
  • SPARK-50748 Исправлена проблема с состоянием гонки, которая происходит при прерывании операций
  • SPARK-52737 Предикат pushdown и количество приложений в FsHistoryProvider при перечислении приложений
  • SPARK-53018 СтрелкаStreamArrowUDFSerializer должна учитывать аргумент arrow_cast
  • SPARK-53013 Исправлено исправление UDTF Python, оптимизированное со стрелками, не возвращающее строк при боковом соединении
  • SPARK-51834 Синхронизация ОСS: поддержка сквозного ограничения таблицы alter add/drop
  • SPARK-52921 Укажите outputPartitioning для UnionExec для одного и того же выходного элемента, что и дочерние операторы
  • SPARK-52908 Предотвращение конфликтов имен переменных итератора с именами меток в пути к корню AST
  • SPARK-52954 Стрелка UDF поддерживает приведение возвращаемого типа
  • SPARK-52925 Возвращает правильное сообщение об ошибке для самонаправляемых ссылок в rCTEs
  • SPARK-52889 Реализация функции current_time в PySpark
  • SPARK-52675 Прерывание зависания обработчиков машинного обучения в тестах
  • SPARK-52959 Поддержка определяемого пользователем протокола UDT в UDTF, оптимизированном для стрелки
  • SPARK-52962 BroadcastExchangeExec не должен сбрасывать метрики
  • SPARK-52956 Сохранение метаданных псевдонима при сворачивании проектов
  • SPARK-52890 Реализация функций to_time и try_to_time в PySpark
  • SPARK-528888 Реализация функции make_time в PySpark
  • SPARK-52892 Поддержка TIME в часах, минутах и второй функциях в PySpark
  • SPARK-52837 Поддержка TimeType в pyspark
  • SPARK-52023 Исправление повреждения данных/segfault, возвращающее параметр[Продукт] из udaf
  • SPARK-52955 Изменение типов возвращаемых значений WindowResolution.resolveOrder и WindowResolution.resolveFrame в WindowExpression
  • SPARK-52166 Добавление поддержки PipelineEvents
  • SPARK-51834 Исправление: удаление допустимого из toDDL
  • SPARK-52735 Исправление отсутствующих условий ошибок для определяемых пользователем SQL файлов
  • SPARK-51834 Синхронизация осs поддержки сквозного создания и замены таблицы ограничением
  • SPARK-51834 Синхронизация вызовов с обновлением OSS ResolvedIdentifier
  • SPARK-52929 Поддержка соединителя MySQL и SQLServer для pushdown соединения DSv2
  • SPARK-52448 Добавление упрощенного выражения структуры.Литерала
  • SPARK-52882 Реализация функции current_time в Scala
  • SPARK-52905 UDF со стрелкой для окна
  • SPARK-52876 Исправление опечатки bufferbody в ChunkFetchSuccess.toString
  • SPARK-52883 Реализация функций to_time и try_to_time в Scala
  • SPARK-52751 Не проверяйте имя столбца в dataframe['col_name']
  • SPARK-52791 Исправлена ошибка при выводе определяемого пользователем элемента с пустым первым элементом
  • SPARK-52686Union следует разрешить только в том случае, если дубликаты отсутствуют
  • SPARK-52881 Реализация функции make_time в Scala
  • SPARK-52919 Исправлено принудительное присоединение DSv2, чтобы использовать ранее псевдонимный столбец
  • SPARK-52866 Добавление поддержки для try_to_date
  • SPARK-52846 Добавление метрики в JDBCRDD в течение длительного времени для получения набора результатов
  • SPARK-52859 Добавление признака SparkSystemUtils
  • SPARK-52823 Поддержка pushdown соединения DSv2 для соединителя Oracle
  • SPARK-52165 Настройка шаблонов сборки для проекта конвейеров
  • SPARK-52869 Добавление проверки FrameLessOffsetWindowFunction для проверкиResolvedWindowExpression для повторного использования в однопроходном анализаторе
  • SPARK-52885 Реализация часов, минут и второй функций в Scala для типа TIME
  • SPARK-52903 Обрезать псевдонимы, отличные от верхнего уровня, до разрешения LCA
  • SPARK-52832 Исправление идентификатора диалекта JDBC
  • SPARK-52870 Правильные имена переменных кавычки в FOR инструкции
  • SPARK-52859 Добавление SparkSystemUtils признака
  • SPARK-52900 Использование SparkStringUtils.stringToSeq в FsHistoryProvider
  • SPARK-52809 Не удерживайте ссылки на средство чтения и итератора для всех секций в прослушивателях завершения задач для обновления метрик
  • SPARK-52815 Улучшение SparkClassUtils поддержки getAllInterfaces
  • SPARK-52795 Включение runId в журналы хранилища состояний
  • SPARK-52779 Поддержка литерала TimeType в Connect
  • SPARK-52899 Исправление теста QueryExecutionErrorsSuite для регистрации обратной записи H2Dialect
  • SPARK-52862 Исправлена проверка допустимости null Decimal('NaN')
  • SPARK-52214 UDF со стрелками для агрегирования
  • SPARK-52787 Реорганизация потоковой передачи dir вокруг областей выполнения и контрольных точек
  • SPARK-51564 Синтаксический анализ ВРЕМЕНИ в формате 12 часов
  • SPARK-52859 Добавление SparkSystemUtils признака
  • SPARK-51562 Добавление time функции
  • SPARK-52850 Пропуск вызовов преобразований, если функция идентификации
  • SPARK-52863 Очистка путей кода для старых версий pandas
  • SPARK-52516 Не удерживайте предыдущую итераторную ссылку после перехода к следующему файлу в ParquetPartitionReaderFactory
  • SPARK-52848 Избегайте приведения в приведение Double time/TIMESTAMP к DECIMAL
  • SPARK-52770 Тип поддержки TIME при подключении proto
  • SPARK-52842 Новые функциональные возможности и исправления ошибок для однопроходного анализатора
  • SPARK-52620 Поддержка приведения времени к ДЕСЯТИЧНОМУ
  • SPARK-52783 Логика проверки рефакторинга окнаFunction из checkAnalysis для повторного использования в однопроходном анализаторе
  • SPARK-51695 Синхронизация OSS create/replace/alter table for unique constraint via DSv2
  • SPARK-51695 Ограничение удаления OSS синхронизации с помощью DSv2
  • SPARK-52824 Классификация ошибок CheckpointFileManager
  • SPARK-52829 Исправление LocalDataToArrowConversion.convert для правильной обработки пустых строк
  • SPARK-52811 Оптимизация ArrowTableToRowsConversion.convert для повышения производительности
  • SPARK-52796 Оптимизация LocalDataToArrowConversion.convert для повышения производительности
  • SPARK-51695 Изменения синхронного средства синтаксического анализа ограничений в OSS Alter Table
  • SPARK-52619 Приведение timeType в Целочисленный тип
  • SPARK-52187 Введение pushdown join для DSv2
  • SPARK-52782 Возвращает значение NULL из +/- в datetime с значением NULL
  • SPARK-51695 Введите изменения средства синтаксического анализа для ограничений таблиц (CHECK, PK, FK)
  • SPARK-52808spark.history.retainedApplications должно быть положительным
  • SPARK-52776 Не разделяйте поле comm в ProcfsMetricsGetter
  • SPARK-52793 Поддержка isUnix по адресу o.a.s.util.Utils
  • SPARK-52792 Удаление commons-lang3 зависимостей из network-common
  • SPARK-52797 Используйте Utils.isWindows вместо повторной оценки в PythonWorkerFactory
  • SPARK-52784 Добавление приведения TimeZoneAware в WindowFrameTypeCoercion.createBoundaryCast
  • SPARK-52725 Задержка инициализации диспетчера профилей ресурсов до загрузки подключаемого модуля
  • SPARK-52565 Принудительное разрешение порядковых порядков перед другими выражениями порядка сортировки
  • SPARK-52740 Исправление NPE в HDFSBackedStateStoreProvider с доступом к StateStoreConf.sqlConf, если версия формата контрольной точки = >2
  • SPARK-52673 Добавление обработки grpc RetryInfo в политики повторных попыток Spark Connect
  • SPARK-52724 Улучшение обработки ошибок OOM присоединения к широковещательной трансляции с помощью поддержки SHUFFLE_MERGE подсказки
  • SPARK-52781 Исправление опечатки dtyeps в internal.py
  • SPARK-52730 Хранение базовой версии драйвера и базы данных в JDBCRDD
  • SPARK-52727 Разрешение окна рефакторинга для повторного использования его в однопроходном анализаторе
  • SPARK-52695 Поддержка записи определяемого пользователем типа для формата XML-файла
  • SPARK-52722 Нерекомендуемый класс JdbcRDD
  • SPARK-51695 Введите изменения средства синтаксического анализа для ограничений таблиц (CHECK, PK, FK)
  • SPARK-52763 Вычитание времени поддержки
  • SPARK-52768 Исправление опечатки "перемещение" в pandas/series.py
  • SPARK-52730 Хранение базовой версии драйвера и базы данных в JDBCRDD
  • SPARK-52694 Добавление o.a.s.sql.Encoders#udtAPI
  • SPARK-52720 Исправление расширения типа float32 в anSI add/radd
  • SPARK-52723 Проверка имени столбца на стороне сервера
  • SPARK-52760 Исправление расширения типа float32 в anSI sub/rsub
  • SPARK-52738 Поддержка агрегирования типа TIME с помощью UDAF, когда базовый буфер является UnsafeRow
  • SPARK-52704 Упрощение взаимодействия между SQLConf и параметрами формата файлов в TextBasedFileFormats
  • SPARK-52706 Устранение несоответствий и рефакторных типов примитивов в синтаксическом анализаторе
  • SPARK-52718 Исправление расширения типа float32 в anSI rmod/mod
  • SPARK-52736 Исправление типа "перемещение" в pyspark/pandas/generic.py

Поддержка драйвера ODBC/JDBC для Azure Databricks

Databricks поддерживает драйверы ODBC/JDBC, выпущенные за последние 2 года. Скачайте недавно выпущенные драйверы и обновление (скачайте ODBC, скачайте JDBC).

Системная среда

  • Операционная система: Ubuntu 24.04.3 LTS
  • Java: Zulu17.58+21-CA
  • Scala: 2.13.16
  • Python: 3.12.3
  • R: 4.4.2
  • Delta Lake: 4.0.0

Установленные библиотеки Python

Библиотека Версия Библиотека Версия Библиотека Версия
аннотированные типы 0.7.0 anyio 4.6.2 argon2-cffi 21.3.0
argon2-cffi-связки 21.2.0 стрела 1.3.0 асттокенс 2.0.5
астунпарс 1.6.3 async-lru 2.0.4 атрибуты 24.3.0
автоматическая команда 2.2.2 azure-common 1.1.28 azure-core 1.34.0
azure-identity 1.20.0 Платформа управления Azure (azure-mgmt-core) 1.5.0 azure-mgmt-web 8.0.0
azure-storage-blob (облако сохранения Azure) 12.23.0 хранилище файлов данных Azure Data Lake 12.17.0 Вавилон 2.16.0
backports.tarfile 1.2.0 beautifulsoup4 4.12.3 черный 24.10.0
отбеливатель 6.2.0 указатель поворота 1.7.0 boto3 1.36.2
botocore 1.36.3 инструменты для кэша 5.5.1 сертификат 2025.1.31
cffi 1.17.1 chardet 4.0.0 нормализатор кодировки 3.3.2
щелчок 8.1.7 Клаудпикл 3.0.0 коммуникация 0.2.1
Contourpy 1.3.1 криптография 43.0.3 велосипедист 0.11.0
Cython 3.0.12 databricks-sdk 0.49.0 dbus-python 1.3.2
debugpy 1.8.11 декоратор 5.1.1 defusedxml 0.7.1
Deprecated 1.2.13 Дистлиб 0.3.9 Конвертация docstring в markdown 0.11
исполнение 0.8.3 Обзор аспектов 1.1.1 fastapi 0.115.12
fastjsonschema 2.21.1 файловая блокировка 3.18.0 шрифтовые инструменты 4.55.3
Полное доменное имя (FQDN) 1.5.1 fsspec 2023.5.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.20.0 google-auth (аутентификация от Google) 2.40.0
google-cloud-core (основной модуль Google Cloud) 2.4.3 облачное хранилище Google 3.1.0 google-crc32c 1.7.1
гугл-возобновляемые-медиа 2.7.2 googleapis-common-protos (общие протоколы googleapis) 1.65.0 grpcio 1.67.0
grpcio-status 1.67.0 h11 0.14.0 httpcore 1.0.2
httplib2 0.20.4 httpx 0.27.0 IDNA 3,7
importlib-metadata 6.6.0 importlib_resources 6.4.0 склонять 7.3.1
iniconfig 1.1.1 ipyflow-core 0.0.209 ipykernel 6.29.5
ipython 8.30.0 ipython-genutils (утилиты для iPython) 0.2.0 ipywidgets 7.8.1
isodate (стандартная дата ISO) 0.6.1 изодурация 20.11.0 jaraco.context 5.3.0
jaraco.functools 4.0.1 jaraco.text 3.12.1 джедаи 0.19.2
Джинджа2 3.1.5 jmespath 1.0.1 joblib 1.4.2
json5 0.9.25 Джсонпоинтер (jsonpointer) 3.0.0 jsonschema (JSON-схема) 4.23.0
jsonschema-спецификации 2023.7.1 Jupyter-события 0.10.0 jupyter-lsp 2.2.0
клиент Jupyter 8.6.3 jupyter_core (ядро Jupyter) 5.7.2 Джупитер_сервер 2.14.1
терминалы_сервера_jupyter 0.4.4 jupyterlab 4.3.4 jupyterlab-pygments 0.1.2
jupyterlab-мини-приложения 1.0.0 jupyterlab_server (сервер для JupyterLab) 2.27.3 Кивисолвер 1.4.8
launchpadlib 1.11.0 lazr.restfulclient 0.14.6 lazr.uri 1.0.6
markdown-it-py 2.2.0 MarkupSafe 3.0.2 matplotlib 3.10.0
матплотлиб-инлайн 0.1.7 МакКейб 0.7.0 mdurl 0.1.0
Мистун 2.0.4 mlflow-skinny (упрощённая версия пакета mlflow) 3.0.1 mmh3 5.1.0
more-itertools 10.3.0 msal 1.32.3 msal-extensions 1.3.1
mypy-extensions (расширения для mypy) 1.0.0 nbclient 0.8.0 Перекодировщик nbconvert 7.16.4
nbformat 5.10.4 nest-asyncio 1.6.0 nodeenv 1.9.1
notebook 7.3.2 ноутбук_шим 0.2.3 numpy (библиотека для работы с массивами и матрицами в Python) 2.1.3
OAuthlib 3.2.2 opentelemetry-api 1.32.1 opentelemetry-sdk 1.32.1
cемантические соглашения opentelemetry 0.53b1 Переопределения 7.4.0 упаковка 24,2
Панды 2.2.3 пандокфильтры 1.5.0 Парсо 0.8.4
спецификация пути 0.10.3 простак 1.0.1 pexpect (библиотека Python для автоматизации взаимодействия с приложениями) 4.8.0
подушка 11.1.0 пит 25.0.1 Platformdirs 3.10.0
библиотека Plotly для визуализации данных 5.24.1 менеджер плагинов Pluggy 1.5.0 prometheus_client 0.21.0
prompt-toolkit (инструментарий подсказок) 3.0.43 proto-plus 1.26.1 protobuf (протобуф) 5.29.4
psutil (пакет Python для работы с процессами и системами) 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
пьюр-эвэл 0.2.2 pyarrow 19.0.1 pyasn1 0.4.8
pyasn1-modules 0.2.8 Пикколо 0.0.71 pycparser 2.21
pydantic (библиотека Python для валидации данных) 2.10.6 pydantic_core 2.27.2 pyflakes (аналитический инструмент для Python) 3.2.0
Пигменты 2.15.1 PyGObject 3.48.2 pyiceberg 0.9.0
PyJWT 2.10.1 pyodbc 5.2.0 pyparsing (библиотека для синтаксического анализа в Python) 3.2.0
pyright 1.1.394 pytest 8.3.5 python-dateutil (библиотека для работы с датами и временем в Python) Версия 2.9.0.post0
python-json-logger (пакет для логирования JSON в Python) 3.2.1 python-lsp-jsonrpc 1.1.2 python-lsp-server (сервер Python LSP) 1.12.0
Pytoolconfig 1.2.6 pytz (библиотека Python для работы с часовыми поясами) 2024.1 PyYAML 6.0.2
pyzmq 26.2.0 Ссылки 0.30.2 Запросы 2.32.3
rfc3339-валидатор 0.1.4 rfc3986-validator 0.1.1 богатый 13.9.4
верёвка 1.12.0 rpds-py 0.22.3 rsa 4.9.1
s3transfer 0.11.3 scikit-learn (библиотека машинного обучения) 1.6.1 scipy (библиотека Python) 1.15.1
мореборн 0.13.2 Send2Trash 1.8.2 setuptools (пакет для установки и управления Python-пакетами) 74.0.0
шесть 1.16.0 сммап 5.0.0 сниффио 1.3.0
отсортированные контейнеры 2.4.0 ситечко для супа 2.5 sqlparse 0.5.3
ssh-import-id (импортировать идентификатор SSH) 5.11 стековые данные 0.2.0 старлетка 0.46.2
statsmodels (библиотека Python для статистического моделирования) 0.14.4 strictyaml 1.7.3 упорство 9.0.0
закончено 0.17.1 Threadpoolctl 3.5.0 tinycss2 1.4.0
tokenize_rt 6.1.0 томли 2.0.1 торнадо 6.4.2
Трейтлеты 5.14.3 типгард 4.3.0 types-python-dateutil 2.9.0.20241206
typing_extensions (расширения для ввода текста) 4.12.2 tzdata 2024.1 ujson 5.10.0
автоматические обновления без участия пользователя 0,1 URI-шаблон 1.3.0 urllib3 2.3.0
uvicorn 0.34.2 virtualenv 20.29.3 wadllib 1.3.6
wcwidth (ширина символа в Unicode) 0.2.5 webcolors 24.11.1 веб-энкодинги 0.5.1
websocket-клиент 1.8.0 чтоэто за патч 1.0.2 колесо 0.45.1
widgetsnbextension 3.6.6 завёрнут 1.17.0 yapf (форматировщик Python кода) 0.40.2
ZIPP 3.21.0

Установленные библиотеки R

Библиотеки R устанавливаются из снимка CRAN диспетчера пакетов Posit от 2025-03-20.

Библиотека Версия Библиотека Версия Библиотека Версия
стрела 19.0.1 аскпасс 1.2.1 утверждать, что 0.2.1
обратные порты 1.5.0 основа 4.4.2 base64enc 0.1-3
bigD 0.3.0 кусочек 4.6.0 64-бит 4.6.0-1
bitops 1.0-9 комок 1.2.4 сапог 1.3-30
варить 1.0-10 жизнерадостность 1.1.5 метла 1.0.7
bslib 0.9.0 кашемир 1.1.0 звонящий 3.7.6
каретка 7.0-1 целлрейнджер 1.1.0 хронометр 2.3-62
класс 7.3-22 интерфейс командной строки (CLI) 3.6.5 клиппер 0.8.0
часы 0.7.2 кластер 2.1.6 codetools 0.2-20
цветовое пространство 2.1-1 коммонмарк 1.9.5 компилятор 4.4.2
config 0.3.2 испытывающий противоречивые чувства 1.2.0 cpp11 0.5.2
карандаш 1.5.3 credentials 2.0.2 завиток 6.4.0
таблица данных 1.17.0 Наборы данных 4.4.2 DBI 1.2.3
dbplyr 2.5.0 описание 1.4.3 средства разработки 2.4.5
Схема 1.6.5 diffobj 0.3.5 дайджест 0.6.37
направленное вниз освещение 0.4.4 dplyr (пакет для обработки данных в R) 1.1.4 dtplyr 1.3.1
e1071 1.7-16 многоточие 0.3.2 оценивать 1.0.3
поклонники 1.0.6 Цвета 2.1.2 фастмап 1.2.0
fontawesome 0.5.3 Forcats (форкатс) 1.0.0 foreach 1.5.2
иностранный 0.8-86 кузница 0.2.0 fs 1.6.5
будущее 1.34.0 будущее.применить 1.11.3 полоскать горло 1.5.2
Дженерики 0.1.4 Герт 2.1.4 ggplot2 3.5.1
gh 1.4.1 git2r 0.35.0 gitcreds 0.1.2
glmnet 4.1-8 глобальные переменные 0.18.0 клей 1.8.0
googledrive 2.1.1 googlesheets4 1.1.1 Говер 1.0.2
графика 4.4.2 grDevices 4.4.2 сеть 4.4.2
gridExtra 2.3 gsubfn 0.7 gt 0.11.1
гтабл 0.3.6 каска 1.4.1 убежище 2.5.4
выше 0.11 HMS 1.1.3 инструменты для HTML 0.5.8.1
HTML-виджеты 1.6.4 httpuv 1.6.15 httr 1.4.7
httr2 1.1.1 удостоверения личности 1.0.1 ini 0.3.1
ипред 0,9–15 изо-лента 0.2.7 Itераторы 1.0.14
jquerylib 0.1.4 jsonlite 1.9.1 сочный сок 0.1.0
KernSmooth 2,23-22 knitr (пакет для динамической генерации отчетов в языке программирования R) 1.50 маркирование 0.4.3
позже 1.4.1 решётка 0,22–5 лава 1.8.1
жизненный цикл 1.0.4 слушай 0.9.1 лубридейт 1.9.4
магриттр 2.0.3 Markdown 1.13 Масса 7.3-60.0.1
«Матрица» 1.6-5 Запоминание 2.0.1 методы 4.4.2
mgcv 1.9-1 mime 0,13 мини-интерфейс 0.1.1.1
mlflow 2.20.4 ModelMetrics 1.2.2.2 модельер 0.1.11
munsell 0.5.1 nlme 3.1-164 ннейронная сеть 7.3-19
numDeriv 2016.8-1.1 OpenSSL 2.3.3 параллельный 4.4.2
параллельно 1.42.0 столб 1.11.0 пакджбилд 1.4.6
pkgconfig 2.0.3 pkgdown 2.1.1 пкглоад (pkgload) 1.4.0
Плогр 0.2.0 плайр 1.8.9 похвала 1.0.0
prettyunits 1.2.0 pROC 1.18.5 Processx 3.8.6
Prodlim 2024.06.25 profvis 0.4.0 прогресс 1.2.3
progressr 0.15.1 обещания 1.3.2 прото 1.0.0
прокси 0.4-27 п.с. 1.9.0 мурлыканье 1.0.4
Р6 2.6.1 ragg 1.3.3 randomForest (рандомФорест) 4.7-1.2
рэпдирс 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.14 RcppEigen 0.3.4.0.2 реактивный 0.4.4
ReactR 0.6.1 readr 2.1.5 readxl (пакет для чтения Excel-файлов) 1.4.5
Рецепты 1.2.0 реванш 2.0.0 реванш2 2.1.2
пульты дистанционного управления 2.5.0 репрекс 2.1.1 Изменить форму2 1.4.4
rlang 1.1.6 rmarkdown (инструмент для создания динамических документов в R) 2.29 RODBC 1.3-26
roxygen2 7.3.2 rpart (пакет для построения деревьев решений в языке программирования R) 4.1.23 rprojroot 2.0.4
Rserve (Рcерве) 1.8-15 RSQLite 2.3.9 рстудиоапи 0.17.1
rversions 2.1.2 Рвест 1.0.4 дерзость 0.4.9
весы 1.3.0 селектор 0.4-2 информация о сессии 1.2.3
форма 1.4.6.1 блестящий 1.10.0 sourcetools 0.1.7-1
sparklyr 1.9.1 SparkR 4.0.0 Sparsevctrs 0.3.1
пространственный 7.3-17 Сплайны 4.4.2 SQLDF 0,4-11
SQUAREM январь 2021 статистика 4.4.2 статистика4 4.4.2
стринги 1.8.7 стрингр 1.5.1 выживание 3.5-8
самоуверенность и стильный вид 5.17.14.1 sys 3.4.3 systemfonts 1.2.1
язык программирования Tcl/Tk 4.4.2 testthat 3.2.3 форматирование текста 1.0.0
Tibble 3.3.0 Тидыр 1.3.1 tidyselect 1.2.1
tidyverse (тайдивёрс) 2.0.0 смена времени 0.3.0 ТаймДата 4041.110
tinytex 0.56 инструменты 4.4.2 База данных часовых зон (tzdb) 0.5.0
URL-чекер 1.0.1 используйэто 3.1.0 utf8 1.2.6
утилиты 4.4.2 UUID (Универсальный уникальный идентификатор) 1.2-1 V8 6.0.2
vctrs 0.6.5 viridisLite 0.4.2 брррм 1.6.5
Уолдо 0.6.1 ус 0.4.1 увядать 3.0.2
xfun 0.51 xml2 1.3.8 xopen 1.0.1
xtable 1.8-4 YAML 2.3.10 зилот 0.1.0
ZIP-архив 2.3.2

Установленные библиотеки Java и Scala (версия кластера Scala 2.13)

Идентификатор группы Идентификатор артефакта Версия
Антлер Антлер 2.7.7
com.amazonaws Клиент Amazon Kinesis 1.12.0
com.amazonaws aws-java-sdk-autoscaling (автоматическое масштабирование) 1.12.638
com.amazonaws aws-java-sdk-cloudformation 1.12.638
com.amazonaws aws-java-sdk-cloudfront 1.12.638
com.amazonaws aws-java-sdk-cloudhsm 1.12.638
com.amazonaws AWS Java SDK для CloudSearch 1.12.638
com.amazonaws aws-java-sdk-cloudtrail 1.12.638
com.amazonaws aws-java-sdk-cloudwatch 1.12.638
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.638
com.amazonaws aws-java-sdk-codedeploy (AWS Java SDK для CodeDeploy) 1.12.638
com.amazonaws aws-java-sdk-cognitoidentity 1.12.638
com.amazonaws aws-java-sdk-cognitosync 1.12.638
com.amazonaws Конфигурация SDK для Java от AWS 1.12.638
com.amazonaws aws-java-sdk-core 1.12.638
com.amazonaws aws-java-sdk-datapipeline (пакет для работы с Data Pipeline на Java) 1.12.638
com.amazonaws aws-java-sdk-directconnect 1.12.638
com.amazonaws aws-java-sdk-directory 1.12.638
com.amazonaws aws-java-sdk-dynamodb 1.12.638
com.amazonaws aws-java-sdk-ec2 1.12.638
com.amazonaws aws-java-sdk-ecs 1.12.638
com.amazonaws aws-java-sdk-efs 1.12.638
com.amazonaws aws-java-sdk-elasticache 1.12.638
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.638
com.amazonaws aws-java-sdk-elasticloadbalancing (пакет программного обеспечения для балансировки нагрузки в AWS, написанный на Java) 1.12.638
com.amazonaws aws-java-sdk-elastictranscoder (Java SDK для Elastic Transcoder) 1.12.638
com.amazonaws aws-java-sdk-emr 1.12.638
com.amazonaws aws-java-sdk-glacier (пакет программного обеспечения для работы с Glacier) 1.12.638
com.amazonaws aws-java-sdk-glue 1.12.638
com.amazonaws aws-java-sdk-iam 1.12.638
com.amazonaws aws-java-sdk-importexport (пакет для импорта и экспорта данных) 1.12.638
com.amazonaws aws-java-sdk-kinesis 1.12.638
com.amazonaws aws-java-sdk-kms (пакет программного обеспечения для работы с AWS KMS) 1.12.638
com.amazonaws aws-java-sdk-lambda 1.12.638
com.amazonaws aws-java-sdk-logs 1.12.638
com.amazonaws AWS Java SDK для машинного обучения 1.12.638
com.amazonaws aws-java-sdk-opsworks 1.12.638
com.amazonaws AWS Java SDK для RDS 1.12.638
com.amazonaws AWS Java SDK для Redshift 1.12.638
com.amazonaws aws-java-sdk-route53 1.12.638
com.amazonaws aws-java-sdk-s3 1.12.638
com.amazonaws aws-java-sdk-ses 1.12.638
com.amazonaws aws-java-sdk-simpledb 1.12.638
com.amazonaws aws-java-sdk-simpleworkflow 1.12.638
com.amazonaws aws-java-sdk-sns 1.12.638
com.amazonaws aws-java-sdk-sqs 1.12.638
com.amazonaws aws-java-sdk-ssm (AWS SDK для Java — SSM модуль) 1.12.638
com.amazonaws AWS Java SDK для Storage Gateway 1.12.638
com.amazonaws aws-java-sdk-sts 1.12.638
com.amazonaws Поддержка AWS Java SDK 1.12.638
com.amazonaws aws-java-sdk-swf библиотеки 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.638
com.amazonaws jmespath-java 1.12.638
com.clearspring.analytics поток 2.9.8
com.databricks Rserve (Рcерве) 1.8-3
com.databricks SDK для Java от Databricks 0.27.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb scalapb-runtime_2.13 0.4.15-11
com.esotericsoftware криогенное затенение 4.0.3
com.esotericsoftware минлог 1.3.0
com.fasterxml одноклассник 1.5.1
com.fasterxml.jackson.core аннотации Джексона 2.18.2
com.fasterxml.jackson.core джексон-ядро 2.18.2
com.fasterxml.jackson.core джексон-databind 2.18.2
com.fasterxml.jackson.dataformat Джексон-формат-данных-CBOR 2.18.2
com.fasterxml.jackson.dataformat Джексон-датаформат-ЯМЛ 2.15.2
com.fasterxml.jackson.datatype джексон-дейтайп-джода 2.18.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.18.2
com.fasterxml.jackson.module джексон-модуль-паранэймер 2.18.2
com.fasterxml.jackson.module jackson-module-scala_2.13 2.18.2
com.github.ben-manes.caffeine кофеин 2.9.3
com.github.blemale scaffeine_2.13 4.1.0
com.github.fommil jniloader 1.1
com.github.fommil.netlib нативная_ссылка-java 1.1
com.github.fommil.netlib нативная_ссылка-java 1.1-коренные жители
com.github.fommil.netlib Нативная_система-java 1.1
com.github.fommil.netlib Нативная_система-java 1.1-коренные жители
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-коренные жители
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-коренные жители
com.github.luben zstd-jni 1.5.6-10
com.github.virtuald курвесапи 1,08
com.github.wendykierp JTransforms 3.1
com.google.api.grpc proto-google-common-protos 2.5.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson Gson 2.11.0
com.google.crypto.tink тинк 1.16.0
com.google.errorprone ошибкоопасные аннотации 2.36.0
com.google.flatbuffers flatbuffers-java 24.3.25
com.google.guava ошибка доступа 1.0.2
com.google.guava гуава 33.4.0-jre
com.google.guava будущее для прослушивания 999.0-empty-to-avoid-conflict-with-guava
com.google.j2objc j2objc-аннотации 3.0.0
com.google.protobuf protobuf-java 3.25.5
com.google.protobuf protobuf-java-util 3.25.5
com.helger Профилировщик 1.1.1
com.ibm.icu icu4j 75.1
com.jcraft jsch 0.1.55
com.lihaoyi sourcecode_2.13 0.1.9
com.microsoft.azure azure-data-lake-store-sdk (SDK для Azure Data Lake Store) 2.3.10
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.microsoft.sqlserver mssql-jdbc 12.8.0.jre8
com.ning compress-lzf (метод сжатия данных) 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning JSON (формат обмена данными JavaScript) 1.8
com.thoughtworks.paranamer Паранэймер 2.8
com.trueaccord.lenses лензы_2.13 0.4.13
com.twitter chill-java 0.10.0
com.twitter chill_2.13 0.10.0
com.twitter util-app_2.13 19.8.1
com.twitter util-core_2.13 19.8.1
com.twitter util-function_2.13 19.8.1
com.twitter util-jvm_2.13 19.8.1
com.twitter util-lint_2.13 19.8.1
com.twitter util-registry_2.13 19.8.1
com.twitter util-stats_2.13 19.8.1
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.13 3.9.2
com.uber h3 3.7.3
com.univocity юнивосити-парсерс 2.9.1
com.zaxxer ХикариCP 4.0.3
com.zaxxer СпарсБитСет 1.3
commons-cli commons-cli 1.9.0
commons-codec commons-codec 1.17.2
общие коллекции общие коллекции 3.2.2
commons-dbcp commons-dbcp 1.4
загрузка файлов через модуль commons загрузка файлов через модуль commons 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.18.0
commons-lang commons-lang 2.6
коммонс-логгинг коммонс-логгинг 1.1.3
коммонс-пул коммонс-пул 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Блас 3.0.3
dev.ludovic.netlib LAPACK (программная библиотека для линейной алгебры) 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift компрессор воздуха 2.0.2
io.delta delta-sharing-client_2.13 1.3.5
io.dropwizard.metrics аннотирование метрик 4.2.30
io.dropwizard.metrics основные метрики 4.2.30
io.dropwizard.metrics «metrics-graphite» 4.2.30
io.dropwizard.metrics Метрики-Чек здоровья 4.2.30
io.dropwizard.metrics метрики для Jetty9 4.2.30
io.dropwizard.metrics Метрики-JMX 4.2.30
io.dropwizard.metrics metrics-json 4.2.30
io.dropwizard.metrics метрики для JVM 4.2.30
io.dropwizard.metrics метрики и сервлеты 4.2.30
io.github.java-diff-utils java-diff-utils 4.15
io.netty netty-all (все пакеты netty) 4.1.118.Final
io.netty буфер Netty 4.1.118.Final
io.netty netty-codec (кодек Netty) 4.1.118.Final
io.netty netty-codec-http 4.1.118.Final
io.netty netty-codec-http2 4.1.118.Final
io.netty netty-codec-socks 4.1.118.Final
io.netty нетти-общий 4.1.118.Final
io.netty нетти-хэндлер 4.1.118.Final
io.netty нетти-обработчик-прокси 4.1.118.Final
io.netty Netty-резолвер 4.1.118.Final
io.netty netty-tcnative-boringssl-static 2.0.70.Final-db-r0-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.70.Final-db-r0-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.70.Final-db-r0-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.70.Final-db-r0-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.70.Final-db-r0-windows-x86_64
io.netty netty-tcnative-classes (классы netty-tcnative) 2.0.70.Final
io.netty netty-transport 4.1.118.Final
io.netty netty-transport-classes-epoll 4.1.118.Final
io.netty netty-transport-classes-kqueue 4.1.118.Final
io.netty netty-transport-native-epoll 4.1.118.Final
io.netty netty-transport-native-epoll 4.1.118.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.118.Final-linux-riscv64
io.netty netty-transport-native-epoll 4.1.118.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.118.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.118.Final-osx-x86_64
io.netty нетти-транспорт-натив-уникс-коммон 4.1.118.Final
io.prometheus simpleclient 0.16.1-databricks
io.prometheus простыйклиент_общий 0.16.1-databricks
io.prometheus Симплклиент_дропвизард 0.16.1-databricks
io.prometheus simpleclient_pushgateway 0.16.1-databricks
io.prometheus simpleclient_servlet 0.16.1-databricks
io.prometheus simpleclient_servlet_common 0.16.1-databricks
io.prometheus simpleclient_tracer_common 0.16.1-databricks
io.prometheus simpleclient_tracer_otel 0.16.1-databricks
io.prometheus simpleclient_tracer_otel_agent 0.16.1-databricks
io.prometheus.jmx коллекционер 0.18.0
jakarta.annotation jakarta.annotation-api (аннотация API Джакарты) 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation активация 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.media jai_core jai_core_dummy
javax.transaction джта 1.1
javax.transaction интерфейс транзакций 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
джлайн джлайн 2.14.6
joda-time joda-time 2.13.0
net.java.dev.jna джна 5.8.0
net.razorvine рассол 1.5
net.sf.jpam джпам 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv — инструмент для работы с CSV файлами 2.2.0
net.snowflake snowflake-ingest-sdk (SDK для обработки данных Snowflake) 0.9.6
net.sourceforge.f2j арпак_комбинированный_все 0,1
org.acplt.remotetea «remotetea-oncrpc» 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.13.1
org.antlr шаблон строки 3.2.1
org.apache.ant муравей 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow формат стрелок 18.2.0
org.apache.arrow ядро памяти Arrow 18.2.0
org.apache.arrow арроу-мемори-нетти 18.2.0
org.apache.arrow стрелка-память-netty-buffer-patch 18.2.0
org.apache.arrow вектор стрелки 18.2.0
org.apache.avro Авро 1.12.0
org.apache.avro avro-ipc 1.12.0
org.apache.avro avro-mapred 1.12.0
org.apache.commons commons-collections4 4.4.
org.apache.commons Коммонс-компресс 1.27.1
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.17.0
org.apache.commons коммонс-матх3 3.6.1
org.apache.commons Общедоступный текст 1.13.0
org.apache.curator куратор-клиент 5.7.1
org.apache.curator кураторский фреймворк 5.7.1
org.apache.curator куратор рецептов 5.7.1
org.apache.datasketches datasketches-java 6.1.1
org.apache.datasketches Датаскетчес-мемори 3.0.2
org.apache.derby дерби 10.14.2.0
org.apache.hadoop среда выполнения hadoop-клиента 3.4.1
org.apache.hive hive-beeline (инструмент командной строки для работы с Apache Hive) 2.3.10
org.apache.hive hive-cli 2.3.10
org.apache.hive hive-jdbc 2.3.10
org.apache.hive hive-llap-client 2.3.10
org.apache.hive hive-llap-common 2.3.10
org.apache.hive Hive-Serde 2.3.10
org.apache.hive хив-шимы 2.3.10
org.apache.hive hive-storage-api (интерфейс хранения данных Hive) 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.10
org.apache.hive.shims хив-шимс-коммон 2.3.10
org.apache.hive.shims планировщик hive-shims 2.3.10
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy плющ 2.5.3
org.apache.logging.log4j log4j-1.2-api 2.24.3
org.apache.logging.log4j log4j-api 2.24.3
org.apache.logging.log4j log4j-core 2.24.3
org.apache.logging.log4j log4j-layout-template-json (шаблон компоновки для log4j в формате JSON) 2.24.3
org.apache.logging.log4j log4j-slf4j2-impl 2.24.3
org.apache.orc орк-кор 2.1.1-shaded-protobuf
org.apache.orc Формат ORC 1.1.0-shaded-protobuf
org.apache.orc orc-mapreduce (орч-мапредьюс) 2.1.1-shaded-protobuf
org.apache.orc орк-шимы 2.1.1
org.apache.poi пои 5.4.1
org.apache.poi poi-ooxml 5.4.1
org.apache.poi poi-ooxml-full 5.4.1
org.apache.poi poi-ooxml-lite 5.4.1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.16.0
org.apache.ws.xmlschema xmlschema-core 2.3.1
org.apache.xbean xbean-asm9-shaded 4.26
org.apache.xmlbeans xmlbeans 5.3.0
org.apache.yetus аннотации для аудитории 0.13.0
org.apache.zookeeper смотритель зоопарка 3.9.3
org.apache.zookeeper Zookeeper-JUTE 3.9.3
org.checkerframework checker-qual 3.43.0
org.codehaus.janino commons-компилятор 3.0.16
org.codehaus.janino джанино 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core (ядро датануклеус) 4.1.17
org.datanucleus Datanucleus-RDBMS 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.53.v20231009
org.eclipse.jetty jetty-continuation (продолжение Jetty) 9.4.53.v20231009
org.eclipse.jetty «jetty-http» 9.4.53.v20231009
org.eclipse.jetty jetty-io 9.4.53.v20231009
org.eclipse.jetty jetty-jndi 9.4.53.v20231009
org.eclipse.jetty Jetty Plus 9.4.53.v20231009
org.eclipse.jetty jetty-proxy (джетти-прокси) 9.4.53.v20231009
org.eclipse.jetty защита пристани 9.4.53.v20231009
org.eclipse.jetty сервер Jetty 9.4.53.v20231009
org.eclipse.jetty jetty-servlet 9.4.53.v20231009
org.eclipse.jetty jetty-servlets 9.4.53.v20231009
org.eclipse.jetty джетти-ютил (jetty-util) 9.4.53.v20231009
org.eclipse.jetty jetty-util-ajax 9.4.53.v20231009
org.eclipse.jetty Jetty - веб-приложение 9.4.53.v20231009
org.eclipse.jetty jetty-xml 9.4.53.v20231009
org.eclipse.jetty.websocket WebSocket API 9.4.53.v20231009
org.eclipse.jetty.websocket websocket-клиент 9.4.53.v20231009
org.eclipse.jetty.websocket WebSocket-Common 9.4.53.v20231009
org.eclipse.jetty.websocket вебсокет-сервер 9.4.53.v20231009
org.eclipse.jetty.websocket websocket-servlet 9.4.53.v20231009
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 хк2-локатор 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 локатор ресурсов OSGi 1.0.3
org.glassfish.hk2.external «aopalliance-repackaged» 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers Jersey-container-servlet 2.41
org.glassfish.jersey.containers джерси-контейнер-сервлет-кор 2.41
org.glassfish.jersey.core jersey-client (джерси-клиент) 2.41
org.glassfish.jersey.core джерси-коммон 2.41
org.glassfish.jersey.core Джерси-сервер 2.41
org.glassfish.jersey.inject jersey-hk2 2.41
org.hibernate.validator гибернейт-валидатор 6.2.5.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging (логирование в JBoss) 3.4.1.Final
org.jdbi jdbi 2.63.1
org.jetbrains аннотации 17.0.0
org.jline джлайн 3.27.1-jdk8
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.13 4.0.7
org.json4s json4s-core_2.13 4.0.7
org.json4s json4s-jackson-core_2.13 4.0.7
org.json4s json4s-jackson_2.13 4.0.7
org.json4s json4s-scalap_2.13 4.0.7
org.lz4 lz4-java 1.8.0-databricks-1
org.mlflow mlflow-spark_2.13 2.9.1
org.objenesis Обдженесис 3,3
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 1.2.1
org.rocksdb rocksdbjni 9.8.4
org.rosuda.REngine РЭнджин 2.1.0
org.scala-lang scala-compiler_2.13 2.13.16
org.scala-lang scala-library_2.13 2.13.16
org.scala-lang scala-reflect_2.13 2.13.16
org.scala-lang.modules scala-collection-compat_2.13 2.11.0
org.scala-lang.modules scala-java8-compat_2.13 0.9.1
org.scala-lang.modules scala-parallel-collections_2.13 1.2.0
org.scala-lang.modules scala-parser-combinators_2.13 2.4.0
org.scala-lang.modules scala-xml_2.13 2.3.0
org.scala-sbt тестовый интерфейс 1.0
org.scalacheck scalacheck_2.13 1.18.0
org.scalactic scalactic_2.13 3.2.19
org.scalanlp breeze-macros_2.13 2.1.0
org.scalanlp breeze_2.13 2.1.0
org.scalatest совместимый с ScalaTest 3.2.19
org.scalatest scalatest-core_2.13 3.2.19
org.scalatest scalatest-diagrams_2.13 3.2.19
org.scalatest scalatest-featurespec_2.13 3.2.19
org.scalatest scalatest-flatspec_2.13 3.2.19
org.scalatest scalatest-freespec_2.13 3.2.19
org.scalatest scalatest-funspec_2.13 3.2.19
org.scalatest scalatest-funsuite_2.13 3.2.19
org.scalatest scalatest-matchers-core_2.13 3.2.19
org.scalatest scalatest-mustmatchers_2.13 3.2.19
org.scalatest scalatest-propspec_2.13 3.2.19
org.scalatest scalatest-refspec_2.13 3.2.19
org.scalatest scalatest-shouldmatchers_2.13 3.2.19
org.scalatest scalatest-wordspec_2.13 3.2.19
org.scalatest scalatest_2.13 3.2.19
org.slf4j jcl-over-slf4j (адаптер для JCL, работающий поверх SLF4J) 2.0.16
org.slf4j jul-to-slf4j 2.0.16
org.slf4j slf4j-api 2.0.16
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.8.0
org.tukaani хз 1.10
org.typelevel algebra_2.13 2.8.0
org.typelevel cats-kernel_2.13 2.8.0
org.typelevel spire-macros_2.13 0.18.0
org.typelevel spire-platform_2.13 0.18.0
org.typelevel spire-util_2.13 0.18.0
org.typelevel spire_2.13 0.18.0
org.wildfly.openssl wildfly-openssl 1.1.3.Окончательная
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml SnakeYAML 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 2.5.0-linux-x86_64
стекс stax-api 1.0.1

Подсказка

Чтобы ознакомиться с примечаниями к версиям Databricks Runtime, которые достигли окончания поддержки (EoS), см. Примечания к версиям Databricks Runtime с окончанием поддержки. Версии среды выполнения EoS Databricks устарели и могут не обновляться.

  • Last updated on