Поделиться через

Databricks Runtime 17.2 (EoS)

Замечание

Поддержка этой версии databricks Runtime закончилась. Для получения информации о дате окончания поддержки см. историю окончания поддержки и окончания срока службы. Для всех поддерживаемых версий Databricks Runtime см. заметки о версиях выпуска и совместимости Databricks Runtime.

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 17.2, на базе Apache Spark 4.0.0.

Эта версия включает все функции, улучшения и исправления ошибок из всех предыдущих выпусков Databricks Runtime. Databricks выпустила эту версию в сентябре 2025 года.

Изменения поведения

DESCRIBE CONNECTION отображение параметров среды для подключений JDBC

Azure Databricks теперь включает пользовательские настройки среды в вывод DESCRIBE CONNECTION для подключений JDBC, которые поддерживают пользовательские драйверы и выполняются в изоляции. Другие типы подключений остаются неизменными.

Параметр усечения единого журнала во время миграции управляемых таблиц

Теперь вы можете усечь единую историю при миграции таблиц с поддержкой Uniform/Iceberg, используя ALTER TABLE...SET MANAGED. Это упрощает миграцию и сокращает время простоя по сравнению с отключением и повторным включением Uniform вручную.

Синтаксис SQL для параметров чтения Delta в потоковых запросах

Теперь можно указать параметры чтения Delta для потоковых запросов на основе SQL, используя конструкцию WITH. Рассмотрим пример.

SELECT * FROM STREAM tbl WITH (SKIPCHANGECOMMITS=true, STARTINGVERSION=X);

Корректные результаты для split с пустым регулярным выражением и положительным ограничением

Azure Databricks теперь возвращает правильные результаты при использовании split function с пустым регулярным выражением и положительным ограничением. Ранее функция неправильно усекала оставшуюся строку вместо включения её в последний элемент.

Исправьте обработку ошибок url_decode и try_url_decode в Photon

В Photon try_url_decode() и url_decode() теперь возвращают failOnError = false для недопустимых строк URL-кодирования вместо неудачи запроса.

Общая среда выполнения для пользовательских табличных функций в Unity Catalog

Azure Databricks теперь использует среду выполнения для определяемых пользователем функций таблиц Python (UDTFs) от того же владельца и сеанса Spark. Необязательное STRICT ISOLATION условие доступно для отключения возможности совместного использования для определяемых пользователем таблиц функций (UDTF) с такими побочными эффектами, как, например, изменение переменных среды или выполнение произвольного кода.

По умолчанию включено отслеживание изменений строк для новых таблиц

Azure Databricks теперь включает отслеживание строк по умолчанию для всех новых таблиц, управляемых каталогом Unity. Существующие таблицы не затрагиваются и поддерживают текущие параметры отслеживания строк.

TABLE поддержка аргументов для Python UDTF в Unity Catalog

UDTFs каталога Unity для Python поддерживают TABLE аргументы, что позволяет функциям принимать целые таблицы в качестве входных параметров, что позволяет выполнять более сложные преобразования данных и агрегации в структурированных наборах данных. См. определяемые пользователем функции таблиц Python (ОПФТ) в каталоге Unity. (Назадпортирован из 17.3 LTS).

Новые функции и улучшения

LIKE поддерживает параметры сортировки UTF8_LCASE

Теперь оператор LIKE поддерживает параметр сортировки UTF8_LCASE, что позволяет выполнять сопоставление без учета регистра.

st_exteriorring Функция теперь поддерживается

Теперь функцию st_exteriorring можно использовать для извлечения внешней границы многоугольника и возврата ее в виде строки. См. st_exteriorring функцию.

Отображение сведений о pushdown в EXPLAIN пользовательском интерфейсе Spark для удаленных проверок

Команда EXPLAIN и пользовательский интерфейс Spark для RemoteSparkConnectScan выделенных вычислений теперь отображают предикаты, агрегаты, группировку по предложениям, ограничениям и примерам, которые отправляются в удаленную проверку.

Объявить несколько сеансовых или локальных переменных в одной DECLARE инструкции

В Databricks Runtime 17.2 и более поздних версиях можно объявить несколько сеансовых или локальных переменных одного типа с одинаковым значением по умолчанию в инструкции DECLARE. См. DECLARE VARIABLE и составное выражение BEGIN END.

Поддержка ключевого слова TEMPORARY для создания представления метрик

Теперь при создании представления метрик можно использовать ключевое TEMPORARY слово. Временные представления метрик отображаются только в созданном сеансе и удаляются при завершении сеанса. См. CREATE VIEW.

Поддержка дополнительных команд с помощью точного управления доступом

Более точное управление доступом на выделенных вычислительных ресурсах теперь поддерживает FSCK REPAIR TABLE и DESCRIBE DETAIL команды.

Выборочно и атомарно заменять данные с использованием INSERT REPLACE USING и INSERT REPLACE ON (GA)

INSERT REPLACE USING и INSERT REPLACE ON теперь общедоступны для Databricks Runtime 17.2. Обе команды SQL заменяют часть таблицы результатом запроса.

INSERT REPLACE USING заменяет строки, если USING столбцы равны по значению. INSERT REPLACE ON заменяет строки, если они соответствуют определяемой пользователем условию.

Ознакомьтесь INSERT со ссылкой на язык SQL и выборочно перезаписывать данные с помощью Delta Lake.

Используйте нативные операции ввода-вывода для LokiFileSystem.getFileStatus на S3

LokiFileSystem.getFileStatus Теперь использует собственный стек ввода-вывода для трафика Amazon S3 и возвращает org.apache.hadoop.fs.FileStatus объекты вместо shaded.databricks.org.apache.hadoop.fs.s3a.S3AFileStatus.

Режим ANSI, включенный по умолчанию для API Pandas в Spark

ANSI_MODE теперь включен по умолчанию для API Pandas в Spark compute.ansi_mode_support=True, что обеспечивает четность соответствия ANSI с собственными пандами. Параметр compute.fail_on_ansi_mode по-прежнему применяется, если compute.ansi_mode_support задано значение False.

Автозагрузчик выводит столбцы разделов в режиме singleVariantColumn

Автозагрузчик теперь выводит столбцы секционирования из путей к файлам при приеме данных в качестве полуструктурированного типа варианта с помощью singleVariantColumn параметра. Ранее столбцы секционирования не были обнаружены автоматически. См. параметры автозагрузчика.

Обновления библиотек

Обновленные библиотеки Python:

В этой версии библиотеки Python не были обновлены.

Обновленные библиотеки R:

В этой версии не обновлялись библиотеки R.

Обновленные библиотеки Java:

  • io.delta.delta-sharing-client_2.13 от 1.3.3 до 1.3.5

Apache Spark

Databricks Runtime 17.2 включает Apache Spark 4.0.0. Этот выпуск включает все исправления Spark и улучшения, включенные в предыдущую версию, а также следующие:

  • SPARK-53183 Использование Java Files.readString вместо o.a.s.sql.catalyst.util.fileToString
  • SPARK-51817 Повторно введите поля ansiConfig в messageParameters CAST_INVALID_INPUT и CAST_OVERFLOW
  • SPARK-53124 Удаление ненужных полей из JsonTuple
  • SPARK-53106 Добавление тестов эволюции схемы для наборов подключений TWS Scala Spark
  • SPARK-53201 Используйте SparkFileUtils.contentEquals вместо Files.equal
  • SPARK-53308 Не удаляйте псевдонимы в RemoveRedundantAliases, что приведет к дублированию
  • SPARK-53241 Поддержка createArray в SparkCollectionUtils
  • SPARK-53239 Улучшить производительность MapSort и SortArray с помощью parallelSort
  • SPARK-53184 Исправление функции melt() при смешении строк и чисел в столбцах значений
  • SPARK-53144 Сделать CreateViewCommand в SparkConnectPlanner без побочных эффектов
  • SPARK-53303 Используйте пустой кодировщик состояния, если начальное состояние не предоставляется в TWS
  • SPARK-52917 Поддержка чтения для обеспечения полного цикла обработки двоичных данных в формате XML
  • SPARK-53110 Реализация функции time_trunc в PySpark
  • SPARK-53107 Реализация функции time_trunc в Scala
  • SPARK-52146 Обнаружение циклических ссылок на функции в пользовательских SQL функциях (UDF)
  • SPARK-52469 Использование API JEP 223 для обработки версии Java
  • SPARK-53094 Исправление CUBE с агрегированными предложениями HAVING
  • SPARK-51874 Добавить TypedConfigBuilder для Scala Enumeration
  • SPARK-53287 Добавление руководства по миграции ANSI
  • SPARK-43100 Метрики перетасовки на основе push-уведомлений должны быть десериализированы правильно
  • SPARK-53045 команда DESCRIBE EXTENDED должна быть устойчива к повреждению метаданных
  • SPARK-53114 Поддержка join в JavaUtils
  • SPARK-53297 Исправить декларативный докстринг API конвейеров StreamingTable
  • SPARK-53181 Включение тестов документации в ANSI
  • SPARK-52482 Улучшение обработки исключений для чтения определенных поврежденных файлов zstd
  • SPARK-52990 Поддержка StringSubstitutor
  • SPARK-51874 Добавить TypedConfigBuilder для Scala Enumeration
  • SPARK-53169 Удаление комментариев, связанных с "Set the logger level of File Appender to" из log4j2.properties
  • SPARK-53080 Поддержка cleanDirectory в SparkFileUtils и JavaUtils
  • SPARK-53045 команда DESCRIBE EXTENDED должна быть устойчива к повреждению метаданных
  • SPARK-53000 Переименовать StringUtils.scala на StringConcat.scala в модуле sql/api
  • SPARK-52952 Добавление скрипта разработки для приведения типов UDF в PySpark
  • SPARK-52998 Несколько переменных внутри объявления
  • SPARK-51817 Повторно введите поля ansiConfig в messageParameters CAST_INVALID_INPUT и CAST_OVERFLOW
  • SPARK-52820 Сохранение полных планов в эталонных файлах
  • SPARK-53274 Поддержка pushdown для левого и правого соединения в JDBCScanBuilder
  • SPARK-52110 Реализация поддержки синтаксиса SQL для конвейеров
  • SPARK-52950 Включение режима ANSI в DataSourceV2StrategySuite
  • SPARK-52947 Исправление пути изображения в руководстве по программированию декларативных конвейеров
  • SPARK-52592 Поддержка создания ps.Series из ps.Series
  • SPARK-53301 Отделить указания типов Pandas UDF и Arrow UDF
  • SPARK-53146 Сделать MergeIntoTable в SparkConnectPlanner без побочных эффектов
  • SPARK-53166 Использование SparkExitCode.EXIT_FAILURE в объекте SparkPipelines
  • SPARK-53288 Исправлена ошибка утверждения с глобальным ограничением потоковой передачи
  • SPARK-52394 Исправлена ошибка деления на ноль автокорреляции в режиме ANSI
  • SPARK-51555 Добавление функции time_diff()
  • SPARK-52948 Включить test_np_spark_compat_frame в режиме ANSI
  • SPARK-53134 Очистка неиспользуемых импортов ANSI в тестах
  • SPARK-52593 Избегайте CAST_INVALID_INPUT MultiIndex.to_series, Series.dot и DataFrame.dot в режиме ANSI
  • SPARK-53291 Исправлена возможность null для столбца значений
  • SPARK-53097 Сделать WriteOperationV2 в SparkConnectPlanner без побочных эффектов
  • SPARK-53305 Поддержка TimeType в createDataFrame
  • SPARK-52914 Поддержка On-Demand Log Loading скользящего журнала в History Server
  • SPARK-33538 Прямая отправка предикатов IN/NOT в хранилище метаданных Hive
  • SPARK-52849 Добавить stringifyException в o.a.s.util.Utils
  • SPARK-52771 Исправление расширения типа float32 в truediv/floordiv
  • SPARK-52502 Общие сведения о количестве потоков
  • SPARK-52788 Исправлена ошибка преобразования двоичного значения в BinaryType в XML
  • SPARK-53123 Поддержка getRootCause в SparkErrorUtils
  • SPARK-53129 Улучшить SparkShell для импорта java.net._ по умолчанию
  • SPARK-53061 Поддержка copyFileToDirectory в SparkFileUtils
  • SPARK-52683 Поддержка ExternalCatalog alterTableSchema
  • SPARK-52871 Слияние o.a.s.sql.catalyst.util.SparkStringUtils в o.a.s.util.SparkStringUtils
  • SPARK-52817 Улучшение производительности выраженияLike
  • SPARK-52545 Стандартизация экранирования двойных кавычек в соответствии с SQL спецификацией.
  • SPARK-52711 Исправление расширения типа float32 в ANSI mul/rmul
  • В SPARK-52615 замените File.mkdirs на Utils.createDirectory
  • SPARK-52381 JsonProtocol: принимайте только подклассы SparkListenerEvent
  • SPARK-52613 Восстановление вывода полного сте́ктрейса при возникновении исключения в HBase/Hive DelegationTokenProvider
  • SPARK-52651 Обработка определяемого пользователем типа в вложенном ColumnVector
  • SPARK-52611 Исправлена версия SQLConf для исключенияSubqueryRefsFromRemoveRedundantAliases...
  • SPARK-52552 Пропуск принудительного применения ограничений CHECK для удаления векторов удаления
  • Параметр поддержки -i-I spark-shell 2.13
  • SPARK-52492 Сделать InMemoryRelation.convertToColumnarIfPossible настраиваемым
  • SPARK-52451 Сделать WriteOperation в SparkConnectPlanner без побочных эффектов
  • SPARK-53272 Рефакторизация логики SPJ pushdown из BatchScanExec
  • SPARK-53071 Поддержка copyFile в SparkFileUtils
  • SPARK-51415 Поддержка типа времени по make_timestamp()
  • SPARK-51554 Добавление функции time_trunc()
  • SPARK-52426 Поддержка перенаправления stdout/stderr в систему ведения журнала
  • SPARK-51834 Поддержка комплексного управления ограничениями таблицы
  • SPARK-53063 Реализация и вызов новых API в FileCommitProtocol вместо устаревшего.
  • SPARK-52546 проверяет, остановлен ли sparkContext во время выполнения блока кода catch в execute(), иначе будет возвращено неправильное состояние.
  • SPARK-53023 Удаление commons-io зависимостей из sql/api модуля
  • SPARK-52396 Корневой каталог артефакта должен использовать tmpdir
  • SPARK-53131 Улучшить SparkShell для импорта java.nio.file._ по умолчанию
  • SPARK-42322 Назначить имя to_LEGACY_ERROR_TEMP_2235
  • SPARK-51834 Поддержка комплексного управления ограничениями таблицы
  • SPARK-52484 Пропуск утверждения child.supportsColumnar с стороны драйвера в ColumnarToRowExec
  • SPARK-52384 Исправление ошибки Подключение должно быть нечувствительным к параметрам JDBC
  • SPARK-52034 Добавление общих методов в признак SparkOperation для операций thriftserver
  • SPARK-53031 Поддержка getFile в SparkFileUtils
  • SPARK-52976 Исправлен UDF Python, который не принимает отсортированные строки в качестве входного параметра или возвращаемого типа (17.x)
  • SPARK-52943 Включить arrow_cast для всех типов pandas UDF evaluations
  • SPARK-53263 Поддержка типа времени в функции df.toArrow
  • SPARK-53141 Добавление API-интерфейсов для получения размера памяти и размера памяти offheap из профиля ресурса
  • SPARK-53259 Исправление сообщения для INVALID_UDF_EVAL_TYPE
  • SPARK-53167 Средство запуска Spark isRemote также учитывает файл свойств
  • SPARK-53165 Добавлять SparkExitCode.CLASS_NOT_FOUND
  • SPARK-53171 Улучшение функции повтора UTF8String
  • SPARK-53170 Улучшить SparkUserAppException для добавления параметра cause.
  • SPARK-52989 Добавление явного API close() в итераторы хранилища состояний
  • SPARK-53074 Избегайте частичной кластеризации в SPJ, чтобы удовлетворить требуемое распределение для дочернего элемента
  • SPARK-52252 Кодировщики ScalaUDF в вложенных запросах должны быть решены
  • SPARK-53244 Не сохранять конфигурации с поддержкой двойного запуска и включенным тестовым режимом во время создания представления
  • SPARK-53192 Всегда кэшировать источник данных в кэше плана Spark Connect
  • SPARK-51813 Добавьте ненуляемый defaultCachedBatchKryoSerializer, чтобы избежать распространения значений NULL в DefaultCachedBatch serde
  • SPARK-52904 Повторное применение "[SC-202233][python] Enable ConvertToArrowArrayS...
  • SPARK-53253 Исправление регистра UDF типа SQL_SCALAR_ARROW_ITER_UDF
  • SPARK-53243 Вывод списка поддерживаемых типов eval в узлах со стрелками
  • SPARK-53130 Исправить toJson поведение типов строк с сортировкой
  • SPARK-53003 Поддержка strip в SparkStringUtils
  • SPARK-51902 Синхронизация OSS: обеспечение проверочного ограничения при вставке в таблицу
  • SPARK-52047 Создание PySparkValueError для неподдерживаемых типов графиков
  • SPARK-53004 Поддержка abbreviate в SparkStringUtils
  • SPARK-53066 Улучшение EXPLAIN выходных данных для pushdown соединения DSv2
  • SPARK-30848 Удаление productHash из TreeNode
  • SPARK-53046 Использование Java readAllBytes вместо IOUtils.toByteArray
  • SPARK-53206 Используйте SparkFileUtils.move вместо com.google.common.io.Files.move
  • SPARK-53066 Улучшение EXPLAIN выходных данных для pushdown соединения DSv2
  • SPARK-53069 Исправление неправильных метрик хранилища состояний с помощью семейств виртуальных столбцов
  • SPARK-52904 По умолчанию включить convertToArrowArraySafely [17.x]
  • Spark-52821 add int-DecimalType> pyspark udf return type coercion
  • SPARK-51562 Добавление time функции
  • SPARK-52971 Ограничить размер очереди простаивающих Python-процессов
  • SPARK-53057 Поддержка sizeOf в SparkFileUtils и JavaUtils
  • SPARK-53040 Запрет самоссылок внутри самых верхних выражений СТЕ в рекурсивных СТЕ.
  • SPARK-53104 Используйте ansi_mode_context для предотвращения многократных проверок параметров конфигурации при каждом вызове API.
  • SPARK-47547 Добавьте BloomFilter версию 2 и используйте ее в качестве значения по умолчанию
  • SPARK-53098DeduplicateRelations Не следует переназначать выражения, если старые ExprId все еще существуют в выходных данных
  • SPARK-53049 Поддержка toString в SparkStreamUtils
  • SPARK-53062 Поддержка deleteQuietly в SparkFileUtils и JavaUtils
  • SPARK-53070 Поддержка is(Not)?Empty в SparkCollectionUtils
  • SPARK-53020 Args JPMS также должны применяться к процессу, отличному от SparkSubmit
  • SPARK-52968 Выдача дополнительных метрик хранилища состояний
  • SPARK-52975 Упрощение названий полей в sql-запросе с использованием pushdown join
  • SPARK-52926 Добавлена SQLMetric для времени получения схемы из удаленного источника.
  • SPARK-53059 UDF на базе Arrow не требуется зависеть от pandas
  • SPARK-52646 Избегайте CAST_INVALID_INPUT __eq__ в режиме ANSI
  • SPARK-52622 Избегать ошибки CAST_INVALID_INPUT DataFrame.melt в режиме ANSI
  • SPARK-52985 Инициировать TypeError для операнда pandas numpy в операторах сравнения
  • SPARK-52580 Избегайте CAST_INVALID_INPUT replace в режиме ANSI
  • SPARK-52549 Отключение рекурсивных ссылок на CTE из функций окна и внутри сортировки
  • SPARK-52895 Не добавляйте повторяющиеся элементы в resolveExprsWithAggregate
  • SPARK-50748 Исправлена проблема с состоянием гонки, которая происходит при прерывании операций
  • SPARK-52737 Предикат pushdown и количество приложений в FsHistoryProvider при перечислении приложений
  • SPARK-53018 ArrowStreamArrowUDFSerializer должна учитывать аргумент arrow_cast
  • SPARK-53013 Исправлено, что UDTF Python, оптимизированное с использованием Apache Arrow, не возвращает строки при латеральном соединении
  • SPARK-51834 Синхронизация OSS: поддержка полного изменения ограничений таблицы на добавление/удаление.
  • SPARK-52921 Укажите outputPartitioning для UnionExec, чтобы выходное разбиение совпадало с разбиением у операторов-потомков
  • SPARK-52908 Предотвратить столкновение имен переменных итератора с именами меток в пути к корню AST
  • SPARK-52954 Поддержка UDF от Arrow для приведения типа возвращаемых данных
  • SPARK-52925 Возвращает правильное сообщение об ошибке для самонаправляемых ссылок в rCTEs
  • SPARK-52889 Реализация функции current_time в PySpark
  • SPARK-52675 Прерывание зависших обработчиков ML в тестах
  • SPARK-52959 Поддержка UDT в Python UDTF, оптимизированном с использованием Apache Arrow
  • SPARK-52962 BroadcastExchangeExec не должен сбрасывать метрики
  • SPARK-52956 Сохранение метаданных псевдонима при сворачивании проектов
  • SPARK-52890 Реализация функций to_time и try_to_time в PySpark
  • SPARK-528888 Реализация функции make_time в PySpark
  • SPARK-52892 Поддержка функций TIME для часа, минуты и секунды в PySpark
  • SPARK-52837 Поддержка TimeType в pyspark
  • SPARK-52023 Исправление повреждения данных/segfault, возвращающее параметр[Продукт] из udaf
  • SPARK-52955 Изменение типов возвращаемых значений WindowResolution.resolveOrder и WindowResolution.resolveFrame в WindowExpression
  • SPARK-52166 Добавление поддержки PipelineEvents
  • SPARK-51834 Исправление: удаление настройки 'valid' из toDDL
  • SPARK-52735 Исправление отсутствия условий ошибок для пользовательских SQL-функций
  • SPARK-51834 Синхронизация поддержки OSS для создания/замены таблицы с ограничениями
  • SPARK-51834 Синхронизация обновления OSS для отмены вызовов ResolvedIdentifier
  • SPARK-52929 Поддержка коннектора MySQL и SQLServer для выполнения pushdown в соединениях DSv2
  • SPARK-52448 Добавить упрощенный Struct Expression.Literal
  • SPARK-52882 Реализация функции current_time в Scala
  • SPARK-52905 UDF со стрелкой для окна
  • SPARK-52876 Исправить опечатку с buffer на body в ChunkFetchSuccess.toString
  • SPARK-52883 Реализация функций to_time и try_to_time в Scala
  • SPARK-52751 Не жадно проверяйте имя столбца в dataframe['col_name']
  • SPARK-52791 Исправлена ошибка при выводе определяемого пользователем элемента с пустым первым элементом
  • SPARK-52686Union следует разрешить только в том случае, если дубликаты отсутствуют
  • SPARK-52881 Реализация функции make_time в Scala
  • SPARK-52919 Исправление механизма проброса соединения в DSv2 для использования ранее переименованного столбца
  • SPARK-52866 Добавление поддержки для try_to_date
  • SPARK-52846 Добавление метрики в JDBCRDD для измерения времени получения набора результатов
  • SPARK-52859 Добавление признака SparkSystemUtils
  • SPARK-52823 Поддержка pushdown соединения DSv2 для соединителя Oracle
  • SPARK-52165 Настройка шаблонов сборки для проекта конвейеров
  • SPARK-52869 Добавление проверки FrameLessOffsetWindowFunction для проверкиResolvedWindowExpression для повторного использования в однопроходном анализаторе
  • SPARK-52885 Реализация часов, минут и секундных функций в Scala для типа TIME
  • SPARK-52903 Обрезать псевдонимы, отличные от верхнего уровня, до разрешения LCA
  • SPARK-52832 Исправление идентификатора диалекта JDBC
  • SPARK-52870 Правильно заключайте имена переменных в ковычки в FOR инструкции.
  • SPARK-52859 Добавить SparkSystemUtils признак
  • SPARK-52900 Использование SparkStringUtils.stringToSeq в FsHistoryProvider
  • SPARK-52809 Не удерживайте ссылки на средство чтения и итератора для всех секций в прослушивателях завершения задач для обновления метрик
  • SPARK-52815 Улучшить SparkClassUtils для поддержки getAllInterfaces
  • SPARK-52795 Включение runId в журналы хранилища состояний
  • SPARK-52779 Поддержка литерала TimeType в Connect
  • SPARK-52899 Исправление теста QueryExecutionErrorsSuite для повторной регистрации H2Dialect
  • SPARK-52862 Исправлена проверка допустимости null Decimal('NaN')
  • SPARK-52214 UDF со стрелками для агрегирования
  • SPARK-52787 Реорганизация каталога потоковой передачи в части времени выполнения и контрольных точек
  • SPARK-51564 Разбор времени в 12-часовом формате
  • SPARK-52859 Добавить SparkSystemUtils признак
  • SPARK-51562 Добавление time функции
  • SPARK-52850 Пропуск вызовов преобразований, если функция идентичности
  • SPARK-52863 Очистка путей кода для старых версий pandas
  • SPARK-52516 Не удерживайте предыдущую итераторную ссылку после перехода к следующему файлу в ParquetPartitionReaderFactory
  • SPARK-52848 Избегайте приведения Double при преобразовании TIME/TIMESTAMP в DECIMAL
  • SPARK-52770 Поддержка типа TIME в подключении proto
  • SPARK-52842 Новые функциональные возможности и исправления ошибок для однопроходного анализатора
  • SPARK-52620 Поддержка приведения времени к ДЕСЯТИЧНОМУ
  • SPARK-52783 Рефакторинг логики проверки функции окна из checkAnalysis для повторного использования в анализаторе с единым проходом.
  • SPARK-51695 Синхронизация OSS создания/замены/изменения таблицы для уникального ограничения через DSv2
  • SPARK-51695 Синхронизация запрета удаления OSS через DSv2
  • SPARK-52824 Классификация ошибок CheckpointFileManager
  • SPARK-52829 Исправление LocalDataToArrowConversion.convert для правильной обработки пустых строк
  • SPARK-52811 Оптимизация ArrowTableToRowsConversion.convert для повышения производительности
  • SPARK-52796 Оптимизация LocalDataToArrowConversion.convert для повышения производительности
  • SPARK-51695 Изменения в синхронизации синтаксического анализатора команды OSS Alter Table Add Constraint
  • SPARK-52619 Приведение timeType в Целочисленный тип
  • SPARK-52187 Представление Join Pushdown для DSv2
  • SPARK-52782 Возвращает значение NULL из +/- в datetime с значением NULL
  • SPARK-51695 Введение изменений анализатора синтаксиса для табличных ограничений (CHECK, PK, FK)
  • SPARK-52808spark.history.retainedApplications должно быть положительным
  • SPARK-52776 Не разделяйте поле comm в ProcfsMetricsGetter
  • SPARK-52793 Поддержка isUnix по адресу o.a.s.util.Utils
  • SPARK-52792 Удаление commons-lang3 зависимостей из network-common
  • SPARK-52797 Используйте Utils.isWindows вместо повторной оценки в PythonWorkerFactory
  • SPARK-52784 Добавить приведение TimeZoneAware в WindowFrameTypeCoercion.createBoundaryCast
  • SPARK-52725 Задержка инициализации диспетчера профилей ресурсов до загрузки подключаемого модуля
  • SPARK-52565 Принудительное применение порядковой сортировки перед другими выражениями порядка сортировки
  • SPARK-52740 Исправление ошибки NPE в HDFSBackedStateStoreProvider при доступе к StateStoreConf.sqlConf, если версия формата контрольной точки >= >2
  • SPARK-52673 Добавление обработки grpc RetryInfo в политики повторения попыток Spark Connect
  • SPARK-52724 Улучшение обработки ошибок нехватки памяти (OOM) при широковещательном соединении с поддержкой подсказки SHUFFLE_MERGE
  • SPARK-52781 Исправление опечатки dtyeps в internal.py
  • SPARK-52730 Хранение базовой версии драйвера и базы данных в JDBCRDD
  • SPARK-52727 Рефакторинг разрешения окон для повторного использования в однопроходном анализаторе
  • SPARK-52695 Поддержка записи определяемого пользователем типа для формата XML-файла
  • SPARK-52722 Нерекомендуемый класс JdbcRDD
  • SPARK-51695 Введение изменений анализатора синтаксиса для табличных ограничений (CHECK, PK, FK)
  • SPARK-52763 Поддержка вычитания времени
  • SPARK-52768 Исправление опечатки "moveing" в pandas/series.py
  • SPARK-52730 Хранение базовой версии драйвера и базы данных в JDBCRDD
  • SPARK-52694 Добавление o.a.s.sql.Encoders#udtAPI
  • SPARK-52720 Исправить расширение типа float32 в ANSI add/radd
  • SPARK-52723 Проверка имени столбца на стороне сервера
  • SPARK-52760 Исправить расширение типа float32 в ANSI sub/rsub
  • SPARK-52738 Поддержка агрегирования данных типа TIME с помощью UDAF, когда базовый буфер является UnsafeRow
  • SPARK-52704 Упрощение взаимодействия между SQLConf и параметрами формата файлов в TextBasedFileFormats
  • SPARK-52706 Исправление несоответствий и рефакторинг примитивных типов в синтаксическом анализаторе
  • SPARK-52718 Исправить расширение типа float32 в ANSI rmod/mod
  • SPARK-52736 Исправление опечатки 'moveing' в pyspark/pandas/generic.py

Поддержка драйвера ODBC/JDBC для Azure Databricks

Databricks поддерживает драйверы ODBC/JDBC, выпущенные за последние 2 года. Скачайте недавно выпущенные драйверы и обновление (скачайте ODBC, скачайте JDBC).

Технические обновления

Ознакомьтесь с обновлениями обслуживания Azure Databricks Runtime 17.2.

Системная среда

  • Операционная система: Ubuntu 24.04.3 LTS
  • Java: Zulu17.58+21-CA
  • Scala: 2.13.16
  • Python: 3.12.3
  • R: 4.4.2
  • Delta Lake: 4.0.0

Установленные библиотеки Python

Библиотека Версия Библиотека Версия Библиотека Версия
аннотированные типы 0.7.0 anyio 4.6.2 argon2-cffi 21.3.0
argon2-cffi-bindings 21.2.0 стрела 1.3.0 asttokens 2.0.5
astunparse 1.6.3 async-lru 2.0.4 атрибуты 24.3.0
автоматическая команда 2.2.2 azure-common 1.1.28 azure-core 1.34.0
azure-identity 1.20.0 azure-mgmt-core 1.5.0 azure-mgmt-web 8.0.0
azure-storage-blob 12.23.0 хранилище файлов данных Azure Data Lake 12.17.0 Бабель 2.16.0
backports.tarfile 1.2.0 beautifulsoup4 4.12.3 черный 24.10.0
отбеливатель 6.2.0 блинкер 1.7.0 boto3 1.36.2
botocore 1.36.3 инструменты для кэша 5.5.1 сертификат 2025.1.31
cffi 1.17.1 chardet 4.0.0 нормализатор кодировки 3.3.2
щелчок 8.1.7 Клаудпикл 3.0.0 коммуникация 0.2.1
Contourpy 1.3.1 криптография 43.0.3 велосипедист 0.11.0
Cython 3.0.12 databricks-sdk 0.49.0 dbus-python 1.3.2
debugpy 1.8.11 декоратор 5.1.1 defusedxml 0.7.1
Deprecated 1.2.13 Дистлиб 0.3.9 docstring-to-markdown 0.11
исполнение 0.8.3 Обзор аспектов 1.1.1 fastapi 0.115.12
fastjsonschema 2.21.1 файловая блокировка 3.18.0 шрифтовые инструменты 4.55.3
Полное доменное имя (FQDN) 1.5.1 fsspec 2023.5.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.20.0 google-auth (аутентификация от Google) 2.40.0
google-cloud-core (основной модуль Google Cloud) 2.4.3 облачное хранилище Google 3.1.0 google-crc32c 1.7.1
google-resumable-media 2.7.2 googleapis-common-protos (общие протоколы googleapis) 1.65.0 grpcio 1.67.0
grpcio-status 1.67.0 h11 0.14.0 httpcore 1.0.2
httplib2 0.20.4 httpx 0.27.0 IDNA 3,7
importlib-metadata 6.6.0 importlib_resources 6.4.0 склонять 7.3.1
iniconfig 1.1.1 ipyflow-core 0.0.209 ipykernel 6.29.5
ipython 8.30.0 ipython-genutils 0.2.0 ipywidgets 7.8.1
isodate 0.6.1 изодурация 20.11.0 jaraco.context 5.3.0
jaraco.functools 4.0.1 jaraco.text 3.12.1 джедаи 0.19.2
Джинджа2 3.1.5 jmespath 1.0.1 joblib 1.4.2
json5 0.9.25 Джсонпоинтер (jsonpointer) 3.0.0 jsonschema (JSON-схема) 4.23.0
jsonschema-спецификации 2023.7.1 Jupyter-события 0.10.0 jupyter-lsp 2.2.0
клиент Jupyter 8.6.3 jupyter_core (ядро Jupyter) 5.7.2 Джупитер_сервер 2.14.1
терминалы_сервера_jupyter 0.4.4 jupyterlab 4.3.4 jupyterlab-pygments 0.1.2
jupyterlab-мини-приложения 1.0.0 jupyterlab_server (сервер для JupyterLab) 2.27.3 Кивисолвер 1.4.8
launchpadlib 1.11.0 lazr.restfulclient 0.14.6 lazr.uri 1.0.6
markdown-it-py 2.2.0 MarkupSafe 3.0.2 matplotlib 3.10.0
матплотлиб-инлайн 0.1.7 Маккейб 0.7.0 mdurl 0.1.0
Мистун 2.0.4 mlflow-skinny 3.0.1 mmh3 5.1.0
more-itertools 10.3.0 msal 1.32.3 msal-extensions 1.3.1
mypy-extensions (расширения для mypy) 1.0.0 nbclient 0.8.0 Перекодировщик nbconvert 7.16.4
nbformat 5.10.4 nest-asyncio 1.6.0 nodeenv 1.9.1
notebook 7.3.2 ноутбук_шим 0.2.3 numpy (библиотека для работы с массивами и матрицами в Python) 2.1.3
Оаутхлиб 3.2.2 opentelemetry-api 1.32.1 opentelemetry-sdk 1.32.1
семантические соглашения opentelemetry 0.53b1 Переопределения 7.4.0 упаковка 24,2
Панды 2.2.3 пандокфильтры 1.5.0 Парсо 0.8.4
спецификация пути 0.10.3 простак 1.0.1 pexpect (библиотека Python для автоматизации взаимодействия с приложениями) 4.8.0
подушка 11.1.0 пит 25.0.1 platformdirs 3.10.0
библиотека Plotly для визуализации данных 5.24.1 менеджер плагинов Pluggy 1.5.0 prometheus_client 0.21.0
prompt-toolkit (инструментарий подсказок) 3.0.43 proto-plus 1.26.1 protobuf (протобуф) 5.29.4
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 19.0.1 pyasn1 0.4.8
pyasn1-modules 0.2.8 Пикколо 0.0.71 pycparser 2.21
pydantic 2.10.6 pydantic_core 2.27.2 pyflakes 3.2.0
Пигменты 2.15.1 PyGObject 3.48.2 pyiceberg 0.9.0
PyJWT 2.10.1 pyodbc 5.2.0 pyparsing (библиотека для синтаксического анализа в Python) 3.2.0
pyright 1.1.394 pytest 8.3.5 python-dateutil (библиотека для работы с датами и временем в Python) 2.9.0.post0
python-json-logger (пакет для логирования JSON в Python) 3.2.1 python-lsp-jsonrpc 1.1.2 python-lsp-server (сервер Python LSP) 1.12.0
Pytoolconfig 1.2.6 pytz (библиотека Python для работы с часовыми поясами) 2024.1 PyYAML 6.0.2
pyzmq 26.2.0 Ссылки 0.30.2 Запросы 2.32.3
rfc3339-валидатор 0.1.4 rfc3986-validator 0.1.1 богатый 13.9.4
верёвка 1.12.0 rpds-py 0.22.3 rsa 4.9.1
s3transfer 0.11.3 scikit-learn (библиотека машинного обучения) 1.6.1 scipy (библиотека Python) 1.15.1
мореборн 0.13.2 Send2Trash 1.8.2 setuptools (пакет для установки и управления Python-пакетами) 74.0.0
шесть 1.16.0 сммап 5.0.0 sniffio 1.3.0
отсортированные контейнеры 2.4.0 ситечко для супа 2.5 sqlparse 0.5.3
ssh-import-id 5.11 стековые данные 0.2.0 starlette 0.46.2
statsmodels (библиотека Python для статистического моделирования) 0.14.4 strictyaml 1.7.3 упорство 9.0.0
закончено 0.17.1 Threadpoolctl 3.5.0 tinycss2 1.4.0
tokenize_rt 6.1.0 томли 2.0.1 торнадо 6.4.2
Трейтлеты 5.14.3 typeguard 4.3.0 types-python-dateutil 2.9.0.20241206
typing_extensions (расширения для ввода текста) 4.12.2 tzdata 2024.1 ujson 5.10.0
обновления без вмешательства пользователя 0,1 URI-шаблон 1.3.0 urllib3 2.3.0
uvicorn 0.34.2 virtualenv 20.29.3 wadllib 1.3.6
wcwidth (ширина символа в Unicode) 0.2.5 webcolors 24.11.1 веб-энкодинги 0.5.1
websocket-клиент 1.8.0 whatthepatch 1.0.2 колесо 0.45.1
widgetsnbextension 3.6.6 завёрнут 1.17.0 yapf 0.40.2
ZIPP 3.21.0

Установленные библиотеки R

Библиотеки R устанавливаются из снимка CRAN диспетчера пакетов Posit от 2025-03-20.

Библиотека Версия Библиотека Версия Библиотека Версия
стрела 19.0.1 аскпасс 1.2.1 утверждать, что 0.2.1
обратные порты 1.5.0 основа 4.4.2 base64enc 0.1-3
bigD 0.3.0 кусочек 4.6.0 64-бит 4.6.0-1
bitops 1.0-9 комок 1.2.4 сапог 1.3-30
варить 1.0-10 брио 1.1.5 метла 1.0.7
bslib 0.9.0 кашемир 1.1.0 звонящий 3.7.6
каретка 7.0-1 целлрейнджер 1.1.0 хронометр 2.3-62
класс 7.3-22 интерфейс командной строки (CLI) 3.6.5 клиппер 0.8.0
часы 0.7.2 кластер 2.1.6 codetools 0.2-20
цветовое пространство 2.1-1 коммонмарк 1.9.5 компилятор 4.4.2
config 0.3.2 испытывающий противоречивые чувства 1.2.0 cpp11 0.5.2
карандаш 1.5.3 credentials 2.0.2 завиток 6.4.0
таблица данных 1.17.0 Наборы данных 4.4.2 DBI 1.2.3
dbplyr 2.5.0 описание 1.4.3 средства разработки 2.4.5
Схема 1.6.5 diffobj 0.3.5 дайджест 0.6.37
направленное вниз освещение 0.4.4 dplyr (пакет для обработки данных в R) 1.1.4 dtplyr 1.3.1
e1071 1.7-16 многоточие 0.3.2 оценивать 1.0.3
вентиляторы 1.0.6 Цвета 2.1.2 фастмап 1.2.0
fontawesome 0.5.3 Forcats (форкатс) 1.0.0 foreach 1.5.2
иностранный 0.8-86 кузница 0.2.0 fs 1.6.5
будущее 1.34.0 будущее.применить 1.11.3 полоскать горло 1.5.2
Дженерики 0.1.4 Герт 2.1.4 ggplot2 3.5.1
gh 1.4.1 git2r 0.35.0 gitcreds 0.1.2
glmnet 4.1-8 глобальные переменные 0.18.0 клей 1.8.0
googledrive 2.1.1 googlesheets4 1.1.1 Говер 1.0.2
графика 4.4.2 grDevices 4.4.2 сеть 4.4.2
gridExtra 2.3 gsubfn 0.7 gt 0.11.1
гтабл 0.3.6 каска 1.4.1 убежище 2.5.4
выше 0.11 HMS 1.1.3 инструменты для HTML 0.5.8.1
HTML-виджеты 1.6.4 httpuv 1.6.15 httr 1.4.7
httr2 1.1.1 удостоверения личности 1.0.1 ini 0.3.1
ипред 0,9–15 изо-лента 0.2.7 Итераторы 1.0.14
jquerylib 0.1.4 jsonlite 1.9.1 джуси джус 0.1.0
KernSmooth 2,23-22 knitr (пакет для динамической генерации отчетов в языке программирования R) 1.50 маркирование 0.4.3
позже 1.4.1 решётка 0,22–5 лава 1.8.1
жизненный цикл 1.0.4 слушай 0.9.1 лубридейт 1.9.4
магриттр 2.0.3 Markdown 1.13 Масса 7.3-60.0.1
Матрица 1.6-5 Запоминание 2.0.1 методы 4.4.2
mgcv 1.9-1 mime 0,13 мини-интерфейс 0.1.1.1
mlflow 2.20.4 ModelMetrics 1.2.2.2 модельер 0.1.11
munsell 0.5.1 nlme 3.1-164 ннейронная сеть 7.3-19
numDeriv 2016.8-1.1 OpenSSL 2.3.3 параллельный 4.4.2
параллельно 1.42.0 столб 1.11.0 пакджбилд 1.4.6
pkgconfig 2.0.3 pkgdown 2.1.1 пкглоад (pkgload) 1.4.0
Плогр 0.2.0 плайр 1.8.9 похвала 1.0.0
prettyunits 1.2.0 pROC 1.18.5 Processx 3.8.6
Prodlim 2024.06.25 profvis 0.4.0 прогресс 1.2.3
progressr 0.15.1 обещания 1.3.2 прото 1.0.0
прокси 0.4-27 п.с. 1.9.0 мурлыканье 1.0.4
Р6 2.6.1 ragg 1.3.3 randomForest (рандомФорест) 4.7-1.2
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.14 RcppEigen 0.3.4.0.2 реактивный 0.4.4
ReactR 0.6.1 readr 2.1.5 readxl (пакет для чтения Excel-файлов) 1.4.5
Рецепты 1.2.0 реванш 2.0.0 реванш2 2.1.2
дистанционное управление 2.5.0 репрекс 2.1.1 reshape2 1.4.4
rlang 1.1.6 rmarkdown (инструмент для создания динамических документов в R) 2.29 RODBC 1.3-26
roxygen2 7.3.2 rpart (пакет для построения деревьев решений в языке программирования R) 4.1.23 rprojroot 2.0.4
Rserve (Рcерве) 1.8-15 RSQLite 2.3.9 рстудиоапи 0.17.1
rversions 2.1.2 Рвест 1.0.4 дерзость 0.4.9
весы 1.3.0 селектор 0.4-2 информация о сессии 1.2.3
форма 1.4.6.1 блестящий 1.10.0 sourcetools 0.1.7-1
sparklyr 1.9.1 SparkR 4.0.0 Sparsevctrs 0.3.1
пространственный 7.3-17 Сплайны 4.4.2 SQLDF 0,4-11
SQUAREM январь 2021 статистика 4.4.2 статистика4 4.4.2
стринги 1.8.7 стрингр 1.5.1 выживание 3.5-8
самоуверенность и стильный вид 5.17.14.1 sys 3.4.3 systemfonts 1.2.1
язык программирования Tcl/Tk 4.4.2 testthat 3.2.3 форматирование текста 1.0.0
Tibble 3.3.0 Тидыр 1.3.1 tidyselect 1.2.1
tidyverse (тайдивёрс) 2.0.0 смена времени 0.3.0 ТаймДата 4041.110
tinytex 0.56 инструменты 4.4.2 База данных часовых зон (tzdb) 0.5.0
URL-чекер 1.0.1 используйэто 3.1.0 utf8 1.2.6
утилиты 4.4.2 UUID (Универсальный уникальный идентификатор) 1.2-1 V8 6.0.2
vctrs 0.6.5 viridisLite 0.4.2 брррм 1.6.5
Уолдо 0.6.1 волосок 0.4.1 увядать 3.0.2
xfun 0.51 xml2 1.3.8 xopen 1.0.1
xtable 1.8-4 YAML 2.3.10 зилот 0.1.0
ZIP-архив 2.3.2

Установленные библиотеки Java и Scala (версия кластера Scala 2.13)

Идентификатор группы Идентификатор артефакта Версия
Антлер Антлер 2.7.7
com.amazonaws Клиент Amazon Kinesis 1.12.0
com.amazonaws aws-java-sdk-autoscaling (автоматическое масштабирование) 1.12.638
com.amazonaws aws-java-sdk-cloudformation 1.12.638
com.amazonaws aws-java-sdk-cloudfront 1.12.638
com.amazonaws aws-java-sdk-cloudhsm 1.12.638
com.amazonaws AWS Java SDK для CloudSearch 1.12.638
com.amazonaws aws-java-sdk-cloudtrail 1.12.638
com.amazonaws aws-java-sdk-cloudwatch 1.12.638
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.638
com.amazonaws aws-java-sdk-codedeploy (AWS Java SDK для CodeDeploy) 1.12.638
com.amazonaws aws-java-sdk-cognitoidentity 1.12.638
com.amazonaws aws-java-sdk-cognitosync 1.12.638
com.amazonaws Конфигурация SDK для Java от AWS 1.12.638
com.amazonaws aws-java-sdk-core 1.12.638
com.amazonaws aws-java-sdk-(Data Pipeline) 1.12.638
com.amazonaws aws-java-sdk-directconnect 1.12.638
com.amazonaws aws-java-sdk-directory 1.12.638
com.amazonaws aws-java-sdk-dynamodb 1.12.638
com.amazonaws aws-java-sdk-ec2 1.12.638
com.amazonaws aws-java-sdk-ecs 1.12.638
com.amazonaws aws-java-sdk-efs 1.12.638
com.amazonaws aws-java-sdk-elasticache 1.12.638
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.638
com.amazonaws aws-java-sdk-elasticloadbalancing (пакет программного обеспечения для балансировки нагрузки в AWS, написанный на Java) 1.12.638
com.amazonaws aws-java-sdk-elastictranscoder (Java SDK для Elastic Transcoder) 1.12.638
com.amazonaws aws-java-sdk-emr 1.12.638
com.amazonaws aws-java-sdk-glacier (пакет программного обеспечения для работы с Glacier) 1.12.638
com.amazonaws aws-java-sdk-glue 1.12.638
com.amazonaws aws-java-sdk-iam 1.12.638
com.amazonaws aws-java-sdk-importexport (пакет для импорта и экспорта данных) 1.12.638
com.amazonaws aws-java-sdk-kinesis 1.12.638
com.amazonaws aws-java-sdk-kms (пакет программного обеспечения для работы с AWS KMS) 1.12.638
com.amazonaws aws-java-sdk-lambda 1.12.638
com.amazonaws aws-java-sdk-logs 1.12.638
com.amazonaws AWS Java SDK для машинного обучения 1.12.638
com.amazonaws aws-java-sdk-opsworks 1.12.638
com.amazonaws AWS Java SDK для RDS 1.12.638
com.amazonaws AWS Java SDK для Redshift 1.12.638
com.amazonaws aws-java-sdk-route53 1.12.638
com.amazonaws aws-java-sdk-s3 1.12.638
com.amazonaws aws-java-sdk-ses 1.12.638
com.amazonaws aws-java-sdk-simpledb 1.12.638
com.amazonaws aws-java-sdk-simpleworkflow 1.12.638
com.amazonaws aws-java-sdk-sns 1.12.638
com.amazonaws aws-java-sdk-sqs 1.12.638
com.amazonaws aws-java-sdk-ssm (AWS SDK для Java — SSM модуль) 1.12.638
com.amazonaws AWS Java SDK для Storage Gateway 1.12.638
com.amazonaws aws-java-sdk-sts 1.12.638
com.amazonaws Поддержка AWS Java SDK 1.12.638
com.amazonaws aws-java-sdk-swf библиотеки 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.638
com.amazonaws jmespath-java 1.12.638
com.clearspring.analytics поток 2.9.8
com.databricks Rserve (Рcерве) 1.8-3
com.databricks SDK для Java от Databricks 0.27.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb scalapb-runtime_2.13 0.4.15-11
com.esotericsoftware криогенное затенение 4.0.3
com.esotericsoftware минлог 1.3.0
com.fasterxml одноклассник 1.5.1
com.fasterxml.jackson.core аннотации Джексона 2.18.2
com.fasterxml.jackson.core джексон-ядро 2.18.2
com.fasterxml.jackson.core джексон-databind 2.18.2
com.fasterxml.jackson.dataformat Джексон-формат-данных-CBOR 2.18.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype джексон-дейтайп-джода 2.18.2
com.fasterxml.jackson.datatype джексон-datatype-jsr310 2.18.2
com.fasterxml.jackson.module джексон-модуль-паранэймер 2.18.2
com.fasterxml.jackson.module jackson-module-scala_2.13 2.18.2
com.github.ben-manes.caffeine кофеин 2.9.3
com.github.blemale scaffeine_2.13 4.1.0
com.github.fommil jniloader 1.1
com.github.fommil.netlib нативная_ссылка-java 1.1
com.github.fommil.netlib нативная_ссылка-java 1.1-коренные жители
com.github.fommil.netlib Нативная_система-java 1.1
com.github.fommil.netlib Нативная_система-java 1.1-коренные жители
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-коренные жители
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-коренные жители
com.github.luben zstd-jni 1.5.6-10
com.github.virtuald курвесапи 1,08
com.github.wendykierp JTransforms 3.1
com.google.api.grpc proto-google-common-protos 2.5.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson Gson 2.11.0
com.google.crypto.tink тинк 1.16.0
com.google.errorprone ошибкоопасные аннотации 2.36.0
com.google.flatbuffers flatbuffers-java 24.3.25
com.google.guava ошибка доступа 1.0.2
com.google.guava гуава 33.4.0-jre
com.google.guava будущее для прослушивания 999.0-empty-to-avoid-conflict-with-guava
com.google.j2objc j2objc-аннотации 3.0.0
com.google.protobuf protobuf-java 3.25.5
com.google.protobuf protobuf-java-util 3.25.5
com.helger Профилировщик 1.1.1
com.ibm.icu icu4j 75.1
com.jcraft jsch 0.1.55
com.lihaoyi sourcecode_2.13 0.1.9
com.microsoft.azure azure-data-lake-store-sdk (SDK для Azure Data Lake Store) 2.3.10
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.microsoft.sqlserver mssql-jdbc 12.8.0.jre8
com.ning compress-lzf (метод сжатия данных) 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning JSON (формат обмена данными JavaScript) 1.8
com.thoughtworks.paranamer Паранэймер 2.8
com.trueaccord.lenses лензы_2.13 0.4.13
com.twitter chill-java 0.10.0
com.twitter chill_2.13 0.10.0
com.twitter util-app_2.13 19.8.1
com.twitter util-core_2.13 19.8.1
com.twitter util-function_2.13 19.8.1
com.twitter util-jvm_2.13 19.8.1
com.twitter util-lint_2.13 19.8.1
com.twitter util-registry_2.13 19.8.1
com.twitter util-stats_2.13 19.8.1
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.13 3.9.2
com.uber h3 3.7.3
com.univocity юнивосити-парсерс 2.9.1
com.zaxxer ХикариCP 4.0.3
com.zaxxer СпарсБитСет 1.3
commons-cli commons-cli 1.9.0
commons-codec commons-codec 1.17.2
общие коллекции общие коллекции 3.2.2
commons-dbcp commons-dbcp 1.4
загрузка файлов через модуль commons загрузка файлов через модуль commons 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.18.0
commons-lang commons-lang 2.6
коммонс-логгинг коммонс-логгинг 1.1.3
коммонс-пул коммонс-пул 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Блас 3.0.3
dev.ludovic.netlib LAPACK (программная библиотека для линейной алгебры) 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift компрессор воздуха 2.0.2
io.delta delta-sharing-client_2.13 1.3.5
метрики io.dropwizard.metrics аннотация метрик 4.2.30
метрики io.dropwizard.metrics основные метрики 4.2.30
метрики io.dropwizard.metrics «metrics-graphite» 4.2.30
метрики io.dropwizard.metrics Метрики-Чек здоровья 4.2.30
метрики io.dropwizard.metrics метрики для Jetty9 4.2.30
метрики io.dropwizard.metrics Метрики-JMX 4.2.30
метрики io.dropwizard.metrics metrics-json 4.2.30
метрики io.dropwizard.metrics метрики для JVM 4.2.30
метрики io.dropwizard.metrics метрики и сервлеты 4.2.30
io.github.java-diff-utils java-diff-utils 4.15
io.netty netty-all (все пакеты netty) 4.1.118.Final
io.netty буфер Netty 4.1.118.Final
io.netty netty-codec (кодек Netty) 4.1.118.Final
io.netty netty-codec-http 4.1.118.Final
io.netty netty-codec-http2 4.1.118.Final
io.netty netty-codec-socks 4.1.118.Final
io.netty нетти-общий 4.1.118.Final
io.netty нетти-хэндлер 4.1.118.Final
io.netty нетти-обработчик-прокси 4.1.118.Final
io.netty Netty-резолвер 4.1.118.Final
io.netty netty-tcnative-boringssl-static 2.0.70.Final-db-r0-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.70.Final-db-r0-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.70.Final-db-r0-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.70.Final-db-r0-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.70.Final-db-r0-windows-x86_64
io.netty netty-tcnative-classes (классы netty-tcnative) 2.0.70.Final
io.netty netty-transport 4.1.118.Final
io.netty netty-transport-classes-epoll 4.1.118.Final
io.netty netty-transport-classes-kqueue 4.1.118.Final
io.netty netty-transport-native-epoll 4.1.118.Final
io.netty netty-transport-native-epoll 4.1.118.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.118.Final-linux-riscv64
io.netty netty-transport-native-epoll 4.1.118.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.118.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.118.Final-osx-x86_64
io.netty нетти-транспорт-натив-уникс-коммон 4.1.118.Final
io.prometheus simpleclient 0.16.1-databricks
io.prometheus простыйклиент_общий 0.16.1-databricks
io.prometheus Симплклиент_дропвизард 0.16.1-databricks
io.prometheus simpleclient_pushgateway 0.16.1-databricks
io.prometheus simpleclient_servlet 0.16.1-databricks
io.prometheus simpleclient_servlet_common 0.16.1-databricks
io.prometheus simpleclient_tracer_common 0.16.1-databricks
io.prometheus simpleclient_tracer_otel 0.16.1-databricks
io.prometheus simpleclient_tracer_otel_agent 0.16.1-databricks
io.prometheus.jmx коллекционер 0.18.0
jakarta.annotation jakarta.annotation-api (аннотация API Джакарты) 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation активация 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.media jai_core jai_core_dummy
javax.transaction джта 1.1
javax.transaction интерфейс транзакций 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
джлайн джлайн 2.14.6
joda-time joda-time 2.13.0
net.java.dev.jna джна 5.8.0
net.razorvine рассол 1.5
net.sf.jpam джпам 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv — инструмент для работы с CSV файлами 2.2.0
net.snowflake snowflake-ingest-sdk (SDK для обработки данных Snowflake) 0.9.6
net.sourceforge.f2j арпак_комбинированный_все 0,1
org.acplt.remotetea «remotetea-oncrpc» 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.13.1
org.antlr шаблон строки 3.2.1
org.apache.ant муравей 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow формат стрелок 18.2.0
org.apache.arrow ядро памяти Arrow 18.2.0
org.apache.arrow арроу-мемори-нетти 18.2.0
org.apache.arrow стрелка-память-netty-buffer-patch 18.2.0
org.apache.arrow вектор стрелки 18.2.0
org.apache.avro Авро 1.12.0
org.apache.avro avro-ipc 1.12.0
org.apache.avro avro-mapred 1.12.0
org.apache.commons commons-collections4 4.4.
org.apache.commons Коммонс-компресс 1.27.1
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.17.0
org.apache.commons коммонс-матх3 3.6.1
org.apache.commons Общедоступный текст 1.13.0
org.apache.curator куратор-клиент 5.7.1
org.apache.curator кураторский фреймворк 5.7.1
org.apache.curator куратор рецептов 5.7.1
org.apache.datasketches datasketches-java 6.1.1
org.apache.datasketches Датаскетчес-мемори 3.0.2
org.apache.derby дерби 10.14.2.0
org.apache.hadoop среда выполнения hadoop-клиента 3.4.1
org.apache.hive hive-beeline (инструмент командной строки для работы с Apache Hive) 2.3.10
org.apache.hive hive-cli 2.3.10
org.apache.hive hive-jdbc 2.3.10
org.apache.hive hive-llap-client 2.3.10
org.apache.hive hive-llap-common 2.3.10
org.apache.hive Hive-Serde 2.3.10
org.apache.hive хайв-шимы 2.3.10
org.apache.hive hive-storage-api (интерфейс хранения данных Hive) 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.10
org.apache.hive.shims хив-шимс-коммон 2.3.10
org.apache.hive.shims планировщик hive-shims 2.3.10
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy плющ 2.5.3
org.apache.logging.log4j log4j-1.2-api 2.24.3
org.apache.logging.log4j log4j-api 2.24.3
org.apache.logging.log4j log4j-core 2.24.3
org.apache.logging.log4j log4j-layout-template-json (шаблон компоновки для log4j в формате JSON) 2.24.3
org.apache.logging.log4j log4j-slf4j2-impl 2.24.3
org.apache.orc орк-кор 2.1.1-shaded-protobuf
org.apache.orc Формат ORC 1.1.0-shaded-protobuf
org.apache.orc orc-mapreduce (орч-мапредьюс) 2.1.1-shaded-protobuf
org.apache.orc орк-шимы 2.1.1
org.apache.poi пои 5.4.1
org.apache.poi poi-ooxml 5.4.1
org.apache.poi poi-ooxml-full 5.4.1
org.apache.poi poi-ooxml-lite 5.4.1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.16.0
org.apache.ws.xmlschema xmlschema-core 2.3.1
org.apache.xbean xbean-asm9-shaded 4.26
org.apache.xmlbeans xmlbeans 5.3.0
org.apache.yetus аннотации для аудитории 0.13.0
org.apache.zookeeper смотритель зоопарка 3.9.3
org.apache.zookeeper Zookeeper-JUTE 3.9.3
org.checkerframework checker-qual 3.43.0
org.codehaus.janino commons-компилятор 3.0.16
org.codehaus.janino джанино 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core (ядро датануклеус) 4.1.17
org.datanucleus Datanucleus-RDBMS 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.53.v20231009
org.eclipse.jetty jetty-continuation (продолжение Jetty) 9.4.53.v20231009
org.eclipse.jetty «jetty-http» 9.4.53.v20231009
org.eclipse.jetty jetty-io 9.4.53.v20231009
org.eclipse.jetty jetty-jndi 9.4.53.v20231009
org.eclipse.jetty Jetty Plus 9.4.53.v20231009
org.eclipse.jetty jetty-proxy (джетти-прокси) 9.4.53.v20231009
org.eclipse.jetty защита пристани 9.4.53.v20231009
org.eclipse.jetty сервер Jetty 9.4.53.v20231009
org.eclipse.jetty jetty-servlet 9.4.53.v20231009
org.eclipse.jetty jetty-servlets 9.4.53.v20231009
org.eclipse.jetty джетти-ютил (jetty-util) 9.4.53.v20231009
org.eclipse.jetty jetty-util-ajax 9.4.53.v20231009
org.eclipse.jetty Jetty - веб-приложение 9.4.53.v20231009
org.eclipse.jetty jetty-xml 9.4.53.v20231009
org.eclipse.jetty.websocket WebSocket API 9.4.53.v20231009
org.eclipse.jetty.websocket websocket-клиент 9.4.53.v20231009
org.eclipse.jetty.websocket WebSocket-Common 9.4.53.v20231009
org.eclipse.jetty.websocket вебсокет-сервер 9.4.53.v20231009
org.eclipse.jetty.websocket websocket-servlet 9.4.53.v20231009
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 хк2-локатор 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 локатор ресурсов OSGi 1.0.3
org.glassfish.hk2.external «aopalliance-repackaged» 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers Jersey-container-servlet 2.41
org.glassfish.jersey.containers джерси-контейнер-сервлет-кор 2.41
org.glassfish.jersey.core jersey-client (джерси-клиент) 2.41
org.glassfish.jersey.core джерси-коммон 2.41
org.glassfish.jersey.core Джерси-сервер 2.41
org.glassfish.jersey.inject jersey-hk2 2.41
org.hibernate.validator гибернейт-валидатор 6.2.5.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging (логирование в JBoss) 3.4.1.Final
org.jdbi jdbi 2.63.1
org.jetbrains аннотации 17.0.0
org.jline джлайн 3.27.1-jdk8
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.13 4.0.7
org.json4s json4s-core_2.13 4.0.7
org.json4s json4s-jackson-core_2.13 4.0.7
org.json4s json4s-jackson_2.13 4.0.7
org.json4s json4s-scalap_2.13 4.0.7
org.lz4 lz4-java 1.8.0-databricks-1
org.mlflow mlflow-spark_2.13 2.9.1
org.objenesis Обдженесис 3,3
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 1.2.1
org.rocksdb rocksdbjni 9.8.4
org.rosuda.REngine РЭнджин 2.1.0
org.scala-lang scala-compiler_2.13 2.13.16
org.scala-lang scala-library_2.13 2.13.16
org.scala-lang scala-reflect_2.13 2.13.16
org.scala-lang.modules scala-collection-compat_2.13 2.11.0
org.scala-lang.modules scala-java8-compat_2.13 0.9.1
org.scala-lang.modules scala-parallel-collections_2.13 1.2.0
org.scala-lang.modules scala-parser-combinators_2.13 2.4.0
org.scala-lang.modules scala-xml_2.13 2.3.0
org.scala-sbt тестовый интерфейс 1.0
org.scalacheck scalacheck_2.13 1.18.0
org.scalactic scalactic_2.13 3.2.19
org.scalanlp breeze-macros_2.13 2.1.0
org.scalanlp breeze_2.13 2.1.0
org.scalatest совместимый с ScalaTest 3.2.19
org.scalatest scalatest-core_2.13 3.2.19
org.scalatest scalatest-diagrams_2.13 3.2.19
org.scalatest scalatest-featurespec_2.13 3.2.19
org.scalatest scalatest-flatspec_2.13 3.2.19
org.scalatest scalatest-freespec_2.13 3.2.19
org.scalatest scalatest-funspec_2.13 3.2.19
org.scalatest scalatest-funsuite_2.13 3.2.19
org.scalatest scalatest-matchers-core_2.13 3.2.19
org.scalatest scalatest-mustmatchers_2.13 3.2.19
org.scalatest scalatest-propspec_2.13 3.2.19
org.scalatest scalatest-refspec_2.13 3.2.19
org.scalatest scalatest-shouldmatchers_2.13 3.2.19
org.scalatest scalatest-wordspec_2.13 3.2.19
org.scalatest scalatest_2.13 3.2.19
org.slf4j jcl-over-slf4j (адаптер для JCL, работающий поверх SLF4J) 2.0.16
org.slf4j jul-to-slf4j 2.0.16
org.slf4j slf4j-api 2.0.16
org.slf4j slf4j-simple 1.7.25
org.threeten тритен-экстра 1.8.0
org.tukaani хз 1,10
org.typelevel algebra_2.13 2.8.0
org.typelevel cats-kernel_2.13 2.8.0
org.typelevel spire-macros_2.13 0.18.0
org.typelevel spire-platform_2.13 0.18.0
org.typelevel spire-util_2.13 0.18.0
org.typelevel spire_2.13 0.18.0
org.wildfly.openssl wildfly-openssl 1.1.3.Окончательная
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml SnakeYAML 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 2.5.0-linux-x86_64
стекс stax-api 1.0.1

Подсказка

Чтобы ознакомиться с примечаниями к версиям Databricks Runtime, которые достигли окончания поддержки (EoS), см. Примечания к версиям Databricks Runtime с окончанием поддержки. Версии среды выполнения EoS Databricks устарели и могут не обновляться.

  • Last updated on