Поделиться через

Databricks Runtime 17.1 (EoS)

Замечание

Поддержка этой версии databricks Runtime закончилась. Сведения о дате окончания поддержки см. в разделе История окончания поддержки. Для всех поддерживаемых версий Databricks Runtime см. заметки о версиях выпуска и совместимости Databricks Runtime.

В следующих примечаниях к выпуску содержатся сведения о Databricks Runtime 17.1, на базе Apache Spark 4.0.0.

Azure Databricks выпустила эту версию в августе 2025 года.

Новые функции и улучшения

Расширенные пространственные выражения SQL и типы данных GEOMETRY и GEOGRAPHY

Теперь можно хранить геопространственные данные в встроенных GEOMETRY и GEOGRAPHY столбцах для повышения производительности пространственных запросов. В этом выпуске добавлено более 80 новых пространственных выражений SQL, включая функции для импорта, экспорта, измерения, создания, редактирования, проверки, преобразования и определения топологических связей с пространственными соединениями. См. ST геопространственные функции,GEOGRAPHY тип и GEOMETRY тип.

Рекурсивные общие табличные выражения (GA)

Рекурсивные распространенные табличные выражения (rCTEs) теперь общедоступны. Используйте rCTEs для навигации по иерархическим данным с помощью самоссылающегося CTE и UNION ALL для следования рекурсивным связям.

Функции таблиц, определяемые пользователем для каталога Unity (UDTFs)

Теперь вы можете зарегистрировать UDTF (определяемые пользователем табличные функции) Python в каталоге Unity для централизованного управления и многократного использования логики в запросах SQL. См. определяемые пользователем функции таблиц Python (ОПФТ) в каталоге Unity.

Поддержка сортировки по умолчанию на уровне схемы и каталога

Теперь можно задать параметры сортировки по умолчанию для схем и каталогов в Databricks Runtime 17.1. Это позволяет определить параметры сортировки, которые применяются ко всем объектам, созданным в схеме или каталоге, обеспечивая согласованное поведение сортировки между данными.

Общая исполняемая среда изоляции для пользовательских UDF каталога Unity Batch

Определяемые пользователем UDFS каталога пакетной службы Unity с тем же владельцем теперь могут совместно использовать среду изоляции по умолчанию. Это может повысить производительность и уменьшить использование памяти, уменьшая количество отдельных сред, которые необходимо запустить.

Чтобы убедиться, что UDF всегда выполняется в полностью изолированной среде, добавьте классификатор STRICT ISOLATION. См. раздел изоляции среды.

Улучшена обработка параметров JSON с помощью VARIANT

Теперь функции from_json и to_json правильно применяют параметры JSON при работе со схемами верхнего уровня VARIANT. Это обеспечивает согласованное поведение с другими поддерживаемыми типами данных.

display() поддерживает стриминг в режиме Real-Time

Функцию display() можно использовать с запросами потоковой передачи, которые используют триггер в режиме реального времени. В этом режиме display() автоматически использует выходной режим update и избегает добавления LIMIT предложения, которое не поддерживается update. Частота обновления экрана также отделяется от длительности обработки пакета, чтобы улучшить реактивность в режиме реального времени.

Источник скорости поддерживает режим потоковой передачи Real-Time

Источник скорости в структурированной потоковой передаче теперь работает с триггерами в режиме реального времени, позволяя непрерывно создавать данные для конвейеров потоковой передачи с помощью режима потоковой передачи Real-Time.

Поддержка таймеров событий в окнах на основе времени

Azure Databricks поддерживает триггеры на основе времени события для операций временного окна в режиме Real-Time потоковой передачи. Это обеспечивает более точную обработку поздних данных и водяных знаков в запросах потоковой передачи в режиме реального времени.

Скалярные пользовательские функции Python поддерживают учетные данные службы

Скалярные пользовательские функции Python могут использовать учетные данные службы Unity Catalog для безопасного доступа к внешним облачным службам. Это полезно для интеграции таких операций, как облачная маркеризация, шифрование или управление секретами непосредственно в преобразования данных.

Улучшенный список схем

Соединитель Snowflake использует таблицу INFORMATION_SCHEMA вместо команды SHOW SCHEMAS для перечисления схем. Это изменение удаляет ограничение схемы в 10 000 схем предыдущего подхода и улучшает поддержку баз данных с большим количеством схем.

Улучшено сопоставление строковых столбцов в записях Redshift

При записи таблиц в Redshift с помощью spark.write, строковые столбцы без явной длины сопоставляются с VARCHAR(MAX) вместо TEXT. Это позволяет избежать поведения Redshift по умолчанию для интерпретации TEXT как VARCHAR(256), что может привести к ошибкам при написании более длинных строк.

Поддержка DDL, SHOW и DESCRIBE в таблицах, контролируемых доступом

Такие команды SQL, как DDL, SHOWи DESCRIBE теперь выполняются в детально управляемых доступом таблицах с помощью выделенных кластеров. При необходимости для принудительного применения элементов управления доступом Azure Databricks направляет эти команды через бессерверные вычисления, как и для операций чтения, слияния и добавления. См . раздел "Поддержка DDL", "SHOW", "ОПИСАНИЕ" и других команд.

Уменьшение использования памяти для широких схем в пишущем средстве Photon

Улучшения были внесены в движок Photon, который значительно сокращает использование памяти для широких схем, что ранее приводило к ошибкам недостатка памяти.

Поддержка синтаксиса TIMESTAMP БЕЗ ЧАСОВОГО ПОЯСА

Теперь можно указать TIMESTAMP WITHOUT TIME ZONE вместо TIMESTAMP_NTZ. Это изменение улучшает совместимость со стандартом SQL.

Изменения поведения

Устранена проблема корреляции вложенных запросов

Azure Databricks больше не некорректно коррелирует семантически равные агрегатные выражения между вложенным запросом и его внешним запросом. Ранее это может привести к неправильным результатам запроса.

Метка времени NTZ-литералы больше не толкают вниз

Для соединителя Snowflake и федерации Snowflake Lakehouse TIMESTAMP_NTZ (метки времени без часового пояса) больше не передаются в Snowflake. Это изменение предотвращает сбои запросов, вызванные несовместимой обработкой меток времени и повышение надежности затронутых запросов.

Ошибка, возникаемая для недопустимых CHECK ограничений

Azure Databricks теперь вызывает исключение AnalysisException, если выражение ограничения CHECK не может быть разрешено во время проверки ограничений.

Соединитель Pulsar больше не открывает библиотеку Bouncy Castle

Библиотека Bouncy Castle теперь затеняется в соединителе Pulsar, чтобы предотвратить конфликты классов. В результате задания Spark больше не могут получать доступ к org.bouncycastle.* классам из соединителя. Если код приложения зависит от Bouncy Castle, установите библиотеку вручную в кластере.

Автозагрузчик использует события файлов по умолчанию, если они доступны.

Auto Loader использует события файлов вместо перечисления каталогов, если путь загрузки представляет собой внешнее расположение с включенными параметрами событий файлов. Значение по умолчанию useManagedFileEvents сейчас if_available (было false). Это может повысить производительность приема данных и выдает предупреждение, если события файла еще не включены.

Свойства внутренней таблицы, отфильтрованные из SHOW CREATE TABLE

SHOW CREATE TABLE больше не включает внутренние свойства, которые нельзя задать вручную или передать в CREATE TABLE. Это уменьшает путаницу и выравнивает выходные данные с настраиваемыми пользователями параметрами.

Более строгие правила для соединения межпотоковых данных в режиме добавления

Azure Databricks теперь запрещает потоковые запросы в режиме добавления, использующие соединение между потоками с последующей оконной агрегацией, если водяные знаки не определены с обеих сторон. Запросы без соответствующих подложек могут создавать не окончательные результаты, нарушая гарантии режима добавления.

Коннектор Teradata исправляет сравнение строк с учетом регистра

Соединитель Teradata теперь по умолчанию использует TMODE=ANSI, что соответствует поведению сравнения строк с Azure Databricks, делая его чувствительным к регистру. Это изменение настраивается и не влияет на существующих пользователей, если они не будут включено.

Обновления библиотек

  • Обновленные библиотеки Python:

    • google-auth от 2.40.1 до 2.40.0
    • mlflow-skinny от 3.0.0 до 3.0.1
    • opentelemetry-api с 1.33.0 до 1.32.1
    • opentelemetry-sdk от 1.33.0 до 1.32.1
    • соглашения opentelemetry-semantic-conventions от 0.54b0 до 0.53b1
    • упаковка от 24.1 до 24.2
    • pip от 24.2 до 25.0.1

  • Обновленные библиотеки R:

  • cli от 3.6.4 до 3.6.5

  • curl от 6.2.1 до 6.4.0

  • generics от 0.1.3 до 0.1.4

  • globals от 0.16.3 до 0.18.0

  • opensl от 2.3.2 до 2.3.3

  • столб с 1.10.1 до 1.11.0

  • rlang от 1.1.5 до 1.1.6

  • sparklyr от 1.9.0 до 1.9.1

  • stringi от 1.8.4 до 1.8.7

  • tibble от 3.2.1 до 3.3.0

  • utf8 от 1.2.4 до 1.2.6

  • Обновленные библиотеки Java:

    • software.amazon.cryptools.AmazonCorrettoCryptoProvider от 2.4.1-linux-x86_64 до 2.5.0-linux-x86_64

Apache Spark

Databricks Runtime 17.1 включает Apache Spark 4.0.0. Этот выпуск включает все исправления Spark и улучшения, включенные в предыдущую версию, а также следующие:

  • SPARK-52721 Исправление параметра сообщения для CANNOT_PARSE_DATATYPE
  • SPARK-51919 Разрешить перезапись статически зарегистрированного источника данных для Python
  • SPARK-52632 Отменить: красивое отображение узлов плана записи V2
  • SPARK-52715 Красивая строка SQL TIME — DAY-TIME INTERVAL
  • SPARK-51268 Сделать TreeNode без блокировок
  • SPARK-52701 Исправление расширения типа float32 при операции модуля с логическим значением в ANSI
  • SPARK-52563 Исправлена ошибка именования var в _assert_pandas_almost_equal
  • SPARK-52541 Добавление руководства по программированию для декларативных конвейеров
  • SPARK-51695 Исправление ошибок теста, вызванных изменением синтаксиса CHECK CONSTRAINT
  • SPARK-52666 Сопоставление типа, определяемого пользователем, с корректным MutableValue в SpecificInternalRow
  • SPARK-52660 Добавление типа времени в CodeGenerator#javaClass
  • SPARK-52693 Поддержка интервалов времени дня +/- ANSI к/от TIME
  • SPARK-52705 Рефакторинг детерминированного контроля для выражений группирования
  • SPARK-52699 Поддержка агрегирования типа TIME в интерпретированном режиме
  • SPARK-52503 Исправление сброса, если входной столбец не существует
  • SPARK-52535 Улучшение удобочитаемости кода правила ApplyColumnarRulesAndInsertTransitions
  • SPARK-52551 Добавление нового предиката версии 2 BOOLEAN_EXPRESSION
  • SPARK-52698 Реверт: улучшение подсказок типа для модуля источника данных
  • SPARK-52684 Сделать CACHE TABLE команды атомарными при возникновении ошибок выполнения
  • SPARK-52671 RowEncoder не должен искать разрешенный определяемый пользователем тип
  • SPARK-52670 Создание HiveResult для работы с UserDefinedType#stringifyValue
  • SPARK-52692 Поддержка кэширования типа TIME
  • SPARK-51516 Поддержка TIME сервером Thrift
  • SPARK-52674 Очистка использования устаревших API, связанных с RandomStringUtils
  • SPARK-51428 Назначение псевдонимов для упорядоченных деревьев выражений детерминированно
  • SPARK-52672 Не заменяйте выражения sort/Having псевдонимами, если выражение существует в агрегатном режиме
  • SPARK-52618 Приведение TIME(n) к TIME(m)
  • SPARK-52656 Исправление current_time()
  • SPARK-52630 Реорганизация оператора потоковой передачи и кода управления состоянием и каталогов
  • SPARK-52649 Удаление псевдонимов перед сопоставлением выражений Sort / Having / Filter в buildAggExprList
  • SPARK-52578 Добавление метрик для строк для отслеживания условий и действий в MergeRowsExec
  • SPARK-49428 Перемещение клиента Scala из соединителя в SQL
  • SPARK-52494 Поддержка синтаксиса оператора двоеточия для доступа к полям Variant
  • SPARK-52642 Используйте daemonWorkers.get(worker), чтобы избежать непредвиденной рассогласованности между idleWorkers и daemonWorkers
  • SPARK-52570 Включение возможности деления на ноль для числовых модулей при включенном ANSI
  • SPARK-52633 Дедупликация выходных данных одного дочернего объединения перед дедупликациейRelations
  • SPARK-52600 Перемещение CompletionIterator в общие/утилиты
  • SPARK-52626 Разрешить группирование по типу времени
  • SPARK-52395 Немедленно завершать задачу редуктора при неудаче запроса Prism
  • SPARK-52596 Попробуйте сделать TIMESTAMP_NTZ из ДАТЫ и ВРЕМЕНИ
  • SPARK-52595 Переименование выражения TimeAdd в TimestampAddInterval
  • SPARK-52586 Введение AnyTimeType
  • SPARK-52583 Добавление API для разработчиков для преобразования значений в строку в UserDefinedType
  • SPARK-52354 Добавление приведения типов в UnionLoop
  • SPARK-52579 Установка периодического дампа трассировки для Python процессов
  • SPARK-52456 Уменьшите минимальное ограничение параметра spark.eventLog.rolling.maxFileSize
  • SPARK-52536 Задайте для извлечения AsyncProfilerLoader значение Spark local dir
  • SPARK-52405 Расширение V2JDBCTest для тестирования нескольких операций чтения разделов
  • SPARK-52303 Перевести externalCommandRunner в стабильную версию
  • SPARK-52572 Избегайте CAST_INVALID_INPUT DataFrame.isin в режиме ANSI
  • SPARK-52349 Включение логических тестов деления с включенной функцией ANSI
  • SPARK-52402 Исправление ошибок деления на ноль в корреляции Kendall и Pearson в режиме ANSI
  • SPARK-52356 Включение деления на ноль для булевого мода/rmod с включенной ANSI
  • SPARK-52288 Избегайте INVALID_ARRAY_INDEX в split/rsplit, когда включён режим ANSI
  • SPARK-52557 Избежание ошибки CAST_INVALID_INPUT при использовании to_numeric(errors='coerce') в режиме ANSI
  • SPARK-52440 Добавить дополнительную установку Python для декларативных конвейеров
  • SPARK-52569 Исправление ошибки приведения типа в классе SecondsOfTimeWithFraction
  • SPARK-52540 Создание TIMESTAMP_NTZ из ДАТЫ и ВРЕМЕНИ
  • SPARK-52539 Введение хуков сеансов
  • SPARK-52554 Избегайте нескольких циклов для проверки конфигурации в Spark Connect
  • SPARK-52553 Исправление NumberFormatException при чтении журнала изменений версии 1
  • SPARK-52534 Сделать MLCache и MLHandler безопасными для многопоточности
  • SPARK-52460 Хранение внутренних значений TIME в наносекундах
  • SPARK-52482 Поддержка ZStandard для средства чтения источников данных файлов
  • SPARK-52531 OuterReference в агрегате вложенных запросов неправильно привязан к внешнему агрегату запросов
  • SPARK-52339 Устранение проблемы сравнения экземпляров InMemoryFileIndex
  • SPARK-52418 Добавьте переменную состояния noElements в percentileHeap, чтобы избежать повторяющихся вычислений isEmpty()
  • SPARK-52537 Печать стека трассировки при ошибке создания временного каталога
  • SPARK-52462 Принудительное применение приведения типов перед дедупликацией дочерних элементов в Union
  • SPARK-52528 Включение деления на ноль для числового модуля с включенным ANSI
  • SPARK-52458 Поддержка spark.eventLog.excludedPatterns
  • SPARK-52493 Поддержка TIMESTAMP БЕЗ ЧАСОВОГО ПОЯСА
  • SPARK-51563 Поддержка полного квалифицированного имени типа TIME(n) без часового пояса
  • SPARK-52450 Улучшить производительность глубокого копирования схемы
  • SPARK-52519 Включение деления по нулю для числовых полдивов с включенной функцией ANSI
  • SPARK-52489 Запретить повторяющиеся обработчики SQLEXCEPTION и NOT FOUND внутри скрипта SQL
  • SPARK-52488 Удаление псевдонимов перед упаковкой внешних ссылок под HAVING
  • SPARK-52383 Улучшение ошибок в SparkConnectPlanner
  • SPARK-52335 Унификация ошибки неверного количества контейнеров как для Connect, так и для Classic
  • SPARK-52337 Сделать InvalidPlanInput ошибкой, которая сталкивается с пользователем
  • SPARK-52312 Игнорировать V2WriteCommand при кэшировании кадра данных
  • SPARK-52487 Добавить время отправки этапа и длительность в детали StagePage
  • SPARK-52433 Унификация приведения строк в createDataFrame
  • SPARK-52427 Нормализация списка статистических выражений, охватываемого проектом
  • SPARK-51745 Принудительное применение машины состояний для RocksDBStateStore
  • SPARK-52447 Переместить нормализацию GetViewColumnByNameAndOrdinal в SessionCatalogSuite
  • SPARK-52397 Идемпотентность ExecutePlan: второй ExecutePlan с тем же идентификатором операции и повторным присоединением плана
  • SPARK-52355 Выводить тип объекта VariantVal как VariantType при создании DataFrame
  • SPARK-52425 Рефакторинг ExtractValue для повторного использования в однопроходной реализации
  • SPARK-52249 Включение деления по нулю для числовых truediv с включенной функцией ANSI
  • SPARK-52228 Интеграция микробенчмарка взаимодействия состояния в Quicksilver (TCP)
  • SPARK-48356 Улучшение вывода схемы столбцов инструкции FOR
  • SPARK-48353 Улучшения обработки исключений
  • SPARK-52060 Создание узла OneRowRelationExec
  • SPARK-52391 Рефакторинг функций TransformWithStateExec/vars в базовый класс для Scala и Python
  • SPARK-52218 Вновь сделать текущие функции даты и времени вычисляемыми
  • SPARK-52350 Исправление ссылки на руководство по программированию SS в версии 4.0
  • SPARK-52385 Удаление tempResolvedColumns из имени InheritAnalysisRules
  • SPARK-52392 Новые функции однопроходного анализатора
  • SPARK-52243 Добавление поддержки NERF для ошибок, связанных с схемой InvalidPlanInput
  • SPARK-52338 Наследование параметров сортировки по умолчанию от схемы к представлению
  • SPARK-52307 Поддержка скалярной итератора стрелки UDF
  • SPARK-52300 Создание разрешения SQL UDTVF с согласованной конфигурацией с разрешением представления
  • SPARK-52219 Поддержка сортировки на уровне схемы для таблиц
  • SPARK-52272 V2SessionCatalog не изменяет схему в каталоге Hive
  • SPARK-51890 Добавление options параметра в представление логического плана
  • SPARK-51936 ReplaceTableAsSelect должен перезаписать новую таблицу вместо добавления
  • SPARK-51302 Spark Connect поддерживает JDBC, который должен использовать API DataFrameReader
  • SPARK-50137 Избегайте использования несовместимых с Hive способов при сбоях создания таблицы
  • SPARK-52184 Обработка синтаксических ошибок JDBC внешнего движка в едином исключении
  • SPARK-47618 Использование Magic Committer для всех баз данных S3 по умолчанию
  • SPARK-52305 Уточнить строки документации для isnotnull, equal_null, nullif, nullifzero, nvl, nvl2, zeroifnull
  • SPARK-52174 Включение spark.checkpoint.compress по умолчанию
  • SPARK-52224 Введение pyyaml в качестве зависимости для клиента Python
  • SPARK-522333 Исправление map_zip_with для типов с плавающей запятой
  • SPARK-52036 Добавить трейт SQLConfHelper в v2.FileScan
  • SPARK-52159 Удалить слишком сложное условие для диалекта MariaDB
  • SPARK-50104 Поддержка SparkSession.executeCommand в Connect
  • SPARK-52240 Исправлено использование индекса строк при взрыве упакованных массивов в векторизованном средстве чтения
  • SPARK-52153 Исправление from_json и to_json с помощью variant
  • SPARK-48618 Улучшить тест на несуществование, чтобы проверять как трехкомпонентные, так и двухкомпонентные имена.
  • SPARK-52216 Сделать InvalidCommandInput ошибкой, отображаемой пользователю
  • SPARK-52299 Замените устаревшие поля JsonNode.fields
  • SPARK-52287 Улучшить SparkContext, чтобы не заполнять параметр o.a.s.internal.io.cloud.*, если он не существует
  • SPARK-51430 Остановка средства ведения журнала контекста PySpark от распространения журналов до stdout
  • SPARK-52278 Скалярная стрелка UDF поддерживает именованные аргументы
  • SPARK-52026 Блокировать API pandas в Spark в режиме ANSI по умолчанию
  • SPARK-52171 Реализация присоединения StateDataSource для состояния версии 3
  • SPARK-52159 Правильная проверка существования таблицы для диалектов JDBC
  • SPARK-52158 Добавление объекта InvalidInputErrors для централизации ошибок в SparkConnectPlanner
  • SPARK-52195 Исправлена проблема с удалением начального столбца состояния для TWS Python
  • SPARK-52211 Удалить суффикс $ из журнала SparkConnectServer INFO
  • SPARK-52239 Поддержка регистрации UDF со стрелками
  • SPARK-52215 Реализация скалярной стрелки UDF
  • SPARK-52188 Исправление для StateDataSource, где StreamExecution.RUN_ID_KEY не задано
  • SPARK-52189 Новые тесты золотого файла для NATURAL JOIN с GROUP BY, HAVINGORDER BY и LCAs
  • SPARK-52079 Нормализация порядка атрибутов в списках внутренних проектов
  • SPARK-52234 Исправлена ошибка при входных данных, отличных от строковых данных, в schema_of_csv/xml
  • SPARK-52221 Рефакторинг SqlScriptingLocalVariableManager в более универсальный диспетчер контекстов
  • SPARK-52181 Увеличьте размер варианта до 128MiB
  • SPARK-52217 Пропуск проверки внешних ссылок под фильтром в однопроходном решателе
  • SPARK-51260 Перемещение V2ExpressionBuilder и PushableExpression в модуль Catalyst
  • SPARK-52156 Поместить устаревшую команду CREATE TEMPORARY TABLE ... USING provider под флагом
  • SPARK-51012 Удалить SparkStrategy из Connect Shims
  • SPARK-52109 Добавление API listTableSummaries в API каталога таблиц источника данных версии 2
  • SPARK-50915 Добавление getCondition и объявление getErrorClass устаревшим в PySparkException
  • SPARK-52022 Добавление метода check in default для SparkThrowable.getQueryContext
  • SPARK-51147 Переработка классов, связанных с потоковой передачей, в выделенную директорию для потоковой передачи
  • SPARK-52120 Передача сеанса в ConnectHelper
  • SPARK-52021 Отдельные шаблоны операторов и выражений
  • SPARK-51722 Удаление источника stop из ParseException
  • SPARK-52096 Переклассифицировать ошибку утверждения смещения источника kafka
  • SPARK-51985 Удаление экспериментального из AccumulatorSource
  • SPARK-51156 Поддержка проверки подлинности статических токенов в Spark Connect
  • SPARK-52157 Использование более раннего вычисленного имени для OuterReference в однопроходном разрешителе
  • SPARK-52100 Включить возможность переопределения ограничения уровня рекурсии в синтаксисе
  • SPARK-51605 Создание родительского каталога перед касанием logFile
  • SPARK-52127 Сжатие протокола MapState KEYS/ VALUES / ITERATOR для преобразованияWithState в PySpark
  • SPARK-52040 ResolveLateralColumnAliasReference должен сохранить идентификатор плана
  • SPARK-51638 Исправление проблемы извлечения блоков RDD, сохраненных на удаленном диске, через внешнюю службу перетасовки
  • SPARK-51983 Подготовка тестовой среды для API pandas в Spark с включенным режимом ANSI
  • SPARK-52087 Добавление копирования тегов и источника в AliasHelper.trimNonTopLevelAliases
  • SPARK-51210 Добавить --enable-native-access=ALL-UNNAMED к параметрам Java 24+
  • SPARK-52052 Добавление .broadcast в объект-компаньон SerializableConfiguration
  • SPARK-51823 Добавление конфигурации для запрета сохранения хранилища состояний на исполнителях
  • SPARK-51291 Переклассифицировать ошибки проверки, вызванные загрузкой хранилища состояний
  • SPARK-52006 Исключите накопитель CollectMetricsExec из пользовательского интерфейса Spark + журналы событий + пульс метрики
  • SPARK-52076 Явно закрывает ExecutePlanResponseReattachableIterator после использования
  • SPARK-51428 Назначение псевдонимов для упорядоченных деревьев выражений детерминированно
  • SPARK-52079 Нормализация порядка атрибутов в списках внутренних проектов
  • SPARK-52033 Исправлена ошибка создания узла, в которой выходные данные дочернего узла могут содержать несколько копий одного атрибута.
  • SPARK-51428 Назначение псевдонимов для упорядоченных деревьев выражений детерминированно
  • SPARK-52055 Подавление исключения в методе ExecutePlanResponseReattachableIterator. del
  • SPARK-51921 Использование типа long для длительности TTL в миллисекундах в transformWithState
  • SPARK-50763 Добавление правила анализатора для разрешения функций таблицы SQL
  • SPARK-51884 Добавление атрибутов внешней области для SubqueryExpression
  • SPARK-50762 Добавление правила анализа для разрешения скалярных определяемых пользователем функций (SQL scalar UDF)
  • SPARK-51814 Использует list(self) вместо StructType.fields для совместимости со старой версией.
  • SPARK-51537 Создание класслоудера для конкретного сеанса на основе класслоудера сеанса по умолчанию на исполнителе
  • SPARK-50777 Удалить избыточные методы no-op инициализации и уничтожения из классов Filter
  • SPARK-51691 СериализацияDebugger должна проглотить исключение при попытке найти причину проблемы сериализации
  • SPARK-51386 Назначение имени условиям ошибки _LEGACY_ERROR_TEMP_3300-3302
  • SPARK-50734 Добавление API каталога для создания и регистрации определяемых пользователем функций SQL (UDF)
  • SPARK-51989 Добавление отсутствующих подклассов фильтра во весь список в источнике данных
  • SPARK-52037 Порядок в списках внутренних проектов LCA должен учитывать порядок в исходном списке проектов
  • SPARK-52007 Идентификаторы выражений не должны присутствовать в выражениях группировки при использовании группирующих наборов
  • SPARK-51860 Отключить spark.connect.grpc.debug.enabled по умолчанию
  • SPARK-47952 Поддержка получения фактического адреса и порта GRPC SparkConnectService программным путем при работе на Yarn
  • SPARK-50906 Добавьте проверку допустимости значений NULL, если входные данные to_avro соответствуют схеме
  • Исправление поддержки SPARK-50581 для UDAF в Dataset.observe()
  • SPARK-49946 В SparkOutOfMemoryError требуется заданный класс ошибок
  • SPARK-49748 Добавить getCondition и объявить устаревшим getErrorClass в SparkThrowable
  • SPARK-51959 Создание функций без импорта ParentDataFrame
  • SPARK-51964 Правильно разрешать атрибуты из скрытых выходных данных и ORDER BYHAVING на вершине агрегата в однопроходном анализаторе
  • SPARK-49942 Переименование errorClass в условие в classifyException()
  • SPARK-51963 Упростить IndexToString.transform
  • SPARK-51946 Немедленный сбой при попытке создать таблицу источника данных с названием раздела 'col', несовместимую с Hive.
  • SPARK-51553 Модификация функции EXTRACT для поддержки типа данных TIME
  • SPARK-51891 Сжатие протокола ListState / PUT / APPENDLIST для transformWithState GET в PySpark
  • SPARK-51931 Добавление maxBytesPerOutputBatch для ограничения количества байтов выходного пакета Apache Arrow
  • SPARK-51441 Добавление API DSv2 для ограничений
  • SPARK-51814 Используйте RecordBatch.schema.names вместо column_names для совместимости с устаревшими версиями pyarrow
  • SPARK-51913 JDBCTableCatalog#loadTable должен правильно вызывать ошибку "такой таблицы не существует".
  • SPARK-51840 Восстановление партиционных столбцов в HiveExternalCatalog#alterTable
  • SPARK-51414 Добавление функции make_time()
  • SPARK-49700 Унифицированный интерфейс Scala для подключения и классической версии
  • SPARK-51914 Добавление com.mysql.cj в spark.sql.hive.metastore.sharedPrefixes
  • SPARK-51827 Поддержка Spark Connect при transformWithState в PySpark
  • SPARK-51901 Запретить функции генератора в группирующих наборах
  • SPARK-51423 Добавление функции current_time() для типа данных TIME
  • SPARK-51680 Установка логического типа для "TIME" в записывающем модуле Parquet
  • SPARK-51889 Исправлена ошибка для MapState clear() в Python TWS
  • SPARK-51869 Создание классификации пользовательских ошибок в определяемых пользователем функциях для Scala TransformWithState
  • SPARK-51878 Улучшение fillDefaultValue путем выполнения свертываемого выражения по умолчанию.
  • SPARK-51757 Исправление превышения смещения функции LEAD/LAG относительно размера группы окон
  • SPARK-51805 Вызов функции с некорректным аргументом должен вызывать правильное исключение вместо внутреннего
  • SPARK-51900 Правильный вызов ошибки несоответствия типов данных в однопроходном анализаторе
  • SPARK-51421 Получение секунд данных типа TIME
  • SPARK-51661 Обнаружение разделов значений столбца TIME
  • SPARK-51687 Фильтры pushdown со значениями TIME для parquet
  • SPARK-51419 Извлечение часов из типа данных TIME
  • SPARK-51881 Сделать AvroOptions сопоставимым
  • SPARK-51861 Удалить повторяющиеся и ненужные сведения в деталях плана InMemoryRelation
  • SPARK-51814 Введение нового преобразования APIWithState в PySpark
  • SPARK-51779 Использование семейств виртуальных столбцов для потоковых соединений
  • SPARK-51649 Динамические операции записи и чтения секций TIME
  • SPARK-51634 Поддержка TIME в внетелесных векторах столбцов
  • SPARK-51877 Добавление функций chr, random и uuid
  • SPARK-51610 Поддержка типа данных TIME в источнике данных Parquet
  • SPARK-51420 Получение минут из типа данных TIME
  • SPARK-51822 Генерация классифицированной ошибки при вызове запрещенных функций в процессе выполнения StatefulProcessor.init()
  • SPARK-51868 Перенесите проверку приведения типов в отдельный объект
  • SPARK-49747 Миграция файлов из папки connect в структурированное логирование

Поддержка драйвера ODBC/JDBC для Azure Databricks

Databricks поддерживает драйверы ODBC/JDBC, выпущенные за последние 2 года. Скачайте недавно выпущенные драйверы и обновление (скачайте ODBC, скачайте JDBC).

Технические обновления

Ознакомьтесь с обновлениями обслуживания Azure Databricks Runtime 17.1.

Системная среда

  • Операционная система: Ubuntu 24.04.2 LTS
  • Java: Zulu17.58+21-CA
  • Scala: 2.13.16
  • Python: 3.12.3
  • R: 4.4.2
  • Delta Lake: 4.0.0

Установленные библиотеки Python

Библиотека Версия Библиотека Версия Библиотека Версия
аннотированные типы 0.7.0 anyio 4.6.2 argon2-cffi 21.3.0
argon2-cffi-связки 21.2.0 стрела 1.3.0 асттокенс 2.0.5
астунпарс 1.6.3 async-lru 2.0.4 атрибуты 24.3.0
автоматическая команда 2.2.2 azure-common 1.1.28 azure-core 1.34.0
azure-identity 1.20.0 Платформа управления Azure (azure-mgmt-core) 1.5.0 azure-mgmt-web 8.0.0
azure-storage-blob (облако сохранения Azure) 12.23.0 хранилище файлов данных Azure Data Lake 12.17.0 Вавилон 2.16.0
backports.tarfile 1.2.0 beautifulsoup4 4.12.3 черный 24.10.0
отбеливатель 6.2.0 указатель поворота 1.7.0 boto3 1.36.2
botocore 1.36.3 инструменты для кэша 5.5.1 сертификат 2025.1.31
cffi 1.17.1 chardet 4.0.0 нормализатор кодировки 3.3.2
щелчок 8.1.7 Клаудпикл 3.0.0 коммуникация 0.2.1
Contourpy 1.3.1 криптография 43.0.3 велосипедист 0.11.0
Cython 3.0.12 databricks-sdk 0.49.0 dbus-python 1.3.2
debugpy 1.8.11 декоратор 5.1.1 defusedxml 0.7.1
Deprecated 1.2.13 Дистлиб 0.3.9 Конвертация docstring в markdown 0.11
исполнение 0.8.3 Обзор аспектов 1.1.1 fastapi 0.115.12
fastjsonschema 2.21.1 файловая блокировка 3.18.0 шрифтовые инструменты 4.55.3
Полное доменное имя (FQDN) 1.5.1 fsspec 2023.5.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.20.0 google-auth (аутентификация от Google) 2.40.0
google-cloud-core (основной модуль Google Cloud) 2.4.3 облачное хранилище Google 3.1.0 google-crc32c 1.7.1
гугл-возобновляемые-медиа 2.7.2 googleapis-common-protos (общие протоколы googleapis) 1.65.0 grpcio 1.67.0
grpcio-status 1.67.0 h11 0.14.0 httpcore 1.0.2
httplib2 0.20.4 httpx 0.27.0 IDNA 3,7
importlib-metadata 6.6.0 importlib_resources 6.4.0 склонять 7.3.1
iniconfig 1.1.1 ipyflow-core 0.0.209 ipykernel 6.29.5
ipython 8.30.0 ipython-genutils (утилиты для iPython) 0.2.0 ipywidgets 7.8.1
isodate (стандартная дата ISO) 0.6.1 изодурация 20.11.0 jaraco.context 5.3.0
jaraco.functools 4.0.1 jaraco.text 3.12.1 джедаи 0.19.2
Джинджа2 3.1.5 jmespath 1.0.1 joblib 1.4.2
json5 0.9.25 Джсонпоинтер (jsonpointer) 3.0.0 jsonschema (JSON-схема) 4.23.0
jsonschema-спецификации 2023.7.1 Jupyter-события 0.10.0 jupyter-lsp 2.2.0
клиент Jupyter 8.6.3 jupyter_core (ядро Jupyter) 5.7.2 Джупитер_сервер 2.14.1
терминалы_сервера_jupyter 0.4.4 jupyterlab 4.3.4 jupyterlab-pygments 0.1.2
jupyterlab-мини-приложения 1.0.0 jupyterlab_server (сервер для JupyterLab) 2.27.3 Кивисолвер 1.4.8
launchpadlib 1.11.0 lazr.restfulclient 0.14.6 lazr.uri 1.0.6
markdown-it-py 2.2.0 MarkupSafe 3.0.2 matplotlib 3.10.0
матплотлиб-инлайн 0.1.7 МакКейб 0.7.0 mdurl 0.1.0
Мистун 2.0.4 mlflow-skinny (упрощённая версия пакета mlflow) 3.0.1 mmh3 5.1.0
more-itertools 10.3.0 msal 1.32.3 msal-extensions 1.3.1
mypy-extensions (расширения для mypy) 1.0.0 nbclient 0.8.0 Перекодировщик nbconvert 7.16.4
nbformat 5.10.4 nest-asyncio 1.6.0 nodeenv 1.9.1
notebook 7.3.2 ноутбук_шим 0.2.3 numpy (библиотека для работы с массивами и матрицами в Python) 2.1.3
OAuthlib 3.2.2 opentelemetry-api 1.32.1 opentelemetry-sdk 1.32.1
cемантические соглашения opentelemetry 0.53b1 Переопределения 7.4.0 упаковка 24,2
Панды 2.2.3 пандокфильтры 1.5.0 Парсо 0.8.4
спецификация пути 0.10.3 простак 1.0.1 pexpect (библиотека Python для автоматизации взаимодействия с приложениями) 4.8.0
подушка 11.1.0 пит 25.0.1 Platformdirs 3.10.0
библиотека Plotly для визуализации данных 5.24.1 менеджер плагинов Pluggy 1.5.0 prometheus_client 0.21.0
prompt-toolkit (инструментарий подсказок) 3.0.43 proto-plus 1.26.1 protobuf (протобуф) 5.29.4
psutil (пакет Python для работы с процессами и системами) 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
пьюр-эвэл 0.2.2 pyarrow 19.0.1 pyasn1 0.4.8
pyasn1-modules 0.2.8 Пикколо 0.0.71 pycparser 2.21
pydantic (библиотека Python для валидации данных) 2.10.6 pydantic_core 2.27.2 pyflakes (аналитический инструмент для Python) 3.2.0
Пигменты 2.15.1 PyGObject 3.48.2 pyiceberg 0.9.0
PyJWT 2.10.1 pyodbc 5.2.0 pyparsing (библиотека для синтаксического анализа в Python) 3.2.0
pyright 1.1.394 pytest 8.3.5 python-dateutil (библиотека для работы с датами и временем в Python) Версия 2.9.0.post0
python-json-logger (пакет для логирования JSON в Python) 3.2.1 python-lsp-jsonrpc 1.1.2 python-lsp-server (сервер Python LSP) 1.12.0
Pytoolconfig 1.2.6 pytz (библиотека Python для работы с часовыми поясами) 2024.1 PyYAML 6.0.2
pyzmq 26.2.0 Ссылки 0.30.2 Запросы 2.32.3
rfc3339-валидатор 0.1.4 rfc3986-validator 0.1.1 богатый 13.9.4
верёвка 1.12.0 rpds-py 0.22.3 rsa 4.9.1
s3transfer 0.11.3 scikit-learn (библиотека машинного обучения) 1.6.1 scipy (библиотека Python) 1.15.1
мореборн 0.13.2 Send2Trash 1.8.2 setuptools (пакет для установки и управления Python-пакетами) 74.0.0
шесть 1.16.0 сммап 5.0.0 сниффио 1.3.0
отсортированные контейнеры 2.4.0 ситечко для супа 2.5 sqlparse 0.5.3
ssh-import-id (импортировать идентификатор SSH) 5.11 стековые данные 0.2.0 старлетка 0.46.2
statsmodels (библиотека Python для статистического моделирования) 0.14.4 strictyaml 1.7.3 упорство 9.0.0
закончено 0.17.1 Threadpoolctl 3.5.0 tinycss2 1.4.0
tokenize_rt 6.1.0 томли 2.0.1 торнадо 6.4.2
Трейтлеты 5.14.3 типгард 4.3.0 types-python-dateutil 2.9.0.20241206
typing_extensions (расширения для ввода текста) 4.12.2 tzdata 2024.1 ujson 5.10.0
автоматические обновления без участия пользователя 0,1 URI-шаблон 1.3.0 urllib3 2.3.0
uvicorn 0.34.2 virtualenv 20.29.3 wadllib 1.3.6
wcwidth (ширина символа в Unicode) 0.2.5 webcolors 24.11.1 веб-энкодинги 0.5.1
websocket-клиент 1.8.0 чтоэто за патч 1.0.2 колесо 0.45.1
widgetsnbextension 3.6.6 завёрнут 1.17.0 yapf (форматировщик Python кода) 0.40.2
ZIPP 3.21.0

Установленные библиотеки R

Библиотеки R устанавливаются из снимка CRAN диспетчера пакетов Posit от 2025-03-20.

Библиотека Версия Библиотека Версия Библиотека Версия
стрела 19.0.1 аскпасс 1.2.1 утверждать, что 0.2.1
обратные порты 1.5.0 основа 4.4.2 base64enc 0.1-3
bigD 0.3.0 кусочек 4.6.0 64-бит 4.6.0-1
bitops 1.0-9 комок 1.2.4 сапог 1.3-30
варить 1.0-10 жизнерадостность 1.1.5 метла 1.0.7
bslib 0.9.0 кашемир 1.1.0 звонящий 3.7.6
каретка 7.0-1 целлрейнджер 1.1.0 хронометр 2.3-62
класс 7.3-22 интерфейс командной строки (CLI) 3.6.5 клиппер 0.8.0
часы 0.7.2 кластер 2.1.6 codetools 0.2-20
цветовое пространство 2.1-1 коммонмарк 1.9.5 компилятор 4.4.2
config 0.3.2 испытывающий противоречивые чувства 1.2.0 cpp11 0.5.2
карандаш 1.5.3 credentials 2.0.2 завиток 6.4.0
таблица данных 1.17.0 Наборы данных 4.4.2 DBI 1.2.3
dbplyr 2.5.0 описание 1.4.3 средства разработки 2.4.5
Схема 1.6.5 diffobj 0.3.5 дайджест 0.6.37
направленное вниз освещение 0.4.4 dplyr (пакет для обработки данных в R) 1.1.4 dtplyr 1.3.1
e1071 1.7-16 многоточие 0.3.2 оценивать 1.0.3
поклонники 1.0.6 Цвета 2.1.2 фастмап 1.2.0
fontawesome 0.5.3 Forcats (форкатс) 1.0.0 foreach 1.5.2
иностранный 0.8-86 кузница 0.2.0 fs 1.6.5
будущее 1.34.0 будущее.применить 1.11.3 полоскать горло 1.5.2
Дженерики 0.1.4 Герт 2.1.4 ggplot2 3.5.1
gh 1.4.1 git2r 0.35.0 gitcreds 0.1.2
glmnet 4.1-8 глобальные переменные 0.18.0 клей 1.8.0
googledrive 2.1.1 googlesheets4 1.1.1 Говер 1.0.2
графика 4.4.2 grDevices 4.4.2 сеть 4.4.2
gridExtra 2.3 gsubfn 0.7 gt 0.11.1
гтабл 0.3.6 каска 1.4.1 убежище 2.5.4
выше 0.11 HMS 1.1.3 инструменты для HTML 0.5.8.1
HTML-виджеты 1.6.4 httpuv 1.6.15 httr 1.4.7
httr2 1.1.1 удостоверения личности 1.0.1 ini 0.3.1
ипред 0,9–15 изо-лента 0.2.7 Itераторы 1.0.14
jquerylib 0.1.4 jsonlite 1.9.1 сочный сок 0.1.0
KernSmooth 2,23-22 knitr (пакет для динамической генерации отчетов в языке программирования R) 1.50 маркирование 0.4.3
позже 1.4.1 решётка 0,22–5 лава 1.8.1
жизненный цикл 1.0.4 слушай 0.9.1 лубридейт 1.9.4
магриттр 2.0.3 Markdown 1.13 Масса 7.3-60.0.1
«Матрица» 1.6-5 Запоминание 2.0.1 методы 4.4.2
mgcv 1.9-1 mime 0,13 мини-интерфейс 0.1.1.1
mlflow 2.20.4 ModelMetrics 1.2.2.2 модельер 0.1.11
munsell 0.5.1 nlme 3.1-164 ннейронная сеть 7.3-19
numDeriv 2016.8-1.1 OpenSSL 2.3.3 параллельный 4.4.2
параллельно 1.42.0 столб 1.11.0 пакджбилд 1.4.6
pkgconfig 2.0.3 pkgdown 2.1.1 пкглоад (pkgload) 1.4.0
Плогр 0.2.0 плайр 1.8.9 похвала 1.0.0
prettyunits 1.2.0 pROC 1.18.5 Processx 3.8.6
Prodlim 2024.06.25 profvis 0.4.0 прогресс 1.2.3
progressr 0.15.1 обещания 1.3.2 прото 1.0.0
прокси 0.4-27 п.с. 1.9.0 мурлыканье 1.0.4
Р6 2.6.1 ragg 1.3.3 randomForest (рандомФорест) 4.7-1.2
рэпдирс 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.14 RcppEigen 0.3.4.0.2 реактивный 0.4.4
ReactR 0.6.1 readr 2.1.5 readxl (пакет для чтения Excel-файлов) 1.4.5
Рецепты 1.2.0 реванш 2.0.0 реванш2 2.1.2
пульты дистанционного управления 2.5.0 репрекс 2.1.1 Изменить форму2 1.4.4
rlang 1.1.6 rmarkdown (инструмент для создания динамических документов в R) 2.29 RODBC 1.3-26
roxygen2 7.3.2 rpart (пакет для построения деревьев решений в языке программирования R) 4.1.23 rprojroot 2.0.4
Rserve (Рcерве) 1.8-15 RSQLite 2.3.9 рстудиоапи 0.17.1
rversions 2.1.2 Рвест 1.0.4 дерзость 0.4.9
весы 1.3.0 селектор 0.4-2 информация о сессии 1.2.3
форма 1.4.6.1 блестящий 1.10.0 sourcetools 0.1.7-1
sparklyr 1.9.1 SparkR 4.0.0 Sparsevctrs 0.3.1
пространственный 7.3-17 Сплайны 4.4.2 SQLDF 0,4-11
SQUAREM январь 2021 статистика 4.4.2 статистика4 4.4.2
стринги 1.8.7 стрингр 1.5.1 выживание 3.5-8
самоуверенность и стильный вид 5.17.14.1 sys 3.4.3 systemfonts 1.2.1
язык программирования Tcl/Tk 4.4.2 testthat 3.2.3 форматирование текста 1.0.0
Tibble 3.3.0 Тидыр 1.3.1 tidyselect 1.2.1
tidyverse (тайдивёрс) 2.0.0 смена времени 0.3.0 ТаймДата 4041.110
tinytex 0.56 инструменты 4.4.2 База данных часовых зон (tzdb) 0.5.0
URL-чекер 1.0.1 используйэто 3.1.0 utf8 1.2.6
утилиты 4.4.2 UUID (Универсальный уникальный идентификатор) 1.2-1 V8 6.0.2
vctrs 0.6.5 viridisLite 0.4.2 брррм 1.6.5
Уолдо 0.6.1 ус 0.4.1 увядать 3.0.2
xfun 0.51 xml2 1.3.8 xopen 1.0.1
xtable 1.8-4 YAML 2.3.10 зилот 0.1.0
ZIP-архив 2.3.2

Установленные библиотеки Java и Scala (версия кластера Scala 2.13)

Идентификатор группы Идентификатор артефакта Версия
Антлер Антлер 2.7.7
com.amazonaws Клиент Amazon Kinesis 1.12.0
com.amazonaws aws-java-sdk-autoscaling (автоматическое масштабирование) 1.12.638
com.amazonaws aws-java-sdk-cloudformation 1.12.638
com.amazonaws aws-java-sdk-cloudfront 1.12.638
com.amazonaws aws-java-sdk-cloudhsm 1.12.638
com.amazonaws AWS Java SDK для CloudSearch 1.12.638
com.amazonaws aws-java-sdk-cloudtrail 1.12.638
com.amazonaws aws-java-sdk-cloudwatch 1.12.638
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.638
com.amazonaws aws-java-sdk-codedeploy (AWS Java SDK для CodeDeploy) 1.12.638
com.amazonaws aws-java-sdk-cognitoidentity 1.12.638
com.amazonaws aws-java-sdk-cognitosync 1.12.638
com.amazonaws Конфигурация SDK для Java от AWS 1.12.638
com.amazonaws aws-java-sdk-core 1.12.638
com.amazonaws aws-java-sdk-datapipeline (пакет для работы с Data Pipeline на Java) 1.12.638
com.amazonaws aws-java-sdk-directconnect 1.12.638
com.amazonaws aws-java-sdk-directory 1.12.638
com.amazonaws aws-java-sdk-dynamodb 1.12.638
com.amazonaws aws-java-sdk-ec2 1.12.638
com.amazonaws aws-java-sdk-ecs 1.12.638
com.amazonaws aws-java-sdk-efs 1.12.638
com.amazonaws aws-java-sdk-elasticache 1.12.638
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.638
com.amazonaws aws-java-sdk-elasticloadbalancing (пакет программного обеспечения для балансировки нагрузки в AWS, написанный на Java) 1.12.638
com.amazonaws aws-java-sdk-elastictranscoder (Java SDK для Elastic Transcoder) 1.12.638
com.amazonaws aws-java-sdk-emr 1.12.638
com.amazonaws aws-java-sdk-glacier (пакет программного обеспечения для работы с Glacier) 1.12.638
com.amazonaws aws-java-sdk-glue 1.12.638
com.amazonaws aws-java-sdk-iam 1.12.638
com.amazonaws aws-java-sdk-importexport (пакет для импорта и экспорта данных) 1.12.638
com.amazonaws aws-java-sdk-kinesis 1.12.638
com.amazonaws aws-java-sdk-kms (пакет программного обеспечения для работы с AWS KMS) 1.12.638
com.amazonaws aws-java-sdk-lambda 1.12.638
com.amazonaws aws-java-sdk-logs 1.12.638
com.amazonaws AWS Java SDK для машинного обучения 1.12.638
com.amazonaws aws-java-sdk-opsworks 1.12.638
com.amazonaws AWS Java SDK для RDS 1.12.638
com.amazonaws AWS Java SDK для Redshift 1.12.638
com.amazonaws aws-java-sdk-route53 1.12.638
com.amazonaws aws-java-sdk-s3 1.12.638
com.amazonaws aws-java-sdk-ses 1.12.638
com.amazonaws aws-java-sdk-simpledb 1.12.638
com.amazonaws aws-java-sdk-simpleworkflow 1.12.638
com.amazonaws aws-java-sdk-sns 1.12.638
com.amazonaws aws-java-sdk-sqs 1.12.638
com.amazonaws aws-java-sdk-ssm (AWS SDK для Java — SSM модуль) 1.12.638
com.amazonaws AWS Java SDK для Storage Gateway 1.12.638
com.amazonaws aws-java-sdk-sts 1.12.638
com.amazonaws Поддержка AWS Java SDK 1.12.638
com.amazonaws aws-java-sdk-swf библиотеки 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.638
com.amazonaws jmespath-java 1.12.638
com.clearspring.analytics поток 2.9.8
com.databricks Rserve (Рcерве) 1.8-3
com.databricks SDK для Java от Databricks 0.27.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb scalapb-runtime_2.13 0.4.15-11
com.esotericsoftware криогенное затенение 4.0.3
com.esotericsoftware минлог 1.3.0
com.fasterxml одноклассник 1.5.1
com.fasterxml.jackson.core аннотации Джексона 2.18.2
com.fasterxml.jackson.core джексон-ядро 2.18.2
com.fasterxml.jackson.core джексон-databind 2.18.2
com.fasterxml.jackson.dataformat Джексон-формат-данных-CBOR 2.18.2
com.fasterxml.jackson.dataformat Джексон-датаформат-ЯМЛ 2.15.2
com.fasterxml.jackson.datatype джексон-дейтайп-джода 2.18.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.18.2
com.fasterxml.jackson.module джексон-модуль-паранэймер 2.18.2
com.fasterxml.jackson.module jackson-module-scala_2.13 2.18.2
com.github.ben-manes.caffeine кофеин 2.9.3
com.github.blemale scaffeine_2.13 4.1.0
com.github.fommil jniloader 1.1
com.github.fommil.netlib нативная_ссылка-java 1.1
com.github.fommil.netlib нативная_ссылка-java 1.1-коренные жители
com.github.fommil.netlib Нативная_система-java 1.1
com.github.fommil.netlib Нативная_система-java 1.1-коренные жители
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-коренные жители
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-коренные жители
com.github.luben zstd-jni 1.5.6-10
com.github.virtuald курвесапи 1,08
com.github.wendykierp JTransforms 3.1
com.google.api.grpc proto-google-common-protos 2.5.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson Gson 2.11.0
com.google.crypto.tink тинк 1.16.0
com.google.errorprone ошибкоопасные аннотации 2.36.0
com.google.flatbuffers flatbuffers-java 24.3.25
com.google.guava ошибка доступа 1.0.2
com.google.guava гуава 33.4.0-jre
com.google.guava будущее для прослушивания 999.0-empty-to-avoid-conflict-with-guava
com.google.j2objc j2objc-аннотации 3.0.0
com.google.protobuf protobuf-java 3.25.5
com.google.protobuf protobuf-java-util 3.25.5
com.helger Профилировщик 1.1.1
com.ibm.icu icu4j 75.1
com.jcraft jsch 0.1.55
com.lihaoyi fansi_2.13 0.5.0
com.lihaoyi sourcecode_2.13 0.1.9
com.microsoft.azure azure-data-lake-store-sdk (SDK для Azure Data Lake Store) 2.3.10
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.microsoft.sqlserver mssql-jdbc 12.8.0.jre8
com.ning compress-lzf (метод сжатия данных) 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning JSON (формат обмена данными JavaScript) 1.8
com.thoughtworks.paranamer Паранэймер 2.8
com.trueaccord.lenses лензы_2.13 0.4.13
com.twitter chill-java 0.10.0
com.twitter chill_2.13 0.10.0
com.twitter util-app_2.13 19.8.1
com.twitter util-core_2.13 19.8.1
com.twitter util-function_2.13 19.8.1
com.twitter util-jvm_2.13 19.8.1
com.twitter util-lint_2.13 19.8.1
com.twitter util-registry_2.13 19.8.1
com.twitter util-stats_2.13 19.8.1
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.13 3.9.2
com.uber h3 3.7.3
com.univocity юнивосити-парсерс 2.9.1
com.zaxxer ХикариCP 4.0.3
com.zaxxer СпарсБитСет 1.3
commons-cli commons-cli 1.9.0
commons-codec commons-codec 1.17.2
общие коллекции общие коллекции 3.2.2
commons-dbcp commons-dbcp 1.4
загрузка файлов через модуль commons загрузка файлов через модуль commons 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.18.0
commons-lang commons-lang 2.6
коммонс-логгинг коммонс-логгинг 1.1.3
коммонс-пул коммонс-пул 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Блас 3.0.3
dev.ludovic.netlib LAPACK (программная библиотека для линейной алгебры) 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift компрессор воздуха 2.0.2
io.delta delta-sharing-client_2.13 1.3.3
io.dropwizard.metrics аннотирование метрик 4.2.30
io.dropwizard.metrics основные метрики 4.2.30
io.dropwizard.metrics «metrics-graphite» 4.2.30
io.dropwizard.metrics Метрики-Чек здоровья 4.2.30
io.dropwizard.metrics метрики для Jetty9 4.2.30
io.dropwizard.metrics Метрики-JMX 4.2.30
io.dropwizard.metrics metrics-json 4.2.30
io.dropwizard.metrics метрики для JVM 4.2.30
io.dropwizard.metrics метрики и сервлеты 4.2.30
io.github.java-diff-utils java-diff-utils 4.15
io.netty netty-all (все пакеты netty) 4.1.118.Final
io.netty буфер Netty 4.1.118.Final
io.netty netty-codec (кодек Netty) 4.1.118.Final
io.netty netty-codec-http 4.1.118.Final
io.netty netty-codec-http2 4.1.118.Final
io.netty netty-codec-socks 4.1.118.Final
io.netty нетти-общий 4.1.118.Final
io.netty нетти-хэндлер 4.1.118.Final
io.netty нетти-обработчик-прокси 4.1.118.Final
io.netty Netty-резолвер 4.1.118.Final
io.netty netty-tcnative-boringssl-static 2.0.70.Final-db-r0-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.70.Final-db-r0-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.70.Final-db-r0-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.70.Final-db-r0-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.70.Final-db-r0-windows-x86_64
io.netty netty-tcnative-classes (классы netty-tcnative) 2.0.70.Final
io.netty netty-transport 4.1.118.Final
io.netty netty-transport-classes-epoll 4.1.118.Final
io.netty netty-transport-classes-kqueue 4.1.118.Final
io.netty netty-transport-native-epoll 4.1.118.Final
io.netty netty-transport-native-epoll 4.1.118.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.118.Final-linux-riscv64
io.netty netty-transport-native-epoll 4.1.118.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.118.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.118.Final-osx-x86_64
io.netty нетти-транспорт-натив-уникс-коммон 4.1.118.Final
io.prometheus simpleclient 0.16.1-databricks
io.prometheus простыйклиент_общий 0.16.1-databricks
io.prometheus Симплклиент_дропвизард 0.16.1-databricks
io.prometheus simpleclient_pushgateway 0.16.1-databricks
io.prometheus simpleclient_servlet 0.16.1-databricks
io.prometheus simpleclient_servlet_common 0.16.1-databricks
io.prometheus simpleclient_tracer_common 0.16.1-databricks
io.prometheus simpleclient_tracer_otel 0.16.1-databricks
io.prometheus simpleclient_tracer_otel_agent 0.16.1-databricks
io.prometheus.jmx коллекционер 0.18.0
jakarta.annotation jakarta.annotation-api (аннотация API Джакарты) 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation активация 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.media jai_core jai_core_dummy
javax.transaction джта 1.1
javax.transaction интерфейс транзакций 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
джлайн джлайн 2.14.6
joda-time joda-time 2.13.0
net.java.dev.jna джна 5.8.0
net.razorvine рассол 1.5
net.sf.jpam джпам 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv — инструмент для работы с CSV файлами 2.2.0
net.snowflake snowflake-ingest-sdk (SDK для обработки данных Snowflake) 0.9.6
net.sourceforge.f2j арпак_комбинированный_все 0,1
org.acplt.remotetea «remotetea-oncrpc» 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.13.1
org.antlr шаблон строки 3.2.1
org.apache.ant муравей 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow формат стрелок 18.2.0
org.apache.arrow ядро памяти Arrow 18.2.0
org.apache.arrow арроу-мемори-нетти 18.2.0
org.apache.arrow стрелка-память-netty-buffer-patch 18.2.0
org.apache.arrow вектор стрелки 18.2.0
org.apache.avro Авро 1.12.0
org.apache.avro avro-ipc 1.12.0
org.apache.avro avro-mapred 1.12.0
org.apache.commons commons-collections4 4.4.
org.apache.commons Коммонс-компресс 1.27.1
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.17.0
org.apache.commons коммонс-матх3 3.6.1
org.apache.commons Общедоступный текст 1.13.0
org.apache.curator куратор-клиент 5.7.1
org.apache.curator кураторский фреймворк 5.7.1
org.apache.curator куратор рецептов 5.7.1
org.apache.datasketches datasketches-java 6.1.1
org.apache.datasketches Датаскетчес-мемори 3.0.2
org.apache.derby дерби 10.14.2.0
org.apache.hadoop среда выполнения hadoop-клиента 3.4.1
org.apache.hive hive-beeline (инструмент командной строки для работы с Apache Hive) 2.3.10
org.apache.hive hive-cli 2.3.10
org.apache.hive hive-jdbc 2.3.10
org.apache.hive hive-llap-client 2.3.10
org.apache.hive hive-llap-common 2.3.10
org.apache.hive Hive-Serde 2.3.10
org.apache.hive хив-шимы 2.3.10
org.apache.hive hive-storage-api (интерфейс хранения данных Hive) 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.10
org.apache.hive.shims хив-шимс-коммон 2.3.10
org.apache.hive.shims планировщик hive-shims 2.3.10
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy плющ 2.5.3
org.apache.logging.log4j log4j-1.2-api 2.24.3
org.apache.logging.log4j log4j-api 2.24.3
org.apache.logging.log4j log4j-core 2.24.3
org.apache.logging.log4j log4j-layout-template-json (шаблон компоновки для log4j в формате JSON) 2.24.3
org.apache.logging.log4j log4j-slf4j2-impl 2.24.3
org.apache.orc орк-кор 2.1.1-shaded-protobuf
org.apache.orc Формат ORC 1.1.0-shaded-protobuf
org.apache.orc orc-mapreduce (орч-мапредьюс) 2.1.1-shaded-protobuf
org.apache.orc орк-шимы 2.1.1
org.apache.poi пои 5.4.1
org.apache.poi poi-ooxml 5.4.1
org.apache.poi poi-ooxml-full 5.4.1
org.apache.poi poi-ooxml-lite 5.4.1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.16.0
org.apache.ws.xmlschema xmlschema-core 2.3.1
org.apache.xbean xbean-asm9-shaded 4.26
org.apache.xmlbeans xmlbeans 5.3.0
org.apache.yetus аннотации для аудитории 0.13.0
org.apache.zookeeper смотритель зоопарка 3.9.3
org.apache.zookeeper Zookeeper-JUTE 3.9.3
org.checkerframework checker-qual 3.43.0
org.codehaus.janino commons-компилятор 3.0.16
org.codehaus.janino джанино 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core (ядро датануклеус) 4.1.17
org.datanucleus Datanucleus-RDBMS 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.53.v20231009
org.eclipse.jetty jetty-continuation (продолжение Jetty) 9.4.53.v20231009
org.eclipse.jetty «jetty-http» 9.4.53.v20231009
org.eclipse.jetty jetty-io 9.4.53.v20231009
org.eclipse.jetty jetty-jndi 9.4.53.v20231009
org.eclipse.jetty Jetty Plus 9.4.53.v20231009
org.eclipse.jetty jetty-proxy (джетти-прокси) 9.4.53.v20231009
org.eclipse.jetty защита пристани 9.4.53.v20231009
org.eclipse.jetty сервер Jetty 9.4.53.v20231009
org.eclipse.jetty jetty-servlet 9.4.53.v20231009
org.eclipse.jetty jetty-servlets 9.4.53.v20231009
org.eclipse.jetty джетти-ютил (jetty-util) 9.4.53.v20231009
org.eclipse.jetty jetty-util-ajax 9.4.53.v20231009
org.eclipse.jetty Jetty - веб-приложение 9.4.53.v20231009
org.eclipse.jetty jetty-xml 9.4.53.v20231009
org.eclipse.jetty.websocket WebSocket API 9.4.53.v20231009
org.eclipse.jetty.websocket websocket-клиент 9.4.53.v20231009
org.eclipse.jetty.websocket WebSocket-Common 9.4.53.v20231009
org.eclipse.jetty.websocket вебсокет-сервер 9.4.53.v20231009
org.eclipse.jetty.websocket websocket-servlet 9.4.53.v20231009
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 хк2-локатор 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 локатор ресурсов OSGi 1.0.3
org.glassfish.hk2.external «aopalliance-repackaged» 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers Jersey-container-servlet 2.41
org.glassfish.jersey.containers джерси-контейнер-сервлет-кор 2.41
org.glassfish.jersey.core jersey-client (джерси-клиент) 2.41
org.glassfish.jersey.core джерси-коммон 2.41
org.glassfish.jersey.core Джерси-сервер 2.41
org.glassfish.jersey.inject jersey-hk2 2.41
org.hibernate.validator гибернейт-валидатор 6.2.5.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging (логирование в JBoss) 3.4.1.Final
org.jdbi jdbi 2.63.1
org.jetbrains аннотации 17.0.0
org.jline джлайн 3.27.1-jdk8
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.13 4.0.7
org.json4s json4s-core_2.13 4.0.7
org.json4s json4s-jackson-core_2.13 4.0.7
org.json4s json4s-jackson_2.13 4.0.7
org.json4s json4s-scalap_2.13 4.0.7
org.lz4 lz4-java 1.8.0-databricks-1
org.mlflow mlflow-spark_2.13 2.9.1
org.objenesis Обдженесис 3,3
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 1.2.1
org.rocksdb rocksdbjni 9.8.4
org.rosuda.REngine РЭнджин 2.1.0
org.scala-lang scala-compiler_2.13 2.13.16
org.scala-lang scala-library_2.13 2.13.16
org.scala-lang scala-reflect_2.13 2.13.16
org.scala-lang.modules scala-collection-compat_2.13 2.11.0
org.scala-lang.modules scala-java8-compat_2.13 0.9.1
org.scala-lang.modules scala-parallel-collections_2.13 1.2.0
org.scala-lang.modules scala-parser-combinators_2.13 2.4.0
org.scala-lang.modules scala-xml_2.13 2.3.0
org.scala-sbt тестовый интерфейс 1.0
org.scalacheck scalacheck_2.13 1.18.0
org.scalactic scalactic_2.13 3.2.19
org.scalameta common_2.13 4.13.5
org.scalameta io_2.13 4.13.5
org.scalameta mdoc-parser_2.13 2.6.4
org.scalameta metaconfig-core_2.13 0.15.0
org.scalameta metaconfig-pprint_2.13 0.15.0
org.scalameta metaconfig-typesafe-config_2.13 0.15.0
org.scalameta parsers_2.13 4.13.5
org.scalameta scalafmt-config_2.13 3.9.6
org.scalameta scalafmt-core_2.13 3.9.6
org.scalameta scalafmt-macros_2.13 3.9.6
org.scalameta scalafmt-sysops_2.13 3.9.6
org.scalameta scalameta_2.13 4.13.5
org.scalameta trees_2.13 4.13.5
org.scalanlp breeze-macros_2.13 2.1.0
org.scalanlp breeze_2.13 2.1.0
org.scalatest совместимый с ScalaTest 3.2.19
org.scalatest scalatest-core_2.13 3.2.19
org.scalatest scalatest-diagrams_2.13 3.2.19
org.scalatest scalatest-featurespec_2.13 3.2.19
org.scalatest scalatest-flatspec_2.13 3.2.19
org.scalatest scalatest-freespec_2.13 3.2.19
org.scalatest scalatest-funspec_2.13 3.2.19
org.scalatest scalatest-funsuite_2.13 3.2.19
org.scalatest scalatest-matchers-core_2.13 3.2.19
org.scalatest scalatest-mustmatchers_2.13 3.2.19
org.scalatest scalatest-propspec_2.13 3.2.19
org.scalatest scalatest-refspec_2.13 3.2.19
org.scalatest scalatest-shouldmatchers_2.13 3.2.19
org.scalatest scalatest-wordspec_2.13 3.2.19
org.scalatest scalatest_2.13 3.2.19
org.slf4j jcl-over-slf4j (адаптер для JCL, работающий поверх SLF4J) 2.0.16
org.slf4j jul-to-slf4j 2.0.16
org.slf4j slf4j-api 2.0.16
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.8.0
org.tukaani хз 1.10
org.typelevel algebra_2.13 2.8.0
org.typelevel cats-kernel_2.13 2.8.0
org.typelevel paiges-core_2.13 0.4.4
org.typelevel spire-macros_2.13 0.18.0
org.typelevel spire-platform_2.13 0.18.0
org.typelevel spire-util_2.13 0.18.0
org.typelevel spire_2.13 0.18.0
org.wildfly.openssl wildfly-openssl 1.1.3.Окончательная
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml SnakeYAML 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 2.5.0-linux-x86_64
стекс stax-api 1.0.1

Подсказка

Чтобы ознакомиться с примечаниями к версиям Databricks Runtime, которые достигли окончания поддержки (EoS), см. Примечания к версиям Databricks Runtime с окончанием поддержки. Версии среды выполнения EoS Databricks устарели и могут не обновляться.

  • Last updated on