Поделиться через

Databricks Runtime 17.3 LTS

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 17.3 LTS, основанном на технологии Apache Spark 4.0.0.

Azure Databricks выпустила эту версию LTS в октябре 2025 года.

Новые функции и улучшения

EXECUTE IMMEDIATE использование константных выражений

Теперь можно передать константные выражения в виде строки SQL и в качестве аргументов маркеров параметров в EXECUTE IMMEDIATE инструкциях.

LIMIT ALL поддержка рекурсивных общих табличных выражений (ОТВ)

Теперь можно использовать LIMIT ALL для снятия ограничения на общий размер рекурсивных общих табличных выражений (CTE).

JDK 21 для классических вычислений (общедоступная предварительная версия)

Пакет средств разработки Java (JDK) 21 доступен в общедоступной предварительной версии для классических вычислений. Чтобы включить его, см. статью "Создание кластера с определенной версией JDK".

Добавление к файлам в томах каталога Unity возвращает правильную ошибку

Любой код, который пытается добавить содержимое в файл тома каталога Unity, теперь завершается сбоем с сообщением об ошибке "Недопустимый поиск". Ранее возникала ошибка "операция не поддерживается".

TABLE поддержка аргументов для Python UDTF в Unity Catalog

UDTFs каталога Unity теперь поддерживают аргументы TABLE, что позволяет функциям принимать целые таблицы в качестве входных параметров, давая возможность выполнять более сложные преобразования и агрегацию данных в структурированных наборах данных. См. определяемые пользователем функции таблиц Python (ОПФТ) в каталоге Unity. Поддержка аргументов таблицы поддерживается в Databricks Runtime 17.2.

st_dump Поддержка функций

Теперь можно использовать функцию st_dump для получения массива, содержащего отдельные геометрии входной геометрии. См. st_dump функцию.

Теперь поддерживаются функции внутреннего контура многоугольника

Теперь для работы с внутренними кольцами многоугольников можно использовать следующие функции.

  • st_numinteriorrings: получение количества внутренних границ (колец) многоугольника. См. st_numinteriorrings функцию.
  • st_interiorringn: извлеките внутреннюю границу многоугольника n-th и верните ее в виде линии. См. st_interiorringn функцию.

remote_query функция с табличным значением (публичная предварительная версия)

Теперь можно использовать remote_query табличную функцию для выполнения запросов к удаленным движкам баз данных и возврата табличных результатов. Эта функция извлекает данные из удаленных систем с помощью учетных данных из подключений каталога Unity и поддерживает различные варианты соединителя для баз данных SQL и NoSQL. См. табличную функцию remote_query.

Изменения поведения

input_file_name функция больше не поддерживается и подлежит будущему удалению

Функция input_file_name устарела в Databricks Runtime 13.3 LTS, потому что она ненадежна. Функция больше не поддерживается в Databricks Runtime 17.3 LTS и выше, так как она ненадежна. Вместо этого используйте _metadata.file_name.

Изменены параметры инкрементного списка автозагрузчика по умолчанию

Значение по умолчанию для нерекомендуемого cloudFiles.useIncrementalListing параметра изменилось на autofalse. Azure Databricks теперь выполняет полные списки каталогов вместо добавочных списков, чтобы предотвратить пропущенные файлы из-за нелексографического упорядочения. Например, 10-01-2025.csv приходится перед 8-01-2025.csv лексикографически.

Databricks рекомендует перейти на события файлов для более быстрого и надежного обнаружения файлов.

Чтобы сохранить предыдущее поведение, явно задайте значение cloudFiles.useIncrementalListingauto.

Поддержка информации об обновлении MV/ST в DESCRIBE EXTENDED AS JSON

Azure Databricks теперь создает раздел для материализованного представления и потоковой передачи сведений об обновлении таблицы в DESCRIBE EXTENDED AS JSON выходных данных, включая время последнего обновления, тип обновления, состояние и расписание.

Добавление столбца метаданных в DESCRIBE QUERY и DESCRIBE TABLE

Azure Databricks теперь включает столбец метаданных в данных, производимых DESCRIBE QUERY и DESCRIBE TABLE, для семантических метаданных.

При DESCRIBE QUERY, когда описывается запрос с представлениями метрик, семантические метаданные распространяются через запрос, если измерения ссылаются непосредственно, а меры используют функцию MEASURE().

Для DESCRIBE TABLEстолбца метаданных отображаются только представления метрик, а не другие типы таблиц.

Исправление преобразования темпоральных значений в литералах структуры при использовании режима подключения

В режиме Spark Connect литералы TypedLit структуры теперь правильно обрабатывают временные значения вместо того, чтобы создавать исключения. Ранее попытка использовать временные значения (например, даты или метки времени) в литералах структур приводила к исключению.

Изменение десятичной точности и масштабирования в SYSTEM_DEFAULT режиме подключения

При использовании режима Spark Connect в Scala десятичная точность и масштабирование в массиве и литералы карты теперь изменяются на SYSTEM_DEFAULT (38, 18). Это изменение влияет только на логический план (например, выходные данные explain() команды) и не влияет на результаты запроса.

Поддержка сложных типов в наблюдениях в клиенте Spark Connect Scala

Клиент Spark Connect Scala теперь поддерживает типы массивов, карт и структур в наблюдениях, что обеспечивает поведение в соответствии с выделенными кластерами. Ранее попытка использовать эти сложные типы в наблюдениях приводила к исключению.

Сохранение значений NULL в массиве, картах и литералах структуры

В режиме Spark Connect значения NULL внутри массива, карты и структуры теперь сохраняются вместо замены значениями по умолчанию protobuf. Ранее значения NULL были неправильно заменены значениями по умолчанию, такими как 0 для целых чисел, пустые строки для строковых типов и false для булевых значений.

Сохранение допустимости null для типизированных литералах

Клиент Spark Connect Scala теперь правильно сохраняет значение NULL массива и типов карт для типизированных литералах. Ранее элементы массива и значения карты всегда рассматривались как значения NULL независимо от фактического определения типа.

Исправление преобразования класса регистра в массиве и литералах карты

В режиме Spark Connect массивы и литералы сопоставления теперь правильно обрабатывают значения классов case вместо того, чтобы выбрасывать исключения. Ранее попытка использовать значения классов случая в массивах или картографических литералах приводила к исключению.

Правильная обработка структур NULL при удалении NullType столбцов

При записи в таблицы Delta, Azure Databricks теперь правильно сохраняет пустые значения структур при удалении столбцов NullType из схемы. Ранее структуры NULL были неправильно заменены значениями структур, не допускающих null, где все поля были заданы как NULL. Например, вставка значения структуры NULL позже будет считываться как структуру с полями NULL вместо структуры NULL.

Улучшенная обработка структур NULL в Parquet

Azure Databricks теперь точно определяет нулевые структуры, когда все запрошенные поля структуры отсутствуют в файле Parquet, что делает поведение согласованным между читателями Photon и без Photon. Ранее читатели, не использующие Photon, возвращали NULL для всей структуры вместо структуры с null полями при чтении файлов Parquet, где отсутствуют все запрошенные поля, но другие поля присутствуют.

Обновите библиотеку aws-msk-iam-auth для Kafka

Библиотека aws-msk-iam-auth была обновлена до версии 2.0.1, чтобы поддерживать настройку конечной точки региональной службы токенов безопасности (STS) для проверки подлинности IAM при управляемой потоковой передаче в Apache Kafka (MSK). Новый awsStsRegion параметр доступен только в том случае, если включена соответствующая конфигурация Spark. Это обновление не приводит к изменениям поведения для существующих рабочих нагрузок.

Обновления библиотек

Обновленные библиотеки Python:

В этой версии библиотеки Python не были обновлены.

Обновленные библиотеки R:

В этой версии не обновлялись библиотеки R.

Обновленные библиотеки Java:

В этой версии библиотеки Java не были обновлены.

Apache Spark

Databricks Runtime 17.3 LTS включает Apache Spark 4.0.0. Этот выпуск включает все исправления Spark и улучшения, включенные в предыдущую версию, а также следующие:

  • SPARK-44856 Вернитесь на "[SC-195808][python] Улучшение производительности сериализатора стрелок UDTF Python"
  • SPARK-53553 [DBRRM-2007][engrm-341][SC-206543][17.3][CONNECT] Исправление обработки значений NULL в LiteralValueProtoConverter
  • SPARK-53507 Добавить сведения о критических изменениях в ошибки
  • SPARK-53574 Исправление удаления AnalysisContext во время разрешения вложенного плана
  • SPARK-53444 Повторная работа выполняется немедленно
  • SPARK-53560 Цикл сбоя при повторном выполнении незафиксированного пакета в источнике Kafka и триггере AvailableNow
  • SPARK-53127 Включение LIMIT ALL для снятия ограничения на количество строк в рекурсии
  • SPARK-53574 Восстановить "[SC-206548] Исправление очищения AnalysisContext...
  • SPARK-53674 Обработка LCA однопроходного анализатора при назначении псевдонимов
  • SPARK-53492 Отклонить второй ExecutePlan с идентификатором операции, который уже был завершен
  • SPARK-53677 Улучшение отладки для источника данных JDBC, когда запрос содержит синтаксическую ошибку
  • SPARK-53490 Исправление преобразования Protobuf в наблюдаемых метриках
  • SPARK-53671 Исключение функций с нулевыми аргументами из @udf определения типа eval
  • SPARK-53592 Переработка "Добавление поддержки @udf векторизованных UDF"
  • SPARK-53654 Переработка "Поддержка начального значения в функции uuid"
  • SPARK-53429 Поддержка прямого передачи разделов в API DataFrame PySpark
  • SPARK-53372 Пакет среды выполнения общего тестирования для LDP
  • SPARK-53574 Исправление удаления AnalysisContext во время разрешения вложенного плана
  • SPARK-53654 Отмена "[SC-207022][sql][PYTHON] Поддержка seed в функции uuid"
  • SPARK-53574 Отмена "[SC-206548] Исправление очистки AnalysisContext во время разрешения вложенного плана"
  • SPARK-53559 Исправление обновлений HLL-эскизов для использования необработанных байтов ключей сортировки
  • SPARK-53654 Поддержка seed в функции uuid
  • SPARK-52449 Создание типов данных для Expression.Literal.Map/Array необязательно
  • SPARK-53574 Исправление удаления AnalysisContext во время разрешения вложенного плана
  • SPARK-53625 Распространение столбцов метаданных через проекции с целью решения проблемы несовместимости ApplyCharTypePadding
  • SPARK-53558 Возврат "[SC-206544][sql] Показать полное имя таблицы, включая имя каталога в сообщении об исключении, если таблица не найдена"
  • SPARK-53558 Отображение полного имени таблицы, включая имя каталога в сообщении об исключении, если таблица не найдена
  • SPARK-53357 Обновление pandas до версии 2.3.2
  • SPARK-52659Вводящая в заблуждение сообщение об ошибке модуля в режиме ansi
  • SPARK-53592 Отменить "[SC-206971][python] Добавление поддержки векторизированных UDF с @udf"
  • SPARK-53592 Сделать @udf поддержку векторизированной функции UDF
  • SPARK-52601 Поддержка примитивных типов в TransformingEncoder
  • SPARK-53355 исправление numpy 1.x repr в тестах типов
  • SPARK-53387 Добавить поддержку пользовательских табличных функций Arrow с PARTITION BY
  • SPARK-52991 Реализация MERGE INTO с помощью SCHEMA источника данных EVOLUTION для источника данных версии 2
  • SPARK-53568 Исправлены несколько небольших ошибок в логике обработки ошибок клиента Spark Connect Python
  • SPARK-43579 optim: Кэширование преобразователя между Apache Arrow и pandas для повторного использования
  • SPARK-53524 Исправление преобразования темпоральных значений в LiteralValueProtoConverter
  • SPARK-53600SessionHolder Изменение сообщения журнала времени последнего доступа
  • SPARK-53529 Исправлено подключение pyspark клиента для поддержки IPv6
  • SPARK-53537 Добавление поддержки синтаксического анализа CONTINUE HANDLER
  • SPARK-53623 улучшает производительность чтения больших свойств таблицы
  • SPARK-53523 Именованные параметры учитывают spark.sql.caseSensitive
  • SPARK-53449 Просто параметры для встроенных классов сканирования источника данных
  • SPARK-53620 SparkSubmit должен выводить трассировку стека при вызове exitFn
  • SPARK-53518 Без усечения для catalogString определяемого пользователем типа
  • SPARK-53568 Вернитесь на "[SC-206538][connect][python] Исправлены несколько небольших ошибок в логике обработки ошибок клиента Spark Connect Python".
  • SPARK-53602 Улучшение дампа профиля и исправление документации профилировщика
  • SPARK-53402 Поддержка API набора данных прямого сквозного секционирования в Spark Connect в Scala
  • SPARK-53491 Исправление экспоненциального форматирования входных строк в секунду и обработанных строк в секунду в JSON метриках выполнения.
  • SPARK-53413 Очистка шафла для команд
  • SPARK-53518 Возврат "[SC-205989][sql] Нет усечения для catalogString определяемого пользователем типа"
  • SPARK-53568 Исправлены несколько небольших ошибок в логике обработки ошибок клиента Spark Connect Python
  • SPARK-53552 Оптимизация SQL-функции substr
  • SPARK-53527 Улучшить механизм резервного копирования для analyzeExistenceDefaultValue
  • SPARK-53584 Улучшение валидации process_column_param и docstring параметра столбца
  • SPARK-53498 Правильная ссылка pyspark/pipelines/cli.py из spark-pipelines двоичного файла
  • SPARK-53518 Без усечения для catalogString определяемого пользователем типа
  • SPARK-53233 Сделать код, связанный с streaming, использовать правильное имя пакета
  • SPARK-53598 Проверьте наличие numParts перед чтением свойства большой таблицы
  • SPARK-53372 SDP комплексное тестирование системы
  • SPARK-53563 Оптимизация: sql_processor путем предотвращения неэффективного объединения строк
  • SPARK-53323 Включить тесты Spark Connect для df.asTable() в Arrow UDTF
  • SPARK-53157 Разделение интервалов опроса драйвера и исполнителя
  • SPARK-53555 Исправление: SparkML-connect не может загрузить сохраненную модель SparkML (устаревший режим)
  • SPARK-53361 Оптимизация взаимодействия JVM с Python в TWS путем группировки нескольких ключей в один пакет со стрелками
  • SPARK-53233 Отменить "[SC-203716][sql][SS][mllib][CONNECT] Сделайте код, связанный с streaming использованием правильного имени пакета"
  • SPARK-53233 Сделать код, связанный с streaming, использовать правильное имя пакета
  • SPARK-53525 Фрагментирование результатов Spark Connect ArrowBatch
  • SPARK-53444 Возврат "[SC-206536][sql] Повторная работа выполняется немедленно"
  • SPARK-53594 Настроить UDF Arrow для соблюдения заданного пользователем типа eval
  • SPARK-53444 Повторная работа выполняется немедленно
  • SPARK-53582 Расширить isExtractable, чтобы его можно было применить к UnresolvedExtractValue
  • SPARK-53572 Избегайте извлечения из ExtractValue.isExtractable
  • SPARK-52346 Исправление логики инициализации счетчика и добавочной логики для повторных попыток потока
  • SPARK-53561 Перехват исключения прерывания в TransformWithStateInPySparkStateServer во время outputStream.flush, чтобы избежать сбоя рабочего процесса
  • SPARK-53512 Улучшенное объединение DSv2 PushDownUtils
  • SPARK-53459 Использование ReadOnlySparkConf в других местах
  • SPARK-53549 Всегда закрывайте указатель со стрелками при завершении процесса запроса состояния списка
  • SPARK-53332 Включите StateDataSource с контрольной точкой состояния версии 2 (только параметр snapshotStartBatchId)
  • SPARK-53550 Секционирование выходных данных объединения должно сравнивать канонические атрибуты
  • SPARK-53506 Запрет операций между десятичными и плавающими точками в соответствии со стандартом ANSI
  • SPARK-52238 Переименование поля спецификации конвейера с "definitions" на "libraries"
  • SPARK-53538ExpandExec должен инициализировать небезопасные проекции
  • SPARK-53521 Рефакторинг выражения Star
  • SPARK-53358 Улучшение сообщения об ошибке несоответствия типа вывода UDTF в Python
  • SPARK-53531 Лучшее сообщение об ошибке для HadoopRDD.getInputFormat
  • SPARK-53434 Метод get класса ColumnarRow также должен проверять isNullAt
  • SPARK-53008 Добавление реализации процедуры проверки доступа к данным UDF для OSS SQL
  • SPARK-44856 Повышение производительности сериализатора стрелок на Python UDTF
  • SPARK-53488 Обновить CollationTypeCoercion для совместимости с логикой однопроходного анализатора
  • SPARK-53029 Поддержка приведения возвращаемого типа для UDTF с использованием Arrow в Python.
  • SPARK-53479 Выравнивание == поведения с pandas при сравнении над скалярными в рамках ANSI
  • SPARK-53497 Запрет на операции между десятичными и числом с плавающей точкой по стандарту ANSI
  • SPARK-53441 Булевы значения |/&/^ не должны завершаться с ошибкой по стандартам ANSI
  • SPARK-53474 Добавление DATA_SOURCE_V2_EXPR_FOLDING conf
  • SPARK-53333 Включение StateDataSource с контрольной точкой состояния версии 2 (только readChangeFeed)
  • SPARK-53502 Улучшение именования методов в LiteralValueProtoConverter
  • SPARK-52694 Добавление o.a.s.sql.Encoders#udtAPI
  • SPARK-53499 from_arrow_type должен учитывать containsNull в ArrayType
  • SPARK-53515 Удаление неиспользуемого private lazy val из SchemaOfCsv/Xml
  • SPARK-53480 Рефакторинг кода Apache Arrow Python Runner
  • SPARK-53481 Создание класса гибридной очереди
  • SPARK-53401 Включение прямого секционирования PassThrough в API DataFrame
  • SPARK-52930 Использование DataType.Array/Map для литералы массива или карты
  • SPARK-52346 Распространение столбцов секций из назначения для BatchTableWrite
  • SPARK-53342 Исправление конвертера Arrow для обработки нескольких серий записей в одном потоке IPC
  • SPARK-53421 Применение идентификатора логического плана в анализе SDP
  • SPARK-53408 Удаление неиспользуемых функций из QueryCompilationErrors
  • SPARK-53044 Изменение соглашения об импорте псевдонимов декларативных конвейеров с "sdp" на "dp"
  • SPARK-53450 Значения NULL заполняются неожиданно после преобразования сканирования таблицы Hive в логическую связь
  • SPARK-53290 Исправление нарушения обратной совместимости метаданных
  • SPARK-52982 Запрет боковых объединений с определяемыми пользователем функциями Arrow Python
  • SPARK-52851 Удалить общедоступные API для потоков добавления один раз
  • SPARK-52511 Поддержка режима сухого запуска в команде spark-pipelines
  • SPARK-53290 Отмена "[SC-204277][sql][CONNECT] Исправление критического нарушения обратной совместимости метаданных".
  • SPARK-53290 Исправление нарушения обратной совместимости метаданных
  • SPARK-52577 Добавление тестов для декларативного конвейера DatasetManager с каталогом Hive
  • SPARK-53012 Поддержка Python Arrow UDTF в Spark Connect
  • SPARK-53251 Включение тестирования API DataFrame с использованием asTable() для пользовательских табличных функций (UDTF) на основе Apache Arrow в Python
  • SPARK-52432 Ограничить область DataflowGraphRegistry до сеанса
  • SPARK-52853 Предотвращение императивных методов PySpark в декларативных конвейерах
  • SPARK-52745 Убедитесь, что один из интерфейсов schema и columns таблицы реализован, а columns предпочтительнее.
  • SPARK-52991 Вернуться "[SC-204944][sql] Реализация MERGE INTO с SCHEMA помощью EVOLUTION для источника данных версии 2"
  • SPARK-52981 Добавление поддержки аргументов таблицы для UDTF на Python и Arrow.
  • SPARK-53487 Улучшение комментариев в NormalizePlan.scala
  • SPARK-52991 Реализация MERGE INTO с помощью SCHEMA источника данных EVOLUTION для источника данных версии 2
  • SPARK-52281 Изменение ALTER TABLE ALTER COLUMN TYPE STRING так, чтобы не применялась колляция по умолчанию, если исходный тип данных является экземпляром StringType
  • SPARK-52759 Создание исключения, если конвейер не содержит таблиц или сохраненных представлений
  • SPARK-51575 Комбинирование внедрения источника данных Python и планирование потоков чтения
  • SPARK-53359 Исправление для Arrow UDTF для обработки результатов с использованием итератора
  • SPARK-52757 Переименование поля "plan" в DefineFlow в "relation"
  • SPARK-52431 Завершающие штрихи на механизме выполнения декларативных конвейеров
  • SPARK-52591 Проверка потоковой передачи данных, возвращаемых таблицей SDP и автономными определениями потока
  • SPARK-53030 Поддержка средства записи Arrow для потоковой передачи данных из источников Python
  • SPARK-52980 Поддержка Python UDTF с использованием Apache Arrow
  • SPARK-42841Назначьте имя классу ошибок _LEGACY_ERROR_TEMP_2005
  • SPARK-52423 Добавление отсутствующего имени пакета golang в pipelines.proto
  • SPARK-52409 В тестах используется только PipelineRunEventBuffer
  • SPARK-52533 Поддержка включения только профилировщика драйверов
  • SPARK-52716 Удаление комментариев из Flow trait и ссылок
  • SPARK-52348 Добавление поддержки обработчиков Spark Connect для команд конвейера
  • SPARK-52281 Возврат "[SC-198058][sql] Измените, ALTER TABLE ALTER COLUMN TYPE STRING чтобы не применять параметры сортировки по умолчанию, если исходный тип данных был экземпляром StringType"
  • SPARK-49386 Добавление пороговых значений на основе памяти для операций перетасовки
  • SPARK-52281 Изменение ALTER TABLE ALTER COLUMN TYPE STRING так, чтобы не применялась колляция по умолчанию, если исходный тип данных является экземпляром StringType
  • SPARK-53329 Улучшение обработки исключений при добавлении артефактов
  • SPARK-52772 Отмена "[SC-202707][engrm-327][SQL] Несогласованная обработка атрибутов таблицы во время обновлений"
  • SPARK-52772 Несогласованная обработка атрибутов таблицы во время обновлений
  • SPARK-51739 Проверка схемы Arrow из mapInArrow, mapInPandas и DataSource
  • Тест поведения типа udf SPARK-53355 python
  • SPARK-53443 Обновление Python до SPDX-license
  • SPARK-49968 Функция разделения даёт неправильные результаты при пустом регулярном выражении и ограничении
  • SPARK-52582 Улучшение использования памяти средства синтаксического анализа XML
  • SPARK-53452from_arrow_type должен учитывать valueContainsNull
  • SPARK-53103 Отменить "[SC-204946][ss] Выдает ошибку, если каталог состояний не пуст, когда запрос запускается".
  • SPARK-53103 Создает ошибку, если каталог состояния не пуст при запуске запроса
  • SPARK-51575 Вернитесь на "[SC-192406][python] Объединение pushdown источника данных Python и планирование операций чтения"
  • SPARK-51575 Комбинирование внедрения источника данных Python и планирование потоков чтения
  • SPARK-53095 Поддержка HMS версии 4.1
  • SPARK-53126 Рефакторинг SparkErrorUtils#stackTraceToString для обработки null входных данных и его использования для замены ExceptionUtils#getStackTrace
  • SPARK-49489 Клиент HMS учитывает hive.thrift.client.maxmessage.size
  • SPARK-53108 Реализация функции time_diff в Scala
  • SPARK-45265 Поддержка хранилища метаданных Hive 4.0
  • SPARK-53255 Запрещение org.apache.parquet.Preconditions
  • SPARK-52142 Отображение ограничений таблицы в SHOW CREATE TABLE COMMAND
  • SPARK-52875 Упрощение перевода выражений V2, если входные данные независимы от контекста и складываемы
  • SPARK-53240 Запрещение com.google.common.collect.(ArrayList)?Multimap
  • SPARK-52875 Отменить изменение "[SC-201880][sql] Упростить преобразование выражений версии 2, если входные данные независимы от контекста и могут быть свернуты"
  • SPARK-52141 Отображение ограничений в командах DESC
  • SPARK-53386 Поддержка параметра запроса, заканчивающегося точкой с запятой в соединителях JDBC
  • SPARK-52875 Упрощение перевода выражений V2, если входные данные независимы от контекста и складываемы
  • SPARK-53437 ИнтерпретацияUnsafeProjection должна задатьNull4Bytes для поля YearMonthIntervalType
  • SPARK-53341 Расширить покрытие золотого теста для многопеременного DECLARE
  • SPARK-53156 Отслеживание метрик памяти драйвера при завершении приложения
  • SPARK-52689 Отправка метрик DML в V2Write
  • SPARK-52641 Столбцы первичного ключа не должны иметь значение NULL
  • SPARK-48547 Добавление флага согласия, чтобы SparkSubmit автоматически вызывал System.exit после выхода основного метода пользовательского кода
  • SPARK-52575 Введение атрибута contextIndependentFoldable, независимого от контекста, для выражений.
  • SPARK-52860 Поддержка эволюции схемы записи версии 2 в InMemoryTable
  • SPARK-53435 Исправление состояния гонки в CachedRDDBuilder
  • SPARK-51987 Выражения DSv2 в столбцах по умолчанию для записи
  • SPARK-52235 Добавление неявного приведения к выражениям DefaultValue версии 2, передаваемым в DSV2
  • SPARK-52236 Стандартизация анализа исключений для значения по умолчанию
  • SPARK-53294 Включение StateDataSource с контрольной точкой состояния версии 2 (только параметр batchId)
  • SPARK-52095 Изменение таблицы для изменения столбца и передачи V2Expression в DSV2
  • SPARK-53415 Простые варианты для встроенных файловых форм
  • SPARK-53318 Поддержка типа времени по make_timestamp_ltz()
  • SPARK-53143 Исправление самосоединения в API кадра данных — соединение не является единственным ожидаемым результатом работы анализатора
  • SPARK-53423 Переместите все связанные с одноэтапным разрешателем теги в ResolverTag
  • SPARK-52116 Улучшение исключения для недетерминированных значений по умолчанию
  • SPARK-51906 Выражения Dsv2 в alter table add columns
  • SPARK-53403 Улучшение тестов сложения и вычитания для ANSI
  • SPARK-53418 Поддержка TimeType в ColumnAccessor
  • SPARK-52777 Включить возможность настройки режима очистки шардинга в Spark SQL
  • SPARK-52485 Очистка кода декларативных конвейеров
  • SPARK-53236 Используйте конструкторы Java ArrayList вместо Lists.newArrayList в коде Java
  • SPARK-53392 Перемещение специализированной обработки SpecializedArray в connect-common
  • SPARK-53176 Средство запуска Spark должно соблюдать --load-spark-defaults
  • SPARK-53237 Использование Java Base64 вместо экземпляра org.apache.commons.codec.binary.Base64
  • SPARK-53390 Выдаётся ошибка, когда булевы значения с None преобразуются в целые числа в ANSI
  • SPARK-53109 Поддержка TIME в функциях make_timestamp_ntz и try_make_timestamp_ntz в Scala
  • SPARK-53393 Отключение профилировщика памяти для UDF на основе Apache Arrow со скалярным итератором.
  • SPARK-53367 добавлено приведение int к десятичному для Arrow UDFs
  • SPARK-53365 Унификация кода для сохранения конфигураций в представлениях и определяемых пользователем функциях
  • SPARK-53228 Использование конструкторов Java Map вместо Maps.new*HashMap()
  • SPARK-53197 Используйте java.util.Objects#requireNonNull вместо com.google.common.base.Preconditions#checkNotNull
  • SPARK-53216 Перемещение is*(Blank|Empty) из object SparkStringUtils в trait SparkStringUtils
  • SPARK-53385 Вычисление идентификатора рефакторинга
  • SPARK-53384 Разрешение переменной рефакторинга
  • SPARK-53195 Использование Java InputStream.readNBytes вместо ByteStreams.read
  • SPARK-53205 Поддержка createParentDirs в SparkFileUtils
  • SPARK-53196 Использование Java OutputStream.nullOutputStream вместо ByteStreams.nullOutputStream
  • SPARK-53381 Избегайте создания временных коллекций в toCatalystStruct
  • SPARK-53275 Обработка выражений с сохранением состояния при упорядочении в интерпретированном режиме
  • SPARK-51585 Диалект Oracle поддерживает функцию pushdown для операций с датой и временем
  • SPARK-53200 Использование Java Files.newInputStream вместо Files.asByteSource().openStream()
  • SPARK-53190 Использование Java InputStream.transferTo вместо ByteStreams.copy
  • SPARK-53188 Поддержка readFully в SparkStreamUtils и JavaUtils
  • SPARK-53354 Упростить LiteralValueProtoConverter.toCatalystStruct
  • SPARK-52873 Дополнительное ограничение, если полу-или антисоединяние SHJ может игнорировать повторяющиеся ключи на стороне сборки.
  • SPARK-53180 Использование Java InputStream.skipNBytes вместо ByteStreams.skipFully
  • SPARK-53369 Исправление сообщения об ошибке для пользовательских функций с возвращаемым типом CHAR/VARCHAR
  • SPARK-53330 Исправление для Arrow UDF с использованием DayTimeIntervalType (границы != начало/конец)
  • SPARK-53366 Применение правил форматирования к sql/connect/shims
  • SPARK-53348 Постоянно сохраняйте значение ANSI при создании представления данных или предполагайте его при выполнении запроса, если значение не сохраняется.
  • SPARK-53119 Поддержка touch в SparkFileUtils
  • SPARK-52592 Поддержка создания ps. Серия из ps. Серия
  • SPARK-53360 Стратегия с идемпотентностью ConstantFolding не должна нарушаться впредь.
  • SPARK-53135 Поддержка copyURLToFile в SparkFileUtils и JavaUtils
  • SPARK-53150 Улучшить list(File|Path)s для обработки несуществующих входных данных, данных, не относящихся к каталогу, и симлинков.
  • SPARK-53135 Возврат "[SC-203164][core][SQL] Поддержка copyURLToFile в SparkFileUtils и JavaUtils"
  • SPARK-53137 Поддержка forceDeleteOnExit в SparkFileUtils и JavaUtils
  • SPARK-53352 Уточнить сообщение об ошибке для неподдерживаемого типа возвращаемого значения
  • SPARK-53353 Ошибка в скалярном итераторе Apache Arrow UDF с 0 аргументов
  • SPARK-53135 Поддержка copyURLToFile в SparkFileUtils и JavaUtils
  • SPARK-53101 Поддержка (left|right)Pad в SparkStringUtils
  • SPARK-53117 Поддержка moveDirectory в SparkFileUtils и JavaUtils
  • SPARK-53121 Используйте deleteRecursively вместо FileUtils.forceDelete
  • SPARK-53100 Использование Java String.substring вместо StringUtils.substring
  • SPARK-53092 Запрещение org.apache.commons.lang3.SystemUtils
  • SPARK-53328 Улучшение отладки для SparkML-connect
  • SPARK-52065 Построить другое дерево плана с выходными столбцами (имя, тип данных, возможность быть null) в журнале изменений планов
  • SPARK-51182 DataFrameWriter должен вызывать данныеPathNotSpecifiedError, если путь не указан
  • SPARK-52410 Объявить PipelineConf устаревшим и использовать SqlConf напрямую
  • SPARK-52852 Удалить неиспользуемые spark_conf в create_streaming_table
  • SPARK-52714 Удаление неиспользуемого комментария arg в append_flow декораторе
  • SPARK-52663 Введение поля имени в спецификацию конвейера
  • SPARK-53091 Запрещение org.apache.commons.lang3.Strings
  • SPARK-52393 Регистрация элемента конвейера SQL Graph
  • SPARK-52912 Улучшить SparkStringUtils для поддержки is(Not)?(Blank|Empty)
  • SPARK-53307 Удаление ошибки RetriesExceeded из клиентов Spark Connect Python и Scala
  • SPARK-52346 Декларативное выполнение конвейера DataflowGraph и регистрация событий
  • SPARK-52877 Повышение производительности сериализатора стрелок UDF Python
  • SPARK-51920 Исправление составного или вложенного типа в состоянии значения для Python TWS
  • SPARK-52741 Режим RemoveFiles ShuffleCleanup не работает с неадаптивным выполнением
  • SPARK-52238 Клиент Python для декларативных конвейеров
  • SPARK-51926 Добавьте класс ошибок INVALID_CONF_VALUE.subXXX для ошибок конфигурации
  • SPARK-53155 Глобальная агрегация не должна быть заменена на проект
  • SPARK-52911 Удалить использование StringUtils.(split|chop)
  • SPARK-51926 Отменить "[SC-195096][core][SQL] Добавление класса ошибок INVALID_CONF_VALUE.subXXX к ошибкам конфигурации"
  • SPARK-53346 Избегайте создания временных коллекций в toCatalystArray/toCatalystMap
  • SPARK-51926 Добавьте класс ошибок INVALID_CONF_VALUE.subXXX для ошибок конфигурации
  • SPARK-53136 tryWithResource и tryInitializeResource должны закрыть ресурс без лишних уведомлений
  • SPARK-53132 Поддержка list(File|Path)s в SparkFileUtils и JavaUtils
  • SPARK-51896 Добавить поддержку перечислений Java для TypedConfigBuilder
  • SPARK-53311 Использование в PullOutNonDeterministic канонизированных выражений
  • SPARK-51527 Настройка уровня журнала codegen с помощью SQLConf
  • SPARK-52223 Добавить SDP Spark Connect прототипы
  • SPARK-52283 Декларативные конвейеры DataflowGraph создание и разрешение
  • SPARK-52880toString Улучшить JEP-280 вместо ToStringBuilder
  • SPARK-53284 Настройка импорта конфигурации Spark в тестах
  • SPARK-53050 Включение MultiIndex.to_series() для возврата структуры для каждой записи
  • SPARK-52988 Исправление состояний гонки в CREATE TABLE и ФУНКЦИЯ при использовании IF NOT EXISTS
  • SPARK-52874 Поддержка o.a.s.util.Pair записи Java
  • SPARK-52710DESCRIBE SCHEMA должен распечатать схему сортировки
  • SPARK-49984 Исправление supplementJava(Module|IPv6)Options только для обновления extraJavaOptions

Поддержка драйвера ODBC/JDBC для Azure Databricks

Databricks поддерживает драйверы ODBC/JDBC, выпущенные за последние 2 года. Скачайте недавно выпущенные драйверы и обновление (скачайте ODBC, скачайте JDBC).

Обновления обслуживания

Ознакомьтесь с обновлениями обслуживания Databricks Runtime.

Системная среда

  • Операционная система: Ubuntu 24.04.3 LTS
  • Java: Zulu17.58+21-CA
  • Scala: 2.13.16
  • Python: 3.12.3
  • R: 4.4.2
  • Delta Lake: 4.0.0

Установленные библиотеки Python

Библиотека Версия Библиотека Версия Библиотека Версия
аннотированные типы 0.7.0 anyio 4.6.2 argon2-cffi 21.3.0
argon2-cffi-связки 21.2.0 стрела 1.3.0 асттокенс 2.0.5
астунпарс 1.6.3 async-lru 2.0.4 атрибуты 24.3.0
автоматическая команда 2.2.2 azure-common 1.1.28 azure-core 1.34.0
azure-identity 1.20.0 Платформа управления Azure (azure-mgmt-core) 1.5.0 azure-mgmt-web 8.0.0
azure-storage-blob (облако сохранения Azure) 12.23.0 хранилище файлов данных Azure Data Lake 12.17.0 Вавилон 2.16.0
backports.tarfile 1.2.0 beautifulsoup4 4.12.3 черный 24.10.0
отбеливатель 6.2.0 указатель поворота 1.7.0 boto3 1.36.2
botocore 1.36.3 инструменты для кэша 5.5.1 сертификат 2025.1.31
cffi 1.17.1 chardet 4.0.0 нормализатор кодировки 3.3.2
щелчок 8.1.7 Клаудпикл 3.0.0 коммуникация 0.2.1
Contourpy 1.3.1 криптография 43.0.3 велосипедист 0.11.0
Cython 3.0.12 databricks-sdk 0.49.0 dbus-python 1.3.2
debugpy 1.8.11 декоратор 5.1.1 defusedxml 0.7.1
Deprecated 1.2.13 Дистлиб 0.3.9 Конвертация docstring в markdown 0.11
исполнение 0.8.3 Обзор аспектов 1.1.1 fastapi 0.115.12
fastjsonschema 2.21.1 файловая блокировка 3.18.0 шрифтовые инструменты 4.55.3
Полное доменное имя (FQDN) 1.5.1 fsspec 2023.5.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.20.0 google-auth (аутентификация от Google) 2.40.0
google-cloud-core (основной модуль Google Cloud) 2.4.3 облачное хранилище Google 3.1.0 google-crc32c 1.7.1
гугл-возобновляемые-медиа 2.7.2 googleapis-common-protos (общие протоколы googleapis) 1.65.0 grpcio 1.67.0
grpcio-status 1.67.0 h11 0.14.0 httpcore 1.0.2
httplib2 0.20.4 httpx 0.27.0 IDNA 3,7
importlib-metadata 6.6.0 importlib_resources 6.4.0 склонять 7.3.1
iniconfig 1.1.1 ipyflow-core 0.0.209 ipykernel 6.29.5
ipython 8.30.0 ipython-genutils (утилиты для iPython) 0.2.0 ipywidgets 7.8.1
isodate (стандартная дата ISO) 0.6.1 изодурация 20.11.0 jaraco.context 5.3.0
jaraco.functools 4.0.1 jaraco.text 3.12.1 джедаи 0.19.2
Джинджа2 3.1.5 jmespath 1.0.1 joblib 1.4.2
json5 0.9.25 Джсонпоинтер (jsonpointer) 3.0.0 jsonschema (JSON-схема) 4.23.0
jsonschema-спецификации 2023.7.1 Jupyter-события 0.10.0 jupyter-lsp 2.2.0
клиент Jupyter 8.6.3 jupyter_core (ядро Jupyter) 5.7.2 Джупитер_сервер 2.14.1
терминалы_сервера_jupyter 0.4.4 jupyterlab 4.3.4 jupyterlab-pygments 0.1.2
jupyterlab-мини-приложения 1.0.0 jupyterlab_server (сервер для JupyterLab) 2.27.3 Кивисолвер 1.4.8
launchpadlib 1.11.0 lazr.restfulclient 0.14.6 lazr.uri 1.0.6
markdown-it-py 2.2.0 MarkupSafe 3.0.2 matplotlib 3.10.0
матплотлиб-инлайн 0.1.7 МакКейб 0.7.0 mdurl 0.1.0
Мистун 2.0.4 mlflow-skinny (упрощённая версия пакета mlflow) 3.0.1 mmh3 5.1.0
more-itertools 10.3.0 msal 1.32.3 msal-extensions 1.3.1
mypy-extensions (расширения для mypy) 1.0.0 nbclient 0.8.0 Перекодировщик nbconvert 7.16.4
nbformat 5.10.4 nest-asyncio 1.6.0 nodeenv 1.9.1
notebook 7.3.2 ноутбук_шим 0.2.3 numpy (библиотека для работы с массивами и матрицами в Python) 2.1.3
OAuthlib 3.2.2 opentelemetry-api 1.32.1 opentelemetry-sdk 1.32.1
cемантические соглашения opentelemetry 0.53b1 Переопределения 7.4.0 упаковка 24,2
Панды 2.2.3 пандокфильтры 1.5.0 Парсо 0.8.4
спецификация пути 0.10.3 простак 1.0.1 pexpect (библиотека Python для автоматизации взаимодействия с приложениями) 4.8.0
подушка 11.1.0 пит 25.0.1 Platformdirs 3.10.0
библиотека Plotly для визуализации данных 5.24.1 менеджер плагинов Pluggy 1.5.0 prometheus_client 0.21.0
prompt-toolkit (инструментарий подсказок) 3.0.43 proto-plus 1.26.1 protobuf (протобуф) 5.29.4
psutil (пакет Python для работы с процессами и системами) 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
пьюр-эвэл 0.2.2 pyarrow 19.0.1 pyasn1 0.4.8
pyasn1-modules 0.2.8 Пикколо 0.0.71 pycparser 2.21
pydantic (библиотека Python для валидации данных) 2.10.6 pydantic_core 2.27.2 pyflakes (аналитический инструмент для Python) 3.2.0
Пигменты 2.15.1 PyGObject 3.48.2 pyiceberg 0.9.0
PyJWT 2.10.1 pyodbc 5.2.0 pyparsing (библиотека для синтаксического анализа в Python) 3.2.0
pyright 1.1.394 pytest 8.3.5 python-dateutil (библиотека для работы с датами и временем в Python) Версия 2.9.0.post0
python-json-logger (пакет для логирования JSON в Python) 3.2.1 python-lsp-jsonrpc 1.1.2 python-lsp-server (сервер Python LSP) 1.12.0
Pytoolconfig 1.2.6 pytz (библиотека Python для работы с часовыми поясами) 2024.1 PyYAML 6.0.2
pyzmq 26.2.0 Ссылки 0.30.2 Запросы 2.32.3
rfc3339-валидатор 0.1.4 rfc3986-validator 0.1.1 богатый 13.9.4
верёвка 1.12.0 rpds-py 0.22.3 rsa 4.9.1
s3transfer 0.11.3 scikit-learn (библиотека машинного обучения) 1.6.1 scipy (библиотека Python) 1.15.1
мореборн 0.13.2 Send2Trash 1.8.2 setuptools (пакет для установки и управления Python-пакетами) 74.0.0
шесть 1.16.0 сммап 5.0.0 сниффио 1.3.0
отсортированные контейнеры 2.4.0 ситечко для супа 2.5 sqlparse 0.5.3
ssh-import-id (импортировать идентификатор SSH) 5.11 стековые данные 0.2.0 старлетка 0.46.2
statsmodels (библиотека Python для статистического моделирования) 0.14.4 strictyaml 1.7.3 упорство 9.0.0
закончено 0.17.1 Threadpoolctl 3.5.0 tinycss2 1.4.0
tokenize_rt 6.1.0 томли 2.0.1 торнадо 6.4.2
Трейтлеты 5.14.3 типгард 4.3.0 types-python-dateutil 2.9.0.20241206
typing_extensions (расширения для ввода текста) 4.12.2 tzdata 2024.1 ujson 5.10.0
автоматические обновления без участия пользователя 0,1 URI-шаблон 1.3.0 urllib3 2.3.0
uvicorn 0.34.2 virtualenv 20.29.3 wadllib 1.3.6
wcwidth (ширина символа в Unicode) 0.2.5 webcolors 24.11.1 веб-энкодинги 0.5.1
websocket-клиент 1.8.0 чтоэто за патч 1.0.2 колесо 0.45.1
widgetsnbextension 3.6.6 завёрнут 1.17.0 yapf (форматировщик Python кода) 0.40.2
ZIPP 3.21.0

Установленные библиотеки R

Библиотеки R устанавливаются из снимка CRAN диспетчера пакетов Posit от 2025-03-20.

Библиотека Версия Библиотека Версия Библиотека Версия
стрела 19.0.1 аскпасс 1.2.1 утверждать, что 0.2.1
обратные порты 1.5.0 основа 4.4.2 base64enc 0.1-3
bigD 0.3.0 кусочек 4.6.0 64-бит 4.6.0-1
bitops 1.0-9 комок 1.2.4 сапог 1.3-30
варить 1.0-10 жизнерадостность 1.1.5 метла 1.0.7
bslib 0.9.0 кашемир 1.1.0 звонящий 3.7.6
каретка 7.0-1 целлрейнджер 1.1.0 хронометр 2.3-62
класс 7.3-22 интерфейс командной строки (CLI) 3.6.5 клиппер 0.8.0
часы 0.7.2 кластер 2.1.6 codetools 0.2-20
цветовое пространство 2.1-1 коммонмарк 1.9.5 компилятор 4.4.2
config 0.3.2 испытывающий противоречивые чувства 1.2.0 cpp11 0.5.2
карандаш 1.5.3 credentials 2.0.2 завиток 6.4.0
таблица данных 1.17.0 Наборы данных 4.4.2 DBI 1.2.3
dbplyr 2.5.0 описание 1.4.3 средства разработки 2.4.5
Схема 1.6.5 diffobj 0.3.5 дайджест 0.6.37
направленное вниз освещение 0.4.4 dplyr (пакет для обработки данных в R) 1.1.4 dtplyr 1.3.1
e1071 1.7-16 многоточие 0.3.2 оценивать 1.0.3
поклонники 1.0.6 Цвета 2.1.2 фастмап 1.2.0
fontawesome 0.5.3 Forcats (форкатс) 1.0.0 foreach 1.5.2
иностранный 0.8-86 кузница 0.2.0 fs 1.6.5
будущее 1.34.0 будущее.применить 1.11.3 полоскать горло 1.5.2
Дженерики 0.1.4 Герт 2.1.4 ggplot2 3.5.1
gh 1.4.1 git2r 0.35.0 gitcreds 0.1.2
glmnet 4.1-8 глобальные переменные 0.18.0 клей 1.8.0
googledrive 2.1.1 googlesheets4 1.1.1 Говер 1.0.2
графика 4.4.2 grDevices 4.4.2 сеть 4.4.2
gridExtra 2.3 gsubfn 0.7 gt 0.11.1
гтабл 0.3.6 каска 1.4.1 убежище 2.5.4
выше 0.11 HMS 1.1.3 инструменты для HTML 0.5.8.1
HTML-виджеты 1.6.4 httpuv 1.6.15 httr 1.4.7
httr2 1.1.1 удостоверения личности 1.0.1 ini 0.3.1
ипред 0,9–15 изо-лента 0.2.7 Itераторы 1.0.14
jquerylib 0.1.4 jsonlite 1.9.1 сочный сок 0.1.0
KernSmooth 2,23-22 knitr (пакет для динамической генерации отчетов в языке программирования R) 1.50 маркирование 0.4.3
позже 1.4.1 решётка 0,22–5 лава 1.8.1
жизненный цикл 1.0.4 слушай 0.9.1 лубридейт 1.9.4
магриттр 2.0.3 Markdown 1.13 Масса 7.3-60.0.1
«Матрица» 1.6-5 Запоминание 2.0.1 методы 4.4.2
mgcv 1.9-1 mime 0,13 мини-интерфейс 0.1.1.1
mlflow 2.20.4 ModelMetrics 1.2.2.2 модельер 0.1.11
munsell 0.5.1 nlme 3.1-164 ннейронная сеть 7.3-19
numDeriv 2016.8-1.1 OpenSSL 2.3.3 параллельный 4.4.2
параллельно 1.42.0 столб 1.11.0 пакджбилд 1.4.6
pkgconfig 2.0.3 pkgdown 2.1.1 пкглоад (pkgload) 1.4.0
Плогр 0.2.0 плайр 1.8.9 похвала 1.0.0
prettyunits 1.2.0 pROC 1.18.5 Processx 3.8.6
Prodlim 2024.06.25 profvis 0.4.0 прогресс 1.2.3
progressr 0.15.1 обещания 1.3.2 прото 1.0.0
прокси 0.4-27 п.с. 1.9.0 мурлыканье 1.0.4
Р6 2.6.1 ragg 1.3.3 randomForest (рандомФорест) 4.7-1.2
рэпдирс 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.14 RcppEigen 0.3.4.0.2 реактивный 0.4.4
ReactR 0.6.1 readr 2.1.5 readxl (пакет для чтения Excel-файлов) 1.4.5
Рецепты 1.2.0 реванш 2.0.0 реванш2 2.1.2
пульты дистанционного управления 2.5.0 репрекс 2.1.1 Изменить форму2 1.4.4
rlang 1.1.6 rmarkdown (инструмент для создания динамических документов в R) 2.29 RODBC 1.3-26
roxygen2 7.3.2 rpart (пакет для построения деревьев решений в языке программирования R) 4.1.23 rprojroot 2.0.4
Rserve (Рcерве) 1.8-15 RSQLite 2.3.9 рстудиоапи 0.17.1
rversions 2.1.2 Рвест 1.0.4 дерзость 0.4.9
весы 1.3.0 селектор 0.4-2 информация о сессии 1.2.3
форма 1.4.6.1 блестящий 1.10.0 sourcetools 0.1.7-1
sparklyr 1.9.1 SparkR 4.0.0 Sparsevctrs 0.3.1
пространственный 7.3-17 Сплайны 4.4.2 SQLDF 0,4-11
SQUAREM январь 2021 статистика 4.4.2 статистика4 4.4.2
стринги 1.8.7 стрингр 1.5.1 выживание 3.5-8
самоуверенность и стильный вид 5.17.14.1 sys 3.4.3 systemfonts 1.2.1
язык программирования Tcl/Tk 4.4.2 testthat 3.2.3 форматирование текста 1.0.0
Tibble 3.3.0 Тидыр 1.3.1 tidyselect 1.2.1
tidyverse (тайдивёрс) 2.0.0 смена времени 0.3.0 ТаймДата 4041.110
tinytex 0.56 инструменты 4.4.2 База данных часовых зон (tzdb) 0.5.0
URL-чекер 1.0.1 используйэто 3.1.0 utf8 1.2.6
утилиты 4.4.2 UUID (Универсальный уникальный идентификатор) 1.2-1 V8 6.0.2
vctrs 0.6.5 viridisLite 0.4.2 брррм 1.6.5
Уолдо 0.6.1 ус 0.4.1 увядать 3.0.2
xfun 0.51 xml2 1.3.8 xopen 1.0.1
xtable 1.8-4 YAML 2.3.10 зилот 0.1.0
ZIP-архив 2.3.2

Установленные библиотеки Java и Scala (версия кластера Scala 2.13)

Идентификатор группы Идентификатор артефакта Версия
Антлер Антлер 2.7.7
com.amazonaws Клиент Amazon Kinesis 1.12.0
com.amazonaws aws-java-sdk-autoscaling (автоматическое масштабирование) 1.12.638
com.amazonaws aws-java-sdk-cloudformation 1.12.638
com.amazonaws aws-java-sdk-cloudfront 1.12.638
com.amazonaws aws-java-sdk-cloudhsm 1.12.638
com.amazonaws AWS Java SDK для CloudSearch 1.12.638
com.amazonaws aws-java-sdk-cloudtrail 1.12.638
com.amazonaws aws-java-sdk-cloudwatch 1.12.638
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.638
com.amazonaws aws-java-sdk-codedeploy (AWS Java SDK для CodeDeploy) 1.12.638
com.amazonaws aws-java-sdk-cognitoidentity 1.12.638
com.amazonaws aws-java-sdk-cognitosync 1.12.638
com.amazonaws Конфигурация SDK для Java от AWS 1.12.638
com.amazonaws aws-java-sdk-core 1.12.638
com.amazonaws aws-java-sdk-datapipeline (пакет для работы с Data Pipeline на Java) 1.12.638
com.amazonaws aws-java-sdk-directconnect 1.12.638
com.amazonaws aws-java-sdk-directory 1.12.638
com.amazonaws aws-java-sdk-dynamodb 1.12.638
com.amazonaws aws-java-sdk-ec2 1.12.638
com.amazonaws aws-java-sdk-ecs 1.12.638
com.amazonaws aws-java-sdk-efs 1.12.638
com.amazonaws aws-java-sdk-elasticache 1.12.638
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.638
com.amazonaws aws-java-sdk-elasticloadbalancing (пакет программного обеспечения для балансировки нагрузки в AWS, написанный на Java) 1.12.638
com.amazonaws aws-java-sdk-elastictranscoder (Java SDK для Elastic Transcoder) 1.12.638
com.amazonaws aws-java-sdk-emr 1.12.638
com.amazonaws aws-java-sdk-glacier (пакет программного обеспечения для работы с Glacier) 1.12.638
com.amazonaws aws-java-sdk-glue 1.12.638
com.amazonaws aws-java-sdk-iam 1.12.638
com.amazonaws aws-java-sdk-importexport (пакет для импорта и экспорта данных) 1.12.638
com.amazonaws aws-java-sdk-kinesis 1.12.638
com.amazonaws aws-java-sdk-kms (пакет программного обеспечения для работы с AWS KMS) 1.12.638
com.amazonaws aws-java-sdk-lambda 1.12.638
com.amazonaws aws-java-sdk-logs 1.12.638
com.amazonaws AWS Java SDK для машинного обучения 1.12.638
com.amazonaws aws-java-sdk-opsworks 1.12.638
com.amazonaws AWS Java SDK для RDS 1.12.638
com.amazonaws AWS Java SDK для Redshift 1.12.638
com.amazonaws aws-java-sdk-route53 1.12.638
com.amazonaws aws-java-sdk-s3 1.12.638
com.amazonaws aws-java-sdk-ses 1.12.638
com.amazonaws aws-java-sdk-simpledb 1.12.638
com.amazonaws aws-java-sdk-simpleworkflow 1.12.638
com.amazonaws aws-java-sdk-sns 1.12.638
com.amazonaws aws-java-sdk-sqs 1.12.638
com.amazonaws aws-java-sdk-ssm (AWS SDK для Java — SSM модуль) 1.12.638
com.amazonaws AWS Java SDK для Storage Gateway 1.12.638
com.amazonaws aws-java-sdk-sts 1.12.638
com.amazonaws Поддержка AWS Java SDK 1.12.638
com.amazonaws aws-java-sdk-swf библиотеки 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.638
com.amazonaws jmespath-java 1.12.638
com.clearspring.analytics поток 2.9.8
com.databricks Rserve (Рcерве) 1.8-3
com.databricks SDK для Java от Databricks 0.27.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb scalapb-runtime_2.13 0.4.15-11
com.esotericsoftware криогенное затенение 4.0.3
com.esotericsoftware минлог 1.3.0
com.fasterxml одноклассник 1.5.1
com.fasterxml.jackson.core аннотации Джексона 2.18.2
com.fasterxml.jackson.core джексон-ядро 2.18.2
com.fasterxml.jackson.core джексон-databind 2.18.2
com.fasterxml.jackson.dataformat Джексон-формат-данных-CBOR 2.18.2
com.fasterxml.jackson.dataformat Джексон-датаформат-ЯМЛ 2.15.2
com.fasterxml.jackson.datatype джексон-дейтайп-джода 2.18.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.18.2
com.fasterxml.jackson.module джексон-модуль-паранэймер 2.18.2
com.fasterxml.jackson.module jackson-module-scala_2.13 2.18.2
com.github.ben-manes.caffeine кофеин 2.9.3
com.github.blemale scaffeine_2.13 4.1.0
com.github.fommil jniloader 1.1
com.github.fommil.netlib нативная_ссылка-java 1.1
com.github.fommil.netlib нативная_ссылка-java 1.1-коренные жители
com.github.fommil.netlib Нативная_система-java 1.1
com.github.fommil.netlib Нативная_система-java 1.1-коренные жители
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-коренные жители
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-коренные жители
com.github.luben zstd-jni 1.5.6-10
com.github.virtuald курвесапи 1,08
com.github.wendykierp JTransforms 3.1
com.google.api.grpc proto-google-common-protos 2.5.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson Gson 2.11.0
com.google.crypto.tink тинк 1.16.0
com.google.errorprone ошибкоопасные аннотации 2.36.0
com.google.flatbuffers flatbuffers-java 24.3.25
com.google.guava ошибка доступа 1.0.2
com.google.guava гуава 33.4.0-jre
com.google.guava будущее для прослушивания 999.0-empty-to-avoid-conflict-with-guava
com.google.j2objc j2objc-аннотации 3.0.0
com.google.protobuf protobuf-java 3.25.5
com.google.protobuf protobuf-java-util 3.25.5
com.helger Профилировщик 1.1.1
com.ibm.icu icu4j 75.1
com.jcraft jsch 0.1.55
com.lihaoyi sourcecode_2.13 0.1.9
com.microsoft.azure azure-data-lake-store-sdk (SDK для Azure Data Lake Store) 2.3.10
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.microsoft.sqlserver mssql-jdbc 11.2.3.jre8
com.ning compress-lzf (метод сжатия данных) 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning JSON (формат обмена данными JavaScript) 1.8
com.thoughtworks.paranamer Паранэймер 2.8
com.trueaccord.lenses лензы_2.13 0.4.13
com.twitter chill-java 0.10.0
com.twitter chill_2.13 0.10.0
com.twitter util-app_2.13 19.8.1
com.twitter util-core_2.13 19.8.1
com.twitter util-function_2.13 19.8.1
com.twitter util-jvm_2.13 19.8.1
com.twitter util-lint_2.13 19.8.1
com.twitter util-registry_2.13 19.8.1
com.twitter util-stats_2.13 19.8.1
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.13 3.9.2
com.uber h3 3.7.3
com.univocity юнивосити-парсерс 2.9.1
com.zaxxer ХикариCP 4.0.3
com.zaxxer СпарсБитСет 1.3
commons-cli commons-cli 1.9.0
commons-codec commons-codec 1.17.2
общие коллекции общие коллекции 3.2.2
commons-dbcp commons-dbcp 1.4
загрузка файлов через модуль commons загрузка файлов через модуль commons 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.18.0
commons-lang commons-lang 2.6
коммонс-логгинг коммонс-логгинг 1.1.3
коммонс-пул коммонс-пул 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Блас 3.0.3
dev.ludovic.netlib LAPACK (программная библиотека для линейной алгебры) 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift компрессор воздуха 2.0.2
io.delta delta-sharing-client_2.13 1.3.5
io.dropwizard.metrics аннотирование метрик 4.2.30
io.dropwizard.metrics основные метрики 4.2.30
io.dropwizard.metrics «metrics-graphite» 4.2.30
io.dropwizard.metrics Метрики-Чек здоровья 4.2.30
io.dropwizard.metrics метрики для Jetty9 4.2.30
io.dropwizard.metrics Метрики-JMX 4.2.30
io.dropwizard.metrics metrics-json 4.2.30
io.dropwizard.metrics метрики для JVM 4.2.30
io.dropwizard.metrics метрики и сервлеты 4.2.30
io.github.java-diff-utils java-diff-utils 4.15
io.netty netty-all (все пакеты netty) 4.1.118.Final
io.netty буфер Netty 4.1.118.Final
io.netty netty-codec (кодек Netty) 4.1.118.Final
io.netty netty-codec-http 4.1.118.Final
io.netty netty-codec-http2 4.1.118.Final
io.netty netty-codec-socks 4.1.118.Final
io.netty нетти-общий 4.1.118.Final
io.netty нетти-хэндлер 4.1.118.Final
io.netty нетти-обработчик-прокси 4.1.118.Final
io.netty Netty-резолвер 4.1.118.Final
io.netty netty-tcnative-boringssl-static 2.0.70.Final-db-r0-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.70.Final-db-r0-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.70.Final-db-r0-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.70.Final-db-r0-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.70.Final-db-r0-windows-x86_64
io.netty netty-tcnative-classes (классы netty-tcnative) 2.0.70.Final
io.netty netty-transport 4.1.118.Final
io.netty netty-transport-classes-epoll 4.1.118.Final
io.netty netty-transport-classes-kqueue 4.1.118.Final
io.netty netty-transport-native-epoll 4.1.118.Final
io.netty netty-transport-native-epoll 4.1.118.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.118.Final-linux-riscv64
io.netty netty-transport-native-epoll 4.1.118.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.118.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.118.Final-osx-x86_64
io.netty нетти-транспорт-натив-уникс-коммон 4.1.118.Final
io.prometheus simpleclient 0.16.1-databricks
io.prometheus простыйклиент_общий 0.16.1-databricks
io.prometheus Симплклиент_дропвизард 0.16.1-databricks
io.prometheus simpleclient_pushgateway 0.16.1-databricks
io.prometheus simpleclient_servlet 0.16.1-databricks
io.prometheus simpleclient_servlet_common 0.16.1-databricks
io.prometheus simpleclient_tracer_common 0.16.1-databricks
io.prometheus simpleclient_tracer_otel 0.16.1-databricks
io.prometheus simpleclient_tracer_otel_agent 0.16.1-databricks
io.prometheus.jmx коллекционер 0.18.0
jakarta.annotation jakarta.annotation-api (аннотация API Джакарты) 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation активация 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.media jai_core jai_core_dummy
javax.transaction джта 1.1
javax.transaction интерфейс транзакций 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
джлайн джлайн 2.14.6
joda-time joda-time 2.13.0
net.java.dev.jna джна 5.8.0
net.razorvine рассол 1.5
net.sf.jpam джпам 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv — инструмент для работы с CSV файлами 2.2.0
net.snowflake snowflake-ingest-sdk (SDK для обработки данных Snowflake) 0.9.6
net.sourceforge.f2j арпак_комбинированный_все 0,1
org.acplt.remotetea «remotetea-oncrpc» 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.13.1
org.antlr шаблон строки 3.2.1
org.apache.ant муравей 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow формат стрелок 18.2.0
org.apache.arrow ядро памяти Arrow 18.2.0
org.apache.arrow арроу-мемори-нетти 18.2.0
org.apache.arrow стрелка-память-netty-buffer-patch 18.2.0
org.apache.arrow вектор стрелки 18.2.0
org.apache.avro Авро 1.12.0
org.apache.avro avro-ipc 1.12.0
org.apache.avro avro-mapred 1.12.0
org.apache.commons commons-collections4 4.4.
org.apache.commons Коммонс-компресс 1.27.1
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.17.0
org.apache.commons коммонс-матх3 3.6.1
org.apache.commons Общедоступный текст 1.13.0
org.apache.curator куратор-клиент 5.7.1
org.apache.curator кураторский фреймворк 5.7.1
org.apache.curator куратор рецептов 5.7.1
org.apache.datasketches datasketches-java 6.1.1
org.apache.datasketches Датаскетчес-мемори 3.0.2
org.apache.derby дерби 10.14.2.0
org.apache.hadoop среда выполнения hadoop-клиента 3.4.1
org.apache.hive hive-beeline (инструмент командной строки для работы с Apache Hive) 2.3.10
org.apache.hive hive-cli 2.3.10
org.apache.hive hive-jdbc 2.3.10
org.apache.hive hive-llap-client 2.3.10
org.apache.hive hive-llap-common 2.3.10
org.apache.hive Hive-Serde 2.3.10
org.apache.hive хив-шимы 2.3.10
org.apache.hive hive-storage-api (интерфейс хранения данных Hive) 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.10
org.apache.hive.shims хив-шимс-коммон 2.3.10
org.apache.hive.shims планировщик hive-shims 2.3.10
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy плющ 2.5.3
org.apache.logging.log4j log4j-1.2-api 2.24.3
org.apache.logging.log4j log4j-api 2.24.3
org.apache.logging.log4j log4j-core 2.24.3
org.apache.logging.log4j log4j-layout-template-json (шаблон компоновки для log4j в формате JSON) 2.24.3
org.apache.logging.log4j log4j-slf4j2-impl 2.24.3
org.apache.orc орк-кор 2.1.1-shaded-protobuf
org.apache.orc Формат ORC 1.1.0-shaded-protobuf
org.apache.orc orc-mapreduce (орч-мапредьюс) 2.1.1-shaded-protobuf
org.apache.orc орк-шимы 2.1.1
org.apache.poi пои 5.4.1
org.apache.poi poi-ooxml 5.4.1
org.apache.poi poi-ooxml-full 5.4.1
org.apache.poi poi-ooxml-lite 5.4.1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.16.0
org.apache.ws.xmlschema xmlschema-core 2.3.1
org.apache.xbean xbean-asm9-shaded 4.26
org.apache.xmlbeans xmlbeans 5.3.0
org.apache.yetus аннотации для аудитории 0.13.0
org.apache.zookeeper смотритель зоопарка 3.9.3
org.apache.zookeeper Zookeeper-JUTE 3.9.3
org.checkerframework checker-qual 3.43.0
org.codehaus.janino commons-компилятор 3.0.16
org.codehaus.janino джанино 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core (ядро датануклеус) 4.1.17
org.datanucleus Datanucleus-RDBMS 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.53.v20231009
org.eclipse.jetty jetty-continuation (продолжение Jetty) 9.4.53.v20231009
org.eclipse.jetty «jetty-http» 9.4.53.v20231009
org.eclipse.jetty jetty-io 9.4.53.v20231009
org.eclipse.jetty jetty-jndi 9.4.53.v20231009
org.eclipse.jetty Jetty Plus 9.4.53.v20231009
org.eclipse.jetty jetty-proxy (джетти-прокси) 9.4.53.v20231009
org.eclipse.jetty защита пристани 9.4.53.v20231009
org.eclipse.jetty сервер Jetty 9.4.53.v20231009
org.eclipse.jetty jetty-servlet 9.4.53.v20231009
org.eclipse.jetty jetty-servlets 9.4.53.v20231009
org.eclipse.jetty джетти-ютил (jetty-util) 9.4.53.v20231009
org.eclipse.jetty jetty-util-ajax 9.4.53.v20231009
org.eclipse.jetty Jetty - веб-приложение 9.4.53.v20231009
org.eclipse.jetty jetty-xml 9.4.53.v20231009
org.eclipse.jetty.websocket WebSocket API 9.4.53.v20231009
org.eclipse.jetty.websocket websocket-клиент 9.4.53.v20231009
org.eclipse.jetty.websocket WebSocket-Common 9.4.53.v20231009
org.eclipse.jetty.websocket вебсокет-сервер 9.4.53.v20231009
org.eclipse.jetty.websocket websocket-servlet 9.4.53.v20231009
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 хк2-локатор 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 локатор ресурсов OSGi 1.0.3
org.glassfish.hk2.external «aopalliance-repackaged» 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers Jersey-container-servlet 2.41
org.glassfish.jersey.containers джерси-контейнер-сервлет-кор 2.41
org.glassfish.jersey.core jersey-client (джерси-клиент) 2.41
org.glassfish.jersey.core джерси-коммон 2.41
org.glassfish.jersey.core Джерси-сервер 2.41
org.glassfish.jersey.inject jersey-hk2 2.41
org.hibernate.validator гибернейт-валидатор 6.2.5.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging (логирование в JBoss) 3.4.1.Final
org.jdbi jdbi 2.63.1
org.jetbrains аннотации 17.0.0
org.jline джлайн 3.27.1-jdk8
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.13 4.0.7
org.json4s json4s-core_2.13 4.0.7
org.json4s json4s-jackson-core_2.13 4.0.7
org.json4s json4s-jackson_2.13 4.0.7
org.json4s json4s-scalap_2.13 4.0.7
org.lz4 lz4-java 1.8.0-databricks-1
org.mlflow mlflow-spark_2.13 2.9.1
org.objenesis Обдженесис 3,3
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 1.2.1
org.rocksdb rocksdbjni 9.8.4
org.rosuda.REngine РЭнджин 2.1.0
org.scala-lang scala-compiler_2.13 2.13.16
org.scala-lang scala-library_2.13 2.13.16
org.scala-lang scala-reflect_2.13 2.13.16
org.scala-lang.modules scala-collection-compat_2.13 2.11.0
org.scala-lang.modules scala-java8-compat_2.13 0.9.1
org.scala-lang.modules scala-parallel-collections_2.13 1.2.0
org.scala-lang.modules scala-parser-combinators_2.13 2.4.0
org.scala-lang.modules scala-xml_2.13 2.3.0
org.scala-sbt тестовый интерфейс 1.0
org.scalacheck scalacheck_2.13 1.18.0
org.scalactic scalactic_2.13 3.2.19
org.scalanlp breeze-macros_2.13 2.1.0
org.scalanlp breeze_2.13 2.1.0
org.scalatest совместимый с ScalaTest 3.2.19
org.scalatest scalatest-core_2.13 3.2.19
org.scalatest scalatest-diagrams_2.13 3.2.19
org.scalatest scalatest-featurespec_2.13 3.2.19
org.scalatest scalatest-flatspec_2.13 3.2.19
org.scalatest scalatest-freespec_2.13 3.2.19
org.scalatest scalatest-funspec_2.13 3.2.19
org.scalatest scalatest-funsuite_2.13 3.2.19
org.scalatest scalatest-matchers-core_2.13 3.2.19
org.scalatest scalatest-mustmatchers_2.13 3.2.19
org.scalatest scalatest-propspec_2.13 3.2.19
org.scalatest scalatest-refspec_2.13 3.2.19
org.scalatest scalatest-shouldmatchers_2.13 3.2.19
org.scalatest scalatest-wordspec_2.13 3.2.19
org.scalatest scalatest_2.13 3.2.19
org.slf4j jcl-over-slf4j (адаптер для JCL, работающий поверх SLF4J) 2.0.16
org.slf4j jul-to-slf4j 2.0.16
org.slf4j slf4j-api 2.0.16
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.8.0
org.tukaani хз 1.10
org.typelevel algebra_2.13 2.8.0
org.typelevel cats-kernel_2.13 2.8.0
org.typelevel spire-macros_2.13 0.18.0
org.typelevel spire-platform_2.13 0.18.0
org.typelevel spire-util_2.13 0.18.0
org.typelevel spire_2.13 0.18.0
org.wildfly.openssl wildfly-openssl 1.1.3.Окончательная
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml SnakeYAML 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 2.5.0-linux-x86_64
стекс stax-api 1.0.1

Подсказка

Чтобы ознакомиться с примечаниями к версиям Databricks Runtime, которые достигли окончания поддержки (EoS), см. Примечания к версиям Databricks Runtime с окончанием поддержки. Версии среды выполнения EoS Databricks устарели и могут не обновляться.

  • Last updated on