Поделиться через

Databricks Runtime 18.1

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 18.1.

Эта версия включает все функции, улучшения и исправления ошибок из всех предыдущих выпусков Databricks Runtime. Databricks выпустила эту версию в феврале 2026 года.

Изменения поведения

Ошибки метрик наблюдения больше не приводят к сбою запросов

Ошибки во время сбора метрик наблюдения больше не вызывают сбоев выполнения запроса. Ранее ошибки в OBSERVE предложениях (например, деление по нулю) могли блокировать или завершить весь запрос. Теперь запрос завершается успешно, и ошибка возникает при вызове observation.get.

Предложение FILTER для агрегатных функций MEASURE

Агрегатные функции MEASURE теперь поддерживают предложения FILTER. Ранее фильтры были незаметно игнорированы.

Оптимизированные операции записи для операций CRTAS каталога Unity

Операции СОЗДАНИЕ ИЛИ ЗАМЕНА TABLE AS SELECT (CRTAS) на разделённых таблицах каталога Unity теперь по умолчанию применяют оптимизированные записи. Чтобы отключить, установите значение spark.databricks.delta.optimizeWrite.UCTableCRTAS.enabledfalse.

Обновление кэша DataFrame для таблиц с мелкозернистым управлением доступом

Запись в детализированные таблицы управления доступом на выделенных вычислительных ресурсах теперь обновляет кэшированные фреймы данных, зависящие от таблицы.

Значения секций метки времени используют часовой пояс сеанса

Значения секций метки времени используют часовой пояс сеанса Spark вместо часового пояса JVM. Если у вас есть секции меток времени, созданные до Databricks Runtime 18.0, запустите SHOW PARTITIONS, чтобы проверить метаданные секций перед записью новых данных.

Зарезервированное ключевое слово DESCRIBE FLOW

Команда DESCRIBE FLOW теперь доступна. Если у вас есть таблица с именем flow, используйте DESCRIBE schema.flow, DESCRIBE TABLE flow, или DESCRIBE `flow` с обратными апострофами.

Пространственные SQL операции логического типа

ST_Difference, ST_Intersectionи ST_Union используйте новую реализацию со следующими улучшениями:

  • Допустимые входные геометрии всегда создают результат и больше не вызывают ошибок. Недопустимые входные данные не вызывают ошибок, но могут не создавать допустимые результаты.
  • Производительность приблизительно в 2 раза быстрее.
  • Результаты могут отличаться после 15-го десятичного разряда для пересечений сегментов линии из-за различных формул и порядка операций.
  • Результаты нормализуются для согласованных, сопоставимых выходных данных:
    • Точки сортируются по значениям координат.
    • Линии создаются из самых длинных возможных путей.
    • Круги многоугольников поворачиваются, поэтому первая точка имеет наименьшие значения координат.
  • Эта нормализация применяется во всех случаях, за исключением вызовов ST_Difference с двумя неперекрывающимися геометриями, где первая геометрия возвращается неизмененную.

Типы исключений для SQLSTATE

Типы исключений обновляются для поддержки SQLSTATE. Если код анализирует исключения по строковым сопоставлениям или перехватывает определенные типы исключений, обновите логику обработки ошибок.

Расширение типа автоматической потоковой передачи

Потоковое чтение таблиц Delta автоматически обрабатывает расширение типа столбца. Чтобы требовать подтверждение вручную, установите значение spark.databricks.delta.typeWidening.enableStreamingSchemaTrackingtrue.

Новые функции и улучшения

Автозагрузчик использует события файлов по умолчанию при наличии

Автозагрузчик использует события файлов по умолчанию при загрузке из внешнего расположения с включенными событиями файлов, что сокращает операции списка и затраты по сравнению с списком каталогов. См. Обзор автозагрузчика с событиями файлов. События файлов не используются, если ваш код потока устанавливает useIncrementalListing или useNotifications. Чтобы использовать список каталогов, установите useManagedFileEvents на false.

Оптимизированные записи для секционированных таблиц каталога Unity, созданных с помощью CRTAS

Оптимизированные записи применяются к секционированным таблицам каталога Unity, созданным CREATE OR REPLACE TABLE ... AS SELECT (CRTAS), создавая меньшее количество больших файлов. Это поведение включено по умолчанию. Чтобы отключить, установите значение spark.databricks.delta.optimizeWrite.UCTableCRTAS.enabledfalse.

Поддержка типа данных DATETIMEOFFSET для Microsoft Azure Synapse

Тип DATETIMEOFFSET данных поддерживается для подключений Microsoft Azure Synapse.

Комментарии к таблицам Google BigQuery

Описания таблиц Google BigQuery интерпретируются и выводятся как комментарии к таблице.

Эволюция схемы с INSERT инструкциями

Используйте условие WITH SCHEMA EVOLUTION с инструкциями SQL INSERT для автоматического изменения схемы целевой таблицы во время операций вставки. Предложение поддерживается для INSERT INTO, INSERT OVERWRITE, и INSERT INTO ... REPLACE форм. Рассмотрим пример.

INSERT WITH SCHEMA EVOLUTION INTO students TABLE visiting_students_with_additional_id;

Схема целевой таблицы Delta Lake обновляется, чтобы учесть дополнительные столбцы или расширенные типы из источника. Дополнительные сведения см. в эволюции схемы и синтаксисе INSERT инструкций.

Сохранённые значения структуры NULL в операциях INSERT

INSERT операции с эволюцией схемы или неявным приведением сохраняют NULL значения структуры, если исходные и целевые таблицы имеют разные порядки полей структуры.

Поддержка транзакций с несколькими операторами Delta Sharing

Таблицы Delta Sharing, использующие предварительно подписанный URL-адрес или режимы облачного доступа по токенам, поддерживают транзакции с несколькими инструкциями. При первом доступе в рамках транзакции версия таблицы фиксируется и используется повторно для всех последующих операций чтения в этой транзакции.

Limitations:

  • Перемещение во времени, источник данных изменений и потоковая передача не поддерживаются.
  • Транзакции с несколькими операторами не поддерживаются в разделяемых таблицах без истории.
  • Общие представления и внешние сущности не допускаются в ненадежной вычислительной среде.

Контрольные точки DataFrame в путях томов

Контрольные блоки DataFrame поддерживают пути к томам каталога Unity. Настройте путь контрольной точки, используя SparkContext.setCheckpointDir на выделенных вычислительных ресурсах или spark.checkpoint.dir конфигурацию на стандартных вычислениях.

Команды SQL больше не выполняются повторно при вызове кэша()

Команды SQL больше не выполняются повторно при вызове на результирующем DataFrame. К ним относятся такие команды, как SHOW TABLES и SHOW NAMESPACES.

функция parse_timestamp SQL

Функция SQL parse_timestamp анализирует строки метки времени с помощью нескольких шаблонов. Функция выполняется в подсистеме Photon для повышения производительности при синтаксическом анализе меток времени в нескольких форматах. Сведения о форматировании шаблонов даты и времени см. в шаблонах Datetime .

max_by и min_by с необязательным лимитом

Агрегатные функции max_by и min_by теперь принимают необязательный третий аргумент limit (до 100 000). При наличии, функции возвращают массив из до limit значений, соответствующих самым большим (или наименьшим) значениям выражения упорядочивания, упрощая запросы top-K и bottom-K без оконных функций или временных таблиц.

Векторные агрегатные и скалярные функции

Новые функции SQL работают с ARRAY<FLOAT> векторами для операций по встраиванию и вычислению схожести:

Агрегатные функции:

  • vector_avg. Возвращает среднее значение векторов элемента в группе.
  • vector_sum: возвращает элементную сумму векторов в группе.

Скалярные функции:

  • vector_cosine_similarity. Возвращает сходство косинуса двух векторов.
  • vector_inner_product: возвращает внутренний (точка) продукт двух векторов.
  • vector_l2_distance. Возвращает расстояние Евклиида (L2) между двумя векторами.
  • vector_norm: возвращает норму Lp вектора (1, 2 или бесконечность).
  • vector_normalize. Возвращает вектор, нормализованный в единицу длины.

См. встроенные функции.

Поддержка курсора SQL в составных инструкциях

Составные операторы сценариев SQL теперь поддерживают обработку курсоров. Используйте DECLARE CURSOR для определения курсора, затем OPEN, FETCH и CLOSE для выполнения запроса и обработки строк по одной. Курсоры могут использовать маркеры параметров и обработчики условий, например NOT FOUND для обработки строк по строкам.

Приблизительные функции эскиза top-k

Новые функции позволяют создавать и объединять приблизительные эскизы top-K для распределенной агрегации top-K:

Дополнительные сведения см. в разделе approx_top_k агрегатных функций и встроенных функций.

Функции наброска кортежей

Новые статистические и скалярные функции для эскизов кортежей поддерживают различные подсчет и агрегирование по парам сводки ключей.

Агрегатные функции:

Скалярные функции:

См. встроенные функции.

Пользовательские зависимости для определяемых пользователем табличных функций Python в каталоге Unity

Определяемые пользователем функции таблиц (UDTFs) Unity Catalog теперь могут использовать пользовательские зависимости для внешних библиотек, что позволяет использовать пакеты, выходящие за рамки доступных в среде выполнения Databricks. См. Расширение UDF с использованием настраиваемых зависимостей.

Новые геопространственные функции

Теперь доступны следующие геопространственные функции:

  • st_estimatesrid функция: оценивает лучший проецируемый идентификатор пространственной ссылки (SRID) для входной геометрии.
  • st_force2d функция: преобразует географию или геометрию в его 2D-представление.
  • st_nrings функция: подсчитывает общее количество колец в многоугольнике или мульти-многоугольнике, включая внешние и внутренние кольца.
  • st_numpoints функция: подсчитывает количество непустых точек в географическом или геометрическом объекте.

Поддержка фотона для геопространственных функций

Следующие геопространственные функции теперь выполняются в подсистеме Фотона для повышения производительности:

Обновления библиотек

В этой версии библиотеки не были обновлены.

Apache Spark

Databricks Runtime 18.1 включает Apache Spark 4.1.0. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 18.0, а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

  • SPARK-54316 Повторное применение [SC-213971] Консолидация groupPandasIterUDFSerializer с помощью GroupPandasUDFSerializer"
  • SPARK-54116 Отмена "[SC-213108][SQL] Добавление поддержки режима off-heap для LongHashedRelation
  • SPARK-55350 Исправление потери количества строк при создании DataFrame из pandas без столбцов
  • SPARK-55364 Сделать протокол SupportsIAdd и SupportsOrdering более разумным
  • SPARK-53656 Рефакторинг MemoryStream для использования SparkSession вместо SQLContext
  • SPARK-55472 Повышение AttributeError из методов, удаленных в pandas 3
  • SPARK-55224 Использование Spark DataType в качестве источника истины для сериализации Pandas-Arrow
  • SPARK-55402 Перемещение streamingSourceIdentifyingName из CatalogTable в DataSource
  • SPARK-55459 Исправлена трехкратная регрессия производительности в applyInPandas для больших групп
  • SPARK-55317 Добавление узла логического плана SequentialUnion и правила планирования
  • SPARK-55424 Явно укажите имя серии в convert_numpy
  • SPARK-55175 Извлечение to_pandas преобразователя из сериализаторов
  • SPARK-55304 Введение поддержки управления доступом и триггера. AvailableNow в источнике данных Python — потоковом ридере
  • SPARK-55382 Настроить Executor для ведения журнала Running Spark version
  • SPARK-55408 Обработка непредвиденных ошибок аргументов ключевых слов, связанных с датой и временем с pandas 3
  • SPARK-55345 Не передавайте единицу и закройте к Timedelta для pandas 3
  • SPARK-54759 Правильная защита логики в диспетчере переменных скриптов после введения курсора
  • SPARK-55409 Обработка непредвиденной ошибки аргумента ключевого слова из read_excel с pandas 3
  • SPARK-55403 Исправление ошибки в тестах построения графиков с использованием pandas 3
  • SPARK-55256 Отмена изменений "[SC-218596][SQL] Поддержка IGNORE NULLS / RESPECT NULLS для array_agg и collect_list"
  • SPARK-55256 Поддержка IGNORE NULLS / RESPECT NULLS для array_agg и collect_list
  • SPARK-55395 Отключение кэша RDD в DataFrame.zipWithIndex
  • SPARK-55131 Введение нового разделителя оператора слияния для RocksDB в пустую строку для объединения без разделителя
  • SPARK-55376 Сделать аргумент numeric_only в функциях groupby принимать только булевы значения начиная с pandas 3
  • SPARK-55334 Включить TimestampType и TimestampNTZType в convert_numpy
  • SPARK-55281 Добавление ipykernel и IPython в список необязательных пакетов mypy
  • SPARK-55336 Разрешить createDF использовать логику create_batch для развязывания
  • SPARK-55366 Удалить errorOnDuplicatedFieldNames из пользовательских функций Python (UDF)
  • SPARK-54759 Поддержка курсора сценариев SQL
  • SPARK-55302 Исправление пользовательских метрик в случае KeyGroupedPartitioning
  • SPARK-55228 Реализация Dataset.zipWithIndex в API Scala
  • SPARK-55373 Улучшение сообщения об ошибке noHandlerFoundForExtension
  • SPARK-55356 Поддержка псевдонимов для PIVOT
  • SPARK-55359 Повысить TaskResourceRequest до Stable
  • SPARK-55365 Унификация утилит для преобразования массива Arrow
  • SPARK-55106 Добавление интеграционного теста на переразбиение для операторов TransformWithState
  • SPARK-55086 Добавить DataSourceReader.pushFilters в документацию по API источников данных на Python
  • SPARK-46165 Поддержка DataFrame.all с параметром axis=None
  • SPARK-55289 Отмена "[SC-218749][SQL] Исправление сбоя в тесте in-set-operations.sql, используя отключение вещания соединения"
  • SPARK-55297 Восстановление типа данных timedelta на основе исходного типа данных
  • SPARK-55291 Предобработка заголовков метаданных во время создания перехватчика клиента
  • SPARK-55155 Повторное применение "[SC-218401][SQL] Поддержка выражений, способных к свертыванию, в инструкции SET CATALOG"
  • SPARK-55318 Оптимизация производительности для vector_avg/vector_sum
  • SPARK-55295 Расширение функции ST_GeomFromWKB для получения необязательного значения SRID
  • SPARK-55280 Добавить прототип GetStatus для поддержки мониторинга статуса выполнения
  • SPARK-54969 Реализация преобразования со стрелками-пандами>
  • SPARK-55176 Извлечение преобразователя arrow_to_pandas в ArrowArrayToPandasConversion
  • SPARK-55111 Отмена изменений "[SC-217817][SC-210791][SS] Незавершенное обнаружение перераспределения при перезапуске запроса"
  • SPARK-55252 Улучшить HttpSecurityFilter для добавления Content-Security-Policy заголовка
  • SPARK-55111 Обнаружение незавершенной переразбивки при перезапуске запроса
  • SPARK-55105 Добавление теста интеграции для оператора присоединения
  • SPARK-55260 Реализация поддержки записи Parquet для географических типов
  • SPARK-54523 Исправление разрешения по умолчанию во время отправки варианта
  • SPARK-55328 Повторное использование PythonArrowInput.codec в GroupedPythonArrowInput
  • SPARK-55246 Добавление теста для Pyspark TWS и TWSInPandas и исправление ошибки StatePartitionAllColumnFamiliesWriter
  • SPARK-55289 Исправление нестабильности теста in-set-operations.sql путем отключения broadcast join
  • SPARK-55040 Рефакторинг TaskContext и связанного с ним рабочего протокола с исправлением движка pyspark.
  • SPARK-47996 поддерживает перекрестное слияние в API pandas
  • SPARK-55031 Добавление выражений функции агрегирования вектора/суммы
  • SPARK-54410 Исправлена поддержка чтения заметки о варианте логического типа
  • SPARK-54776 Отмена "[SC-216482][SQL] Улучшено сообщение в журналах о лямбда-функции в SQL UDF"
  • SPARK-55123 Добавить SequentialUnionOffset для отслеживания последовательной обработки источника
  • SPARK-54972 Улучшение вложенных запросов NOT IN с помощью столбцов, не допускающих значения NULL
  • SPARK-54776 Улучшено сообщение журналов относительно лямбда-функции с помощью UDF SQL
  • SPARK-53807 Исправление проблем гонки между unlock и releaseAllLocksForTask в BlockInfoManager
  • SPARK-51831 Отмена "[SC-207389][SQL] Обрезка столбцов с existsJoin для Datasource V2"
  • SPARK-54881 Улучшить BooleanSimplification для обработки отрицания конъюнкции и дизъюнкции в одном проходе
  • SPARK-54696 Очистка буферов Arrow в Connect
  • SPARK-55009 Удаление ненужных копий памяти из конструктора LevelDBTypeInfo/RocksDBTypeInfo.Index
  • SPARK-54877 Сделать возможность настройки отображения стека трассировки на странице ошибок пользовательского интерфейса
  • SPARK-51831 Обрезка столбцов с помощью existsJoin для Datasource V2
  • SPARK-55285 Исправление инициализации PythonArrowInput
  • SPARK-53960 Обрабатывать approx_top_k_accumulate/сочетать/оценивать NULL-значения.
  • SPARK-55155 Отмена "[SC-218401][SQL] Поддержка свертываемых выражений в SET CATALOG операторе"
  • SPARK-55155 Поддержка поддающихся свертыванию выражений в выражении SET CATALOG
  • SPARK-49110 Отменить "[SC-218594][SQL] Упростить SubqueryAlias.metadataOutput для обеспечения постоянного распространения столбцов метаданных".
  • SPARK-54399 Реализация функции st_setsrid в Scala и PySpark
  • SPARK-49110 Упростить SubqueryAlias.metadataOutput для систематического распространения столбцов метаданных
  • SPARK-55133 Исправление состояния гонки в управлении жизненным циклом IsolatedSessionState
  • SPARK-55262 Блокировать географические типы данных во всех файловых источниках данных, кроме Parquet
  • SPARK-54202 Разрешить приведение из GeometryType(srid) в GeometryType(ANY)
  • SPARK-54142 Реализация функции st_srid в Scala и PySpark
  • SPARK-55237 Скрытие навязчивых сообщений при поиске несуществующих баз данных
  • SPARK-55040 Возврат "[SC-217628][PYTHON] Рефакторинг TaskContext и связанный рабочий протокол"
  • SPARK-55259 Реализация преобразования схемы Parquet для геотипов
  • SPARK-55282 Избегайте использования worker_util на стороне драйвера
  • SPARK-54151 Введение платформы для добавления функций ST в PySpark
  • SPARK-55194 Удаление groupArrowUDFSerializer путем перемещения плоской логики для сопоставления
  • SPARK-55020 Отключение gc при выполнении команды gRPC
  • SPARK-55053 Рефакторинг источников данных и анализа UDTF, чтобы они имели единую точку входа
  • SPARK-55040 Рефакторинг TaskContext и связанный с ним рабочий протокол
  • SPARK-55244 Используйте np.nan в качестве значения по умолчанию для типов строк pandas
  • SPARK-55225 Восстановление до исходного типа dtype для Datetime
  • SPARK-55154 Удалите быстрый путь в pd.Series для pandas 3
  • SPARK-55030 Добавление поддержки векторных норм и нормализованных выражений функций
  • SPARK-55202 Исправить UNEXPECTED_USE_OF_PARAMETER_MARKER при использовании параметра...
  • SPARK-54201 Разрешить приведение из GeographyType(srid) в GeographyType(ANY)
  • SPARK-54244 Добавление поддержки приведения типов для типов данных GEOMETRY
  • SPARK-54160 Реализация выражения ST_SetSrid в SQL
  • SPARK-55046 PySpark добавляет метрики времени обработки udf
  • SPARK-54101 Введение платформы для добавления функций ST в Scala
  • SPARK-54683 Объединение блокирующих типов гео и времени
  • SPARK-55249 Сделать DataFrame.toJSON способным возвращать кадр данных.
  • SPARK-54521 Добавить в WKB и из WKB для типа Geometry
  • SPARK-54162 Разрешить приведение из GeographyType в GeometryType
  • SPARK-55146 Повторная проверка перераспределения состояния API для PySpark
  • SPARK-55140 Не сопоставляйте встроенные функции с версией numpy для pandas 3
  • SPARK-54243 Введение поддержки приведения типов для типов данных GEOGRAPHY
  • SPARK-55058 Создание ошибки в несогласованных метаданных контрольной точки
  • SPARK-55108 Использование последних заглушек pandas для проверки типа
  • SPARK-54091 Реализация выражения ST_Srid в SQL
  • SPARK-55104 Добавление поддержки Spark Connect для DataStreamReader.name()
  • SPARK-54996 Отчет о времени прибытия записей из LowLatencyMemoryStream
  • SPARK-55118 Замена импорта с подстановочными знаками для ASM Opcodes.
  • SPARK-54365 Добавление интеграционного теста перераспределения для операторов агрегирования, дедупликации, FMGWS и SessionWindow
  • SPARK-55119 Исправление обработчика продолжения: предотвращение INTERNAL_ERROR и прерывания неправильных условных инструкций.
  • SPARK-54104 Запретить приведение геопространственных типов к другим типам данных
  • SPARK-55240 Рефакторинг обработки трассировки стека в LazyTry для использования обертки вместо подавляемого исключения.
  • SPARK-55238 Переместить логику сопоставления географических SRS из main/scala в main/java
  • SPARK-55179 Пропустить раннюю проверку имени столбца в df.col_name
  • SPARK-55055 Поддержка SparkSession.Builder.create для PySpark Classic
  • SPARK-55186 Обеспечить, чтобы ArrowArrayToPandasConversion.convert_legacy мог возвращать DataFrame Pandas
  • SPARK-54079 Введение платформы для добавления выражений ST в Catalyst
  • SPARK-54096 Поддержка сопоставления пространственной эталонной системы в PySpark
  • SPARK-54801 Пометьте несколько новых конфигураций 4.1 как внутренние
  • SPARK-55146 Отмена изменений "[SC-217936][SC-210779][SS] API для перераспределения состояния в PySpark"
  • SPARK-54559 Используйте runnerConf для передачи параметра профилировщика
  • SPARK-55205 Исправление тестов, в которых предполагается, что тип строки преобразуется в объект
  • SPARK-55171 Исправление профилировщика памяти на итераторе UDF
  • SPARK-55226 Распознавание даты, времени и временных интервалов с единицами, отличными от [ns]
  • SPARK-55027 Перемещение writeConf в PythonWorkerUtils
  • SPARK-55197 Извлечение _write_stream_start вспомогательного модуля для дедупликации логики сигнала START_ARROW_STREAM
  • SPARK-54179 Добавление нативной поддержки для скетчей кортежей Apache (#190848) (#191111)
  • SPARK-55151 Исправление объекта RocksDBSuite testWithStateStoreCheckpointIds
  • SPARK-55146 API перераспределения состояния для PySpark
  • SPARK-54232 Включение сериализации с использованием Arrow для типов данных Geography и Geometry
  • SPARK-53957 Поддержка GEOGRAPHY и GEOMETRY в системе SpatialReferenceSystemMapper
  • SPARK-55169 Используйте ArrowBatchTransformer.flatten_struct в ArrowStreamArrowUDTFSerializer
  • SPARK-55134 Исправить BasicExecutorFeatureStep чтобы вызывать IllegalArgumentException при неправильной конфигурации ЦП исполнителя
  • SPARK-54166 Введение кодировщиков типов для геопространственных типов в PySpark
  • SPARK-55138 Исправление convertToMapData вызовов NullPointerException
  • SPARK-55168 Использование ArrowBatchTransformer.flatten_struct в GroupArrowUDFSerializer
  • SPARK-55032 Рефакторинг профилировщиков в workers.py
  • SPARK-54990 Исправление реализации classproperty в session.py
  • SPARK-55076 Исправлена проблема с указанием типа в ml/mllib и добавлено требование scipy
  • SPARK-55162 Извлечение преобразователей из ArrowStreamUDFSerializer
  • SPARK-55121 Добавление DataStreamReader.name() в классический PySpark
  • SPARK-54169 Введение типов Geography и Geometry в записи Arrow
  • SPARK-51658 Введение форматов оболочки Geometry и Geography в памяти
  • SPARK-54110 Введение кодировщиков типов для типов Geography и Geometry
  • SPARK-54956 Объединение неопределенного решения повтора перетасовки
  • SPARK-55137 Рефакторинг кода GroupingAnalyticsTransformer и Analyzer
  • SPARK-54103 Знакомство с клиентскими классами Geography и Geometry
  • SPARK-55160 Прямая передача входной схемы сериализаторам
  • SPARK-55170 Извлечение шаблона чтения данных сгруппированного потока из сериализаторов
  • SPARK-55125 Удаление избыточных __init__ методов в сериализаторах Arrow
  • SPARK-55126 Удалить неиспользуемый часовой пояс и assign_cols_by_name из ArrowStreamArrowUDFSerializer
  • SPARK-54980 Преобразование уровня изоляции JDBC в строку
  • SPARK-55051 Строка байтов принимает KiB, MiB, GiB, TiB, PiB
  • SPARK-55025 Повышение производительности в pandas с помощью понимания списка
  • SPARK-46165 Добавьте поддержку pandas. DataFrame.all axis=1
  • SPARK-55037 Повторная реализация наблюдения без использования queryExecutionListener
  • SPARK-54965 Разделение устаревших компонентов pa.Array и преобразователь pd.Series
  • SPARK-55016 Сделать SQLConf прямым свойством SparkSession, чтобы предотвратить переполнение стека
  • SPARK-55091 Уменьшение вызовов RPC Hive для команды DROP TABLE
  • SPARK-55097 Исправление проблемы с повторным добавлением кэшированных артефактов, из-за чего блоки удаляются без уведомления
  • SPARK-55026 Оптимизировать BestEffortLazyVal.
  • SPARK-55091 Отмена изменений "[SC-217410][SQL] Уменьшить вызовы Hive RPC для команды DROP TABLE"
  • SPARK-54590 Поддержка контрольной точки V2 для перезаписи состояния и репартиционирования
  • SPARK-55016 Сделать SQLConf прямым свойством SparkSession, чтобы предотвратить переполнение стека
  • SPARK-55091 Уменьшение вызовов RPC Hive для команды DROP TABLE
  • SPARK-55016 Отменить изменения для "[SC-217401][SQL] Сделать SQLConf непосредственным свойством SparkSession во избежание переполнения стека"
  • SPARK-55016 Сделать SQLConf прямым свойством SparkSession, чтобы предотвратить переполнение стека
  • SPARK-55098 Векторизованные пользовательские функции с управлением размером выходного пакета приводят к сбою при утечке памяти
  • SPARK-54824 Добавление поддержки multiGet и deleteRange для Хранилища состояний Rocksdb
  • SPARK-55054 Добавление поддержки IDENTIFIED BY для функций потоковой передачи табличного значения
  • SPARK-55029 Передача имени идентификации источника потоковой передачи через конвейер разрешения
  • SPARK-55071 Обеспечить работу spark.addArtifact с путями Windows
  • SPARK-54103 Вернитесь на "[SC-210400][Geo][SQL] Введение клиентских классов Geography и Geometry"
  • SPARK-54103 Знакомство с клиентскими классами Geography и Geometry
  • SPARK-54033 Введение классов геопространственного выполнения на стороне сервера Catalyst
  • SPARK-54176 Общие сведения о типах данных Geography и Geometry в PySpark Connect
  • SPARK-55089 Исправлена схема выходных данных toJSON
  • SPARK-55035 Очистка после перемешивания в дочерних выполнениях
  • SPARK-55036 Добавление ArrowTimestampConversion для обработки часового пояса со стрелками
  • SPARK-54873 Упрощение разрешения V2TableReference, поскольку содержать его может только временное представление.
  • SPARK-52828 Создание хэширования для сортированных строк, независимого от порядка сортировки
  • SPARK-54175 Добавление типов Geography и Geometry в протокол Spark Connect
  • SPARK-54961 Представить GroupingAnalyticsTransformer
  • SPARK-550888 Сохранение метаданных в /from_arrow_type/schema
  • SPARK-55070 Разрешить скрытый столбец в разрешении столбцов кадра данных
  • SPARK-55044 Сохранение метаданных в ToArrowSchema/fromArrowSchema
  • SPARK-55043 Исправление перемещения по времени с помощью вложенных запросов, содержащих ссылки на таблицы
  • SPARK-54987 Измените значение по умолчанию prefer_timestamp_ntz на True from_arrow_type/from_arrow_schema
  • SPARK-54866 Рефакторизация Drop/RefreshFunction, чтобы избежать поиска каталога
  • SPARK-55024 Использование ошибки REQUIRES_SINGLE_PART_NAMESPACE для валидации пространства имен в сеансовом каталоге
  • SPARK-54992 Вместо приведения типа использовать проверку во время выполнения для make_timestamp
  • SPARK-55024 Отмена "[SC-216987][SQL] Используйте ошибку REQUIRES_SINGLE_PART_NAMESPACE для проверки пространства имен в каталоге сеанса".
  • SPARK-54866 Отмена изменения "[SC-216753][SQL] Рефакторинг Drop/RefreshFunction для избежания поиска в каталоге"
  • SPARK-55024 Использование ошибки REQUIRES_SINGLE_PART_NAMESPACE для валидации пространства имен в сеансовом каталоге
  • SPARK-54866 Рефакторизация Drop/RefreshFunction, чтобы избежать поиска каталога
  • SPARK-54991 Правильное указание типа для streaming/listener.py
  • SPARK-54925 Добавление возможности дампа потоков для pyspark
  • SPARK-54803 Поддержка ПО ИМЕНИ с INSERT ... ЗАМЕНА WHERE
  • SPARK-54785 Добавить поддержку агрегации двоичных эскизов в KLL (#188370) (#188860)
  • SPARK-54949 Перемещение pyproject.toml в корневой каталог репозитория
  • SPARK-54954 Исправление подсказок удаленного связанного типа в util.py
  • SPARK-54922 Объединение способов передачи аргументов в рабочие процессы Python
  • SPARK-54870 Поддержка сортировки для char/varchar и CTAS/RTAS
  • SPARK-54762 Исправление _create_converter и covert перегрузка сигнатуры
  • SPARK-55019 Разрешить DROP TABLE удалить ПРЕДСТАВЛЕНИЕ
  • SPARK-53103 Создает ошибку, если каталог состояния не пуст при запуске запроса
  • SPARK-54995 Создание быстрого пути для foreachPartition
  • SPARK-54634 Добавление ясного сообщения об ошибке для пустого предиката IN
  • SPARK-54984 Выполнение перераспределения состояния и интеграция с переписывателем состояния
  • SPARK-54443 Интеграция PartitionKeyExtractor в средство чтения повторной секции
  • SPARK-54907 Введение правила анализатора NameStreamingSources для эволюции источника потоковой передачи
  • SPARK-54609 Обновление конфигурации типа TIME для соответствия Open Source Software
  • SPARK-549888 Упрощение реализации ObservationManager.tryComplete
  • SPARK-54959 Отключение полного повторного выполнения при несоответствии контрольной суммы shuffle, если включена перетасовка на основе push-технологии
  • SPARK-54940 Добавьте тесты для вывода типа pa.scalar
  • SPARK-54634 Отменить "[SC-216478][SQL] Добавить четкое сообщение об ошибке для пустого предиката IN"
  • SPARK-54337 Добавление поддержки PyCapsule в Pyspark
  • SPARK-54634 Добавление ясного сообщения об ошибке для пустого предиката IN
  • SPARK-53785 Источник памяти для RTM
  • SPARK-54883 Очистка сообщений об ошибках для интерфейса командной строки и добавление нового режима отладки DEBUG
  • SPARK-54713 Добавление поддержки выражений функций векторного сходства и расстояния
  • SPARK-54962 Исправление обработки целых чисел, допускающих значение NULL, в UDF Pandas
  • SPARK-54864 Добавление узлов rCTE в NormalizePlan
  • SPARK-53847 Добавление функции ContinuousMemorySink для тестирования в режиме реального времени
  • SPARK-54865 Добавление метода foreachWithSubqueriesAndPruning в QueryPlan
  • SPARK-54930 Удаление избыточного вызова _accumulatorRegistry.clear() в worker.py
  • SPARK-54929 Исправить сброс taskContext._resources в цикле, из-за которого сохраняется только последний ресурс.
  • SPARK-54963createDataFrame Соблюдатьprefer_timestamp_ntz, когдаinfer_pandas_dict_as_map
  • SPARK-54920 Перемещение логики извлечения аналитики группирования в общий модуль GroupingAnalyticsExtractor
  • SPARK-54924 Перезапись состояния для чтения состояния, преобразования и записи нового состояния
  • SPARK-54872 Объединить обработку значений по умолчанию столбца между командами версии 1 и 2
  • SPARK-54905 Упрощение реализации foreachWithSubqueries в QueryPlan
  • SPARK-54682 Поддержка отображения параметров в команде DESCRIBE PROCEDURE
  • SPARK-54933 Следует избегать многократного получения конфигурации binary_as_bytes в toLocalIterator
  • SPARK-54872 Возврат "[SC-216260][SQL] Объединение значений столбца по умолчанию между командами версии 1 и 2"
  • SPARK-51936 ReplaceTableAsSelect должен перезаписать новую таблицу вместо добавления
  • SPARK-54771 Удаление правила ResolveUserSpecifiedColumns из RuleIdCollection
  • SPARK-54872 Объединить обработку значений по умолчанию столбца между командами версии 1 и 2
  • SPARK-54313 Добавление параметра --extra-properties-file для слоев конфигурации
  • SPARK-54468 Добавление отсутствующих классов ошибок
  • SPARK-46741 Таблица кэша с CTE должна корректно работать, когда CTE находится в подзапросе выражения плана
  • SPARK-46741 Таблица кэша с CTE не будет работать
  • SPARK-54615 Всегда передавать runner_conf в рабочий процесс Python
  • SPARK-53737 Добавление триггера режима реального времени
  • SPARK-54541 Переименовать _LEGACY_ERROR_TEMP_1007 и добавить SQLState
  • SPARK-54718 Сохранение имен атрибутов во время CTE newInstance()
  • SPARK-54621 Слияние в набор обновлений * сохраните вложенные поля, если ... coerceNestedTypes включен
  • SPARK-54595 Сохранить существующее MERGE INTO поведение без SCHEMA оператора EVOLUTION
  • SPARK-54903 Добавление возможности установки часового пояса для to_arrow_schema/to_arrow_type
  • SPARK-52326 Добавьте секции, связанные с событием ExternalCatalogEvent, и публикуйте их в соответствующих операциях.
  • SPARK-54541 Вернуть "[SC-215212][SQL] Переименовать _LEGACY_ERROR_TEMP_1007 и добавить sqlState"
  • SPARK-54578 Выполнение очистки кода в AssignmentUtils
  • SPARK-54830 Включить по умолчанию повторную попытку перетасовки на основе контрольной суммы, если она неопределенная
  • SPARK-54525 Отключение преобразования вложенных структур в MERGE INTO через конфигурацию
  • SPARK-53784 Дополнительные API-интерфейсы источника, необходимые для поддержки выполнения RTM
  • SPARK-54496 Исправление слияния с эволюцией схемы для API кадра данных
  • SPARK-54835 Избегайте ненужного временного выполнения запросов для выполнения вложенных команд
  • SPARK-54541 Переименовать _LEGACY_ERROR_TEMP_1007 и добавить SQLState
  • SPARK-54289 Разрешить MERGE INTO сохранять существующие поля структуры для UPDATESET *, если исходная структура имеет меньше вложенных полей, чем целевая структура
  • SPARK-54720 Добавление SparkSession.emptyDataFrame со схемой
  • SPARK-54800 Изменена реализация по умолчанию для isObjectNotFoundException
  • SPARK-54686 Ослабление проверок таблиц DSv2 в временных представлениях для разрешения добавления новых столбцов на верхнем уровне
  • SPARK-54619 Добавить проверку целесообразности для номеров конфигурации
  • SPARK-54726 Повышение производительности для InsertAdaptiveSparkPlan
  • SPARK-51966 Замените select.select() на select.poll() при выполнении в OS POSIX
  • SPARK-54749 Исправлена неправильная метрика numOutputRows в OneRowRelationExec
  • SPARK-54411 Введение перераспределяющего модуля записи с поддержкой multi-CF
  • SPARK-54835 Отменить "[SC-215823][SQL] Избегать ненужного временного QueryExecution для выполнения вложенных команд"
  • SPARK-54867 Введение оболочки NamedStreamingRelation для идентификации источника во время анализа
  • SPARK-54835 Избегайте ненужного временного выполнения запросов для выполнения вложенных команд
  • SPARK-54491 Исправление вставки в временное представление при сбое таблицы DSv2
  • SPARK-54871 Удаление псевдонимов из группирующих и агрегатных выражений перед выполнением анализа группировки
  • SPARK-51920 Исправлена обработка типов namedTuple для transfromWithState
  • SPARK-54526 Переименовать _LEGACY_ERROR_TEMP_1133 и добавить SQLState
  • SPARK-54424 Сбои во время повторного кэширования не должны приводить к сбою операций
  • SPARK-54894 Исправление передачи аргументов to_arrow_type
  • SPARK-53448 Преобразование pyspark DataFrame с столбцом Variant в pandas завершается ошибкой
  • SPARK-54882 Удаление устаревшего PYARROW_IGNORE_TIMEZONE
  • SPARK-54504 Исправление обновления версии для таблиц DSv2 с вложенными запросами
  • SPARK-54444 Ослабить проверки таблиц DSv2, чтобы восстановить предыдущее поведение
  • SPARK-54859 Справочная документация по умолчанию по API UDF PySpark в Arrow
  • SPARK-54387 Отмена изменений "[ES-1688666] Отмена изменений "[SC-212394][SQL] Исправление перекеширования таблиц DSv2""
  • Spark-54753 исправляет утечку памяти ArtifactManager
  • SPARK-54387 Отмена изменений "[SC-212394][SQL] Исправление повторного кэширования таблиц DSv2"
  • SPARK-54436 Исправление форматирования ошибок для несовместимых проверок метаданных таблицы
  • SPARK-54849 Обновление минимальной версии pyarrow до версии 18.0.0
  • SPARK-54022 Обеспечение осведомленности разрешения таблиц DSv2 о кэшированных таблицах
  • SPARK-54387 Исправление рекэширования таблиц DSv2
  • SPARK-53924 Обновлять таблицы DSv2 в представлениях, созданных с помощью планов, при каждом обращении к представлению
  • SPARK-54561 Поддержка точки останова() для run-tests.py
  • SPARK-54157 Исправление обновления таблиц DSv2 в наборе данных
  • SPARK-54830 Отмена "[CORE] Включение проверки контрольной суммы для недетерминированного повторного перетасовки по умолчанию"
  • SPARK-54861 Сброс имени потока задачи на IDLE_TASK_THREAD_NAME после завершения задачи
  • SPARK-54834 Добавление новых интерфейсов SimpleProcedure и SimpleFunction
  • SPARK-54760 ДелегированиеCatalogExtension в качестве каталога сеансов поддерживает функции V1 и V2
  • SPARK-54685 Удалить избыточные ответы наблюдаемых метрик
  • SPARK-54853 Всегда проверяйте hive.exec.max.dynamic.partitions на стороне Spark
  • SPARK-54840 Предварительное выделение OrcList
  • SPARK-54830 Включить по умолчанию повторную попытку перетасовки на основе контрольной суммы, если она неопределенная
  • SPARK-54850 Улучшить extractShuffleIds чтобы найти AdaptiveSparkPlanExec в любом месте дерева плана
  • SPARK-54843 выражение Try_to_number не работает для пустых строковых входных данных
  • SPARK-54556 Откат успешно завершенных этапов shuffle map при обнаружении несоответствия контрольной суммы shuffle
  • SPARK-54760 Возврат "[SC-215670][SQL] DelegatingCatalogExtension в качестве каталога сеансов поддерживает функции V1 и V2".
  • SPARK-54760 ДелегированиеCatalogExtension в качестве каталога сеансов поддерживает функции V1 и V2
  • SPARK-54818 TaskMemoryManager не удалось выделить память, необходимо зарегистрировать стек ошибок для проверки использования памяти.
  • SPARK-54827 Добавление вспомогательной функции TreeNode.containsTag
  • SPARK-54777 Возврат "[SC-215740][SQL] Изменена обработка ошибок dropTable в JDBCTableCatalog.dropTable(...)"
  • SPARK-54777 Изменена обработка ошибок dropTable в JDBCTableCatalog.dropTable(...)
  • SPARK-54817 Рефакторинг логики разрешения Unpivot на UnpivotTransformer
  • SPARK-54820 Сделать pandas_on_spark_type совместимым с numpy 2.4.0
  • SPARK-54799 Рефакторинг UnpivotCoercion
  • SPARK-54754 OrcSerializer не должен анализировать схему каждый раз при сериализации.
  • SPARK-54226 Расширить сжатие Apache Arrow для Pandas UDF
  • SPARK-54787 Используйте представление списка вместо циклов в pandas
  • SPARK-54690 Сделать Frame.__repr__ независимым от оптимизации стрелок
  • SPARK-46166 Реализация pandas.DataFrame.any с axis=None
  • SPARK-54696 Очистка буферов Arrow — последующие шаги
  • SPARK-54769 Удаление мертвого кода в conversion.py
  • SPARK-54787 Использование понимания списка в пандах _bool_column_labels
  • SPARK-54794 Подавление подробных FsHistoryProvider.checkForLogs журналов сканирования
  • SPARK-54782 Исправление версий конфигурации
  • SPARK-54781 Возврат сведений о кэше моделей в формате JSON
  • SPARK-54419 Средство чтения состояния "Автономное повторное развертывание" поддерживает семейства нескольких столбцов
  • SPARK-54722 Регистрация UDF для Pandas Grouped Iterative Aggregate для использования в SQL
  • SPARK-54762 Откат "[SC-215422][PYTHON] Исправление перегрузки сигнатур _create_converter и covert"
  • SPARK-54652 Отмена "[SC-215452][SQL] Завершение преобразования IDENTIFIER()"
  • SPARK-54762 Исправление _create_converter и covert перегрузка сигнатуры
  • SPARK-52819 Сделать KryoSerializationCodec сериализуемым для исправления ошибок java.io.NotSerializableException в различных вариантах использования
  • SPARK-54711 Добавление времени ожидания на подключение рабочего, созданного демоном
  • SPARK-54738 Добавить поддержку профилировщика для pandas grouped Iter Aggregate UDF
  • SPARK-54652 Полное преобразование IDENTIFIER()
  • SPARK-54581 Установка опции fetchsize без учета регистра для соединителя Postgres
  • SPARK-54589 Консолидация ArrowStreamAggPandasIterUDFSerializer в ArrowStreamAggPandasUDFSerializer
  • SPARK-41916 Распространитель факела: поддержка нескольких процессов факела для каждой задачи, если task.gpu.amount > 1
  • SPARK-54707 Рефакторинг основной логики разрешения в PIVOT
  • SPARK-54706 Обеспечение работы DistributedLDAModel с локальной файловой системой
  • SPARK-53616 Введение API итератора для агрегированных групповых UDF pandas
  • SPARK-54116 Добавление поддержки режима использования памяти вне кучи для LongHashedRelation
  • SPARK-54656 Рефакторинг SupportsPushDownVariants для интеграции с ScanBuilder как миксин
  • SPARK-54687 Добавить эталонный файл с пограничными случаями разрешения генераторов
  • SPARK-54708 Оптимизация очистки кэша машинного обучения с помощью отложенного создания каталога
  • SPARK-54116 Отмена "[SC-213108][SQL] Добавлена поддержка режима off-heap для LongHashedRelation"
  • SPARK-54116 Добавление поддержки режима использования памяти вне кучи для LongHashedRelation
  • SPARK-54443 Извлечение ключа раздела для всех операторов с состоянием потоковой передачи
  • SPARK-54687 Отмена "[SC-214791][SQL] Добавление золотого файла с пограничными вариантами разрешения генераторов"
  • SPARK-54116 Отмена "[SC-213108][SQL] Добавлена поддержка режима off-heap для LongHashedRelation"
  • SPARK-54687 Добавить эталонный файл с пограничными случаями разрешения генераторов
  • SPARK-54116 Добавление поддержки режима использования памяти вне кучи для LongHashedRelation
  • SPARK-54420 Введение автономного репартиментирования StatePartitionWriter для одного семейства столбцов
  • SPARK-54689 Сделать org.apache.spark.sql.pipelines внутренний пакет и сделать EstimatorUtils закрытым
  • SPARK-54673 Рефакторинг кода анализа синтаксиса SQL-пайпа для совместного использования
  • SPARK-54668 Добавить тесты для CTE в операторах с несколькими дочерними элементами
  • SPARK-54669 Удаление избыточного кастинга в rCTEs
  • SPARK-54587 Консолидация всего кода, связанного с runner_conf
  • SPARK-54628 Удаление всех ненужных явных аргументов super()
  • SPARK-54675 Добавление настраиваемого времени ожидания принудительного завершения работы для пула потоков обслуживания StateStore
  • SPARK-54639 Избегайте создания ненужных таблиц в сериализаторах со стрелками
  • SPARK-49635 Удалить предложение настроек ANSI в сообщениях об ошибках CAST
  • SPARK-54664 Очистка кода, связанного с listenerCacheconnect.StreamingQueryManager
  • SPARK-54640 Замените select.select на select.poll в UNIX
  • SPARK-54662 Добавление viztracer и debugpy в dev/requirements.txt
  • SPARK-54632 Добавьте параметр для использования ruff для линтинга
  • SPARK-54585 Исправлен откат хранилища состояний, когда поток находится в прерванном состоянии
  • SPARK-54172 Слияние в рамках схемной эволюции должно добавлять только ссылочные столбцы
  • SPARK-54438 Консолидация ArrowStreamAggArrowIterUDFSerializer в ArrowStreamAggArrowUDFSerializer
  • SPARK-54627 Удаление избыточных инициализаций в сериализаторах
  • SPARK-54631 Добавление поддержки профилировщика для Arrow Grouped Iter Aggregate UDF
  • SPARK-54316 Повторное использование [SC-213971][CORE][PYTHON][SQL] Консолидация GroupPandasIterUDFSerializer с GroupPandasUDFSerializer
  • SPARK-54392 Оптимизация взаимодействия JVM-Python для начального состояния TWS
  • SPARK-54617 Включение регистрации UDF для агрегированной итерации с группировкой Arrow в SQL
  • SPARK-54544 Активировать проверку flake8 F811
  • SPARK-54650 Перемещение int в десятичное преобразование в _create_converter_from_pandas
  • SPARK-54316 Отмена "[SC-213971][CORE][PYTHON][SQL] Консолидация GroupPandasIterUDFSerializer с GroupPandasUDFSerializer"
  • SPARK-53687 Введение WATERMARK предложения в инструкции SQL
  • SPARK-54316 Консолидация GroupPandasIterUDFSerializer с помощью GroupPandasUDFSerializer
  • SPARK-54598 Извлечение логики для чтения определяемых пользователем функций
  • SPARK-54622 Продвинуть RequiresDistributionAndOrdering и его необходимые интерфейсы в Evolving
  • SPARK-54624 Убедитесь, что имя пользователя в журнале будет экранировано
  • SPARK-54580 Рассмотрим Hive 4.1 в HiveVersionSuite и HiveClientImpl
  • SPARK-54068 Исправление to_feather для поддержки PyArrow 22.0.0
  • SPARK-54618 Повысить LocalScan до Stable
  • SPARK-54616 Пометить SupportsPushDownVariants как Experimental
  • SPARK-54607 Удаление неиспользуемого метода toStringHelper из AbstractFetchShuffleBlocks.java
  • SPARK-53615 Введение API итератора для сгруппированной агрегации с использованием Apache Arrow
  • SPARK-54608 Избегайте двойного кэширования преобразователя типов в UDTF
  • SPARK-54600 Не используйте pickle для сохранения и загрузки моделей в pyspark.ml.connect
  • SPARK-54592 Сделать estimatedSize закрытым
  • SPARK-54388 Введите StatePartitionReader, который сканирует необработанные байты для single ColFamily
  • SPARK-54570 Правильное распространение класса ошибок в Spark Connect
  • SPARK-54577 Оптимизация вызовов Py4J в выводе схемы
  • SPARK-54568 Избегайте ненужных преобразований pandas в создании кадра данных из ndarray
  • SPARK-54576 Добавить документацию для новых агрегатных функций, основанных на Datasketches
  • SPARK-54574 Повторное включение FPGrowth при подключении
  • SPARK-54557 Сравнение CSV/JSON/XmlOptions и CSV/JSON/XmlInferSchema
  • SPARK-52798 Добавление функции approx_top_k_combine
  • SPARK-54446 FPGrowth поддерживает локальную файловую систему с форматом файлов со стрелками
  • SPARK-54547 Переименование hostPort переменной host в TaskSchedulerImpl.(executorLost|logExecutorLoss) методах
  • SPARK-54558 Исправление внутреннего исключения при использовании обработчиков исключений без использования BEGIN/END
  • SPARK-52923 Позволить ShuffleManager управлять push-слиянием во время регистрации шаффла
  • SPARK-54474 Удаление XML-отчета о тестах, которые должны завершиться ошибкой
  • SPARK-54473 Добавление поддержки чтения и записи Avro для типа TIME
  • SPARK-54472 Добавление поддержки чтения и записи ORC для типа TIME
  • SPARK-54463 Добавление поддержки сериализации и десериализации CSV для типа TIME
  • SPARK-52588 Approx_top_k: накапливать и оценивать
  • SPARK-54461 Добавление поддержки сериализации и десериализации XML для типа TIME
  • SPARK-54451 Добавление поддержки сериализации и десериализации JSON для типа TIME
  • SPARK-54537 Исправление SparkConnectDatabaseMetaData getSchemas/getTables в каталогах, у которых отсутствует возможность работы с пространством имен
  • SPARK-54442 Добавление числовых функций преобразования для типа TIME
  • SPARK-54451 Отмена "[SC-212861][SQL] Добавление сериализации и десериализации JSON для типа TIME"
  • SPARK-54492 Переименовать _LEGACY_ERROR_TEMP_1201 и добавить sqlState
  • SPARK-54531 Представление ArrowStreamAggPandasUDFSerializer
  • SPARK-54223 Добавление контекста задач и метрик данных в журналы runner Python
  • SPARK-54272 Добавьте aggTime для SortAggregateExec
  • SPARK-53469 Возможность очистки смешения на сервере Thrift
  • SPARK-54219 Конфигурация поддержки spark.cleaner.referenceTracking.blocking.timeout
  • SPARK-54475 Добавить master-server, branch-4.0-client, Python 3.11
  • SPARK-54451 Добавление поддержки сериализации и десериализации JSON для типа TIME
  • SPARK-54285 Кэшировать сведения о часовом поясе, чтобы избежать дорогого преобразования меток времени
  • SPARK-49133 Сделать MemoryConsumer#used атомарным, чтобы избежать взаимоблокировки пользовательского кода
  • SPARK-46166 Реализация pandas.DataFrame.any с осью=1
  • SPARK-54532 Добавление поддержки sqlstate для PySparkException
  • Инициализация SPARK-54435 spark-pipelines должна избегать перезаписи существующего каталога
  • SPARK-54247 Явно закрыть сокет для util._load_from_socket

Поддержка драйверов ODBC и JDBC в Databricks

Databricks поддерживает драйверы ODBC/JDBC, выпущенные за последние 2 года. Скачайте недавно выпущенные драйверы и обновления (скачать ODBC, скачать JDBC).

Системная среда

  • Операционная система: Ubuntu 24.04.3 LTS
  • Java: Zulu21.42+19-CA
  • Scala: 2.13.16
  • Python: 3.12.3
  • R: 4.5.1
  • Delta Lake: 4.1.0

Установленные библиотеки Python

Библиотека Версия Библиотека Версия Библиотека Версия
aiohappyeyeballs 2.4.4 aiohttp 3.11.10 aiosignal 1.2.0
аннотированный документ 0.0.4 аннотированные типы 0.7.0 anyio 4.7.0
argon2-cffi 21.3.0 argon2-cffi-связки 21.2.0 arro3-core 0.6.5
стрела 1.3.0 асттокенс 3.0.0 астунпарс 1.6.3
async-lru 2.0.4 атрибуты 24.3.0 автоматическая команда 2.2.2
azure-common 1.1.28 azure-core 1.37.0 azure-identity 1.20.0
Платформа управления Azure (azure-mgmt-core) 1.6.0 azure-mgmt-web 8.0.0 azure-storage-blob (облако сохранения Azure) 12.28.0
хранилище файлов данных Azure Data Lake 12.22.0 Вавилон 2.16.0 backports.tarfile 1.2.0
beautifulsoup4 4.12.3 черный 24.10.0 отбеливатель 6.2.0
указатель поворота 1.7.0 boto3 1.40.45 botocore 1.40.45
инструменты для кэша 5.5.1 сертификат 2025.4.26 cffi 1.17.1
chardet 4.0.0 нормализатор кодировки 3.3.2 щелчок 8.1.8
Клаудпикл 3.0.0 коммуникация 0.2.1 Contourpy 1.3.1
криптография 44.0.1 велосипедист 0.11.0 Cython 3.1.5
databricks-агенты 1.9.1 databricks-sdk 0.67.0 dataclasses-json 0.6.7
dbus-python 1.3.2 debugpy 1.8.11 декоратор 5.1.1
defusedxml 0.7.1 deltalake 1.1.4 Deprecated 1.2.18
Дистлиб 0.3.9 Конвертация docstring в markdown 0.11 исполнение 1.2.0
Обзор аспектов 1.1.1 fastapi 0.128.0 fastjsonschema 2.21.1
файловая блокировка 3.17.0 шрифтовые инструменты 4.55.3 Полное доменное имя (FQDN) 1.5.1
замороженный список 1.5.0 fsspec 2023.5.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.28.1 google-auth (аутентификация от Google) 2.47.0
google-cloud-core (основной модуль Google Cloud) 2.5.0 облачное хранилище Google 3.7.0 google-crc32c 1.8.0
гугл-возобновляемые-медиа 2.8.0 googleapis-common-protos (общие протоколы googleapis) 1.65.0 grpcio 1.67.0
grpcio-status 1.67.0 h11 0.16.0 hf-xet 1.2.0
httpcore 1.0.9 httplib2 0.20.4 httpx 0.28.1
huggingface_hub 1.2.4 IDNA 3,7 importlib_metadata 8.5.0
склонять 7.3.1 iniconfig 1.1.1 ipyflow-core 0.0.209
ipykernel 6.29.5 ipython 8.30.0 ipython-genutils (утилиты для iPython) 0.2.0
ipywidgets 7.8.1 isodate (стандартная дата ISO) 0.7.2 изодурация 20.11.0
jaraco.collections 5.1.0 jaraco.context 5.3.0 jaraco.functools 4.0.1
jaraco.text 3.12.1 джедаи 0.19.2 Джинджа2 3.1.6
джиттер 0.12.0 jmespath 1.0.1 joblib 1.4.2
json5 0.9.25 jsonpatch 1.33 Джсонпоинтер (jsonpointer) 3.0.0
jsonschema (JSON-схема) 4.23.0 jsonschema-спецификации 2023.7.1 Jupyter-события 0.12.0
jupyter-lsp 2.2.5 клиент Jupyter 8.6.3 jupyter_core (ядро Jupyter) 5.7.2
Джупитер_сервер 2.15.0 терминалы_сервера_jupyter 0.5.3 jupyterlab 4.3.4
jupyterlab_pygments 0.3.0 jupyterlab_server (сервер для JupyterLab) 2.27.3 jupyterlab_widgets 1.1.11
Кивисолвер 1.4.8 langchain-core 1.2.6 langchain-openai 1.1.6
langsmith 0.6.1 launchpadlib 1.11.0 lazr.restfulclient 0.14.6
lazr.uri 1.0.6 litellm 1.75.9 markdown-it-py 2.2.0
MarkupSafe 3.0.2 зефир 3.26.2 matplotlib 3.10.0
матплотлиб-инлайн 0.1.7 МакКейб 0.7.0 mdurl 0.1.0
Мистун 3.1.2 mlflow-skinny (упрощённая версия пакета mlflow) 3.8.1 mmh3 5.2.0
more-itertools 10.3.0 msal 1.34.0 msal-extensions 1.3.1
мультидикт 6.1.0 mypy-extensions (расширения для mypy) 1.0.0 nbclient 0.10.2
Перекодировщик nbconvert 7.16.6 nbformat 5.10.4 nest-asyncio 1.6.0
nodeenv 1.10.0 notebook 7.3.2 ноутбук_шим 0.2.4
numpy (библиотека для работы с массивами и матрицами в Python) 2.1.3 OAuthlib 3.2.2 openai 2.14.0
opentelemetry-api 1.39.1 opentelemetry-proto 1.39.1 opentelemetry-sdk 1.39.1
cемантические соглашения opentelemetry 0.60b1 orjson 3.11.5 Переопределения 7.4.0
упаковка 24,2 Панды 2.2.3 пандокфильтры 1.5.0
Парсо 0.8.4 спецификация пути 0.10.3 простак 1.0.1
pexpect (библиотека Python для автоматизации взаимодействия с приложениями) 4.8.0 подушка 11.1.0 пит 25.0.1
Platformdirs 4.3.7 библиотека Plotly для визуализации данных 5.24.1 менеджер плагинов Pluggy 1.5.0
prometheus_client 0.21.1 prompt-toolkit (инструментарий подсказок) 3.0.43 кэш свойств 0.3.1
proto-plus 1.27.0 protobuf (протобуф) 5.29.4 psutil (пакет Python для работы с процессами и системами) 5.9.0
psycopg2 2.9.11 ptyprocess 0.7.0 пьюр-эвэл 0.2.2
pyarrow 21.0.0 pyasn1 0.4.8 pyasn1-modules 0.2.8
Пикколо 0.0.71 pycparser 2.21 pydantic (библиотека Python для валидации данных) 2.10.6
pydantic_core 2.27.2 pyflakes (аналитический инструмент для Python) 3.2.0 Пигменты 2.19.1
PyGObject 3.48.2 pyiceberg 0.10.0 PyJWT 2.10.1
pyodbc 5.2.0 pyparsing (библиотека для синтаксического анализа в Python) 3.2.0 pyright 1.1.394
пироаринг 1.0.3 pytest 8.3.5 python-dateutil (библиотека для работы с датами и временем в Python) Версия 2.9.0.post0
python-dotenv 1.2.1 python-json-logger (пакет для логирования JSON в Python) 3.2.1 python-lsp-jsonrpc 1.1.2
python-lsp-server (сервер Python LSP) 1.12.2 Pytoolconfig 1.2.6 pytz (библиотека Python для работы с часовыми поясами) 2024.1
PyYAML 6.0.2 pyzmq 26.2.0 Ссылки 0.30.2
regex 2024.11.6 Запросы 2.32.3 requests-toolbelt 1.0.0
rfc3339-валидатор 0.1.4 rfc3986-validator 0.1.1 богатый 13.9.4
верёвка 1.13.0 rpds-py 0.22.3 rsa 4.9.1
s3transfer 0.14.0 scikit-learn (библиотека машинного обучения) 1.6.1 scipy (библиотека Python) 1.15.3
мореборн 0.13.2 Send2Trash 1.8.2 setuptools (пакет для установки и управления Python-пакетами) 78.1.1
шеллингем 1.5.4 шесть 1.17.0 сммап 5.0.0
сниффио 1.3.0 отсортированные контейнеры 2.4.0 ситечко для супа 2.5
sqlparse 0.5.5 ssh-import-id (импортировать идентификатор SSH) 5.11 стековые данные 0.6.3
старлетка 0.50.0 strictyaml 1.7.3 упорство 9.0.0
закончено 0.17.1 Threadpoolctl 3.5.0 тиктокен 0.12.0
tinycss2 1.4.0 tokenize_rt 6.1.0 токенизаторы 0.22.2
томли 2.0.1 торнадо 6.5.1 tqdm 4.67.1
Трейтлеты 5.14.3 типгард 4.3.0 typer-slim 0.21.1
types-python-dateutil 2.9.0.20251115 ввод текста и проверка 0.9.0 typing_extensions (расширения для ввода текста) 4.12.2
tzdata 2024.1 ujson 5.10.0 автоматические обновления без участия пользователя 0,1
URI-шаблон 1.3.0 urllib3 2.3.0 uuid_utils 0.12.0
uvicorn 0.40.0 virtualenv 20.29.3 wadllib 1.3.6
wcwidth (ширина символа в Unicode) 0.2.5 webcolors 25.10.0 веб-энкодинги 0.5.1
websocket-клиент 1.8.0 чтоэто за патч 1.0.2 колесо 0.45.1
когда бы ни 0.7.3 widgetsnbextension 3.6.6 завёрнут 1.17.0
yapf (форматировщик Python кода) 0.40.2 ярл 1.18.0 ZIPP 3.21.0
zstandard 0.23.0

Установленные библиотеки R

Библиотеки R устанавливаются из снимка состояния CRAN диспетчера пакетов Posit от 20.11.2025.

Библиотека Версия Библиотека Версия Библиотека Версия
стрела 22.0.0 аскпасс 1.2.1 утверждать, что 0.2.1
обратные порты 1.5.0 основа 4.5.1 base64enc 0.1-3
bigD 0.3.1 кусочек 4.6.0 64-бит 4.6.0-1
bitops 1.0-9 комок 1.2.4 сапог 1.3-30
варить 1.0-10 жизнерадостность 1.1.5 метла 1.0.10
bslib 0.9.0 кашемир 1.1.0 звонящий 3.7.6
каретка 7.0-1 целлрейнджер 1.1.0 хронометр 2.3-62
класс 7.3-22 интерфейс командной строки (CLI) 3.6.5 клиппер 0.8.0
часы 0.7.3 кластер 2.1.6 codetools 0.2-20
коммонмарк 2.0.0 компилятор 4.5.1 config 0.3.2
испытывающий противоречивые чувства 1.2.0 cpp11 0.5.2 карандаш 1.5.3
credentials 2.0.3 завиток 7.0.0 таблица данных 1.17.8
Наборы данных 4.5.1 DBI 1.2.3 dbplyr 2.5.1
описание 1.4.3 средства разработки 2.4.6 Схема 1.6.5
diffobj 0.3.6 дайджест 0.6.39 направленное вниз освещение 0.4.5
dplyr (пакет для обработки данных в R) 1.1.4 dtplyr 1.3.2 e1071 1.7-16
многоточие 0.3.2 оценивать 1.0.5 фанаты 1.0.7
Цвета 2.1.2 фастмап 1.2.0 fontawesome 0.5.3
Forcats (форкатс) 1.0.1 foreach 1.5.2 иностранный 0.8-86
fs 1.6.6 будущее 1.68.0 будущее.применить 1.20.0
полоскать горло 1.6.0 Дженерики 0.1.4 Герт 2.2.0
ggplot2 4.0.1 gh 1.5.0 git2r 0.36.2
gitcreds 0.1.2 glmnet 4.1-10 глобальные переменные 0.18.0
клей 1.8.0 googledrive 2.1.2 googlesheets4 1.1.2
Говер 1.0.2 графика 4.5.1 grDevices 4.5.1
сеть 4.5.1 gridExtra 2.3 gsubfn 0.7
gt 1.1.0 гтабл 0.3.6 каска 1.4.2
убежище 2.5.5 выше 0.11 HMS 1.1.4
инструменты для HTML 0.5.8.1 HTML-виджеты 1.6.4 httpuv 1.6.16
httr 1.4.7 httr2 1.2.1 удостоверения личности 1.0.1
ini 0.3.1 ипред 0,9–15 изо-лента 0.2.7
Итераторы 1.0.14 jquerylib 0.1.4 jsonlite 2.0.0
сочный сок 0.1.0 KernSmooth 2,23-22 knitr (пакет для динамической генерации отчетов в языке программирования R) 1.50
маркирование 0.4.3 позже 1.4.4 решётка 0,22–5
лава 1.8.2 жизненный цикл 1.0.4 слушай 0.10.0
litedown 0.8 лубридейт 1.9.4 магриттр 2.0.4
Markdown 2.0 Масса 7.3-60.0.1 «Матрица» 1.6-5
Запоминание 2.0.1 методы 4.5.1 mgcv 1.9-1
mime 0,13 мини-интерфейс 0.1.2 mlflow 3.6.0
ModelMetrics 1.2.2.2 модельер 0.1.11 nlme 3.1-164
ннейронная сеть 7.3-19 numDeriv 2016.8-1.1 OpenSSL 2.3.4
otel 0.2.0 параллельный 4.5.1 параллельно 1.45.1
столб 1.11.1 пакджбилд 1.4.8 pkgconfig 2.0.3
pkgdown 2.2.0 пкглоад (pkgload) 1.4.1 Плогр 0.2.0
плайр 1.8.9 похвала 1.0.0 prettyunits 1.2.0
pROC 1.19.0.1 Processx 3.8.6 Prodlim 2025.04.28
profvis 0.4.0 прогресс 1.2.3 progressr 0.18.0
обещания 1.5.0 прото 1.0.0 прокси 0.4-27
п.с. 1.9.1 мурлыканье 1.2.0 Р6 2.6.1
ragg 1.5.0 randomForest (рандомФорест) 4.7-1.2 рэпдирс 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-3 Rcpp 1.1.0
RcppEigen 0.3.4.0.2 реактивный 0.4.4 ReactR 0.6.1
readr 2.1.6 readxl (пакет для чтения Excel-файлов) 1.4.5 Рецепты 1.3.1
реванш 2.0.0 реванш2 2.1.2 пульты дистанционного управления 2.5.0
репрекс 2.1.1 Изменить форму2 1.4.5 rlang 1.1.6
rmarkdown (инструмент для создания динамических документов в R) 2.30 RODBC 1.3-26 roxygen2 7.3.3
rpart (пакет для построения деревьев решений в языке программирования R) 4.1.23 rprojroot 2.1.1 Rserve (Рcерве) 1.8-15
RSQLite 2.4.4 рстудиоапи 0.17.1 rversions 3.0.0
Рвест 1.0.5 S7 0.2.1 дерзость 0.4.10
весы 1.4.0 селектор 0.4-2 информация о сессии 1.2.3
форма 1.4.6.1 блестящий 1.11.1 sourcetools 0.1.7-1
sparklyr 1.9.3 SparkR 4.1.0 Sparsevctrs 0.3.4
пространственный 7.3-17 Сплайны 4.5.1 SQLDF 0,4-11
SQUAREM январь 2021 статистика 4.5.1 статистика4 4.5.1
стринги 1.8.7 стрингр 1.6.0 выживание 3.5-8
самоуверенность и стильный вид 5.17.14.1 sys 3.4.3 systemfonts 1.3.1
язык программирования Tcl/Tk 4.5.1 testthat 3.3.0 форматирование текста 1.0.4
Tibble 3.3.0 Тидыр 1.3.1 tidyselect 1.2.1
tidyverse (тайдивёрс) 2.0.0 смена времени 0.3.0 ТаймДата 4051.111
tinytex 0.58 инструменты 4.5.1 База данных часовых зон (tzdb) 0.5.0
URL-чекер 1.0.1 используйэто 3.2.1 utf8 1.2.6
утилиты 4.5.1 UUID (Универсальный уникальный идентификатор) 1.2-1 V8 8.0.1
vctrs 0.6.5 viridisLite 0.4.2 брррм 1.6.6
Уолдо 0.6.2 ус 0.4.1 увядать 3.0.2
xfun 0.54 xml2 1.5.0 xopen 1.0.1
xtable 1.8-4 YAML 2.3.10 зилот 0.2.0
ZIP-архив 2.3.3

Установленные библиотеки Java и Scala (версия кластера Scala 2.13)

Идентификатор группы Идентификатор артефакта Версия
Антлер Антлер 2.7.7
com.amazonaws Клиент Amazon Kinesis 1.15.3
com.amazonaws aws-java-sdk-autoscaling (автоматическое масштабирование) 1.12.681
com.amazonaws aws-java-sdk-cloudformation 1.12.681
com.amazonaws aws-java-sdk-cloudfront 1.12.681
com.amazonaws aws-java-sdk-cloudhsm 1.12.681
com.amazonaws AWS Java SDK для CloudSearch 1.12.681
com.amazonaws aws-java-sdk-cloudtrail 1.12.681
com.amazonaws aws-java-sdk-cloudwatch 1.12.681
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.681
com.amazonaws aws-java-sdk-codedeploy (AWS Java SDK для CodeDeploy) 1.12.681
com.amazonaws aws-java-sdk-cognitoidentity 1.12.681
com.amazonaws aws-java-sdk-cognitosync 1.12.681
com.amazonaws Конфигурация SDK для Java от AWS 1.12.681
com.amazonaws aws-java-sdk-core 1.12.681
com.amazonaws aws-java-sdk-datapipeline (пакет для работы с Data Pipeline на Java) 1.12.681
com.amazonaws aws-java-sdk-directconnect 1.12.681
com.amazonaws aws-java-sdk-directory 1.12.681
com.amazonaws aws-java-sdk-dynamodb 1.12.681
com.amazonaws aws-java-sdk-ec2 1.12.681
com.amazonaws aws-java-sdk-ecs 1.12.681
com.amazonaws aws-java-sdk-efs 1.12.681
com.amazonaws aws-java-sdk-elasticache 1.12.681
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.681
com.amazonaws aws-java-sdk-elasticloadbalancing (пакет программного обеспечения для балансировки нагрузки в AWS, написанный на Java) 1.12.681
com.amazonaws aws-java-sdk-elastictranscoder (Java SDK для Elastic Transcoder) 1.12.681
com.amazonaws aws-java-sdk-emr 1.12.681
com.amazonaws aws-java-sdk-glacier (пакет программного обеспечения для работы с Glacier) 1.12.681
com.amazonaws aws-java-sdk-glue 1.12.681
com.amazonaws aws-java-sdk-iam 1.12.681
com.amazonaws aws-java-sdk-importexport (пакет для импорта и экспорта данных) 1.12.681
com.amazonaws aws-java-sdk-kinesis 1.12.681
com.amazonaws aws-java-sdk-kms (пакет программного обеспечения для работы с AWS KMS) 1.12.681
com.amazonaws aws-java-sdk-lambda 1.12.681
com.amazonaws aws-java-sdk-logs 1.12.681
com.amazonaws AWS Java SDK для машинного обучения 1.12.681
com.amazonaws aws-java-sdk-opsworks 1.12.681
com.amazonaws AWS Java SDK для RDS 1.12.681
com.amazonaws AWS Java SDK для Redshift 1.12.681
com.amazonaws aws-java-sdk-route53 1.12.681
com.amazonaws aws-java-sdk-s3 1.12.681
com.amazonaws aws-java-sdk-ses 1.12.681
com.amazonaws aws-java-sdk-simpledb 1.12.681
com.amazonaws aws-java-sdk-simpleworkflow 1.12.681
com.amazonaws aws-java-sdk-sns 1.12.681
com.amazonaws aws-java-sdk-sqs 1.12.681
com.amazonaws aws-java-sdk-ssm (AWS SDK для Java — SSM модуль) 1.12.681
com.amazonaws AWS Java SDK для Storage Gateway 1.12.681
com.amazonaws aws-java-sdk-sts 1.12.681
com.amazonaws Поддержка AWS Java SDK 1.12.681
com.amazonaws aws-java-sdk-workspaces 1.12.681
com.amazonaws jmespath-java 1.12.681
com.clearspring.analytics поток 2.9.8
com.databricks Rserve (Рcерве) 1.8-3
com.databricks SDK для Java от Databricks 0.53.0
com.databricks jets3t 0.7.1–0
com.databricks.scalapb scalapb-runtime_2.13 0.4.15-11
com.esotericsoftware криогенное затенение 4.0.3
com.esotericsoftware минлог 1.3.0
com.fasterxml одноклассник 1.5.1
com.fasterxml.jackson.core аннотации Джексона 2.18.2
com.fasterxml.jackson.core джексон-ядро 2.18.2
com.fasterxml.jackson.core джексон-databind 2.18.2
com.fasterxml.jackson.dataformat Джексон-формат-данных-CBOR 2.18.2
com.fasterxml.jackson.dataformat Джексон-датаформат-ЯМЛ 2.15.2
com.fasterxml.jackson.datatype джексон-дейтайп-джода 2.18.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.18.3
com.fasterxml.jackson.module джексон-модуль-паранэймер 2.18.2
com.fasterxml.jackson.module jackson-module-scala_2.13 2.18.2
com.github.ben-manes.caffeine кофеин 2.9.3
com.github.blemale scaffeine_2.13 4.1.0
com.github.fommil jniloader 1.1
com.github.fommil.netlib нативная_ссылка-java 1.1
com.github.fommil.netlib нативная_ссылка-java 1.1-коренные жители
com.github.fommil.netlib Нативная_система-java 1.1
com.github.fommil.netlib Нативная_система-java 1.1-коренные жители
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-коренные жители
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-коренные жители
com.github.luben zstd-jni 1.5.7-6
com.github.virtuald курвесапи 1,08
com.github.wendykierp JTransforms 3.1
com.google.api.grpc proto-google-common-protos 2.5.1
com.google.auth google-auth-library-учетные данные 1.20.0
com.google.auth google-auth-library-oauth2-http 1.20.0
com.google.auto.value автоматические аннотации значений 1.10.4
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson Gson 2.11.0
com.google.crypto.tink тинк 1.16.0
com.google.errorprone ошибкоопасные аннотации 2.36.0
com.google.flatbuffers flatbuffers-java 25.2.10
com.google.guava ошибка доступа 1.0.3
com.google.guava гуава 33.4.8-jre
com.google.http-client google-http-client 1.43.3
com.google.http-client google-http-client-gson 1.43.3
com.google.j2objc j2objc-аннотации 3.0.0
com.google.protobuf protobuf-java 3.25.5
com.google.protobuf protobuf-java-util 3.25.5
com.helger Профилировщик 1.1.1
com.ibm.icu icu4j 75.1
com.jcraft jsch 0.1.55
com.lihaoyi sourcecode_2.13 0.1.9
com.microsoft.azure azure-data-lake-store-sdk (SDK для Azure Data Lake Store) 2.3.10
com.microsoft.sqlserver mssql-jdbc 12.8.0.jre11
com.microsoft.sqlserver mssql-jdbc 12.8.0.jre8
com.ning compress-lzf (метод сжатия данных) 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning JSON (формат обмена данными JavaScript) 1.8
com.thoughtworks.paranamer Паранэймер 2.8
com.trueaccord.lenses лензы_2.13 0.4.13
com.twitter chill-java 0.10.0
com.twitter chill_2.13 0.10.0
com.twitter util-app_2.13 19.8.1
com.twitter util-core_2.13 19.8.1
com.twitter util-function_2.13 19.8.1
com.twitter util-jvm_2.13 19.8.1
com.twitter util-lint_2.13 19.8.1
com.twitter util-registry_2.13 19.8.1
com.twitter util-stats_2.13 19.8.1
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.13 3.9.2
com.uber h3 3.7.3
com.univocity юнивосити-парсерс 2.9.1
com.zaxxer ХикариCP 4.0.3
com.zaxxer СпарсБитСет 1.3
commons-cli commons-cli 1.10.0
commons-codec commons-codec 1.19.0
общие коллекции общие коллекции 3.2.2
commons-dbcp commons-dbcp 1.4
загрузка файлов через модуль commons загрузка файлов через модуль commons 1.6.0
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.21.0
commons-lang commons-lang 2.6
коммонс-логгинг коммонс-логгинг 1.1.3
коммонс-пул коммонс-пул 1.5.4
dev.ludovic.netlib arpack 3.0.4
dev.ludovic.netlib Блас 3.0.4
dev.ludovic.netlib LAPACK (программная библиотека для линейной алгебры) 3.0.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift компрессор воздуха 2.0.2
io.delta delta-sharing-client_2.13 1.3.9
io.dropwizard.metrics аннотирование метрик 4.2.37
io.dropwizard.metrics основные метрики 4.2.37
io.dropwizard.metrics «metrics-graphite» 4.2.37
io.dropwizard.metrics Метрики-Чек здоровья 4.2.37
io.dropwizard.metrics метрики-jetty10 4.2.37
io.dropwizard.metrics Метрики-JMX 4.2.37
io.dropwizard.metrics metrics-json 4.2.37
io.dropwizard.metrics метрики для JVM 4.2.37
io.dropwizard.metrics метрики и сервлеты 4.2.37
io.github.java-diff-utils java-diff-utils 4.15
io.netty netty-all (все пакеты netty) 4.2.7.Final
io.netty буфер Netty 4.2.7.Final
io.netty netty-codec (кодек Netty) 4.2.7.Final
io.netty netty-codec-base 4.2.7.Final
io.netty netty-codec-classes-quic 4.2.7.Final
io.netty netty-codec-compression 4.2.7.Final
io.netty netty-codec-http 4.2.7.Final
io.netty netty-codec-http2 4.2.7.Final
io.netty netty-codec-http3 4.2.7.Final
io.netty netty-codec-маршаллинг 4.2.7.Final
io.netty netty-codec-native-quic 4.2.7.Final-linux-aarch_64
io.netty netty-codec-native-quic 4.2.7.Final-linux-x86_64
io.netty netty-codec-native-quic 4.2.7.Final-osx-aarch_64
io.netty netty-codec-native-quic 4.2.7.Final-osx-x86_64
io.netty netty-codec-native-quic 4.2.7.Final-windows-x86_64
io.netty netty-codec-protobuf 4.2.7.Final
io.netty netty-codec-socks 4.2.7.Final
io.netty нетти-общий 4.2.7.Final
io.netty нетти-хэндлер 4.2.7.Final
io.netty нетти-обработчик-прокси 4.2.7.Final
io.netty Netty-резолвер 4.2.7.Final
io.netty netty-tcnative-boringssl-static 2.0.74.Final-db-r0-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.74.Final-db-r0-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.74.Final-db-r0-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.74.Final-db-r0-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.74.Final-db-r0-windows-x86_64
io.netty netty-tcnative-classes (классы netty-tcnative) 2.0.74.Final
io.netty netty-transport 4.2.7.Final
io.netty netty-transport-classes-epoll 4.2.7.Final
io.netty netty-transport-classes-io_uring 4.2.7.Final
io.netty netty-transport-classes-kqueue 4.2.7.Final
io.netty netty-transport-native-epoll 4.2.7.Final
io.netty netty-transport-native-epoll 4.2.7.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.2.7.Final-linux-riscv64
io.netty netty-transport-native-epoll 4.2.7.Final-linux-x86_64
io.netty netty-transport-native-io_uring 4.2.7.Final-linux-aarch_64
io.netty netty-transport-native-io_uring 4.2.7.Final-linux-riscv64
io.netty netty-transport-native-io_uring 4.2.7.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.2.7.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.2.7.Final-osx-x86_64
io.netty нетти-транспорт-натив-уникс-коммон 4.2.7.Final
io.opencensus opencensus-api 0.31.1
io.opencensus opencensus-contrib-http-util 0.31.1
io.prometheus simpleclient 0.16.1-databricks
io.prometheus простыйклиент_общий 0.16.1-databricks
io.prometheus Симплклиент_дропвизард 0.16.1-databricks
io.prometheus simpleclient_pushgateway 0.16.1-databricks
io.prometheus simpleclient_servlet 0.16.1-databricks
io.prometheus simpleclient_servlet_common 0.16.1-databricks
io.prometheus simpleclient_tracer_common 0.16.1-databricks
io.prometheus simpleclient_tracer_otel 0.16.1-databricks
io.prometheus simpleclient_tracer_otel_agent 0.16.1-databricks
io.prometheus.jmx коллекционер 0.18.0
jakarta.annotation jakarta.annotation-api (аннотация API Джакарты) 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation активация 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.media jai_core jai_core_dummy
javax.transaction джта 1.1
javax.transaction интерфейс транзакций 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
джлайн джлайн 2.14.6
joda-time joda-time 2.14.0
net.java.dev.jna джна 5.8.0
net.razorvine рассол 1.5
net.sf.jpam джпам 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv — инструмент для работы с CSV файлами 2.2.0
net.snowflake snowflake-ingest-sdk (SDK для обработки данных Snowflake) 0.9.6
net.sourceforge.f2j арпак_комбинированный_все 0,1
org.acplt.remotetea «remotetea-oncrpc» 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.13.1
org.antlr шаблон строки 3.2.1
org.apache.ant муравей 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow Сжатие со стрелками 18.3.0
org.apache.arrow формат стрелок 18.3.0
org.apache.arrow ядро памяти Arrow 18.3.0
org.apache.arrow арроу-мемори-нетти 18.3.0
org.apache.arrow стрелка-память-netty-buffer-patch 18.3.0
org.apache.arrow вектор стрелки 18.3.0
org.apache.avro Авро 1.12.1
org.apache.avro avro-ipc 1.12.1
org.apache.avro avro-mapred 1.12.1
org.apache.commons commons-collections4 4.5.0
org.apache.commons Коммонс-компресс 1.28.0
org.apache.commons commons-configuration2 2.11.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.19.0
org.apache.commons коммонс-матх3 3.6.1
org.apache.commons Общедоступный текст 1.14.0
org.apache.curator куратор-клиент 5.9.0
org.apache.curator кураторский фреймворк 5.9.0
org.apache.curator куратор рецептов 5.9.0
org.apache.datasketches datasketches-java 6.2.0
org.apache.datasketches Датаскетчес-мемори 3.0.2
org.apache.derby дерби 10.14.2.0
org.apache.hadoop среда выполнения hadoop-клиента 3.4.2
org.apache.hive hive-beeline (инструмент командной строки для работы с Apache Hive) 2.3.10
org.apache.hive hive-cli 2.3.10
org.apache.hive hive-jdbc 2.3.10
org.apache.hive hive-llap-client 2.3.10
org.apache.hive hive-llap-common 2.3.10
org.apache.hive Hive-Serde 2.3.10
org.apache.hive хив-шимы 2.3.10
org.apache.hive hive-storage-api (интерфейс хранения данных Hive) 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.10
org.apache.hive.shims хив-шимс-коммон 2.3.10
org.apache.hive.shims планировщик hive-shims 2.3.10
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy плющ 2.5.3
org.apache.logging.log4j log4j-1.2-api 2.24.3
org.apache.logging.log4j log4j-api 2.24.3
org.apache.logging.log4j log4j-core 2.24.3
org.apache.logging.log4j log4j-layout-template-json (шаблон компоновки для log4j в формате JSON) 2.24.3
org.apache.logging.log4j log4j-slf4j2-impl 2.24.3
org.apache.orc орк-кор 2.2.0-shaded-protobuf
org.apache.orc Формат ORC 1.1.1-shaded-protobuf
org.apache.orc orc-mapreduce (орч-мапредьюс) 2.2.0-shaded-protobuf
org.apache.orc орк-шимы 2.2.0
org.apache.poi пои 5.4.1
org.apache.poi poi-ooxml 5.4.1
org.apache.poi poi-ooxml-full 5.4.1
org.apache.poi poi-ooxml-lite 5.4.1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.16.0
org.apache.ws.xmlschema xmlschema-core 2.3.1
org.apache.xbean xbean-asm9-shaded 4.28
org.apache.xmlbeans xmlbeans 5.3.0
org.apache.yetus аннотации для аудитории 0.13.0
org.apache.zookeeper смотритель зоопарка 3.9.4
org.apache.zookeeper Zookeeper-JUTE 3.9.4
org.checkerframework checker-qual 3.43.0
org.codehaus.janino commons-компилятор 3.0.16
org.codehaus.janino джанино 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core (ядро датануклеус) 4.1.17
org.datanucleus Datanucleus-RDBMS 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-alpn-client 10.0.26
org.eclipse.jetty jetty-client 10.0.26
org.eclipse.jetty «jetty-http» 10.0.26
org.eclipse.jetty jetty-io 10.0.26
org.eclipse.jetty jetty-jndi 10.0.26
org.eclipse.jetty Jetty Plus 10.0.26
org.eclipse.jetty jetty-proxy (джетти-прокси) 10.0.26
org.eclipse.jetty защита пристани 10.0.26
org.eclipse.jetty сервер Jetty 10.0.26
org.eclipse.jetty jetty-servlet 10.0.26
org.eclipse.jetty jetty-servlets 10.0.26
org.eclipse.jetty джетти-ютил (jetty-util) 10.0.26
org.eclipse.jetty Jetty - веб-приложение 10.0.26
org.eclipse.jetty jetty-xml 10.0.26
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 хк2-локатор 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 локатор ресурсов OSGi 1.0.3
org.glassfish.hk2.external «aopalliance-repackaged» 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers Jersey-container-servlet 2.41
org.glassfish.jersey.containers джерси-контейнер-сервлет-кор 2.41
org.glassfish.jersey.core jersey-client (джерси-клиент) 2.41
org.glassfish.jersey.core джерси-коммон 2.41
org.glassfish.jersey.core Джерси-сервер 2.41
org.glassfish.jersey.inject jersey-hk2 2.41
org.hibernate.validator гибернейт-валидатор 6.2.5.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging (логирование в JBoss) 3.4.1.Final
org.jdbi jdbi 2.63.1
org.jline джлайн 3.27.1-jdk8
org.joda joda-convert 1.7
org.json4s json4s-ast_2.13 4.0.7
org.json4s json4s-core_2.13 4.0.7
org.json4s json4s-jackson-core_2.13 4.0.7
org.json4s json4s-jackson_2.13 4.0.7
org.json4s json4s-scalap_2.13 4.0.7
org.locationtech.jts jts-core 1.20.0
org.lz4 lz4-java 1.8.0-databricks-1
org.mlflow mlflow-spark_2.13 2.22.1
org.objenesis Обдженесис 3.4
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 1.2.1
org.rocksdb rocksdbjni 9.8.4
org.rosuda.REngine РЭнджин 2.1.0
org.scala-lang scala-compiler_2.13 2.13.16
org.scala-lang scala-library_2.13 2.13.16
org.scala-lang scala-reflect_2.13 2.13.16
org.scala-lang.modules scala-collection-compat_2.13 2.11.0
org.scala-lang.modules scala-java8-compat_2.13 0.9.1
org.scala-lang.modules scala-parallel-collections_2.13 1.2.0
org.scala-lang.modules scala-parser-combinators_2.13 2.4.0
org.scala-lang.modules scala-xml_2.13 2.4.0
org.scala-sbt тестовый интерфейс 1.0
org.scalacheck scalacheck_2.13 1.18.0
org.scalactic scalactic_2.13 3.2.19
org.scalanlp breeze-macros_2.13 2.1.0
org.scalanlp breeze_2.13 2.1.0
org.scalatest совместимый с ScalaTest 3.2.19
org.scalatest scalatest-core_2.13 3.2.19
org.scalatest scalatest-diagrams_2.13 3.2.19
org.scalatest scalatest-featurespec_2.13 3.2.19
org.scalatest scalatest-flatspec_2.13 3.2.19
org.scalatest scalatest-freespec_2.13 3.2.19
org.scalatest scalatest-funspec_2.13 3.2.19
org.scalatest scalatest-funsuite_2.13 3.2.19
org.scalatest scalatest-matchers-core_2.13 3.2.19
org.scalatest scalatest-mustmatchers_2.13 3.2.19
org.scalatest scalatest-propspec_2.13 3.2.19
org.scalatest scalatest-refspec_2.13 3.2.19
org.scalatest scalatest-shouldmatchers_2.13 3.2.19
org.scalatest scalatest-wordspec_2.13 3.2.19
org.scalatest scalatest_2.13 3.2.19
org.slf4j jcl-over-slf4j (адаптер для JCL, работающий поверх SLF4J) 2.0.16
org.slf4j jul-to-slf4j 2.0.16
org.slf4j slf4j-api 2.0.16
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.8.0
org.tukaani хз 1,10
org.typelevel algebra_2.13 2.8.0
org.typelevel cats-kernel_2.13 2.8.0
org.typelevel spire-macros_2.13 0.18.0
org.typelevel spire-platform_2.13 0.18.0
org.typelevel spire-util_2.13 0.18.0
org.typelevel spire_2.13 0.18.0
org.wildfly.openssl wildfly-openssl 1.1.3.Окончательная
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml SnakeYAML 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 2.5.0-linux-x86_64
стекс stax-api 1.0.1
  • Last updated on