Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
Замечание
Поддержка этой версии databricks Runtime закончилась. Сведения о дате окончания поддержки см. в журнале завершения поддержки. Все поддерживаемые версии среды выполнения Databricks см. в заметках о выпуске Databricks Runtime и совместимости.
В следующих заметках о выпуске содержатся сведения о Databricks Runtime 16.2, на базе Apache Spark 3.5.2.
Databricks выпустила эту версию в феврале 2025 года.
Изменения поведения
АНАЛИЗ теперь пропускает colums с неподдерживаемых типов
ANALYZE TABLE больше не приводит к возникновению сообщения об ошибке при запуске в таблице с неподдерживаемых типов, например ARRAY или MAP. Неподдерживаемые столбцы теперь пропускаются автоматически. Пользователи, которые реализовали логику, которая ожидает, что эти ошибки должны обновить свой код.
В Delta Sharing история таблиц включена по умолчанию
Общие папки, созданные с помощью команды SQL, ALTER SHARE <share> ADD TABLE <table> теперь имеют общий доступ к журналу (WITH HISTORY) по умолчанию. См. ALTER SHARE.
Инструкции CREDENTIAL SQL возвращают ошибку при несоответствии типа учетных данных
В этом выпуске, если тип учетных данных, указанный в инструкции SQL для управления учетными данными, не соответствует типу аргумента учетных данных, возвращается ошибка, и инструкция не выполняется. Например, для инструкции DROP STORAGE CREDENTIAL 'credential-name', если credential-name не является учетными данными хранения, инструкция завершается ошибкой.
Это изменение позволяет предотвратить ошибки пользователей. Ранее эти операции успешно выполнялись, даже если передавались учетные данные, не соответствующие указанному типу учетных данных. Например, следующая инструкция успешно удаляет storage-credential: DROP SERVICE CREDENTIAL storage-credential.
Это изменение влияет на следующие утверждения:
- DROP CREDENTIAL
- ALTER CREDENTIAL
- DESCRIBE CREDENTIAL
- GRANT... НА ... УЧЕТНЫЕ ДАННЫЕ
- REVOKE... НА ... УЧЕТНЫЕ ДАННЫЕ
- SHOW GRANTS ON...УЧЕТНЫЕ ДАННЫЕ
Новые функции и внесенные улучшения
-
Создание пользовательских приложений с отслеживанием состояния с помощью
transformWithState - Проверка подлинности в облачном хранилище объектов с помощью учетных данных службы
- Управляемый каталогом Unity доступ к внешним облачным службам с использованием учетных данных службы теперь стал общедоступным
- Записные книжки поддерживаются как файлы рабочей области
-
Использование выражений
timestampdiffсозданных столбцов и вtimestampaddней - Поддержка синтаксиса конвейера SQL
-
Создание HTTP-запроса с помощью
http_requestфункции -
Обновление для
DESCRIBE TABLEвозврата метаданных в виде структурированного JSON - Конечные пустые нечувствительные параметры сортировки
- Преобразование таблиц Apache Iceberg с секционированием контейнеров в неспарационные разностные таблицы
-
Стандартный режим доступа (ранее общий режим доступа) теперь поддерживает методы
foreachSpark Scala иforeachBatchflatMapGroupsWithState
Создание пользовательских приложений с отслеживанием состояния с помощью transformWithState
Теперь вы можете использовать transformWithState и связанные API для реализации пользовательских приложений с отслеживанием состояния в рамках структурированных запросов потоковой передачи. См. статью "Создание настраиваемого приложения с отслеживанием состояния".
Проверка подлинности в облачном хранилище объектов с помощью учетных данных службы
Теперь можно использовать учетные данные службы Databricks для проверки подлинности в облачном хранилище объектов с помощью автозагрузчика. См. статью "Настройка потоков автозагрузчика" в режиме уведомлений о файлах.
Управляемый каталогом Unity доступ к внешним облачным службам с использованием учетных данных службы теперь является общедоступной
Учетные данные службы обеспечивают простую и безопасную проверку подлинности со службами вашего облачного клиента из Azure Databricks. При использовании Databricks Runtime 16.2 учетные данные службы общедоступны и теперь поддерживают пакеты SDK Scala, а также пакет SDK для Python, поддерживаемый в общедоступной предварительной версии. См. статью "Создание учетных данных службы".
Записные книжки поддерживаются как файлы рабочей области
В Databricks Runtime 16.2 и более поздних версиях записные книжки поддерживаются как файлы рабочей области. Теперь вы можете программно взаимодействовать с записными книжками из любого места, где доступна файловая система рабочей области, включая запись, чтение и удаление записных книжек, как и любой другой файл. Дополнительные сведения см. в статье " Программное создание, обновление и удаление файлов и каталогов".
Использование timestampdiff & timestampadd в созданных выражениях столбцов
В Databricks Runtime 16.2 и более поздних версиях можно использовать функции метки времени и timestampadd в выражениях столбцов Delta Lake. См. созданные столбцы Delta Lake .
Поддержка синтаксиса конвейера SQL
В Databricks Runtime 16.2 и более поздних версиях можно создавать конвейеры SQL. Конвейер SQL структурит стандартный запрос, например SELECT c2 FROM T WHERE c1 = 5, в пошаговую последовательность, как показано в следующем примере:
FROM T
|> SELECT c2
|> WHERE c1 = 5
Дополнительные сведения о поддерживаемом синтаксисе конвейеров SQL см. в разделе Синтаксис конвейера SQL.
Общие сведения об этом межотраслевом расширении см. в статье SQL Has Problems. Их можно исправить: синтаксис канала в SQL (Google Research).
Создание HTTP-запроса с помощью функции http_request
В Databricks Runtime 16.2 и более поздних версиях можно создавать HTTP-подключения и выполнять HTTP-запросы с помощью функции http_request .
Обновление до DESCRIBE TABLE возвращает метаданные в виде структурированного JSON
В Databricks Runtime 16.2 и более поздних версиях можно использовать DESCRIBE TABLE AS JSON команду для возврата метаданных таблицы в виде документа JSON. Выходные данные JSON более структурированы, чем отчет, доступный для чтения по умолчанию, и можно использовать для программной интерпретации схемы таблицы. Дополнительные сведения см. в разделе DESCRIBE TABLE AS JSON.
Игнорирование конечных пробелов при сортировках
Databricks Runtime 16.2 добавляет поддержку конечных пустых нечувствительных параметров сортировки, добавив в поддержку сортировки, добавленную в Databricks Runtime 16.1. Например, эти сортировки обрабатывают 'Hello' и 'Hello ' как равные. Чтобы узнать больше, см. раздел сортировки RTRIM.
Преобразование таблиц Apache Iceberg с секционированием контейнеров в неспарационные разностные таблицы
CONVERT TO DELTA Теперь операторы CREATE TABLE CLONE поддерживают преобразование таблицы Apache Iceberg с секционированием контейнеров в несекционированную таблицу Delta.
Стандартный режим доступа (ранее общий режим доступа) теперь поддерживает методы foreachSpark Scala и foreachBatchflatMapGroupsWithState
В Databricks Runtime 16.2 и более поздних версиях вычисления стандартного режима доступа теперь поддерживают методы DataStreamWriter.foreachBatch Scala и KeyValueGroupedDataset.flatMapGroupsWithState. В Databricks Runtime 16.1 и более поздних версиях вычисление стандартного режима доступа теперь поддерживает метод DataStreamWriter.foreachScala.
Исправления ошибок
Улучшенная инкрементная обработка клона
Этот выпуск содержит исправление для граничного случая, когда инкрементный процесс CLONE может повторно копировать файлы, уже скопированные из исходной таблицы в целевую таблицу. См. раздел Клонирование таблицы в Azure Databricks.
Обновления библиотеки
- Обновленные библиотеки Python:
- Обновленные библиотеки R:
- Обновленные библиотеки Java:
- org.json4s.json4s-ast_2.12 с 3.7.0-M11 до 4.0.7
- org.json4s.json4s-core_2.12 с 3.7.0-M11 до 4.0.7
- org.json4s.json4s-jackson_2.12 с 3.7.0-M11 до 4.0.7
- org.json4s.json4s-scalap_2.12 с 3.7.0-M11 до 4.0.7
Apache Spark
Databricks Runtime 16.2 включает Apache Spark 3.5.2. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 16.1 (EoS), а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:
-
[SPARK-49966] Возврат "[SC-179501][sql] Использовать
Invokeдля реализацииJsonToStructs(from_json)" - [SPARK-50904] [ SC-186976][sql] Исправление выполнения пошагового запроса выражения сортировки
- [SPARK-49666] [SQL] Включение тестов обрезки для выражения InSet
- [SPARK-50669] [ SC-184566][es-1327450][SQL] Изменение сигнатуры выражения TimestampAdd
-
[SPARK-50795] [ 16.x][sc-186719][SQL] Метка времени хранения в
longdescribeLinkedHashMap - [SPARK-50870] [ SC-186950][sql] Добавьте часовой пояс при приведение к метке времени в V2ScanRelationPushDown
- [SPARK-50735] [ SC-186944][connect] Сбой в ExecuteResponseObserver приводит к бесконечному повторному кэшированию запросов
- [SPARK-50522] [ SC-186500][sql] Поддержка неопределенного сортировки
- [SPARK-50525] [ SC-186058][sql] Определение правила оптимизатора InsertMapSortInRepartitionExpressions
- [SPARK-50679] [ SC-184572][sql] Повторяющиеся общие выражения в разных выражениях With должны быть проецированы только один раз
- [SPARK-50847] [ SC-186916] [SQL] Запретить ApplyCharTypePadding применять к определенным выражениям In
- [SPARK-50714] [ SC-186786][sql][SS] Включение эволюции схемы для TransformWithState при использовании кодировки Avro
-
[SPARK-50795] [ SC-186390][sql] Отображение всех дат JSON в формате ISO-8601 и типах как
dataType.simpleString - [SPARK-50561] [ SC-185924][sql] Databricks Runtime 16.x cherrypick: улучшение приведения типов и проверки границ для универсальной функции SQL
-
[SPARK-50700] [ SC-184845][sql]
spark.sql.catalog.spark_catalogподдерживаетbuiltinмагическое значение - [SPARK-50831] [ SC-186736][sql] Включение сортировки по умолчанию
-
[SPARK-50263] [ SC-186793][connect] Замените
System.currentTimeMillisнаSystem.nanoTime - [SPARK-48730] [ SC-184926][sql] Реализация CreateSQLFunctionCommand для скалярных и табличных функций SQL
- [SPARK-50830] [ SC-186718] [SQL] Возвращает результат с одним проходом в виде результата двойного анализа выполнения
- [SPARK-50707] [ SC-186098][sql] Включение приведения в char/varchar
- [SPARK-49490] [ SC-182137][sql] Добавление тестов для initCap
-
[SPARK-50529] [SC-184535][sql] Изменение поведения char/varchar в конфигурации
spark.sql.preserveCharVarcharTypeInfo - [SPARK-49632] [ SC-184179][sql] Удалите предложение конфигурации ANSI в CANNOT_PARSE_TIMESTAMP
- [SPARK-50815] [ SC-186487][python][SQL] Исправлена ошибка, из-за которой передача пустых вариантов в createDataFrame приводит к сбою и добавлению поддержки Variant в createDataFrame в Spark Connect
-
[SPARK-50828] [ SC-186493][python][ML][connect] Не рекомендуется
pyspark.ml.connect - [SPARK-50600] [ SC-186057][connect][SQL] Набор, проанализированный при сбое анализа
- [SPARK-50824] [ SC-186472][python] Избегайте импорта необязательных пакетов Python для проверки
- [SPARK-50755] [ SC-185521][sql] — отображение плана для InsertIntoHiveTable
- [SPARK-50789] [ SC-186312][connect] Входные данные для типизированных агрегатов следует анализировать
- [SPARK-50791] [ SC-185867][sc-186338][SQL] Исправлена ошибка NPE в хранилище состояний
-
[SPARK-50801] [ SC-186365] [SQL] Улучшено
PlanLogger.logPlanResolution, чтобы он отображал только неразрешенные и разрешенные планы - [SPARK-50749] [SC-185925 ][sql] Исправлена ошибка упорядочения в методе CommutativeExpression.gatherCommutative
- [SPARK-50783] [ SC-186347] Канонизация имени файла и макета профилировщика JVM в DFS
- [SPARK-50790] [ SC-186354][python] Реализация анализа json в pyspark
- [SPARK-50738] [ SC-184856][python] Обновление черного до 23.12.1
- [SPARK-50764] [ SC-185930][python] Уточнение документации связанных методов xpath
-
[SPARK-50798] [ SC-186277][sql] Улучшение
NormalizePlan - [SPARK-49883] [ SC-183787][ss] Структура контрольных точек хранилища состояний версии 2 с RocksDB и RocksDBFileManager
- [SPARK-50779] [ SC-186062][sql] Добавление флага компонента для параметров сортировки на уровне объектов
- [SPARK-50778] [ SC-186183][python] Добавление метаданныхColumn в Кадр данных PySpark
- [SPARK-49565] [SC-186056][sql] Databricks Runtime 16.x cherrypick: улучшить автоматически сгенерированные псевдонимы выражений с помощью операторов конвейера SQL
- [SPARK-50541] [ 16.x][sc-184937] Описание таблицы как JSON
- [SPARK-50772] [ SC-185923][sql] Databricks Runtime 16.x cherrypick: сохранение псевдонимов таблицы после SET, EXTEND, DROP операторов
- [SPARK-50769] [ SC-185919][sql] Исправление ClassCastException в гистограммеNumeric
- [SPARK-49025] [ SC-174667] Синхронизация изменений кода в Databricks Runtime
- [SPARK-50752] [ SC-185547][python][SQL] Введите конфигурации для настройки UDF Python без стрелки
-
[SPARK-50705] [ SC-185944][sql] Сделать
QueryPlanблокировку бесплатной - [SPARK-50690] [ 16.x][sc-184640][SQL] Исправление несоответствия в DESCRIBE TABLE столбцах выходных данных запроса
- [SPARK-50746] [ SC-184932][sql] Замените на VariantPathSegment.
-
[SPARK-50715] [ SC-185546][python][CONNECT]
SparkSession.Builderзадает конфигурации в пакетной службе - [SPARK-50480] [ SC-183359][sql] Расширение CharType и VarcharType из StringType
- [SPARK-50675] [ SC-184539][sql] Поддержка параметров сортировки на уровне таблицы и представления
-
[SPARK-50409] [SC-184516][sql] Исправление инструкции set для пропуска
;в концеSET;иSET -v;SET key; - [SPARK-50743] [ SC-185528][sql] Нормализация идентификаторов CTERelationDef и CTERelationRef
- [SPARK-50693] [ SC-184684][connect] Входные данные для TypedScalaUdf должны быть проанализированы
- [SPARK-50744] [ SC-184929][sql] Добавьте тестовый случай для разрешения имен view/CTE
- [SPARK-50710] [ SC-184767][connect] Добавьте поддержку дополнительного подключения клиента к сеансам после выпуска
- [SPARK-50703] [ SC-184843][python] Уточнение документации regexp_replace, regexp_substr и regexp_instr
-
[SPARK-50716] [ SC-184823][core] Исправлена логика очистки для символьных ссылок в
JavaUtils.deleteRecursivelyUsingJavaIOметоде - [SPARK-50630] [ SC-184443][sql] Исправлена GROUP BY порядковая поддержка операторов SQL AGGREGATE
- [SPARK-50614] [ SC-184729][sql] Добавление поддержки измельчения variant для Parquet
- [SPARK-50661] [ SASP-4936] Добавьте обратную совместимость для старого клиента ФЕВРАЛЬ.
-
[SPARK-50676] [ SC-184641][sql] Удаление неиспользуемого
private lazy val mapValueContainsNullизElementAt -
[SPARK-50515] [ SC-183813][core] Добавление интерфейса только для чтения в
SparkConf - [SPARK-50697] [ SC-184702][sql] Включить рекурсию хвоста по возможности
- [SPARK-50642] [ SC-184726][sc-183517][CONNECT][ss][2/N][16.x]Исправлена схема состояния для FlatMapGroupsWithState в spark connect, если начальное состояние отсутствует
- [SPARK-50701] [ SC-184704][python] Создание графиков требует минимальной версии графики
- [SPARK-50702] [ SC-184727][python] Уточнение документации по regexp_count, regexp_extract и regexp_extract_all
- [SPARK-50499] [ SC-184177][python] Предоставление метрик из BasePythonRunner
- [SPARK-50692] [ SC-184705][16.x] Добавление поддержки pushdown RPAD
- [SPARK-50682] [ SC-184579][sql] Внутренний псевдоним должен быть канонизирован
- [SPARK-50699] [ SC-184695][python] Синтаксический анализ и создание строки DDL с указанным сеансом
- [SPARK-50573] [ SC-184568][ss] Добавление идентификатора схемы состояния в строки состояния в эволюцию схемы
- [SPARK-50661] [ SC-184639][connect][SS][sasp-4936] Исправление Spark Connect Scala foreachBatch impl. для поддержки набора данных[T].
- [SPARK-50689] [ SC-184591][sql] Принудительное детерминированное упорядочение в списках проектов LCA
- [SPARK-50696] [ SC-184667][python] Оптимизация вызова Py4J для метода синтаксического анализа DDL
- [SPARK-49670] [ SC-182902][sql] Включите параметры сортировки для всех выражений сквозного руководства.
-
[SPARK-50673] [ SC-184565][ml] Избежать коэффициентов обхода модели дважды в
Word2VecModelконструкторе - [SPARK-50687] [ SC-184588][python] Оптимизация логики для получения трассировок стека для DataFrameQueryContext
- [SPARK-50681] [ SC-184662][python][CONNECT] Кэширует проанализированную схему mapInXXX и ApplyInXXXX
- [SPARK-50674] [ SC-184589][python] Исправление наличия метода "завершение" в оценке UDTF
- [SPARK-50684] [ SC-184582][python] Повышение производительности Py4J в DataFrameQueryContext
- [SPARK-50578] [ DBR16.x][sc-184559][PYTHON][ss] Добавьте поддержку новой версии метаданных состояния для TransformWithStateInPandas
- [SPARK-50602] [ SC-184439][sql] Для отображения правильного сообщения об ошибке при указании недопустимых столбцов индекса
- [SPARK-50650] [ SC-184532][sql] Улучшение ведения журнала в однопроходном анализаторе
- [SPARK-50665] [ SC-184533][sql] Замените LocalRelation на ComparableLocalRelation в NormalizePlan
- [SPARK-50644] [ SC-184486][sql] Чтение структуры variant в средстве чтения Parquet.
- [SPARK-49636] [ SC-184089][sql] Удалите предложение конфигурации ANSI в INVALID_ARRAY_INDEX и INVALID_ARRAY_INDEX_IN_ELEMENT_AT
- [SPARK-50659] [ SC-184514][sql] Вычисление выходных данных объединения рефакторинга для повторного использования в анализаторе с одним проходом
- [SPARK-50659] [ SC-184512][sql] Перемещение ошибок, связанных с объединением, в QueryCompilationErrors
- [SPARK-50530] [ SC-183419][sql] Исправление неявного вычисления контекста типа строки
- [SPARK-50546] [ SC-183807][sql] Добавление поддержки приведения вложенных запросов к приведение типа сортировки
- [SPARK-50405] [ SC-182889][sql] Правильно обрабатывает приведение типов сортировки сложных типов данных
- [SPARK-50637] [ SC-184434][sql] Исправлен стиль кода для однопроходного анализатора
- [SPARK-50638] [ SC-184435][sql] Рефакторинг разрешения представления в отдельный файл для повторного использования в однопроходном анализаторе
- [SPARK-50615] [ SC-184298][sql] Push-вариант в сканирование.
- [SPARK-50619] [ SC-184210][sql] Refactor VariantGet.cast для упаковки аргументов приведения
- [SPARK-50599] [ SC-184058][sql] Создайте черту DataEncoder, которая позволяет кодировать Avro и UnsafeRow
- [SPARK-50076] [ SC-183809] Исправление ключей журнала
- [SPARK-50597] [ SC-183972][sql] Рефакторинг пакетной сборки в оптимизаторе.scala и SparkOptimizer.scala
- [SPARK-50339] [ SC-183063][spark-50360][SS] Включение журнала изменений для хранения сведений о происхождении
- [SPARK-50526] [ SC-183811][ss] Добавление формата кодирования хранилища в журнал смещения и блокировка не поддерживаемых операторов с отслеживанием состояния с помощью avro
- [SPARK-50540] [ SC-183810][python][SS] Исправлена строка схемы для StatefulProcessorHandle
- [SPARK-50157] [ SC-183789][sql] С помощью SQLConf, предоставленного SparkSession, сначала.
- [SPARK-48898] [ SC-183793][sql] Правильно задать значение NULL в схеме Variant
- [SPARK-50559] [ SC-183814][sql] Store Except, Intersect и Union выходные данные как отложенные vals
- [SPARK-48416] [ SC-183643][sql] Поддержка вложенных сопоставленных с выражением
- [SPARK-50428] [ SC-183566][python] Поддержка TransformWithStateInPandas в пакетных запросах
- [SPARK-50063] [ SC-183350][sql][CONNECT] Добавьте поддержку Variant в клиенте Spark Connect Scala
-
[SPARK-50544] [ SC-183569][python][CONNECT] Реализация
StructType.toDDL - [SPARK-50443] [ SC-182590][ss] Исправление ошибок сборки Maven, введенных кэшем Guava в RocksDBStateStoreProvider
- [SPARK-50491] [ SC-183434][sql] Исправлена ошибка, из-за которой пустые блоки BEGIN END вызывают ошибку
-
[SPARK-50536] [SC-183443][core] Журнал скачанных размеров архивных файлов и
SparkContextExecutor - [SPARK-45891] [ SC-183439][sql] Перестройте двоичный файл варианта из измельченных данных.
- [SPARK-49565] [ SC-183465][sql] Добавление синтаксиса канала SQL для оператора FROM
- [SPARK-50497] [ SC-1833338][sql] Сбой запросов с правильным сообщением, если MultiAlias содержит функцию без генератора
- [SPARK-50460] [ SC-183375][python][CONNECT] Обобщение и упрощение обработки исключений Connect
-
[SPARK-50537] [ SC-183452][connect][PYTHON] Исправление параметра сжатия перезаписывается в
df.write.parquet - [SPARK-50329] [ SC-183358][sql] исправление InSet$toString
-
[SPARK-50524] [ SC-183364][sql] Нижнее
RowBasedKeyValueBatch.spillпредупреждение уровня отладки -
[SPARK-50528] [ SC-183385][connect] Перемещение
InvalidCommandInputв общий модуль - [SPARK-50017] [ SC-182438][ss] Поддержка кодирования Avro для оператора TransformWithState
-
[SPARK-50463] [ SC-182833][sql] Исправление
ConstantColumnVectorс преобразованием columnar в строку - [SPARK-50235] [ SC-180786][sql] Очистка ресурса ColumnVector после обработки всех строк в ColumnarToRowExec
- [SPARK-50516] [ SC-183279][ss][MINOR] Исправлено состояние инициализации, связанного с тестом на использование StreamManualClock
- [SPARK-50478] [ SC-183188][sql] Исправление сопоставления StringType
- [SPARK-50492] [ SC-183177][ss] Исправление java.util.NoSuchElementException при удалении столбца времени события после удаления dropDuplicatesWithinWatermark
- [SPARK-49566] [ SC-182589][sql] Добавление синтаксиса канала SQL для SET оператора
- [SPARK-50449] [ SC-183178][sql] Исправлена грамматика сценариев SQL, позволяющая пустым телам для циклов, IF и CASE
-
[SPARK-50251] [ SC-180970][python] Добавление
getSystemPropertyв PySparkSparkContext - [SPARK-50421] [ SC-183091][core] Исправлена ошибка конфигурации связанной памяти исполнителя при выполнении нескольких профилей ресурсов
- [SPARK-49461] [ SC-179572][ss] Идентификатор постоянной контрольной точки для фиксации журналов и чтения его обратно
- [SPARK-50343] [ SC-183119][spark-50344][SQL] Добавление синтаксиса канала SQL для операторов DROP и AS
-
[SPARK-50481] [ SC-182880][core],
SortShuffleManager.unregisterShuffleчтобы пропустить логику файлов контрольной суммы, если контрольная сумма отключена -
[SPARK-50498] [ SC-183090][python] Избегайте ненужных вызовов py4j
listFunctions -
[SPARK-50489] [ SC-183053][sql][PYTHON] Исправление самосоединяющегося после
applyInArrow - [SPARK-49695] [ SC-182967][sc-176968][SQL] Postgres исправление xor push-down
Поддержка драйвера ODBC/JDBC Databricks
Databricks поддерживает драйверы ODBC/JDBC, выпущенные за последние 2 года. Скачайте недавно выпущенные драйверы и обновление (скачайте ODBC, скачайте JDBC).
Обновления обслуживания
Ознакомьтесь с обновлениями обслуживания Databricks Runtime 16.2.
Системная среда
-
Операционная система: Ubuntu 24.04.1 LTS
- Примечание. Это версия Ubuntu, используемая контейнерами среды выполнения Databricks. Контейнеры среды выполнения Databricks выполняются на виртуальных машинах поставщика облачных служб, которые могут использовать другую версию Ubuntu или дистрибутив Linux.
- Java: Zulu17.54+21-CA
- Scala: 2.12.15
- Python: 3.12.3
- R: 4.4.0
- Delta Lake: 3.3.0
Установленные библиотеки Python
| Библиотека | Версия | Библиотека | Версия | Библиотека | Версия |
|---|---|---|---|---|---|
| аннотированные типы | 0.7.0 | асттокенс | 2.0.5 | астунпарс | 1.6.3 |
| autocommand | 2.2.2 | azure-core | 1.31.0 | азур-сторадж-блоб | 12.23.0 |
| система хранения данных Azure (azure-storage-file-datalake) | 12.17.0 | backports.tarfile | 1.2.0 | чёрный | 24.4.2 |
| поворотник | 1.7.0 | boto3 | 1.34.69 | botocore | 1.34.69 |
| инструменты для кэша | 5.3.3 | сертификат | 2024.6.2 | cffi | 1.16.0 |
| chardet | 4.0.0 | нормализатор кодировки | 2.0.4 | щелчок | 8.1.7 |
| Клаудпикл | 2.2.1 | comm | 0.2.1 | контурная диаграмма | 1.2.0 |
| криптография | 42.0.5 | велосипедист | 0.11.0 | Cython | 3.0.11 |
| databricks-sdk | 0.30.0 | dbus-python | 1.3.2 | debugpy | 1.6.7 |
| декоратор | 5.1.1 | Deprecated | 1.2.14 | Дистлиб | 0.3.8 |
| docstring-to-markdown (конвертация строк документации в Markdown) | 0.11 | точки входа | 0,4 | выполнение | 0.8.3 |
| Обзор аспектов | 1.1.1 | блокировка файла | 3.15.4 | шрифтовые инструменты | 4.51.0 |
| gitdb | 4.0.11 | GitPython | 3.1.37 | google-api-core | 2.20.0 |
| google-auth (аутентификация от Google) | 2.35.0 | google-cloud-core (основной модуль Google Cloud) | 2.4.1 | Хранилище Google Cloud | 2.18.2 |
| google-crc32c | 1.6.0 | гугл-возобновляемые-медиа | 2.7.2 | googleapis-common-protos (общие протоколы googleapis) | 1.65.0 |
| grpcio | 1.60.0 | grpcio-status | 1.60.0 | httplib2 | 0.20.4 |
| IDNA | 3,7 | importlib-metadata | 6.0.0 | importlib_resources | 6.4.0 |
| гнуть | 7.3.1 | ipyflow-core | 0.0.201 | ipykernel | 6.28.0 |
| ipython | 8.25.0 | ipython-genutils (утилиты для iPython) | 0.2.0 | ipywidgets | 7.7.2 |
| isodate (стандартная дата ISO) | 0.6.1 | jaraco.context | 5.3.0 | jaraco.functools | 4.0.1 |
| jaraco.text | 3.12.1 | джедай | 0.19.1 | jmespath | 1.0.1 |
| joblib | 1.4.2 | jupyter_client | 8.6.0 | jupyter_core (ядро Jupyter) | 5.7.2 |
| Кивисолвер | 1.4.4 | launchpadlib | 1.11.0 | lazr.restfulclient | 0.14.6 |
| lazr.uri | 1.0.6 | matplotlib | 3.8.4 | матплотлиб-инлайн | 0.1.6 |
| Маккейб | 0.7.0 | mlflow-skinny (упрощённая версия пакета mlflow) | 2.15.1 | дополнительные итермые инструменты | 10.3.0 |
| mypy | 1.10.0 | mypy-extensions (расширения для mypy) | 1.0.0 | nest-asyncio | 1.6.0 |
| nodeenv | 1.9.1 | numpy (библиотека для работы с массивами и матрицами в Python) | 1.26.4 | OAuthlib | 3.2.2 |
| opentelemetry-api | 1.27.0 | opentelemetry-sdk | 1.27.0 | соглашения opentelemetry-semantic-conventions | 0.48b0 |
| упаковка | 24.1 | Панды | 1.5.3 | Парсо | 0.8.3 |
| спецификация пути | 0.10.3 | простак | 0.5.6 | pexpect (библиотека Python для автоматизации взаимодействия с приложениями) | 4.8.0 |
| подушка | 10.3.0 | пит | 24.2 | Platformdirs | 3.10.0 |
| библиотека Plotly для визуализации данных | 5.22.0 | Pluggy | 1.0.0 | prompt-toolkit (инструментарий подсказок) | 3.0.43 |
| proto-plus | 1.24.0 | protobuf (протобуф) | 4.24.1 | psutil (пакет Python для работы с процессами и системами) | 5.9.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | пьюр-эвэл | 0.2.2 |
| pyarrow | 15.0.2 | pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 |
| pyccolo | 0.0.65 | pycparser | 2.21 | pydantic (библиотека Python для валидации данных) | 2.8.2 |
| pydantic_core | 2.20.1 | pyflakes (аналитический инструмент для Python) | 3.2.0 | Пигменты | 2.15.1 |
| PyGObject | 3.48.2 | PyJWT | 2.7.0 | pyodbc | 5.0.1 |
| pyparsing (библиотека для синтаксического анализа в Python) | 3.0.9 | pyright | 1.1.294 | python-dateutil (библиотека для работы с датами и временем в Python) | 2.9.0.post0 |
| python-lsp-jsonrpc | 1.1.2 | Сервер Python LSP | 1.10.0 | Pytoolconfig | 1.2.6 |
| pytz (библиотека Python для работы с часовыми поясами) | 2024.1 | PyYAML | 6.0.1 | pyzmq | 25.1.2 |
| Запросы | 2.32.2 | верёвка | 1.12.0 | rsa | 4,9 |
| s3transfer | 0.10.2 | scikit-learn (библиотека машинного обучения) | 1.4.2 | scipy (библиотека Python) | 1.13.1 |
| мореборн | 0.13.2 | setuptools (пакет для установки и управления Python-пакетами) | 74.0.0 | шесть | 1.16.0 |
| сммап | 5.0.0 | sqlparse | 0.5.1 | ssh-import-id (импортировать идентификатор SSH) | 5,11 |
| стековые данные | 0.2.0 | statsmodels (библиотека Python для статистического моделирования) | 0.14.2 | упорство | 8.2.2 |
| Threadpoolctl | 2.2.0 | токенизация-рт | 4.2.1 | томли | 2.0.1 |
| торнадо | 6.4.1 | Трейтлеты | 5.14.3 | типгард | 4.3.0 |
| types-protobuf | 3.20.3 | types-psutil | 5.9.0 | types-pytz | 2023.3.1.1 |
| types-PyYAML | 6.0.0 | типы-запросы | 2.31.0.0 | типы-setuptools | 68.0.0.0 |
| типы-шесть | 1.16.0 | types-urllib3 | 1.26.25.14 | typing_extensions (расширения для ввода текста) | 4.11.0 |
| ujson | 5.10.0 | автоматические обновления | 0,1 | urllib3 | 1.26.16 |
| virtualenv | 20.26.2 | wadllib | 1.3.6 | wcwidth (ширина символа в Unicode) | 0.2.5 |
| чтоэтолатка | 1.0.2 | колесо | 0.43.0 | завёрнут | 1.14.1 |
| yapf (форматировщик Python кода) | 0.33.0 | ZIPP | 3.17.0 |
Установленные библиотеки R
Библиотеки R устанавливаются из моментального снимка CRAN диспетчера пакетов Posit 2024-08-04: https://packagemanager.posit.co/cran/2024-08-04/
| Библиотека | Версия | Библиотека | Версия | Библиотека | Версия |
|---|---|---|---|---|---|
| стрела | 16.1.0 | askpass | 1.2.0 | assertthat | 0.2.1 |
| внутренние порты | 1.5.0 | основа | 4.4.0 | base64enc | 0.1-3 |
| bigD | 0.2.0 | bit | 4.0.5 | bit64 | 4.0.5 |
| bitops | 1.0-8 | капля | 1.2.4 | ботинок | 1.3-30 |
| заваривать | 1.0-10 | живость | 1.1.5 | метла | 1.0.6 |
| bslib | 0.8.0 | cachem | 1.1.0 | вызывающий объект | 3.7.6 |
| знак вставки | 6.0-94 | cellranger | 1.1.0 | chron | 2.3-61 |
| класс | 7.3-22 | cli | 3.6.3 | клипера | 0.8.0 |
| часы | 0.7.1 | гроздь | 2.1.6 | codetools | 0.2-20 |
| цветовое пространство | 2.1-1 | commonmark | 1.9.1 | составитель | 4.4.0 |
| config | 0.3.2 | Противоречие | 1.2.0 | cpp11 | 0.4.7 |
| карандаш | 1.5.3 | credentials | 2.0.1 | локон | 5.2.1 |
| data.table | 1.15.4 | наборы данных | 4.4.0 | DBI | 1.2.3 |
| dbplyr | 2.5.0 | desc | 1.4.3 | средства разработки | 2.4.5 |
| диаграмма | 1.6.5 | diffobj | 0.3.5 | переваривать | 0.6.36 |
| ниспадая | 0.4.4 | dplyr | 1.1.4 | dtplyr | 1.3.1 |
| e1071 | 1.7-14 | многоточие | 0.3.2 | оценивать | 0.24.0 |
| вентиляторы | 1.0.6 | Farver | 2.1.2 | fastmap | 1.2.0 |
| fontawesome | 0.5.2 | forcats | 1.0.0 | foreach | 1.5.2 |
| иностранный | 0.8-86 | кузница | 0.2.0 | fs | 1.6.4 |
| будущее | 1.34.0 | future.apply | 1.11.2 | полоскать | 1.5.2 |
| Универсальные шаблоны | 0.1.3 | Герт | 2.1.0 | ggplot2 | 3.5.1 |
| gh | 1.4.1 | git2r | 0.33.0 | gitcreds | 0.1.2 |
| glmnet | 4.1-8 | глобальные | 0.16.3 | клей | 1.7.0 |
| googledrive | 2.1.1 | googlesheets4 | 1.1.1 | Говер | 1.0.1 |
| графика | 4.4.0 | grDevices | 4.4.0 | сетка | 4.4.0 |
| gridExtra | 2.3 | gsubfn | 0.7 | gt | 0.11.0 |
| gtable | 0.3.5 | hardhat | 1.4.0 | гавань | 2.5.4 |
| высокий | 0.11 | hms | 1.1.3 | htmltools | 0.5.8.1 |
| htmlwidgets | 1.6.4 | httpuv | 1.6.15 | httr | 1.4.7 |
| httr2 | 1.0.2 | Идентификаторы | 1.0.1 | ini | 0.3.1 |
| ipred | 0.9-15 | isoband | 0.2.7 | Итераторы | 1.0.14 |
| jquerylib | 0.1.4 | jsonlite | 1.8.8 | juicyjuice | 0.1.0 |
| KernSmooth | 2.23-22 | трикотажный | 1.48 | маркирование | 0.4.3 |
| позже | 1.3.2 | решётка | 0.22-5 | лава | 1.8.0 |
| жизненный цикл | 1.0.4 | прослушиватель | 0.9.1 | lubridate | 1.9.3 |
| magrittr | 2.0.3 | Markdown | 1.13 | МАССА | 7.3-60.0.1 |
| Матрица | 1.6-5 | memoise | 2.0.1 | методика | 4.4.0 |
| mgcv | 1.9-1 | мим | 0,12 | miniUI | 0.1.1.1 |
| mlflow | 2.14.1 | ModelMetrics | 1.2.2.2 | modelr | 0.1.11 |
| munsell | 0.5.1 | nlme | 3.1-165 | nnet | 7.3-19 |
| numDeriv | 2016.8-1.1 | opensl | 2.2.0 | параллельный | 4.4.0 |
| параллельно | 1.38.0 | столб | 1.9.0 | pkgbuild | 1.4.4 |
| pkgconfig | 2.0.3 | pkgdown | 2.1.0 | pkgload | 1.4.0 |
| plogr | 0.2.0 | plyr | 1.8.9 | хвалить | 1.0.0 |
| prettyunits | 1.2.0 | pROC | 1.18.5 | processx | 3.8.4 |
| prodlim | 2024.06.25 | profvis | 0.3.8 | прогресс | 1.2.3 |
| progressr | 0.14.0 | Обещания | 1.3.0 | прото | 1.0.0 |
| доверенность | 0.4-27 | ps | 1.7.7 | purrr | 1.0.2 |
| R6 | 2.5.1 | ragg | 1.3.2 | randomForest | 4.7-1.1 |
| rappdirs | 0.3.3 | rcmdcheck | 1.4.0 | RColorBrewer | 1.1-3 |
| Rcpp | 1.0.13 | RcppEigen | 0.3.4.0.0 | reactable | 0.4.4 |
| ReactR | 0.6.0 | readr | 2.1.5 | readxl | 1.4.3 |
| Рецепты | 1.1.0 | реванш | 2.0.0 | rematch2 | 2.1.2 |
| Пультов | 2.5.0 | reprex | 2.1.1 | reshape2 | 1.4.4 |
| rlang | 1.1.4 | rmarkdown | 2.27 | RODBC | 1.3-23 |
| roxygen2 | 7.3.2 | rpart | 4.1.23 | rprojroot | 2.0.4 |
| Rserve | 1.8-13 | RSQLite | 2.3.7 | rstudioapi | 0.16.0 |
| rversions | 2.1.2 | rvest | 1.0.4 | sass | 0.4.9 |
| весы | 1.3.0 | селектор | 0.4-2 | sessioninfo | 1.2.2 |
| форма | 1.4.6.1 | блестящий | 1.9.1 | sourcetools | 0.1.7-1 |
| sparklyr | 1.8.6 | SparkR | 3.5.2 | пространственный | 7.3-17 |
| Сплайны | 4.4.0 | sqldf | 0.4-11 | SQUAREM | 2021.1 |
| Статистика | 4.4.0 | статистика4 | 4.4.0 | stringi | 1.8.4 |
| stringr | 1.5.1 | выживание | 3.6-4 | развязность | 5.17.14.1 |
| sys | 3.4.2 | systemfonts | 1.1.0 | tcltk | 4.4.0 |
| testthat | 3.2.1.1 | текстовые эпэпинги | 0.4.0 | tibble | 3.2.1 |
| tidyr | 1.3.1 | tidyselect | 1.2.1 | tidyverse | 2.0.0 |
| timechange | 0.3.0 | TimeDate | 4032.109 | tinytex | 0.52 |
| инструменты | 4.4.0 | tzdb | 0.4.0 | urlchecker | 1.0.1 |
| usethis | 3.0.0 | utf8 | 1.2.4 | utils | 4.4.0 |
| uuid | 1.2-1 | V8 | 4.4.2 | vctrs | 0.6.5 |
| viridisLite | 0.4.2 | vroom | 1.6.5 | Уолдо | 0.5.2 |
| усы | 0.4.1 | withr | 3.0.1 | xfun | 0.46 |
| xml2 | 1.3.6 | xopen | 1.0.1 | xtable | 1.8-4 |
| yaml | 2.3.10 | zeallot | 0.1.0 | молния | 2.3.1 |
Установленные библиотеки Java и Scala (версия кластера Scala 2.12)
| ИД группы | Идентификатор артефакта | Версия |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.638 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.638 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.638 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.638 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.638 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.638 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.638 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.638 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.638 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.638 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.638 |
| com.amazonaws | aws-java-sdk-config | 1.12.638 |
| com.amazonaws | aws-java-sdk-core | 1.12.638 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.638 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.638 |
| com.amazonaws | aws-java-sdk-directory | 1.12.638 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.638 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.638 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.638 |
| com.amazonaws | aws-java-sdk-efs | 1.12.638 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.638 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.638 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.638 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.638 |
| com.amazonaws | aws-java-sdk-emr | 1.12.638 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.638 |
| com.amazonaws | aws-java-sdk-glue | 1.12.638 |
| com.amazonaws | aws-java-sdk-iam | 1.12.638 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.638 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.638 |
| com.amazonaws | aws-java-sdk-kms | 1.12.638 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.638 |
| com.amazonaws | aws-java-sdk-logs | 1.12.638 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.638 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.638 |
| com.amazonaws | aws-java-sdk-rds | 1.12.638 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.638 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.638 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.638 |
| com.amazonaws | aws-java-sdk-ses | 1.12.638 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.638 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.638 |
| com.amazonaws | aws-java-sdk-sns | 1.12.638 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.638 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.638 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.12.638 |
| com.amazonaws | aws-java-sdk-sts | 1.12.638 |
| com.amazonaws | aws-java-sdk-support | 1.12.638 |
| com.amazonaws | aws-java-sdk-swf-библиотеки | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.638 |
| com.amazonaws | jmespath-java | 1.12.638 |
| com.clearspring.analytics | поток | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | databricks-sdk-java | 0.27.0 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | крио-затенение | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | одноклассник | 1.3.4 |
| com.fasterxml.jackson.core | джексон-заметки | 2.15.2 |
| com.fasterxml.jackson.core | джексон-ядро | 2.15.2 |
| com.fasterxml.jackson.core | джексон-databind | 2.15.2 |
| com.fasterxml.jackson.dataformat | джексон-dataformat-cbor | 2.15.2 |
| com.fasterxml.jackson.dataformat | джексон-dataformat-yaml | 2.15.2 |
| com.fasterxml.jackson.datatype | джексон-datatype-joda | 2.15.2 |
| com.fasterxml.jackson.datatype | джексон-datatype-jsr310 | 2.16.0 |
| com.fasterxml.jackson.module | джексон-module-paranamer | 2.15.2 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.15.2 |
| com.github.ben-manes.кофеин | кофеин | 2.9.3 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1-natives |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1-natives |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1-natives |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64 | 1.1-natives |
| com.github.luben | zstd-jni | 1.5.5-4 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.10.1 |
| com.google.crypto.tink | оттенок | 1.9.0 |
| com.google.errorprone | error_prone_annotations | 2.10.0 |
| com.google.flatbuffers | flatbuffers-java | 26.05.23 |
| com.google.guava | гуава | 15.0 |
| com.google.protobuf | protobuf-java | 3.25.1 |
| com.helger | Профилировщик | 1.1.1 |
| com.ibm.icu | icu4j | 75.1 |
| com.jcraft | гиф | 0.1.55 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
| com.microsoft.sqlserver | mssql-jdbc | 11.2.3.jre8 |
| com.ning | compress-lzf | 1.1.2 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.sun.xml.bind | jaxb-core | 2.2.11 |
| com.sun.xml.bind | jaxb-impl | 2.2.11 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.4.3 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.3 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | ХикариCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.16.0 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.5 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.13.0 |
| commons-lang | commons-lang | 2.6 |
| Commons-logging | Commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 3.0.3 |
| dev.ludovic.netlib | Блас | 3.0.3 |
| dev.ludovic.netlib | lapack | 3.0.3 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.27 |
| io.delta | delta-sharing-client_2.12 | 1.2.2 |
| метрики io.dropwizard.metrics | метрики-заметки | 4.2.19 |
| метрики io.dropwizard.metrics | метрики core | 4.2.19 |
| метрики io.dropwizard.metrics | metrics-graphite | 4.2.19 |
| метрики io.dropwizard.metrics | Проверки работоспособности метрик | 4.2.19 |
| метрики io.dropwizard.metrics | метрики-jetty9 | 4.2.19 |
| метрики io.dropwizard.metrics | metrics-jmx | 4.2.19 |
| метрики io.dropwizard.metrics | metrics-json | 4.2.19 |
| метрики io.dropwizard.metrics | metrics-jvm | 4.2.19 |
| метрики io.dropwizard.metrics | метрики-сервлеты | 4.2.19 |
| io.netty | netty-all | 4.1.108.Final |
| io.netty | netty-buffer | 4.1.108.Final |
| io.netty | netty-codec | 4.1.108.Final |
| io.netty | netty-codec-http | 4.1.108.Final |
| io.netty | netty-codec-http2 | 4.1.108.Final |
| io.netty | netty-codec-socks | 4.1.108.Final |
| io.netty | netty-common | 4.1.108.Final |
| io.netty | netty-handler | 4.1.108.Final |
| io.netty | netty-handler-proxy | 4.1.108.Final |
| io.netty | netty-resolver | 4.1.108.Final |
| io.netty | netty-tcnative-boringsl-static | 2.0.61.Final-db-r16 |
| io.netty | netty-tcnative-boringsl-static | 2.0.61.Final-db-r16-linux-aarch_64 |
| io.netty | netty-tcnative-boringsl-static | 2.0.61.Final-db-r16-linux-x86_64 |
| io.netty | netty-tcnative-boringsl-static | 2.0.61.Final-db-r16-osx-aarch_64 |
| io.netty | netty-tcnative-boringsl-static | 2.0.61.Final-db-r16-osx-x86_64 |
| io.netty | netty-tcnative-boringsl-static | 2.0.61.Final-db-r16-windows-x86_64 |
| io.netty | netty-tcnative-classes | 2.0.61.Final |
| io.netty | netty-transport | 4.1.108.Final |
| io.netty | netty-transport-classes-epoll | 4.1.108.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.108.Final |
| io.netty | netty-transport-native-epoll | 4.1.108.Final |
| io.netty | netty-transport-native-epoll | 4.1.108.Final-linux-aarch_64 |
| io.netty | netty-transport-native-epoll | 4.1.108.Final-linux-riscv64 |
| io.netty | netty-transport-native-epoll | 4.1.108.Final-linux-x86_64 |
| io.netty | netty-transport-native-kqueue | 4.1.108.Final-osx-aarch_64 |
| io.netty | netty-transport-native-kqueue | 4.1.108.Final-osx-x86_64 |
| io.netty | netty-transport-native-unix-common | 4.1.108.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | коллектор | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | активация | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | api транзакций | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.12.1 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | рассол | 1.3 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.9.3 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | муравей | 1.10.11 |
| org.apache.ant | муравейка | 1.10.11 |
| org.apache.ant | ant-launcher | 1.10.11 |
| org.apache.arrow | Формат со стрелками | 15.0.0 |
| org.apache.arrow | стрелка-память-ядро | 15.0.0 |
| org.apache.arrow | стрелка-память-netty | 15.0.0 |
| org.apache.arrow | стрелка-вектор | 15.0.0 |
| org.apache.avro | avro | 1.11.3 |
| org.apache.avro | avro-ipc | 1.11.3 |
| org.apache.avro | avro-mapred | 1.11.3 |
| org.apache.commons | commons-collections4 | 4.4 |
| org.apache.commons | Commons-compress | 1.23.0 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.10.0 |
| org.apache.curator | куратор-клиент | 2.13.0 |
| org.apache.curator | куратор-платформа | 2.13.0 |
| org.apache.curator | рецепты куратора | 2.13.0 |
| org.apache.datasketches | datasketches-java | 3.1.0 |
| org.apache.datasketches | datasketches-memory | 2.0.0 |
| org.apache.derby | дерби | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-runtime | 3.3.6 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.14 |
| org.apache.httpcomponents | httpcore | 4.4.16 |
| org.apache.ivy | плющ | 2.5.2 |
| org.apache.logging.log4j | log4j-1.2-api | 2.22.1 |
| org.apache.logging.log4j | log4j-api | 2.22.1 |
| org.apache.logging.log4j | log4j-core | 2.22.1 |
| org.apache.logging.log4j | log4j-layout-template-json | 2.22.1 |
| org.apache.logging.log4j | log4j-slf4j2-impl | 2.22.1 |
| org.apache.orc | orc-core | 1.9.2-шейд-protobuf |
| org.apache.orc | orc-mapreduce | 1.9.2-шейд-protobuf |
| org.apache.orc | orc-shims | 1.9.2 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.ws.xmlschema | xmlschema-core | 2.3.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.23 |
| org.apache.yetus | зрители-заметки | 0.13.0 |
| org.apache.zookeeper | zookeeper | 3.9.2 |
| org.apache.zookeeper | zookeeper-jute | 3.9.2 |
| org.checkerframework | checker-qual | 3.31.0 |
| org.codehaus.джексон | джексон-core-asl | 1.9.13 |
| org.codehaus.джексон | джексон-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-компилятор | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.collections | eclipse-collections | 11.1.0 |
| org.eclipse.collections | Eclipse-collections-api | 11.1.0 |
| org.eclipse.jetty | jetty-client | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-продолжение | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-http | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-io | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-jndi | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-plus | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-proxy | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-security | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-server | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlet | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlets | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-webapp | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-xml | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | Вебсокет-клиент | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.52.v20230823 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | джерси-container-servlet | 2.40 |
| org.glassfish.jersey.containers | джерси-container-servlet-core | 2.40 |
| org.glassfish.jersey.core | джерси-клиент | 2.40 |
| org.glassfish.jersey.core | джерси-common | 2.40 |
| org.glassfish.jersey.core | джерси-сервер | 2.40 |
| org.glassfish.jersey.inject | джерси-hk2 | 2.40 |
| org.hibernate.validator | hibernate-validator | 6.1.7.Final |
| org.ini4j | ini4j | 0.5.4 |
| org.javasist | javassist | 3.29.2-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | Аннотации | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 4.0.7 |
| org.json4s | json4s-core_2.12 | 4.0.7 |
| org.json4s | json4s-джексон-core_2.12 | 4.0.7 |
| org.json4s | json4s-jackson_2.12 | 4.0.7 |
| org.json4s | json4s-scalap_2.12 | 4.0.7 |
| org.lz4 | lz4-java | 1.8.0-databricks-1 |
| org.mlflow | mlflow-spark_2.12 | 2.9.1 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.6.1 |
| org.roaringbitmap | RoaringBitmap | 0.9.45-databricks |
| org.roaringbitmap | Оболочек совместимости | 0.9.45-databricks |
| org.rocksdb | rocksdbjni | 9.2.1 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.15 |
| org.scala-lang | scala-library_2.12 | 2.12.15 |
| org.scala-lang | scala-reflect_2.12 | 2.12.15 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.11.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.9.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.2.16 |
| org.scalanlp | breeze-macros_2.12 | 2.1.0 |
| org.scalanlp | breeze_2.12 | 2.1.0 |
| org.scalatest | Scalatest-compatible | 3.2.16 |
| org.scalatest | scalatest-core_2.12 | 3.2.16 |
| org.scalatest | scalatest-diagrams_2.12 | 3.2.16 |
| org.scalatest | scalatest-featurespec_2.12 | 3.2.16 |
| org.scalatest | scalatest-flatspec_2.12 | 3.2.16 |
| org.scalatest | scalatest-freespec_2.12 | 3.2.16 |
| org.scalatest | scalatest-funspec_2.12 | 3.2.16 |
| org.scalatest | scalatest-funsuite_2.12 | 3.2.16 |
| org.scalatest | scalatest-matchers-core_2.12 | 3.2.16 |
| org.scalatest | scalatest-mustmatchers_2.12 | 3.2.16 |
| org.scalatest | scalatest-propspec_2.12 | 3.2.16 |
| org.scalatest | scalatest-refspec_2.12 | 3.2.16 |
| org.scalatest | scalatest-shouldmatchers_2.12 | 3.2.16 |
| org.scalatest | scalatest-wordspec_2.12 | 3.2.16 |
| org.scalatest | scalatest_2.12 | 3.2.16 |
| org.slf4j | jcl-over-slf4j | 2.0.7 |
| org.slf4j | jul-to-slf4j | 2.0.7 |
| org.slf4j | slf4j-api | 2.0.7 |
| org.slf4j | slf4j-simple | 1.7.25 |
| org.threeten | тритен-экстра | 1.7.1 |
| org.tukaani | xz | 1.9 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | кошки-kernel_2.12 | 2.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.opensl | wildfly-opensl | 1.1.3.Final |
| org.xerial | sqlite-jdbc | 3.42.0.0 |
| org.xerial.snappy | snappy-java | 1.1.10.3 |
| org.yaml | змеямл | 2.0 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.cryptools | AmazonCorrettoCryptoProvider | 2.4.1-linux-x86_64 |
| stax | stax-api | 1.0.1 |