Databricks Runtime 13.3 LTS

  • Статья

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 13.3 LTS, на базе Apache Spark 3.4.1.

Databricks выпустила эти изображения в августе 2023 года.

Новые функции и внесенные улучшения

Поддержка Scala для общих кластеров

Общие кластеры с поддержкой каталога Unity теперь поддерживают Scala при использовании Databricks Runtime 13.3 и более поздних версий.

Список разрешений для сценариев инициализации, JAR и Maven координат в общих кластерах каталога Unity находится в общедоступной предварительной версии

Теперь вы можете использовать каталог allowlist Unity для управления установкой скриптов инициализации, JAR и Maven координат для вычислений с общим режимом доступа под управлением Databricks Runtime 13.3 и более поздних версий. См . библиотеки allowlist и скрипты инициализации в общих вычислительных ресурсах.

Поддержка томов для сценариев init и JAR доступна в общедоступной предварительной версии

Теперь вы можете использовать тома каталога Unity для хранения скриптов и ИНИЦ для вычислений с назначенными или общими режимами доступа, работающими под управлением Databricks Runtime 13.3 и более поздних версий. См. раздел "Где можно установить скрипты инициализации" и библиотеки область кластера.

Безопасные приведения, включаемые по умолчанию для операций Delta Lake

Разностные UPDATE операции MERGE теперь приводят к ошибке, когда значения не могут быть безопасно приведение к типу в схеме целевой таблицы. Все неявные приведения в Delta теперь следуют spark.sql.storeAssignmentPolicy вместо spark.sql.ansi.enabled. См. сведения о соответствии ANSI в Databricks Runtime.

Знакомство с тегами с каталогом Unity

С помощью Databricks Runtime 13.3 LTS и более поздних версий можно применить теги к защищаемым объектам. Теги помогают упорядочить защищаемые объекты и упростить поиск и обнаружение ресурсов данных. См. раздел "Применить теги".

Databricks Runtime возвращает ошибку, если файл изменяется между планированием запросов и вызовом

Запросы среды выполнения Databricks теперь возвращают ошибку, если файл обновляется между планированием запросов и вызовом. Перед этим изменением Databricks Runtime считывает файл между этими этапами, что иногда приводит к непредсказуемым результатам.

Блокировка перезаписи схемы при использовании динамических перезаписей секций

Нельзя задать overwriteSchema значение true в сочетании с динамическими перезаписями секций в Delta Lake. Это предотвращает возможное повреждение таблицы из-за несоответствия схемы. См . перезаписи динамических разделов.

Интеграция API copyFile в dbutils.fs.cp

Команда dbutils.fs.cp копирования dbutils оптимизирована для ускорения копирования. Благодаря этому улучшению операции копирования могут быть до 100x быстрее, в зависимости от размера файла. Эта функция доступна во всех файловых системах, доступных в Azure Databricks, в том числе для томов каталога Unity и подключений файловой системы Databricks.

Поддержка драйвера ODBC/JDBC Databricks

Azure Databricks поддерживает драйверы ODBC и JDBC, выпущенные за последние 2 года. Скачайте последнюю версию драйвера ODBC и скачайте JDBC Driver.

Поддержка маркеров неименованных (позиционных) меток параметров

SparkSession.sql() ТЕПЕРЬ API поддерживает параметризованные запросы с помощью ? синтаксиса в дополнение к параметризованным запросам с помощью синтаксиса:parm. См . маркеры параметров.

Включение меток столбцов временных рядов

Теперь можно пометить столбцы временных рядов при создании ограничений первичного ключа.

Новые функции SQL растрового изображения

Azure Databricks теперь предоставляет набор функций, которые можно использовать для сопоставления целочисленных числовых значений с растровым изображением и агрегирования их. Это можно использовать для предварительного вычисления числа различных значений.

Улучшенные функции шифрования

Функции aes_encrypt, aes_decrypt и try_aes_decrypt были улучшены с поддержкой векторов инициализации (IV) и прошли проверку подлинности дополнительных данных (AAD).

Поддержка каталога Unity для REFRESH FOREIGN

Теперь можно обновить внешние каталоги, схемы и таблицы в каталоге Unity с помощью REFRESH FOREIGN CATALOG, REFRESH FOREIGN SCHEMAа также REFRESH FOREIGN TABLE. См. раздел REFRESH FOREIGN (CATALOG, SCHEMA и TABLE).

ВСТАВКА ПО ИМЕНИ

При вставке строк в таблицу теперь можно разрешить Azure Databricks сопоставлять столбцы и поля в исходном запросе автоматически столбцам таблицы по их имени. См. раздел INSERT INTO.

Совместное использование материализованных представлений с помощью разностного общего доступа

Инструкция ALTER SHARE теперь поддерживает материализованные представления.

Критические изменения

Изменения неявного приведения при хранении строк в таблице с помощью MERGE INTO и UPDATE

Azure Databricks теперь следует конфигурации spark.sql.storeAssignmentPolicy неявного приведения при хранении строк в таблице. Значение ANSI по умолчанию вызывает ошибку при хранении значений, которые переполнены. Ранее значения будут храниться как NULL по умолчанию.

Как и в следующем примере, можно устранить переполнение, перезаписав таблицу, чтобы использовать более широкий тип для столбца, вызывающего ошибку.

-- Enable column mapping
ALTER TABLE MyTable SET TBLPROPERTIES (
    'delta.minReaderVersion' = '2',
    'delta.minWriterVersion' = '5',
    'delta.columnMapping.mode' = 'name'
  )

-- Rename the old column and create a new column with the new type using the old name
ALTER TABLE MyTable RENAME ID to ID_old
ALTER TABLE MyTable ADD COLUMN ID BIGINT

-- Rewrite the entire table
UPDATE MyTable SET ID = ID_old

-- Drop the old column
ALTER TABLE MyTable DROP COLUMN ID_old

Обновления библиотек

  • Обновленные библиотеки Python:
    • debugpy от 1.5.1 до 1.6.0
    • distlib от 0.3.6 до 0.3.7
    • fastjsonschema от 2.16.3 до 2.18.0
    • блокировка файлов от 3.12.0 до 3.12.2
  • Обновленные библиотеки R:
    • SparkR от 3.4.0 до 3.4.1
  • Обновленные библиотеки Java:
    • org.apache.orc.orc-core с 1.8.3-шейд-protobuf до 1.8.4-шейд-protobuf
    • org.apache.orc.orc-mapreduce от 1.8.3-shaded-protobuf до 1.8.4-шейд-protobuf
    • org.apache.orc.orc-shims от 1.8.3 до 1.8.4
    • org.eclipse.jetty.jetty-client с 9.4.50.v202121201 до 9.4.51.v20230217
    • org.eclipse.jetty.jetty-продолжение с 9.4.50.v202121201 до 9.4.51.v20230217
    • org.eclipse.jetty.jetty-http с 9.4.50.v2021201 до 9.4.51.v20230217
    • org.eclipse.jetty.jetty-io с 9.4.50.v2021201 до 9.4.51.v20230217
    • org.eclipse.jetty.jetty-jndi от 9.4.50.v2021201 до 9.4.51.v20230217
    • org.eclipse.jetty.jetty-plus от 9.4.50.v2021201 до 9.4.51.v20230217
    • org.eclipse.jetty.jetty-proxy от 9.4.50.v202121201 до 9.4.51.v20230217
    • org.eclipse.jetty.jetty-security с 9.4.50.v2021201 до 9.4.51.v20230217
    • org.eclipse.jetty.jetty-server с 9.4.50.v2021201 до 9.4.51.v20230217
    • org.eclipse.jetty.jetty-servlet от 9.4.50.v2021201 до 9.4.51.v20230217
    • org.eclipse.jetty.jetty-servlets с 9.4.50.v2021201 до 9.4.51.v20230217
    • org.eclipse.jetty.jetty-util от 9.4.50.v202121201 до 9.4.51.v20230217
    • org.eclipse.jetty.jetty-util-ajax с 9.4.50.v2021201 до 9.4.51.v20230217
    • org.eclipse.jetty.jetty-webapp с 9.4.50.v202121201 до 9.4.51.v20230217
    • org.eclipse.jetty.jetty-xml с 9.4.50.v2021201 до 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-api с 9.4.50.v2021201 до 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-client с 9.4.50.v2021201 до 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-common с 9.4.50.v2021201 до 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-server с 9.4.50.v2021201 до 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-servlet от 9.4.50.v202121201 до 9.4.51.v20230217
    • org.xerial.snappy.snappy-java с версии 1.1.8.4 до 1.1.10.1

Apache Spark

Databricks Runtime 13.3 включает Apache Spark 3.4.1. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 13.2 (неподдерживаемые), а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

  • Теперь можно задать переменную SNOWFLAKE_SPARK_CONNECTOR_VERSION=2.12 среды кластера для использования соединителя Spark-snowflake версии 2.12.0.
  • [SPARK-43380] [DBRRM-383] Возврат "[SC-133100][SQL] Исправление типа данных Avro...
  • [SPARK-44504] [Backport] [13.2] [13.x] [13.3] Выгрузка поставщика, тем самым заставляя экземпляр базы данных закрыть и освободить ресурсы при ошибке задачи обслуживания
  • [SPARK-44059] [SC-137023] Добавление поддержки анализатора именованных аргументов для встроенных функций
  • [SPARK-44485] [SC-137653] [SQL] Оптимизация TreeNode.generateTreeString
  • [SPARK-42944] [SC-137164] [SS] [PYTHON] Потоковая передача ForeachBatch в Python
  • [SPARK-44446] [SC-136994] [PYTHON] Добавление проверка для ожидаемых вариантов типа списка
  • [SPARK-44439] [SC-136973] [CONNECT] [SS] Исправлен списокListeners для отправки идентификаторов только клиенту
  • [SPARK-44216] [SC-136941] [PYTHON] Создание общедоступного API assertSchemaEqual
  • [SPARK-44201] [SC-136778] [CONNECT] [SS] Добавление поддержки прослушивателя потоковой передачи в Scala для Spark Подключение
  • [SPARK-43915] [SC-134766] [SQL] Назначьте имена классу ошибок LEGACY_ERROR_TEMP[2438-2445]
  • [SPARK-43798] Возврат "[SC-133990][SQL][PYTHON] Поддержка пользовательских функций таблицы Python"
  • [SPARK-44398] [SC-136720] [CONNECT] Scala foreachBatch API
  • [SPARK-44476] [SC-137169] [CORE] [CONNECT] Исправление совокупности артефактов для JobArtifactState без связанных артефактов
  • [SPARK-44269] [SC-135817] [SQL] Назначение имен классу ошибок LEGACY_ERROR_TEMP[2310-2314]
  • [SPARK-44395] [SC-136744] [SQL] Обновление аргументов TVF, чтобы требовать круглые скобки после ключевое слово TABLE
  • [SPARK-43915] [SC-134766] [SQL] Назначьте имена классу ошибок LEGACY_ERROR_TEMP[2438-2445]
  • [SPARK-43995] [SC-136794] [SPARK-43996] [CONNECT] Добавление поддержки UDFRegistration в клиент scala Подключение
  • [SPARK-44109] [SC-134755] [CORE] Удаление повторяющихся предпочтительных расположений каждой секции RDD
  • [SPARK-44169] [SC-135497] [SQL] Назначение имен классу ошибок LEGACY_ERROR_TEMP[2300-2304]
  • [SPARK-41487] [SC-135636] [SQL] Назначение имени _LEGACY_ERROR_TEMP_1020
  • [SPARK-44398] [SC-136720] [CONNECT] Scala foreachBatch API
  • [SPARK-44153] [SC-134977] [CORE] [пользовательский интерфейс] Столбец поддержки Heap Histogram на Executors вкладке
  • [SPARK-44044] [SC-135695] [SS] Улучшение сообщения об ошибке для функций Окон с помощью потоковой передачи
  • [SPARK-43914] [SC-135414] [SQL] Назначение имен классу ошибок LEGACY_ERROR_TEMP[2433-2437]
  • [SPARK-44217] [SC-136805] [PYTHON] Разрешить пользовательскую точность для приблизительного равенства fp
  • [SPARK-44370] [SC-136575] [CONNECT] Перенос альфа-канала удаленного поколения Buf на удаленные подключаемые модули
  • [SPARK-44410] [SC-136930] [PYTHON] [CONNECT] Настройка активного сеанса в создании, а не только getOrCreate
  • [SPARK-44348] [SAS-1910] [SC-136644] [13.X] [CORE] [CONNECT] [PYTHON] Повторное test_artifact с соответствующими изменениями
  • [SPARK-44145] [SC-136698] [SQL] Обратный вызов при готовности к выполнению
  • [SPARK-44264] [SC-136870] [PYTHON] [ML] Класс FunctionPickler
  • [SPARK-43986] [SC-135623] [SQL] Создание классов ошибок для сбоев вызовов функции HyperLog
  • [SPARK-44139] [SC-134967] [SQL] Dis карта полностью отталкивал фильтры в групповых операциях MERGE
  • [SPARK-44338] [SC-136718] [SQL] Исправлено сообщение об ошибке несоответствия схемы представления
  • [SPARK-44208] [SC-135505] [CORE] [SQL] Назначение четких имен классов ошибок для какой-то логики, которая напрямую использует исключения
  • [SPARK-44364] [SC-136773] [PYTHON] Добавление поддержки типа данных List[Row] для ожидаемого
  • [SPARK-44180] [SC-136792] [SQL] DistributionAndOrderingUtils должен применять ResolveTimeZone
  • [SPARK-43389] [SC-136772] [SQL] Добавлено значение NULL проверка для параметра lineSep
  • [SPARK-44388] [SC-136695] [CONNECT] Исправлена проблема при приведения protobuf при обновлении экземпляра UDF
  • [SPARK-44352] [SC-136373] [CONNECT] Верните ту же тип и друзья в DataType.
  • [SPARK-43975] [SC-134265] [SQL] DataSource версии 2. Обработка команд UPDATE для групповых источников
  • [SPARK-44360] [SC-136461] [SQL] Поддержка очистки схемы в операциях MERGE на основе разностных данных
  • [SPARK-44138] [SC-134907] [SQL] Запретить недетерминированные выражения, вложенные запросы и агрегаты в условиях MERGE
  • [SPARK-43321] [SC-136678] [Подключение][Отслеживание] Лучшие имена API, используемых в подключении клиента ScalaWith
  • [SPARK-44263] [SC-136447] [CONNECT] Поддержка пользовательских перехватчиков
  • [SPARK-39851] [SC-123383] [SQL] Улучшение оценки статистики соединения, если одна сторона может сохранить уникальность
  • [SPARK-44390] [SC-136677] [CORE] [SQL] Переименование SparkSerDerseUtils в SparkSerDeUtils
  • [SPARK-44004] [SC-134751] [SQL] Назначьте имя и улучшайте сообщение об ошибке для частых ошибок LEGACY.
  • [SPARK-44322] [SC-136204] [CONNECT] Сделайте средство синтаксического анализа используйте SqlApiConf вместо SQLConf.
  • [SPARK-44271] [SC-136347] [SQL] Перемещение функций значений по умолчанию из StructType в ResolveDefaultColumns
  • [SPARK-44332] [SC-136413] [CORE] [WEBUI] Исправлена ошибка сортировки столбца идентификатора исполнителя на странице пользовательского интерфейса исполнителя
  • [SPARK-44282] [SC-135948] [CONNECT] Подготовка синтаксического анализа DataType для использования в клиенте Spark Подключение Scala
  • [SPARK-44349] [SC-136581] [R] Добавление математических функций в SparkR
  • [SPARK-44397] [SC-136647] [PYTHON] Предоставление assertDataFrameEqual в pyspark.testing.utils
  • [SPARK-42981] [SC-136620] [CONNECT] Добавление сериализации прямых стрелок
  • [SPARK-44373] [SC-136577] [SQL] Оболочка с помощью api набора данных w/parse logic, чтобы обеспечить работу связанной конфигурации синтаксического анализа
  • [SPARK-44340] [SC-136574] [SQL] Определите логику вычислений с помощью API PartitionEvaluator и используйте ее в WindowGroupLimitExec
  • [SPARK-43665] [SC-136573] [CONNECT] [PS] Включение PandasSQLStringFormatter.vformat для работы с Spark Подключение
  • [SPARK-44325] [SC-136572] [SQL] Использование API PartitionEvaluator в SortMergeJoinExec
  • [SPARK-44315] [SC-136171] [SQL] [CONNECT] Перемещение DefinedByConstructorParams в sql/api
  • [SPARK-44275] [SC-136184] [CONNECT] Добавление настраиваемого механизма повторных попыток в Scala Spark Подключение
  • [SPARK-44326] [SC-136208] [SQL] [CONNECT] Перемещение используемых из клиента Scala в общие модули
  • [SPARK-43321] [SC-136156] [Подключение] Набор данных#Joinwith
  • [SPARK-44343] [SC-136372] [CONNECT] Подготовка Scala Рефлексия ion к переходу на SQL/API
  • [SPARK-44313] [SC-136081] [SQL] Исправлена проверка сгенерированного выражения столбца при наличии столбца char/varchar в схеме
  • [SPARK-43963] [SC-134145] [SQL] DataSource версии 2. Обработка команд MERGE для групповых источников
  • [SPARK-44363] [SC-136433] [PYTHON] Отображение процента неравных строк в сравнении с кадрами данных
  • [SPARK-44251] [SC-136432] [SQL] Правильно задать значение NULL для ключа объединения в полном внешнем соединении USING
  • [SPARK-43948] [SC-133366] [SQL] Назначение имен классу ошибок LEGACY_ERROR_TEMP[0050|0057|0058|0059]
  • [SPARK-44329] [SC-136326] [CONNECT] [PYTHON] Добавление hll_sketch_agg, hll_union_agg, to_varchar, try_aes_decrypt в Scala и Python
  • [SPARK-44351] [SC-136353] [SQL] Создание синтаксического упрощения
  • [SPARK-44281] [SC-135963] [SQL] Перемещение ошибки QueryCompilation, используемой DataType в sql/api в качестве DataTypeErrors
  • [SPARK-44283] [SC-136109] [CONNECT] Перемещение источника в SQL/API
  • [SPARK-43926] [SC-135590] [CONNECT] [PYTHON] Добавление array_agg, array_size, карта inality, count_min_sketch,mask,named_struct,json_* в Scala и Python
  • [SPARK-44327] [SC-136187] [SQL] [CONNECT] Добавление функций any и len в Scala
  • [SPARK-44290] [SC-136300] [CONNECT] Файлы и архивы на основе сеансов в Spark Подключение
  • [SPARK-44061] [SC-136299] [PYTHON] Добавление функции assertDataFrameEqual util
  • [SPARK-44331] [SC-136324] [CONNECT] [PYTHON] Добавление функций растрового изображения в Scala и Python
  • [SPARK-44342] [SC-136334] [SQL] Замена SQLContext на SparkSession для GenTPCDSData
  • [SPARK-42583] [SC-124190] [SQL] Удалите внешнее соединение, если они являются всеми отдельными агрегатными функциями
  • [SPARK-44333] [SC-136206] [CONNECT] [SQL] Перемещение EnhancedLogicalPlan из ParserUtils
  • [SPARK-43824] [SC-132655] [SPARK-43825] [SQL] Назначение имен классу ошибок _LEGACY_ERROR_TEMP_128[1-2]
  • [SPARK-43939] [SC-134602] [CONNECT] [PYTHON] Добавление функций try_* в Scala и Python
  • [SPARK-44193] [SC-135886] [CONNECT] Реализация перехвата исключений GRPC для преобразования
  • [SPARK-44284] [SC-136107] [CONNECT] Создание простой системы конференц-связи для SQL/API
  • [SPARK-43913] [SC-133368] [SQL] Назначение имен классу ошибок LEGACY_ERROR_TEMP[2426-2432]
  • [SPARK-44291] Возврат "[SC-135924][SPARK-43416][CONNECT] Исправлена неправильная схема для запроса диапазона".
  • [SPARK-44312] [SC-136185] [CONNECT] [PYTHON] Разрешить задать агент пользователя с переменной среды
  • [SPARK-44154] [SC-136060] Реализация функций растрового изображения
  • [SPARK-43885] [SC-133996] [SQL] DataSource версии 2. Обработка команд MERGE для разностных источников
  • [SPARK-43924] [SC-135161] [CONNECT] [PYTHON] Добавление неправильных функций в Scala и Python
  • [SPARK-43969] [SC-134556] [SQL] Рефакторинг и назначение имен классу ошибок _LEGACY_ERROR_TEMP_1170
  • [SPARK-44185] [SC-135730] [SQL] Исправлен несогласованный путь, подходящий между операциями каталога и данными
  • [SPARK-44073] [SC-134562] [SQL] [PYTHON] [CONNECT] Добавление функций даты и времени в Scala, Python и Подключение — часть 2
  • [SPARK-43942] [SC-134527] [CONNECT] [PYTHON] Добавление строковых функций в Scala и Python — часть 1
  • [SPARK-44266] [SC-135813] [SQL] Перемещение Util.truncatedString в sql/api
  • [SPARK-44195] [SC-135722] [R] Добавление API JobTag в SparkContext SparkContext
  • [SPARK-44200] [SC-135736] [SQL] Поддержка правила синтаксического анализа аргументов TABLE для TableValuedFunction
  • [SPARK-44254] [SC-135709] [SQL] Перемещение QueryExecutionErrors, используемых DataType в sql/api в качестве DataTypeErrors
  • [SPARK-44291] [SC-135924] [SPARK-43416] [CONNECT] Исправлена неправильная схема для запроса диапазона
  • [SPARK-43922] [SC-135612] [SQL] Добавление поддержки именованных параметров в средство синтаксического анализа для вызовов функций
  • [SPARK-44300] [SC-135882] [CONNECT] Исправление очистки артефактов, чтобы ограничить удаление область определенным артефактам сеанса
  • [SPARK-44293] [SC-135849] [CONNECT] Исправлен недопустимый универсальный код ресурса (URI) для пользовательских JAR в Spark Подключение
  • [SPARK-44215] [SC-135850] [SHUFFLE] Если числовые блоки имеют значение 0, сервер должен вызвать RuntimeException
  • [SPARK-44245] [SC-135851] [PYTHON] pyspark.sql.dataframe sample() doctests должны быть иллюстрированными только
  • [SPARK-44274] [SC-135814] [CONNECT] Перемещение функций util, используемых ArtifactManager, в общие/utils
  • [SPARK-44194] [SC-135815] [PYTHON] [CORE] Добавление API-интерфейсов JobTag в PySpark SparkContext
  • [SPARK-42828] [SC-135733] [PYTHON] [SQL] Более явные заметки типов Python для GroupedData
  • [SPARK-44079] [SC-135486] [SQL] Исправление ArrayIndexOutOfBoundsException при анализе массива в качестве структуры с помощью режима PERMISSIVE с поврежденной записью
  • [SPARK-44255] [SC-135809] [SQL] Перемещение служба хранилища Level в common/utils
  • [SPARK-42169] [SC-135795] [SQL] Реализация создания кода для функции to_csv (StructsToCsv)
  • [SPARK-44249] [SC-135719] [SQL] [PYTHON] Рефакторинг PythonUDTFRunner для отправки возвращаемого типа отдельно
  • [SPARK-43353] [SC-132734] [PYTHON] Перенос оставшихся ошибок сеанса в класс ошибок
  • [SPARK-44211] [SC-135718] [PYTHON] [CONNECT] Реализация SparkSession.is_stopped
  • [SPARK-42784] [SC-135691] должен по-прежнему создавать вложенныйdir, если число вложенныхdir в dir слиянием меньше, чем conf
  • [SPARK-41599] [SC-135616] Утечка памяти в FileSystem.CACHE при отправке приложений в безопасный кластер с помощью InProcessLauncher
  • [SPARK-44241] [SC-135613] [Ядро] Ошибочно установить io.connectionTimeout/connectionCreationTimeout равным нулю или отрицательному вызовет непрекращающегося исполнителя cons/destructions
  • [SPARK-44133] [SC-134795] [13.X] [PYTHON] Обновление MyPy с версии 0.920 до 0.982
  • [SPARK-42941] [SC-134707] [SS] [CONNECT] [1/2] StreamingQueryListener — Event Serde в формате JSON
  • [SPARK-44188] [SC-135173] [CORE] Удаление бесполезного resetAllPartitions метода в ActiveJob
  • [SPARK-43757] [SC-135418] [CONNECT] Изменение совместимости клиента из списка разрешений на запрет списка
  • [SPARK-43474] [SC-135521] [SS] [CONNECT] Добавьте доступ spark connect к кадрам данных среды выполнения по идентификатору.
  • [SPARK-44183] [SC-135209] [PYTHON] Создание PyArrow минимальной версии до версии 4.0.0
  • [SPARK-44248] [SC-135554] [SS] [SQL] [Kafka] Добавление предпочтительного расположения в источнике kafka версии 2
  • [SPARK-43929] [SC-134510] [SQL] [PYTHON] [CONNECT] Добавление функций даты и времени в Api Scala, Python и Подключение — часть 1
  • [SPARK-44161] [SC-135326] [Подключение] Обработка входных данных строк для определяемых пользователем файлов
  • [SPARK-44227] [SC-135520] [SQL] Извлечение SchemaUtils из StructField
  • [SPARK-44064] [SC-135116] [CORE] [SQL] Добавление новой apply функции в NonFateSharingCache
  • [SPARK-44171] [SC-135269] [SQL] Назначение имен классу ошибок LEGACY_ERROR_TEMP[2279-2282] и удаление некоторых неиспользуемых классов ошибок
  • [SPARK-44056] [SC-134758] [SQL] Включение имени UDF в сообщение об ошибке выполнения UDF при наличии
  • [SPARK-44205] [SC-135422] [SQL] Извлечение кода катализатора из Десятичного типа
  • [SPARK-44220] [SC-135484] [SQL] Перемещение StringConcat в sql/api
  • [SPARK-44146] [SC-135230] [CONNECT] Изоляция jar-файлов сеансов и классов Spark Подключение
  • [SPARK-44206] [SC-135411] [SQL] DataSet.selectExpr область Session.active
  • [SPARK-40850] [SC-135417] [SQL] Исправление тестового случая, интерпретированного запросами, может выполнять Codegen
  • [SPARK-44204] [SC-135253] [SQL] [HIVE] Добавление отсутствующих записейHiveCall для getPartitionNames
  • [SPARK-44237] [SC-135485] [CORE] Упрощение логики поиска конструктора DirectByteBuffer
  • [SPARK-44189] [SC-135170] [CONNECT] [PYTHON] Поддержка позиционных параметров по sql()
  • [SPARK-44140] [SC-134893] [SQL] [PYTHON] Поддержка позиционных параметров в Python sql()
  • [SPARK-44164] [SC-135158] [SQL] Извлечение метода toAttribute из StructField в класс Util
  • [SPARK-44178] [SC-135113] [CONNECT] Поддержка позиционных параметров в sql()
  • [SPARK-43208] [SC-128955] [SQL] [HIVE] IsolatedClassLoader должен закрыть класс InputStream барьера после чтения
  • [SPARK-43063] [SC-128382] [SQL] df.show Дескриптор NULL должен печатать NULL вместо NULL
  • [SPARK-42539] [SC-124464] [SQL] [HIVE] Устранение отдельных загрузчика классов при использовании версии Hive для клиента метаданных с помощью встроенной версии Hive
  • [SPARK-43992] [SC-133645] [SQL] [PYTHON] [CONNECT] Добавление необязательного шаблона для Catalog.listFunctions
  • [SPARK-44066] [SC-134878] [SQL] Поддержка позиционных параметров в Scala/Java sql()
  • [SPARK-44078] [SC-134869] [CONNECT] [CORE] Добавление поддержки изоляции classloader/resource
  • [SPARK-43470] [SC-135187] [CORE] Добавление сведений о версиях ОС, Java, Python в журнал приложений
  • [SPARK-43136] [SC-135238] [CONNECT] [Отслеживание] Добавление тестов для keyAs
  • [SPARK-39740] [SC-135093] [Пользовательский интерфейс]: обновление до временная шкала до версии 7.7.2 для исправления CVE-2020-28487
  • [SPARK-42298] [SC-133952] [SQL] Назначение имени _LEGACY_ERROR_TEMP_2132
  • [SPARK-43961] [SC-133459] [SQL] [PYTHON] [CONNECT] Добавление необязательного шаблона для Catalog.listTables
  • [SPARK-44026] [SC-135181] Разрешить предоставление начального значения для SQLMetrics
  • [SPARK-44202] [SC-135244] [CORE] Добавление API-интерфейсов JobTag в JavaSparkContext
  • [SPARK-44030] [SC-135237] [SQL] Реализация DataTypeExpression для предложения Unapply для выражения
  • [SPARK-43876] Возврат "[SC-134603][SQL] Включение быстрого хэш-карты для отдельных запросов"
  • [SPARK-40082] [SC-126437] Планирование слиянияFinalize при отправке повторных попыток слияния shuffleMapStage, но выполнение задач не выполняется
  • [SPARK-438888] [SC-132893] [CORE] Переместите ведение журнала в общие и бесполезные
  • [SPARK-43474] [SC-134400] [SS] [CONNECT] Добавление sessionHolder в Spark Подключение Planner
  • [SPARK-43944] [SC-134490] [CONNECT] [PYTHON] Добавление строковых функций в Scala и Python — часть 2
  • [SPARK-44134] [SC-134954] [CORE] Исправление параметров ресурсов (GPU/FPGA) до 0, если они заданы в spark-defaults.conf
  • [SPARK-44142] [SC-134947] [PYTHON] Замените тип tpe в служебной программе, чтобы преобразовать типы Python в типы Spark
  • [SPARK-43952] [SC-134695] [CORE] [CONNECT] [SQL] Добавление API SparkContext для отмены запросов по тегу
  • [SPARK-44000] [SC-133634] [SQL] Добавление подсказки для отключения трансляции и реплика добавления одной стороны соединения
  • [SPARK-43937] [SC-134362] [CONNECT] [PYTHON] Добавление ifnull,isotnull,equal_null,nullif,nvl2 в Scala и Python
  • [SPARK-43624] [13.x] [SC-134557] [PS] [CONNECT] Добавьте EWM в Spark Подключение Planner.
  • [SPARK-44040] [SC-134366] [SQL] Исправление статистики вычислений, если узел AggregateExec выше QueryStageExec
  • [SPARK-43485] [SC-131264] [SQL] Исправление сообщения об ошибке для unit аргумента функций добавления и диффа даты и времени
  • [SPARK-43794] [SC-132561] [SQL] Назначьте имя классу ошибок _LEGACY_ERROR_TEMP_1335
  • [SPARK-43511] [SC-134749] [CONNECT] [SS] Реализованы API MapGroupsWithState и FlatMapGroupsWithState для Spark Подключение
  • [SPARK-43529] [SQL] Поддержка выражений CREATE/REPLACE TABLE OPTIONS + очистка кода
  • [SPARK-44106] [SC-134750] [PYTHON] [CONNECT] Добавить __repr__ для GroupedData
  • [SPARK-42299] [SC-133190] Назначение имени _LEGACY_ERROR_TEMP_2206
  • [SPARK-43290] [SC-134388] [SQL] Добавляет поддержку aes_encrypt IVs и AAD
  • [SPARK-43932] [SC-134138] [SQL] [PYTHON] [CONNECT] Добавление current таких функций в Scala и Python
  • [SPARK-43934] [SC-134108] [SQL] [PYTHON] [CONNECT] Добавление функций regexp_* в Scala и Python
  • [SPARK-44107] [SC-134746] [CONNECT] [PYTHON] Скрытие неподдерживаемых методов столбца из автоматического завершения
  • [SPARK-42941] [SC-134707] [SS] [CONNECT] [1/2] StreamingQueryListener — Event Serde в формате JSON
  • [SPARK-43773] [SC-132659] [CONNECT] [PYTHON] Реализация функций "levenshtein(str1, str2[, порог])" в клиенте Python
  • [SPARK-44125] [SC-134745] [R] Поддержка Java 21 в SparkR
  • [SPARK-43919] [SC-133374] [SQL] Извлечение функциональных возможностей JSON из строки
  • [SPARK-43769] [SC-132520] [CONNECT] Реализация функций "levenshtein(str1, str2[, порог])"
  • [SPARK-44012] [SC-134662] [SS] KafkaDataConsumer для печати некоторого состояния чтения
  • [SPARK-43876] [SC-134603] [SQL] Включение быстрого хэш-карты для отдельных запросов
  • [SPARK-44024] [SC-134497] [SQL] Изменение использования map только при unzip использовании для извлечения одного элемента
  • [SPARK-43928] [SC-134467] [SQL] [PYTHON] [CONNECT] Добавление битовой операции в Scala, Python и API Подключение
  • [SPARK-44092] [SC-134506] [CORE] Добавление Utils.isJavaVersionAtLeast21 и передача core модуля с помощью Java 21
  • [SPARK-44018] [SC-134512] [SQL] Улучшение хэшкода и toString для некоторых выражений DS V2
  • [SPARK-44105] [SC-134582] [SQL] LastNonNull должно быть неясно разрешено
  • [SPARK-44081] [SC-134434] Упрощение API PartitionedFileUtil немного
  • [SPARK-43791] [SC-132531] [SQL] Назначьте имя классу ошибок _LEGACY_ERROR_TEMP_1336
  • [SPARK-44071] [SC-134435] Определение и использование неразрешенного[лист|Унарии]Признаки узла.
  • [SPARK-43852] [SC-132890] [SPARK-43853] [SPARK-43854] [SPARK-43855] [SPARK-43856] Назначение имен классу ошибок _LEGACY_ERROR_TEMP_2418-2425
  • [SPARK-43742] [SC-132684] [SQL] Разрешение значений столбца по умолчанию рефакторинг
  • [SPARK-43493] [SC-132063] [SQL] Добавление аргумента максимального расстояния в функцию levenshtein()
  • [SPARK-44075] [SC-134382] [CONNECT] Сделать transformStatCorr ленивым
  • [SPARK-43925] [SC-134381] [SQL] [PYTHON] [CONNECT] Добавьте некоторые, bool_or,bool_and,каждый в Scala, Python и Подключение
  • [SPARK-43931] [SC-134158] [SQL] [PYTHON] [CONNECT] Добавление функций make_* в Scala и Python
  • [SPARK-43762] [SC-132602] [SPARK-43763] [SPARK-43764] [SPARK-43765] [SPARK-43766] [SQL] Назначение имен классу ошибок _LEGACY_ERROR_TEMP_24[06-10]
  • [SPARK-43962] [SC-133367] [SQL] Улучшение сообщений об ошибках: CANNOT_DECODE_URL, CANNOT_MERGE_INCOMPATIBLE_DATA_TYPE, CANNOT_PARSE_DECIMAL, CANNOT_READ_FILE_FOOTER. CANNOT_RECOGNIZE_HIVE_TYPE
  • [SPARK-43938] [SC-133887] [CONNECT] [PYTHON] Добавление функций to_* в Scala и Python
  • [SPARK-44055] [SC-134321] [CORE] Удаление избыточных override функций из CheckpointRDD
  • [SPARK-43802] [SC-132597] [SQL] Исправление кодегена для unhex и unbase64 с помощью failOnError=true
  • [SPARK-43798] [SC-133990] [SQL] [PYTHON] Поддержка пользовательских функций таблицы Python
  • [SPARK-43941] [SC-134286] [SQL] [PYTHON] [CONNECT] Добавление any_value, approx_percentile, count_if, first_value, histogram_numeric, last_value, сокращение до Scala, Python и API Подключение
  • [SPARK-43380] [SC-133100] [SQL] Устранение проблем с преобразованием типов данных Avro, чтобы избежать неправильного получения результатов
  • [SPARK-43803] [SC-133729] [SS] [CONNECT] Улучшение awaitTermination() для обработки отключений клиентов
  • [SPARK-43179] [SC-129070] [SHUFFLE] Разрешение приложениям контролировать, сохраняются ли их метаданные в базе данных внешней службой Shuffle.

Поддержка драйвера ODBC/JDBC Databricks

Databricks поддерживает драйверы ODBC/JDBC, выпущенные за последние 2 года. Скачайте недавно выпущенные драйверы и обновление (скачайте ODBC, скачайте JDBC).

Системная среда

  • Операционная система: Ubuntu 22.04.2 LTS
  • Java: Zulu 8.70.0.23-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.2.2
  • Delta Lake: 2.4.0

Установленные библиотеки Python

Библиотека Версия Библиотека Версия Библиотека Версия
appdirs 1.4.4 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.2.1 attrs 21.4.0 backcall 0.2.0
beautifulsoup4 4.11.1 black 22.6.0 bleach 4.1.0
blinker 1.4 boto3 1.24.28 botocore 1.27.28
certifi 2022.9.14 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 щелчок 8.0.4 Криптографии 37.0.1
cycler 0.11.0 Cython 0.29.32 databricks-sdk 0.1.6
dbus-python 1.2.18 debugpy 1.6.0 decorator 5.1.1
defusedxml 0.7.1 distlib 0.3.7 docstring-to-markdown 0,12
entrypoints 0,4 executing 1.2.0 facets-overview 1.0.3
fastjsonschema 2.18.0 filelock 3.12.2 шрифтовые инструменты 4.25.0
googleapis-common-protos 1.56.4 grpcio 1.48.1 grpcio-status 1.48.1
httplib2 0.20.2 idna 3,3 importlib-metadata 4.6.4
ipykernel 6.17.1 ipython 8.10.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 jedi 0.18.1 jeepney 0.7.1
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.2.0
jsonschema 4.16.0 jupyter-client 7.3.4 jupyter_core 4.11.2
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 Брелок 23.5.0
kiwisolver 1.4.2 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 MarkupSafe 2.0.1 matplotlib 3.5.2
matplotlib-inline 0.1.6 Маккейб 0.7.0 mistune 0.8.4
more-itertools 8.10.0 mypy-extensions 0.4.3 nbclient 0.5.13
nbconvert 6.4.4 nbformat 5.5.0 nest-asyncio 1.5.5
nodeenv 1.8.0 записная книжка 6.4.12 numpy 1.21.5
oauthlib 3.2.0 во внешнем виде 21,3 pandas 1.4.4
pandocfilters 1.5.0 parso 0.8.3 pathspec 0.9.0
patsy 0.5.2 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.2.0 pip 22.2.2 platformdirs 2.5.2
график 5.9.0 pluggy 1.0.0 prometheus-client 0.14.1
prompt-toolkit 3.0.36 protobuf 3.19.4 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 8.0.0 pycparser 2.21 pydantic 1.10.6
pyflakes 3.0.1 Pygments 2.11.2 PyGObject 3.42.1
PyJWT 2.3.0 pyodbc 4.0.32 pyparsing 3.0.9
pyright 1.1.294 pyrsistent 0.18.0 python-dateutil 2.8.2
python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1 pytoolconfig 1.2.2
pytz 2022.1 pyzmq 23.2.0 requests 2.28.1
Веревку 1.7.0 s3transfer 0.6.0 scikit-learn 1.1.1
scipy 1.9.1 Сиборн 0.11.2 Секрет служба хранилища 3.3.1
Send2Trash 1.8.0 setuptools 63.4.1 six 1.16.0
soupsieve 2.3.1 ssh-import-id 5,11 stack-data 0.6.2
statsmodels 0.13.2 tenacity 8.1.0 terminado 0.13.1
testpath 0.6.0 threadpoolctl 2.2.0 tokenize-rt 4.2.1
tomli 2.0.1 tornado 6.1 traitlets 5.1.1
typing_extensions 4.3.0 ujson 5.4.0 unattended-upgrades 0,1
urllib3 1.26.11 virtualenv 20.16.3 wadllib 1.3.6
wcwidth 0.2.5 webencodings 0.5.1 whatthepatch 1.0.2
wheel 0.37.1 widgetsnbextension 3.6.1 yapf 0.31.0
zipp 1.0.0

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка Microsoft CRAN 2023-02-10.

Библиотека Версия Библиотека Версия Библиотека Версия
Стрелка 10.0.1 askpass 1,1 assertthat 0.2.1
внутренние порты 1.4.1 base 4.2.2 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 большой двоичный объект 1.2.3
загрузка 1.3-28 Заваривать 1,0–8 brio 1.1.3
Метлу 1.0.3 bslib 0.4.2 cachem 1.0.6
вызывающий объект 3.7.3 крышка 6.0-93 cellranger 1.1.0
chron 2.3-59 class 7.3-21 cli 3.6.0
clipr 0.8.0 clock 0.6.1 cluster 2.1.4
codetools 0.2-19 colorspace 2.1-0 commonmark 1.8.1
компилятор 4.2.2 config 0.3.1 cpp11 0.4.3
Карандаш 1.5.2 учетные данные 1.3.2 curl 5.0.0
data.table 1.14.6 наборы данных 4.2.2 DBI 1.1.3
dbplyr 2.3.0 desc 1.4.2 средства разработки 2.4.5
diffobj 0.3.5 digest 0.6.31 downlit 0.4.2
dplyr 1.1.0 dtplyr 1.2.2 e1071 1.7-13
многоточие 0.3.2 evaluate 0,20 вентиляторы 1.0.4
Farver 2.1.1 fastmap 1.1.0 fontawesome 0.5.0
forcats 1.0.0 foreach 1.5.2 Иностранных 0.8-82
forge 0.2.0 fs 1.6.1 будущее 1.31.0
future.apply 1.10.0 gargle 1.3.0 Универсальные шаблоны 0.1.3
gert 1.9.2 ggplot2 3.4.0 gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-6 globals 0.16.2
Клей 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
Говер 1.0.1 графика 4.2.2 grDevices 4.2.2
grid 4.2.2 gridExtra 2.3 gsubfn 0,7
gtable 0.3.1 hardhat 1.2.0 haven 2.5.1
высокий 0.10 Hms 1.1.2 htmltools 0.5.4
htmlwidgets 1.6.1 httpuv 1.6.8 httr 1.4.4
ids 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.7 Итераторы 1.0.14 jquerylib 0.1.4
jsonlite 1.8.4 KernSmooth 2.23-20 трикотажный 1.42
Маркировки 0.4.2 later 1.3.0 Решетки 0.20-45
Lava 1.7.1 жизненный цикл 1.0.3 listenv 0.9.0
lubridate 1.9.1 magrittr 2.0.3 Markdown 1.5
МАССАЧУСЕТС 7.3-58.2 «Матрица» 1.5-1 memoise 2.0.1
оплаты 4.2.2 mgcv 1.8-41 Mime 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.10
munsell 0.5.0 nlme 3.1-162 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.5 parallel 4.2.2
parallelly 1.34.0 Столб 1.8.1 pkgbuild 1.4.0
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2
plogr 0.2.0 plyr 1.8.8 Похвалы 1.0.0
prettyunits 1.1.1 Proc 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 Ход выполнения 1.2.2
progressr 0.13.0 promises 1.2.0.1 proto 1.0.0
proxy 0.4-27 ps 1.7.2 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.10 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.2 Рецепты 1.0.4
Реванш 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown 2,20 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-12
RSQLite 2.2.20 rstudioapi 0,14 rversions 2.1.2
rvest 1.0.3 sass 0.4.5 Весы 1.2.1
селектор 0.4-2 sessioninfo 1.2.2 Формы 1.4.6
Блестящие 1.7.4 sourcetools 0.1.7-1 sparklyr 1.7.9
SparkR 3.4.1 пространственный 7.3-15 Сплайны 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.2.2
статистика4 4.2.2 stringi 1.7.12 stringr 1.5.0
Выживания 3.5-3 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.6 textshaping 0.3.6
tibble 3.1.8 tidyr 1.3.0 tidyselect 1.2.0
tidyverse 1.3.2 timechange 0.2.0 TimeDate 4022.108
tinytex 0,44 средства 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.3
служебные программы 4.2.2 uuid 1.1-0 vctrs 0.5.2
viridisLite 0.4.1 vroom 1.6.1 waldo 0.4.0
виски 0.4.1 withr 2.5.0 xfun 0,37
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
Yaml 2.3.7 zip 2.2.2

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)

ИД группы Идентификатор артефакта Версия
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics потоковая передача 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.2.0
com.databricks jets3t 0.7.1–0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.14.2
com.fasterxml.jackson.core jackson-core 2.14.2
com.fasterxml.jackson.core jackson-databind 2.14.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.14.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.14.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1,1
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.2-5
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.9
com.google.crypto.tink tink 1.7.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.214
com.helger профилировщик 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.7.1
io.dropwizard.metrics metrics-core 4.2.10
io.dropwizard.metrics metrics-graphite 4.2.10
io.dropwizard.metrics metrics-healthchecks 4.2.10
io.dropwizard.metrics metrics-jetty9 4.2.10
io.dropwizard.metrics metrics-jmx 4.2.10
io.dropwizard.metrics metrics-json 4.2.10
io.dropwizard.metrics metrics-jvm 4.2.10
io.dropwizard.metrics metrics-servlets 4.2.10
io.netty netty-all 4.1.87.Final
io.netty netty-buffer 4.1.87.Final
io.netty netty-codec 4.1.87.Final
io.netty netty-codec-http 4.1.87.Final
io.netty netty-codec-http2 4.1.87.Final
io.netty netty-codec-socks 4.1.87.Final
io.netty netty-common 4.1.87.Final
io.netty netty-handler 4.1.87.Final
io.netty netty-handler-proxy 4.1.87.Final
io.netty netty-resolver 4.1.87.Final
io.netty netty-transport 4.1.87.Final
io.netty netty-transport-classes-epoll 4.1.87.Final
io.netty netty-transport-classes-kqueue 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.87.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.87.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Коллектор 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db2
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1,3
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.33
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow arrow-format 11.0.0
org.apache.arrow arrow-memory-core 11.0.0
org.apache.arrow arrow-memory-netty 11.0.0
org.apache.arrow arrow-vector 11.0.0
org.apache.avro avro 1.11.1
org.apache.avro avro-ipc 1.11.1
org.apache.avro avro-mapred 1.11.1
org.apache.commons commons-collections4 4.4.
org.apache.commons commons-compress 1,21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.19.0
org.apache.logging.log4j log4j-api 2.19.0
org.apache.logging.log4j log4j-core 2.19.0
org.apache.logging.log4j log4j-slf4j2-impl 2.19.0
org.apache.mesos mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.8.4-шейд-protobuf
org.apache.orc orc-mapreduce 1.8.4-шейд-protobuf
org.apache.orc orc-shims 1.8.4
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.22
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.19.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.51.v20230217
org.eclipse.jetty jetty-continuation 9.4.51.v20230217
org.eclipse.jetty jetty-http 9.4.51.v20230217
org.eclipse.jetty jetty-io 9.4.51.v20230217
org.eclipse.jetty jetty-jndi 9.4.51.v20230217
org.eclipse.jetty jetty-plus 9.4.51.v20230217
org.eclipse.jetty jetty-proxy 9.4.51.v20230217
org.eclipse.jetty jetty-security 9.4.51.v20230217
org.eclipse.jetty jetty-server 9.4.51.v20230217
org.eclipse.jetty jetty-servlet 9.4.51.v20230217
org.eclipse.jetty jetty-servlets 9.4.51.v20230217
org.eclipse.jetty jetty-util 9.4.51.v20230217
org.eclipse.jetty jetty-util-ajax 9.4.51.v20230217
org.eclipse.jetty jetty-webapp 9.4.51.v20230217
org.eclipse.jetty jetty-xml 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-api 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-client 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-common 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-server 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-servlet 9.4.51.v20230217
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.8
org.roaringbitmap RoaringBitmap 0.9.39
org.roaringbitmap shims 0.9.39
org.rocksdb rocksdbjni 7.8.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest Scalatest-compatible 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.6
org.slf4j jul-to-slf4j 2.0.6
org.slf4j slf4j-api 2.0.6
org.threeten threeten-extra 1.7.1
org.tukaani xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.1
org.yaml snakeyaml 1.33
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1