Databricks Runtime 13.3 LTS
В следующих заметках о выпуске содержатся сведения о Databricks Runtime 13.3 LTS, на базе Apache Spark 3.4.1.
Databricks выпустила эту версию в августе 2023 года.
Примечание.
LTS означает, что эта версия находится в долгосрочной поддержке. См. жизненный цикл версии LTS среды выполнения Databricks.
Совет
Сведения о выпуске заметок о выпуске Databricks Runtime, которые достигли окончания поддержки (EoS), см . в заметках о выпуске Databricks Runtime. Версии среды выполнения EoS Databricks устарели и могут не обновляться.
Новые функции и внесенные улучшения
- Поддержка Scala для общих кластеров
- Список разрешений для сценариев инициализации, JAR и Maven координат в общих кластерах каталога Unity находится в общедоступной предварительной версии
- Поддержка томов для сценариев init и JAR доступна в общедоступной предварительной версии
- Безопасные приведения, включаемые по умолчанию для операций Delta Lake
- Знакомство с тегами с каталогом Unity
- Databricks Runtime возвращает ошибку, если файл изменяется между планированием запросов и вызовом
- Блокировка перезаписи схемы при использовании динамических перезаписей секций
- Интеграция API copyFile в dbutils.fs.cp
- Поддержка драйвера ODBC/JDBC Databricks
- Поддержка маркеров неименованных (позиционных) меток параметров
- Включение меток столбцов временных рядов
- Новые функции SQL растрового изображения
- Улучшенные функции шифрования
- Поддержка каталога Unity для REFRESH FOREIGN
- ВСТАВКА ПО ИМЕНИ
- Совместное использование материализованных представлений с помощью разностного общего доступа
Поддержка Scala для общих кластеров
Общие кластеры с поддержкой каталога Unity теперь поддерживают Scala при использовании Databricks Runtime 13.3 и более поздних версий.
Список разрешений для сценариев инициализации, JAR и Maven координат в общих кластерах каталога Unity находится в общедоступной предварительной версии
Теперь вы можете использовать каталог allowlist Unity для управления установкой скриптов инициализации, JAR и Maven координат для вычислений с общим режимом доступа под управлением Databricks Runtime 13.3 и более поздних версий. См . библиотеки allowlist и скрипты инициализации в общих вычислительных ресурсах.
Поддержка томов для сценариев init и JAR доступна в общедоступной предварительной версии
Теперь вы можете использовать тома каталога Unity для хранения скриптов и ИНИЦ для вычислений с назначенными или общими режимами доступа, работающими под управлением Databricks Runtime 13.3 и более поздних версий. См. статью " Где можно установить скрипты инициализации" и библиотеки с областью действия кластера.
Безопасные приведения, включаемые по умолчанию для операций Delta Lake
Разностные UPDATE операции MERGE теперь приводят к ошибке, когда значения не могут быть безопасно приведение к типу в схеме целевой таблицы. Все неявные приведения в Delta теперь следуют spark.sql.storeAssignmentPolicy вместо spark.sql.ansi.enabled. См. сведения о соответствии ANSI в Databricks Runtime.
Знакомство с тегами с каталогом Unity
С помощью Databricks Runtime 13.3 LTS и более поздних версий можно применить теги к защищаемым объектам. Теги помогают упорядочить защищаемые объекты и упростить поиск и обнаружение ресурсов данных. См. раздел "Применение тегов к защищаемым объектам каталога Unity".
Databricks Runtime возвращает ошибку, если файл изменяется между планированием запросов и вызовом
Запросы среды выполнения Databricks теперь возвращают ошибку, если файл обновляется между планированием запросов и вызовом. Перед этим изменением Databricks Runtime считывает файл между этими этапами, что иногда приводит к непредсказуемым результатам.
Блокировка перезаписи схемы при использовании динамических перезаписей секций
Нельзя задать overwriteSchema значение true в сочетании с динамическими перезаписями секций в Delta Lake. Это предотвращает возможное повреждение таблицы из-за несоответствия схемы. См . перезаписи динамических разделов.
Интеграция API copyFile в dbutils.fs.cp
Команда dbutils.fs.cp копирования dbutils оптимизирована для ускорения копирования. Благодаря этому улучшению операции копирования могут быть до 100x быстрее, в зависимости от размера файла. Эта функция доступна во всех файловых системах, доступных в Azure Databricks, в том числе для томов каталога Unity и подключений файловой системы Databricks.
Поддержка драйвера ODBC/JDBC Databricks
Azure Databricks поддерживает драйверы ODBC и JDBC, выпущенные за последние 2 года. Скачайте последнюю версию драйвера ODBC и скачайте JDBC Driver.
Поддержка маркеров неименованных (позиционных) меток параметров
SparkSession.sql() ТЕПЕРЬ API поддерживает параметризованные запросы с помощью ? синтаксиса в дополнение к параметризованным запросам с помощью синтаксиса:parm. См . маркеры параметров.
Включение меток столбцов временных рядов
Теперь можно пометить столбцы временных рядов при создании ограничений первичного ключа.
Новые функции SQL растрового изображения
Azure Databricks теперь предоставляет набор функций, которые можно использовать для сопоставления целочисленных числовых значений с растровым изображением и агрегирования их. Это можно использовать для предварительного вычисления числа различных значений.
Улучшенные функции шифрования
Функции aes_encrypt, aes_decrypt и try_aes_decrypt были улучшены с поддержкой векторов инициализации (IV) и прошли проверку подлинности дополнительных данных (AAD).
Поддержка каталога Unity для REFRESH FOREIGN
Теперь можно обновить внешние каталоги, схемы и таблицы в каталоге Unity с помощью REFRESH FOREIGN CATALOG, REFRESH FOREIGN SCHEMAа также REFRESH FOREIGN TABLE. См. раздел REFRESH FOREIGN (CATALOG, SCHEMA и TABLE).
ВСТАВКА ПО ИМЕНИ
При вставке строк в таблицу теперь можно разрешить Azure Databricks сопоставлять столбцы и поля в исходном запросе автоматически столбцам таблицы по их имени. См. раздел INSERT INTO.
Совместное использование материализованных представлений с помощью разностного общего доступа
Инструкция ALTER SHARE теперь поддерживает материализованные представления.
Критические изменения
Изменения неявного приведения при хранении строк в таблице с помощью MERGE INTO и UPDATE
Azure Databricks теперь следует конфигурации spark.sql.storeAssignmentPolicy неявного приведения при хранении строк в таблице. Значение ANSI по умолчанию вызывает ошибку при хранении значений, которые переполнены. Ранее значения будут храниться как NULL по умолчанию.
Как и в следующем примере, можно устранить переполнение, перезаписав таблицу, чтобы использовать более широкий тип для столбца, вызывающего ошибку.
-- Enable column mapping
ALTER TABLE MyTable SET TBLPROPERTIES (
'delta.minReaderVersion' = '2',
'delta.minWriterVersion' = '5',
'delta.columnMapping.mode' = 'name'
)
-- Rename the old column and create a new column with the new type using the old name
ALTER TABLE MyTable RENAME ID to ID_old
ALTER TABLE MyTable ADD COLUMN ID BIGINT
-- Rewrite the entire table
UPDATE MyTable SET ID = ID_old
-- Drop the old column
ALTER TABLE MyTable DROP COLUMN ID_old
Изменения вывода схемы Parquet
При выводе схем из файлов Parquet, не написанных Spark, int64 столбцы метки времени, аннотированные с isAdjustedToUTC=false типом по умолчанию TIMESTAMP_NTZ . Ранее они были выведены как TIMESTAMP тип. Это обновление повышает точность сопоставления типов Parquet с типами Spark SQL.
В результате чтение данных из внешних файлов Parquet в таблицу Delta может привести к ошибке, если функция не включена timestampNtz . Ошибка будет отображаться следующим образом:
Fatal exception of the update:
com.databricks.sql.transaction.tahoe.DeltaTableFeatureException
Your table schema requires manual enablement of the following table feature(s): timestampNtz.
Чтобы сохранить предыдущее поведение и предотвратить эту ошибку, можно задать для параметра конфигурации Spark значение spark.sql.parquet.inferTimestampNTZ.enabled false.
Обновления библиотек
- Обновленные библиотеки Python:
- debugpy от 1.5.1 до 1.6.0
- distlib от 0.3.6 до 0.3.7
- fastjsonschema от 2.16.3 до 2.18.0
- блокировка файлов от 3.12.0 до 3.12.2
- Обновленные библиотеки R:
- SparkR от 3.4.0 до 3.4.1
- Обновленные библиотеки Java:
- org.apache.orc.orc-core с 1.8.3-шейд-protobuf до 1.8.4-шейд-protobuf
- org.apache.orc.orc-mapreduce от 1.8.3-shaded-protobuf до 1.8.4-шейд-protobuf
- org.apache.orc.orc-shims от 1.8.3 до 1.8.4
- org.eclipse.jetty.jetty-client с 9.4.50.v202121201 до 9.4.51.v20230217
- org.eclipse.jetty.jetty-продолжение с 9.4.50.v202121201 до 9.4.51.v20230217
- org.eclipse.jetty.jetty-http с 9.4.50.v2021201 до 9.4.51.v20230217
- org.eclipse.jetty.jetty-io с 9.4.50.v2021201 до 9.4.51.v20230217
- org.eclipse.jetty.jetty-jndi от 9.4.50.v2021201 до 9.4.51.v20230217
- org.eclipse.jetty.jetty-plus от 9.4.50.v2021201 до 9.4.51.v20230217
- org.eclipse.jetty.jetty-proxy от 9.4.50.v202121201 до 9.4.51.v20230217
- org.eclipse.jetty.jetty-security с 9.4.50.v2021201 до 9.4.51.v20230217
- org.eclipse.jetty.jetty-server с 9.4.50.v2021201 до 9.4.51.v20230217
- org.eclipse.jetty.jetty-servlet от 9.4.50.v2021201 до 9.4.51.v20230217
- org.eclipse.jetty.jetty-servlets с 9.4.50.v2021201 до 9.4.51.v20230217
- org.eclipse.jetty.jetty-util от 9.4.50.v202121201 до 9.4.51.v20230217
- org.eclipse.jetty.jetty-util-ajax с 9.4.50.v2021201 до 9.4.51.v20230217
- org.eclipse.jetty.jetty-webapp с 9.4.50.v202121201 до 9.4.51.v20230217
- org.eclipse.jetty.jetty-xml с 9.4.50.v2021201 до 9.4.51.v20230217
- org.eclipse.jetty.websocket.websocket-api с 9.4.50.v2021201 до 9.4.51.v20230217
- org.eclipse.jetty.websocket.websocket-client с 9.4.50.v2021201 до 9.4.51.v20230217
- org.eclipse.jetty.websocket.websocket-common с 9.4.50.v2021201 до 9.4.51.v20230217
- org.eclipse.jetty.websocket.websocket-server с 9.4.50.v2021201 до 9.4.51.v20230217
- org.eclipse.jetty.websocket.websocket-servlet от 9.4.50.v202121201 до 9.4.51.v20230217
- org.xerial.snappy.snappy-java с версии 1.1.8.4 до 1.1.10.1
Apache Spark
Databricks Runtime 13.3 включает Apache Spark 3.4.1. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 13.2 (EoS), а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:
- Теперь можно задать переменную
SNOWFLAKE_SPARK_CONNECTOR_VERSION=2.12среды кластера для использования соединителя Spark-snowflake версии 2.12.0. - [SPARK-43380] [DBRRM-383] Возврат "[SC-133100][SQL] Исправление типа данных Avro...
- [SPARK-44504] [Backport][13.2][13.x][13.3] Выгрузка поставщика, тем самым заставляя экземпляр базы данных закрыть и освободить ресурсы при ошибке задачи обслуживания
- [SPARK-44059] [SC-137023] Добавление поддержки анализатора именованных аргументов для встроенных функций
- [SPARK-44485] [SC-137653][SQL] Оптимизация TreeNode.generateTreeString
- [SPARK-42944] [SC-137164][SS][PYTHON] Потоковая передача ForeachBatch в Python
- [SPARK-44446] [SC-136994][PYTHON] Добавление проверок для ожидаемых вариантов типа списка
- [SPARK-44439] [SC-136973][CONNECT][SS]Исправлен списокListeners для отправки идентификаторов только клиенту
- [SPARK-44216] [SC-136941] [PYTHON] Создание общедоступного API assertSchemaEqual
- [SPARK-44201] [SC-136778][CONNECT][SS]Добавление поддержки прослушивателя потоковой передачи в Scala для Spark Connect
- [SPARK-43915] [SC-134766][SQL] Назначьте имена классу ошибок LEGACY_ERROR_TEMP[2438-2445]
- [SPARK-43798] Возврат "[SC-133990][SQL][PYTHON] Поддержка пользовательских функций таблицы Python"
- [SPARK-44398] [SC-136720][CONNECT] Scala foreachBatch API
- [SPARK-44476] [SC-137169][CORE][CONNECT] Исправление совокупности артефактов для JobArtifactState без связанных артефактов
- [SPARK-44269] [SC-135817][SQL] Назначение имен классу ошибок LEGACY_ERROR_TEMP[2310-2314]
- [SPARK-44395] [SC-136744][SQL] Обновление аргументов TVF, чтобы требовать круглые скобки вокруг идентификатора после ключевого слова TABLE
- [SPARK-43915] [SC-134766][SQL] Назначьте имена классу ошибок LEGACY_ERROR_TEMP[2438-2445]
- [SPARK-43995] [SC-136794][SPARK-43996][CONNECT] Добавление поддержки UDFRegistration в клиент Connect Scala
- [SPARK-44109] [SC-134755][CORE] Удаление повторяющихся предпочтительных расположений каждой секции RDD
- [SPARK-44169] [SC-135497][SQL] Назначение имен классу ошибок LEGACY_ERROR_TEMP[2300-2304]
- [SPARK-41487] [SC-135636][SQL] Назначение имени _LEGACY_ERROR_TEMP_1020
- [SPARK-44398] [SC-136720][CONNECT] Scala foreachBatch API
- [SPARK-44153] [SC-134977][CORE][пользовательский интерфейс] Столбец поддержки
Heap HistogramнаExecutorsвкладке - [SPARK-44044] [SC-135695][SS] Улучшение сообщения об ошибке для функций Окон с помощью потоковой передачи
- [SPARK-43914] [SC-135414][SQL] Назначение имен классу ошибок LEGACY_ERROR_TEMP[2433-2437]
- [SPARK-44217] [SC-136805][PYTHON] Разрешить пользовательскую точность для приблизительного равенства fp
- [SPARK-44370] [SC-136575][CONNECT] Перенос альфа-канала удаленного поколения Buf на удаленные подключаемые модули
- [SPARK-44410] [SC-136930][PYTHON][CONNECT] Настройка активного сеанса в создании, а не только getOrCreate
- [SPARK-44348] [SAS-1910][SC-136644][13.X][CORE][CONNECT][PYTHON] Повторное test_artifact с соответствующими изменениями
- [SPARK-44145] [SC-136698][SQL] Обратный вызов при готовности к выполнению
- [SPARK-44264] [SC-136870][PYTHON][ML] Класс FunctionPickler
- [SPARK-43986] [SC-135623][SQL] Создание классов ошибок для сбоев вызовов функции HyperLog
- [SPARK-44139] [SC-134967][SQL] Отмена полностью отложенных фильтров в групповых операциях MERGE
- [SPARK-44338] [SC-136718][SQL] Исправлено сообщение об ошибке несоответствия схемы представления
- [SPARK-44208] [SC-135505][CORE][SQL] Назначение четких имен классов ошибок для какой-то логики, которая напрямую использует исключения
- [SPARK-44364] [SC-136773] [PYTHON] Добавление поддержки типа данных List[Row] для ожидаемого
- [SPARK-44180] [SC-136792][SQL] DistributionAndOrderingUtils должен применять ResolveTimeZone
- [SPARK-43389] [SC-136772][SQL] Добавлена проверка null для параметра lineSep
- [SPARK-44388] [SC-136695][CONNECT] Исправлена проблема при приведения protobuf при обновлении экземпляра UDF
- [SPARK-44352] [SC-136373][CONNECT] Верните ту же тип и друзья в DataType.
- [SPARK-43975] [SC-134265][SQL] DataSource версии 2. Обработка команд UPDATE для групповых источников
- [SPARK-44360] [SC-136461][SQL] Поддержка очистки схемы в операциях MERGE на основе разностных данных
- [SPARK-44138] [SC-134907][SQL] Запретить недетерминированные выражения, вложенные запросы и агрегаты в условиях MERGE
- [SPARK-43321] [SC-136678][Подключение][Отслеживание] Лучшие имена API, используемых в подключении клиента ScalaWith
- [SPARK-44263] [SC-136447][CONNECT] Поддержка пользовательских перехватчиков
- [SPARK-39851] [SC-123383][SQL] Улучшение оценки статистики соединения, если одна сторона может сохранить уникальность
- [SPARK-44390] [SC-136677][CORE][SQL] Переименование
SparkSerDerseUtilsвSparkSerDeUtils - [SPARK-44004] [SC-134751][SQL] Назначьте имя и улучшайте сообщение об ошибке для частых ошибок LEGACY.
- [SPARK-44322] [SC-136204][CONNECT] Сделайте средство синтаксического анализа используйте SqlApiConf вместо SQLConf.
- [SPARK-44271] [SC-136347][SQL] Перемещение функций значений по умолчанию из StructType в ResolveDefaultColumns
- [SPARK-44332] [SC-136413][CORE][WEBUI] Исправлена ошибка сортировки столбца идентификатора исполнителя на странице пользовательского интерфейса исполнителя
- [SPARK-44282] [SC-135948][CONNECT] Подготовка синтаксического анализа DataType для использования в клиенте Spark Connect Scala
- [SPARK-44349] [SC-136581][R] Добавление математических функций в SparkR
- [SPARK-44397] [SC-136647][PYTHON] Предоставление assertDataFrameEqual в pyspark.testing.utils
- [SPARK-42981] [SC-136620][CONNECT] Добавление сериализации прямых стрелок
- [SPARK-44373] [SC-136577][SQL] Оболочка с помощью api набора данных w/parse logic, чтобы обеспечить работу связанной конфигурации синтаксического анализа
- [SPARK-44340] [SC-136574][SQL] Определите логику вычислений с помощью API PartitionEvaluator и используйте ее в WindowGroupLimitExec
- [SPARK-43665] [SC-136573][CONNECT][PS] Включение PandasSQLStringFormatter.vformat для работы с Spark Connect
- [SPARK-44325] [SC-136572][SQL] Использование API PartitionEvaluator в SortMergeJoinExec
- [SPARK-44315] [SC-136171][SQL][CONNECT] Перемещение DefinedByConstructorParams в sql/api
- [SPARK-44275] [SC-136184][CONNECT] Добавление настраиваемого механизма повтора в Scala Spark Connect
- [SPARK-44326] [SC-136208][SQL][CONNECT] Перемещение используемых из клиента Scala в общие модули
- [SPARK-43321] [SC-136156][Подключение] Набор данных#Joinwith
- [SPARK-44343] [SC-136372][CONNECT] Подготовка ScalaReflection к переходу на SQL/API
- [SPARK-44313] [SC-136081][SQL] Исправлена проверка сгенерированного выражения столбца при наличии столбца char/varchar в схеме
- [SPARK-43963] [SC-134145][SQL] DataSource версии 2. Обработка команд MERGE для групповых источников
- [SPARK-44363] [SC-136433] [PYTHON] Отображение процента неравных строк в сравнении с кадрами данных
- [SPARK-44251] [SC-136432][SQL] Правильно задать значение NULL для ключа объединения в полном внешнем соединении USING
- [SPARK-43948] [SC-133366][SQL] Назначение имен классу ошибок LEGACY_ERROR_TEMP[0050|0057|0058|0059]
- [SPARK-44329] [SC-136326][CONNECT][PYTHON] Добавление hll_sketch_agg, hll_union_agg, to_varchar, try_aes_decrypt в Scala и Python
- [SPARK-44351] [SC-136353][SQL] Создание синтаксического упрощения
- [SPARK-44281] [SC-135963][SQL] Перемещение ошибки QueryCompilation, используемой DataType в sql/api в качестве DataTypeErrors
- [SPARK-44283] [SC-136109][CONNECT] Перемещение источника в SQL/API
- [SPARK-43926] [SC-135590][CONNECT][PYTHON] Добавление array_agg, array_size, кратности, count_min_sketch,mask,named_struct,json_* в Scala и Python
- [SPARK-44327] [SC-136187][SQL][CONNECT] Добавление функций
anyиlenв Scala - [SPARK-44290] [SC-136300][CONNECT] Файлы и архивы на основе сеансов в Spark Connect
- [SPARK-44061] [SC-136299][PYTHON] Добавление функции assertDataFrameEqual util
- [SPARK-44331] [SC-136324][CONNECT][PYTHON] Добавление функций растрового изображения в Scala и Python
- [SPARK-44342] [SC-136334][SQL] Замена SQLContext на SparkSession для GenTPCDSData
- [SPARK-42583] [SC-124190][SQL] Удалите внешнее соединение, если они являются всеми отдельными агрегатными функциями
- [SPARK-44333] [SC-136206][CONNECT][SQL] Перемещение EnhancedLogicalPlan из ParserUtils
- [SPARK-43824] [SC-132655][SPARK-43825] [SQL] Назначение имен классу ошибок _LEGACY_ERROR_TEMP_128[1-2]
- [SPARK-43939] [SC-134602][CONNECT][PYTHON] Добавление функций try_* в Scala и Python
- [SPARK-44193] [SC-135886][CONNECT] Реализация перехвата исключений GRPC для преобразования
- [SPARK-44284] [SC-136107][CONNECT] Создание простой системы конференц-связи для SQL/API
- [SPARK-43913] [SC-133368][SQL] Назначение имен классу ошибок LEGACY_ERROR_TEMP[2426-2432]
- [SPARK-44291] Возврат "[SC-135924][SPARK-43416][CONNECT] Исправлена неправильная схема для запроса диапазона".
- [SPARK-44312] [SC-136185][CONNECT][PYTHON] Разрешить задать агент пользователя с переменной среды
- [SPARK-44154] [SC-136060] Реализация функций растрового изображения
- [SPARK-43885] [SC-133996][SQL] DataSource версии 2. Обработка команд MERGE для разностных источников
- [SPARK-43924] [SC-135161][CONNECT][PYTHON] Добавление неправильных функций в Scala и Python
- [SPARK-43969] [SC-134556][SQL] Рефакторинг и назначение имен классу ошибок _LEGACY_ERROR_TEMP_1170
- [SPARK-44185] [SC-135730][SQL] Исправлен несогласованный путь, подходящий между операциями каталога и данными
- [SPARK-44073] [SC-134562][SQL][PYTHON][CONNECT] Добавление функций даты и времени в Scala, Python и Connect — часть 2
- [SPARK-43942] [SC-134527][CONNECT][PYTHON] Добавление строковых функций в Scala и Python — часть 1
- [SPARK-44266] [SC-135813][SQL] Перемещение Util.truncatedString в sql/api
- [SPARK-44195] [SC-135722][R] Добавление API JobTag в SparkContext SparkContext
- [SPARK-44200] [SC-135736][SQL] Поддержка правила синтаксического анализа аргументов TABLE для TableValuedFunction
- [SPARK-44254] [SC-135709][SQL] Перемещение QueryExecutionErrors, используемых DataType в sql/api в качестве DataTypeErrors
- [SPARK-44291] [SC-135924][SPARK-43416][CONNECT] Исправлена неправильная схема для запроса диапазона
- [SPARK-43922] [SC-135612][SQL] Добавление поддержки именованных параметров в средство синтаксического анализа для вызовов функций
- [SPARK-44300] [SC-135882][CONNECT] Исправление очистки артефактов, чтобы ограничить область удаления определенными артефактами сеанса
- [SPARK-44293] [SC-135849][CONNECT] Исправлен недопустимый универсальный код ресурса (URI) для пользовательских JAR в Spark Connect
- [SPARK-44215] [SC-135850][SHUFFLE] Если числовые блоки имеют значение 0, сервер должен вызвать RuntimeException
- [SPARK-44245] [SC-135851][PYTHON] pyspark.sql.dataframe sample() doctests должны быть иллюстрированными только
- [SPARK-44274] [SC-135814][CONNECT] Перемещение функций util, используемых ArtifactManager, в общие/utils
- [SPARK-44194] [SC-135815][PYTHON][CORE] Добавление API-интерфейсов JobTag в PySpark SparkContext
- [SPARK-42828] [SC-135733][PYTHON][SQL] Более явные заметки типов Python для GroupedData
- [SPARK-44079] [SC-135486][SQL] Исправление
ArrayIndexOutOfBoundsExceptionпри анализе массива в качестве структуры с помощью режима PERMISSIVE с поврежденной записью - [SPARK-44255] [SC-135809][SQL] Перемещение StorageLevel в common/utils
- [SPARK-42169] [SC-135795] [SQL] Реализация создания кода для функции to_csv (StructsToCsv)
- [SPARK-44249] [SC-135719][SQL][PYTHON] Рефакторинг PythonUDTFRunner для отправки возвращаемого типа отдельно
- [SPARK-43353] [SC-132734][PYTHON] Перенос оставшихся ошибок сеанса в класс ошибок
- [SPARK-44211] [SC-135718][PYTHON][CONNECT] Реализация SparkSession.is_stopped
- [SPARK-42784] [SC-135691] должен по-прежнему создавать вложенныйdir, если число вложенныхdir в dir слиянием меньше, чем conf
- [SPARK-41599] [SC-135616] Утечка памяти в FileSystem.CACHE при отправке приложений в безопасный кластер с помощью InProcessLauncher
- [SPARK-44241] [SC-135613][Ядро] Ошибочно установить io.connectionTimeout/connectionCreationTimeout равным нулю или отрицательному вызовет непрекращающегося исполнителя cons/destructions
- [SPARK-44133] [SC-134795][13.X][PYTHON] Обновление MyPy с версии 0.920 до 0.982
- [SPARK-42941] [SC-134707][SS][CONNECT][1/2] StreamingQueryListener — Event Serde в формате JSON
- [SPARK-44188] [SC-135173][CORE] Удаление бесполезного
resetAllPartitionsметода вActiveJob - [SPARK-43757] [SC-135418][CONNECT] Изменение совместимости клиента из списка разрешений на запрет списка
- [SPARK-43474] [SC-135521] [SS] [CONNECT] Добавьте доступ spark connect к кадрам данных среды выполнения по идентификатору.
- [SPARK-44183] [SC-135209][PYTHON] Создание
PyArrowминимальной версии до версии 4.0.0 - [SPARK-44248] [SC-135554][SS][SQL][Kafka] Добавление предпочтительного расположения в источнике kafka версии 2
- [SPARK-43929] [SC-134510][SQL][PYTHON][CONNECT] Добавление функций даты и времени в Scala, Python и Connect API — часть 1
- [SPARK-44161] [SC-135326][Подключение] Обработка входных данных строк для определяемых пользователем функций
- [SPARK-44227] [SC-135520][SQL] Извлечение SchemaUtils из StructField
- [SPARK-44064] [SC-135116][CORE][SQL] Добавление новой
applyфункции вNonFateSharingCache - [SPARK-44171] [SC-135269][SQL] Назначение имен классу ошибок LEGACY_ERROR_TEMP[2279-2282] и удаление некоторых неиспользуемых классов ошибок
- [SPARK-44056] [SC-134758][SQL] Включение имени UDF в сообщение об ошибке выполнения UDF при наличии
- [SPARK-44205] [SC-135422][SQL] Извлечение кода катализатора из Десятичного типа
- [SPARK-44220] [SC-135484][SQL] Перемещение StringConcat в sql/api
- [SPARK-44146] [SC-135230][CONNECT] Изоляция jar-файлов сеанса Spark Connect и файлов классов
- [SPARK-44206] [SC-135411][SQL] DataSet.selectExpr scope Session.active
- [SPARK-40850] [SC-135417][SQL] Исправление тестового случая, интерпретированного запросами, может выполнять Codegen
- [SPARK-44204] [SC-135253][SQL][HIVE] Добавление отсутствующих записейHiveCall для getPartitionNames
- [SPARK-44237] [SC-135485][CORE] Упрощение логики поиска конструктора DirectByteBuffer
- [SPARK-44189] [SC-135170][CONNECT][PYTHON] Поддержка позиционных параметров по
sql() - [SPARK-44140] [SC-134893][SQL][PYTHON] Поддержка позиционных параметров в Python
sql() - [SPARK-44164] [SC-135158][SQL] Извлечение метода toAttribute из StructField в класс Util
- [SPARK-44178] [SC-135113][CONNECT] Поддержка позиционных параметров в
sql() - [SPARK-43208] [SC-128955][SQL][HIVE] IsolatedClassLoader должен закрыть класс InputStream барьера после чтения
- [SPARK-43063] [SC-128382][SQL]
df.showДескриптор NULL должен печатать NULL вместо NULL - [SPARK-42539] [SC-124464][SQL][HIVE] Устранение отдельных загрузчика классов при использовании версии Hive для клиента метаданных с помощью встроенной версии Hive
- [SPARK-43992] [SC-133645][SQL][PYTHON][CONNECT] Добавление необязательного шаблона для Catalog.listFunctions
- [SPARK-44066] [SC-134878][SQL] Поддержка позиционных параметров в Scala/Java
sql() - [SPARK-44078] [SC-134869][CONNECT][CORE] Добавление поддержки изоляции classloader/resource
- [SPARK-43470] [SC-135187][CORE] Добавление сведений о версиях ОС, Java, Python в журнал приложений
- [SPARK-43136] [SC-135238][CONNECT][Отслеживание] Добавление тестов для keyAs
- [SPARK-39740] [SC-135093][Пользовательский интерфейс]: обновление временной шкалы до версии 7.7.2 для исправления CVE-2020-28487
- [SPARK-42298] [SC-133952][SQL] Назначение имени _LEGACY_ERROR_TEMP_2132
- [SPARK-43961] [SC-133459][SQL][PYTHON][CONNECT] Добавление необязательного шаблона для Catalog.listTables
- [SPARK-44026] [SC-135181] Разрешить предоставление начального значения для SQLMetrics
- [SPARK-44202] [SC-135244][CORE] Добавление API-интерфейсов JobTag в JavaSparkContext
- [SPARK-44030] [SC-135237][SQL] Реализация DataTypeExpression для предложения Unapply для выражения
- [SPARK-43876] Возврат "[SC-134603][SQL] Включение быстрого хэш-карты для отдельных запросов"
- [SPARK-40082] [SC-126437] Планирование слиянияFinalize при отправке повторных попыток слияния shuffleMapStage, но выполнение задач не выполняется
- [SPARK-438888] [SC-132893][CORE] Переместите ведение журнала в общие и бесполезные
- [SPARK-43474] [SC-134400] [SS] [CONNECT] Добавление sessionHolder в SparkConnectPlanner
- [SPARK-43944] [SC-134490][CONNECT][PYTHON] Добавление строковых функций в Scala и Python — часть 2
- [SPARK-44134] [SC-134954][CORE] Исправление параметров ресурсов (GPU/FPGA) до 0, если они заданы в spark-defaults.conf
- [SPARK-44142] [SC-134947][PYTHON] Замените тип tpe в служебной программе, чтобы преобразовать типы Python в типы Spark
- [SPARK-43952] [SC-134695][CORE][CONNECT][SQL] Добавление API SparkContext для отмены запросов по тегу
- [SPARK-44000] [SC-133634][SQL] Добавление указания для отключения трансляции и репликации одной стороны соединения
- [SPARK-43937] [SC-134362][CONNECT][PYTHON] Добавление ifnull,isotnull,equal_null,nullif,nvl2 в Scala и Python
- [SPARK-43624] [13.x][SC-134557][PS][CONNECT] Добавьте
EWMв SparkConnectPlanner. - [SPARK-44040] [SC-134366][SQL] Исправление статистики вычислений, если узел AggregateExec выше QueryStageExec
- [SPARK-43485] [SC-131264][SQL] Исправление сообщения об ошибке для
unitаргумента функций добавления и диффа даты и времени - [SPARK-43794] [SC-132561][SQL] Назначьте имя классу ошибок _LEGACY_ERROR_TEMP_1335
- [SPARK-43511] [SC-134749][CONNECT][SS]Реализованы API MapGroupsWithState и FlatMapGroupsWithState для Spark Connect
- [SPARK-43529] [SQL] Поддержка выражений CREATE/REPLACE TABLE OPTIONS + очистка кода
- [SPARK-44106] [SC-134750][PYTHON][CONNECT] Добавить
__repr__дляGroupedData - [SPARK-42299] [SC-133190] Назначение имени _LEGACY_ERROR_TEMP_2206
- [SPARK-43290] [SC-134388][SQL] Добавляет поддержку aes_encrypt IVs и AAD
- [SPARK-43932] [SC-134138][SQL][PYTHON][CONNECT] Добавление
currentтаких функций в Scala и Python - [SPARK-43934] [SC-134108][SQL][PYTHON][CONNECT] Добавление функций regexp_* в Scala и Python
- [SPARK-44107] [SC-134746][CONNECT][PYTHON] Скрытие неподдерживаемых методов столбца из автоматического завершения
- [SPARK-42941] [SC-134707][SS][CONNECT][1/2] StreamingQueryListener — Event Serde в формате JSON
- [SPARK-43773] [SC-132659][CONNECT][PYTHON] Реализация функций "levenshtein(str1, str2[, порог])" в клиенте Python
- [SPARK-44125] [SC-134745][R] Поддержка Java 21 в SparkR
- [SPARK-43919] [SC-133374][SQL] Извлечение функциональных возможностей JSON из строки
- [SPARK-43769] [SC-132520][CONNECT] Реализация функций "levenshtein(str1, str2[, порог])"
- [SPARK-44012] [SC-134662][SS] KafkaDataConsumer для печати некоторого состояния чтения
- [SPARK-43876] [SC-134603][SQL] Включение быстрого хэш-карты для отдельных запросов
- [SPARK-44024] [SC-134497][SQL] Изменение использования
mapтолько приunzipиспользовании для извлечения одного элемента - [SPARK-43928] [SC-134467][SQL][PYTHON][CONNECT] Добавление битовой операции в Scala, Python и CONNECT API
- [SPARK-44092] [SC-134506][CORE] Добавление
Utils.isJavaVersionAtLeast21и передачаcoreмодуля с помощью Java 21 - [SPARK-44018] [SC-134512][SQL] Улучшение хэшкода и toString для некоторых выражений DS V2
- [SPARK-44105] [SC-134582][SQL]
LastNonNullдолжно быть неясно разрешено - [SPARK-44081] [SC-134434] Упрощение API PartitionedFileUtil немного
- [SPARK-43791] [SC-132531][SQL] Назначьте имя классу ошибок _LEGACY_ERROR_TEMP_1336
- [SPARK-44071] [SC-134435] Определение и использование неразрешенного[лист|Унарии]Признаки узла.
- [SPARK-43852] [SC-132890][SPARK-43853][SPARK-43854][SPARK-43855][SPARK-43856] Назначение имен классу ошибок _LEGACY_ERROR_TEMP_2418-2425
- [SPARK-43742] [SC-132684][SQL] Разрешение значений столбца по умолчанию рефакторинг
- [SPARK-43493] [SC-132063][SQL] Добавление аргумента максимального расстояния в функцию levenshtein()
- [SPARK-44075] [SC-134382][CONNECT] Сделать
transformStatCorrленивым - [SPARK-43925] [SC-134381][SQL][PYTHON][CONNECT] Добавьте некоторые, bool_or,bool_and,каждый в Scala, Python и Connect
- [SPARK-43931] [SC-134158][SQL][PYTHON][CONNECT] Добавление функций make_* в Scala и Python
- [SPARK-43762] [SC-132602][SPARK-43763][SPARK-43764][SPARK-43765][SPARK-43766][SQL] Назначение имен классу ошибок _LEGACY_ERROR_TEMP_24[06-10]
- [SPARK-43962] [SC-133367][SQL] Улучшение сообщений об ошибках:
CANNOT_DECODE_URL,CANNOT_MERGE_INCOMPATIBLE_DATA_TYPE,CANNOT_PARSE_DECIMAL,CANNOT_READ_FILE_FOOTER.CANNOT_RECOGNIZE_HIVE_TYPE - [SPARK-43938] [SC-133887][CONNECT][PYTHON] Добавление функций to_* в Scala и Python
- [SPARK-44055] [SC-134321][CORE] Удаление избыточных
overrideфункций изCheckpointRDD - [SPARK-43802] [SC-132597][SQL] Исправление кодегена для unhex и unbase64 с помощью failOnError=true
- [SPARK-43798] [SC-133990][SQL][PYTHON] Поддержка пользовательских функций таблицы Python
- [SPARK-43941] [SC-134286][SQL][PYTHON][CONNECT] Добавление any_value, approx_percentile, count_if, first_value, histogram_numeric, last_value, сокращение до Scala, Python и Connect API
- [SPARK-43380] [SC-133100][SQL] Устранение проблем с преобразованием типов данных Avro, чтобы избежать неправильного получения результатов
- [SPARK-43803] [SC-133729] [SS] [CONNECT] Улучшение awaitTermination() для обработки отключений клиентов
- [SPARK-43179] [SC-129070][SHUFFLE] Разрешение приложениям контролировать, сохраняются ли их метаданные в базе данных внешней службой Shuffle.
Поддержка драйвера ODBC/JDBC Databricks
Databricks поддерживает драйверы ODBC/JDBC, выпущенные за последние 2 года. Скачайте недавно выпущенные драйверы и обновление (скачайте ODBC, скачайте JDBC).
Ознакомьтесь с обновлениями обслуживания Databricks Runtime 13.3.
Системная среда
- Операционная система: Ubuntu 22.04.2 LTS
- Java: Zulu 8.70.0.23-CA-linux64
- Scala: 2.12.15
- Python: 3.10.12
- R: 4.2.2
- Delta Lake: 2.4.0
Установленные библиотеки Python
| Библиотека | Версия | Библиотека | Версия | Библиотека | Версия |
|---|---|---|---|---|---|
| appdirs | 1.4.4 | argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 |
| asttokens | 2.2.1 | attrs | 21.4.0 | backcall | 0.2.0 |
| beautifulsoup4 | 4.11.1 | black | 22.6.0 | bleach | 4.1.0 |
| blinker | 1.4 | boto3 | 1.24.28 | botocore | 1.27.28 |
| certifi | 2022.9.14 | cffi | 1.15.1 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | щелчок | 8.0.4 | криптография | 37.0.1 |
| cycler | 0.11.0 | Cython | 0.29.32 | databricks-sdk | 0.1.6 |
| dbus-python | 1.2.18 | debugpy | 1.6.0 | decorator | 5.1.1 |
| defusedxml | 0.7.1 | distlib | 0.3.7 | docstring-to-markdown | 0,12 |
| entrypoints | 0,4 | executing | 1.2.0 | facets-overview | 1.0.3 |
| fastjsonschema | 2.18.0 | filelock | 3.12.2 | шрифтовые инструменты | 4.25.0 |
| googleapis-common-protos | 1.56.4 | grpcio | 1.48.1 | grpcio-status | 1.48.1 |
| httplib2 | 0.20.2 | idna | 3,3 | importlib-metadata | 4.6.4 |
| ipykernel | 6.17.1 | ipython | 8.10.0 | ipython-genutils | 0.2.0 |
| ipywidgets | 7.7.2 | jedi | 0.18.1 | jeepney | 0.7.1 |
| Jinja2 | 2.11.3 | jmespath | 0.10.0 | joblib | 1.2.0 |
| jsonschema | 4.16.0 | jupyter-client | 7.3.4 | jupyter_core | 4.11.2 |
| jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 | нажатие клавиш | 23.5.0 |
| kiwisolver | 1.4.2 | launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 |
| lazr.uri | 1.0.6 | MarkupSafe | 2.0.1 | matplotlib | 3.5.2 |
| matplotlib-inline | 0.1.6 | Маккейб | 0.7.0 | mistune | 0.8.4 |
| more-itertools | 8.10.0 | mypy-extensions | 0.4.3 | nbclient | 0.5.13 |
| nbconvert | 6.4.4 | nbformat | 5.5.0 | nest-asyncio | 1.5.5 |
| nodeenv | 1.8.0 | записная книжка | 6.4.12 | numpy | 1.21.5 |
| oauthlib | 3.2.0 | во внешнем виде | 21,3 | pandas | 1.4.4 |
| pandocfilters | 1.5.0 | parso | 0.8.3 | pathspec | 0.9.0 |
| patsy | 0.5.2 | pexpect | 4.8.0 | pickleshare | 0.7.5 |
| Pillow | 9.2.0 | pip | 22.2.2 | platformdirs | 2.5.2 |
| график | 5.9.0 | pluggy | 1.0.0 | prometheus-client | 0.14.1 |
| prompt-toolkit | 3.0.36 | protobuf | 3.19.4 | psutil | 5.9.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pure-eval | 0.2.2 |
| pyarrow | 8.0.0 | pycparser | 2.21 | pydantic | 1.10.6 |
| pyflakes | 3.0.1 | Pygments | 2.11.2 | PyGObject | 3.42.1 |
| PyJWT | 2.3.0 | pyodbc | 4.0.32 | pyparsing | 3.0.9 |
| pyright | 1.1.294 | pyrsistent | 0.18.0 | python-dateutil | 2.8.2 |
| python-lsp-jsonrpc | 1.0.0 | python-lsp-server | 1.7.1 | pytoolconfig | 1.2.2 |
| pytz | 2022.1 | pyzmq | 23.2.0 | requests | 2.28.1 |
| верёвка | 1.7.0 | s3transfer | 0.6.0 | scikit-learn | 1.1.1 |
| scipy | 1.9.1 | мореборн | 0.11.2 | SecretStorage | 3.3.1 |
| Send2Trash | 1.8.0 | setuptools | 63.4.1 | six | 1.16.0 |
| soupsieve | 2.3.1 | ssh-import-id | 5,11 | stack-data | 0.6.2 |
| statsmodels | 0.13.2 | tenacity | 8.1.0 | terminado | 0.13.1 |
| testpath | 0.6.0 | threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 |
| tomli | 2.0.1 | tornado | 6.1 | traitlets | 5.1.1 |
| typing_extensions | 4.3.0 | ujson | 5.4.0 | unattended-upgrades | 0,1 |
| urllib3 | 1.26.11 | virtualenv | 20.16.3 | wadllib | 1.3.6 |
| wcwidth | 0.2.5 | webencodings | 0.5.1 | whatthepatch | 1.0.2 |
| wheel | 0.37.1 | widgetsnbextension | 3.6.1 | yapf | 0.31.0 |
| zipp | 1.0.0 |
Установленные библиотеки R
Библиотеки R устанавливаются из моментального снимка Microsoft CRAN 2023-02-10.
| Библиотека | Версия | Библиотека | Версия | Библиотека | Версия |
|---|---|---|---|---|---|
| Стрелка | 10.0.1 | askpass | 1,1 | assertthat | 0.2.1 |
| внутренние порты | 1.4.1 | base | 4.2.2 | base64enc | 0.1-3 |
| bit | 4.0.5 | bit64 | 4.0.5 | большой двоичный объект | 1.2.3 |
| загрузка | 1.3-28 | заваривать | 1,0–8 | brio | 1.1.3 |
| метла | 1.0.3 | bslib | 0.4.2 | cachem | 1.0.6 |
| вызывающий объект | 3.7.3 | крышка | 6.0-93 | cellranger | 1.1.0 |
| chron | 2.3-59 | class | 7.3-21 | cli | 3.6.0 |
| clipr | 0.8.0 | clock | 0.6.1 | cluster | 2.1.4 |
| codetools | 0.2-19 | colorspace | 2.1-0 | commonmark | 1.8.1 |
| компилятор | 4.2.2 | config | 0.3.1 | cpp11 | 0.4.3 |
| карандаш | 1.5.2 | учетные данные | 1.3.2 | curl | 5.0.0 |
| data.table | 1.14.6 | наборы данных | 4.2.2 | DBI | 1.1.3 |
| dbplyr | 2.3.0 | desc | 1.4.2 | средства разработки | 2.4.5 |
| diffobj | 0.3.5 | digest | 0.6.31 | downlit | 0.4.2 |
| dplyr | 1.1.0 | dtplyr | 1.2.2 | e1071 | 1.7-13 |
| многоточие | 0.3.2 | evaluate | 0,20 | вентиляторы | 1.0.4 |
| Farver | 2.1.1 | fastmap | 1.1.0 | fontawesome | 0.5.0 |
| forcats | 1.0.0 | foreach | 1.5.2 | иностранный | 0.8-82 |
| forge | 0.2.0 | fs | 1.6.1 | будущее | 1.31.0 |
| future.apply | 1.10.0 | gargle | 1.3.0 | Универсальные шаблоны | 0.1.3 |
| gert | 1.9.2 | ggplot2 | 3.4.0 | gh | 1.3.1 |
| gitcreds | 0.1.2 | glmnet | 4.1-6 | globals | 0.16.2 |
| клей | 1.6.2 | googledrive | 2.0.0 | googlesheets4 | 1.0.1 |
| Говер | 1.0.1 | графика | 4.2.2 | grDevices | 4.2.2 |
| grid | 4.2.2 | gridExtra | 2.3 | gsubfn | 0,7 |
| gtable | 0.3.1 | hardhat | 1.2.0 | haven | 2.5.1 |
| высокий | 0.10 | hms | 1.1.2 | htmltools | 0.5.4 |
| htmlwidgets | 1.6.1 | httpuv | 1.6.8 | httr | 1.4.4 |
| ids | 1.0.1 | ini | 0.3.1 | ipred | 0.9-13 |
| isoband | 0.2.7 | Итераторы | 1.0.14 | jquerylib | 0.1.4 |
| jsonlite | 1.8.4 | KernSmooth | 2.23-20 | трикотажный | 1.42 |
| маркирование | 0.4.2 | later | 1.3.0 | решётка | 0.20-45 |
| Lava | 1.7.1 | жизненный цикл | 1.0.3 | listenv | 0.9.0 |
| lubridate | 1.9.1 | magrittr | 2.0.3 | Markdown | 1.5 |
| МАССАЧУСЕТС | 7.3-58.2 | «Матрица» | 1.5-1 | memoise | 2.0.1 |
| оплаты | 4.2.2 | mgcv | 1.8-41 | мим | 0,12 |
| miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 | modelr | 0.1.10 |
| munsell | 0.5.0 | nlme | 3.1-162 | nnet | 7.3-18 |
| numDeriv | 2016.8-1.1 | openssl | 2.0.5 | parallel | 4.2.2 |
| parallelly | 1.34.0 | столб | 1.8.1 | pkgbuild | 1.4.0 |
| pkgconfig | 2.0.3 | pkgdown | 2.0.7 | pkgload | 1.3.2 |
| plogr | 0.2.0 | plyr | 1.8.8 | хвалить | 1.0.0 |
| prettyunits | 1.1.1 | pROC | 1.18.0 | processx | 3.8.0 |
| prodlim | 2019.11.13 | profvis | 0.3.7 | Ход выполнения | 1.2.2 |
| progressr | 0.13.0 | promises | 1.2.0.1 | proto | 1.0.0 |
| proxy | 0.4-27 | ps | 1.7.2 | purrr | 1.0.1 |
| r2d3 | 0.2.6 | R6 | 2.5.1 | ragg | 1.2.5 |
| randomForest | 4.7-1.1 | rappdirs | 0.3.3 | rcmdcheck | 1.4.0 |
| RColorBrewer | 1.1-3 | Rcpp | 1.0.10 | RcppEigen | 0.3.3.9.3 |
| readr | 2.1.3 | readxl | 1.4.2 | Рецепты | 1.0.4 |
| реванш | 1.0.1 | rematch2 | 2.1.2 | remotes | 2.4.2 |
| reprex | 2.0.2 | reshape2 | 1.4.4 | rlang | 1.0.6 |
| rmarkdown | 2,20 | RODBC | 1.3-20 | roxygen2 | 7.2.3 |
| rpart | 4.1.19 | rprojroot | 2.0.3 | Rserve | 1.8-12 |
| RSQLite | 2.2.20 | rstudioapi | 0,14 | rversions | 2.1.2 |
| rvest | 1.0.3 | sass | 0.4.5 | весы | 1.2.1 |
| селектор | 0.4-2 | sessioninfo | 1.2.2 | форма | 1.4.6 |
| блестящий | 1.7.4 | sourcetools | 0.1.7-1 | sparklyr | 1.7.9 |
| SparkR | 3.4.1 | пространственный | 7.3-15 | Сплайны | 4.2.2 |
| sqldf | 0.4-11 | SQUAREM | 2021.1 | stats | 4.2.2 |
| статистика4 | 4.2.2 | stringi | 1.7.12 | stringr | 1.5.0 |
| выживание | 3.5-3 | sys | 3.4.1 | systemfonts | 1.0.4 |
| tcltk | 4.2.2 | testthat | 3.1.6 | textshaping | 0.3.6 |
| tibble | 3.1.8 | tidyr | 1.3.0 | tidyselect | 1.2.0 |
| tidyverse | 1.3.2 | timechange | 0.2.0 | TimeDate | 4022.108 |
| tinytex | 0,44 | средства | 4.2.2 | tzdb | 0.3.0 |
| urlchecker | 1.0.1 | usethis | 2.1.6 | utf8 | 1.2.3 |
| служебные программы | 4.2.2 | uuid | 1.1-0 | vctrs | 0.5.2 |
| viridisLite | 0.4.1 | vroom | 1.6.1 | waldo | 0.4.0 |
| усы | 0.4.1 | withr | 2.5.0 | xfun | 0,37 |
| xml2 | 1.3.3 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.3.7 | zip | 2.2.2 |
Установленные библиотеки Java и Scala (версия кластера Scala 2.12)
| ИД группы | Идентификатор артефакта | Версия |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.390 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.390 |
| com.amazonaws | aws-java-sdk-config | 1.12.390 |
| com.amazonaws | aws-java-sdk-core | 1.12.390 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.390 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.390 |
| com.amazonaws | aws-java-sdk-directory | 1.12.390 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.390 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.390 |
| com.amazonaws | aws-java-sdk-efs | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.390 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.390 |
| com.amazonaws | aws-java-sdk-emr | 1.12.390 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.390 |
| com.amazonaws | aws-java-sdk-glue | 1.12.390 |
| com.amazonaws | aws-java-sdk-iam | 1.12.390 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.390 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.390 |
| com.amazonaws | aws-java-sdk-kms | 1.12.390 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.390 |
| com.amazonaws | aws-java-sdk-logs | 1.12.390 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.390 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.390 |
| com.amazonaws | aws-java-sdk-rds | 1.12.390 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.390 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.390 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ses | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.390 |
| com.amazonaws | aws-java-sdk-sns | 1.12.390 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.390 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.390 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.12.390 |
| com.amazonaws | aws-java-sdk-sts | 1.12.390 |
| com.amazonaws | aws-java-sdk-support | 1.12.390 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.390 |
| com.amazonaws | jmespath-java | 1.12.390 |
| com.clearspring.analytics | потоковая передача | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | databricks-sdk-java | 0.2.0 |
| com.databricks | jets3t | 0.7.1–0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.14.2 |
| com.fasterxml.jackson.core | jackson-core | 2.14.2 |
| com.fasterxml.jackson.core | jackson-databind | 2.14.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.14.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.14.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.13.4 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.14.2 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.14.2 |
| com.github.ben-manes.caffeine | caffeine | 2.9.3 |
| com.github.fommil | jniloader | 1,1 |
| com.github.fommil.netlib | native_ref-java | 1,1 |
| com.github.fommil.netlib | native_ref-java | 1.1-natives |
| com.github.fommil.netlib | native_system-java | 1,1 |
| com.github.fommil.netlib | native_system-java | 1.1-natives |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1-natives |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64 | 1.1-natives |
| com.github.luben | zstd-jni | 1.5.2-5 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.8.9 |
| com.google.crypto.tink | tink | 1.7.0 |
| com.google.errorprone | error_prone_annotations | 2.10.0 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | guava | 15,0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 2.1.214 |
| com.helger | профилировщик | 1.1.1 |
| com.jcraft | jsch | 0.1.55 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
| com.ning | compress-lzf | 1.1.2 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.sun.xml.bind | jaxb-core | 2.2.11 |
| com.sun.xml.bind | jaxb-impl | 2.2.11 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.0 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.15 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.5 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.11.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 3.0.3 |
| dev.ludovic.netlib | blas | 3.0.3 |
| dev.ludovic.netlib | lapack | 3.0.3 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.21 |
| io.delta | delta-sharing-spark_2.12 | 0.7.1 |
| io.dropwizard.metrics | metrics-core | 4.2.10 |
| io.dropwizard.metrics | metrics-graphite | 4.2.10 |
| io.dropwizard.metrics | metrics-healthchecks | 4.2.10 |
| io.dropwizard.metrics | metrics-jetty9 | 4.2.10 |
| io.dropwizard.metrics | metrics-jmx | 4.2.10 |
| io.dropwizard.metrics | metrics-json | 4.2.10 |
| io.dropwizard.metrics | metrics-jvm | 4.2.10 |
| io.dropwizard.metrics | metrics-servlets | 4.2.10 |
| io.netty | netty-all | 4.1.87.Final |
| io.netty | netty-buffer | 4.1.87.Final |
| io.netty | netty-codec | 4.1.87.Final |
| io.netty | netty-codec-http | 4.1.87.Final |
| io.netty | netty-codec-http2 | 4.1.87.Final |
| io.netty | netty-codec-socks | 4.1.87.Final |
| io.netty | netty-common | 4.1.87.Final |
| io.netty | netty-handler | 4.1.87.Final |
| io.netty | netty-handler-proxy | 4.1.87.Final |
| io.netty | netty-resolver | 4.1.87.Final |
| io.netty | netty-transport | 4.1.87.Final |
| io.netty | netty-transport-classes-epoll | 4.1.87.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.87.Final |
| io.netty | netty-transport-native-epoll | 4.1.87.Final |
| io.netty | netty-transport-native-epoll | 4.1.87.Final-linux-aarch_64 |
| io.netty | netty-transport-native-epoll | 4.1.87.Final-linux-x86_64 |
| io.netty | netty-transport-native-kqueue | 4.1.87.Final-osx-aarch_64 |
| io.netty | netty-transport-native-kqueue | 4.1.87.Final-osx-x86_64 |
| io.netty | netty-transport-native-unix-common | 4.1.87.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | коллектор | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1,1 |
| javax.transaction | transaction-api | 1,1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.12.1 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | v0.20.0-db2 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pickle | 1,3 |
| net.sf.jpam | jpam | 1,1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.33 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.9.3 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.16 |
| org.apache.ant | ant-jsch | 1.9.16 |
| org.apache.ant | ant-launcher | 1.9.16 |
| org.apache.arrow | arrow-format | 11.0.0 |
| org.apache.arrow | arrow-memory-core | 11.0.0 |
| org.apache.arrow | arrow-memory-netty | 11.0.0 |
| org.apache.arrow | arrow-vector | 11.0.0 |
| org.apache.avro | avro | 1.11.1 |
| org.apache.avro | avro-ipc | 1.11.1 |
| org.apache.avro | avro-mapred | 1.11.1 |
| org.apache.commons | commons-collections4 | 4.4. |
| org.apache.commons | commons-compress | 1,21 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.10.0 |
| org.apache.curator | curator-client | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | curator-recipes | 2.13.0 |
| org.apache.datasketches | datasketches-java | 3.1.0 |
| org.apache.datasketches | datasketches-memory | 2.0.0 |
| org.apache.derby | derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-runtime | 3.3.4 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.14 |
| org.apache.httpcomponents | httpcore | 4.4.16 |
| org.apache.ivy | ivy | 2.5.1 |
| org.apache.logging.log4j | log4j-1.2-api | 2.19.0 |
| org.apache.logging.log4j | log4j-api | 2.19.0 |
| org.apache.logging.log4j | log4j-core | 2.19.0 |
| org.apache.logging.log4j | log4j-slf4j2-impl | 2.19.0 |
| org.apache.mesos | mesos | 1.11.0-shaded-protobuf |
| org.apache.orc | orc-core | 1.8.4-шейд-protobuf |
| org.apache.orc | orc-mapreduce | 1.8.4-шейд-protobuf |
| org.apache.orc | orc-shims | 1.8.4 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.22 |
| org.apache.yetus | audience-annotations | 0.13.0 |
| org.apache.zookeeper | zookeeper | 3.6.3 |
| org.apache.zookeeper | zookeeper-jute | 3.6.3 |
| org.checkerframework | checker-qual | 3.19.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.51.v20230217 |
| org.eclipse.jetty | jetty-continuation | 9.4.51.v20230217 |
| org.eclipse.jetty | jetty-http | 9.4.51.v20230217 |
| org.eclipse.jetty | jetty-io | 9.4.51.v20230217 |
| org.eclipse.jetty | jetty-jndi | 9.4.51.v20230217 |
| org.eclipse.jetty | jetty-plus | 9.4.51.v20230217 |
| org.eclipse.jetty | jetty-proxy | 9.4.51.v20230217 |
| org.eclipse.jetty | jetty-security | 9.4.51.v20230217 |
| org.eclipse.jetty | jetty-server | 9.4.51.v20230217 |
| org.eclipse.jetty | jetty-servlet | 9.4.51.v20230217 |
| org.eclipse.jetty | jetty-servlets | 9.4.51.v20230217 |
| org.eclipse.jetty | jetty-util | 9.4.51.v20230217 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.51.v20230217 |
| org.eclipse.jetty | jetty-webapp | 9.4.51.v20230217 |
| org.eclipse.jetty | jetty-xml | 9.4.51.v20230217 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.51.v20230217 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.51.v20230217 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.51.v20230217 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.51.v20230217 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.51.v20230217 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.36 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.36 |
| org.glassfish.jersey.core | jersey-client | 2.36 |
| org.glassfish.jersey.core | jersey-common | 2.36 |
| org.glassfish.jersey.core | jersey-server | 2.36 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.36 |
| org.hibernate.validator | hibernate-validator | 6.1.7.Final |
| org.ini4j | ini4j | 0.5.4 |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | annotations | 17.0.0 |
| org.joda | joda-convert | 1,7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.7.4 |
| org.mlflow | mlflow-spark | 2.2.0 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.3.8 |
| org.roaringbitmap | RoaringBitmap | 0.9.39 |
| org.roaringbitmap | shims | 0.9.39 |
| org.rocksdb | rocksdbjni | 7.8.3 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.15 |
| org.scala-lang | scala-library_2.12 | 2.12.15 |
| org.scala-lang | scala-reflect_2.12 | 2.12.15 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.2.15 |
| org.scalanlp | breeze-macros_2.12 | 2.1.0 |
| org.scalanlp | breeze_2.12 | 2.1.0 |
| org.scalatest | Scalatest-compatible | 3.2.15 |
| org.scalatest | scalatest-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-diagrams_2.12 | 3.2.15 |
| org.scalatest | scalatest-featurespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-flatspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-freespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funsuite_2.12 | 3.2.15 |
| org.scalatest | scalatest-matchers-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-mustmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-propspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-refspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-shouldmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-wordspec_2.12 | 3.2.15 |
| org.scalatest | scalatest_2.12 | 3.2.15 |
| org.slf4j | jcl-over-slf4j | 2.0.6 |
| org.slf4j | jul-to-slf4j | 2.0.6 |
| org.slf4j | slf4j-api | 2.0.6 |
| org.threeten | threeten-extra | 1.7.1 |
| org.tukaani | xz | 1,9 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.1.3.Final |
| org.xerial | sqlite-jdbc | 3.42.0.0 |
| org.xerial.snappy | snappy-java | 1.1.10.1 |
| org.yaml | snakeyaml | 1.33 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.1-linux-x86_64 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |