Поделиться через

Databricks Runtime 12.0 (EoS)

  • Статья

Примечание.

Поддержка этой версии databricks Runtime закончилась. Сведения о дате окончания поддержки см . в журнале завершения поддержки. Все поддерживаемые версии среды выполнения Databricks см. в заметках о выпуске Databricks Runtime и совместимости.

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 12.0, на базе Apache Spark 3.3.1.

Databricks выпустила эту версию в декабре 2022 года.

Новые функции и внесенные улучшения

Прогнозный ввод-вывод — это общедоступная версия

Прогнозный ввод-вывод теперь общедоступен. Дополнительные сведения см. в разделе "Что такое прогнозный ввод-вывод?".

Средство записи фотографий поддерживает сжатие zstd

Средство записи в собственном коде фотона теперь поддерживает кодек сжатия zstd, если zstd включен, задав для zstdпараметра spark.sql.parquet.compression.codec значение .

Поддержка профиля ресурсов на уровне стадии для автономных кластеров

Теперь можно использовать планирование на уровне этапа в автономных кластерах при отключении динамического выделения. Чтобы использовать эту функцию, укажите ресурсы задач для ResourceProfileBuilder каждого этапа.

Поддержка SQL для выборочной перезаписи с помощью REPLACE WHERE

Теперь можно выборочно перезаписать данные, соответствующие произвольному выражению в таблице Delta, используя следующий шаблон.

INSERT INTO table_name REPLACE WHERE predicate append_relation

См . произвольный выборочный перезапись с помощью replaceWhere.

Теперь в SQL поддерживаются подложки

Теперь можно указать подложки с помощью интерфейса SQL Delta Live Tables и в запросах SQL для потоковой передачи кадров данных. См . предложение WATERMARK.

Профилирование памяти PySpark

Профилирование памяти теперь включено для определяемых пользователем функций PySpark. Это содержит сведения о добавочном значении памяти, использовании памяти и количестве вхождения для каждой строки кода в определяемой пользователем функции.

Динамическая обрезка для DELETE и UPDATE

При использовании вычислительных ресурсов DELETE с поддержкой Photon и UPDATE теперь используйте динамический файл и очистку секций, где она улучшает производительность. Например, динамическая очистка включена при использовании меньшей исходной таблицы для обновления или удаления строк в более крупной таблице.

Удаление метрик на уровне строк для операций языка обработки секционированных данных

С секционированных предикатов пользователи теперь могут проверять, сколько строк удаляются при выполнении операций языка обработки данных (DML), таких как DELETE, TRUNCATEи replaceWhere.

Исправления ошибок

Исправлена проблема с анализом JSON в автозагрузчике, в которой все столбцы были оставлены в виде строк. cloudFiles.inferColumnTypes Ранее не было задано или установлено значение, а false json содержит вложенные объекты.

Обновления библиотек

  • Обновленные библиотеки Python:
    • argon2-cffi от 20.1.0 до 21.3.0
    • attrs от 21.2.0 до 21.4.0
    • backports.entry-points-selectable от 1.1.1 до 1.2.0
    • отбеливать от 4.0.0 до 4.1.0
    • boto3 от 1.21.18 до 1.21.32
    • botocore от 1.24.18 до 1.24.32
    • cffi от 1.14.6 до 1.15.0
    • Щелкните от 8.0.3 до 8.0.4
    • cycler от 0.10.0 до 0.11.0
    • Cython от 0.29.24 до 0.29.28
    • debugpy от 1.4.1 до 1.5.1
    • декоратор от 5.1.0 до 5.1.1
    • точки входа от 0.3 до 0.4
    • idna от 3.2 до 3.3
    • ipykernel от 6.12.1 до 6.15.3
    • ipython от 7.32.0 до 8.5.0
    • ipywidgets от 7.7.0 до 7.7.2
    • jedi от 0.18.0 до 0.18.1
    • joblib от 1.0.1 до 1.1.0
    • jsonschema от 3.2.0 до 4.4.0
    • kiwisolver от 1.3.1 до 1.3.2
    • matplotlib от 3.4.3 до 3.5.1
    • nbclient от 0.5.3 до 0.5.13
    • nbconvert от 6.1.0 до 6.4.4
    • nbformat от 5.1.3 до 5.3.0
    • nest-asyncio от 1.5.1 до 1.5.5
    • записная книжка от 6.4.5 до 6.4.8
    • numpy от 1.20.3 до 1.21.5
    • упаковка от 21.0 до 21.3
    • pandas от 1.3.4 до 1.4.2
    • pandocfilters от 1.4.3 до 1.5.0
    • синтаксический анализ от 0.8.2 до 0.8.3
    • Подушка от 8.4.0 до 9.0.1
    • platformdirs от 2.5.2 до 2.5.4
    • график от 5.9.0 до 5.6.0
    • prometheus-client от 0.11.0 до 0.13.1
    • protobuf от 4.21.5 до 3.19.4
    • pycparser от 2.20 до 2.21
    • Pygments от 2.10.0 до 2.11.2
    • pyodbc от 4.0.31 до 4.0.32
    • pyzmq от 22.2.1 до 22.3.0
    • запросы от 2.26.0 до 2.27.1
    • s3transfer от 0.5.2 до 0.5.0
    • scikit-learn от 0.24.2 до 1.0.2
    • scipy от 1.7.1 до 1.7.3
    • statsmodels от 0.12.2 до 0.13.2
    • terminado от 0.9.4 до 0.13.1
    • tomli от 2.0.1 до 1.2.2
    • признаки от 5.1.0 до 5.1.1
    • urllib3 от 1.26.7 до 1.26.9
    • widgetsnbextension от 3.6.0 до 3.6.1
  • Обновленные библиотеки R:
    • база от 4.1.3 до 4.2.2
    • пиво от 1.0-7 до 1.0-8
    • bslib от 0.4.0 до 0.4.1
    • вызывающий объект от 3.7.2 до 3.7.3
    • chron от 2.3-57 до 2.3-58
    • cli от 3.3.0 до 3.4.1
    • кластер с 2.1.3 по 2.1.4
    • commonmark от 1.8.0 до 1.8.1
    • компилятор от 4.1.3 до 4.2.2
    • cpp11 от 0.4.2 до 0.4.3
    • Крейон с 1.5.1 до 1.5.2
    • curl от 4.3.2 до 4.3.3
    • data.table от 1.14.2 до 1.14.4
    • наборы данных от 4.1.3 до 4.2.2
    • desc от 1.4.1 до 1.4.2
    • средства разработки от 2.4.4 до 2.4.5
    • дайджест от 0.6.29 до 0.6.30
    • e1071 от 1.7-11 до 1.7-12
    • оценка от 0,16 до 0,18
    • fontawesome от 0.3.0 до 0.4.0
    • будущее от 1.28.0 до 1.29.0
    • future.apply от 1.9.1 до 1.10.0
    • гигль с 1.2.0 до 1.2.1
    • gert от 1.8.0 до 1.9.1
    • ggplot2 от 3.3.6 до 3.4.0
    • gh от 1.3.0 до 1.3.1
    • gitcreds от 0.1.1 до 0.1.2
    • графика от 4.1.3 до 4.2.2
    • grDevices от 4.1.3 до 4.2.2
    • сетка от 4.1.3 до 4.2.2
    • httpuv от 1.6.5 до 1.6.6
    • isoband от 0.2.5 до 0.2.6
    • jsonlite от 1.8.0 до 1.8.3
    • лава от 1.6.10 до 1.7.0
    • жизненный цикл от 1.0.1 до 1.0.3
    • lubridate от 1.8.0 до 1.9.0
    • markdown от 1.1 до 1.3
    • МАСС с 7.3-56 до 7,3-58
    • Матрица от 1.4-1 до 1.5-1
    • Методы от 4.1.3 до 4.2.2
    • mgcv от 1,8-40 до 1,8-41
    • nlme от 3.1-157 до 3.1-160
    • nnet от 7.3-17 до 7.3-18
    • opensl от 2.0.2 до 2.0.4
    • параллельная от 4.1.3 до 4.2.2
    • pkgload от 1.3.0 до 1.3.1
    • processx от 3.7.0 до 3.8.0
    • ps от 1.7.1 до 1.7.2
    • purrr от 0.3.4 до 0.3.5
    • ragg от 1.2.2 до 1.2.4
    • RcppEigen от 0.3.3.9.2 до 0.3.3.9.3
    • readr от 2.1.2 до 2.1.3
    • рецепты от 1.0.1 до 1.0.3
    • rlang от 1.0.5 до 1.0.6
    • rmarkdown от 2.16 до 2.18
    • rpart от 4.1.16 до 4.1.19
    • RSQLite от 2.2.16 до 2.2.18
    • блестящий от 1.7.2 до 1.7.3
    • SparkR — с версии 3.3.0 до 3.3.1;
    • splines от 4.1.3 до 4.2.2
    • статистика от 4.1.3 до 4.2.2
    • статистика4 от 4.1.3 до 4.2.2
    • sys от 3.4 до 3.4.1
    • tcltk от 4.1.3 до 4.2.2
    • testthat от 3.1.4 до 3.1.5
    • tidyr от 1.2.0 до 1.2.1
    • tidyselect от 1.1.2 до 1.2.0
    • TimeDate от 4021.104 до 4021.106
    • tinytex от 0,41 до 0,42
    • средства от 4.1.3 до 4.2.2
    • utils от 4.1.3 до 4.2.2
    • vctrs от 0.4.1 до 0.5.0
    • vroom от 1.5.7 до 1.6.0
    • xfun от 0,32 до 0,34
    • yaml от 2.3.5 до 2.3.6
    • zip от 2.2.0 до 2.2.2
  • Обновленные библиотеки Java:
    • com.fasterxml.джексон.core.джексон-databind с 2.13.4 до 2.13.4.2
    • org.apache.parquet.column с 1.12.0-databricks-0007 до 1.12.3-databricks-0001
    • org.apache.parquet.common с 1.12.0-databricks-0007 до 1.12.3-databricks-0001
    • org.apache.parquet.parquet-кодировка с 1.12.0-databricks-0007 до 1.12.3-databricks-0001
    • org.apache.parquet.parquet-format-structures от 1.12.0-databricks-0007 до 1.12.3-databricks-0001
    • org.apache.parquet.parquet-hadoop с 1.12.0-databricks-0007 до 1.12.3-databricks-0001
    • org.apache.parquet.parquet-джексон с 1.12.0-databricks-0007 до 1.12.3-databricks-0001
    • org.apache.yetus.audience-annotations от 0.5.0 до 0.13.0

Apache Spark

Databricks Runtime 12.0 включает Apache Spark 3.3.1. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 11.3 LTS, а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

  • [SPARK-40844] [SC-116996] [12.x] [12.0] [12.0.0] Revert "[SC-113542][SS] Перевернуть значение по умолчанию для конфигурации смещения Kafka".
  • [SPARK-40646] [SC-116061] Возврат "[SC-113379][SQL] Исправление, возвращающее частичные результаты в источниках данных JSON и функциях JSON".
  • [SPARK-41195] [SC-116305] [SQL] Поддержка PIVOT/UNPIVOT с дочерними элементами соединения
  • [SPARK-41178] [SC-116139] [SQL] Исправлено приоритет правила синтаксического анализа между JOIN и запятой
  • [SPARK-41072] [SC-116140] [SC-116044] [SC-115852] [SQL] [SS] Добавление класса STREAM_FAILED ошибок в StreamingQueryException
  • [SPARK-40921] Возврат "[SC-115140][SC-114585][SQL] Добавьте предложение "НЕ СОВПАДАТЬ С ИСТОЧНИКОМ" в MERGE
  • [SPARK-37980] [SC-115758] [SQL] Расширение столбца METADATA для поддержки индексов строк для файлов Parquet
  • [SPARK-41055] [SC-115582] [SQL] Переименование _LEGACY_ERROR_TEMP_2424 в GROUP_BY_AGGREGATE
  • [SPARK-41101] [SC-115849] [PYTHON] [PROTOBUF] Поддержка имени класса сообщений для PYSPARK-PROTOBUF
  • [SPARK-40956] [SC-115867] Команда "Эквивалент SQL для кадра данных" перезаписывается
  • [SPARK-41095] [SC-115659] [SQL] Преобразование неразрешенных операторов во внутренние ошибки
  • [SPARK-41144] [SC-115866] [SQL] Неразрешенная подсказка не должна вызывать сбой запроса
  • [SPARK-41137] [SC-115858] [SQL] Переименование LATERAL_JOIN_OF_TYPE в INVALID_LATERAL_JOIN_TYPE
  • [SPARK-40998] [SC-114754] [SQL] Переименование класса _LEGACY_ERROR_TEMP_0040 ошибок в INVALID_IDENTIFIER
  • [SPARK-41015] [SC-115130] [SQL] [PROTOBUF] Проверка null UnitTest для генератора данных
  • [SPARK-40769] [SC-114923] [CORE] [SQL] Перенос ошибок проверки типа агрегатных выражений на классы ошибок
  • [SPARK-41043] [SC-115183] [SQL] Переименование класса _LEGACY_ERROR_TEMP_2429 ошибок в NUM_COLUMNS_MISMATCH
  • [SPARK-407777] [SC-114855] [SQL] [PROTOBUF] Поддержка импорта Protobuf и перемещение классов ошибок.
  • [SPARK-41019] [SC-114987] [SQL] Предоставление контекста запроса failAnalysis()
  • [SPARK-41027] [SC-115131] [SQL] Используйте UNEXPECTED_INPUT_TYPE вместо MAP_FROM_ENTRIES_WRONG_TYPE
  • [SPARK-40476] [SC-115868] [SC-111163] [ML] [SQL] Уменьшение размера перетасовки ALS
  • [SPARK-41134] [SC-115851] [SQL] Улучшение сообщения об ошибке внутренних ошибок
  • [SPARK-37980] Возврат " [SQL] Расширение столбца METADATA для поддержки индексов строк для файлов Parquet
  • [SPARK-41109] [SC-115788] [SQL] Переименуйте класс ошибок _LEGACY_ERROR_TEMP_1216 на INVALID_LIKE_PATTERN
  • [SPARK-40984] [SC-115844] [CORE] [SQL] Используйте NON_FOLDABLE_INPUT вместо FRAME_LESS_OFFSET_WITHOUT_FOLDABLE
  • [SPARK-41029] [SC-115828] [SQL] Использование конструктора оптимизации GenericArrayData для Scala 2.13
  • [SPARK-40697] [SC-113648] [SQL] Добавление заполнения на стороне чтения для покрытия внешних файлов данных
  • [SPARK-40978] [SC-114574] [SQL] Перенос failAnalysis() контекста w/o на классы ошибок
  • [SPARK-40663] [SC-114586] [SQL] Перенос ошибок выполнения на классы ошибок: _LEGACY_ERROR_TEMP_2251-2275
  • [SPARK-38959] [SC-115672] [SC-112707] [SQL] DS V2: поддержка фильтрации групп среды выполнения в командах на уровне строк
  • [SPARK-40372] [SC-115668] [SQL] Перенос сбоев типа массива на классы ошибок
  • [SPARK-41038] [SC-115371] [SQL] Переименование MULTI_VALUE_SUBQUERY_ERROR в SCALAR_SUBQUERY_TOO_MANY_ROWS
  • [SPARK-40965] [SC-114443] [SQL] Переименование класса _LEGACY_ERROR_TEMP_1208 ошибок в FIELD_NOT_FOUND
  • [SPARK-40748] [SC-114696] [SQL] Перенос ошибок типа проверки условий на классы ошибок
  • [SPARK-40371] [SC-114557] [SQL] Миграция ошибок проверки типа NthValue и NTile на классы ошибок
  • [SPARK-41092] [SC-115547] [SQL] Не используйте идентификатор для сопоставления единиц интервала
  • [SPARK-41009] [SC-115360] [SQL] Переименование класса _LEGACY_ERROR_TEMP_1070 ошибок в LOCATION_ALREADY_EXISTS
  • [SPARK-37980] [SQL] Расширение столбца METADATA для поддержки индексов строк для файлов Parquet
  • [SPARK-40967] [SC-114448] [SQL] Миграция failAnalysis() на классы ошибок
  • [SPARK-34265] [SC-115486] [SC-1137888] [PYTHON] [SQL] Инструментирование определяемых пользователем пользователей Python с помощью метрик SQL
  • [SPARK-41012] [SC-114873] [SQL] Переименование _LEGACY_ERROR_TEMP_1022 в ORDER_BY_POS_OUT_OF_RANGE
  • [SPARK-41042] [SC-115142] [SQL] Переименование PARSE_CHAR_MISSING_LENGTH в DATATYPE_MISSING_SIZE
  • [SPARK-40752] [SC-114442] [SQL] Миграция ошибок типов проверки несоответствия выражений на классы ошибок
  • [SPARK-37945] [SC-115534] [SQL] [CORE] Использование классов ошибок в ошибках выполнения арифметических операций
  • [SPARK-40374] [SC-114705] [SQL] Перенос ошибок проверки типа создателей типов на классы ошибок
  • [SPARK-41056] [SC-115354] [R] Исправление нового поведения R_LIBS_SITE, введенного в R 4.2
  • [SPARK-41041] [SC-115357] [SQL] Интеграция _LEGACY_ERROR_TEMP_1279 с TABLE_OR_VIEW_ALREADY_EXISTS
  • [SPARK-40663] [SC-114852] [SQL] Перенос ошибок выполнения на классы ошибок: _LEGACY_ERROR_TEMP_2201-2225
  • [SPARK-41020] [SC-114984] [SQL] Переименование класса _LEGACY_ERROR_TEMP_1019 ошибок в STAR_GROUP_BY_POS
  • [SPARK-41035] [SC-115233] [SQL] Не исправляйте дочерние элементы агрегатных функций в RewriteDistinctAggregates
  • [SPARK-39778] [SC-114353] [SQL] Улучшение классов ошибок и сообщений
  • [SPARK-40798] [SC-113782] [SQL] Alter partition должен проверить значение, следующее storeAssignmentPolicy
  • [SPARK-40810] [SC-113533] [SQL] Использование SparkIllegalArgumentException вместо IllegalArgumentException в CreateDatabaseCommand и AlterDatabaseSetLocationCommand
  • [SPARK-40921] [SC-115140] [SC-114585] [SQL] Добавление предложения WHEN NOT MATCHED BY SOURCE в MERGE INTO
  • [SPARK-40360] [SC-114965] исключения ALREADY_EXISTS и NOT_FOUND
  • [SPARK-41007] [SC-115085] [SQL] Добавление отсутствующих сериализаторов для java.math.BigInteger
  • [SPARK-40751] [SC-114254] [SQL] Перенос ошибок проверки типа функций высокого порядка на классы ошибок
  • [SPARK-40248] [SC-114704] [SQL] Использование большего количества битов для построения фильтра Блум
  • [SPARK-41040] [SC-115145] [SS] Исправлена ошибка потокового запроса самостоятельного объединения при использовании readStream.table
  • [SPARK-32380] [SC-114966] [SQL] Исправление доступа к таблице HBase с помощью Hive из Spark
  • [SPARK-40749] [SC-114860] [SQL] Перенос ошибок при проверке типа генераторов на классы ошибок
  • [SPARK-40925] [SC-114445] [SQL] [SS] [ТЕПЛОФИКС] [12.x] Исправление оператора с отслеживанием состояния поздно...
  • [SPARK-40654] [SC-112783] Удаление временных строк журнала
  • [SPARK-40742] [SC-114913] [SC-112646] [CORE] [SQL] Исправление предупреждений компиляции Java, связанных с универсальным типом
  • [SPARK-40657] [SC-113642] [Вишни-выбор] Добавление поддержки классов Java в Protob...
  • [SPARK-40898] [SC-113932] [SQL] Имена функций кавычки в ошибках несоответствия типов данных
  • [SPARK-40760] [SC-113750] [SQL] Перенос ошибок проверки типа выражений интервала на классы ошибок
  • [SPARK-36114] [SC-113771] [SQL] Поддержка вложенных запросов с коррелированные предикаты неравенства
  • [SPARK-40856] [SC-113738] [SQL] Обновление шаблона ошибки WRONG_NUM_PARAMS
  • [SPARK-40759] [SC-114251] [SQL] Перенос ошибок периода времени на классы ошибок
  • [SPARK-40750] [SC-113812] [SQL] Перенос ошибок проверки типа математических выражений на классы ошибок
  • [SPARK-40756] [SC-113749] [SQL] Перенос ошибок проверки типа строковых выражений на классы ошибок
  • [SPARK-40768] [SC-113640] [SQL] Перенос ошибок проверки типа bloom_filter_agg() на классы ошибок
  • [SPARK-40369] [SC-113402] [CORE] [SQL] Перенос ошибок проверки типа вызовов с помощью отражения на классы ошибок
  • [SPARK-39445] [SQL] Удалите окно, если окноExpressions пусто в обрезке столбцов
  • [SPARK-40761] [SC-113245] [SQL] Перенос ошибок проверки типа выражений процентиля на классы ошибок
  • [SPARK-40361] [SC-112789] [SQL] Перенос ошибок арифметического типа на классы ошибок
  • [SPARK-40714] [SC-112576] [SQL] Убирать PartitionAlreadyExistsException
  • [SPARK-40702] [SC-112437] [SQL] Исправление спецификаций секций в PartitionsAlreadyExistException
  • [SPARK-40358] [SC-112631] [SQL] Перенос ошибок проверки типа коллекции на классы ошибок
  • [SPARK-40910] [SC-114259] [SQL] Замените UnsupportedOperationException на SparkUnsupportedOperationException
  • [SPARK-39876] [SC-112429] [SQL] Добавление UNPIVOT в синтаксис SQL
  • [SPARK-39783] [SC-113389] [SQL] Кавычка квалифицирована Для исправления обратных символов для кандидатов столбцов в сообщениях об ошибках
  • [SPARK-40663] [SC-112520] [SQL] Перенос ошибок выполнения на классы ошибок: _LEGACY_ERROR_TEMP_2026-2282
  • [SPARK-40975] [SC-114555] [SQL] Переименование класса _LEGACY_ERROR_TEMP_0021 ошибок в UNSUPPORTED_TYPED_LITERAL
  • [SPARK-37935] [SC-114472] [SQL] Устранение отдельных полей подклассов ошибок
  • [SPARK-40944] [SC-114530] [SQL] Ограничение упорядочения для параметров столбца CREATE TABLE
  • [SPARK-40815] [SC-114528] [SQL] Добавление DelegateSymlinkTextInputFormat в обходную SymlinkTextInputSplit ошибку
  • [SPARK-40933] [SC-114441] [SQL] Reimplement df.stat. {cov, corr} со встроенными функциями SQL
  • [SPARK-40932] [SC-114439] [CORE] Исправление сообщений о проблемах для allGather переопределяется
  • [SPARK-39312] [SQL] Использование предиката parquet native In в фильтре
  • [SPARK-40862] [SC-114352] [SQL] Поддержка не агрегированных вложенных запросов в RewriteCorrelatedScalarSubquery
  • [SPARK-40963] [SC-114446] [SQL] Правильно задать значение NULL в проекте, созданном ExtractGenerator
  • [SPARK-40663] [SC-112295] [SQL] Перенос ошибок выполнения на классы ошибок: _LEGACY_ERROR_TEMP_2000-2024
  • [SPARK-40892] [SC-114347] [SQL] [SS] Освободить требование правила window_time — разрешить несколько вызовов window_time
  • [SPARK-40540] [SC-111639] [SQL] Перенос ошибок компиляции на классы ошибок: _LEGACY_ERROR_TEMP_1100-1347
  • [SPARK-40924] [SC-114258] [SQL] Исправление для unhex, если входные данные имеют нечетное число символов
  • [SPARK-40821] [SC-113754] [SQL] [CORE] [PYTHON] [SS] Введите функцию window_time для извлечения времени события из столбца окна
  • [SPARK-40800] [SC-113772] [SQL] Всегда встроенные выражения в OptimizeOneRowRelationSubquery
  • [SPARK-40900] [SC-114006] [SQL] Повторное заполнение frequentItems операций с кадрами данных
  • [SPARK-40735] [SC-114022] [SC-112657] Последовательно вызывайте bash с помощью /usr/bin/env bash в сценариях, чтобы сделать код более переносимым
  • [SPARK-40773] [SC-113091] [SQL] Рефакторинг checkCorrelationsInSubquery
  • [SPARK-40615] [SC-113400] [SQL] Проверка неподдерживаемых типов данных при отмене вложенных запросов
  • [SPARK-40660] [SC-112293] [CORE] [SQL] Переключение на XORShiftRandom для распространения элементов
  • [SPARK-40540] [SC-113926] [SC-111331] [SQL] Перенос ошибок компиляции на классы ошибок
  • [SPARK-40551] [SC-113135] [SQL] DataSource версии 2. Добавление API для операций на уровне строк на основе разностных данных
  • [SPARK-39391] [SC-110676] [CORE] Повторное использование классов Секционатора
  • [SPARK-40368] [SC-113396] [SQL] Перенос ошибок проверки типа фильтра Блум на классы ошибок
  • [SPARK-39146] [SC-111814] [CORE] [SQL] Введение локального одноэлемента для ObjectMapper этого может быть повторно использовано
  • [SPARK-40357] [SC-113786] [SC-111352] [SQL] Перенос ошибок типа окна миграции на классы ошибок
  • [SPARK-40874] [SC-113756] [PYTHON] Исправление широковещательных трансляций в определяемых пользователем языках Python при включенном шифровании
  • [SPARK-40359] [SC-113770] [SC-111146] [SQL] Проверка типа миграции завершается ошибкой в выражениях CSV/JSON в классы ошибок
  • [SPARK-40880] [SC-113764] [SQL] Повторное заполнение summary операций с кадрами данных
  • [SPARK-40877] [SC-113763] [SQL] Повторное заполнение crosstab операций с кадрами данных
  • [SPARK-40382] [SC-113098] [SQL] Группировать отдельные статистические выражения по семантически эквивалентным дочерним элементам RewriteDistinctAggregates
  • [SPARK-40826] [SC-113532] [SS] Добавление дополнительной проверки переименования файла контрольной точки
  • [SPARK-40829] [SC-113426] [SQL] STORED AS serde в представлении CREATE TABLE LIKE не работает
  • [SPARK-40844] [SC-113542] [SS] Переверните значение по умолчанию для конфигурации смещения Kafka
  • [SPARK-40488] [SC-113568] [SC-111160] Не обтекайте исключения, возникающие при сбое записи в источник данных
  • [SPARK-40560] [SC-113631] [SC-111335] [SQL] messageTemplate Переименование message STANDARD в формат ошибок
  • [SPARK-40618] [SC-113096] [SQL] Исправлена ошибка в правиле MergeScalarSubqueries с вложенными запросами с помощью отслеживания ссылок
  • [SPARK-40530] [SC-113528] [SC-111332] [SQL] Добавление API разработчиков, связанных с ошибками
  • [SPARK-40806] [SC-113250] [SQL] Исправление опечатки: CREATE TABLE —> REPLACE TABLE
  • [SPARK-40646] [SC-113379] [SQL] Исправление частичных результатов в функциях источника данных JSON и JSON
  • [SPARK-40654] [Вишни-выбор] [SC-112783] [SQL] Поддержка Protobuf для Spark — из...
  • [SPARK-40753] [SC-113539] [SQL] Исправлена ошибка в тестовом случае для операции каталога
  • [SPARK-40765] [SC-113056] [SQL] Оптимизация избыточной операции fs в CommandUtils#calculateSingleLocationSize#getPathSize методе
  • [SPARK-40114] [ES-479282] [R] [11.X] Поддержка стрелки 9.0.0 с SparkR
  • [SPARK-40479] [SC-110935] [SQL] Перенос непредвиденной ошибки типа ввода в класс ошибок
  • [SPARK-40473] [SC-113388] [SC-111141] [SQL] Перенос ошибок синтаксического анализа на классы ошибок
  • [SPARK-39853] [SC-111867] [CORE] Профиль ресурса уровня поддержки для автономного кластера при отключенном динамическом выделении (обратном порту из PR-47157)
  • [SPARK-40407] [SC-111161] [SQL] Исправление потенциального отклонения данных, вызванного df.repartition
  • [SPARK-40425] [SC-110840] [SQL] Drop TABLE не требуется выполнять поиск таблиц
  • [SPARK-40703] [SC-113242] [SQL] Введение перетасовки в SinglePartition для улучшения параллелизма
  • [SPARK-40640] [SC-113138] [CORE] SparkHadoopUtil для задания источника параметров конфигурации hadoop/hive
  • [SPARK-39062] [11.x] [CORE] Добавление поддержки планирования ресурсов уровня стадии для автономного кластера
  • [SPARK-33861] [SC-109877] Возврат "[SQL] Упрощение условного предиката"
  • [SPARK-40667] [SC-113136] [SQL] Параметры источника данных рефакторинга
  • [SPARK-40370] [SC-110677] [SQL] Не удается выполнить проверку типов миграции для классов ошибок в CAST
  • [SPARK-40611] [SC-113105] [SQL] Повышение производительности и getInterval для setIntervalUnsafeRow
  • [SPARK-40733] [SC-113126] [SQL] Сделать содержимое SERDEPROPERTIES в результате ShowCreateTableAsSerdeCommand фиксированного порядка
  • [SPARK-40585] [SC-112180] [SQL] Поддержка двойных кавычек идентификаторов
  • [SPARK-40772] [SC-112992] [SQL] Улучшение spark.sql.adaptive.skewJoin.skewedPartitionFactor поддержки Double значений
  • [SPARK-40565] [SC-112417] [SQL] Не помещать недетерминированные фильтры в источники файлов версии 2
  • [SPARK-8731] [SC-112784] Beeline не работает с параметром -e при запуске в фоновом режиме
  • [SPARK-35242] [SC-111398] [SQL] Поддержка изменения базы данных каталога сеансов по умолчанию
  • [SPARK-40426] [SC-110672] [SQL] Возврат карты из SparkThrowable.getMessageParameters
  • [SPARK-40494] [SC-112655] [SC-111025] [CORE] [SQL] [ML] [MLLIB] Оптимизация производительности keys.zipWithIndex.toMap шаблона кода
  • [SPARK-40521] [SC-112430] [SQL] Возврат существует только секции из PartitionsAlreadyExistException создаваемой секции Hive
  • [SPARK-40705] [SC-112567] [SQL] Обработка случая использования изменяемого массива при преобразовании строки в JSON для Scala 2.13
  • [SPARK-39895] [SC-112590] [SQL] [PYTHON] Поддержка удаления нескольких столбцов
  • [SPARK-40607] [SC-112296] [CORE] [SQL] [MLLIB] [SS] Удаление избыточных операций интерполятора строк
  • [SPARK-40420] [SC-112604] [SC-110569] [SQL] Сортировка параметров сообщения об ошибке по именам в форматах JSON
  • [SPARK-40403] [SC-110564] [SQL] Вычисление небезопасного размера массива с помощью длинных значений, чтобы избежать отрицательного размера в сообщении об ошибке
  • [SPARK-40482] [SC-110831] [SQL] Возвращаться SPARK-24544 Print actual failure cause when look up function failed
  • [SPARK-40400] [SC-112555] [SC-110397] [SQL] Передача параметров сообщения об ошибке исключениям в виде карт
  • [SPARK-40628] [SC-112414] [SQL] Не нажимайте сложные условия полусоединяемого или антисоединяемого с помощью проекта
  • [SPARK-40562] [SC-111455] [SQL] Добавлять spark.sql.legacy.groupingIdWithAppendedUserGroupBy
  • [SPARK-40501] [SC-1113333] [SQL] Добавление PushProjectionThroughLimit для оптимизатора
  • [SPARK-39200] [SC-111244] [CORE] Чтение резервного хранилища в содержимом
  • [SPARK-38717] [SC-111241] [SQL] Обработка сценария сохранения спецификации контейнера Hive
  • [SPARK-40385] [SC-111123] [SQL] Исправлен интерпретировать путь для конструктора объектов-компаньонов
  • [SPARK-40216] [SC-112413] [SQL] Извлечение общего ParquetUtils.prepareWrite метода для дедупликации кода в ParquetFileFormat и ParquetWrite
  • [SPARK-40636] [SC-112160] [CORE] Исправление ошибки, оставшееся в журнале перемешивание в BlockManagerDecommissioner
  • [SPARK-40617] [SC-112009] Исправление состояния гонки при обработке записей ExecutorMetricsPoller на этапеTCMP
  • [SPARK-40618] [SC-112046] [SQL] Исправлена ошибка в правиле MergeScalarSubqueries с вложенными запросами
  • [SPARK-40612] [SC-111933] [CORE] Исправление субъекта, используемого для продления маркера делегирования в диспетчерах ресурсов, отличных от YARN
  • [SPARK-40595] [SC-111662] [SQL] Улучшение сообщения об ошибке для неиспользуемых отношений CTE
  • [SPARK-40314] [SC-111879] [SQL] [PYTHON] Добавление привязок Scala и Python для встроенных и inline_outer
  • [SPARK-40416] [SC-110945] [SQL] Перемещение сообщений об ошибках вложенного запроса CheckAnalysis для использования новой платформы ошибок
  • [SPARK-40318] [SC-111865] [SC-109986] [SQL] try_avg() должен вызывать исключения из дочернего элемента.
  • [SPARK-40509] [SC-111644] [SS] [PYTHON] Добавление примера для applyInPandasWithState
  • [SPARK-40310] [SC-111329] [SC-109842] [SQL] try_sum() должен вызывать исключения из дочернего элемента.
  • [SPARK-40016] [SQL] Удаление ненужных TryEval в реализации try_sum()
  • [SPARK-40527] [SC-111224] [SQL] Сохранение имен полей структуры или ключей карты в CreateStruct
  • [SPARK-38098] [SC-111178] [PYTHON] Добавление поддержки ArrayType вложенного StructType в преобразование на основе стрелки
  • [SPARK-40324] [SC-111359] [SC-110293] [SQL] Предоставление контекста запроса в AnalysisException
  • [SPARK-40492] [SC-111324] [SS] Выполнение обслуживания до выгрузки stateStore потоковой передачи
  • [SPARK-40487] [SC-111124] [SQL] Параллельное выполнение заданий по умолчанию в BroadcastNestedLoopJoinExec
  • [SPARK-40474] [SC-111273] [SQL] Правильное поведение вывода схемы CSV и анализа данных для столбцов с смешанными датами и метками времени
  • [SPARK-40508] [SC-111066] [SQL] Рассматривать неизвестное секционирование как UnknownPartitioning
  • [SPARK-40496] [SC-111234] [SC-111013] [SQL] Исправление конфигураций для управления "enableDateTimeParsingFallback"
  • [SPARK-40435] [SC-11214] [SS] [PYTHON] Добавление наборов тестов для applyInPandasWithState в PySpark
  • [SPARK-40434] [SC-111125] [SS] [PYTHON] Реализация applyInPandasWithState в PySpark

Обновления в рамках обслуживания

Ознакомьтесь с обновлениями обслуживания Databricks Runtime 12.0.

Системная среда

  • Операционная система: Ubuntu 20.04.5 LTS
  • Java: Zulu 8.64.0.19-CA-linux64
  • Scala: 2.12.14.
  • Python: 3.9.5
  • R: 4.2.2
  • Delta Lake: 2.2.0

Установленные библиотеки Python

Библиотека Версия Библиотека Версия Библиотека Версия
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 asttokens 2.0.5
attrs 21.4.0 backcall 0.2.0 backports.entry-points-selectable 1.2.0
beautifulsoup4 4.11.1 black 22.3.0 bleach 4.1.0
boto3 1.21.32 botocore 1.24.32 certifi 2021.10.8
cffi 1.15.0 chardet 4.0.0 charset-normalizer 2.0.4
щелчок 8.0.4 криптография 3.4.8 cycler 0.11.0
Cython 0.29.28 dbus-python 1.2.16 debugpy 1.5.1
decorator 5.1.1 defusedxml 0.7.1 distlib 0.3.6
entrypoints 0,4 executing 0.8.3 facets-overview 1.0.0
fastjsonschema 2.16.2 filelock 3.8.0 шрифтовые инструменты 4.25.0
idna 3,3 ipykernel 6.15.3 ipython 8.5.0
ipython-genutils 0.2.0 ipywidgets 7.7.2 jedi 0.18.1
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.1.0
jsonschema 4.4.0 jupyter-client 6.1.12 jupyter_core 4.11.2
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 kiwisolver 1.3.2
MarkupSafe 2.0.1 matplotlib 3.5.1 matplotlib-inline 0.1.2
mistune 0.8.4 mypy-extensions 0.4.3 nbclient 0.5.13
nbconvert 6.4.4 nbformat 5.3.0 nest-asyncio 1.5.5
записная книжка 6.4.8 numpy 1.21.5 во внешнем виде 21,3
pandas 1.4.2 pandocfilters 1.5.0 parso 0.8.3
pathspec 0.9.0 patsy 0.5.2 pexpect 4.8.0
pickleshare 0.7.5 Pillow 9.0.1 pip 21.2.4
platformdirs 2.5.4 график 5.6.0 prometheus-client 0.13.1
prompt-toolkit 3.0.20 protobuf 3.19.4 psutil 5.8.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 7.0.0 pycparser 2.21 Pygments 2.11.2
PyGObject 3.36.0 pyodbc 4.0.32 pyparsing 3.0.4
pyrsistent 0.18.0 python-dateutil 2.8.2 pytz 2021.3
pyzmq 22.3.0 requests 2.27.1 requests-unixsocket 0.2.0
s3transfer 0.5.0 scikit-learn 1.0.2 scipy 1.7.3
мореборн 0.11.2 Send2Trash 1.8.0 setuptools 58.0.4
six 1.16.0 soupsieve 2.3.1 ssh-import-id 5,10
stack-data 0.2.0 statsmodels 0.13.2 tenacity 8.0.1
terminado 0.13.1 testpath 0.5.0 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tomli 1.2.2 tornado 6.1
traitlets 5.1.1 typing_extensions 4.1.1 unattended-upgrades 0,1
urllib3 1.26.9 virtualenv 20.8.0 wcwidth 0.2.5
webencodings 0.5.1 wheel 0.37.0 widgetsnbextension 3.6.1

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка Microsoft CRAN 2022-11-11.

Библиотека Версия Библиотека Версия Библиотека Версия
Стрелка 10.0.0 askpass 1,1 assertthat 0.2.1
внутренние порты 1.4.1 base 4.2.2 base64enc 0.1-3
bit 4.0.4 bit64 4.0.5 большой двоичный объект 1.2.3
загрузка 1.3-28 заваривать 1,0–8 brio 1.1.3
метла 1.0.1 bslib 0.4.1 cachem 1.0.6
вызывающий объект 3.7.3 крышка 6.0-93 cellranger 1.1.0
chron 2.3-58 class 7.3-20 cli 3.4.1
clipr 0.8.0 clock 0.6.1 cluster 2.1.4
codetools 0.2-18 colorspace 2.0-3 commonmark 1.8.1
компилятор 4.2.2 config 0.3.1 cpp11 0.4.3
карандаш 1.5.2 учетные данные 1.3.2 curl 4.3.3
data.table 1.14.4 наборы данных 4.2.2 DBI 1.1.3
dbplyr 2.2.1 desc 1.4.2 средства разработки 2.4.5
diffobj 0.3.5 digest 0.6.30 downlit 0.4.2
dplyr 1.0.10 dtplyr 1.2.2 e1071 1.7-12
многоточие 0.3.2 evaluate 0,18 вентиляторы 1.0.3
Farver 2.1.1 fastmap 1.1.0 fontawesome 0.4.0
forcats 0.5.2 foreach 1.5.2 иностранный 0.8-82
forge 0.2.0 fs 1.5.2 будущее 1.29.0
future.apply 1.10.0 gargle 1.2.1 Универсальные шаблоны 0.1.3
gert 1.9.1 ggplot2 3.4.0 gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-4 globals 0.16.1
клей 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
Говер 1.0.0 графика 4.2.2 grDevices 4.2.2
grid 4.2.2 gridExtra 2.3 gsubfn 0,7
gtable 0.3.1 hardhat 1.2.0 haven 2.5.1
высокий 0,9 hms 1.1.2 htmltools 0.5.3
htmlwidgets 1.5.4 httpuv 1.6.6 httr 1.4.4
ids 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.6 Итераторы 1.0.14 jquerylib 0.1.4
jsonlite 1.8.3 KernSmooth 2.23-20 трикотажный 1,40
маркирование 0.4.2 later 1.3.0 решётка 0.20-45
Lava 1.7.0 жизненный цикл 1.0.3 listenv 0.8.0
lubridate 1.9.0 magrittr 2.0.3 Markdown 1,3
МАССАЧУСЕТС 7.3-58 «Матрица» 1.5-1 memoise 2.0.1
оплаты 4.2.2 mgcv 1.8-41 мим 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.9
munsell 0.5.0 nlme 3.1-160 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.4 parallel 4.2.2
parallelly 1.32.1 столб 1.8.1 pkgbuild 1.3.1
pkgconfig 2.0.3 pkgdown 2.0.6 pkgload 1.3.1
plogr 0.2.0 plyr 1.8.7 хвалить 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 Ход выполнения 1.2.2
progressr 0.11.0 promises 1.2.0.1 proto 1.0.0
proxy 0.4-27 ps 1.7.2 purrr 0.3.5
r2d3 0.2.6 R6 2.5.1 ragg 1.2.4
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.9 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.1 Рецепты 1.0.3
реванш 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown 2.18 RODBC 1.3-19 roxygen2 7.2.1
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.2.18 rstudioapi 0,14 rversions 2.1.2
rvest 1.0.3 sass 0.4.2 весы 1.2.1
селектор 0.4-2 sessioninfo 1.2.2 форма 1.4.6
блестящий 1.7.3 sourcetools 0.1.7 sparklyr 1.7.8
SparkR 3.3.1 пространственный 7.3-11 Сплайны 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.2.2
статистика4 4.2.2 stringi 1.7.8 stringr 1.4.1
выживание 3.4-0 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.5 textshaping 0.3.6
tibble 3.1.8 tidyr 1.2.1 tidyselect 1.2.0
tidyverse 1.3.2 timechange 0.1.1 TimeDate 4021.106
tinytex 0,42 средства 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.2
служебные программы 4.2.2 uuid 1.1-0 vctrs 0.5.0
viridisLite 0.4.1 vroom 1.6.0 waldo 0.4.0
усы 0,4 withr 2.5.0 xfun 0,34
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.6 zip 2.2.2

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)

ИД группы Идентификатор артефакта Версия
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics потоковая передача 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1–0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.13.4
com.fasterxml.jackson.core jackson-core 2.13.4
com.fasterxml.jackson.core jackson-databind 2.13.4.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.13.4
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.4
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natives 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java-natives 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger профилировщик 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1,1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.5.2
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx коллектор 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.2
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.22
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4,8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow arrow-vector 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4.
org.apache.commons commons-compress 1,21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.4-databricks
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy ivy 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.18.0
org.apache.logging.log4j log4j-api 2.18.0
org.apache.logging.log4j log4j-core 2.18.0
org.apache.logging.log4j log4j-slf4j-impl 2.18.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.6
org.apache.orc orc-mapreduce 1.7.6
org.apache.orc orc-shims 1.7.6
org.apache.parquet parquet-column 1.12.3-databricks-0001
org.apache.parquet parquet-common 1.12.3-databricks-0001
org.apache.parquet parquet-encoding 1.12.3-databricks-0001
org.apache.parquet parquet-format-structures 1.12.3-databricks-0001
org.apache.parquet parquet-hadoop 1.12.3-databricks-0001
org.apache.parquet parquet-jackson 1.12.3-databricks-0001
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4,20
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-continuation 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap shims 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark неиспользованный 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1