Поделиться через

Databricks Runtime 12.2 LTS (EoS)

Замечание

Поддержка этой версии databricks Runtime закончилась. Для получения информации о дате окончания поддержки см. историю окончания поддержки и окончания срока службы. Для всех поддерживаемых версий Databricks Runtime см. заметки о версиях выпуска и совместимости Databricks Runtime.

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 12.2 LTS, работающей под управлением Apache Spark 3.3.2.

Эта версия включает все функции, улучшения и исправления ошибок из всех предыдущих выпусков Databricks Runtime. Databricks выпустила эту версию в марте 2023 года.

Изменения поведения

[Критическое изменение] Для новой версии Python требуется обновление клиентов Python Databricks Connect версии 1

Замечание

Последующее обновление перемещает версию Python в Databricks Runtime 12.2 LTS на 3.9.21. Версия 3.9.21 не вводит никаких изменений в поведении.

Чтобы применить необходимые исправления безопасности, версия Python в Databricks Runtime 12.2 LTS обновляется с 3.9.5 до 3.9.19. Поскольку эти изменения могут привести к ошибкам в клиентах, использующих определенные функции PySpark, все клиенты, использующие Databricks Connect V1 для Python с Databricks Runtime 12.2 LTS, должны быть обновлены до Python 3.9.7 или более поздней версии.

Новые функции и улучшения

Python обновлен с версии 3.9.19 до 3.9.21

Версия Python в Databricks Runtime 12.2 LTS обновляется с 3.9.19 до 3.9.21.

Эволюция схемы Delta Lake поддерживает указание исходных столбцов в инструкциях слияния

Теперь можно указать столбцы, присутствующие только в исходной таблице, в действиях вставки или обновления в инструкциях слияния, когда включена эволюция схемы. В Databricks Runtime 12.1 и ниже можно использовать только действия INSERT * или UPDATE SET * для эволюции схемы слияния. См. "Автоматическая эволюция схемы при слиянии".

Структурированные рабочие нагрузки потоковой передачи поддерживаются в кластерах с режимом общего доступа

Теперь вы можете использовать структурированную потоковую передачу для взаимодействия с каталогом Unity для вычислений с стандартным режимом доступа. Применяются некоторые ограничения. Узнайте , какие функции структурированной потоковой передачи поддерживают каталог Unity?.

Новые возможности прогнозного ввода-вывода

Поддержка Photon для Foreachbatch-компонента теперь доступна. Рабочие нагрузки, которые передаются из источника и объединяются в разностные таблицы или записываются в несколько приемников, теперь могут воспользоваться фотонализованным приемником Foreachbatch .

Поддержка неявного псевдонима бокового столбца

Azure Databricks теперь по умолчанию поддерживает неявное присвоение псевдонима боковым столбцам. Теперь можно повторно использовать выражение, указанное ранее в том же SELECT списке. Например, если имеются SELECT 1 AS a, a + 1 AS b, можно определить a в a + 1 как ранее определенное 1 AS a. Для получения дополнительных сведений о разрешении имён см. порядок разрешения. Чтобы отключить эту функцию, можно задать значение spark.sql.lateralColumnAlias.enableImplicitResolutionfalse.

Новая функция forEachBatch

Фотон теперь поддерживается при использовании foreachBatch для записи в приемник данных.

Стандартные параметры подключения для федерации запросов

Теперь можно использовать единый набор параметров (узел, порт, база данных, пользователь, пароль)для подключения к источникам данных, поддерживаемым в федерации запросов. Port является необязательным и использует номер порта по умолчанию для каждого источника данных, если не указано.

Расширенная библиотека функций SQL для управления массивами

Теперь можно удалить все элементы NULL из массива с помощью array_compact. Чтобы добавить элементы в массив, используйте array_append.

Новая функция маски для анонимизации строк

Вызовите функцию маски, чтобы анонимизировать конфиденциальные строковые значения.

Типичные условия ошибок теперь возвращают SQLSTATEs

Большинство условий ошибок, которые теперь входят в Databricks Runtime, включают документированные значения SQLSTATE, которые можно использовать для проверки ошибок в соответствии со стандартом SQL.

Вызов функций генератора в предложении FROM

Теперь можно вызвать функции генератора с табличным значением, такие как взрыв в регулярном FROM предложении запроса. Это выравнивает вызов функции генератора с другими встроенными и пользовательскими функциями таблицы.

Общедоступная поддержка буферов протокола

Вы можете использовать функции from_protobuf и to_protobuf для обмена данными между двоичными типами и структурами. См. «Чтение и запись буферов протокола».

Переход к определению для переменных и функций записной книжки

В записных книжках можно быстро перейти к определению переменной, функции или кода за %run инструкцией, щелкнув правой кнопкой мыши имя переменной или функции.

Срочное решение для ноутбука по автоматическому импорту библиотек

Записные книжки Databricks теперь предлагают функцию быстрого исправления для автоматически импортируемых библиотек. Если вы забыли импортировать библиотеку, например pandas, наведите указатель мыши на подчеркнутое предупреждение синтаксиса, а затем нажмите кнопку "Быстрое исправление", эта функция требует включения помощника Databricks в рабочей области.

Исправления ошибок

  • Улучшена согласованность поведения фиксации Delta для пустых транзакций, относящихся к командам update, delete и merge. На уровне изоляции WriteSerializable команды, которые не приводят к изменениям, теперь создают пустой коммит. На уровне изоляции Serializable такие пустые транзакции теперь не создают фиксацию.

Изменения в поведении

Изменения поведения в связи с новой функцией псевдонима бокового столбца

Новая функция псевдонима бокового столбца приводит к изменениям поведения для следующих случаев при разрешении имен:

  • Псевдоним боковой колонки теперь имеет приоритет над коррелированными ссылками с тем же именем. Например, для этого запроса SELECT (SELECT c2 FROM (SELECT 1 AS c1, c1 AS c2) WHERE c2 > 5) FROM VALUES(6) AS t(c1), c1 внутри c1 AS c2 был преобразован в сопоставленную ссылку t.c1, но теперь изменяется на псевдоним бокового столбца 1 AS c1. Теперь запрос возвращается NULL.
  • Псевдоним бокового столбца теперь имеет приоритет над параметрами функции с тем же именем. Например, для функции CREATE OR REPLACE TEMPORARY FUNCTION func(x INT) RETURNS TABLE (a INT, b INT, c DOUBLE) RETURN SELECT x + 1 AS x, x, x в теле функции изначально был разрешен как параметр функции x, но вместо этого изменяется на псевдоним бокового столбца x + 1 в теле функции. Запрос SELECT * FROM func(1) теперь возвращает 2, 2.
  • Чтобы отключить функцию псевдонимов бокового столбца, установите spark.sql.lateralColumnAlias.enableImplicitResolution в false. Дополнительные сведения см. в разделе "Разрешение имен".

Обновления библиотек

  • Обновленные библиотеки Python:
    • блокировка файлов от 3.8.2 до 3.9.0
    • joblib от 1.1.0 до 1.1.1
    • platformdirs от 2.6.0 до 2.6.2
    • whatthepatch с версии 1.0.3 до версии 1.0.4
  • Обновленные библиотеки R:
    • класс от 7.3-20 до 7.3-21
    • codetools от 0.2-18 до 0.2-19
    • МАСС с 7.3-58 до 7.3-58.2
    • nlme от 3.1-160 до 3.1-162
    • Rserve от 1.8-11 до 1.8-12
    • SparkR от 3.3.1 до 3.3.2

Изменения поведения

  • Теперь пользователям необходимо иметь SELECT и MODIFY привилегии для любого файла при создании схемы с определенным расположением.

Apache Spark

Databricks Runtime 12.2 включает Apache Spark 3.3.2. Этот выпуск включает все исправления Spark и улучшения, включенные в предыдущую версию, а также следующие:

  • [SPARK-42416] [SC-123205][sc-122851][SQL] Операции набора дат не должны повторно разрешать проанализированный логический план
  • [SPARK-41848] Revert "[CHERRY-PICK][12.x][12.1][12.0][SC-120037][core] Исправление задачи с превышением расписания с помощью TaskResourceProfile".
  • [SPARK-42162] [SC-122711][es-556261] Ввод выражения MultiCommutativeOp в качестве оптимизации памяти для канонизации больших деревьев коммутативных выражений
  • [SPARK-42406] [SC-122998][protobuf][Cherry-pick] Исправлен параметр рекурсивной глубины для функций Protobuf
  • [SPARK-42002] [SC-122476][connect][PYTHON] Реализация DataFrameWriterV2
  • [SPARK-41716] [SC-122545][connect] Переименуйте _catalog_to_pandas на _execute_and_fetch в каталоге
  • [SPARK-41490] [SC-121774][sql] Назначьте имя _LEGACY_ERROR_TEMP_2441
  • [SPARK-41600] [SC-122538][spark-41623][SPARK-41612][connect] Реализация Catalog.cacheTable, isCached и uncache
  • [SPARK-42191] [SC-121990][sql] Поддержка udf "luhn_check"
  • [SPARK-42253] [SC-121976][python] Добавьте тест для обнаружения повторяющегося класса ошибок
  • [SPARK-42268] [SC-122251][connect][PYTHON] Добавить UserDefinedType в протосы
  • [SPARK-42231] [SC-121841][sql] Превратить MISSING_STATIC_PARTITION_COLUMN в internalError
  • [SPARK-42136] [SC-122554] Рефакторинг вычисления секционирования выходных данных для BroadcastHashJoinExec
  • [SPARK-42158] [SC-121610][sql] Интеграция _LEGACY_ERROR_TEMP_1003 в FIELD_NOT_FOUND
  • [SPARK-42192] [12.x][sc-121820][PYTHON] Перенос TypeError из pyspark/sql/dataframe.py в PySparkTypeError
  • [SPARK-35240] Revert "[SC-118242][ss] Use CheckpointFileManager ...
  • [SPARK-41488] [SC-121858][sql] Назначьте имя _LEGACY_ERROR_TEMP_1176 (и 1177)
  • [SPARK-42232] [SC-1222267][sql] Переименовать класс ошибок: UNSUPPORTED_FEATURE.JDBC_TRANSACTION
  • [SPARK-42346] [SC-122480][sql] Переопределение отдельных агрегатов после слияния вложенного запроса
  • [SPARK-42306] [SC-122539][sql] Интеграция _LEGACY_ERROR_TEMP_1317 в UNRESOLVED_COLUMN.WITH_SUGGESTION
  • [SPARK-42234] [SC-122354][sql] Переименовать класс ошибок: UNSUPPORTED_FEATURE.REPEATED_PIVOT
  • [SPARK-42343] [SC-122437][core] Игнорировать IOException в handleBlockRemovalFailure, если SparkContext остановлен
  • [SPARK-41295] [SC-122442][spark-41296][SQL] Переименовать классы ошибок
  • [SPARK-42320] [SC-122478][sql] Присвоить имя _LEGACY_ERROR_TEMP_2188
  • [SPARK-42255] [SC-122483][sql] Назначьте имя _LEGACY_ERROR_TEMP_2430
  • [SPARK-42156] [SC-121851][connect] SparkConnectClient теперь поддерживает RetryPolicies
  • [SPARK-38728] [SC-116723][sql] Проверьте класс ошибок: FAILED_RENAME_PATH
  • [SPARK-40005] [12.X] Автономные примеры в PySpark
  • [SPARK-39347] [SC-122457][ss] Исправление ошибки для вычисления временного окна, когда время события < 0
  • [SPARK-42336] [SC-122458][core] Используйте getOrElse() вместо contains() в ResourceAllocator
  • [SPARK-42125] [SC-121827][connect][PYTHON] Pandas UDF в Spark Connect
  • [SPARK-42217] [SC-1222263][sql] Поддержка неявного псевдонима бокового столбца в запросах с окном
  • [SPARK-35240] [SC-118242][ss] Используйте CheckpointFileManager для обработки файлов контрольных точек
  • [SPARK-42294] [SC-1223337][sql] Включить значения столбцов по умолчанию в выходные данные DESCRIBE для таблиц версии 2
  • [SPARK-41979] Возврат "Вернуться"[12.x][sc-121190][SQL] Добавьте отсутствующие точки для сообщений об ошибках в классах ошибок".
  • [SPARK-42286] [SC-122336][sql] Возврат к предыдущему пути генерации кода для сложных выражений с использованием CAST
  • [SPARK-42275] [SC-122249][connect][PYTHON] Избегайте использования встроенного списка, дикта в статической типизации
  • [SPARK-41985] [SC-122172][sql] Централизовать больше правил разрешения столбцов
  • [SPARK-42126] [SC-122330][python][CONNECT] Поддержать тип возврата в строках DDL для скалярных функций Python в Spark Connect
  • [SPARK-42197] [SC-1223228][sc-121514][CONNECT] Повторно использует инициализацию JVM и отдельные группы конфигурации для установки в удаленном локальном режиме
  • [SPARK-41575] [SC-120118][sql] Назначьте имя _LEGACY_ERROR_TEMP_2054
  • [SPARK-41985] Revert "[SC-122172][sql] Centralize more column resolution rules"
  • [SPARK-42123] [SC-122234][sc-121453][SQL] Добавить значения по умолчанию для столбцов в DESCRIBE и SHOW CREATE TABLE выходных данных
  • [SPARK-41985] [SC-122172][sql] Централизовать больше правил разрешения столбцов
  • [SPARK-42284] [SC-122233][connect] Убедитесь, что сборка сервера подключения создана перед выполнением клиентских тестов — SBT
  • [SPARK-42239] [SC-121790][sql] Интеграция MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY
  • [SPARK-42278] [SC-122170][sql] DS V2 pushdown поддерживает скомпилирование диалектов JDBC SortOrder самостоятельно
  • [SPARK-42259] [SC-122168][sql] ResolveGroupingAnalytics должны учитывать Python UDAF
  • [SPARK-41979] Отменить "[12.x][sc-121190][SQL] Добавление отсутствующих точек для сообщений об ошибках в классах ошибок".
  • [SPARK-42224] [12.x][sc-121708][CONNECT] Перенос TypeError в фреймворк ошибок для функций Spark Connect
  • [SPARK-41712] [12.x][sc-121189][PYTHON][connect] Перенос ошибок Spark Connect в платформу ошибок PySpark.
  • [SPARK-42119] [SC-121913][sc-121342][SQL] Добавление встроенных табличных функций inline и inline_outer
  • [SPARK-41489] [SC-121713][sql] Назначьте имя _LEGACY_ERROR_TEMP_2415
  • [SPARK-42082] [12.x][sc-121163][SPARK-41598][python][CONNECT] Введение PySparkValueError и PySparkTypeError
  • [SPARK-42081] [SC-121723][sql] Улучшение проверки изменений плана
  • [SPARK-42225] [12.x][sc-121714][CONNECT] Добавьте SparkConnectIllegalArgumentException для точной обработки ошибки Spark Connect.
  • [SPARK-42044] [12.x][sc-121280][SQL] Исправлено неверное сообщение об ошибке для MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY
  • [SPARK-42194] [12.x][sc-121712][PS] Разрешить параметр столбцов при создании DataFrame с Series.
  • [SPARK-42078] [12.x][sc-120761][PYTHON] Миграция ошибок, создаваемых JVM в PySparkException.
  • [SPARK-42133] [12.x][sc-121250] Добавление базовых методов API набора данных в клиент SparkConnect Scala
  • [SPARK-41979] [12.x][sc-121190][SQL] Добавить недостающие точки в сообщения об ошибках в классах ошибок.
  • [SPARK-42124] [12.x][sc-121420][PYTHON][connect] Scalar Inline Python UDF в Spark Connect
  • [SPARK-42051] [SC-121994][sql] Поддержка codegen для HiveGenericUDF
  • [SPARK-42257] [SC-121948][core] Удаление неиспользуемой переменной внешней сортировки
  • [SPARK-41735] [SC-121771][sql] Используйте МИНИМАЛЬНОЕ вместо STANDARD для SparkListenerSQLExecutionEnd
  • [SPARK-42236] [SC-121882][sql] Уточнить NULLABLE_ARRAY_OR_MAP_ELEMENT
  • [SPARK-42233] [SC-121775][sql] Улучшение сообщения об ошибке для PIVOT_AFTER_GROUP_BY
  • [SPARK-42229] [SC-121856][core] Перенос SparkCoreErrors в классы ошибок
  • [SPARK-42163] [SC-121839][sql] Исправление обрезки схемы для не свертываемого индекса массива или ключа карты
  • [SPARK-40711] [SC-119990][sql] Добавление метрик размера разлива для окна
  • [SPARK-42023] [SC-121847][spark-42024][CONNECT][python] Сделать createDataFrame поддерживающим AtomicType -> StringType приведение
  • [SPARK-42202] [SC-121837][connect][Test] Улучшить логику остановки тестового сервера E2E
  • [SPARK-41167] [SC-117425][sql] Повысить производительность оператора LIKE, создав предикат сбалансированного дерева выражений
  • [SPARK-41931] [SC-121618][sql] Улучшено сообщение об ошибке для неполного определения сложного типа
  • [SPARK-36124] [SC-121339][sc-110446][SQL] Поддержка вложенных запросов с корреляцией через UNION
  • [SPARK-42090] [SC-121290][3.3] Введите число повторных попыток sasl в RetryingBlockTransferor
  • [SPARK-42157] [SC-121264][core] spark.scheduler.mode=FAIR должен предоставлять планировщик FAIR
  • [SPARK-41572] [SC-120772][sql] Присвоить имя _LEGACY_ERROR_TEMP_2149
  • [SPARK-41983] [SC-1212224][sql] Переименовать & улучшить сообщение об ошибке для NULL_COMPARISON_RESULT
  • [SPARK-41976] [SC-121024][sql] Улучшение сообщения об ошибке для INDEX_NOT_FOUND
  • [SPARK-41994] [SC-121210][sc-120573] Назначение SQLSTATE (1/2)
  • [SPARK-41415] [SC-121117][3.3] Повторные попытки запроса SASL
  • [SPARK-38591] [SC-121018][sql] Добавление flatMapSortedGroups и cogroupSorted
  • [SPARK-41975] [SC-120767][sql] Улучшение сообщения об ошибке для INDEX_ALREADY_EXISTS
  • [SPARK-42056] [SC-121158][sql][PROTOBUF] Добавление отсутствующих параметров для функций Protobuf
  • [SPARK-41984] [SC-120769][sql] Переименовать & улучшить сообщение об ошибке для RESET_PERMISSION_TO_ORIGINAL
  • [SPARK-41948] [SC-121196][sql] Исправление NPE для классов ошибок: CANNOT_PARSE_JSON_FIELD
  • [SPARK-41772] [ SC-121176][connect][PYTHON] Исправлено неправильное имя столбца в тесте документации withField.
  • [SPARK-41283] [SC-121175][connect][PYTHON] Добавить array_append для подключения
  • [SPARK-41960] [SC-120773][sql] Назначьте имя _LEGACY_ERROR_TEMP_1056
  • [SPARK-42134] [SC-121116][sql] Исправление getPartitionFiltersAndDataFilters() для обработки фильтров без ссылочных атрибутов
  • [SPARK-42096] [SC-121012][connect] Некоторая очистка кода для модуля connect
  • [SPARK-42099] [SC-121114][spark-41845][CONNECT][python] Исправление count(*) и count(col(*))
  • [SPARK-42045] [SC-120958][sc-120450][SQL] режим ANSI SQL: функции Round и Bround должны выдавать ошибку в случае целочисленного переполнения
  • [SPARK-42043] [SC-120968][connect] Результат клиента Scala с помощью тестов E2E
  • [SPARK-41884] [SC-121022][connect] Поддержка наивного кортежа в виде вложенной строки
  • [SPARK-42112] [SC-121011][sql][SS] Добавить проверку на null перед закрытием функции ContinuousWriteRDD#computedataWriter
  • [SPARK-42077] [SC-120553][connect][PYTHON] Литерал должен вызывать TypeError для неподдерживаемого типа данных
  • [SPARK-42108] [SC-120898][sql] Сделать так, чтобы анализатор преобразовывал Count(*) в Count(1)
  • [SPARK-41666] [SC-120928][sc-119009][PYTHON] Поддержка параметризованного SQL по sql()
  • [SPARK-40599] [SC-120930][sql] Ослабить тип правила multiTransform, чтобы альтернативы могли быть любыми типами Seq
  • [SPARK-41574] [SC-120771][sql] Обновление _LEGACY_ERROR_TEMP_2009 как INTERNAL_ERROR.
  • [SPARK-41579] [SC-120770][sql] Назначьте имя _LEGACY_ERROR_TEMP_1249
  • [SPARK-41974] [SC-120766][sql] Превратить INCORRECT_END_OFFSET в INTERNAL_ERROR
  • [SPARK-41530] [SC-120916][sc-118513][CORE] Переименовать MedianHeap в PercentileMap и поддерживать процентили.
  • [SPARK-41757] [SC-120608][spark-41901][CONNECT] Исправление строкового представления класса Column
  • [SPARK-42084] [SC-120775][sql] Избегайте утечки ограничения только для квалифицированного доступа
  • [SPARK-41973] [SC-120765][sql] Присвоить имя _LEGACY_ERROR_TEMP_1311
  • [SPARK-42039] [SC-120655][sql] SPJ: Удалить опцию в KeyGroupedPartitioning#partitionValuesOpt
  • [SPARK-42079] [SC-120712][connect][PYTHON] Переименовать прото-сообщения для toDF и withColumnsRenamed
  • [SPARK-42089] [SC-120605][connect][PYTHON] Исправьте проблемы с именем переменной в вложенных лямбда-функциях
  • [SPARK-41982] [SC-120604][sql] Секции строк типа не должны рассматриваться как числовые типы
  • [SPARK-40599] [SC-120620][sql] Добавление методов multiTransform в TreeNode для создания альтернативных вариантов
  • [SPARK-42085] [SC-120556][connect][PYTHON] Сделать from_arrow_schema поддерживающим вложенные типы
  • [SPARK-42057] [SC-120507][sql][PROTOBUF] Исправлено, как исключение обрабатывается в отчетах об ошибках.
  • [SPARK-41586] [12.x][все тесты][SC-120544][python] Введение pyspark.errors и классов ошибок для PySpark.
  • [SPARK-41903] [SC-120543][connect][PYTHON] Literal должен поддерживать 1-dim ndarray
  • [SPARK-42021] [SC-120584][connect][PYTHON] Добавить поддержку createDataFrame для array.array
  • [SPARK-41896] [SC-120506][sql] Фильтрация по индексу строк возвращает пустые результаты
  • [SPARK-41162] [SC-119742][sql] Исправление анти- и полусоединения для самостоятельного соединения с агрегациями
  • [SPARK-41961] [SC-120501][sql] Поддержка табличных функций с помощью LATERAL
  • [SPARK-41752] [SC-120550][sql][UI] Сгруппировать вложенные выполнения в корневом выполнении
  • [SPARK-42047] [SC-120586][spark-41900][CONNECT][python][12.X] Литерал должен поддерживать типы данных Numpy
  • [SPARK-42028] [SC-120344][connect][PYTHON] Усечение меток времени наносекунд.
  • [SPARK-42011] [SC-120534][connect][PYTHON] Реализовать DataFrameReader.csv
  • [SPARK-41990] [SC-120532][sql] Используйте FieldReference.column вместо apply при преобразовании фильтров из версии 1 в версию 2
  • [SPARK-39217] [SC-120446][sql] Обеспечивает поддержку DPP для стороны фильтрации, использующей оператор Union.
  • [SPARK-42076] [SC-120551][connect][Python] Преобразование данных с коэффициентом arrow -> rows в conversion.py
  • [SPARK-42074] [SC-120540][sql] Включить KryoSerializer в TPCDSQueryBenchmark для принудительной регистрации классов SQL
  • [SPARK-42012] [SC-120517][connect][PYTHON] Реализовать DataFrameReader.orc
  • [SPARK-41832] [SC-120513][connect][PYTHON] Исправить DataFrame.unionByName, добавить возможность отсутствия колонок
  • [SPARK-38651] [SC-120514] [SQL] Добавлять spark.sql.legacy.allowEmptySchemaWrite
  • [SPARK-41991] [SC-120406][sql] CheckOverflowInTableInsert должен принимать ExpressionProxy как дочерний
  • [SPARK-41232] [SC-120073][sql][PYTHON] Добавление функции array_append
  • [SPARK-42041] [SC-120512][spark-42013][CONNECT][python] DataFrameReader должен поддерживать список путей
  • [SPARK-42071] [SC-120533][core] Регистрация scala.math.Ordering$Reverse в KyroSerializer
  • [SPARK-41986] [SC-120429][sql] Внедрение шардинга в SinglePartition
  • [SPARK-42016] [SC-120428][connect][PYTHON] Включить тесты, связанные с вложенным столбцом
  • [SPARK-42042] [SC-120427][connect][PYTHON] DataFrameReader должен поддерживать схему StructType
  • [SPARK-42031] [SC-120389][core][SQL] Очистка remove методов, которые не нуждаются в переопределении
  • [SPARK-41746] [SC-120463][spark-41838][SPARK-41837][spark-41835][SPARK-41836][spark-41847][CONNECT][python] Реализовать поддержку вложенных типов для createDataFrame(rows/lists/tuples/dicts)
  • [SPARK-41437] [SC-117601][sql][ВСЕ ТЕСТЫ] Не оптимизируйте входной запрос дважды для резервной записи версии 1
  • [SPARK-41840] [SC-119719][connect][PYTHON] Добавьте отсутствующий псевдоним groupby
  • [SPARK-41846] [SC-119717][connect][PYTHON] Включите doctests для оконных функций
  • [SPARK-41914] [SC-120094][sql] FileFormatWriter материализует план AQE перед доступом к outputOrdering
  • [SPARK-41805] [SC-119992][sql] Повторное использование выражений в WindowSpecDefinition
  • [SPARK-41977] [SC-120269][spark-41978][CONNECT] SparkSession.range для передачи значений float в качестве аргументов
  • [SPARK-42029] [SC-120336][connect] Добавить правила тенизации (шэйдинга) для Guava в connect-common, чтобы избежать сбоя запуска
  • [SPARK-41989] [SC-120334][python] Избегайте нарушения конфигурации логирования из pyspark.pandas
  • [SPARK-42003] [SC-120331][sql] Сокращение дубликата кода в ResolveGroupByAll
  • [SPARK-41635] [SC-120313][sql] Исправление группы всех отчетов об ошибках
  • [SPARK-41047] [SC-120291][sql] Улучшение документов для раунда
  • [SPARK-41822] [SC-120122][connect] Настройка подключения gRPC для клиента Scala/JVM
  • [SPARK-41879] [SC-120264][connect][Python] Сделать DataFrame.collect поддержку вложенных типов
  • [SPARK-41887] [SC-120268][connect][PYTHON] Сделать так, чтобы DataFrame.hint принимал параметр типа список
  • [SPARK-41964] [SC-120210][connect][PYTHON] Добавьте список неподдерживаемых функций ввода-вывода
  • [SPARK-41595] [SC-120097][sql] Поддержка функции-генератора explode/explode_outer в предложении FROM
  • [SPARK-41957] [SC-120121][connect][PYTHON] Включите doctest для DataFrame.hint
  • [SPARK-41886] [SC-120141][connect][PYTHON] DataFrame.intersect выходные данные из doctest идут в другом порядке.
  • [SPARK-41442] [SC-117795][sql][ВСЕ ТЕСТЫ] Обновлять значение SQLMetric только при объединении с корректной метрикой
  • [SPARK-41944] [SC-120046][connect] Передача конфигураций при подключении к локальному удаленному режиму
  • [SPARK-41708] [ SC-119838][sql] Pull v1write information to WriteFiles
  • [SPARK-41780] [SC-120000][sql] Должно выбрасываться исключение INVALID_PARAMETER_VALUE.PATTERN, если параметры regexp недопустимы
  • [SPARK-41889] [SC-119975][sql] Присоединить первопричину к invalidPatternError, & рефакторинг классов ошибок INVALID_PARAMETER_VALUE
  • [SPARK-41860] [SC-120028][sql] Создание классов вариантов AvroScanBuilder и JsonScanBuilder
  • [SPARK-41945] [SC-120010][connect][Python] Python: клиент потерял данные столбца с помощью pyarrow.Table.to_pylist
  • [SPARK-41690] [SC-119102][sc-119087][SQL][connect] Агностические кодировщики
  • [SPARK-41354] [SC-119995][connect][PYTHON] Реализация repartitionByExpression
  • [SPARK-41581] [SC-119997][sql] Обновление _LEGACY_ERROR_TEMP_1230 как INTERNAL_ERROR
  • [SPARK-41928] [SC-119972][connect][PYTHON] Добавьте неподдерживаемый список для functions
  • [SPARK-41933] [SC-119980][connect] Укажите локальный режим, который автоматически запускает сервер.
  • [SPARK-41899] [SC-119971][connect][PYTHON] createDataFrame' должен уважать предоставленную пользователем схему DDL
  • [SPARK-41936] [SC-119978][connect][PYTHON] Сделать withMetadata повторно использовать withColumns прототип
  • [SPARK-41898] [SC-119931][connect][PYTHON] Проверка типов для параметров Window.rowsBetween и Window.rangeBetween на соответствие с pyspark
  • [SPARK-41939] [SC-119977][connect][PYTHON] Добавьте неподдерживаемый список для функций catalog
  • [SPARK-41924] [SC-119946][connect][PYTHON] Сделать так, чтобы StructType поддерживал метаданные и внедрить DataFrame.withMetadata
  • [SPARK-41934] [SC-119967][connect][PYTHON] Добавьте неподдерживаемый список функций для session
  • [SPARK-41875] [SC-119969][connect][PYTHON] Добавление тестовых вариантов для Dataset.to()
  • [SPARK-41824] [SC-119970][connect][PYTHON] Игнорировать doctest для объяснения функции connect
  • [SPARK-41880] [SC-119959][connect][PYTHON] Сделать функцию from_json принимать не литеральную схему
  • [SPARK-41927] [SC-119952][connect][PYTHON] Добавьте список неподдерживаемых для GroupedData
  • [SPARK-41929] [SC-119949][connect][PYTHON] Добавить функцию array_compact
  • [SPARK-41827] [SC-119841][connect][PYTHON] Сделать GroupBy принять список столбцов
  • [SPARK-41925] [SC-119905][sql] Включить spark.sql.orc.enableNestedColumnVectorizedReader по умолчанию
  • [SPARK-41831] [SC-119853][connect][PYTHON] Сделать DataFrame.select принять список столбцов
  • [SPARK-41455] [SC-119858][connect][PYTHON] Сделайте DataFrame.collect отменить сведения о часовом поясе
  • [SPARK-41923] [SC-119861][connect][PYTHON] Добавить DataFrame.writeTo в неподдерживаемый список
  • [SPARK-41912] [SC-119837][sql] Subquery не должно проверять CTE
  • [SPARK-41828] [SC-119832][connect][PYTHON][12.x] Обеспечить createDataFrame поддержку пустого кадра данных
  • [SPARK-41905] [SC-119848][connect] Поддержка имени в виде строк в срезе
  • [SPARK-41869] [SC-119845][connect] Отклонить одну строку в dropDuplicates
  • [SPARK-41830] [SC-119840][connect][PYTHON] Сделать DataFrame.sample принимать те же параметры, что и PySpark
  • [SPARK-41849] [SC-119835][connect] Реализовать DataFrameReader.text
  • [SPARK-41861] [SC-119834][sql] Сделать так, чтобы метод build() в ScanBuilders версии 2 возвращал типизированный скан
  • [SPARK-41825] [SC-119710][connect][PYTHON] Включить тесты документации, связанные с DataFrame.show
  • [SPARK-41855] [SC-119804][sc-119410][SPARK-41814][spark-41851][SPARK-41852][connect][PYTHON][12.x] Обеспечить правильную обработку None/NaN в createDataFrame
  • [SPARK-41833] [SC-119685][spark-41881][SPARK-41815][connect][python] Сделать DataFrame.collect обрабатывать none/NaN/Array/Binary porperly
  • [SPARK-39318] [SC-119713][sql] Удалить золотые файлы tpch-plan-stability WithStats
  • [SPARK-41791] [SC-119745] Добавление новых типов столбцов метаданных источника файла
  • [SPARK-41790] [ SC-119729][sql] Правильно задать формат средства чтения преобразования и записи
  • [SPARK-41829] [SC-119725][connect][PYTHON] Добавьте отсутствующий параметр упорядочивания в Sort и sortWithinPartitions
  • [SPARK-41576] [SC-119718][sql] Присвойте имя _LEGACY_ERROR_TEMP_2051
  • [SPARK-41821] [SC-119716][connect][PYTHON] Исправление теста документации для DataFrame.describe
  • [SPARK-41871] [SC-119714][connect] Параметр подсказки dataFrame может быть str, float или int
  • [SPARK-41720] [SC-119076][sql] Переименование UnresolvedFunc в UnresolvedFunctionName
  • [SPARK-41573] [SC-119567][sql] Присвоить имя _LEGACY_ERROR_TEMP_2136
  • [SPARK-41862] [SC-119492][sql] Исправлена ошибка правильности, связанная со значениями DEFAULT в средстве чтения Orc
  • [SPARK-41582] [SC-119482][sc-118701][CORE][sql] Повторно использовать INVALID_TYPED_LITERAL вместо _LEGACY_ERROR_TEMP_0022

Технические обновления

Ознакомьтесь с обновлениями обслуживания Databricks Runtime 12.2.

Системная среда

  • Операционная система: Ubuntu 20.04.5 LTS
    • Примечание. Это версия Ubuntu, используемая контейнерами среды выполнения Databricks. Контейнеры среды выполнения Databricks выполняются на виртуальных машинах поставщика облачных служб, которые могут использовать другую версию Ubuntu или дистрибутив Linux.
  • Java: Zulu 8.68.0.21-CA-linux64
  • Scala: 2.12.15
  • Python: 3.9.21
  • R: 4.2.2
  • Delta Lake: 2.2.0

Установленные библиотеки Python

Библиотека Версия Библиотека Версия Библиотека Версия
argon2-cffi 21.3.0 argon2-cffi-связки 21.2.0 асттокенс 2.0.5
атрибуты 21.4.0 Обратный вызов 0.2.0 пакет библиотеки backports.entry-points-selectable 1.2.0
beautifulsoup4 4.11.1 черный 22.3.0 отбеливатель 4.1.0
boto3 1.21.32 botocore 1.24.32 сертификат 2021.10.8
cffi 1.15.0 chardet 4.0.0 нормализатор кодировки 2.0.4
щелчок 8.0.4 криптография 3.4.8 велосипедист 0.11.0
Cython 0.29.28 dbus-python 1.2.16 debugpy 1.5.1
декоратор 5.1.1 defusedxml 0.7.1 Дистлиб 0.3.6
Конвертация docstring в markdown 0.11 точки входа 0,4 исполнение 0.8.3
Обзор аспектов 1.0.0 fastjsonschema 2.16.2 файловая блокировка 3.9.0
шрифтовые инструменты 4.25.0 IDNA 3,3 ipykernel 6.15.3
ipython 8.5.0 ipython-genutils (утилиты для iPython) 0.2.0 ipywidgets 7.7.2
джедаи 0.18.1 Джинджа2 2.11.3 jmespath 0.10.0
joblib 1.1.1 jsonschema (JSON-схема) 4.4.0 Джупитер-клиент 6.1.12
jupyter_core (ядро Jupyter) 4.11.2 jupyterlab-pygments 0.1.2 jupyterlab-мини-приложения 1.0.0
Кивисолвер 1.3.2 MarkupSafe 2.0.1 matplotlib 3.5.1
матплотлиб-инлайн 0.1.2 МакКейб 0.7.0 Мистун 0.8.4
mypy-extensions (расширения для mypy) 0.4.3 nbclient 0.5.13 Перекодировщик nbconvert 6.4.4
nbformat 5.3.0 nest-asyncio 1.5.5 nodeenv 1.7.0
notebook 6.4.8 numpy (библиотека для работы с массивами и матрицами в Python) 1.21.5 упаковка 21,3
Панды 1.4.2 пандокфильтры 1.5.0 Парсо 0.8.3
спецификация пути 0.9.0 простак 0.5.2 pexpect (библиотека Python для автоматизации взаимодействия с приложениями) 4.8.0
Пиклшэр 0.7.5 Подушка 9.0.1 пит 21.2.4
Platformdirs 2.6.2 библиотека Plotly для визуализации данных 5.6.0 менеджер плагинов Pluggy 1.0.0
prometheus-client 0.13.1 prompt-toolkit (инструментарий подсказок) 3.0.20 protobuf (протобуф) 3.19.4
psutil (пакет Python для работы с процессами и системами) 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
пьюр-эвэл 0.2.2 pyarrow 7.0.0 pycparser 2.21
pyflakes (аналитический инструмент для Python) 2.5.0 Пигменты 2.11.2 PyGObject 3.36.0
pyodbc 4.0.32 pyparsing (библиотека для синтаксического анализа в Python) 3.0.4 pyright 1.1.283
пирсистент 0.18.0 python-dateutil (библиотека для работы с датами и временем в Python) 2.8.2 python-lsp-jsonrpc 1.0.0
python-lsp-server (сервер Python LSP) 1.6.0 pytz (библиотека Python для работы с часовыми поясами) 2021.3 pyzmq 22.3.0
Запросы 2.27.1 requests-unixsocket 0.2.0 верёвка 0.22.0
s3transfer 0.5.0 scikit-learn (библиотека машинного обучения) 1.0.2 scipy (библиотека Python) 1.7.3
мореборн 0.11.2 Send2Trash 1.8.0 setuptools (пакет для установки и управления Python-пакетами) 61.2.0
шесть 1.16.0 ситечко для супа 2.3.1 ssh-import-id (импортировать идентификатор SSH) 5,10
стековые данные 0.2.0 statsmodels (библиотека Python для статистического моделирования) 0.13.2 упорство 8.0.1
закончено 0.13.1 путь тестирования 0.5.0 Threadpoolctl 2.2.0
токенизация-рт 4.2.1 томли 1.2.2 торнадо 6.1
Трейтлеты 5.1.1 typing_extensions (расширения для ввода текста) 4.1.1 ujson 5.1.0
автоматические обновления без участия пользователя 0,1 urllib3 1.26.9 virtualenv 20.8.0
wcwidth (ширина символа в Unicode) 0.2.5 веб-энкодинги 0.5.1 чтоэто за патч 1.0.4
колесо 0.37.0 widgetsnbextension 3.6.1 yapf (форматировщик Python кода) 0.31.0

Установленные библиотеки R

Библиотеки R устанавливаются из среза Microsoft CRAN от 11-11-2022. Моментальный снимок больше недоступен.

Библиотека Версия Библиотека Версия Библиотека Версия
стрела 10.0.0 аскпасс 1.1 утверждать, что 0.2.1
обратные порты 1.4.1 основа 4.2.2 base64enc 0.1-3
кусочек 4.0.4 64-бит 4.0.5 комок 1.2.3
сапог 1.3-28 варить 1,0–8 жизнерадостность 1.1.3
метла 1.0.1 bslib 0.4.1 кашемир 1.0.6
звонящий 3.7.3 каретка 6.0-93 целлрейнджер 1.1.0
хронометр 2.3-58 класс 7.3-21 интерфейс командной строки (CLI) 3.4.1
клиппер 0.8.0 часы 0.6.1 кластер 2.1.4
codetools 0.2-19 цветовое пространство 2.0-3 коммонмарк 1.8.1
компилятор 4.2.2 config 0.3.1 cpp11 0.4.3
карандаш 1.5.2 credentials 1.3.2 завиток 4.3.3
таблица данных 1.14.4 Наборы данных 4.2.2 DBI 1.1.3
dbplyr 2.2.1 описание 1.4.2 средства разработки 2.4.5
diffobj 0.3.5 дайджест 0.6.30 направленное вниз освещение 0.4.2
dplyr (пакет для обработки данных в R) 1.0.10 dtplyr 1.2.2 e1071 1.7-12
многоточие 0.3.2 оценивать 0.18 фанаты 1.0.3
Цвета 2.1.1 фастмап 1.1.0 fontawesome 0.4.0
Forcats (форкатс) 0.5.2 foreach 1.5.2 иностранный 0.8-82
кузница 0.2.0 fs 1.5.2 будущее 1.29.0
будущее.применить 1.10.0 полоскать горло 1.2.1 Дженерики 0.1.3
Герт 1.9.1 ggplot2 3.4.0 gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-4 глобальные переменные 0.16.1
клей 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
Говер 1.0.0 графика 4.2.2 grDevices 4.2.2
сеть 4.2.2 gridExtra 2.3 gsubfn 0.7
гтабл 0.3.1 каска 1.2.0 убежище 2.5.1
выше 0,9 HMS 1.1.2 инструменты для HTML 0.5.3
HTML-виджеты 1.5.4 httpuv 1.6.6 httr 1.4.4
удостоверения личности 1.0.1 ini 0.3.1 ипред 0.9-13
изо-лента 0.2.6 Итераторы 1.0.14 jquerylib 0.1.4
jsonlite 1.8.3 KernSmooth 2.23-20 knitr (пакет для динамической генерации отчетов в языке программирования R) 1,40
маркирование 0.4.2 позже 1.3.0 решётка 0.20-45
лава 1.7.0 жизненный цикл 1.0.3 слушай 0.8.0
лубридейт 1.9.0 магриттр 2.0.3 Markdown 1.3
Масса 7.3-58.2 Матрица 1.5-1 Запоминание 2.0.1
методы 4.2.2 mgcv 1.8-41 mime 0,12
мини-интерфейс 0.1.1.1 ModelMetrics 1.2.2.2 модельер 0.1.9
munsell 0.5.0 nlme 3.1-162 ннейронная сеть 7.3-18
numDeriv 2016.8-1.1 OpenSSL 2.0.4 параллельный 4.2.2
параллельно 1.32.1 столб 1.8.1 пакджбилд 1.3.1
pkgconfig 2.0.3 pkgdown 2.0.6 пкглоад (pkgload) 1.3.1
Плогр 0.2.0 плайр 1.8.7 похвала 1.0.0
prettyunits 1.1.1 pROC 1.18.0 Processx 3.8.0
Prodlim 2019.11.13 profvis 0.3.7 прогресс 1.2.2
progressr 0.11.0 обещания 1.2.0.1 прото 1.0.0
прокси 0.4-27 п.с. 1.7.2 мурлыканье 0.3.5
r2d3 0.2.6 Р6 2.5.1 ragg 1.2.4
randomForest (рандомФорест) 4.7-1.1 рэпдирс 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.9 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl (пакет для чтения Excel-файлов) 1.4.1 Рецепты 1.0.3
реванш 1.0.1 реванш2 2.1.2 пульты дистанционного управления 2.4.2
репрекс 2.0.2 Изменить форму2 1.4.4 rlang 1.0.6
rmarkdown (инструмент для создания динамических документов в R) 2.18 RODBC 1.3-19 roxygen2 7.2.1
rpart (пакет для построения деревьев решений в языке программирования R) 4.1.19 rprojroot 2.0.3 Rserve (Рcерве) 1.8-12
RSQLite 2.2.18 рстудиоапи 0,14 rversions 2.1.2
Рвест 1.0.3 дерзость 0.4.2 весы 1.2.1
селектор 0.4-2 информация о сессии 1.2.2 форма 1.4.6
блестящий 1.7.3 sourcetools 0.1.7 sparklyr 1.7.8
SparkR 3.3.2 пространственный 7.3-11 Сплайны 4.2.2
SQLDF 0,4-11 SQUAREM январь 2021 статистика 4.2.2
статистика4 4.2.2 стринги 1.7.8 стрингр 1.4.1
выживание 3.4-0 sys 3.4.1 systemfonts 1.0.4
язык программирования Tcl/Tk 4.2.2 testthat 3.1.5 форматирование текста 0.3.6
Tibble 3.1.8 Тидыр 1.2.1 tidyselect 1.2.0
tidyverse (тайдивёрс) 1.3.2 смена времени 0.1.1 ТаймДата 4021.106
tinytex 0,42 инструменты 4.2.2 База данных часовых зон (tzdb) 0.3.0
URL-чекер 1.0.1 используйэто 2.1.6 utf8 1.2.2
утилиты 4.2.2 UUID (Универсальный уникальный идентификатор) 1.1-0 vctrs 0.5.0
viridisLite 0.4.1 брррм 1.6.0 Уолдо 0.4.0
волосок 0,4 увядать 2.5.0 xfun 0,34
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
YAML 2.3.6 ZIP-архив 2.2.2

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)

Идентификатор группы Идентификатор артефакта Версия
Антлер Антлер 2.7.7
com.amazonaws Клиент Amazon Kinesis 1.12.0
com.amazonaws aws-java-sdk-autoscaling (автоматическое масштабирование) 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws AWS Java SDK для CloudSearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy (AWS Java SDK для CodeDeploy) 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws Конфигурация SDK для Java от AWS 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline (пакет для работы с Data Pipeline на Java) 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing (пакет программного обеспечения для балансировки нагрузки в AWS, написанный на Java) 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder (Java SDK для Elastic Transcoder) 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier (пакет программного обеспечения для работы с Glacier) 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport (пакет для импорта и экспорта данных) 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms (пакет программного обеспечения для работы с AWS KMS) 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws AWS Java SDK для машинного обучения 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws AWS Java SDK для RDS 1.12.189
com.amazonaws AWS Java SDK для Redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm (AWS SDK для Java — SSM модуль) 1.12.189
com.amazonaws AWS Java SDK для Storage Gateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws Поддержка AWS Java SDK 1.12.189
com.amazonaws aws-java-sdk-swf библиотеки 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics поток 2.9.6
com.databricks Rserve (Рcерве) 1.8-3
com.databricks jets3t 0.7.1–0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware криогенное затенение 4.0.2
com.esotericsoftware минлог 1.3.0
com.fasterxml одноклассник 1.3.4
com.fasterxml.jackson.core аннотации Джексона 2.13.4
com.fasterxml.jackson.core джексон-ядро 2.13.4
com.fasterxml.jackson.core джексон-databind 2.13.4.2
com.fasterxml.jackson.dataformat Джексон-формат-данных-CBOR 2.13.4
com.fasterxml.jackson.datatype джексон-дейтайп-джода 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module джексон-модуль-паранэймер 2.13.4
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.4
com.github.ben-manes.caffeine кофеин 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib ядро 1.1.2
com.github.fommil.netlib нативная_ссылка-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib Нативная_система-java 1.1
com.github.fommil.netlib native_system-java-natives (нативная система-нативы java) 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson Gson 2.8.6
com.google.crypto.tink тинк 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava гуава 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger Профилировщик 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.ВЫПУСК
com.lihaoyi исходный код_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk (SDK для Azure Data Lake Store) 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf (метод сжатия данных) 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning JSON (формат обмена данными JavaScript) 1.8
com.thoughtworks.paranamer Паранэймер 2.8
com.trueaccord.lenses линзы_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity юнивосити-парсерс 2.9.1
com.zaxxer ХикариCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
общие коллекции общие коллекции 3.2.2
commons-dbcp commons-dbcp 1.4
загрузка файлов через модуль commons загрузка файлов через модуль commons 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
коммонс-логгинг коммонс-логгинг 1.1.3
коммонс-пул коммонс-пул 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib Блас 2.2.1
dev.ludovic.netlib LAPACK (программная библиотека для линейной алгебры) 2.2.1
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift компрессор воздуха 0.21
io.delta delta-sharing-spark_2.12 0.6.3
io.dropwizard.metrics основные метрики 4.1.1
io.dropwizard.metrics «metrics-graphite» 4.1.1
io.dropwizard.metrics Метрики-Чек здоровья 4.1.1
io.dropwizard.metrics метрики для Jetty9 4.1.1
io.dropwizard.metrics Метрики-JMX 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics метрики для JVM 4.1.1
io.dropwizard.metrics метрики и сервлеты 4.1.1
io.netty netty-all (все пакеты netty) 4.1.74.Final
io.netty буфер Netty 4.1.74.Final
io.netty netty-codec (кодек Netty) 4.1.74.Final
io.netty нетти-общий 4.1.74.Final
io.netty нетти-хэндлер 4.1.74.Final
io.netty Netty-резолвер 4.1.74.Final
io.netty netty-tcnative-classes (классы netty-tcnative) 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty нетти-транспорт-натив-уникс-коммон 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus простыйклиент_общий 0.7.0
io.prometheus Симплклиент_дропвизард 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx коллекционер 0.12.0
jakarta.annotation jakarta.annotation-api (аннотация API Джакарты) 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation активация 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction джта 1.1
javax.transaction интерфейс транзакций 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
джлайн джлайн 2.14.6
joda-time joda-time 2.10.13
net.java.dev.jna джна 5.8.0
net.razorvine рассол 1.2
net.sf.jpam джпам 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv — инструмент для работы с CSV файлами 2.2.0
net.snowflake snowflake-ingest-sdk (SDK для обработки данных Snowflake) 0.9.6
net.snowflake снежинка-jdbc 3.13.22
net.sourceforge.f2j арпак_комбинированный_все 0,1
org.acplt.remotetea «remotetea-oncrpc» 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr шаблон строки 3.2.1
org.apache.ant муравей 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow формат стрелок 7.0.0
org.apache.arrow ядро памяти Arrow 7.0.0
org.apache.arrow арроу-мемори-нетти 7.0.0
org.apache.arrow вектор стрелки 7.0.0
org.apache.avro Авро 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4.
org.apache.commons Коммонс-компресс 1,21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons коммонс-матх3 3.6.1
org.apache.commons Общедоступный текст 1.10.0
org.apache.curator куратор-клиент 2.13.0
org.apache.curator кураторский фреймворк 2.13.0
org.apache.curator куратор рецептов 2.13.0
org.apache.derby дерби 10.14.2.0
org.apache.hadoop Hadoop-client-api 3.3.4-databricks
org.apache.hadoop среда выполнения hadoop-клиента 3.3.4
org.apache.hive hive-beeline (инструмент командной строки для работы с Apache Hive) 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive Hive-Serde 2.3.9
org.apache.hive хив-шимы 2.3.9
org.apache.hive hive-storage-api (интерфейс хранения данных Hive) 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims хив-шимс-коммон 2.3.9
org.apache.hive.shims планировщик hive-shims 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy плющ 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.18.0
org.apache.logging.log4j log4j-api 2.18.0
org.apache.logging.log4j log4j-core 2.18.0
org.apache.logging.log4j log4j-slf4j-impl 2.18.0
org.apache.mesos мезос-шейдед-прото-баф 1.4.0
org.apache.orc орк-кор 1.7.6
org.apache.orc orc-mapreduce (орч-мапредьюс) 1.7.6
org.apache.orc орк-шимы 1.7.6
org.apache.parquet parquet-column 1.12.3-databricks-0002
org.apache.parquet parquet-common 1.12.3-databricks-0002
org.apache.parquet parquet-encoding 1.12.3-databricks-0002
org.apache.parquet parquet-format-structures 1.12.3-databricks-0002
org.apache.parquet parquet-hadoop 1.12.3-databricks-0002
org.apache.parquet parquet-jackson 1.12.3-databricks-0002
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4,20
org.apache.yetus аннотации для аудитории 0.13.0
org.apache.zookeeper смотритель зоопарка 3.6.2
org.apache.zookeeper Zookeeper-JUTE 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson джексон-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl (джексон-маппер-асл) 1.9.13
org.codehaus.janino commons-компилятор 3.0.16
org.codehaus.janino джанино 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core (ядро датануклеус) 4.1.17
org.datanucleus Datanucleus-RDBMS 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-continuation (продолжение Jetty) 9.4.46.v20220331
org.eclipse.jetty «jetty-http» 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty Jetty Plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy (джетти-прокси) 9.4.46.v20220331
org.eclipse.jetty защита пристани 9.4.46.v20220331
org.eclipse.jetty сервер Jetty 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty джетти-ютил (jetty-util) 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty Jetty - веб-приложение 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket WebSocket API 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-клиент 9.4.46.v20220331
org.eclipse.jetty.websocket WebSocket-Common 9.4.46.v20220331
org.eclipse.jetty.websocket вебсокет-сервер 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 хк2-локатор 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 локатор ресурсов OSGi 1.0.3
org.glassfish.hk2.external «aopalliance-repackaged» 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers Jersey-container-servlet 2,36
org.glassfish.jersey.containers джерси-контейнер-сервлет-кор 2,36
org.glassfish.jersey.core jersey-client (джерси-клиент) 2,36
org.glassfish.jersey.core джерси-коммон 2,36
org.glassfish.jersey.core Джерси-сервер 2,36
org.glassfish.jersey.inject jersey-hk2 2,36
org.hibernate.validator гибернейт-валидатор 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging (логирование в JBoss) 3.3.2.Окончательно
org.jdbi jdbi 2.63.1
org.jetbrains аннотации 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client (клиентская библиотека для работы с базой данных MariaDB на Java) 2.7.4
org.mlflow mlflow-spark 2.1.1
org.objenesis Обдженесис 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap прокладки 0.9.25
org.rocksdb rocksdbjni 6.28.2
org.rosuda.REngine РЭнджин 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt тестовый интерфейс 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j (адаптер для JCL, работающий поверх SLF4J) 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark unused 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani хз 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml SnakeYAML 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
Программное обеспечение Amazon Ion ion-java 1.0.2
стекс stax-api 1.0.1
  • Last updated on