Поделиться через

Databricks Runtime 12.1 (EoS)

  • Статья

Примечание.

Поддержка этой версии databricks Runtime закончилась. Сведения о дате окончания поддержки см . в журнале завершения поддержки. Все поддерживаемые версии среды выполнения Databricks см. в заметках о выпуске Databricks Runtime и совместимости.

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 12.1, на базе Apache Spark 3.3.1.

Databricks выпустила эту версию в январе 2023 года.

Новые функции и внесенные улучшения

Функции таблицы Delta Lake, поддерживаемые для управления протоколами

Azure Databricks представила поддержку функций таблицы Delta Lake, которые содержат подробные флаги, указывающие, какие функции поддерживаются данной таблицей. Узнайте, как Azure Databricks управляет совместимостью функций Delta Lake?.

Прогнозные операции ввода-вывода для обновлений доступны в общедоступной предварительной версии

Прогнозный ввод-вывод теперь ускоряет DELETEMERGEи UPDATE операции для разностных таблиц с векторами удаления, включенными для вычислений с поддержкой Photon. См. сведения о прогнозных ввода-выводах.

Обозреватель каталогов теперь доступен всем пользователям

Обозреватель каталогов теперь доступен всем пользователям Azure Databricks при использовании Databricks Runtime 7.3 LTS и выше.

Поддержка нескольких операторов с отслеживанием состояния в одном потоковом запросе

Теперь пользователи могут цепочки операторов с отслеживанием состояния с режимом добавления в потоковый запрос. Не все операторы полностью поддерживаются. Соединение интервала времени потоковой передачи и flatMapGroupsWithState не позволяет другим операторам с отслеживанием состояния выполнять цепочку.

Поддержка буферов протокола доступна в общедоступной предварительной версии

Вы можете использовать from_protobuf функции и to_protobuf функции для обмена данными между двоичными и типами структур. См . раздел "Чтение и запись буферов протокола".

Поддержка проверки подлинности реестра схем Confluent

Интеграция Azure Databricks с Реестром схем Confluent теперь поддерживает адреса внешнего реестра схем с проверкой подлинности. Эта функция доступна для функций , to_avroа from_protobufto_protobuf также для from_avroфункций. См. статью Protobuf или Avro.

Поддержка общего доступа к журналу таблиц с общими папками Delta Sharing

Теперь вы можете предоставить общий доступ к таблице с полным журналом с помощью разностного общего доступа, что позволяет получателям выполнять запросы на поездки по времени и запрашивать таблицу с помощью структурированной потоковой передачи Spark. WITH HISTORY рекомендуется вместо CHANGE DATA FEEDэтого, хотя последний продолжает поддерживаться. См . раздел ALTER SHARE и добавление таблиц в общую папку.

Поддержка потоковой передачи с общими папками Delta Sharing

Структурированная потоковая передача Spark теперь работает с форматом deltasharing в исходной таблице разностного общего доступа, которая использовалась.WITH HISTORY

Версия таблицы с использованием метки времени теперь поддерживается для таблиц Delta Sharing в каталогах

Теперь можно использовать синтаксис TIMESTAMP AS OF SQL в SELECT инструкциях, чтобы указать версию таблицы Delta Sharing, подключенной в каталоге. Таблицы должны быть общими с помощью WITH HISTORY.

Поддержка ПАРАМЕТРА WHEN NOT MATCHED BY SOURCE for MERGE INTO

Теперь можно добавить WHEN NOT MATCHED BY SOURCE предложения для MERGE INTO обновления или удаления строк в выбранной таблице, не имеющих совпадений в исходной таблице на основе условия слияния. Новое предложение доступно в SQL, Python, Scala и Java. См. раздел MERGE INTO.

Оптимизированная коллекция статистики для CONVERT TO DELTA

Сбор статистики для CONVERT TO DELTA операции теперь гораздо быстрее. Это сокращает количество рабочих нагрузок, которые могут использоваться NO STATISTICS для повышения эффективности.

Поддержка каталога Unity для отмены таблиц

Эта функция изначально была выпущена в общедоступной предварительной версии. Это GA по состоянию на 25 октября 2023 года.

Теперь вы можете отменить удаление управляемой или внешней таблицы в существующей схеме в течение семи дней после удаления. См. таблицу UNDROP и ПОКАЗАТЬ УДАЛЕННЫЕ ТАБЛИЦЫ.

Обновления библиотек

  • Обновленные библиотеки Python:
    • блокировка файлов от 3.8.0 до 3.8.2
    • platformdirs от 2.5.4 до 2.6.0
    • setuptools от 58.0.4 до 61.2.0
  • Обновленные библиотеки R:
  • Обновленные библиотеки Java:
    • io.delta.delta-sharing-spark_2.12 от 0.5.2 до 0.6.2
    • org.apache.hive.hive-storage-api от 2.7.2 до 2.8.1
    • org.apache.parquet.column с 1.12.3-databricks-0001 до 1.12.3-databricks-0002
    • org.apache.parquet.common с 1.12.3-databricks-0001 до 1.12.3-databricks-0002
    • org.apache.parquet.parquet-кодировка с 1.12.3-databricks-0001 до 1.12.3-databricks-0002
    • org.apache.parquet.parquet-format-structures с 1.12.3-databricks-0001 до 1.12.3-databricks-0002
    • org.apache.parquet.parquet-hadoop с 1.12.3-databricks-0001 до 1.12.3-databricks-0002
    • org.apache.parquet.parquet-джексон с 1.12.3-databricks-0001 до 1.12.3-databricks-0002
    • org.tukaani.xz от 1.8 до 1.9

Apache Spark

Databricks Runtime 12.1 включает Apache Spark 3.3.1. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 12.0 (EoS), а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

  • [SPARK-41405] [SC-119769] [12.1.0] Возврат "[SC-119411][SQL] Централизация логики разрешения столбцов" и "[SC-11717170][SPARK-41338][SQL] Разрешать внешние ссылки и обычные столбцы в одном пакете анализатора".
  • [SPARK-41405] [SC-119411] [SQL] Централизация логики разрешения столбцов
  • [SPARK-41859] [SC-119514] [SQL] CreateHiveTableAsSelectCommand должен правильно задать флаг перезаписи
  • [SPARK-41659] [SC-119526] [CONNECT] [12.X] Включение doctests в pyspark.sql.connect.readwriter
  • [SPARK-41858] [SC-119427] [SQL] Исправление регрессии средства чтения ORC из-за функции значения DEFAULT
  • [SPARK-41807] [SC-119399] [CORE] Удалите несуществующий класс ошибок: UNSUPPORTED_FEATURE. DISTRIBUTE_BY
  • [SPARK-41578] [12.x] [SC-119273] [SQL] Назначение имени _LEGACY_ERROR_TEMP_2141
  • [SPARK-41571] [SC-119362] [SQL] Назначение имени _LEGACY_ERROR_TEMP_2310
  • [SPARK-41810] [SC-119373] [CONNECT] Вывод имен из списка словарей в SparkSession.createDataFrame
  • [SPARK-40993] [SC-119504] [SPARK-41705] [CONNECT] [12.X] Перемещение документации и скрипта Spark Connect в документацию по разработке и Python
  • [SPARK-41534] [SC-119456] [CONNECT] [SQL] [12.x] Настройка начального клиентского модуля для Spark Connect
  • [SPARK-41365] [SC-118498] [пользовательский интерфейс] [3.3] Страница пользовательского интерфейса этапов не загружается для прокси-сервера в определенной среде yarn
  • [SPARK-41481] [SC-118150] [CORE] [SQL] Повторное использование INVALID_TYPED_LITERAL вместо _LEGACY_ERROR_TEMP_0020
  • [SPARK-41049] [SC-119305] [SQL] Обработка выражений с отслеживанием состояния
  • [SPARK-41726] [SC-119248] [SQL] Убирать OptimizedCreateHiveTableAsSelectCommand
  • [SPARK-41271] [SC-118648] [SC-118348] [SQL] Поддержка параметризованных запросов SQL по sql()
  • [SPARK-41066] [SC-119344] [CONNECT] [PYTHON] Реализация DataFrame.sampleBy и DataFrame.stat.sampleBy
  • [SPARK-41407] [SC-119402] [SC-119012] [SQL] [ВСЕ ТЕСТЫ] Извлечение записи версии 1 в WriteFiles
  • [SPARK-41565] [SC-118868] [SQL] Добавление класса ошибок UNRESOLVED_ROUTINE
  • [SPARK-41668] [SC-118925] [SQL] Функция DECODE возвращает неправильные результаты при передаче NULL
  • [SPARK-41554] [SC-119274] исправление изменения десятичного масштаба при уменьшении масштаба на m...
  • [SPARK-41065] [SC-119324] [CONNECT] [PYTHON] Реализация DataFrame.freqItems и DataFrame.stat.freqItems
  • [SPARK-41742] [SC-119404] [SPARK-41745] [CONNECT] [12.X] Повторные тесты документации и добавление отсутствующих псевдонимов столбцов в count()
  • [SPARK-41069] [SC-119310] [CONNECT] [PYTHON] Реализация DataFrame.approxQuantile и DataFrame.stat.approxQuantile
  • [SPARK-41809] [SC-119367] [CONNECT] [PYTHON] Создание функции from_json поддержки схемы DataType
  • [SPARK-41804] [SC-119382] [SQL] Выбор правильного размера элемента для InterpretedUnsafeProjection массива определяемых пользователем элементов
  • [SPARK-41786] [SC-119308] [CONNECT] [PYTHON] Вспомогательные функции дедупликации
  • [SPARK-41745] [SC-119378] [SPARK-41789] [12.X] Создание createDataFrame списка поддержки строк
  • [SPARK-41344] [SC-119217] [SQL] Удаляйте ошибку, если таблица не найдена в каталоге SupportsCatalogOptions
  • [SPARK-41803] [SC-119380] [CONNECT] [PYTHON] Добавление отсутствующих функций log(arg1, arg2)
  • [SPARK-41808] [SC-119356] [CONNECT] [PYTHON] Настройка параметров поддержки функций JSON
  • [SPARK-41779] [SC-119275] [SPARK-41771] [CONNECT] [PYTHON] Создание __getitem__ фильтра поддержки и выбор
  • [SPARK-41783] [SC-119288] [SPARK-41770] [CONNECT] [PYTHON] Создание поддержки столбцов в столбце None
  • [SPARK-41440] [SC-119279] [CONNECT] [PYTHON] Избегайте оператора кэша для общего примера.
  • [SPARK-41785] [SC-119290] [CONNECT] [PYTHON] Орудие GroupedData.mean
  • [SPARK-41629] [SC-119276] [CONNECT] Поддержка расширений протокола в реляционных и выражениях
  • [SPARK-41417] [SC-118000] [CORE] [SQL] Переименование _LEGACY_ERROR_TEMP_0019 в INVALID_TYPED_LITERAL
  • [SPARK-41533] [SC-119342] [CONNECT] [12.X] Правильная обработка ошибок для сервера Spark Connect или клиента
  • [SPARK-41292] [SC-119357] [CONNECT] [12.X] Окно поддержки в пространстве имен pyspark.sql.window
  • [SPARK-41493] [SC-119339] [CONNECT] [PYTHON] Создание параметров поддержки функций CSV
  • [SPARK-39591] [SC-118675] [SS] Асинхронное отслеживание хода выполнения
  • [SPARK-41767] [SC-119337] [CONNECT] [PYTHON] [12.X] Орудие Column.{withField, dropFields}
  • [SPARK-41068] [SC-119268] [CONNECT] [PYTHON] Орудие DataFrame.stat.corr
  • [SPARK-41655] [SC-119323] [CONNECT] [12.X] Включение doctests в pyspark.sql.connect.column
  • [SPARK-41738] [SC-119170] [CONNECT] Mix ClientId в кэше SparkSession
  • [SPARK-41354] [SC-119194] [CONNECT] Добавление RepartitionByExpression в прототип
  • [SPARK-41784] [SC-119289] [CONNECT] [PYTHON] Добавление отсутствующих в столбце __rmod__
  • [SPARK-41778] [SC-119262] [SQL] Добавление псевдонима "reduce" в ArrayAggregate
  • [SPARK-41067] [SC-119171] [CONNECT] [PYTHON] Орудие DataFrame.stat.cov
  • [SPARK-41764] [SC-119216] [CONNECT] [PYTHON] Согласование имени внутренней строки с FunctionRegistry
  • [SPARK-41734] [SC-119160] [CONNECT] Добавление родительского сообщения для каталога
  • [SPARK-41742] [SC-119263] Поддержка df.groupBy().agg({"*":"count"})
  • [SPARK-41761] [SC-119213] [CONNECT] [PYTHON] Исправление арифметических операций: __neg__, __pow____rpow__
  • [SPARK-41062] [SC-118182] [SQL] Переименование UNSUPPORTED_CORRELATED_REFERENCE в CORRELATED_REFERENCE
  • [SPARK-41751] [SC-119211] [CONNECT] [PYTHON] Фиксировать Column.{isNull, isNotNull, eqNullSafe}
  • [SPARK-41728] [SC-119164] [CONNECT] [PYTHON] [12.X] Реализация unwrap_udt функции
  • [SPARK-41333] [SC-119195] [SPARK-41737] Орудие GroupedData.{min, max, avg, sum}
  • [SPARK-41751] [SC-119206] [CONNECT] [PYTHON] Фиксировать Column.{bitwiseAND, bitwiseOR, bitwiseXOR}
  • [SPARK-41631] [SC-101081] [SQL] Поддержка неявного разрешения псевдонима бокового столбца в агрегате
  • [SPARK-41529] [SC-119207] [CONNECT] [12.X] Реализация SparkSession.stop
  • [SPARK-41729] [SC-119205] [CORE] [SQL] [12.X] Переименование _LEGACY_ERROR_TEMP_0011 в UNSUPPORTED_FEATURE.COMBINATION_QUERY_RESULT_CLAUSES
  • [SPARK-41717] [SC-119078] [CONNECT] [12.X] Дедупликация печати и repr_html в LogicalPlan
  • [SPARK-41740] [SC-119169] [CONNECT] [PYTHON] Орудие Column.name
  • [SPARK-41733] [SC-119163] [SQL] [SS] Применение обрезки на основе дерева для правила ResolveWindowTime
  • [SPARK-41732] [SC-119157] [SQL] [SS] Применение обрезки на основе дерева для сеанса правила
  • [SPARK-41498] [SC-119018] Распространение метаданных через Union
  • [SPARK-41731] [SC-119166] [CONNECT] [PYTHON] [12.X] Реализация метода доступа к столбцам
  • [SPARK-41736] [SC-119161] [CONNECT] [PYTHON] pyspark_types_to_proto_types должна поддерживаться ArrayType
  • [SPARK-41473] [SC-119092] [CONNECT] [PYTHON] Реализация format_number функции
  • [SPARK-41707] [SC-119141] [CONNECT] [12.X] Реализация API каталога в Spark Connect
  • [SPARK-41710] [SC-119062] [CONNECT] [PYTHON] Орудие Column.between
  • [SPARK-41235] [SC-1190888] [SQL] [PYTHON] Функция высокого порядка: реализация array_compact
  • [SPARK-41518] [SC-118453] [SQL] Назначение имени классу ошибок _LEGACY_ERROR_TEMP_2422
  • [SPARK-41723] [SC-119091] [CONNECT] [PYTHON] Реализация sequence функции
  • [SPARK-41703] [SC-119060] [CONNECT] [PYTHON] Объединение NullType и typed_null в литерале
  • [SPARK-41722] [SC-119090] [CONNECT] [PYTHON] Реализация 3 отсутствующих функций периода времени
  • [SPARK-41503] [SC-119043] [CONNECT] [PYTHON] Реализация функций преобразования секций
  • [SPARK-41413] [SC-118968] [SQL] Избегайте перемешивания в соединении с секционированием хранилища при несоответствии ключей секций, но выражения соединения совместимы
  • [SPARK-41700] [SC-119046] [CONNECT] [PYTHON] Убирать FunctionBuilder
  • [SPARK-41706] [SC-119094] [CONNECT] [PYTHON] pyspark_types_to_proto_types должна поддерживаться MapType
  • [SPARK-41702] [SC-119049] [CONNECT] [PYTHON] Добавление недопустимых операций столбцов
  • [SPARK-41660] [SC-118866] [SQL] Распространение столбцов метаданных только в том случае, если они используются
  • [SPARK-41637] [SC-119003] [SQL] ЗАКАЗ ПО ВСЕМ
  • [SPARK-41513] [SC-118945] [SQL] Реализация аккумулятора для сбора метрик счетчика строк сопоставления
  • [SPARK-41647] [SC-119064] [CONNECT] [12.X] Дедупликация документов в pyspark.sql.connect.functions
  • [SPARK-41701] [SC-119048] [CONNECT] [PYTHON] Поддержка операции с столбцами decimal
  • [SPARK-41383] [SC-119015] [SPARK-41692] [SPARK-41693] Реализация rollupи cubepivot
  • [SPARK-41635] [SC-118944] [SQL] GROUP BY ALL
  • [SPARK-41645] [SC-119057] [CONNECT] [12.X] Дедупликация документов в pyspark.sql.connect.dataframe
  • [SPARK-416888] [SC-118951] [CONNECT] [PYTHON] Перемещение выражений в expressions.py
  • [SPARK-41687] [SC-118949] [CONNECT] Дедупликация документов в pyspark.sql.connect.group
  • [SPARK-41649] [SC-118950] [CONNECT] Дедупликация документов в pyspark.sql.connect.window
  • [SPARK-41681] [SC-118939] [CONNECT] Фактор GroupedData в group.py
  • [SPARK-41292] [SC-119038] [SPARK-41640] [SPARK-41641] [CONNECT] [PYTHON] [12.X] Реализация Window функций
  • [SPARK-41675] [SC-119031] [SC-118934] [CONNECT] [PYTHON] [12.X] Поддержка операции "Столбец" datetime
  • [SPARK-41672] [SC-118929] [CONNECT] [PYTHON] Включение устаревших функций
  • [SPARK-41673] [SC-118932] [CONNECT] [PYTHON] Орудие Column.astype
  • [SPARK-41364] [SC-118865] [CONNECT] [PYTHON] Реализация broadcast функции
  • [SPARK-41648] [SC-118914] [CONNECT] [12.X] Дедупликация документов в pyspark.sql.connect.readwriter
  • [SPARK-41646] [SC-118915] [CONNECT] [12.X] Дедупликация документов в pyspark.sql.connect.session
  • [SPARK-41643] [SC-118862] [CONNECT] [12.X] Дедупликация документов в pyspark.sql.connect.column
  • [SPARK-41663] [SC-118936] [CONNECT] [PYTHON] [12.X] Реализация остальных функций Лямбда
  • [SPARK-41441] [SC-118557] [SQL] Поддержка создания без обязательных дочерних выходных данных для размещения внешних ссылок
  • [SPARK-41669] [SC-118923] [SQL] Ранняя обрезка в canCollapseExpressions
  • [SPARK-41639] [SC-118927] [SQL] [PROTOBUF] : remove ScalaReflectionLock from SchemaConverters
  • [SPARK-41464] [SC-118861] [CONNECT] [PYTHON] Орудие DataFrame.to
  • [SPARK-41434] [SC-118857] [CONNECT] [PYTHON] Начальная LambdaFunction реализация
  • [SPARK-41539] [SC-118802] [SQL] Remap stats and constraints against output in logical plan for LogicalRDD
  • [SPARK-41396] [SC-118786] [SQL] [PROTOBUF] Проверка поддержки полей OneOf и рекурсии
  • [SPARK-41528] [SC-118769] [CONNECT] [12.X] Пространство имен слияния API Spark Connect и PySpark
  • [SPARK-41568] [SC-118715] [SQL] Назначение имени _LEGACY_ERROR_TEMP_1236
  • [SPARK-41440] [SC-1187888] [CONNECT] [PYTHON] Орудие DataFrame.randomSplit
  • [SPARK-41583] [SC-118718] [SC-118642] [CONNECT] [PROTOBUF] Добавление Spark Connect и protobuf в setup.py с указанием зависимостей
  • [SPARK-27561] [SC-101081] [12.x] [SQL] Поддержка неявного разрешения псевдонима бокового столбца в Project
  • [SPARK-41535] [SC-118645] [SQL] Правильно задать значение NULL для полей интервала календаря и InterpretedUnsafeProjectionInterpretedMutableProjection
  • [SPARK-40687] [SC-118439] [SQL] Поддержка маскирования данных встроенной функции "маска"
  • [SPARK-41520] [SC-118440] [SQL] Разделение AND_OR TreePattern на отдельные И И ИЛИ TreePatterns
  • [SPARK-41349] [SC-118668] [CONNECT] [PYTHON] Реализация DataFrame.hint
  • [SPARK-41546] [SC-118541] [CONNECT] [PYTHON] pyspark_types_to_proto_types должен поддерживать StructType.
  • [SPARK-41334] [SC-118549] [CONNECT] [PYTHON] Перемещение SortOrder прототипа из отношений в выражения
  • [SPARK-41387] [SC-118450] [SS] Утверждение текущего смещения конца из источника данных Kafka для Trigger.AvailableNow
  • [SPARK-41508] [SC-118445] [CORE] [SQL] Переименование _LEGACY_ERROR_TEMP_1180 в UNEXPECTED_INPUT_TYPE и удаление _LEGACY_ERROR_TEMP_1179
  • [SPARK-41319] [SC-118441] [CONNECT] [PYTHON] Реализуйте столбец. {when, в противном случае и функция when с UnresolvedFunction
  • [SPARK-41541] [SC-118460] [SQL] Исправлен вызов неправильного дочернего метода в SQLShuffleWriteMetricsReporter.decRecordsWritten()
  • [SPARK-41453] [SC-118458] [CONNECT] [PYTHON] Орудие DataFrame.subtract
  • [SPARK-41248] [SC-118436] [SC-118303] [SQL] Добавьте значение "spark.sql.json.enablePartialResults", чтобы включить или отключить частичные результаты JSON
  • [SPARK-41437] Возврат "[SC-117601][SQL] Не оптимизируйте входной запрос дважды для резервного копирования записи версии 1.
  • [SPARK-41472] [SC-118352] [CONNECT] [PYTHON] Реализация остальных строковых и двоичных функций
  • [SPARK-41526] [SC-118355] [CONNECT] [PYTHON] Орудие Column.isin
  • [SPARK-32170] [SC-118384] [CORE] Улучшение спекуляций с помощью метрик задач этапа.
  • [SPARK-41524] [SC-118399] [SS] Дифференцировать SQLConf и extraOptions в StateStoreConf за его использование в RocksDBConf
  • [SPARK-41465] [SC-118381] [SQL] Назначьте имя классу ошибок _LEGACY_ERROR_TEMP_1235
  • [SPARK-41511] [SC-118365] [SQL] Поддержка LongToUnsafeRowMap игнорируетDuplicatedKey
  • [SPARK-41409] [SC-118302] [CORE] [SQL] Переименование _LEGACY_ERROR_TEMP_1043 в WRONG_NUM_ARGS.WITHOUT_SUGGESTION
  • [SPARK-41438] [SC-118344] [CONNECT] [PYTHON] Орудие DataFrame.colRegex
  • [SPARK-41437] [SC-117601] [SQL] Не оптимизируйте входной запрос дважды для резервной записи версии 1
  • [SPARK-41314] [SC-117172] [SQL] Назначение имени классу ошибок _LEGACY_ERROR_TEMP_1094
  • [SPARK-41443] [SC-118004] [SQL] Назначьте имя классу ошибок _LEGACY_ERROR_TEMP_1061
  • [SPARK-41506] [SC-118241] [CONNECT] [PYTHON] Рефакторинг LiteralExpression для поддержки DataType
  • [SPARK-41448] [SC-118046] Создание согласованных идентификаторов заданий MR в FileBatchWriter и FileFormatWriter
  • [SPARK-41456] [SC-117970] [SQL] Повышение производительности try_cast
  • [SPARK-41495] [SC-118125] [CONNECT] [PYTHON] Реализация collection функций: P~Z
  • [SPARK-41478] [SC-118167] [SQL] Назначьте имя классу ошибок _LEGACY_ERROR_TEMP_1234
  • [SPARK-41406] [SC-118161] [SQL] Сообщение об ошибке рефакторинга, чтобы NUM_COLUMNS_MISMATCH сделать его более универсальным
  • [SPARK-41404] [SC-118016] [SQL] Рефакторинг, чтобы сделать ColumnarBatchSuite#testRandomRows тест более примитивным ColumnVectorUtils#toBatch типом данных
  • [SPARK-41468] [SC-118044] [SQL] Исправление обработки PlanExpression в ЭквивалентеExpressions
  • [SPARK-40775] [SC-118045] [SQL] Исправление повторяющихся записей описания для сканирования файлов версии 2
  • [SPARK-41492] [SC-118042] [CONNECT] [PYTHON] Реализация функций MISC
  • [SPARK-41459] [SC-118005] [SQL] Исправление выходных данных журнала операций сервера thrift является пустым
  • [SPARK-41395] [SC-117899] [SQL] InterpretedMutableProjection следует использовать setDecimal для задания значений NULL для десятичных разрядов в небезопасной строке.
  • [SPARK-41376] [SC-117840] [CORE] [3.3] Исправьте логику проверки Netty preferDirectBufs при запуске исполнителя.
  • [SPARK-41484] [SC-118159] [SC-118036] [CONNECT] [PYTHON] [12.x] Реализация collection функций: E~M
  • [SPARK-41389] [SC-117426] [CORE] [SQL] Повторное использование WRONG_NUM_ARGS вместо _LEGACY_ERROR_TEMP_1044
  • [SPARK-41462] [SC-117920] [SQL] Тип метки даты и времени может привести к timestampNTZ
  • [SPARK-41435] [SC-117810] [SQL] Изменение вызова invalidFunctionArgumentsError curdate() , когда expressions не пусто
  • [SPARK-41187] [SC-118030] [CORE] LiveExecutor MemoryLeak в AppStatusListener при выполнении исполнителя
  • [SPARK-41360] [SC-118083] [CORE] Избегайте повторной регистрации BlockManager, если исполнитель был потерян
  • [SPARK-41378] [SC-117686] [SQL] Поддержка статистики столбцов в DS версии 2
  • [SPARK-41402] [SC-117910] [SQL] [CONNECT] [12.X] Переопределение prettyName объекта StringDecode
  • [SPARK-41414] [SC-118041] [CONNECT] [PYTHON] [12.x] Реализация функций метки даты и времени
  • [SPARK-41329] [SC-117975] [CONNECT] Разрешение циклических импортов в Spark Connect
  • [SPARK-41477] [SC-118025] [CONNECT] [PYTHON] Правильное определение типа данных целых чисел литерала
  • [SPARK-41446] [SC-118024] [CONNECT] [PYTHON] [12.x] Создание createDataFrame схемы поддержки и дополнительных типов входных наборов данных
  • [SPARK-41475] [SC-117997] [CONNECT] Исправлена ошибка команды lint-scala и опечатка
  • [SPARK-38277] [SC-117799] [SS] Очистка пакета записи после фиксации хранилища состояний RocksDB
  • [SPARK-41375] [SC-117801] [SS] Избегайте пустой последней версии KafkaSourceOffset
  • [SPARK-41412] [SC-118015] [CONNECT] Орудие Column.cast
  • [SPARK-41439] [SC-117893] [CONNECT] [PYTHON] Реализация DataFrame.melt и DataFrame.unpivot
  • [SPARK-41399] [SC-118007] [SC-117474] [CONNECT] Рефакторинг столбцов, связанных с тестами для test_connect_column
  • [SPARK-41351] [SC-117957] [SC-117412] [CONNECT] [12.x] Столбец должен поддерживать оператор !=
  • [SPARK-40697] [SC-117806] [SC-112787] [SQL] Добавление заполнения на стороне чтения для покрытия внешних файлов данных
  • [SPARK-41349] [SC-117594] [CONNECT] [12.X] Реализация DataFrame.hint
  • [SPARK-41338] [SC-117170] [SQL] Разрешение внешних ссылок и обычных столбцов в одном пакете анализатора
  • [SPARK-41436] [SC-117805] [CONNECT] [PYTHON] Реализация collection функций: A~C
  • [SPARK-41445] [SC-117802] [CONNECT] Реализация DataFrameReader.parquet
  • [SPARK-41452] [SC-117865] [SQL] to_char должен возвращать значение NULL, если формат имеет значение NULL
  • [SPARK-41444] [SC-117796] [CONNECT] Поддержка read.json()
  • [SPARK-41398] [SC-117508] [SQL] Ограничения для соединения с секционированием хранилища, если ключи секций после фильтрации среды выполнения не соответствуют
  • [SPARK-41228] [SC-117169] [SQL] Переименование и улучшение сообщения об ошибке для COLUMN_NOT_IN_GROUP_BY_CLAUSE.
  • [SPARK-41381] [SC-117593] [CONNECT] [PYTHON] Реализация count_distinct и sum_distinct функции
  • [SPARK-41433] [SC-117596] [CONNECT] Настройка max Arrow BatchSize
  • [SPARK-41397] [SC-117590] [CONNECT] [PYTHON] Реализация части строковых и двоичных функций
  • [SPARK-41382] [SC-117588] [CONNECT] [PYTHON] Реализация product функции
  • [SPARK-41403] [SC-117595] [CONNECT] [PYTHON] Орудие DataFrame.describe
  • [SPARK-41366] [SC-117580] [CONNECT] DF.groupby.agg() должен быть совместим
  • [SPARK-41369] [SC-117584] [CONNECT] Добавление общего подключения к шейдеру серверов
  • [SPARK-41411] [SC-117562] [SS] Исправлена ошибка с поддержкой подложки с несколькими состояниями оператора
  • [SPARK-41176] [SC-116630] [SQL] Назначьте имя классу ошибок _LEGACY_ERROR_TEMP_1042
  • [SPARK-41380] [SC-117476] [CONNECT] [PYTHON] [12.X] Реализация функций агрегирования
  • [SPARK-41363] [SC-117470] [CONNECT] [PYTHON] [12.X] Реализация обычных функций
  • [SPARK-41305] [SC-117411] [CONNECT] Улучшение документации по proto для команд
  • [SPARK-41372] [SC-117427] [CONNECT] [PYTHON] Реализация TempView кадра данных
  • [SPARK-41379] [SC-117420] [SS] [PYTHON] Предоставление клонированного сеанса Spark в DataFrame в пользовательской функции для приемника foreachBatch в PySpark
  • [SPARK-41373] [SC-117405] [SQL] [ERROR] Переименование CAST_WITH_FUN_SUGGESTION на CAST_WITH_FUNC_SUGGESTION
  • [SPARK-41358] [SC-117417] [SQL] Метод рефакторинга ColumnVectorUtils#populate вместо PhysicalDataTypeDataType
  • [SPARK-41355] [SC-117423] [SQL] Проблема проверки имени таблицы hive
  • [SPARK-41390] [SC-117429] [SQL] Обновление скрипта, используемого для создания register функции в UDFRegistration
  • [SPARK-41206] [SC-117233] [SC-116381] [SQL] Переименование класса _LEGACY_ERROR_TEMP_1233 ошибок в COLUMN_ALREADY_EXISTS
  • [SPARK-41357] [SC-117310] [CONNECT] [PYTHON] [12.X] Реализация математических функций
  • [SPARK-40970] [SC-117308] [CONNECT] [PYTHON] Список поддержки[столбец] для аргумента Join
  • [SPARK-41345] [SC-117178] [CONNECT] Добавление подсказки для подключения proto
  • [SPARK-41226] [SC-117194] [SQL] [12.x] Рефакторинг типов Spark путем внедрения физических типов
  • [SPARK-41317] [SC-116902] [CONNECT] [PYTHON] [12.X] Добавление базовой поддержки DataFrameWriter
  • [SPARK-41347] [SC-117173] [CONNECT] Добавление приведения к proto выражения
  • [SPARK-41323] [SC-117128] [SQL] Поддержка current_schema
  • [SPARK-41339] [SC-1171711] [SQL] Закрытие и повторное создание пакета записи RocksDB вместо простой очистки
  • [SPARK-41227] [SC-117165] [CONNECT] [PYTHON] Реализация перекрестного соединения кадра данных
  • [SPARK-41346] [SC-117176] [CONNECT] [PYTHON] Реализация asc и desc функции
  • [SPARK-41343] [SC-117166] [CONNECT] Перемещение синтаксического анализа functionName на сторону сервера
  • [SPARK-41321] [SC-117163] [CONNECT] Целевое поле поддержки для неразрешенного объектаStar
  • [SPARK-41237] [SC-117167] [SQL] Повторное использование класса UNSUPPORTED_DATATYPE ошибок для _LEGACY_ERROR_TEMP_0030
  • [SPARK-41309] [SC-116916] [SQL] Повторное использование INVALID_SCHEMA.NON_STRING_LITERAL вместо _LEGACY_ERROR_TEMP_1093
  • [SPARK-41276] [SC-117136] [SQL] [ML] [MLLIB] [PROTOBUF] [PYTHON] [R] [SS] [AVRO] Оптимизация использования конструктора StructType
  • [SPARK-41335] [SC-117135] [CONNECT] [PYTHON] Поддержка IsNull и IsNotNull в столбце
  • [SPARK-41332] [SC-117131] [CONNECT] [PYTHON] Исправление nullOrdering в SortOrder
  • [SPARK-41325] [SC-117132] [CONNECT] [12.X] Исправление отсутствующих avg() для GroupBy в DF
  • [SPARK-41327] [SC-117137] [CORE] Исправление SparkStatusTracker.getExecutorInfos с помощью параметра On/OffHeapStorageMemory info
  • [SPARK-41315] [SC-117129] [CONNECT] [PYTHON] Реализация DataFrame.replace и DataFrame.na.replace
  • [SPARK-41328] [SC-117125] [CONNECT] [PYTHON] Добавление логического и строкового API в столбец
  • [SPARK-41331] [SC-117127] [CONNECT] [PYTHON] Добавление orderBy и drop_duplicates
  • [SPARK-40987] [SC-117124] [CORE] BlockManager#removeBlockInternal убедитесь, что блокировка разблокирована корректно
  • [SPARK-41268] [SC-117102] [SC-116970] [CONNECT] [PYTHON] Рефакторинг "Column" для совместимости API
  • [SPARK-41312] [SC-116881] [CONNECT] [PYTHON] [12.X] Реализация DataFrame.withColumnRenamed
  • [SPARK-41221] [SC-116607] [SQL] Добавление класса ошибок INVALID_FORMAT
  • [SPARK-41272] [SC-116742] [SQL] Назначьте имя классу ошибок _LEGACY_ERROR_TEMP_2019
  • [SPARK-41180] [SC-116760] [SQL] Повторное использование INVALID_SCHEMA вместо _LEGACY_ERROR_TEMP_1227
  • [SPARK-41260] [SC-116880] [PYTHON] [SS] [12.X] Приведение экземпляров NumPy к примитивным типам Python в обновлении GroupState
  • [SPARK-41174] [SC-116609] [CORE] [SQL] Распространение класса ошибок пользователям для недопустимого formatto_binary()
  • [SPARK-41264] [SC-116971] [CONNECT] [PYTHON] Поддержка литерала дополнительных типов данных
  • [SPARK-41326] [SC-116972] [CONNECT] Исправление дедупликации отсутствует входных данных
  • [SPARK-41316] [SC-116900] [SQL] Включение рекурсии хвоста по возможности
  • [SPARK-41297] [SC-116931] [CONNECT] [PYTHON] Поддержка строковых выражений в фильтре.
  • [SPARK-41256] [SC-116932] [SC-116883] [CONNECT] Реализация DataFrame.withColumn(s)
  • [SPARK-41182] [SC-116632] [SQL] Назначьте имя классу ошибок _LEGACY_ERROR_TEMP_1102
  • [SPARK-41181] [SC-116680] [SQL] Перенос ошибок параметров карты на классы ошибок
  • [SPARK-40940] [SC-115993] [12.x] Удалите средства проверки операторов с несколькими состояниями для потоковых запросов.
  • [SPARK-41310] [SC-116885] [CONNECT] [PYTHON] Реализация DataFrame.toDF
  • [SPARK-41179] [SC-116631] [SQL] Назначение имени классу ошибок _LEGACY_ERROR_TEMP_1092
  • [SPARK-41003] [SC-116741] [SQL] BHJ LeftAnti не обновляет numOutputRows при отключении кодегена
  • [SPARK-41148] [SC-116878] [CONNECT] [PYTHON] Реализация DataFrame.dropna и DataFrame.na.drop
  • [SPARK-41217] [SC-116380] [SQL] Добавление класса ошибок FAILED_FUNCTION_CALL
  • [SPARK-41308] [SC-116875] [CONNECT] [PYTHON] Улучшение DataFrame.count()
  • [SPARK-41301] [SC-116786] [CONNECT] Поведение гомгенизации для SparkSession.range()
  • [SPARK-41306] [SC-116860] [CONNECT] Документация по улучшению прототипа выражения Connect
  • [SPARK-41280] [SC-116733] [CONNECT] Реализация DataFrame.tail
  • [SPARK-41300] [SC-116751] [CONNECT] Схема без набора интерпретируется как схема
  • [SPARK-41255] [SC-116730] [SC-116695] [CONNECT] Переименование RemoteSparkSession
  • [SPARK-41250] [SC-116788] [SC-116633] [CONNECT] [PYTHON] Кадр данных. toPandas не должен возвращать необязательный кадр данных pandas
  • [SPARK-41291] [SC-116738] [CONNECT] [PYTHON] DataFrame.explain должен печатать и возвращать none
  • [SPARK-41278] [SC-116732] [CONNECT] Очистка неиспользуемого КвалифицированногоAttribute в Expression.proto
  • [SPARK-41097] [SC-116653] [CORE] [SQL] [SS] [PROTOBUF] Удаление избыточного преобразования коллекции на основе кода Scala 2.13
  • [SPARK-41261] [SC-116718] [PYTHON] [SS] Исправлена проблема для applyInPandasWithState, если столбцы ключей группировки не помещаются в порядок с самого раннего времени.
  • [SPARK-40872] [SC-116717] [3.3] Резервный резерв на исходный блок перетасовки, когда блок перетасовки с объединением push-uffle равен нулю
  • [SPARK-41114] [SC-116628] [CONNECT] Поддержка локальных данных для LocalRelation
  • [SPARK-41216] [SC-116678] [CONNECT] [PYTHON] Орудие DataFrame.{isLocal, isStreaming, printSchema, inputFiles}
  • [SPARK-41238] [SC-116670] [CONNECT] [PYTHON] Поддержка дополнительных встроенных типов данных
  • [SPARK-41230] [SC-116674] [CONNECT] [PYTHON] Удаление str из типа выражения Агрегата
  • [SPARK-41224] [SC-116652] [SPARK-41165] [SPARK-41184] [CONNECT] Оптимизированная стрелка собирает реализацию для потоковой передачи с сервера на клиент
  • [SPARK-41222] [SC-116625] [CONNECT] [PYTHON] Объединение определений типов
  • [SPARK-41225] [SC-116623] [CONNECT] [PYTHON] Отключите неподдерживаемые функции.
  • [SPARK-41201] [SC-116526] [CONNECT] [PYTHON] Реализация DataFrame.SelectExpr в клиенте Python
  • [SPARK-41203] [SC-116258] [CONNECT] Поддержка Dataframe.tansform в клиенте Python.
  • [SPARK-41213] [SC-116375] [CONNECT] [PYTHON] Реализация DataFrame.__repr__ и DataFrame.dtypes
  • [SPARK-41169] [SC-116378] [CONNECT] [PYTHON] Орудие DataFrame.drop
  • [SPARK-41172] [SC-116245] [SQL] Перенос неоднозначной ошибки ссылок на класс ошибок
  • [SPARK-41122] [SC-116141] [CONNECT] Описание API может поддерживать различные режимы
  • [SPARK-41209] [SC-116584] [SC-116376] [PYTHON] Улучшение вывода типов PySpark в методе _merge_type
  • [SPARK-41196] [SC-1165555] [SC-116179] [CONNECT] Одногенизуйте версию protobuf на сервере подключения Spark, чтобы использовать ту же основную версию.
  • [SPARK-35531] [SC-116409] [SQL] Обновление статистики таблицы Hive без необходимости преобразования
  • [SPARK-41154] [SC-116289] [SQL] Неправильное кэширование связей для запросов с спецификацией путешествия по времени
  • [SPARK-41212] [SC-116554] [SC-116389] [CONNECT] [PYTHON] Орудие DataFrame.isEmpty
  • [SPARK-41135] [SC-116400] [SQL] Переименование UNSUPPORTED_EMPTY_LOCATION в INVALID_EMPTY_LOCATION
  • [SPARK-41183] [SC-116265] [SQL] Добавление API расширения для планирования нормализации для кэширования
  • [SPARK-41054] [SC-116447] [пользовательский интерфейс] [CORE] Поддержка RocksDB как KVStore в динамическом пользовательском интерфейсе
  • [SPARK-38550] [SC-115223] Вернитесь к "[SQL][CORE] Используйте дисковое хранилище для сохранения дополнительных сведений об отладке для динамического пользовательского интерфейса".
  • [SPARK-41173] [SC-116185] [SQL] Перемещение require() из конструкторов строковых выражений
  • [SPARK-41188] [SC-116242] [CORE] [ML] По умолчанию для процессов JVM исполнителя Spark.task.cpus задайте OMP_NUM_THREADS исполнителя sparkEnv OMP_NUM_THREADS
  • [SPARK-41130] [SC-116155] [SQL] Переименование OUT_OF_DECIMAL_TYPE_RANGE в NUMERIC_OUT_OF_SUPPORTED_RANGE
  • [SPARK-41175] [SC-116238] [SQL] Назначьте имя классу ошибок _LEGACY_ERROR_TEMP_1078
  • [SPARK-41106] [SC-116073] [SQL] Уменьшение преобразования коллекции при создании AttributeMap
  • [SPARK-41139] [SC-115983] [SQL] Улучшение класса ошибок: PYTHON_UDF_IN_ON_CLAUSE
  • [SPARK-40657] [SC-115997] [PROTOBUF] Требовать заливку для jar-файла класса Java, улучшить обработку ошибок
  • [SPARK-409999] [SC-116168] Распространение подсказок в вложенные запросы
  • [SPARK-41017] [SC-116054] [SQL] Поддержка очистки столбцов с несколькими недетерминированными фильтрами
  • [SPARK-40834] [SC-114773] [SQL] Использование SparkListenerSQLExecutionEnd для отслеживания окончательного состояния SQL в пользовательском интерфейсе
  • [SPARK-41118] [SC-116027] [SQL] to_number/try_to_number должен возвращаться null , если формат имеет значение null
  • [SPARK-39799] [SC-115984] [SQL] DataSourceV2: просмотр интерфейса каталога
  • [SPARK-40665] [SC-116210] [SC-112300] [CONNECT] Избегайте внедрения Spark Connect в двоичном выпуске Apache Spark
  • [SPARK-41048] [SC-116043] [SQL] Улучшение секционирования выходных данных и упорядочения с помощью кэша AQE
  • [SPARK-41198] [SC-116256] [SS] Исправление метрик в потоковом запросе с источником потоковой передачи CTE и DSv1
  • [SPARK-41199] [SC-116244] [SS] Исправлена проблема с метриками при совместном использовании источника потоковой передачи DSv1 и источника потоковой передачи DSv2.
  • [SPARK-40957] [SC-116261] [SC-114706] Добавление кэша памяти в HDFSMetadataLog
  • [SPARK-40940] Вернитесь к запросу "[SC-115993] Удалите средства проверки операторов с несколькими состояниями для потоковых запросов".
  • [SPARK-41090] [SC-116040] [SQL] db_name.view_name Исключение для создания temp view с помощью API набора данных
  • [SPARK-41133] [SC-116085] [SQL] Интеграция UNSCALED_VALUE_TOO_LARGE_FOR_PRECISION с NUMERIC_VALUE_OUT_OF_RANGE
  • [SPARK-40557] [SC-116182] [SC-111442] [CONNECT] Фиксации дампа кода 9
  • [SPARK-40448] [SC-114447] [SC-111314] [CONNECT] Сборка Spark Connect в качестве подключаемого модуля драйвера с затененными зависимостями
  • [SPARK-41096] [SC-115812] [SQL] Поддержка чтения FIXED_LEN_BYTE_ARRAY типа parquet
  • [SPARK-41140] [SC-115879] [SQL] Переименование класса _LEGACY_ERROR_TEMP_2440 ошибок в INVALID_WHERE_CONDITION
  • [SPARK-40918] [SC-114438] [SQL] Несоответствие между FileSourceScanExec и Orc и ParquetFileFormat при создании выходных данных columnar
  • [SPARK-41155] [SC-115991] [SQL] Добавление сообщения об ошибке в SchemaColumnConvertNotSupportedException
  • [SPARK-40940] [SC-115993] Удалите средства проверки операторов с несколькими состояниями для потоковых запросов.
  • [SPARK-41098] [SC-115790] [SQL] Переименование GROUP_BY_POS_REFERS_AGG_EXPR в GROUP_BY_POS_AGGREGATE
  • [SPARK-40755] [SC-115912] [SQL] При проверке типа миграции ошибок форматирования чисел на классы ошибок
  • [SPARK-41059] [SC-115658] [SQL] Переименование _LEGACY_ERROR_TEMP_2420 в NESTED_AGGREGATE_FUNCTION
  • [SPARK-41044] [SC-115662] [SQL] Преобразование DATATYPE_MISMATCH. UNSPECIFIED_FRAME to INTERNAL_ERROR
  • [SPARK-40973] [SC-115132] [SQL] Переименование _LEGACY_ERROR_TEMP_0055 в UNCLOSED_BRACKETED_COMMENT

Обновления в рамках обслуживания

Ознакомьтесь с обновлениями обслуживания Databricks Runtime 12.1.

Системная среда

  • Операционная система: Ubuntu 20.04.5 LTS
  • Java: Zulu 8.64.0.19-CA-linux64
  • Scala: 2.12.14.
  • Python: 3.9.5
  • R: 4.2.2
  • Delta Lake: 2.2.0

Установленные библиотеки Python

Библиотека Версия Библиотека Версия Библиотека Версия
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 asttokens 2.0.5
attrs 21.4.0 backcall 0.2.0 backports.entry-points-selectable 1.2.0
beautifulsoup4 4.11.1 black 22.3.0 bleach 4.1.0
boto3 1.21.32 botocore 1.24.32 certifi 2021.10.8
cffi 1.15.0 chardet 4.0.0 charset-normalizer 2.0.4
щелчок 8.0.4 криптография 3.4.8 cycler 0.11.0
Cython 0.29.28 dbus-python 1.2.16 debugpy 1.5.1
decorator 5.1.1 defusedxml 0.7.1 distlib 0.3.6
docstring-to-markdown 0,11 entrypoints 0,4 executing 0.8.3
facets-overview 1.0.0 fastjsonschema 2.16.2 filelock 3.8.2
шрифтовые инструменты 4.25.0 idna 3,3 ipykernel 6.15.3
ipython 8.5.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
jedi 0.18.1 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.1.0 jsonschema 4.4.0 jupyter-client 6.1.12
jupyter_core 4.11.2 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
kiwisolver 1.3.2 MarkupSafe 2.0.1 matplotlib 3.5.1
matplotlib-inline 0.1.2 Маккейб 0.7.0 mistune 0.8.4
mypy-extensions 0.4.3 nbclient 0.5.13 nbconvert 6.4.4
nbformat 5.3.0 nest-asyncio 1.5.5 nodeenv 1.7.0
записная книжка 6.4.8 numpy 1.21.5 во внешнем виде 21,3
pandas 1.4.2 pandocfilters 1.5.0 parso 0.8.3
pathspec 0.9.0 patsy 0.5.2 pexpect 4.8.0
pickleshare 0.7.5 Pillow 9.0.1 pip 21.2.4
platformdirs 2.6.0 график 5.6.0 pluggy 1.0.0
prometheus-client 0.13.1 prompt-toolkit 3.0.20 protobuf 3.19.4
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 7.0.0 pycparser 2.21
pyflakes 2.5.0 Pygments 2.11.2 PyGObject 3.36.0
pyodbc 4.0.32 pyparsing 3.0.4 pyright 1.1.283
pyrsistent 0.18.0 python-dateutil 2.8.2 python-lsp-jsonrpc 1.0.0
python-lsp-server 1.6.0 pytz 2021.3 pyzmq 22.3.0
requests 2.27.1 requests-unixsocket 0.2.0 верёвка 0.22.0
s3transfer 0.5.0 scikit-learn 1.0.2 scipy 1.7.3
мореборн 0.11.2 Send2Trash 1.8.0 setuptools 61.2.0
six 1.16.0 soupsieve 2.3.1 ssh-import-id 5,10
stack-data 0.2.0 statsmodels 0.13.2 tenacity 8.0.1
terminado 0.13.1 testpath 0.5.0 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tomli 1.2.2 tornado 6.1
traitlets 5.1.1 typing_extensions 4.1.1 ujson 5.1.0
unattended-upgrades 0,1 urllib3 1.26.9 virtualenv 20.8.0
wcwidth 0.2.5 webencodings 0.5.1 whatthepatch 1.0.3
wheel 0.37.0 widgetsnbextension 3.6.1 yapf 0.31.0

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка Microsoft CRAN 2022-11-11.

Библиотека Версия Библиотека Версия Библиотека Версия
Стрелка 10.0.0 askpass 1,1 assertthat 0.2.1
внутренние порты 1.4.1 base 4.2.2 base64enc 0.1-3
bit 4.0.4 bit64 4.0.5 большой двоичный объект 1.2.3
загрузка 1.3-28 заваривать 1,0–8 brio 1.1.3
метла 1.0.1 bslib 0.4.1 cachem 1.0.6
вызывающий объект 3.7.3 крышка 6.0-93 cellranger 1.1.0
chron 2.3-58 class 7.3-20 cli 3.4.1
clipr 0.8.0 clock 0.6.1 cluster 2.1.4
codetools 0.2-18 colorspace 2.0-3 commonmark 1.8.1
компилятор 4.2.2 config 0.3.1 cpp11 0.4.3
карандаш 1.5.2 учетные данные 1.3.2 curl 4.3.3
data.table 1.14.4 наборы данных 4.2.2 DBI 1.1.3
dbplyr 2.2.1 desc 1.4.2 средства разработки 2.4.5
diffobj 0.3.5 digest 0.6.30 downlit 0.4.2
dplyr 1.0.10 dtplyr 1.2.2 e1071 1.7-12
многоточие 0.3.2 evaluate 0,18 вентиляторы 1.0.3
Farver 2.1.1 fastmap 1.1.0 fontawesome 0.4.0
forcats 0.5.2 foreach 1.5.2 иностранный 0.8-82
forge 0.2.0 fs 1.5.2 будущее 1.29.0
future.apply 1.10.0 gargle 1.2.1 Универсальные шаблоны 0.1.3
gert 1.9.1 ggplot2 3.4.0 gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-4 globals 0.16.1
клей 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
Говер 1.0.0 графика 4.2.2 grDevices 4.2.2
grid 4.2.2 gridExtra 2.3 gsubfn 0,7
gtable 0.3.1 hardhat 1.2.0 haven 2.5.1
высокий 0,9 hms 1.1.2 htmltools 0.5.3
htmlwidgets 1.5.4 httpuv 1.6.6 httr 1.4.4
ids 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.6 Итераторы 1.0.14 jquerylib 0.1.4
jsonlite 1.8.3 KernSmooth 2.23-20 трикотажный 1,40
маркирование 0.4.2 later 1.3.0 решётка 0.20-45
Lava 1.7.0 жизненный цикл 1.0.3 listenv 0.8.0
lubridate 1.9.0 magrittr 2.0.3 Markdown 1,3
МАССАЧУСЕТС 7.3-58 «Матрица» 1.5-1 memoise 2.0.1
оплаты 4.2.2 mgcv 1.8-41 мим 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.9
munsell 0.5.0 nlme 3.1-160 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.4 parallel 4.2.2
parallelly 1.32.1 столб 1.8.1 pkgbuild 1.3.1
pkgconfig 2.0.3 pkgdown 2.0.6 pkgload 1.3.1
plogr 0.2.0 plyr 1.8.7 хвалить 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 Ход выполнения 1.2.2
progressr 0.11.0 promises 1.2.0.1 proto 1.0.0
proxy 0.4-27 ps 1.7.2 purrr 0.3.5
r2d3 0.2.6 R6 2.5.1 ragg 1.2.4
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.9 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.1 Рецепты 1.0.3
реванш 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown 2.18 RODBC 1.3-19 roxygen2 7.2.1
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.2.18 rstudioapi 0,14 rversions 2.1.2
rvest 1.0.3 sass 0.4.2 весы 1.2.1
селектор 0.4-2 sessioninfo 1.2.2 форма 1.4.6
блестящий 1.7.3 sourcetools 0.1.7 sparklyr 1.7.8
SparkR 3.3.1 пространственный 7.3-11 Сплайны 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.2.2
статистика4 4.2.2 stringi 1.7.8 stringr 1.4.1
выживание 3.4-0 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.5 textshaping 0.3.6
tibble 3.1.8 tidyr 1.2.1 tidyselect 1.2.0
tidyverse 1.3.2 timechange 0.1.1 TimeDate 4021.106
tinytex 0,42 средства 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.2
служебные программы 4.2.2 uuid 1.1-0 vctrs 0.5.0
viridisLite 0.4.1 vroom 1.6.0 waldo 0.4.0
усы 0,4 withr 2.5.0 xfun 0,34
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.6 zip 2.2.2

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)

ИД группы Идентификатор артефакта Версия
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics потоковая передача 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1–0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.13.4
com.fasterxml.jackson.core jackson-core 2.13.4
com.fasterxml.jackson.core jackson-databind 2.13.4.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.13.4
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.4
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natives 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java-natives 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger профилировщик 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1,1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.6.2
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx коллектор 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.2
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.22
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4,8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow arrow-vector 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4.
org.apache.commons commons-compress 1,21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.4-databricks
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy ivy 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.18.0
org.apache.logging.log4j log4j-api 2.18.0
org.apache.logging.log4j log4j-core 2.18.0
org.apache.logging.log4j log4j-slf4j-impl 2.18.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.6
org.apache.orc orc-mapreduce 1.7.6
org.apache.orc orc-shims 1.7.6
org.apache.parquet parquet-column 1.12.3-databricks-0002
org.apache.parquet parquet-common 1.12.3-databricks-0002
org.apache.parquet parquet-encoding 1.12.3-databricks-0002
org.apache.parquet parquet-format-structures 1.12.3-databricks-0002
org.apache.parquet parquet-hadoop 1.12.3-databricks-0002
org.apache.parquet parquet-jackson 1.12.3-databricks-0002
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4,20
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-continuation 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap shims 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark неиспользованный 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1