Share via

Databricks Runtime 12.1 (неподдерживаемый)

  • Статья

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 12.1, на базе Apache Spark 3.3.1.

Databricks выпустила эти изображения в январе 2023 года.

Новые функции и внесенные улучшения

Функции таблицы Delta Lake, поддерживаемые для управления протоколами

Azure Databricks представила поддержку функций таблицы Delta Lake, которые содержат подробные флаги, указывающие, какие функции поддерживаются данной таблицей. Узнайте, как Azure Databricks управляет совместимостью функций Delta Lake?.

Прогнозные операции ввода-вывода для обновлений доступны в общедоступной предварительной версии

Прогнозный ввод-вывод теперь ускоряет DELETEMERGEи UPDATE операции для разностных таблиц с векторами удаления, включенными для вычислений с поддержкой Photon. См. сведения о прогнозных ввода-выводах.

Теперь Обозреватель каталога доступна всем пользователям

Теперь Обозреватель каталога доступны всем пользователям Azure Databricks при использовании Databricks Runtime 7.3 LTS и более поздних версий.

Поддержка нескольких операторов с отслеживанием состояния в одном потоковом запросе

Теперь пользователи могут цепочки операторов с отслеживанием состояния с режимом добавления в потоковый запрос. Не все операторы полностью поддерживаются. Соединение интервала времени потоковой передачи и flatMapGroupsWithState не позволяет другим операторам с отслеживанием состояния выполнять цепочку.

Поддержка буферов протокола доступна в общедоступной предварительной версии

Вы можете использовать from_protobuf функции и to_protobuf функции для обмена данными между двоичными и типами структур. См . раздел "Чтение и запись буферов протокола".

Поддержка проверки подлинности реестра схем Confluent

Интеграция Azure Databricks с Реестром схем Confluent теперь поддерживает адреса внешнего реестра схем с проверкой подлинности. Эта функция доступна для функций , to_avroа from_protobufto_protobuf также для from_avroфункций. См. статью Protobuf или Avro.

Поддержка общего доступа к журналу таблиц с общими папками Delta Sharing

Теперь вы можете предоставить общий доступ к таблице с полным журналом с помощью разностного общего доступа, что позволяет получателям выполнять запросы на поездки по времени и запрашивать таблицу с помощью структурированной потоковой передачи Spark. WITH HISTORY рекомендуется вместо CHANGE DATA FEEDэтого, хотя последний продолжает поддерживаться. См . раздел ALTER SHARE и добавление таблиц в общую папку.

Поддержка потоковой передачи с общими папками Delta Sharing

Структурированная потоковая передача Spark теперь работает с форматом deltasharing в исходной таблице разностного общего доступа, которая использовалась.WITH HISTORY

Версия таблицы с использованием метки времени теперь поддерживается для таблиц Delta Sharing в каталогах

Теперь можно использовать синтаксис TIMESTAMP AS OF SQL в SELECT инструкциях, чтобы указать версию таблицы Delta Sharing, подключенной в каталоге. Таблицы должны быть общими с помощью WITH HISTORY.

Поддержка ПАРАМЕТРА WHEN NOT MATCHED BY SOURCE for MERGE INTO

Теперь можно добавить WHEN NOT MATCHED BY SOURCE предложения для MERGE INTO обновления или удаления строк в выбранной таблице, не имеющих совпадений в исходной таблице на основе условия слияния. Новое предложение доступно в SQL, Python, Scala и Java. См. раздел MERGE INTO.

Оптимизированная коллекция статистики для CONVERT TO DELTA

Сбор статистики для CONVERT TO DELTA операции теперь гораздо быстрее. Это сокращает количество рабочих нагрузок, которые могут использоваться NO STATISTICS для повышения эффективности.

Поддержка каталога Unity для отмены таблиц

Эта функция изначально была выпущена в общедоступной предварительной версии. Это GA по состоянию на 25 октября 2023 года.

Теперь вы можете отменить удаление управляемой или внешней таблицы в существующей схеме в течение семи дней после удаления. См. таблицу UNDROP и ПОКАЗАТЬ УДАЛЕННЫЕ ТАБЛИЦЫ.

Обновления библиотек

  • Обновленные библиотеки Python:
    • блокировка файлов от 3.8.0 до 3.8.2
    • platformdirs от 2.5.4 до 2.6.0
    • setuptools от 58.0.4 до 61.2.0
  • Обновленные библиотеки R:
  • Обновленные библиотеки Java:
    • io.delta.delta-sharing-spark_2.12 от 0.5.2 до 0.6.2
    • org.apache.hive.hive-storage-api от 2.7.2 до 2.8.1
    • org.apache.parquet.column с 1.12.3-databricks-0001 до 1.12.3-databricks-0002
    • org.apache.parquet.common с 1.12.3-databricks-0001 до 1.12.3-databricks-0002
    • org.apache.parquet.parquet-кодировка с 1.12.3-databricks-0001 до 1.12.3-databricks-0002
    • org.apache.parquet.parquet-format-structures с 1.12.3-databricks-0001 до 1.12.3-databricks-0002
    • org.apache.parquet.parquet-hadoop с 1.12.3-databricks-0001 до 1.12.3-databricks-0002
    • org.apache.parquet.parquet-джексон с 1.12.3-databricks-0001 до 1.12.3-databricks-0002
    • org.tukaani.xz от 1.8 до 1.9

Apache Spark

Databricks Runtime 12.1 включает Apache Spark 3.3.1. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 12.0 (неподдерживаемые), а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

  • [SPARK-41405] [SC-119769] [12.1.0] Возврат "[SC-119411][SQL] Централизация логики разрешения столбцов" и "[SC-11717170][SPARK-41338][SQL] Разрешать внешние ссылки и обычные столбцы в одном пакете анализатора".
  • [SPARK-41405] [SC-119411] [SQL] Централизация логики разрешения столбцов
  • [SPARK-41859] [SC-119514] [SQL] CreateHiveTableAsSelectCommand должен правильно задать флаг перезаписи
  • [SPARK-41659] [SC-119526] [CONNECT] [12.X] Включение doctests в pyspark.sql.connect.readwriter
  • [SPARK-41858] [SC-119427] [SQL] Исправление регрессии средства чтения ORC из-за функции значения DEFAULT
  • [SPARK-41807] [SC-119399] [CORE] Удалите несуществующий класс ошибок: UNSUPPORTED_FEATURE. DISTRIBUTE_BY
  • [SPARK-41578] [12.x] [SC-119273] [SQL] Назначение имени _LEGACY_ERROR_TEMP_2141
  • [SPARK-41571] [SC-119362] [SQL] Назначение имени _LEGACY_ERROR_TEMP_2310
  • [SPARK-41810] [SC-119373] [CONNECT] Вывод имен из списка словарей в SparkSession.createDataFrame
  • [SPARK-40993] [SC-119504] [SPARK-41705] [CONNECT] [12.X] Перемещение документации и скрипта Spark Подключение в документацию по разработке и Python
  • [SPARK-41534] [SC-119456] [CONNECT] [SQL] [12.x] Настройка начального клиентского модуля для Spark Подключение
  • [SPARK-41365] [SC-118498] [пользовательский интерфейс] [3.3] Страница пользовательского интерфейса этапов не загружается для прокси-сервера в определенной среде yarn
  • [SPARK-41481] [SC-118150] [CORE] [SQL] Повторное использование INVALID_TYPED_LITERAL вместо _LEGACY_ERROR_TEMP_0020
  • [SPARK-41049] [SC-119305] [SQL] Обработка выражений с отслеживанием состояния
  • [SPARK-41726] [SC-119248] [SQL] Удалить OptimizedCreateHiveTableAsSelectCommand
  • [SPARK-41271] [SC-118648] [SC-118348] [SQL] Поддержка параметризованных запросов SQL по sql()
  • [SPARK-41066] [SC-119344] [CONNECT] [PYTHON] Реализация DataFrame.sampleBy и DataFrame.stat.sampleBy
  • [SPARK-41407] [SC-119402] [SC-119012] [SQL] [ВСЕ ТЕСТЫ] Извлечение записи версии 1 в WriteFiles
  • [SPARK-41565] [SC-118868] [SQL] Добавление класса ошибок UNRESOLVED_ROUTINE
  • [SPARK-41668] [SC-118925] [SQL] Функция DECODE возвращает неправильные результаты при передаче NULL
  • [SPARK-41554] [SC-119274] исправление изменения десятичного масштаба при уменьшении масштаба на m...
  • [SPARK-41065] [SC-119324] [CONNECT] [PYTHON] Реализация DataFrame.freqItems и DataFrame.stat.freqItems
  • [SPARK-41742] [SC-119404] [SPARK-41745] [CONNECT] [12.X] Повторные тесты документации и добавление отсутствующих псевдонимов столбцов в count()
  • [SPARK-41069] [SC-119310] [CONNECT] [PYTHON] Реализация DataFrame.approxQuantile и DataFrame.stat.approxQuantile
  • [SPARK-41809] [SC-119367] [CONNECT] [PYTHON] Создание функции from_json поддержки схемы DataType
  • [SPARK-41804] [SC-119382] [SQL] Выбор правильного размера элемента для InterpretedUnsafeProjection массива определяемых пользователем элементов
  • [SPARK-41786] [SC-119308] [CONNECT] [PYTHON] Вспомогательные функции дедупликации
  • [SPARK-41745] [SC-119378] [SPARK-41789] [12.X] Создание createDataFrame списка поддержки строк
  • [SPARK-41344] [SC-119217] [SQL] Удаляйте ошибку, если таблица не найдена в каталоге SupportsCatalogOptions
  • [SPARK-41803] [SC-119380] [CONNECT] [PYTHON] Добавление отсутствующих функций log(arg1, arg2)
  • [SPARK-41808] [SC-119356] [CONNECT] [PYTHON] Настройка параметров поддержки функций JSON
  • [SPARK-41779] [SC-119275] [SPARK-41771] [CONNECT] [PYTHON] Создание __getitem__ фильтра поддержки и выбор
  • [SPARK-41783] [SC-119288] [SPARK-41770] [CONNECT] [PYTHON] Создание поддержки столбцов в столбце None
  • [SPARK-41440] [SC-119279] [CONNECT] [PYTHON] Избегайте оператора кэша для общего примера.
  • [SPARK-41785] [SC-119290] [CONNECT] [PYTHON] Реализовать GroupedData.mean
  • [SPARK-41629] [SC-119276] [CONNECT] Поддержка расширений протокола в реляционных и выражениях
  • [SPARK-41417] [SC-118000] [CORE] [SQL] Переименование _LEGACY_ERROR_TEMP_0019 в INVALID_TYPED_LITERAL
  • [SPARK-41533] [SC-119342] [CONNECT] [12.X] Правильная обработка ошибок для сервера и клиента Spark Подключение
  • [SPARK-41292] [SC-119357] [CONNECT] [12.X] Окно поддержки в пространстве имен pyspark.sql.window
  • [SPARK-41493] [SC-119339] [CONNECT] [PYTHON] Создание параметров поддержки функций CSV
  • [SPARK-39591] [SC-118675] [SS] Асинхронное отслеживание хода выполнения
  • [SPARK-41767] [SC-119337] [CONNECT] [PYTHON] [12.X] Реализовать Column.{withField, dropFields}
  • [SPARK-41068] [SC-119268] [CONNECT] [PYTHON] Реализовать DataFrame.stat.corr
  • [SPARK-41655] [SC-119323] [CONNECT] [12.X] Включение doctests в pyspark.sql.connect.column
  • [SPARK-41738] [SC-119170] [CONNECT] Mix ClientId в кэше SparkSession
  • [SPARK-41354] [SC-119194] [CONNECT] Добавление RepartitionByExpression в прототип
  • [SPARK-41784] [SC-119289] [CONNECT] [PYTHON] Добавление отсутствующих в столбце __rmod__
  • [SPARK-41778] [SC-119262] [SQL] Добавление псевдонима "reduce" в ArrayAggregate
  • [SPARK-41067] [SC-119171] [CONNECT] [PYTHON] Реализовать DataFrame.stat.cov
  • [SPARK-41764] [SC-119216] [CONNECT] [PYTHON] Согласование имени внутренней строки с FunctionRegistry
  • [SPARK-41734] [SC-119160] [CONNECT] Добавление родительского сообщения для каталога
  • [SPARK-41742] [SC-119263] Поддержка df.groupBy().agg({"*":"count"})
  • [SPARK-41761] [SC-119213] [CONNECT] [PYTHON] Исправление арифметических операций: __neg__, __pow____rpow__
  • [SPARK-41062] [SC-118182] [SQL] Переименование UNSUPPORTED_CORRELATED_REFERENCE в CORRELATED_REFERENCE
  • [SPARK-41751] [SC-119211] [CONNECT] [PYTHON] Исправить Column.{isNull, isNotNull, eqNullSafe}
  • [SPARK-41728] [SC-119164] [CONNECT] [PYTHON] [12.X] Реализация unwrap_udt функции
  • [SPARK-41333] [SC-119195] [SPARK-41737] Реализовать GroupedData.{min, max, avg, sum}
  • [SPARK-41751] [SC-119206] [CONNECT] [PYTHON] Исправить Column.{bitwiseAND, bitwiseOR, bitwiseXOR}
  • [SPARK-41631] [SC-101081] [SQL] Поддержка неявного разрешения псевдонима бокового столбца в агрегате
  • [SPARK-41529] [SC-119207] [CONNECT] [12.X] Реализация SparkSession.stop
  • [SPARK-41729] [SC-119205] [CORE] [SQL] [12.X] Переименование _LEGACY_ERROR_TEMP_0011 в UNSUPPORTED_FEATURE.COMBINATION_QUERY_RESULT_CLAUSES
  • [SPARK-41717] [SC-119078] [CONNECT] [12.X] Дедупликация печати и repr_html в LogicalPlan
  • [SPARK-41740] [SC-119169] [CONNECT] [PYTHON] Реализовать Column.name
  • [SPARK-41733] [SC-119163] [SQL] [SS] Применение обрезки на основе дерева для правила ResolveWindowTime
  • [SPARK-41732] [SC-119157] [SQL] [SS] Применение обрезки на основе дерева для сеанса правила
  • [SPARK-41498] [SC-119018] Распространение метаданных через Union
  • [SPARK-41731] [SC-119166] [CONNECT] [PYTHON] [12.X] Реализация метода доступа к столбцам
  • [SPARK-41736] [SC-119161] [CONNECT] [PYTHON] pyspark_types_to_proto_types должна поддерживаться ArrayType
  • [SPARK-41473] [SC-119092] [CONNECT] [PYTHON] Реализация format_number функции
  • [SPARK-41707] [SC-119141] [CONNECT] [12.X] Реализация API каталога в Spark Подключение
  • [SPARK-41710] [SC-119062] [CONNECT] [PYTHON] Реализовать Column.between
  • [SPARK-41235] [SC-1190888] [SQL] [PYTHON] Функция высокого порядка: реализация array_compact
  • [SPARK-41518] [SC-118453] [SQL] Назначение имени классу ошибок _LEGACY_ERROR_TEMP_2422
  • [SPARK-41723] [SC-119091] [CONNECT] [PYTHON] Реализация sequence функции
  • [SPARK-41703] [SC-119060] [CONNECT] [PYTHON] Объединение NullType и typed_null в литерале
  • [SPARK-41722] [SC-119090] [CONNECT] [PYTHON] Реализация 3 отсутствующих функций периода времени
  • [SPARK-41503] [SC-119043] [CONNECT] [PYTHON] Реализация функций преобразования секций
  • [SPARK-41413] [SC-118968] [SQL] Избегайте перемешивания в служба хранилища секционированного соединения при несоответствии ключей секций, но выражения соединения совместимы
  • [SPARK-41700] [SC-119046] [CONNECT] [PYTHON] Удалить FunctionBuilder
  • [SPARK-41706] [SC-119094] [CONNECT] [PYTHON] pyspark_types_to_proto_types должна поддерживаться MapType
  • [SPARK-41702] [SC-119049] [CONNECT] [PYTHON] Добавление недопустимых операций столбцов
  • [SPARK-41660] [SC-118866] [SQL] Распространение столбцов метаданных только в том случае, если они используются
  • [SPARK-41637] [SC-119003] [SQL] ЗАКАЗ ПО ВСЕМ
  • [SPARK-41513] [SC-118945] [SQL] Реализация аккумулятора для сбора метрик счетчика строк сопоставления
  • [SPARK-41647] [SC-119064] [CONNECT] [12.X] Дедупликация документов в pyspark.sql.connect.functions
  • [SPARK-41701] [SC-119048] [CONNECT] [PYTHON] Поддержка операции с столбцами decimal
  • [SPARK-41383] [SC-119015] [SPARK-41692] [SPARK-41693] Реализация rollupи cubepivot
  • [SPARK-41635] [SC-118944] [SQL] GROUP BY ALL
  • [SPARK-41645] [SC-119057] [CONNECT] [12.X] Дедупликация документов в pyspark.sql.connect.dataframe
  • [SPARK-416888] [SC-118951] [CONNECT] [PYTHON] Перемещение выражений в expressions.py
  • [SPARK-41687] [SC-118949] [CONNECT] Дедупликация документов в pyspark.sql.connect.group
  • [SPARK-41649] [SC-118950] [CONNECT] Дедупликация документов в pyspark.sql.connect.window
  • [SPARK-41681] [SC-118939] [CONNECT] Фактор GroupedData в group.py
  • [SPARK-41292] [SC-119038] [SPARK-41640] [SPARK-41641] [CONNECT] [PYTHON] [12.X] Реализация Window функций
  • [SPARK-41675] [SC-119031] [SC-118934] [CONNECT] [PYTHON] [12.X] Поддержка операции "Столбец" datetime
  • [SPARK-41672] [SC-118929] [CONNECT] [PYTHON] Включение устаревших функций
  • [SPARK-41673] [SC-118932] [CONNECT] [PYTHON] Реализовать Column.astype
  • [SPARK-41364] [SC-118865] [CONNECT] [PYTHON] Реализация broadcast функции
  • [SPARK-41648] [SC-118914] [CONNECT] [12.X] Дедупликация документов в pyspark.sql.connect.readwriter
  • [SPARK-41646] [SC-118915] [CONNECT] [12.X] Дедупликация документов в pyspark.sql.connect.session
  • [SPARK-41643] [SC-118862] [CONNECT] [12.X] Дедупликация документов в pyspark.sql.connect.column
  • [SPARK-41663] [SC-118936] [CONNECT] [PYTHON] [12.X] Реализация остальных функций Лямбда
  • [SPARK-41441] [SC-118557] [SQL] Поддержка создания без обязательных дочерних выходных данных для размещения внешних ссылок
  • [SPARK-41669] [SC-118923] [SQL] Ранняя обрезка в canCollapseExpressions
  • [SPARK-41639] [SC-118927] [SQL] [PROTOBUF]: удаление Scala Рефлексия ionLock из SchemaConverters
  • [SPARK-41464] [SC-118861] [CONNECT] [PYTHON] Реализовать DataFrame.to
  • [SPARK-41434] [SC-118857] [CONNECT] [PYTHON] Начальная LambdaFunction реализация
  • [SPARK-41539] [SC-118802] [SQL] Remap stats and constraints against output in logical plan for LogicalRDD
  • [SPARK-41396] [SC-118786] [SQL] [PROTOBUF] Поддержка полей OneOf и рекурсия проверка
  • [SPARK-41528] [SC-118769] [CONNECT] [12.X] Слияние пространства имен Подключение Spark и API PySpark
  • [SPARK-41568] [SC-118715] [SQL] Назначение имени _LEGACY_ERROR_TEMP_1236
  • [SPARK-41440] [SC-1187888] [CONNECT] [PYTHON] Реализовать DataFrame.randomSplit
  • [SPARK-41583] [SC-118718] [SC-118642] [CONNECT] [PROTOBUF] Добавление Подключение Spark и protobuf в setup.py с указанием зависимостей
  • [SPARK-27561] [SC-101081] [12.x] [SQL] Поддержка неявного разрешения псевдонима бокового столбца в Project
  • [SPARK-41535] [SC-118645] [SQL] Правильно задать значение NULL для полей интервала календаря и InterpretedUnsafeProjectionInterpretedMutableProjection
  • [SPARK-40687] [SC-118439] [SQL] Поддержка маскирования данных встроенной функции "маска"
  • [SPARK-41520] [SC-118440] [SQL] Разделение AND_OR TreePattern на отдельные И И ИЛИ TreePatterns
  • [SPARK-41349] [SC-118668] [CONNECT] [PYTHON] Реализация DataFrame.hint
  • [SPARK-41546] [SC-118541] [CONNECT] [PYTHON] pyspark_types_to_proto_types должен поддерживать StructType.
  • [SPARK-41334] [SC-118549] [CONNECT] [PYTHON] Перемещение SortOrder прототипа из отношений в выражения
  • [SPARK-41387] [SC-118450] [SS] Утверждение текущего смещения конца из источника данных Kafka для Trigger.AvailableNow
  • [SPARK-41508] [SC-118445] [CORE] [SQL] Переименование _LEGACY_ERROR_TEMP_1180 в UNEXPECTED_INPUT_TYPE и удаление _LEGACY_ERROR_TEMP_1179
  • [SPARK-41319] [SC-118441] [CONNECT] [PYTHON] Реализуйте столбец. {when, в противном случае и функция when с UnresolvedFunction
  • [SPARK-41541] [SC-118460] [SQL] Исправлен вызов неправильного дочернего метода в SQLShuffleWriteMetricsReporter.decRecordsWritten()
  • [SPARK-41453] [SC-118458] [CONNECT] [PYTHON] Реализовать DataFrame.subtract
  • [SPARK-41248] [SC-118436] [SC-118303] [SQL] Добавьте "spark.sql.json.enablePartialResults", чтобы включить или отключить частичные результаты JSON
  • [SPARK-41437] Возврат "[SC-117601][SQL] Не оптимизируйте входной запрос дважды для резервного копирования записи версии 1.
  • [SPARK-41472] [SC-118352] [CONNECT] [PYTHON] Реализация остальных строковых и двоичных функций
  • [SPARK-41526] [SC-118355] [CONNECT] [PYTHON] Реализовать Column.isin
  • [SPARK-32170] [SC-118384] [CORE] Улучшение спекуляций с помощью метрик задач этапа.
  • [SPARK-41524] [SC-118399] [SS] Дифференцировать SQLConf и extraOptions в StateStoreConf за его использование в RocksDBConf
  • [SPARK-41465] [SC-118381] [SQL] Назначьте имя классу ошибок _LEGACY_ERROR_TEMP_1235
  • [SPARK-41511] [SC-118365] [SQL] Поддержка LongToUnsafeRowMap игнорируетDuplicatedKey
  • [SPARK-41409] [SC-118302] [CORE] [SQL] Переименование _LEGACY_ERROR_TEMP_1043 в WRONG_NUM_ARGS.WITHOUT_SUGGESTION
  • [SPARK-41438] [SC-118344] [CONNECT] [PYTHON] Реализовать DataFrame.colRegex
  • [SPARK-41437] [SC-117601] [SQL] Не оптимизируйте входной запрос дважды для резервной записи версии 1
  • [SPARK-41314] [SC-117172] [SQL] Назначение имени классу ошибок _LEGACY_ERROR_TEMP_1094
  • [SPARK-41443] [SC-118004] [SQL] Назначьте имя классу ошибок _LEGACY_ERROR_TEMP_1061
  • [SPARK-41506] [SC-118241] [CONNECT] [PYTHON] Рефакторинг LiteralExpression для поддержки DataType
  • [SPARK-41448] [SC-118046] Создание согласованных идентификаторов заданий MR в FileBatchWriter и FileFormatWriter
  • [SPARK-41456] [SC-117970] [SQL] Повышение производительности try_cast
  • [SPARK-41495] [SC-118125] [CONNECT] [PYTHON] Реализация collection функций: P~Z
  • [SPARK-41478] [SC-118167] [SQL] Назначьте имя классу ошибок _LEGACY_ERROR_TEMP_1234
  • [SPARK-41406] [SC-118161] [SQL] Сообщение об ошибке рефакторинга, чтобы NUM_COLUMNS_MISMATCH сделать его более универсальным
  • [SPARK-41404] [SC-118016] [SQL] Рефакторинг, чтобы сделать ColumnarBatchSuite#testRandomRows тест более примитивным ColumnVectorUtils#toBatch типом данных
  • [SPARK-41468] [SC-118044] [SQL] Исправление обработки PlanExpression в ЭквивалентеExpressions
  • [SPARK-40775] [SC-118045] [SQL] Исправление повторяющихся записей описания для сканирования файлов версии 2
  • [SPARK-41492] [SC-118042] [CONNECT] [PYTHON] Реализация функций MISC
  • [SPARK-41459] [SC-118005] [SQL] Исправление выходных данных журнала операций сервера thrift является пустым
  • [SPARK-41395] [SC-117899] [SQL] InterpretedMutableProjection следует использовать setDecimal для задания значений NULL для десятичных разрядов в небезопасной строке.
  • [SPARK-41376] [SC-117840] [CORE] [3.3] Исправьте логику Netty preferDirectBufs проверка при запуске исполнителя
  • [SPARK-41484] [SC-118159] [SC-118036] [CONNECT] [PYTHON] [12.x] Реализация collection функций: E~M
  • [SPARK-41389] [SC-117426] [CORE] [SQL] Повторное использование WRONG_NUM_ARGS вместо _LEGACY_ERROR_TEMP_1044
  • [SPARK-41462] [SC-117920] [SQL] Тип метки даты и времени может привести к timestampNTZ
  • [SPARK-41435] [SC-117810] [SQL] Изменение вызова invalidFunctionArgumentsErrorcurdate() , когда expressions не пусто
  • [SPARK-41187] [SC-118030] [CORE] LiveExecutor MemoryLeak в AppStatusListener при выполнении исполнителя
  • [SPARK-41360] [SC-118083] [CORE] Избегайте повторной регистрации BlockManager, если исполнитель был потерян
  • [SPARK-41378] [SC-117686] [SQL] Поддержка статистики столбцов в DS версии 2
  • [SPARK-41402] [SC-117910] [SQL] [CONNECT] [12.X] Переопределение prettyName объекта StringDecode
  • [SPARK-41414] [SC-118041] [CONNECT] [PYTHON] [12.x] Реализация функций метки даты и времени
  • [SPARK-41329] [SC-117975] [CONNECT] Разрешение циклических импортов в Spark Подключение
  • [SPARK-41477] [SC-118025] [CONNECT] [PYTHON] Правильное определение типа данных целых чисел литерала
  • [SPARK-41446] [SC-118024] [CONNECT] [PYTHON] [12.x] Создание createDataFrame схемы поддержки и дополнительных типов входных наборов данных
  • [SPARK-41475] [SC-117997] [CONNECT] Исправлена ошибка команды lint-scala и опечатка
  • [SPARK-38277] [SC-117799] [SS] Очистка пакета записи после фиксации хранилища состояний RocksDB
  • [SPARK-41375] [SC-117801] [SS] Избегайте пустой последней версии KafkaSourceOffset
  • [SPARK-41412] [SC-118015] [CONNECT] Реализовать Column.cast
  • [SPARK-41439] [SC-117893] [CONNECT] [PYTHON] Реализация DataFrame.melt и DataFrame.unpivot
  • [SPARK-41399] [SC-118007] [SC-117474] [CONNECT] Рефакторинг столбцов, связанных с тестами для test_connect_column
  • [SPARK-41351] [SC-117957] [SC-117412] [CONNECT] [12.x] Столбец должен поддерживать оператор !=
  • [SPARK-40697] [SC-117806] [SC-112787] [SQL] Добавление заполнения на стороне чтения для покрытия внешних файлов данных
  • [SPARK-41349] [SC-117594] [CONNECT] [12.X] Реализация DataFrame.hint
  • [SPARK-41338] [SC-117170] [SQL] Разрешение внешних ссылок и обычных столбцов в одном пакете анализатора
  • [SPARK-41436] [SC-117805] [CONNECT] [PYTHON] Реализация collection функций: A~C
  • [SPARK-41445] [SC-117802] [CONNECT] Реализация DataFrameReader.parquet
  • [SPARK-41452] [SC-117865] [SQL] to_char должен возвращать значение NULL, если формат имеет значение NULL
  • [SPARK-41444] [SC-117796] [CONNECT] Поддержка read.json()
  • [SPARK-41398] [SC-117508] [SQL] Ограничения на служба хранилища секционирование соединения, если ключи секций после фильтрации среды выполнения не соответствуют
  • [SPARK-41228] [SC-117169] [SQL] Переименование и улучшение сообщения об ошибке для COLUMN_NOT_IN_GROUP_BY_CLAUSE.
  • [SPARK-41381] [SC-117593] [CONNECT] [PYTHON] Реализация count_distinct и sum_distinct функции
  • [SPARK-41433] [SC-117596] [CONNECT] Настройка max Arrow BatchSize
  • [SPARK-41397] [SC-117590] [CONNECT] [PYTHON] Реализация части строковых и двоичных функций
  • [SPARK-41382] [SC-117588] [CONNECT] [PYTHON] Реализация product функции
  • [SPARK-41403] [SC-117595] [CONNECT] [PYTHON] Реализовать DataFrame.describe
  • [SPARK-41366] [SC-117580] [CONNECT] DF.groupby.agg() должен быть совместим
  • [SPARK-41369] [SC-117584] [CONNECT] Добавление общего подключения к шейдеру серверов
  • [SPARK-41411] [SC-117562] [SS] Исправлена ошибка с поддержкой подложки с несколькими состояниями оператора
  • [SPARK-41176] [SC-116630] [SQL] Назначьте имя классу ошибок _LEGACY_ERROR_TEMP_1042
  • [SPARK-41380] [SC-117476] [CONNECT] [PYTHON] [12.X] Реализация функций агрегирования
  • [SPARK-41363] [SC-117470] [CONNECT] [PYTHON] [12.X] Реализация обычных функций
  • [SPARK-41305] [SC-117411] [CONNECT] Улучшение документации по proto для команд
  • [SPARK-41372] [SC-117427] [CONNECT] [PYTHON] Реализация TempView кадра данных
  • [SPARK-41379] [SC-117420] [SS] [PYTHON] Предоставление клонированного сеанса Spark в DataFrame в пользовательской функции для приемника foreachBatch в PySpark
  • [SPARK-41373] [SC-117405] [SQL] [ERROR] Переименование CAST_WITH_FUN_SUGGESTION на CAST_WITH_FUNC_SUGGESTION
  • [SPARK-41358] [SC-117417] [SQL] Метод рефакторинга ColumnVectorUtils#populate вместо PhysicalDataTypeDataType
  • [SPARK-41355] [SC-117423] [SQL] Проблема проверки имени таблицы hive
  • [SPARK-41390] [SC-117429] [SQL] Обновление скрипта, используемого для создания register функции в UDFRegistration
  • [SPARK-41206] [SC-117233] [SC-116381] [SQL] Переименование класса _LEGACY_ERROR_TEMP_1233 ошибок в COLUMN_ALREADY_EXISTS
  • [SPARK-41357] [SC-117310] [CONNECT] [PYTHON] [12.X] Реализация математических функций
  • [SPARK-40970] [SC-117308] [CONNECT] [PYTHON] Список поддержки[столбец] для аргумента Join
  • [SPARK-41345] [SC-117178] [CONNECT] Добавление подсказки в Подключение Proto
  • [SPARK-41226] [SC-117194] [SQL] [12.x] Рефакторинг типов Spark путем внедрения физических типов
  • [SPARK-41317] [SC-116902] [CONNECT] [PYTHON] [12.X] Добавление базовой поддержки DataFrameWriter
  • [SPARK-41347] [SC-117173] [CONNECT] Добавление приведения к proto выражения
  • [SPARK-41323] [SC-117128] [SQL] Поддержка current_schema
  • [SPARK-41339] [SC-1171711] [SQL] Закрытие и повторное создание пакета записи RocksDB вместо простой очистки
  • [SPARK-41227] [SC-117165] [CONNECT] [PYTHON] Реализация перекрестного соединения кадра данных
  • [SPARK-41346] [SC-117176] [CONNECT] [PYTHON] Реализация asc и desc функции
  • [SPARK-41343] [SC-117166] [CONNECT] Перемещение синтаксического анализа functionName на сторону сервера
  • [SPARK-41321] [SC-117163] [CONNECT] Целевое поле поддержки для неразрешенного объектаStar
  • [SPARK-41237] [SC-117167] [SQL] Повторное использование класса UNSUPPORTED_DATATYPE ошибок для _LEGACY_ERROR_TEMP_0030
  • [SPARK-41309] [SC-116916] [SQL] Повторное использование INVALID_SCHEMA.NON_STRING_LITERAL вместо _LEGACY_ERROR_TEMP_1093
  • [SPARK-41276] [SC-117136] [SQL] [ML] [MLLIB] [PROTOBUF] [PYTHON] [R] [SS] [AVRO] Оптимизация использования конструктора StructType
  • [SPARK-41335] [SC-117135] [CONNECT] [PYTHON] Поддержка IsNull и IsNotNull в столбце
  • [SPARK-41332] [SC-117131] [CONNECT] [PYTHON] Исправление nullOrdering в SortOrder
  • [SPARK-41325] [SC-117132] [CONNECT] [12.X] Исправление отсутствующих avg() для GroupBy в DF
  • [SPARK-41327] [SC-117137] [CORE] Исправление SparkStatusTracker.getExecutorInfos путем включения или отключения служба хранилища Сведения оMemory
  • [SPARK-41315] [SC-117129] [CONNECT] [PYTHON] Реализация DataFrame.replace и DataFrame.na.replace
  • [SPARK-41328] [SC-117125] [CONNECT] [PYTHON] Добавление логического и строкового API в столбец
  • [SPARK-41331] [SC-117127] [CONNECT] [PYTHON] Добавление orderBy и drop_duplicates
  • [SPARK-40987] [SC-117124] [CORE] BlockManager#removeBlockInternal убедитесь, что блокировка разблокирована корректно
  • [SPARK-41268] [SC-117102] [SC-116970] [CONNECT] [PYTHON] Рефакторинг "Column" для совместимости API
  • [SPARK-41312] [SC-116881] [CONNECT] [PYTHON] [12.X] Реализация DataFrame.withColumnRenamed
  • [SPARK-41221] [SC-116607] [SQL] Добавление класса ошибок INVALID_FORMAT
  • [SPARK-41272] [SC-116742] [SQL] Назначьте имя классу ошибок _LEGACY_ERROR_TEMP_2019
  • [SPARK-41180] [SC-116760] [SQL] Повторное использование INVALID_SCHEMA вместо _LEGACY_ERROR_TEMP_1227
  • [SPARK-41260] [SC-116880] [PYTHON] [SS] [12.X] Приведение экземпляров NumPy к примитивным типам Python в обновлении GroupState
  • [SPARK-41174] [SC-116609] [CORE] [SQL] Распространение класса ошибок пользователям для недопустимого formatto_binary()
  • [SPARK-41264] [SC-116971] [CONNECT] [PYTHON] Поддержка литерала дополнительных типов данных
  • [SPARK-41326] [SC-116972] [CONNECT] Исправление дедупликации отсутствует входных данных
  • [SPARK-41316] [SC-116900] [SQL] Включение рекурсии хвоста по возможности
  • [SPARK-41297] [SC-116931] [CONNECT] [PYTHON] Поддержка строковых выражений в фильтре.
  • [SPARK-41256] [SC-116932] [SC-116883] [CONNECT] Реализация DataFrame.withColumn(s)
  • [SPARK-41182] [SC-116632] [SQL] Назначьте имя классу ошибок _LEGACY_ERROR_TEMP_1102
  • [SPARK-41181] [SC-116680] [SQL] Перенос ошибок параметров карты на классы ошибок
  • [SPARK-40940] [SC-115993] [12.x] Удалите оператор с несколькими состояниями, проверка ers для потоковых запросов.
  • [SPARK-41310] [SC-116885] [CONNECT] [PYTHON] Реализация DataFrame.toDF
  • [SPARK-41179] [SC-116631] [SQL] Назначение имени классу ошибок _LEGACY_ERROR_TEMP_1092
  • [SPARK-41003] [SC-116741] [SQL] BHJ LeftAnti не обновляет numOutputRows при отключении кодегена
  • [SPARK-41148] [SC-116878] [CONNECT] [PYTHON] Реализация DataFrame.dropna и DataFrame.na.drop
  • [SPARK-41217] [SC-116380] [SQL] Добавление класса ошибок FAILED_FUNCTION_CALL
  • [SPARK-41308] [SC-116875] [CONNECT] [PYTHON] Улучшение DataFrame.count()
  • [SPARK-41301] [SC-116786] [CONNECT] Поведение гомгенизации для SparkSession.range()
  • [SPARK-41306] [SC-116860] [CONNECT] Улучшение документации по прототипу выражения Подключение
  • [SPARK-41280] [SC-116733] [CONNECT] Реализация DataFrame.tail
  • [SPARK-41300] [SC-116751] [CONNECT] Схема без набора интерпретируется как схема
  • [SPARK-41255] [SC-116730] [SC-116695] [CONNECT] Переименование RemoteSparkSession
  • [SPARK-41250] [SC-116788] [SC-116633] [CONNECT] [PYTHON] Кадр данных. toPandas не должен возвращать необязательный кадр данных pandas
  • [SPARK-41291] [SC-116738] [CONNECT] [PYTHON] DataFrame.explain должен печатать и возвращать none
  • [SPARK-41278] [SC-116732] [CONNECT] Очистка неиспользуемого КвалифицированногоAttribute в Expression.proto
  • [SPARK-41097] [SC-116653] [CORE] [SQL] [SS] [PROTOBUF] Удаление избыточного преобразования коллекции на основе кода Scala 2.13
  • [SPARK-41261] [SC-116718] [PYTHON] [SS] Исправлена проблема для applyInPandasWithState, если столбцы ключей группировки не помещаются в порядок с самого раннего времени.
  • [SPARK-40872] [SC-116717] [3.3] Резервный резерв на исходный блок перетасовки, когда блок перетасовки с объединением push-uffle равен нулю
  • [SPARK-41114] [SC-116628] [CONNECT] Поддержка локальных данных для LocalRelation
  • [SPARK-41216] [SC-116678] [CONNECT] [PYTHON] Реализовать DataFrame.{isLocal, isStreaming, printSchema, inputFiles}
  • [SPARK-41238] [SC-116670] [CONNECT] [PYTHON] Поддержка дополнительных встроенных типов данных
  • [SPARK-41230] [SC-116674] [CONNECT] [PYTHON] Удаление str из типа выражения Агрегата
  • [SPARK-41224] [SC-116652] [SPARK-41165] [SPARK-41184] [CONNECT] Оптимизированная стрелка собирает реализацию для потоковой передачи с сервера на клиент
  • [SPARK-41222] [SC-116625] [CONNECT] [PYTHON] Объединение определений типов
  • [SPARK-41225] [SC-116623] [CONNECT] [PYTHON] Отключите неподдерживаемые функции.
  • [SPARK-41201] [SC-116526] [CONNECT] [PYTHON] Реализация DataFrame.SelectExpr в клиенте Python
  • [SPARK-41203] [SC-116258] [CONNECT] Поддержка Dataframe.tansform в клиенте Python.
  • [SPARK-41213] [SC-116375] [CONNECT] [PYTHON] Реализация DataFrame.__repr__ и DataFrame.dtypes
  • [SPARK-41169] [SC-116378] [CONNECT] [PYTHON] Реализовать DataFrame.drop
  • [SPARK-41172] [SC-116245] [SQL] Перенос неоднозначной ошибки ссылок на класс ошибок
  • [SPARK-41122] [SC-116141] [CONNECT] Описание API может поддерживать различные режимы
  • [SPARK-41209] [SC-116584] [SC-116376] [PYTHON] Улучшение вывода типов PySpark в методе _merge_type
  • [SPARK-41196] [SC-1165555] [SC-116179] [CONNECT] Одногенизуйте версию protobuf на сервере подключения Spark, чтобы использовать ту же основную версию.
  • [SPARK-35531] [SC-116409] [SQL] Обновление статистики таблицы Hive без необходимости преобразования
  • [SPARK-41154] [SC-116289] [SQL] Неправильное кэширование связей для запросов с спецификацией путешествия по времени
  • [SPARK-41212] [SC-116554] [SC-116389] [CONNECT] [PYTHON] Реализовать DataFrame.isEmpty
  • [SPARK-41135] [SC-116400] [SQL] Переименование UNSUPPORTED_EMPTY_LOCATION в INVALID_EMPTY_LOCATION
  • [SPARK-41183] [SC-116265] [SQL] Добавление API расширения для планирования нормализации для кэширования
  • [SPARK-41054] [SC-116447] [пользовательский интерфейс] [CORE] Поддержка RocksDB как KVStore в динамическом пользовательском интерфейсе
  • [SPARK-38550] [SC-115223] Вернитесь к "[SQL][CORE] Используйте дисковое хранилище для сохранения дополнительных сведений об отладке для динамического пользовательского интерфейса".
  • [SPARK-41173] [SC-116185] [SQL] Перемещение require() из конструкторов строковых выражений
  • [SPARK-41188] [SC-116242] [CORE] [ML] По умолчанию для процессов JVM исполнителя Spark.task.cpus задайте OMP_NUM_THREADS исполнителя sparkEnv OMP_NUM_THREADS
  • [SPARK-41130] [SC-116155] [SQL] Переименование OUT_OF_DECIMAL_TYPE_RANGE в NUMERIC_OUT_OF_SUPPORTED_RANGE
  • [SPARK-41175] [SC-116238] [SQL] Назначьте имя классу ошибок _LEGACY_ERROR_TEMP_1078
  • [SPARK-41106] [SC-116073] [SQL] Уменьшение преобразования коллекции при создании AttributeMap
  • [SPARK-41139] [SC-115983] [SQL] Улучшение класса ошибок: PYTHON_UDF_IN_ON_CLAUSE
  • [SPARK-40657] [SC-115997] [PROTOBUF] Требовать заливку для jar-файла класса Java, улучшить обработку ошибок
  • [SPARK-409999] [SC-116168] Распространение подсказок в вложенные запросы
  • [SPARK-41017] [SC-116054] [SQL] Поддержка очистки столбцов с несколькими недетерминированными фильтрами
  • [SPARK-40834] [SC-114773] [SQL] Использование SparkListenerSQLExecutionEnd для отслеживания окончательного состояния SQL в пользовательском интерфейсе
  • [SPARK-41118] [SC-116027] [SQL] to_number/try_to_number должен возвращаться null , если формат имеет значение null
  • [SPARK-39799] [SC-115984] [SQL] DataSourceV2: просмотр интерфейса каталога
  • [SPARK-40665] [SC-116210] [SC-112300] [CONNECT] Избегайте внедрения Подключение Spark в двоичном выпуске Apache Spark
  • [SPARK-41048] [SC-116043] [SQL] Улучшение секционирования выходных данных и упорядочения с помощью кэша AQE
  • [SPARK-41198] [SC-116256] [SS] Исправление метрик в потоковом запросе с источником потоковой передачи CTE и DSv1
  • [SPARK-41199] [SC-116244] [SS] Исправлена проблема с метриками при совместном использовании источника потоковой передачи DSv1 и источника потоковой передачи DSv2.
  • [SPARK-40957] [SC-116261] [SC-114706] Добавление кэша памяти в HDFSMetadataLog
  • [SPARK-40940] Вернитесь на "[SC-115993] Remove Multi-stateful operator проверка ers for streaming querys".
  • [SPARK-41090] [SC-116040] [SQL] db_name.view_name Исключение для создания temp view с помощью API набора данных
  • [SPARK-41133] [SC-116085] [SQL] Интеграция UNSCALED_VALUE_TOO_LARGE_FOR_PRECISION с NUMERIC_VALUE_OUT_OF_RANGE
  • [SPARK-40557] [SC-116182] [SC-111442] [CONNECT] Фиксации дампа кода 9
  • [SPARK-40448] [SC-114447] [SC-111314] [CONNECT] Сборка Spark Подключение в качестве подключаемого модуля драйвера с затененными зависимостями
  • [SPARK-41096] [SC-115812] [SQL] Поддержка чтения FIXED_LEN_BYTE_ARRAY типа parquet
  • [SPARK-41140] [SC-115879] [SQL] Переименование класса _LEGACY_ERROR_TEMP_2440 ошибок в INVALID_WHERE_CONDITION
  • [SPARK-40918] [SC-114438] [SQL] Несоответствие между FileSourceScanExec и Orc и ParquetFileFormat при создании выходных данных columnar
  • [SPARK-41155] [SC-115991] [SQL] Добавление сообщения об ошибке в SchemaColumnConvertNotSupportedException
  • [SPARK-40940] [SC-115993] Удалите оператор с несколькими состояниями, проверка ers для потоковых запросов.
  • [SPARK-41098] [SC-115790] [SQL] Переименование GROUP_BY_POS_REFERS_AGG_EXPR в GROUP_BY_POS_AGGREGATE
  • [SPARK-40755] [SC-115912] [SQL] Перенос типов проверка сбоев форматирования чисел в классы ошибок
  • [SPARK-41059] [SC-115658] [SQL] Переименование _LEGACY_ERROR_TEMP_2420 в NESTED_AGGREGATE_FUNCTION
  • [SPARK-41044] [SC-115662] [SQL] Преобразование DATATYPE_MISMATCH. UNSPECIFIED_FRAME to INTERNAL_ERROR
  • [SPARK-40973] [SC-115132] [SQL] Переименование _LEGACY_ERROR_TEMP_0055 в UNCLOSED_BRACKETED_COMMENT

Обновления в рамках обслуживания

Ознакомьтесь с обновлениями обслуживания Databricks Runtime 12.1.

Системная среда

  • Операционная система: Ubuntu 20.04.5 LTS
  • Java: Zulu 8.64.0.19-CA-linux64
  • Scala: 2.12.14.
  • Python: 3.9.5
  • R: 4.2.2
  • Delta Lake: 2.2.0

Установленные библиотеки Python

Библиотека Версия Библиотека Версия Библиотека Версия
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 asttokens 2.0.5
attrs 21.4.0 backcall 0.2.0 backports.entry-points-selectable 1.2.0
beautifulsoup4 4.11.1 black 22.3.0 bleach 4.1.0
boto3 1.21.32 botocore 1.24.32 certifi 2021.10.8
cffi 1.15.0 chardet 4.0.0 charset-normalizer 2.0.4
щелчок 8.0.4 Криптографии 3.4.8 cycler 0.11.0
Cython 0.29.28 dbus-python 1.2.16 debugpy 1.5.1
decorator 5.1.1 defusedxml 0.7.1 distlib 0.3.6
docstring-to-markdown 0,11 entrypoints 0,4 executing 0.8.3
facets-overview 1.0.0 fastjsonschema 2.16.2 filelock 3.8.2
шрифтовые инструменты 4.25.0 idna 3,3 ipykernel 6.15.3
ipython 8.5.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
jedi 0.18.1 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.1.0 jsonschema 4.4.0 jupyter-client 6.1.12
jupyter_core 4.11.2 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
kiwisolver 1.3.2 MarkupSafe 2.0.1 matplotlib 3.5.1
matplotlib-inline 0.1.2 Маккейб 0.7.0 mistune 0.8.4
mypy-extensions 0.4.3 nbclient 0.5.13 nbconvert 6.4.4
nbformat 5.3.0 nest-asyncio 1.5.5 nodeenv 1.7.0
записная книжка 6.4.8 numpy 1.21.5 во внешнем виде 21,3
pandas 1.4.2 pandocfilters 1.5.0 parso 0.8.3
pathspec 0.9.0 patsy 0.5.2 pexpect 4.8.0
pickleshare 0.7.5 Pillow 9.0.1 pip 21.2.4
platformdirs 2.6.0 график 5.6.0 pluggy 1.0.0
prometheus-client 0.13.1 prompt-toolkit 3.0.20 protobuf 3.19.4
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 7.0.0 pycparser 2.21
pyflakes 2.5.0 Pygments 2.11.2 PyGObject 3.36.0
pyodbc 4.0.32 pyparsing 3.0.4 pyright 1.1.283
pyrsistent 0.18.0 python-dateutil 2.8.2 python-lsp-jsonrpc 1.0.0
python-lsp-server 1.6.0 pytz 2021.3 pyzmq 22.3.0
requests 2.27.1 requests-unixsocket 0.2.0 Веревку 0.22.0
s3transfer 0.5.0 scikit-learn 1.0.2 scipy 1.7.3
Сиборн 0.11.2 Send2Trash 1.8.0 setuptools 61.2.0
six 1.16.0 soupsieve 2.3.1 ssh-import-id 5,10
stack-data 0.2.0 statsmodels 0.13.2 tenacity 8.0.1
terminado 0.13.1 testpath 0.5.0 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tomli 1.2.2 tornado 6.1
traitlets 5.1.1 typing_extensions 4.1.1 ujson 5.1.0
unattended-upgrades 0,1 urllib3 1.26.9 virtualenv 20.8.0
wcwidth 0.2.5 webencodings 0.5.1 whatthepatch 1.0.3
wheel 0.37.0 widgetsnbextension 3.6.1 yapf 0.31.0

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка Microsoft CRAN 2022-11-11.

Библиотека Версия Библиотека Версия Библиотека Версия
Стрелка 10.0.0 askpass 1,1 assertthat 0.2.1
внутренние порты 1.4.1 base 4.2.2 base64enc 0.1-3
bit 4.0.4 bit64 4.0.5 большой двоичный объект 1.2.3
загрузка 1.3-28 Заваривать 1,0–8 brio 1.1.3
Метлу 1.0.1 bslib 0.4.1 cachem 1.0.6
вызывающий объект 3.7.3 крышка 6.0-93 cellranger 1.1.0
chron 2.3-58 class 7.3-20 cli 3.4.1
clipr 0.8.0 clock 0.6.1 cluster 2.1.4
codetools 0.2-18 colorspace 2.0-3 commonmark 1.8.1
компилятор 4.2.2 config 0.3.1 cpp11 0.4.3
Карандаш 1.5.2 учетные данные 1.3.2 curl 4.3.3
data.table 1.14.4 наборы данных 4.2.2 DBI 1.1.3
dbplyr 2.2.1 desc 1.4.2 средства разработки 2.4.5
diffobj 0.3.5 digest 0.6.30 downlit 0.4.2
dplyr 1.0.10 dtplyr 1.2.2 e1071 1.7-12
многоточие 0.3.2 evaluate 0,18 вентиляторы 1.0.3
Farver 2.1.1 fastmap 1.1.0 fontawesome 0.4.0
forcats 0.5.2 foreach 1.5.2 Иностранных 0.8-82
forge 0.2.0 fs 1.5.2 будущее 1.29.0
future.apply 1.10.0 gargle 1.2.1 Универсальные шаблоны 0.1.3
gert 1.9.1 ggplot2 3.4.0 gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-4 globals 0.16.1
Клей 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
Говер 1.0.0 графика 4.2.2 grDevices 4.2.2
grid 4.2.2 gridExtra 2.3 gsubfn 0,7
gtable 0.3.1 hardhat 1.2.0 haven 2.5.1
высокий 0,9 Hms 1.1.2 htmltools 0.5.3
htmlwidgets 1.5.4 httpuv 1.6.6 httr 1.4.4
ids 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.6 Итераторы 1.0.14 jquerylib 0.1.4
jsonlite 1.8.3 KernSmooth 2.23-20 трикотажный 1,40
Маркировки 0.4.2 later 1.3.0 Решетки 0.20-45
Lava 1.7.0 жизненный цикл 1.0.3 listenv 0.8.0
lubridate 1.9.0 magrittr 2.0.3 Markdown 1,3
МАССАЧУСЕТС 7.3-58 «Матрица» 1.5-1 memoise 2.0.1
оплаты 4.2.2 mgcv 1.8-41 Mime 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.9
munsell 0.5.0 nlme 3.1-160 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.4 parallel 4.2.2
parallelly 1.32.1 Столб 1.8.1 pkgbuild 1.3.1
pkgconfig 2.0.3 pkgdown 2.0.6 pkgload 1.3.1
plogr 0.2.0 plyr 1.8.7 Похвалы 1.0.0
prettyunits 1.1.1 Proc 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 Ход выполнения 1.2.2
progressr 0.11.0 promises 1.2.0.1 proto 1.0.0
proxy 0.4-27 ps 1.7.2 purrr 0.3.5
r2d3 0.2.6 R6 2.5.1 ragg 1.2.4
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.9 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.1 Рецепты 1.0.3
Реванш 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown 2.18 RODBC 1.3-19 roxygen2 7.2.1
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.2.18 rstudioapi 0,14 rversions 2.1.2
rvest 1.0.3 sass 0.4.2 Весы 1.2.1
селектор 0.4-2 sessioninfo 1.2.2 Формы 1.4.6
Блестящие 1.7.3 sourcetools 0.1.7 sparklyr 1.7.8
SparkR 3.3.1 пространственный 7.3-11 Сплайны 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.2.2
статистика4 4.2.2 stringi 1.7.8 stringr 1.4.1
Выживания 3.4-0 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.5 textshaping 0.3.6
tibble 3.1.8 tidyr 1.2.1 tidyselect 1.2.0
tidyverse 1.3.2 timechange 0.1.1 TimeDate 4021.106
tinytex 0,42 средства 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.2
служебные программы 4.2.2 uuid 1.1-0 vctrs 0.5.0
viridisLite 0.4.1 vroom 1.6.0 waldo 0.4.0
виски 0,4 withr 2.5.0 xfun 0,34
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
Yaml 2.3.6 zip 2.2.2

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)

ИД группы Идентификатор артефакта Версия
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics потоковая передача 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1–0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.13.4
com.fasterxml.jackson.core jackson-core 2.13.4
com.fasterxml.jackson.core jackson-databind 2.13.4.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.13.4
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.4
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natives 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java-natives 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h{_>2<_} 2.0.204
com.helger профилировщик 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1,1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.6.2
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Коллектор 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.2
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.22
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4,8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow arrow-vector 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4.
org.apache.commons commons-compress 1,21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.4-databricks
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy ivy 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.18.0
org.apache.logging.log4j log4j-api 2.18.0
org.apache.logging.log4j log4j-core 2.18.0
org.apache.logging.log4j log4j-slf4j-impl 2.18.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.6
org.apache.orc orc-mapreduce 1.7.6
org.apache.orc orc-shims 1.7.6
org.apache.parquet parquet-column 1.12.3-databricks-0002
org.apache.parquet parquet-common 1.12.3-databricks-0002
org.apache.parquet parquet-encoding 1.12.3-databricks-0002
org.apache.parquet parquet-format-structures 1.12.3-databricks-0002
org.apache.parquet parquet-hadoop 1.12.3-databricks-0002
org.apache.parquet parquet-jackson 1.12.3-databricks-0002
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4,20
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-continuation 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap shims 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark Неиспользуемые 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1