Поделиться через

Databricks Runtime 13.1 (EoS)

  • Статья

Примечание.

Поддержка этой версии databricks Runtime закончилась. Сведения о дате окончания поддержки см . в журнале завершения поддержки. Все поддерживаемые версии среды выполнения Databricks см. в заметках о выпуске Databricks Runtime и совместимости.

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 13.1, на базе Apache Spark 3.4.0.

Databricks выпустила эту версию в мае 2023 года.

Новые функции и внесенные улучшения

Поддержка кластера для JDK 17 (общедоступная предварительная версия)

Databricks теперь поддерживает кластер для пакета средств разработки Java (JDK) 17. См . пакет SDK Databricks для Java.

Добавление, изменение или удаление данных в таблицах потоковой передачи

Теперь можно использовать инструкции DML для изменения таблиц потоковой передачи, опубликованных в каталоге Unity по конвейерам Delta Live Table. См. сведения о добавлении, изменении или удалении данных в потоковой таблице и добавлении, изменении или удалении данных в целевой потоковой таблице. Инструкции DML также можно использовать для изменения таблиц потоковой передачи, созданных в Databricks SQL.

Чтение Kafka с помощью SQL

Теперь можно использовать функцию read_kafka SQL для чтения данных Kafka. Потоковая передача с помощью SQL поддерживается только в разностных динамических таблицах или с таблицами потоковой передачи в Databricks SQL. См . read_kafka табличное значение функции.

Новые встроенные функции SQL

Добавлены следующие функции:

Поддержка каталога Unity для библиотек Python с областью действия кластера

Каталог Unity имеет некоторые ограничения на использование библиотеки. В Databricks Runtime 13.1 и более поздних версиях поддерживаются кластеризованные библиотеки Python, включая файлы колес Python, отправленные в виде файлов рабочей области. Библиотеки, на которые ссылаются с помощью файловых путей DBFS, не поддерживаются, будь то в корневом каталоге DBFS или внешнем расположении, подключенном к DBFS. Библиотеки, отличные от библиотек Python, не поддерживаются. Дополнительные сведения см. в статье Библиотеки кластера.

В Databricks Runtime 13.0 и ниже библиотеки с областью действия кластера не поддерживаются в кластерах, использующих режим общего доступа в рабочей области с поддержкой каталога Unity.

Расширенная включение по умолчанию для оптимизированных операций записи в каталоге Unity

Поддержка оптимизированной записи по умолчанию для таблиц Delta, зарегистрированных в каталоге Unity, расширена для включения CTAS инструкций и INSERT операций для секционированных таблиц. Это поведение соответствует значениям по умолчанию в хранилищах SQL. См . оптимизированные записи для Delta Lake в Azure Databricks.

Расширенная поддержка операторов с отслеживанием состояния в структурированных рабочих нагрузках потоковой передачи

Теперь можно объединить несколько операторов с отслеживанием состояния, что означает, что вы можете передать выходные данные операции, например агрегирование окна в другую операцию с отслеживанием состояния, например соединение. См. статью "Что такое потоковая передача с отслеживанием состояния?".

Разностное клонирование для каталога Unity находится в общедоступной предварительной версии

Теперь можно использовать неглубокий клон для создания управляемых таблиц каталога Unity из существующих управляемых таблиц каталога Unity. См . раздел "Мелкий клон" для таблиц каталога Unity.

Поддержка pub/sub для структурированной потоковой передачи

Теперь можно использовать встроенный соединитель для подписки на Google Pub или Sub с структурированной потоковой передачей. См . статью "Подписка на Google Pub/Sub".

Удаление дубликатов в подложках в структурированной потоковой передаче

Теперь можно использовать dropDuplicatesWithinWatermark в сочетании с заданным пороговым значением водяного знака для дедупликации записей в структурированной потоковой передаче. См. раздел "Удалить дубликаты" в подложку.

Расширенная поддержка преобразований Delta из таблиц Айсберга с усеченными столбцами секций

Теперь можно использовать CLONE и CONVERT TO DELTA с таблицами Айсберга, которые имеют секции, определенные для усеченных столбцов типов int, longи string. Усеченные столбцы типа decimal не поддерживаются.

Потоковая передача изменений схемы с сопоставлением столбцов в Delta Lake

Теперь можно предоставить расположение отслеживания схем для включения потоковой передачи из таблиц Delta с включенным сопоставлением столбцов. См. раздел Потоковая передача с сопоставлением столбцов и изменениями схемы.

Удаление НАЧАЛЬНОЙ ВЕРСИИ

START VERSION теперь не рекомендуется использовать для ALTER SHARE.

Новые выражения H3, доступные с помощью Python

h3_coverash3string Выражения h3_coverash3 доступны в Python.

Исправления ошибок

Parquet failOnUnknownFields больше не удаляет данные о несоответствии типов

Если файл Parquet был считывается только с параметром failOnUnknownFields или автоматическим загрузчиком в режиме failOnNewColumns эволюции схемы, столбцы с различными типами данных теперь завершаются ошибкой и рекомендуется использовать rescuedDataColumn. Автозагрузчик теперь правильно считывает и больше не спасает целочисленные, короткие или байтовые типы, если указан один из этих типов данных. Файл Parquet предлагает один из двух других типов.

Критические изменения

Обновление версии sqlite-jdbc до версии 3.42.0.0 до адреса CVE-2023-32697

Обновление версии sqlite-jdbc с версии 3.8.11.2 до 3.42.0.0. API версии 3.42.0.0.0 не полностью совместимы с 3.8.11.2. Если в коде используется sqlite-jdbc, ознакомьтесь с отчетом о совместимости sqlite-jdbc. При миграции на 13.1 и использовании sqlite подтвердите методы и тип возврата в версии 3.42.0.0.

Обновления библиотек

  • Обновленные библиотеки Python:
    • facets-overview от 1.0.2 до 1.0.3
    • блокировка файлов от 3.10.7 до 3.12.0
    • pyarrow от 7.0.0 до 8.0.0
    • тенность от 8.0.1 до 8.1.0
  • Обновленные библиотеки R:
  • Обновленные библиотеки Java:
    • com.github.ben-manes.кофеин.кофеин от 2.3.4 до 2.9.3
    • io.delta.delta-sharing-spark_2.12 от 0.6.8 до 0.6.4
    • net.snowflake.snowflake-jdbc от 3.13.29 до 3.13.22
    • org.checkerframework.checker-qual от 3.5.0 до 3.19.0
    • org.scalactic.scalactic_2.12 от 3.0.8 до 3.2.15
    • org.scalatest.scalatest_2.12 от 3.0.8 до 3.2.15
    • org.xerial.sqlite-jdbc от 3.8.11.2 до 3.42.0.0

Apache Spark

Databricks Runtime 13.1 включает Apache Spark 3.4.0. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 13.0 (EoS), а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

  • [SPARK-42719] [DBRRM-199][SC-131578] Вернуться "[SC-125225] 'MapOutputTracker#getMap...
  • [SPARK-39696] [DBRRM-166][SC-130056][CORE] Возврат [SC-127830]/
  • [SPARK-43331] [SC-130064][CONNECT] Добавление Spark Connect SparkSession.interruptAll
  • [SPARK-43332] [SC-130051][CONNECT][PYTHON] Расширение ChannelBuilder для SparkConnectClient
  • [SPARK-43323] [SC-129966][SQL][PYTHON] Исправление DataFrame.toPandas с поддержкой стрелки для правильной обработки исключений
  • [SPARK-42940] [SC-129896][SS][CONNECT] Улучшение управления сеансами для потоковых запросов
  • [SPARK-43032] [SC-125756] [CONNECT][SS] Добавление диспетчера запросов потоковой передачи
  • [SPARK-16484] [SC-129975][SQL] Добавление поддержки Datasketches HllSketch
  • [SPARK-43260] [SC-129281][PYTHON] Перенос ошибок типа стрелки sql Spark SQL Pandas в класс ошибок.
  • [SPARK-41766] [SC-129964][CORE] Обработка запроса вывода из эксплуатации, отправленного перед регистрацией исполнителя
  • [SPARK-43307] [SC-129971][PYTHON] Перенос ошибок значений PandasUDF в класс ошибок
  • [SPARK-43206] [SC-129903] [SS] [CONNECT] Исключение StreamingQuery() включает трассировку стека
  • [SPARK-43311] [SC-129905][SS] Добавление усовершенствований управления памятью поставщика хранилища состояний RocksDB
  • [SPARK-43237] [SC-129898][CORE] Обработка сообщения об исключении NULL в журнале событий
  • [SPARK-43320] [SC-129899][SQL][HIVE] Прямой вызов API Hive 2.3.9
  • [SPARK-43270] [SC-129897][PYTHON] Реализация __dir__() для pyspark.sql.dataframe.DataFrame включения столбцов
  • [SPARK-43183] Возврат "[SC-128938][SS] Введите новый обратный вызов "...
  • [SPARK-43143] [SC-129902] [SS] [CONNECT] Scala StreamingQuery awaitTermination()
  • [SPARK-43257] [SC-129675][SQL] Замените класс ошибок _LEGACY_ERROR_TEMP_2022 внутренней ошибкой
  • [SPARK-43198] [SC-129470][CONNECT] Исправление "Не удалось инициализировать аммонит класса..." ошибка при использовании фильтра
  • [SPARK-43165] [SC-129777][SQL] Перемещение canWrite в DataTypeUtils
  • [SPARK-43298] [SC-129729][PYTHON][ML] predict_batch_udf с скалярными входными данными завершается сбоем с размером пакета одного
  • [SPARK-43298] [SC-129700]Возврат "[PYTHON][ML] predict_batch_udf с скалярными входными данными завершается ошибкой с размером пакета одного"
  • [SPARK-43052] [SC-129663][CORE] Обработка стекаtrace с пустым именем файла в журнале событий
  • [SPARK-43183] [SC-128938][SS] Введение нового обратного вызова onQueryIdle в StreamingQueryListener
  • [SPARK-43209] [SC-129190][CONNECT][PYTHON] Перенос ошибок выражения в класс ошибок
  • [SPARK-42151] [SC-128754][SQL] Выравнивание назначений UPDATE с атрибутами таблицы
  • [SPARK-43134] [SC-129468] [CONNECT] [SS] API-интерфейс api потоковой передачи потоковой передачи () клиента JVM
  • [SPARK-43298] [SC-129699][PYTHON][ML] predict_batch_udf с скалярными входными данными завершается сбоем с размером пакета одного
  • [SPARK-43248] [SC-129660][SQL] Ненужная сериализация и десериализация Path при параллельном сборе статистики секций
  • [SPARK-43274] [SC-129464][SPARK-43275][PYTHON][CONNECT] Представлять PySparkNotImplementedError
  • [SPARK-43146] [SC-128804][CONNECT][PYTHON] Реализуйте страстную оценку для повторного получения и repr_html
  • [SPARK-42953] [SC-129469][Подключение][Отслеживание] Исправление тестовой сборки maven для тестов UDF клиента Scala
  • [SPARK-43144] [SC-129280] Scala Client DataStreamReader table() API
  • [SPARK-43136] [SC-129358][CONNECT] Добавление функций groupByKey + mapGroup + coGroup
  • [SPARK-43156] [SC-129672][SC-128532][SQL] Исправлена COUNT(*) is null ошибка в сопоставленном скалярном подзапросе
  • [SPARK-43046] [SC-129110] [SS] [Подключение] Реализовано удаление API PythonWithinWatermark для Spark Connect
  • [SPARK-43199] [SC-129467][SQL] Сделать InlineCTE idempotent
  • [SPARK-43293] [SC-129657][SQL] __qualified_access_only следует игнорировать в обычных столбцах
  • [SPARK-43276] [SC-129461][CONNECT][PYTHON] Перенос ошибок окна Spark Connect в класс ошибок
  • [SPARK-43174] [SC-129109][SQL] Исправлено завершение SparkSQLCLIDriver
  • [SPARK-43084] [SC-128654] [SS] Добавление поддержки applyInPandasWithState для spark connect
  • [SPARK-43119] [SC-129040][SQL] Поддержка динамического регулирования API JDBC и TVF для получения ключевых слов SQL
  • [SPARK-43082] [SC-129112][CONNECT][PYTHON] Пользовательские функции Python, оптимизированные для стрелок, в Spark Connect
  • [SPARK-43085] [SC-128432][SQL] Поддержка назначения столбца DEFAULT для имен таблиц с несколькими частьми
  • [SPARK-43226] [LC-671] Определение средств извлечения для метаданных констант файловой константы
  • [SPARK-43210] [SC-129189][CONNECT][PYTHON] Представлять PySparkAssertionError
  • [SPARK-43214] [SC-129199][SQL] Метрики на стороне драйвера для LocalTableScanExec/CommandResultExec
  • [SPARK-43285] [SC-129347] Исправление последовательного сбоя ReplE2ESuite с помощью JDK 17
  • [SPARK-43268] [SC-129249][SQL] Используйте правильные классы ошибок при создании исключений с сообщением
  • [SPARK-43142] [SC-129299] Исправление выражений DSL для атрибутов со специальными символами
  • [SPARK-43129] [SC-128896] Api Scala core для потоковой передачи Spark Connect
  • [SPARK-43233] [SC-129250] [SS] Добавление ведения журнала для чтения пакетной службы Kafka для раздела, диапазона смещения и идентификатора задачи
  • [SPARK-43249] [SC-129195][CONNECT] Исправление отсутствующих статистик для команды SQL
  • [SPARK-42945] [SC-129188][CONNECT] Поддержка PYSPARK_JVM_STACKTRACE_ENABLED в Spark Connect
  • [SPARK-43178] [SC-129197][CONNECT][PYTHON] Перенос ошибок UDF в платформу ошибок PySpark
  • [SPARK-43123] [SC-128494][SQL] Метаданные внутренних полей не должны быть утечки в каталоги
  • [SPARK-43217] [SC-129205] Правильное рекурсирование в вложенных картах или массивах в findNestedField
  • [SPARK-43243] [SC-129294][PYTHON][CONNECT] Добавление параметра уровня в printSchema для Python
  • [SPARK-43230] [SC-129191][CONNECT] Упрощать DataFrameNaFunctions.fillna
  • [SPARK-430888] [SC-128403][SQL] Уважение требуетdistributionAndOrdering в CTAS/RTAS
  • [SPARK-43234] [SC-129192][CONNECT][PYTHON] Миграция ValueError из Conect DataFrame в класс ошибок
  • [SPARK-43212] [SC-129187][SS][PYTHON] Перенос ошибок структурированной потоковой передачи в класс ошибок
  • [SPARK-43239] [SC-129186][PS] Удаление null_counts из info()
  • [SPARK-43190] [SC-128930][SQL] ListQuery.childOutput должен быть согласован с дочерними выходными данными
  • [SPARK-43191] [SC-128924][CORE] Замена отражения w/direct call for Hadoop CallerContext
  • [SPARK-43193] [SC-129042][SS] Удаление обходного решения для HADOOP-12074
  • [SPARK-42657] [SC-128621][CONNECT] Поддержка поиска и передачи файлов классов REPL на стороне клиента на сервер как артефакты
  • [SPARK-43098] [SC-77059][SQL] Исправлена ошибка COUNT правильности, если скалярный вложенный запрос содержит группу по предложению
  • [SPARK-43213] [SC-129062][PYTHON] Добавление DataFrame.offset в ванилью PySpark
  • [SPARK-42982] [SC-128400][CONNECT][PYTHON] Исправление createDataFrame для соблюдения заданной схемы ddl
  • [SPARK-43124] [SC-129011][SQL] Dataset.show projects CommandResults локально
  • [SPARK-42998] [SC-127422][CONNECT][PYTHON] Исправление DataFrame.collect с помощью структуры NULL
  • [SPARK-41498] [SC-125343]Возврат "Распространение метаданных через объединение"
  • [SPARK-42960] [SC-129010] [CONNECT] [SS] Добавление API await_termination() и exception() для потокового запроса в Python
  • [SPARK-42552] [SC-128824][SQL] Исправьте двухэтапную стратегию синтаксического анализа antlr
  • [SPARK-43207] [SC-128937][CONNECT] Добавление вспомогательных функций для извлечения значения из литерального выражения
  • [SPARK-43186] [SC-128841][SQL][HIVE] Удаление обходного решения для FileSinkDesc
  • [SPARK-43107] [SC-128533][SQL] Объединение контейнеров в соединении, примененных к стороне потока вещания
  • [SPARK-43195] [SC-128922][CORE] Удаление ненужной сериализуемой оболочки в HadoopFSUtils
  • [SPARK-43137] [SC-128828][SQL] Улучшайте ArrayInsert, если позиция является свертываемой и положительной.
  • [SPARK-37829] [SC-128827][SQL] Dataframe.joinWith внешнего соединения должен возвращать значение NULL для несовпаемой строки.
  • [SPARK-43042] [SC-128602] [SS] [Подключение] Добавление поддержки API table() для DataStreamReader
  • [SPARK-43153] [SC-128753][CONNECT] Пропустить выполнение Spark, если кадр данных является локальным
  • [SPARK-43064] [SC-128496][SQL] Вкладка SQL CLI Spark должна отображаться только один раз в инструкции
  • [SPARK-43126] [SC-128447][SQL] Помечайте два выражения UDF Hive как состояние
  • [SPARK-43111] [SC-128750][PS][CONNECT][PYTHON] Объединение вложенных if инструкций в одинарные if операторы
  • [SPARK-43113] [SC-128749][SQL] Вычисление переменных на стороне потока при создании кода для привязанного условия
  • [SPARK-42895] [SC-127258][CONNECT] Улучшение сообщений об ошибках для остановленных сеансов Spark
  • [SPARK-42884] [SC-126662][CONNECT] Добавление интеграции Ammonite REPL
  • [SPARK-43168] [SC-128674][SQL] Удаление метода Get PhysicalDataType из класса Datatype
  • [SPARK-43121] [SC-128455][SQL] Используйте BytesWritable.copyBytes вместо ручного копирования в HiveInspectors
  • [SPARK-42916] [SC-128389][SQL] JDBCTableCatalog сохраняет мета Char/Varchar на стороне чтения
  • [SPARK-43050] [SC-128550][SQL] Исправление агрегатных выражений путем замены функций группирования
  • [SPARK-43095] [SC-128549][SQL] Избегайте идемпотенции стратегии после того, как она будет нарушена для пакетной службы: Infer Filters
  • [SPARK-43130] [SC-128597][SQL] Перемещение InternalType в PhysicalDataType
  • [SPARK-43105] [SC-128456][CONNECT] Сокращение байтов и строк в сообщении proto
  • [SPARK-43099] [SC-128596][SQL] Используйте getName вместо getCanonicalName получения имени класса построителя при регистрации udf в FunctionRegistry
  • [SPARK-42994] [SC-128586][ML][CONNECT] Распространитель PyTorch поддерживает локальный режим
  • [SPARK-42859] Возврат "[SC-127935][CONNECT][PS] Базовая поддержка API pandas в Spark Connect"
  • [SPARK-43021] [SC-128472][SQL] CoalesceBucketsInJoin не работает при использовании AQE
  • [SPARK-43125] [SC-128477][CONNECT] Исправление проблемы с сервером Connect Server не может обрабатывать исключение с сообщением NULL
  • [SPARK-43147] [SC-128594] исправление flake8 lint для локальной проверки
  • [SPARK-43031] [SC-128360] [SS] [Подключение] Включение модульного теста и doctest для потоковой передачи
  • [SPARK-43039] [LC-67] Поддержка настраиваемых полей в столбце источника файла _metadata.
  • [SPARK-43120] [SC-128407][SS] Добавление поддержки отслеживания закрепленных блоков использования памяти для хранилища состояний RocksDB
  • [SPARK-43110] [SC-128381][SQL] Перемещение asIntegral в PhysicalDataType
  • [SPARK-43118] [SC-128398][SS] Удаление ненужных утверждений для UninterruptibleThread в KafkaMicroBatchStream
  • [SPARK-43055] [SC-128331][CONNECT][PYTHON] Поддержка повторяющихся вложенных имен полей
  • [SPARK-42437] [SC-128339][PYTHON][CONNECT] PySpark catalog.cacheTable позволит указать уровень хранения
  • [SPARK-42985] [SC-128332][CONNECT][PYTHON] Исправление createDataFrame для соблюдения конфигураций SQL
  • [SPARK-39696] [SC-127830][CORE] Устранение гонки данных в доступе к TaskMetrics.externalAccums
  • [SPARK-43103] [SC-128335][SQL] Перемещение целочисленного объекта в PhysicalDataType
  • [SPARK-42741] [SC-125547][SQL] Не распаковывать приведение в двоичном сравнении, если литерал имеет значение NULL
  • [SPARK-43057] [SC-127948][CONNECT][PYTHON] Перенос ошибок столбца Spark Connect в класс ошибок
  • [SPARK-42859] [SC-127935][CONNECT][PS] Базовая поддержка API pandas в Spark Connect
  • [SPARK-43013] [SC-127773][PYTHON] Миграция ValueError из кадра данных в PySparkValueError.
  • [SPARK-43089] [SC-128051][CONNECT] Строка отладки Redact в пользовательском интерфейсе
  • [SPARK-43028] [SC-128070][SQL] Добавление класса ошибок SQL_CONF_NOT_FOUND
  • [SPARK-42999] [SC-127842][Подключение] Dataset#foreach, foreachPartition
  • [SPARK-43066] [SC-127937][SQL] Добавление теста для dropDuplicates в JavaDatasetSuite
  • [SPARK-43075] [SC-127939][CONNECT] Измените значение gRPC , когда grpcio оно не установлено.
  • [SPARK-42953] [SC-127809][Подключение] Типизированный фильтр, карта, плоская карта, mapPartitions
  • [SPARK-42597] [SC-125506][SQL] Поддержка типа даты распаковки в тип метки времени
  • [SPARK-42931] [SC-127933][SS] Введение dropDuplicatesWithinWatermark
  • [SPARK-43073] [SC-127943][CONNECT] Добавление констант типов данных proto
  • [SPARK-43077] [SC-128050][SQL] Улучшение сообщения об ошибке UNRECOGNIZED_SQL_TYPE
  • [SPARK-42951] [SC-128030][SS][Подключение] API DataStreamReader
  • [SPARK-43049] [SC-127846][SQL] Используйте CLOB вместо VARCHAR(255) для StringType для Oracle JDBC
  • [SPARK-43018] [SC-127762][SQL] Исправлена ошибка для команд INSERT с литералом метки времени
  • [SPARK-42855] [SC-127722][SQL] Использование проверок null среды выполнения в TableOutputResolver
  • [SPARK-43030] [SC-127847][SQL] Дедупликация отношений со столбцами метаданных
  • [SPARK-42993] [SC-127829][ML][CONNECT] Совместимость распространителя PyTorch с Spark Connect
  • [SPARK-43058] [SC-128072][SQL] Перемещение числовых и дробных в PhysicalDataType
  • [SPARK-43056] [SC-127946][SS] Фиксация хранилища состояний RocksDB должна продолжать фоновую работу, только если она приостановлена
  • [SPARK-43059] [SC-127947][CONNECT][PYTHON] Миграция TypeError из DataFrame(Reader|Запись) в класс ошибок
  • [SPARK-43071] [SC-128018][SQL] Поддержка SELECT DEFAULT с ORDER BY, LIMIT, OFFSET for INSERT source relation
  • [SPARK-43061] [SC-127956][CORE][SQL] Введение PartitionEvaluator для выполнения оператора SQL
  • [SPARK-43067] [SC-127938][SS] Исправьте расположение файла ресурсов класса ошибок в соединителе Kafka
  • [SPARK-43019] [SC-127844][SQL] Перемещение порядка в PhysicalDataType
  • [SPARK-43010] [SC-127759][PYTHON] Перенос ошибок столбца в класс ошибок
  • [SPARK-42840] [SC-127782][SQL] Изменение _LEGACY_ERROR_TEMP_2004 ошибки на внутреннюю ошибку
  • [SPARK-43041] [SC-127765][SQL] Восстановление конструкторов исключений для совместимости в API соединителя
  • [SPARK-42939] [SC-127761][SS][CONNECT] Основной API потоковой передачи Python для Spark Connect
  • [SPARK-42844] [SC-127766][SQL] Обновите класс _LEGACY_ERROR_TEMP_2008 ошибок до INVALID_URL
  • [SPARK-42316] [SC-127720][SQL] Назначение имени _LEGACY_ERROR_TEMP_2044
  • [SPARK-42995] [SC-127723][CONNECT][PYTHON] Перенос ошибок DataFrame Spark Connect в класс ошибок
  • [SPARK-42983] [SC-127717][CONNECT][PYTHON] Исправлено правильное исправление createDataFrame для обработки массива числовых значений 0-dim
  • [SPARK-42955] [SC-127476][SQL] Пропустить classifyException и упаковать AnalysisException для SparkThrowable
  • [SPARK-42949] [SC-127255][SQL] Упрощение кода для NAAJ
  • [SPARK-43011] [SC-127577][SQL] array_insert сбой с индексом 0
  • [SPARK-42974] [SC-127487][CORE] Восстановление Utils.createTempDir для использования метода и очистки JavaUtils.createTempDir ShutdownHookManager.
  • [SPARK-42964] [SC-127585][SQL] PosgresDialect '42P07' также означает, что таблица уже существует
  • [SPARK-42978] [SC-127351][SQL] Derby&PG: RENAME не может квалифицировать новое имя таблицы с именем схемы
  • [SPARK-37980] [SC-127668][SQL] Доступ к row_index через _metadata, если это возможно в тестах
  • [SPARK-42655] [SC-127591][SQL] Неправильное неоднозначное сообщение об ошибке ссылки на столбец
  • [SPARK-43009] [SC-127596][SQL] Параметризованный sql() с Any константами
  • [SPARK-43026] [SC-127590][SQL] Применение AQE с кэшем таблиц, отличных от exchange
  • [SPARK-42963] [SC-127576][SQL] Расширение SparkSessionExtensions для внедрения правил в оптимизатор этапов запросов AQE
  • [SPARK-42918] [SC-127357] Обобщение обработки атрибутов метаданных в FileSourceStrategy
  • [SPARK-42806] [SC-127452][SPARK-42811][CONNECT] Добавление Catalog поддержки
  • [SPARK-42997] [SC-127535][SQL] TableOutputResolver должен использовать правильные пути к столбцам в сообщениях об ошибках для массивов и карт
  • [SPARK-43006] [SC-127486][PYSPARK] Исправление опечатки в StorageLevel eq()
  • [SPARK-43005] [SC-127485][PYSPARK] Исправление опечатки в pyspark/pandas/config.py
  • [SPARK-43004] [SC-127457][CORE] Исправление опечатки в ResourceRequest.equals()
  • [SPARK-42907] [SC-126984][CONNECT][PYTHON] Реализация функций Avro
  • [SPARK-42979] [SC-127272][SQL] Определение конструкторов литерала в качестве ключевых слов
  • [SPARK-42946] [SC-127252][SQL] Изменение конфиденциальных данных, вложенных подстановкой переменных
  • [SPARK-42952] [SC-127260][SQL] Упрощение параметра правила preprocessTableCreation и DataSourceAnalysis
  • [SPARK-42683] [LC-75] Автоматическое переименование конфликтующих столбцов метаданных
  • [SPARK-42853] [SC-126101][Отслеживание] Устранение конфликтов
  • [SPARK-42929] [SC-126748][CONNECT] сделайте mapInPandas / mapInArrow поддержкой "is_barrier"
  • [SPARK-42968] [SC-127271][SS] Добавление параметра пропуска координатора фиксации в рамках API StreamingWrite для источников и приемников DSv2
  • [SPARK-42954] [SC-127261][PYTHON][CONNECT] Добавление YearMonthIntervalType в клиент Python PySpark и Spark Connect
  • [SPARK-41359] [SC-127256][SQL] Используйте PhysicalDataType вместо DataType в UnsafeRow
  • [SPARK-42873] [SC-127262][SQL] Определение типов SQL Spark в качестве ключевых слов
  • [SPARK-42808] [SC-126302][CORE] Избегайте получения доступных обработчиков каждый раз в MapOutputTrackerMaster#getStatistics
  • [SPARK-42937] [SC-126880][SQL] PlanSubqueries InSubqueryExec#shouldBroadcast значение true
  • [SPARK-42896] [SC-126729][SQL][PYTHON] Выполнение mapInPandas / mapInArrow режима барьера поддержки
  • [SPARK-42874] [SC-126442][SQL] Включение новой платформы тестирования золотого файла для анализа для всех входных файлов
  • [SPARK-42922] [SC-126850][SQL] Переход из случайного в SecureRandom
  • [SPARK-42753] [SC-126369] ReusedExchange ссылается на несуществующие узлы
  • [SPARK-40822] [SC-126274][SQL] Стабильные псевдонимы производных столбцов
  • [SPARK-42908] [SC-126856][PYTHON] Вызов RuntimeError, если требуется SparkContext, но не инициализирован
  • [SPARK-42779] [SC-126042][SQL] Разрешить записи версии 2 указывать размер секции с перетасовками рекомендаций
  • [SPARK-42914] [SC-126727][PYTHON] Повторное использование transformUnregisteredFunction для DistributedSequenceID.
  • [SPARK-42878] [SC-126882][CONNECT] API таблицы в DataFrameReader также может принимать параметры
  • [SPARK-42927] [SC-126883][CORE] Изменение области o.a.spark.util.Iterators#size доступа на private[util]
  • [SPARK-42943] [SC-126879][SQL] Использование LONGTEXT вместо TEXT для StringType для эффективной длины
  • [SPARK-37677] [SC-126855][CORE] Распакуйте разрешения на файл
  • [SPARK-42891] [13.x][SC-126458][CONNECT][PYTHON] Реализация API сопоставления CoGrouped
  • [SPARK-41876] [SC-126849][CONNECT][PYTHON] Реализация DataFrame.toLocalIterator
  • [SPARK-42930] [SC-126761][CORE][SQL] Изменение области доступа связанных реализаций ProtobufSerDe на private[protobuf]
  • [SPARK-42819] [SC-125879][SS] Добавление поддержки настройки max_write_buffer_number и write_buffer_size для RocksDB, используемых в потоковой передаче
  • [SPARK-42924] [SC-126737][SQL][CONNECT][PYTHON] Уточнение комментария параметризованных args SQL
  • [SPARK-42748] [SC-126455][CONNECT] Управление артефактами на стороне сервера
  • [SPARK-42816] [SC-126365][CONNECT] Поддержка максимального размера сообщения до 128 МБ
  • [SPARK-42850] [SC-126109][SQL] Удаление повторяющихся правил CombineFilters в оптимизаторе
  • [SPARK-42662] [SC-126355][CONNECT][PS] Добавление сообщения proto для API pandas в индексе Spark по умолчанию
  • [SPARK-42720] [SC-126136][PS][SQL] Использует выражение для индекса по умолчанию распределенной последовательности вместо плана
  • [SPARK-42790] [SC-126174][SQL] Абстрагируйте исключенный метод для более эффективного тестирования для тестов docker JDBC.
  • [SPARK-42900] [SC-126473][CONNECT][PYTHON] Исправление createDataFrame для уважения имен выводов и столбцов
  • [SPARK-42917] [SC-126657][SQL] Исправление getUpdateColumnNullabilityQuery для DerbyDialect
  • [SPARK-42684] [SC-125157][SQL] каталог версии 2 по умолчанию не должен разрешать значение столбца по умолчанию
  • [SPARK-42861] [SC-126635][SQL] Используйте private[sql] вместо защищенного[sql], чтобы избежать создания документации ПО API
  • [SPARK-42920] [SC-126728][CONNECT][PYTHON] Включение тестов для UDF с помощью определяемого пользователем интерфейса
  • [SPARK-42791] [SC-126617][SQL] Создание платформы тестирования золотого файла для анализа
  • [SPARK-42911] [SC-126652][PYTHON] Введение дополнительных основных исключений
  • [SPARK-42904] [SC-126634][SQL] Поддержка Char/Varchar для каталога JDBC
  • [SPARK-42901] [SC-126459][CONNECT][PYTHON] Перемещение StorageLevel в отдельный файл, чтобы избежать потенциальных возможностей file recursively imports
  • [SPARK-42894] [SC-126451][CONNECT] Поддержка cacheunpersiststorageLevel/persist//клиента jvm для Spark connect
  • [SPARK-42792] [SC-125852][SS] Добавление поддержки WRITE_FLUSH_BYTES для RocksDB, используемых в операторах потоковой передачи с отслеживанием состояния
  • [SPARK-41233] [SC-126441][CONNECT][PYTHON] Добавление array_prepend в клиент Python Spark Connect
  • [SPARK-42681] [SC-125149][SQL] Ограничение упорядочения для ALTER TABLE ADD|Дескриптор столбца REPLACE
  • [SPARK-42889] [SC-126367][CONNECT][PYTHON] Реализация кэша, сохранения, неперсиста и storageLevel
  • [SPARK-42824] [SC-125985][CONNECT][PYTHON] Предоставление четкого сообщения об ошибке для неподдерживаемых атрибутов JVM
  • [SPARK-42340] [SC-126131][CONNECT][PYTHON] Реализация API сгруппированных карт
  • [SPARK-42892] [SC-126454][SQL] Перемещение того же типа и соответствующих методов из DataType
  • [SPARK-42827] [SC-126126][CONNECT] Поддержка functions#array_prepend клиента Scala connect
  • [SPARK-42823] [SC-125987][SQL] spark-sql оболочка поддерживает многопартийные пространства имен для инициализации
  • [SPARK-42817] [SC-125960][CORE] Ведение журнала имени службы перемешивания один раз в ApplicationMaster
  • [SPARK-42786] [SC-126438][Подключение] Типизированный выбор
  • [SPARK-42800] [SC-125868][CONNECT][PYTHON][ML] Реализация функции ml {array_to_vector, vector_to_array}
  • [SPARK-42052] [SC-126439][SQL] Поддержка Codegen для HiveSimpleUDF
  • [SPARK-41233] [SC-126110][SQL][PYTHON] Добавление array_prepend функции
  • [SPARK-42864] [SC-126268][ML][3.4] Сделать IsotonicRegression.PointsAccumulator закрытым
  • [SPARK-42876] [SC-126281][SQL] PhysicalDataType dataType должен быть частным[sql]
  • [SPARK-42101] [SC-125437][SQL] Создание поддержки AQE InMemoryTableScanExec
  • [SPARK-41290] [SC-124030][SQL] Поддержка выражений CREATEED ALWAYS AS для столбцов в инструкциях создания и замены таблиц
  • [SPARK-42870] [SC-126220][CONNECT] Перейти toCatalystValue к connect-common
  • [SPARK-42247] [SC-126107][CONNECT][PYTHON] Исправление UserDefinedFunction, чтобы иметь returnType
  • [SPARK-42875] [SC-126258][CONNECT][PYTHON] Исправление toPandas для правильной обработки часового пояса и типов карт
  • [SPARK-42757] [SC-125626][CONNECT] Реализация textFile для DataFrameReader
  • [SPARK-42803] [SC-126081][CORE][SQL][ML] Используйте функцию getParameterCount вместо getParameterTypes.length
  • [SPARK-42833] [SC-126043][SQL] Рефакторинг applyExtensions в SparkSession
  • [SPARK-41765] Возврат "[SC-123550][SQL] Вытащить метрики записи версии 1...
  • [SPARK-42848] [SC-126105][CONNECT][PYTHON] Реализация DataFrame.registerTempTable
  • [SPARK-42020] [SC-126103][CONNECT][PYTHON] Поддержка UserDefinedType в Spark Connect
  • [SPARK-42818] [SC-125861][CONNECT][PYTHON] Реализация DataFrameReader/Writer.jdbc
  • [SPARK-42812] [SC-125867][CONNECT] Добавление client_type в сообщение AddArtifactsRequest protobuf
  • [SPARK-42772] [SC-125860][SQL] Измените значение по умолчанию параметров JDBC, чтобы отправить вниз на true
  • [SPARK-42771] [SC-125855][SQL] Рефакторинг HiveGenericUDF
  • [SPARK-25050] [SC-123839][SQL] Avro: написание сложных союзов
  • [SPARK-42765] [SC-125850][CONNECT][PYTHON] Включение импорта pandas_udf из pyspark.sql.connect.functions
  • [SPARK-42719] [SC-125225][CORE] MapOutputTracker#getMapLocation должно уважаться spark.shuffle.reduceLocality.enabled
  • [SPARK-42480] [SC-125173][SQL] Повышение производительности разделов удаления
  • [SPARK-42689] [SC-125195][CORE][SHUFFLE] Разрешить ShuffleDriverComponent объявить, если данные перетасовки надежно хранятся
  • [SPARK-42726] [SC-125279][CONNECT][PYTHON] Орудие DataFrame.mapInArrow
  • [SPARK-41765] [SC-123550][SQL] Извлечение метрик записи версии 1 в WriteFiles
  • [SPARK-41171] [SC-124191][SQL] Вывод и отправка ограничения окна через окно, если partitionSpec пуст
  • [SPARK-42686] [SC-125292][CORE] Отложить форматирование сообщений отладки в TaskMemoryManager
  • [SPARK-42756] [SC-125443][CONNECT][PYTHON] Вспомогательные функции для преобразования прото-литерала в значение в клиенте Python
  • [SPARK-42793] [SC-125627][CONNECT] connect Требуется модуль build_profile_flags
  • [SPARK-42701] [SC-125192][SQL] try_aes_decrypt() Добавление функции
  • [SPARK-42679] [SC-125438][CONNECT][PYTHON] createDataFrame не работает с ненулевой схемой
  • [SPARK-42733] [SC-125542][CONNECT][Отслеживание] Запись без пути или таблицы
  • [SPARK-42777] [SC-125525][SQL] Поддержка преобразования статистики каталога TimestampNTZ в план статистики
  • [SPARK-42770] [SC-125558][CONNECT] Добавление truncatedTo(ChronoUnit.MICROS) , чтобы сделать SQLImplicitsTestSuite в Java 17 ежедневные тестовые задачи ОБЩЕДОСТУПНОй версии
  • [SPARK-42752] [SC-125550][PYSPARK][SQL] Создание исключений PySpark для печати во время инициализации
  • [SPARK-42732] [SC-125544][PYSPARK][CONNECT] Поддержка метода getActiveSession сеанса Spark connect
  • [SPARK-42755] [SC-125442][CONNECT] Преобразование литеральных значений коэффициента в connect-common
  • [SPARK-42747] [SC-125399][ML] Исправлено неверное внутреннее состояние LoR и AFT
  • [SPARK-42740] [SC-125439][SQL] Исправлена ошибка, из-за которой смещение или разбиение на страницах недопустимо для некоторых встроенных диалектов.
  • [SPARK-42745] [SC-125332][SQL] Улучшенная функция AliasAwareOutputExpression работает с DSv2
  • [SPARK-42743] [SC-125330][SQL] Поддержка анализа столбцов TimestampNTZ
  • [SPARK-42721] [SC-125371][CONNECT] Перехватчик журналов RPC
  • [SPARK-42691] [SC-125397][CONNECT][PYTHON] Реализация dataset.semanticHash
  • [SPARK-42688] [SC-124922][CONNECT] Переименование client_id запроса на подключение к session_id
  • [SPARK-42310] [SC-122792][SQL] Назначение имени _LEGACY_ERROR_TEMP_1289
  • [SPARK-42685] [SC-125339][CORE] Оптимизация подпрограмм Utils.bytesToString
  • [SPARK-42725] [SC-125296][CONNECT][PYTHON] Создание параметров массива поддержки LiteralExpression
  • [SPARK-42702] [SC-125293][SPARK-42623][SQL] Поддержка параметризованного запроса в вложенных запросах и CTE
  • [SPARK-42697] [SC-125189][WEBUI] Исправление /api/v1/applications для возврата общего времени ожидания вместо 0 для поля длительности
  • [SPARK-42733] [SC-125278][CONNECT][PYTHON] Исправление dataFrameWriter.save для работы без параметра пути
  • [SPARK-42376] [SC-124928][SS] Введение распространения водяного знака между операторами
  • [SPARK-42710] [SC-125205][CONNECT][PYTHON] Переименование proto FrameMap в MapPartitions
  • [SPARK-37099] [SC-123542][SQL] Введение ограничения группы для фильтра на основе ранга для оптимизации вычислений top-k
  • [SPARK-42630] [SC-125207][CONNECT][PYTHON] Введение unparsedDataType и задержка синтаксического анализа строки DDL до тех пор, пока SparkConnectClient не будет доступен
  • [SPARK-42690] [SC-125193][CONNECT] Реализация функций синтаксического анализа CSV/JSON для клиента Scala
  • [SPARK-42709] [SC-125172][PYTHON] Удаление предположения о доступности __file__
  • [SPARK-42318] [SC-122648][SPARK-42319][SQL] Назначение имени LEGACY_ERROR_TEMP(2123|2125)
  • [SPARK-42723] [SC-125183][SQL] Поддержка json типа данных синтаксического анализа json "timestamp_ltz" в качестве TimestampType
  • [SPARK-42722] [SC-125175][CONNECT][PYTHON] Схема Python Connect def() не должна кэшировать схему
  • [SPARK-42643] [SC-125152][CONNECT][PYTHON] Регистрация пользовательских функций Java (агрегирования)
  • [SPARK-42656] [SC-125177][CONNECT][Отслеживание] Исправление скрипта spark-connect
  • [SPARK-41516] [SC-123899] [SQL] Разрешить jdbc диалектам переопределить запрос, используемый для создания таблицы
  • [SPARK-41725] [SC-124396][CONNECT] Охотное выполнение DF.sql()
  • [SPARK-42687] [SC-124896][SS] Лучшее сообщение об ошибке для операции неподдерживаемой pivot передачи
  • [SPARK-42676] [SC-124809][SS] Запись временных контрольных точек для потоковых запросов в локальную файловую систему, даже если по умолчанию FS задано по-другому.
  • [SPARK-42303] [SC-122644][SQL] Назначение имени _LEGACY_ERROR_TEMP_1326
  • [SPARK-42553] [SC-124560][SQL] Убедитесь, что по крайней мере один единица времени после интервала
  • [SPARK-42649] [SC-124576][CORE] Удаление стандартного заголовка Apache License из верхней части сторонних исходных файлов
  • [SPARK-42611] [SC-124395][SQL] Вставка проверок длины char/varchar для внутренних полей во время разрешения
  • [SPARK-42419] [SC-124019][CONNECT][PYTHON] Миграция в платформу ошибок для API столбцов Spark Connect.
  • [SPARK-42637] [SC-124522][CONNECT] Добавление SparkSession.stop()
  • [SPARK-42647] [SC-124647][PYTHON] Изменение псевдонима для устаревших и удаленных типов numpy
  • [SPARK-42616] [SC-124389][SQL] SparkSQLCLIDriver должен закрыть только запущенный сеанс hiveState
  • [SPARK-42593] [SC-124405][PS] Нерекомендуйте и удалите ИНТЕРФЕЙСы API, которые будут удалены в pandas 2.0.
  • [SPARK-41870] [SC-124402][CONNECT][PYTHON] Исправление createDataFrame для обработки повторяющихся имен столбцов
  • [SPARK-42569] [SC-124379][CONNECT] Создание исключений для неподдерживаемого API сеанса
  • [SPARK-42631] [SC-124526][CONNECT] Поддержка пользовательских расширений в клиенте Scala
  • [SPARK-41868] [SC-124387][CONNECT][PYTHON] Исправление параметра createDataFrame для поддержки длительности
  • [SPARK-42572] [SC-124171][SQL][SS] Исправление поведения для StateStoreProvider.validateStateRowFormat

Обновления в рамках обслуживания

Ознакомьтесь с обновлениями обслуживания Databricks Runtime 13.1.

Системная среда

  • Операционная система: Ubuntu 22.04.2 LTS
  • Java: Zulu 8.70.0.23-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.2.2
  • Delta Lake: 2.4.0

Установленные библиотеки Python

Библиотека Версия Библиотека Версия Библиотека Версия
appdirs 1.4.4 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.2.1 attrs 21.4.0 backcall 0.2.0
beautifulsoup4 4.11.1 black 22.6.0 bleach 4.1.0
blinker 1.4 boto3 1.24.28 botocore 1.27.28
certifi 2022.9.14 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 щелчок 8.0.4 криптография 37.0.1
cycler 0.11.0 Cython 0.29.32 dbus-python 1.2.18
debugpy 1.5.1 decorator 5.1.1 defusedxml 0.7.1
distlib 0.3.6 docstring-to-markdown 0,12 entrypoints 0,4
executing 1.2.0 facets-overview 1.0.3 fastjsonschema 2.16.3
filelock 3.12.0 шрифтовые инструменты 4.25.0 googleapis-common-protos 1.56.4
grpcio 1.48.1 grpcio-status 1.48.1 httplib2 0.20.2
idna 3,3 importlib-metadata 4.6.4 ipykernel 6.17.1
ipython 8.10.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
jedi 0.18.1 jeepney 0.7.1 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.2.0 jsonschema 4.16.0
jupyter-client 7.3.4 jupyter_core 4.11.2 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 нажатие клавиш 23.5.0 kiwisolver 1.4.2
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
MarkupSafe 2.0.1 matplotlib 3.5.2 matplotlib-inline 0.1.6
Маккейб 0.7.0 mistune 0.8.4 more-itertools 8.10.0
mypy-extensions 0.4.3 nbclient 0.5.13 nbconvert 6.4.4
nbformat 5.5.0 nest-asyncio 1.5.5 nodeenv 1.7.0
записная книжка 6.4.12 numpy 1.21.5 oauthlib 3.2.0
во внешнем виде 21,3 pandas 1.4.4 pandocfilters 1.5.0
parso 0.8.3 pathspec 0.9.0 patsy 0.5.2
pexpect 4.8.0 pickleshare 0.7.5 Pillow 9.2.0
pip 22.2.2 platformdirs 2.5.2 график 5.9.0
pluggy 1.0.0 prometheus-client 0.14.1 prompt-toolkit 3.0.36
protobuf 3.19.4 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 8.0.0
pycparser 2.21 pydantic 1.10.6 pyflakes 3.0.1
Pygments 2.11.2 PyGObject 3.42.1 PyJWT 2.3.0
pyodbc 4.0.32 pyparsing 3.0.9 pyright 1.1.294
pyrsistent 0.18.0 python-dateutil 2.8.2 python-lsp-jsonrpc 1.0.0
python-lsp-server 1.7.1 pytoolconfig 1.2.2 pytz 2022.1
pyzmq 23.2.0 requests 2.28.1 верёвка 1.7.0
s3transfer 0.6.0 scikit-learn 1.1.1 scipy 1.9.1
мореборн 0.11.2 SecretStorage 3.3.1 Send2Trash 1.8.0
setuptools 63.4.1 six 1.16.0 soupsieve 2.3.1
ssh-import-id 5,11 stack-data 0.6.2 statsmodels 0.13.2
tenacity 8.1.0 terminado 0.13.1 testpath 0.6.0
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tomli 2.0.1
tornado 6.1 traitlets 5.1.1 typing_extensions 4.3.0
ujson 5.4.0 unattended-upgrades 0,1 urllib3 1.26.11
virtualenv 20.16.3 wadllib 1.3.6 wcwidth 0.2.5
webencodings 0.5.1 whatthepatch 1.0.2 wheel 0.37.1
widgetsnbextension 3.6.1 yapf 0.31.0 zipp 1.0.0

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка Microsoft CRAN 2023-02-10.

Библиотека Версия Библиотека Версия Библиотека Версия
Стрелка 10.0.1 askpass 1,1 assertthat 0.2.1
внутренние порты 1.4.1 base 4.2.2 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 большой двоичный объект 1.2.3
загрузка 1.3-28 заваривать 1,0–8 brio 1.1.3
метла 1.0.3 bslib 0.4.2 cachem 1.0.6
вызывающий объект 3.7.3 крышка 6.0-93 cellranger 1.1.0
chron 2.3-59 class 7.3-21 cli 3.6.0
clipr 0.8.0 clock 0.6.1 cluster 2.1.4
codetools 0.2-19 colorspace 2.1-0 commonmark 1.8.1
компилятор 4.2.2 config 0.3.1 cpp11 0.4.3
карандаш 1.5.2 учетные данные 1.3.2 curl 5.0.0
data.table 1.14.6 наборы данных 4.2.2 DBI 1.1.3
dbplyr 2.3.0 desc 1.4.2 средства разработки 2.4.5
diffobj 0.3.5 digest 0.6.31 downlit 0.4.2
dplyr 1.1.0 dtplyr 1.2.2 e1071 1.7-13
многоточие 0.3.2 evaluate 0,20 вентиляторы 1.0.4
Farver 2.1.1 fastmap 1.1.0 fontawesome 0.5.0
forcats 1.0.0 foreach 1.5.2 иностранный 0.8-82
forge 0.2.0 fs 1.6.1 будущее 1.31.0
future.apply 1.10.0 gargle 1.3.0 Универсальные шаблоны 0.1.3
gert 1.9.2 ggplot2 3.4.0 gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-6 globals 0.16.2
клей 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
Говер 1.0.1 графика 4.2.2 grDevices 4.2.2
grid 4.2.2 gridExtra 2.3 gsubfn 0,7
gtable 0.3.1 hardhat 1.2.0 haven 2.5.1
высокий 0.10 hms 1.1.2 htmltools 0.5.4
htmlwidgets 1.6.1 httpuv 1.6.8 httr 1.4.4
ids 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.7 Итераторы 1.0.14 jquerylib 0.1.4
jsonlite 1.8.4 KernSmooth 2.23-20 трикотажный 1.42
маркирование 0.4.2 later 1.3.0 решётка 0.20-45
Lava 1.7.1 жизненный цикл 1.0.3 listenv 0.9.0
lubridate 1.9.1 magrittr 2.0.3 Markdown 1.5
МАССАЧУСЕТС 7.3-58.2 «Матрица» 1.5-1 memoise 2.0.1
оплаты 4.2.2 mgcv 1.8-41 мим 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.10
munsell 0.5.0 nlme 3.1-162 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.5 parallel 4.2.2
parallelly 1.34.0 столб 1.8.1 pkgbuild 1.4.0
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2
plogr 0.2.0 plyr 1.8.8 хвалить 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 Ход выполнения 1.2.2
progressr 0.13.0 promises 1.2.0.1 proto 1.0.0
proxy 0.4-27 ps 1.7.2 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.10 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.2 Рецепты 1.0.4
реванш 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown 2,20 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-12
RSQLite 2.2.20 rstudioapi 0,14 rversions 2.1.2
rvest 1.0.3 sass 0.4.5 весы 1.2.1
селектор 0.4-2 sessioninfo 1.2.2 форма 1.4.6
блестящий 1.7.4 sourcetools 0.1.7-1 sparklyr 1.7.9
SparkR 3.4.0 пространственный 7.3-15 Сплайны 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.2.2
статистика4 4.2.2 stringi 1.7.12 stringr 1.5.0
выживание 3.5-3 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.6 textshaping 0.3.6
tibble 3.1.8 tidyr 1.3.0 tidyselect 1.2.0
tidyverse 1.3.2 timechange 0.2.0 TimeDate 4022.108
tinytex 0,44 средства 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.3
служебные программы 4.2.2 uuid 1.1-0 vctrs 0.5.2
viridisLite 0.4.1 vroom 1.6.1 waldo 0.4.0
усы 0.4.1 withr 2.5.0 xfun 0,37
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.7 zip 2.2.2

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)

ИД группы Идентификатор артефакта Версия
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics потоковая передача 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1–0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.14.2
com.fasterxml.jackson.core jackson-core 2.14.2
com.fasterxml.jackson.core jackson-databind 2.14.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.14.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.14.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1,1
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.2-5
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.9
com.google.crypto.tink tink 1.7.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.214
com.helger профилировщик 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.6.4
io.dropwizard.metrics metrics-core 4.2.10
io.dropwizard.metrics metrics-graphite 4.2.10
io.dropwizard.metrics metrics-healthchecks 4.2.10
io.dropwizard.metrics metrics-jetty9 4.2.10
io.dropwizard.metrics metrics-jmx 4.2.10
io.dropwizard.metrics metrics-json 4.2.10
io.dropwizard.metrics metrics-jvm 4.2.10
io.dropwizard.metrics metrics-servlets 4.2.10
io.netty netty-all 4.1.87.Final
io.netty netty-buffer 4.1.87.Final
io.netty netty-codec 4.1.87.Final
io.netty netty-codec-http 4.1.87.Final
io.netty netty-codec-http2 4.1.87.Final
io.netty netty-codec-socks 4.1.87.Final
io.netty netty-common 4.1.87.Final
io.netty netty-handler 4.1.87.Final
io.netty netty-handler-proxy 4.1.87.Final
io.netty netty-resolver 4.1.87.Final
io.netty netty-transport 4.1.87.Final
io.netty netty-transport-classes-epoll 4.1.87.Final
io.netty netty-transport-classes-kqueue 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.87.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.87.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx коллектор 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db2
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1,3
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.22
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow arrow-format 11.0.0
org.apache.arrow arrow-memory-core 11.0.0
org.apache.arrow arrow-memory-netty 11.0.0
org.apache.arrow arrow-vector 11.0.0
org.apache.avro avro 1.11.1
org.apache.avro avro-ipc 1.11.1
org.apache.avro avro-mapred 1.11.1
org.apache.commons commons-collections4 4.4.
org.apache.commons commons-compress 1,21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.19.0
org.apache.logging.log4j log4j-api 2.19.0
org.apache.logging.log4j log4j-core 2.19.0
org.apache.logging.log4j log4j-slf4j2-impl 2.19.0
org.apache.mesos mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.8.3-шейд-protobuf
org.apache.orc orc-mapreduce 1.8.3-шейд-protobuf
org.apache.orc orc-shims 1.8.3
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.22
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.19.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.50.v2021201
org.eclipse.jetty jetty-continuation 9.4.50.v2021201
org.eclipse.jetty jetty-http 9.4.50.v2021201
org.eclipse.jetty jetty-io 9.4.50.v2021201
org.eclipse.jetty jetty-jndi 9.4.50.v2021201
org.eclipse.jetty jetty-plus 9.4.50.v2021201
org.eclipse.jetty jetty-proxy 9.4.50.v2021201
org.eclipse.jetty jetty-security 9.4.50.v2021201
org.eclipse.jetty jetty-server 9.4.50.v2021201
org.eclipse.jetty jetty-servlet 9.4.50.v2021201
org.eclipse.jetty jetty-servlets 9.4.50.v2021201
org.eclipse.jetty jetty-util 9.4.50.v2021201
org.eclipse.jetty jetty-util-ajax 9.4.50.v2021201
org.eclipse.jetty jetty-webapp 9.4.50.v2021201
org.eclipse.jetty jetty-xml 9.4.50.v2021201
org.eclipse.jetty.websocket websocket-api 9.4.50.v2021201
org.eclipse.jetty.websocket websocket-client 9.4.50.v2021201
org.eclipse.jetty.websocket websocket-common 9.4.50.v2021201
org.eclipse.jetty.websocket websocket-server 9.4.50.v2021201
org.eclipse.jetty.websocket websocket-servlet 9.4.50.v2021201
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator hibernate-validator 6.1.7.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.8
org.roaringbitmap RoaringBitmap 0.9.39
org.roaringbitmap shims 0.9.39
org.rocksdb rocksdbjni 7.8.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest Scalatest-compatible 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.6
org.slf4j jul-to-slf4j 2.0.6
org.slf4j slf4j-api 2.0.6
org.threeten threeten-extra 1.7.1
org.tukaani xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.33
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1