Поделиться через

Databricks Runtime 9.0 (неподдерживаемый)

  • Статья

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 9.0 и Databricks Runtime 9.0 Photon на базе Apache Spark 3.1.2. Эти образы были выпущены в августе 2021 года. Photon сейчас находится в режиме общедоступной предварительной версии.

Корректировка

В предыдущей версии этих заметок о выпуске неправильно указано, что зависимости Apache Parquet обновлены с 1.10 до 1.12. На самом деле зависимости Parquet остаются в версии 1.10. Неверное примечание о выпуске удалено.

Новые функции и внесенные улучшения

Новый API для сводных статистических данных о наборах данных (общедоступная предварительная версия)

Новая команда dbutils.data.summarize в служебных программах Databricks позволяет запустить задание Spark, которое автоматически вычислит сводную статистику по столбцам DataFrame Spark, а затем выведет результаты в интерактивном режиме. Эта функция доступна в Scala и Python. См. раздел Служебная работа для работы с данными (dbutils.data).

Упрощенная настройка внешнего источника данных для соединителя Azure Synapse

Новый externalDataSource параметр в соединителе Azure Synapse Analytics позволяет использовать предварительно подготовленный внешний источник данных для чтения из базы данных Azure Synapse. Благодаря параметру externalDataSource нет необходимости в ранее требуемом разрешении CONTROL.

При установке externalDataSource внешний источник данных и параметр tempDir, используемый для настройки временного хранилища, должны ссылаться на один и тот же контейнер в учетной записи хранения.

Возможность ограничить сеанс до указанной длительности для соединителя Amazon Redshift

Новый fs.s3a.assumed.role.session.duration параметр в запросе Amazon Redshift с помощью соединителя Azure Databricks позволяет при необходимости задать длительность сеанса, когда Redshift обращается к временному контейнеру S3 с предполагаемой ролью.

Автозагрузчик

Оптимизированный вывод списка файлов

Оптимизации Автозагрузчика обеспечивают повышение производительности и экономию затрат при перечислении вложенных каталогов в облачном хранилище, включая AWS S3, Azure Data Lake Storage 2-го поколения (ADLS 2-го поколения) и Google Cloud Storage (GCS).

Например, если файлы передаются в виде /some/path/YYYY/MM/DD/HH/fileName, то для поиска всех файлов в этих каталогах Автозагрузчик раньше выполнял параллельное перечисление всех вложенных каталогов, что приводило к 365 (в день) * 24 (в час) = 8760 вызовам каталога LIST API к базовому хранилищу для каталога каждого года. За счет получения плоского ответа из этих хранилищ, Автозагрузчик сокращает количество вызовов API до количества файлов в хранилище, деленного на количество результатов, возвращаемых каждым вызовом API (1000 для S3, 5000 для ADLS 2-го поколения и 1024 для GCS), что значительно сокращает затраты на облачные ресурсы.

Оптимизированное хранение данных изображений

Автозагрузчик теперь может автоматически обнаруживать принимаемые данные изображений и оптимизировать их хранение в таблицах Delta для повышения производительности чтения и записи. См. статью о приеме изображений или двоичных данных в Delta Lake для ML.

Эскизы изображений для двоичных файлов (общедоступная предварительная версия)

Изображения в формате binaryFile, которые загружаются или сохраняются в виде таблиц Delta с помощью Автозагрузчика, имеют прикрепленные заметки, чтобы при отображении таблицы в записной книжке Azure Databricks отображались эскизы изображений. Дополнительные сведения см. в разделе Изображения.

События DirectoryRename обеспечивают возможность атомарной обработки нескольких файлов

Потоки Автозагрузчика, созданные в Databricks Runtime 9.0 и более поздних версий на Azure Data Lake Storage 2-го поколения настраивают уведомления о событиях для файлов таким образом, чтобы в них входили переименования каталогов и прослушивание событий RenameDirectory. С помощью переименований каталогов можно сделать так, чтобы несколько файлов атомарным образом появлялись в Автозагрузчике.

SQL

Исключение столбцов в SELECT * (общедоступная предварительная версия)

SELECT * теперь поддерживает ключевое слово EXCEPT, которое позволяет исключить указанные столбцы верхнего уровня из расширения. Например, SELECT * EXCEPT (b) FROM tbl из таблицы со схемой (a, b, c) разворачивается в (a, c).

Скалярные функции SQL (общедоступная предварительная версия)

CREATE FUNCTION теперь поддерживает скалярные функции SQL. Можно создать скалярные функции, которые принимают набор аргументов и возвращают одно значение скалярного типа. Тело функции SQL может быть любым выражением. Например:

CREATE FUNCTION square(x DOUBLE) RETURNS DOUBLE RETURN x * x;
SELECT square(2);

Дополнительные сведения см. в статье CREATE FUNCTION (SQL и Python).

Ссылки на предыдущие псевдонимы и столбцы во вложенных запросах FROM (общедоступная предварительная версия)

Теперь вложенным запросам в предложении FROM запроса может предшествовать ключевое слово LATERAL, которое позволяет им ссылаться на псевдонимы и столбцы в предыдущих элементах FROM. Например:

SELECT * FROM t1, LATERAL (SELECT * FROM t2 WHERE t1.c1 = t2.c1)

Ключевое слово LATERAL поддерживает INNER, CROSS и LEFT (OUTER) JOIN.

См. разделы Параметры и Параметры.

Поддержка R

Библиотеки R с областью действия записной книжки (общедоступная предварительная версия)

Библиотеки с областью действия записной книжки позволяют устанавливать библиотеки и создавать окружения в сеансе записной книжки. Такие библиотеки не влияют на другие записные книжки, работающие в том же кластере. Библиотеки доступны как на драйвере, так и на рабочем узле, поэтому вы можете ссылаться на них в определяемых пользователем функциях. См. Библиотеки R с областью действия записной книжки.

Предупреждающие сообщения в записных книжках R

Значение по умолчанию параметра warn теперь равно 1 в записных книжках R. В результате все предупреждения теперь предоставляются как часть результата команды. Дополнительные сведения о параметре warn см. в статье Настройки параметров.

Возможность избежать повторов, указав начальное состояние для обработки структурированной потоковой передачи с отслеживанием состояния

Теперь можно указать определяемое пользователем начальное состояние для структурированной обработки с отслеживанием состояния с помощью оператора [flat]MapGroupsWithState.

См. раздел "Указание начального состояния" для mapGroupsWithState.

Теперь доступна реализация команды MERGE INTO в Delta с малым перемешиванием (общедоступная предварительная версия)

Команда MERGE INTO в Delta имеет новую реализацию, которая сокращает перемешивание неизмененных строк. Это позволяет повысить производительность команды и сохранить существующую кластеризацию в таблице, например Z-упорядочивание. Чтобы включить слияние с малым перемешиванием, задайте для spark.databricks.delta.merge.enableLowShuffle значение true. Дополнительные сведения см. в статье Слияние с малым перемешиванием в Azure Databricks.

Исправления ошибок

  • Вы больше не можете перезаписать представление, создав представление с тем же именем.

Обновления библиотек

  • Обновленные библиотеки Python:
    • certifi с 2021.5.30 до 2020.12.5
    • chardet с 3.0.4 до 4.0.0
    • Cython с 0.29.21 до 0.29.23
    • decorator с 4.4.2 до 5.0.6
    • ipython с 7.19.0 до 7.22.0
    • joblib с 0.17.0 до 1.0.1
    • jupyter-client с 6.1.7 до 6.1.12
    • jupyter-core с 4.6.3 до 4.7.1
    • kiwisolver с 1.3.0 до 1.3.1
    • matplotlib с 3.2.2 до 3.4.2
    • pandas с 1.1.5 до 1.2.4
    • pip с 20.2.4 до 21.0.1
    • prompt-toolkit с 3.0.8 до 3.0.17
    • protobuf с 3.17.3 до 3.17.2
    • ptyprocess с 0.6.0 до 0.7.0
    • pyarrow с 1.0.1 до 4.0.0
    • Pygments с 2.7.2 до 2.8.1
    • pyzmq с 19.0.2 до 20.0.0
    • requests с 2.24.0 до 2.25.1
    • s3transfer с 0.3.6 до 0.3.7
    • scikit-learn с 0.23.2 до 0.24.1
    • scipy с 1.5.2 до 1.6.2
    • seaborn с 0.10.0 до 0.11.1
    • setuptools с 50.3.1 до 52.0.0
    • statsmodels с 0.12.0 до 0.12.2
    • tornado с 6.0.4 до 6.1
    • virtualenv с 20.2.1 до 20.4.1
    • wheel с 0.35.1 до 0.36.2
  • Обновленные библиотеки R:
    • Matrix с 1.3-3 до 1.3-4

Apache Spark

Databricks Runtime 9.0 включает Apache Spark 3.1.2. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 8.4 (неподдерживаемые), а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

  • [SPARK-35886] [SQL][3.1] PromotePrecision не должен перезаписывать genCode.
  • [SPARK-35879] [CORE][SHUFFLE] Исправлено ухудшение производительности из-за collectFetchRequests.
  • [SPARK-35817] [SQL][3.1] Восстановлена производительность запросов к широким таблицам Avro.
  • [SPARK-35841] [SQL] Приведение строки к десятичному числу не работает, если…
  • [SPARK-35783] [SQL] Список столбцов для чтения задается в конфигурации задачи, чтобы сократить объем операций чтения данных ORC.
  • [SPARK-35576] [SQL][3.1] Скрыты конфиденциальные данные в результате выполнения команды Set.
  • [SPARK-35449] [SQL][3.1] Извлекаются только общие выражения из значений CaseWhen, если задано значение elseValue.
  • [SPARK-35288] [SQL] StaticInvoke находит метод без точных совпадений классов аргументов.
  • [SPARK-34794] [SQL] Устранены проблемы с именем лямбда-переменной во вложенных функциях DataFrame.
  • [SPARK-35278] [SQL] Invoke находит метод с правильным числом параметров.
  • [SPARK-35226] [SQL] Поддержка параметра refreshKrb5Config в источниках данных JDBC.
  • [SPARK-35244] [SQL] Invoke вызывает исходное исключение.
  • [SPARK-35213] [SQL] Сохранение правильного порядка вложенных структур в связанных операциях withField.
  • [SPARK-35087] [UI] Столбцы в таблице агрегированных метрики по исполнителю на странице сведений об этапе теперь отображаются правильно.
  • [SPARK-35168] [SQL] mapred.reduce.tasks теперь shuffle.partitions, а не adaptive.coalescePartitions.initialPartitionNum.
  • [SPARK-35127] [UI] При переключении между различными страницами сведений об этапе элемент записи на вновь открытой странице теперь не бывает пустым.
  • [SPARK-35142] [PYTHON][ML] Исправлен неправильный тип возвращаемого значения для rawPredictionUDF в OneVsRestModel.
  • [SPARK-35096] [SQL]: SchemaPruning соответствует конфигурации spark.sql.caseSensitive.
  • [SPARK-34639] [SQL][3.1] RelationalGroupedDataset.alias не должен создавать UnresolvedAlias.
  • [SPARK-35080] [SQL] Разрешено только подмножество коррелированных предикатов равенства при агрегировании вложенного запроса.
  • [SPARK-35117] [UI] Индикатор выполнения изменен обратно для отображения соотношения выполняемых задач.
  • [SPARK-35136] Удалено начальное значение NULL для LiveStage.info.
  • [SPARK-34834] [NETWORK] Исправлена потенциальная утечка памяти Netty в TransportResponseHandler.
  • [SPARK-35045] [SQL] Добавлен внутренний параметр для управления входным буфером однозначным образом.
  • [SPARK-35014] Исправлен шаблон PhysicalAggregation, чтобы он не переписывал свертываемые выражения
  • [SPARK-35019] [PYTHON][SQL] Исправлены несовпадения подсказок типа в pyspark.sql.*.
  • [SPARK-34926] [SQL][3.1] PartitioningUtils.getPathFragment() учитывает значение секции, равное NULL.
  • [SPARK-34630] [Python] Добавлена подсказка типа для pyspark.version.
  • [SPARK-34963] [SQL] Исправлено удаление лишних вложенных столбцов для извлечения поля структуры без учета регистра из массива структуры.
  • [SPARK-34988] [Core][3.1] Обновление Jetty для CVE-2021-28165.
  • [SPARK-34922] [SQL][3.1] Использование функции сравнения относительной стоимости в CBO.
  • [SPARK-34970] [SQL][SECURITY][3.1] Скрыты параметры map-type в выходных данных explain().
  • [SPARK-34923] [SQL] Выходные данные метаданных должны быть пустыми для других планов.
  • [SPARK-34949] [Core] Предотвращена повторная регистрация BlockManager при завершении работы исполнителя.
  • [SPARK-34939] [Core] Исключение при ошибке получения, если невозможно десериализовать состояния вещательных состояний сопоставления.
  • [SPARK-34909] [SQL] Исправлено преобразование отрицательного значения в неподписанное в conv().
  • [SPARK-34845] [Core] ProcfsMetricsGetter не должен возвращать частичные метрики procfs.
  • [SPARK-34814] [SQL] LikeSimplification должен поддерживать значение NULL.
  • [SPARK-34876] [SQL] Заполнение defaultResult агрегатами, не допускающими значения NULL.
  • [SPARK-34829] [SQL] Устранение результатов функций более высокого порядка.
  • [SPARK-34840] [SHUFFLE] Исправлены случаи повреждения в объединенном перемешивании...
  • [SPARK-34833] [SQL] Правильное применение заполнения справа для коррелированных вложенных запросов.
  • [SPARK-34630] [PYTHON][SQL] Добавлена подсказка типа для pyspark.sql.Column.contains
  • [SPARK-34763] [SQL] col(), $"name" и df("name") должны правильно обрабатывать имена столбцов с кавычками
  • [SPARK-33482] [SPARK-34756] [SQL] Исправлена проверка равенства FileScan
  • [SPARK-34790] [Core] Отключено получение блоков перемешивания пакетами при включенном шифровании ввода-вывода.
  • [SPARK-34803] [PYSPARK] Передача вызванной ошибки ImportError, если pandas или pyarrow не удалось выполнить импорт.
  • [SPARK-34225] [CORE] Дальнейший код при передаче строки формы URI в AddFile или AddJar не кодируется дополнительно.
  • [SPARK-34811] [CORE] Скрыт fs.s3a.access.key как секрет и токен.
  • [SPARK-34796] [SQL][3.1] Инициализация переменной счетчика для ограничения генерации кода в doProduce().
  • [SPARK-34128] [SQL] Отключены нежелательные предупреждения TTransportException, связанные с THRIFT-4805.
  • [SPARK-34776] [SQL] При удалении лишних вложенных столбцов не следует удалять атрибуты, созданные Window.
  • [SPARK-34087] [3.1][SQL] Исправлена утечка памяти ExecutionListenerBus.
  • [SPARK-34772] [SQL] RebaseDateTime loadRebaseRecords должны использовать загрузчик класса Spark вместо контекста.
  • [SPARK-34719] [SQL][3.1] Правильное разрешение запроса представления с повторяющимися именами столбцов.
  • [SPARK-34766] [SQL][3.1] Конфигурация maven не записывается для представлений.
  • [SPARK-34731] [Core] ConcurrentModificationException не используется при скрытии свойств EventLoggingListener
  • [SPARK-34737] [SQL][3.1] Приведение входного типа float к double в TIMESTAMP_SECONDS.
  • [SPARK-34749] [SQL][3.1] Упрощение ResolveCreateNamedStruct.
  • [SPARK-34768] [SQL] Соблюдение размера входного буфера по умолчанию в Univocity.
  • [SPARK-34770] [SQL] InMemoryCatalog.tableExists не должно завершаться ошибкой, если база данных не существует
  • [SPARK-34504] [SQL] Устранение ненужного разрешения временных представлений SQL для команд DDL.
  • [SPARK-34727] [SQL] Устранение несоответствий при приведении типа float к метке времени.
  • [SPARK-34723] [SQL] Правильный тип параметра для исключения части выражения в рамках всего этапа.
  • [SPARK-34724] [SQL] Исправлена интерпретируемая оценка с помощью метода getMethod вместо getDeclaredMethod.
  • [SPARK-34713] [SQL] Исправлено группирование по CreateStruct с ExtractValue.
  • [SPARK-34697] [SQL] Разрешено объяснение в DESCRIBE FUNCTION и SHOW FUNCTIONS про || (оператор объединения строк).
  • [SPARK-34682] [SQL] Используется PrivateMethodTester вместо отражения.
  • [SPARK-34682] [SQL] Исправлена регрессия при проверке ошибок канонизации в CustomShuffleReaderExec.
  • [SPARK-34681] [SQL] Исправлена ошибка для полного внешнего перемешанного хэш-соединения при построении левой части с условием неравенства.
  • [SPARK-34545] [SQL] Устранены проблемы с функцией valueCompare в pyrolite.
  • [SPARK-34607] [SQL][3.1] Добавлен Utils.isMemberClass, чтобы исправить ошибку неправильно сформированного имени класса в jdk8u.
  • [SPARK-34596] [SQL] используется Utils.getSimpleName, чтобы избежать попадения на неправильное имя класса в NewInstance.doGenCode.
  • [SPARK-34613] [SQL] Исправлена ошибка, при которой представление на соответствует настройке отключении подсказки.
  • [SPARK-32924] [WEBUI] Исправлена сортировка столбца длительности в пользовательском интерфейсе главной панели.
  • [SPARK-34482] [СС] Исправлен активный SparkSession для StreamExecution.logicalPlan.
  • [SPARK-34567] [SQL] CreateTableAsSelect должен обновлять метрики.
  • [SPARK-34599] [SQL] Устранена проблема, когда INSERT INTO OVERWRITE не поддерживает столбцы секционирования, содержащие точку для DSv2.
  • [SPARK-34577] [SQL] Исправлено удаление/добавление столбцов для набора данных DESCRIBE NAMESPACE.
  • [SPARK-34584] [SQL] Статический раздел должен также следовать StoreAssignmentPolicy при вставке в таблицы v2.
  • [SPARK-34555] [SQL] Разрешение выходных данных метаданных из DataFrame.
  • [SPARK-34534] Исправлен порядок blockId при использовании FetchShuffleBlocks для получения блоков
  • [SPARK-34547] [SQL] Столбцы метаданных используются для разрешения только в качестве последнего средства.
  • [SPARK-34417] [SQL] org.apache.spark.sql.DataFrameNaFunctions.fillMap завершается ошибкой, если в имени столбца есть точка.
  • [SPARK-34561] [SQL] Исправлено удаление/добавление столбцов для набора данных DESCRIBE TABLE v2.
  • [SPARK-34556] [SQL] Проверка дублирования столбцов статических секций должна выполняться с учетом регистра.
  • [SPARK-34392] [SQL]: поддержка ZoneOffset +ч:мм в DateTimeUtils. getZoneId
  • [SPARK-34550] [SQL]: пропуск нулевых значений InSet при отправке фильтра в хранилище метаданных Hive.
  • [SPARK-34543] [SQL] Теперь конфигурация spark.sql.caseSensitive учитывается при разрешении спецификации секции в v1 SET LOCATION.
  • [SPARK-34436] [SQL]: DPP поддерживает выражение LIKE ANY/ALL.
  • [SPARK-34531] [Core: удален тег API Experimental в PrometheusServlet.
  • [SPARK-34497] [SQL] Исправлены встроенные поставщики подключений JDBC для восстановления изменений контекста безопасности виртуальной машины Java.
  • [SPARK-34515] [SQL] Исправлен NPE, если InSet содержит значение NULL во время getPartitionsByFilter.
  • [SPARK-34490] [SQL] Исправлена ошибка анализа, если представление ссылается на удаленную таблицу.
  • [SPARK-34473] [SQL] NPE не используется в DataFrameReader.schema(StructType).
  • [SPARK-34384] [CORE] Добавлены недостающие документы для API ResourceProfile.
  • [SPARK-34373] [SQL] startWithContext в HiveThriftServer2 теперь не зависает с проблемой состояния гонки
  • [SPARK-20977] [CORE] Использование поля, отличного от конечного, для состояния CollectionAccumulator.
  • [SPARK-34421] [SQL] Разрешение временных функций и представлений в представлениях с обобщенными табличными выражениями
  • [SPARK-34431] [CORE] hive-site.xml загружается только один раз.
  • [SPARK-34405] [CORE] Исправлено среднее значение timersLabels в классе PrometheusServlet.
  • [SPARK-33438] [SQL] Объекты с определенными конфигурациями SQL для команды set -v инициализируются заранее.
  • [SPARK-34158] Исправлен URL-адрес единственного разработчика Matel в pom.xml.
  • [SPARK-34346] [CORE][SQL][3.1] Значение io.file.buffer.size, заданное spark.buffer.size, теперь не будет переопределено путем случайной загрузки hive-site.xml, что могло привести к ухудшению производительности.
  • [SPARK-34359] [SQL][3.1] Добавлена устаревшая конфигурация для восстановления выходной схемы SHOW DATABASES.
  • [SPARK-34331] [SQL] Ускорено разрешение метаданных DS v2.
  • [SPARK-34318] [SQL][3.1] Dataset.colRegex подходит для имен и квалификаторов столбцов, которые содержат символы новой строки.
  • [SPARK-34326] [CORE][SQL] Исправлены UT, добавленных в SPARK-31793, в зависимости от длины временного пути.
  • [SPARK-34319] [SQL] Разрешение повторяющихся атрибутов для FlatMapCoGroupsInPandas/MapInPandas.
  • [SPARK-34310] [CORE][SQL] map и flatten заменены на flatMap.
  • [SPARK-34083] [SQL][3.1] Используются исходные определений TPCDS для столбцов char/varchar.
  • [SPARK-34233] [SQL][3.1] Исправлено NPE для заполнения знаков в двоичном сравнении.
  • [SPARK-34270] [СС] Объединение StateStoreMetrics теперь не переопределяет StateStoreCustomMetric.
  • [SPARK-34144] [SQL] Исправлено исключение при попытке записи значений LocalDate и Instant в связь JDBC.
  • [SPARK-34273] [CORE] Повторная регистрация BlockManager при остановке SparkContext теперь выполняется.
  • [SPARK-34262] [SQL][3.1] Обновление кэшированных данных таблицы v1 в ALTER TABLE .. SET LOCATION.
  • [SPARK-34275] [CORE][SQL][MLLIB] Фильтр и размер заменены на количество.
  • [SPARK-34260] [SQL] Исправлено UnresolvedException при создании временного представления дважды.
  • [SPARK-33867] [SQL] Значения Instant и LocalDate теперь обрабатываются при создании запросов SQL.
  • [SPARK-34193] [CORE] Исправлено состояние гонки при списании диспетчера блока TorrentBroadcast.
  • [SPARK-34221] [WEBUI] Если на странице пользовательского интерфейса не удастся выполнить этап, соответствующее сообщение об ошибке будет показано правильно.
  • [SPARK-34236] [SQL] Исправление версии 2, перезапись статической секции со значением NULL вызывает ошибку: Не удалось преобразовать выражение в исходный фильтр: null.
  • [SPARK-34212] [SQL] Исправлено неправильное считывание десятичных чисел из файлов Parquet.
  • [SPARK-34244] [SQL] Удалена версия Scala функции regexp_extract_all.
  • [SPARK-34235] [СС] spark.sql.hive сделан частным пакетом
  • [SPARK-34232] [CORE] Скрыто событие SparkListenerEnvironmentUpdate в журнале
  • [SPARK-34229] [SQL] Avro должен считывать десятичные значения со схемой файла.
  • [SPARK-34223] [SQL] Исправлено NPE для статической секции со значением NULL в InsertIntoHadoopFsRelationCommand.
  • [SPARK-34192] [SQL] Заполнение символами перемещено на сторону записи и удалена проверка длины на стороне чтения.
  • [SPARK-34203] [SQL] Значения секции null преобразовываются в __HIVE_DEFAULT_PARTITION__ в каталоге In-Memory v1.
  • [SPARK-33726] [SQL] Исправлены повторяющиеся имена полей во время агрегирования.
  • [SPARK-34133] [Avro] При выполнении сопоставления полей Catalyst-to-Avro учитывается регистр.
  • [SPARK-34187] [SS] Используется доступный диапазон смещений, полученный во время опроса при проверке смещений.
  • [SPARK-34052] [SQL][3.1] Хранение текста SQL для временного представления, созданного с помощью “CACHE TABLE .. AS SELECT …”
  • [SPARK-34213] [SQL] Обновление кэшированных данных таблицы v1 в LOAD DATA.
  • [SPARK-34191] [PYTHON][SQL] Добавлена типизация для перегрузки udf.
  • [SPARK-34200] [SQL] Неоднозначная ссылка на столбец должна учитывать доступность атрибута.
  • [SPARK-33813] [SQL][3.1] Устранена проблема, из-за которой источник JDBC не мог обрабатывать пространственные типы MS SQL Server.
  • [SPARK-34178] [SQL] Копирование тегов для нового узла, созданного с помощью MultiInstanceRelation.newInstance.
  • [SPARK-34005] [CORE][3.1] Обновление пиковых метрик памяти для каждого исполнителя в конце задачи.
  • [SPARK-34115] [CORE] Выполняется проверка SPARK_TESTING как отложенного значения (lazy val), чтобы избежать замедления.
  • [SPARK-34153] [SQL][3.1][3.0] Удалены неиспользуемые getRawTable() из HiveExternalCatalog.alterPartitions().
  • [SPARK-34130] [SQL] Улучшена производительность заполнения char/varchar и проверки длины с помощью StaticInvoke.
  • [SPARK-34027] [SQL][3.1] Обновление кэша в ALTER TABLE .. RECOVER PARTITIONS.
  • [SPARK-34151] [SQL] java.io.File.toURL заменен на java.io.File.toURI.toURL.
  • [SPARK-34140] [SQL][3.1] QueryCompilationErrors.scala перемещен в org/apache/spark/sql/errors.
  • [SPARK-34080] [ML][PYTHON] Добавлен UnivariateFeatureSelector.
  • [SPARK-33790] [CORE][3.1] Уменьшен вызов rpc для getFileStatus в SingleFileEventLogFileReader.
  • [SPARK-34118] [CORE][SQL][3.1] Заменен фильтр и проверка на пустоту с помощью exists или forall.
  • [SPARK-34114] [SQL] Удалена обрезка справа для проверки длины символов и заполнения на стороне чтения.
  • [SPARK-34086] [SQL][3.1] Исправлена ошибка, при которой RaiseError создает слишком много кода и может привести к сбою генератора кода при проверке длины для char/varchar.
  • [SPARK-34075] [SQL][CORE] Скрытые каталоги теперь не указываются для вывода секции.
  • [SPARK-34076] [SQL] SQLContext.dropTempTabl больше не завершается ошибкой, если кэш не пуст.
  • [SPARK-34084] [SQL][3.1] Исправлено автоматическое обновление статистики таблицы в ALTER TABLE .. ADD PARTITION.
  • [SPARK-34090] [SS] Кэширование результата HadoopDelegationTokenManager.isServiceEnabled, используемого в KafkaTokenUtil.needTokenUpdate.
  • [SPARK-34069] [CORE] Завершение задач барьера производится с учетом SPARK_JOB_INTERRUPT_ON_CANCEL.
  • [SPARK-34091] [SQL] Должна быть возможность отключить получение перемешанного пакета после включения.
  • [SPARK-34059] [SQL][CORE][3.1] Использование for/foreach вместо сопоставления, чтобы оно выполнялось безотложно.
  • [SPARK-34002] [SQL] Исправлено использование кодировщика в ScalaUDF.
  • [SPARK-34060] [SQL][3.1] Исправлено кэширование таблицы Hive при обновлении статистики с помощью ALTER TABLE .. DROP PARTITION.
  • [SPARK-31952] [SQL] Исправлена метрика неправильного сброса памяти при выполнении статистической агрегирования.
  • [SPARK-33591] [SQL][3.1] null распознается в значениях спецификации секции.
  • [SPARK-34055] [SQL][3.1] Обновление кэша в ALTER TABLE .. ADD PARTITION.
  • [SPARK-34039] [SQL][3.1] При ReplaceTable кэш должен становиться недействительным.
  • [SPARK-34003] [SQL] Устранены конфликты правил между PaddingAndLengthCheckForCharVarchar и ResolveAggregateFunctions.
  • [SPARK-33938] [SQL][3.1] Оптимизированы Like Any/All за счет LikeSimplification.
  • [SPARK-34021] [R] Исправлены гиперссылки в документации SparkR для отправки CRAN.
  • [SPARK-34011] [SQL][3.1][3.0] Обновление кэша в ALTER TABLE .. RENAME TO PARTITION.
  • [SPARK-33948] [SQL] Исправлена ошибка CodeGen метода MapObjects.doGenCode в Scala 2.13.
  • [SPARK-33635] [SS] Изменен порядок синхронизации KafkaTokenUtil.needTokenUpdate, чтобы устранить ухудшение производительности.
  • [SPARK-33029] [CORE][WEBUI] Исправлено неверное отображение драйвера как исключенного на странице исполнителя пользовательского интерфейса.
  • [SPARK-34015] [R] Исправлено время входа в gapply.
  • [SPARK-34012] [SQL] Обеспечена согласованность поведения, если spark.sql.legacy.parser.havingWithoutGroupByAsWhere конфигурации соответствует руководству по миграции.
  • [SPARK-33844] [SQL] [3,1] Команда InsertIntoHiveDir должна также проверить имя столбца.
  • [SPARK-33935] [SQL] Исправлена функция стоимости CBO.
  • [SPARK-33100] [SQL] Точка с запятой внутри комментария в квадратных скобках в spark-sql не учитывается.
  • [SPARK-34000] [CORE] Исправлено stageAttemptToNumSpeculativeTasks java.util.NoSuchElementException.
  • [SPARK-33992] [SQL] Переопределен transformUpWithNewOutput для добавления allowInvokingTransformsInAnalyzer.
  • [SPARK-33894] [SQL] Изменена видимость частных классов вариантов в mllib, чтобы избежать ошибок компиляции среды выполнения в Scala 2.13.
  • [SPARK-33950] [SQL][3.1][3.0] Обновление кэша в ALTER TABLE .. DROP PARTITION v1.
  • [SPARK-33980] [SS] char/varchar в spark.readStream.schema теперь не допускается.
  • [SPARK-33945] [SQL][3.1] Обработка случайного начального значения, состоящего из дерева expr.
  • [SPARK-33398] Исправлена загрузка моделей дерева для версий до Spark 3.0.
  • [SPARK-33963] [SQL] HiveTableRelation без статистики таблицы теперь является каноническим.
  • [SPARK-33906] [WEBUI] Исправлена ошибка с зависанием страницы пользовательского интерфейса исполнителя из-за неопределенности peakMemoryMetrics.
  • [SPARK-33944] [SQL] Неправильное ведение журнала для ключей хранилища в параметрах SharedState.
  • [SPARK-33936] [SQL][3.1] Добавление версии при добавлении интерфейсов соединителя.
  • [SPARK-33916] [CORE] Исправлено смещение резервного хранилища и увеличено покрытие тестирования кодека сжатия.
  • [SPARK-33899] [SQL][3.1] Исправлена ошибка утверждения в версии 1 SHOW TABLES/VIEWS в spark_catalog.
  • [SPARK-33901] [SQL] Устранена ошибка при отображении Char и Varchar после DDL.
  • [SPARK-33897] [SQL] Не удается задать параметр cross в методе join.
  • [SPARK-33907] [SQL][3.1] Лишние столбцы удаляются из JsonToStructs только в том случае, если параметры обработки пустые.
  • [SPARK-33621] [SPARK-33784] [SQL] [3.1] Добавьте способ внедрения правил перезаписи источника данных
  • [SPARK-33900] [WEBUI] Исправлено отображение размера или числа записей при считывании в случайном порядке, если доступно только remotebytesread.
  • [SPARK-33892] [SQL] Исправлено отображение char/varchar в DESC и SHOW CREATE TABLE.
  • [SPARK-33895] [SQL] Исправлен сбой Char и Varchar при MetaOperation в ThriftServer.
  • [SPARK-33659] [SS] Задокументирование текущее поведение DataStreamWriter.toTable API.
  • [SPARK-33893] [CORE] Диспетчер резервных блоков исключен из executorList.
  • [SPARK-33277] [PYSPARK][SQL] ContextAwareIterator используется для прекращения потребления после выполнения задачи.
  • [SPARK-33889] [SQL][3.1] Исправлено NPE из SHOW PARTITIONS в таблицах V2.
  • [SPARK-33879] [SQL] Исправлена ошибка соответствия значений Char Varchar как столбцов секции.
  • [SPARK-33877] [SQL] Справочные документы SQL для INSERT со списком столбцов.
  • [SPARK-33876] [SQL] Добавлена проверка длины для чтения char/varchar из таблиц с внешним расположением.
  • [SPARK-33846] [SQL] Включены комментарии для вложенной схемы в StructType.toDDL.
  • [SPARK-33860] [SQL] CatalystTypeConverters.convertToCatalyst соответствует специальному значению массива.
  • [SPARK-33834] [SQL] ALTER TABLE CHANGE COLUMN проверяется с помощью Char и Varchar.
  • [SPARK-33853] [SQL] EXPLAIN CODEGEN и BenchmarkQueryTest теперь отображают код вложенного запроса.
  • [SPARK-33836] [SS][PYTHON] Предоставлены DataStreamReader.table и DataStreamWriter.toTable.
  • [SPARK-33829] [SQL][3.1] При переименовании таблиц v2 повторно создается кэш.
  • [SPARK-33756] [SQL] MapIterator для BytesToBytesMap теперь является идемпотентным.
  • [SPARK-33850] [SQL] EXPLAIN FORMATTED теперь показывает план для вложенных запросов, если включено AQE.
  • [SPARK-33841] [CORE][3.1] Исправлена проблема с периодическим исчезновением заданий из SHS при высокой нагрузке.
  • [SPARK-33593] [SQL] Средство чтения векторов теперь получает корректные данные со значением двоичной секции.
  • [SPARK-26341] [WEBUI] Метрики памяти исполнителя предоставляются на уровне этапа, на вкладке "Этапы".
  • [SPARK-33831] [UI] Обновление до jetty 9.4.34.
  • [SPARK-33822] [SQL] Теперь в HashJoin используется метод CastSupport.cast.
  • [SPARK-33774] [UI][CORE] "Back to Master" возвращает ошибку 500 в изолированном кластере.
  • [SPARK-26199] [SPARK-31517] [R] Исправлена стратегия обработки ... в mutate.
  • [SPARK-33819] [CORE][3.1] SingleFileEventLogFileReader/RollingEventLogFilesFileReader теперь использует package private.
  • [SPARK-33697] [SQL] RemoveRedundantProjects теперь требует упорядочивание столбцов по умолчанию.
  • [SPARK-33752] [SQL][3,1] getSimpleMessage из AnalysisException теперь не добавляет точку с запятой несколько раз.
  • [SPARK-33788] [SQL][3.1][3.0][2.4] Теперь выдается исключение NoSuchPartitionsException из HiveExternalCatalog.dropPartitions().
  • [SPARK-33803] [SQL] Свойства таблицы сортируются по ключу в команде DESCRIBE TABLE.
  • [SPARK-33786] [SQL] Уровень хранилища для кэша теперь учитывается при изменении имени таблицы.
  • [SPARK-33273] [SQL] Исправлено состояние гонки при выполнении вложенного запроса.
  • [SPARK-33653] [SQL][3.1] DSv2: REFRESH TABLE теперь создает кэш таблицы повторно.
  • [SPARK-33777] [SQL] Сортировка выходных данных V2 SHOW PARTITIONS.
  • [SPARK-33733] [SQL] PullOutNondeterministic должен проверять и собирать детерминированное поле.
  • [SPARK-33764] [SS] Интервал обслуживания хранилища состояний можно настроить в конфигурации SQL.
  • [SPARK-33729] [SQL] При обновлении кэша в Spark не должен использовать кэшированный план при повторном кэшировании данных.
  • [SPARK-33742] [SQL][3.1] Теперь выдается исключение PartitionsAlreadyExistException из HiveExternalCatalog.createPartitions().
  • [SPARK-33706] [SQL] Требуется полностью заданный идентификатор секции в partitionExists().
  • [SPARK-33740] [SQL] Конфигурации Hadoop в hive-site.xml могут переопределять уже существующие конфигурации Hadoop.
  • [SPARK-33692] [SQL] Представление должно использовать захваченный каталог и пространство имен для функции поиска.
  • [SPARK-33669] Устранено неправильное сообщение об ошибке из монитора состояния приложения YARN, когда sc.stop в режиме клиента YARN.
  • [SPARK-32110] [SQL] Нормализованы особые числа с плавающей точкой в HyperLogLog++.
  • [SPARK-33677] [SQL] Правило LikeSimplification пропускается, если шаблон содержит какие-либо escape-символы (escapeChar).
  • [SPARK-33693] [SQL] spark.sql.hive.convertCTAS теперь не рекомендуется.
  • [SPARK-33641] [SQL] Новые типы char/varchar в общедоступных API, которые создают неверные результаты, недействительны.
  • [SPARK-32680] [SQL] Теперь не выполняется предварительная обработка V2 CTAS с неразрешенным запросом.
  • [SPARK-33676] [SQL] Требуется точное сопоставление спецификации секции со схемой в версии 2 ALTER TABLE .. ADD/DROP PARTITION.
  • [SPARK-33670] [SQL] Теперь выполняется проверка того, что поставщиком секции является Hive в v1 SHOW TABLE EXTENDED.
  • [SPARK-33663] [SQL] Отмена кэширования теперь не вызывается в несуществующих временных представлениях.
  • [SPARK-33667] [SQL] Теперь конфигурация spark.sql.caseSensitive учитывается при разрешении спецификации секции в v1 SHOW PARTITIONS.
  • [SPARK-33652] [SQL] DSv2: DeleteFrom обновляет кэш.

Обновления в рамках обслуживания

См. Служебные обновления Databricks Runtime 9.0.

Системная среда

  • Операционная система: Ubuntu 20.04.2 LTS
  • Java: Zulu 8.54.0.21-CA-linux64
  • Scala: 2.12.10
  • Python: 3.8.10
  • R: 4.1.0 (2021-05-18)
  • Delta Lake 1.0.0

Установленные библиотеки Python

Библиотека Версия Библиотека Версия Библиотека Версия
Antergos Linux 2015.10 (ISO-Rolling) appdirs 1.4.4 backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 certifi 2020.12.5
chardet 4.0.0 cycler 0.10.0 Cython 0.29.23
dbus-python 1.2.16 decorator 5.0.6 distlib 0.3.2
distro-info 0.23ubuntu1 facets-overview 1.0.0 filelock 3.0.12
idna 2,10 ipykernel 5.3.4 ipython 7.22.0
ipython-genutils 0.2.0 jedi 0.17.2 jmespath 0.10.0
joblib 1.0.1 jupyter-client 6.1.12 jupyter-core 4.7.1
kiwisolver 1.3.1 koalas 1.8.1 matplotlib 3.4.2
numpy 1.19.2 pandas 1.2.4 parso 0.7.0
patsy 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
Pillow 8.2.0 pip 21.0.1 график 4.14.3
prompt-toolkit 3.0.17 protobuf 3.17.2 psycopg2 2.8.5
ptyprocess 0.7.0 pyarrow 4.0.0 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 python-apt 2.0.0+ubuntu0.20.4.5
python-dateutil 2.8.1 pytz 2020.5 pyzmq 20.0.0
requests 2.25.1 requests-unixsocket 0.2.0 retrying 1.3.3
s3transfer 0.3.7 scikit-learn 0.24.1 scipy 1.6.2
мореборн 0.11.1 setuptools 52.0.0 six 1.15.0
ssh-import-id 5,10 statsmodels 0.12.2 threadpoolctl 2.1.0
tornado 6.1 traitlets 5.0.5 unattended-upgrades 0,1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
wheel 0.36.2

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка Microsoft Cran от 28.07.2021.

Библиотека Версия Библиотека Версия Библиотека Версия
askpass 1,1 assertthat 0.2.1 внутренние порты 1.2.1
base 4.1.0 base64enc 0.1-3 BH 1.72.0-3
bit 4.0.4 bit64 4.0.5 большой двоичный объект 1.2.1
загрузка 1.3-28 заваривать 1.0–6 brio 1.1.0
метла 0.7.2 вызывающий объект 3.5.1 крышка 6.0-86
cellranger 1.1.0 chron 2.3-56 class 7.3-19
cli 2.2.0 clipr 0.7.1 cluster 2.1.2
codetools 0.2-18 colorspace 2.0-0 commonmark 1,7
компилятор 4.1.0 config 0,3 covr 3.5.1
cpp11 0.2.4 карандаш 1.3.4 учетные данные 1.3.0
переходный разговор 1.1.0.1 curl 4.3 data.table 1.13.4
наборы данных 4.1.0 DBI 1.1.0 dbplyr 2.0.0
desc 1.2.0 средства разработки 2.3.2 diffobj 0.3.2
digest 0.6.27 dplyr 1.0.2 DT 0,16
многоточие 0.3.1 evaluate 0,14 вентиляторы 0.4.1
Farver 2.0.3 fastmap 1.0.1 forcats 0.5.0
foreach 1.5.1 иностранный 0.8-81 forge 0.2.0
fs 1.5.0 будущее 1.21.0 Универсальные шаблоны 0.1.0
gert 1.0.2 ggplot2 3.3.2 gh 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 globals 0.14.0
клей 1.4.2 Говер 0.2.2 графика 4.1.0
grDevices 4.1.0 grid 4.1.0 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 haven 2.3.1
высокий 0,8 hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isoband 0.2.3 Итераторы 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-20 трикотажный 1,30
маркирование 0.4.2 later 1.1.0.1 решётка 0.20-44
Lava 1.6.8.1 lazoval 0.2.2 жизненный цикл 0.2.0
listenv 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
Markdown 1,1 МАССАЧУСЕТС 7.3-54 «Матрица» 1.3-4
memoise 1.1.0 оплаты 4.1.0 mgcv 1.8-36
мим 0,9 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-152 nnet 7.3-16
numDeriv 2016.8-1.1 openssl 1.4.3 parallel 4.1.0
parallelly 1.22.0 столб 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
plyr 1.8.6 хвалить 1.0.0 prettyunits 1.1.1
pROC 1.16.2 processx 3.4.5 prodlim 2019.11.13
Ход выполнения 1.2.2 promises 1.1.1 proto 1.0.0
ps 1.5.0 purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
readr 1.4.0 readxl 1.3.1 Рецепты 0.1.15
реванш 1.0.1 rematch2 2.1.2 remotes 2.2.0
reprex 0.3.0 reshape2 1.4.4 rex 1.2.0
rlang 0.4.9 rmarkdown 2.6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-8 RSQLite 2.2.1 rstudioapi 0,13
rversions 2.0.2 rvest 0.3.6 весы 1.1.1
селектор 0.4-2 sessioninfo 1.1.1 форма 1.4.5
блестящий 1.5.0 sourcetools 0.1.7 sparklyr 1.5.2
SparkR 3.1.1 пространственный 7.3-11 Сплайны 4.1.0
sqldf 0.4-11 SQUAREM 2020.5 stats 4.1.0
статистика4 4.1.0 stringi 1.5.3 stringr 1.4.0
выживание 3.2-11 sys 3,4 tcltk 4.1.0
ОбучениеDemos 2,10 testthat 3.0.0 tibble 3.0.4
tidyr 1.1.2 tidyselect 1.1.0 tidyverse 1.3.0
TimeDate 3043.102 tinytex 0,28 средства 4.1.0
usethis 2.0.0 utf8 1.1.4 служебные программы 4.1.0
uuid 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
waldo 0.2.3 усы 0,4 withr 2.3.0
xfun 0,19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1 zip 2.1.1

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)

ИД группы Идентификатор артефакта Версия
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-marketplacecommerceanalytics 1.11.655
com.amazonaws aws-java-sdk-marketplacemeteringservice 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics потоковая передача 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1–0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natives 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java-natives 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger профилировщик 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1,10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1,6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
hive-2.3__hadoop-2.7 jets3t-0.7 liball_deps_2.12
hive-2.3__hadoop-2.7 zookeeper-3.4 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.10
io.delta delta-sharing-spark_2.12 0.1.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx коллектор 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0–2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-2.7 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1,20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3,10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1,6
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0–M20
org.apache.directory.api api-util 1.0.0–M20
org.apache.directory.server apacheds-i18n 2.0.0–M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0–M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc orc-shims 1.5.12
org.apache.parquet parquet-column 1.10.1-databricks9
org.apache.parquet parquet-common 1.10.1-databricks9
org.apache.parquet parquet-encoding 1.10.1-databricks9
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks9
org.apache.parquet parquet-jackson 1.10.1-databricks9
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.36.v20210114
org.eclipse.jetty jetty-continuation 9.4.36.v20210114
org.eclipse.jetty jetty-http 9.4.36.v20210114
org.eclipse.jetty jetty-io 9.4.36.v20210114
org.eclipse.jetty jetty-jndi 9.4.36.v20210114
org.eclipse.jetty jetty-plus 9.4.36.v20210114
org.eclipse.jetty jetty-proxy 9.4.36.v20210114
org.eclipse.jetty jetty-security 9.4.36.v20210114
org.eclipse.jetty jetty-server 9.4.36.v20210114
org.eclipse.jetty jetty-servlet 9.4.36.v20210114
org.eclipse.jetty jetty-servlets 9.4.36.v20210114
org.eclipse.jetty jetty-util 9.4.36.v20210114
org.eclipse.jetty jetty-util-ajax 9.4.36.v20210114
org.eclipse.jetty jetty-webapp 9.4.36.v20210114
org.eclipse.jetty jetty-xml 9.4.36.v20210114
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2,30
org.glassfish.jersey.containers jersey-container-servlet-core 2,30
org.glassfish.jersey.core jersey-client 2,30
org.glassfish.jersey.core jersey-common 2,30
org.glassfish.jersey.core jersey-server 2,30
org.glassfish.jersey.inject jersey-hk2 2,30
org.glassfish.jersey.media jersey-media-jaxb 2,30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark неиспользованный 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0,52