Databricks Runtime 11.0 (неподдерживаемый)

Статья
03/01/2024

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 11.0 на платформе Apache Spark 3.3.0. Эти образы были выпущены в июле 2022 года.

Новые функции и внесенные улучшения

Новая версия Apache Spark
Записные книжки Python теперь используют ядро IPython
Поддержка ipywidgets
Соединитель Synapse теперь записывает данные Parquet в неустаревшем режиме
Схема HTTPS теперь принудительно применяется, когда клиент ABFS использует маркер SAS
SQL: DESC теперь является псевдонимом для DESCRIBE
SQL: новая функция current_version выводит сведения о версии
При попытке удалить отсутствующие ограничения на уровне таблицы Delta теперь возникает ошибка
SQL: новое предложение EXCEPT в выражении SELECT исключает столбцы из выборки
Поддержка удаления столбцов в таблицах Delta (общедоступная предварительная версия)
Улучшения COPY INTO
CONVERT TO DELTA теперь поддерживается в средах с поддержкой каталога Unity (общедоступная предварительная версия)

Новая версия Apache Spark

Databricks Runtime 11.0 и Databricks Runtime 11.0 Photon включают Apache Spark 3.3.0. Более подробную информацию см. в разделе Apache Spark.

Записные книжки Python теперь используют ядро IPython

В Databricks Runtime версии 11.0 и выше записные книжки Python используют ядро IPython для выполнения кода Python. См. статью Ядро IPython.

Поддержка ipywidgets

С помощью ipywidgets вы теперь можете сделать записные книжки Databricks Python интерактивными. См. статью ipywidgets.

Соединитель Synapse теперь записывает данные Parquet в неустаревшем режиме

Теперь соединитель Synapse записывает данные Parquet в неустаревшем режиме. Он сохраняет формат метки времени INT96 при использовании команд PolyBase и COPY для рабочих нагрузок пакетной и потоковой передачи.

Схема HTTPS теперь принудительно применяется, когда клиент ABFS использует маркер SAS

Теперь когда клиент Azure Blob File System (ABFS) использует маркер подписанного URL-адреса (SAS), принудительно применяется схема HTTPS.

SQL: `DESC` теперь является псевдонимом для `DESCRIBE`

Теперь DESC можно использовать в качестве псевдонима для DESCRIBE при описании внешних расположений или учетных данных хранилища. Например:

-- Describe an external location.
DESC EXTERNAL LOCATION location_name;

-- Describe a storage credential.
DESC STORAGE CREDENTIAL credential_name;

SQL: новая функция `current_version` выводит сведения о версии

Новая функция current_version выводит текущую версию Databricks Runtime и Databricks SQL (если они доступны), а также другие связанные сведения о версиях. Используйте эту новую функцию для запроса информации о версии. См. статью Функция current_version.

При попытке удалить отсутствующие ограничения на уровне таблицы Delta теперь возникает ошибка

Если вы попытаетесь удалить ограничение на уровне таблицы Delta по имени, но такое ограничение не существует, появится ошибка. Чтобы вернуть предыдущее поведение, которое не приводило к появлению ошибки при отсутствии ограничения, теперь необходимо использовать инструкцию IF EXISTS. См. статью ALTER TABLE.

SQL: новое предложение `EXCEPT` в выражении `SELECT` исключает столбцы из выборки

Инструкции SELECT теперь поддерживают предложение EXCEPT для исключения столбцов из выборки. Например, SELECT * EXCEPT (x) FROM table возвращает все столбцы из table, кроме x. Также разрешены вложенные столбцы. Например, SELECT * EXCEPT (x.a) FROM table возвращает все столбцы из table, но пропускает поле a из структуры x.

Поддержка удаления столбцов в таблицах Delta (общедоступная предварительная версия)

Можно использовать ALTER TABLE <table-name> DROP COLUMN [IF EXISTS] <column-name> или ALTER TABLE <table-name> DROP COLUMNS [IF EXISTS] (<column-name>, *) для удаления столбцов или списка столбцов, соответственно, из таблицы Delta в качестве операции, применимой только к метаданным. По сути, столбцы будут "обратимо удалены", так как они по-прежнему находятся в базовых файлах Parquet, но больше не доступны таблице Delta.

С помощью REORG TABLE <table-name> APPLY (PURGE) можно активировать перезапись файлов, содержащих любые обратимо удаленные данные, например удаленные столбцы.

С помощью VACUUM можно удалить удаленные файлы из физического хранилища, включая старые файлы, которые содержат удаленные столбцы и были перезаписаны REORG TABLE.

Улучшения `COPY INTO`

Теперь можно создать пустые таблицы-заполнители Delta, чтобы в дальнейшем вывести схему при выполнении команды COPY INTO.

CREATE TABLE IF NOT EXISTS my_table
[COMMENT <table-description>]
[TBLPROPERTIES (<table-properties>)];

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('mergeSchema' = 'true')
COPY_OPTIONS ('mergeSchema' = 'true');

Предыдущая инструкция SQL является идемпотентной, и выполнить ее для приема данных в таблицу Delta можно только один раз.

Примечание.

Пустая разностная таблица недоступна для использования за пределами COPY INTO. Нельзя использовать INSERT INTO и MERGE INTO для записи данных в таблицы Delta без схемы. После вставки данных в таблицу с помощью COPY INTO к таблице можно выполнять запросы.

Если принимаемые данные не удается прочитать в связи с повреждением, эти поврежденные файлы можно пропустить, задав для ignoreCorruptFiles значение true в FORMAT_OPTIONS:

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('ignoreCorruptFiles' = 'true')

Команда COPY INTO возвращает количество файлов, пропущенных из-за повреждения в столбце num_skipped_corrupt_files. Эта метрика также отображается в столбце operationMetrics под заголовком numSkippedCorruptFiles после запуска DESCRIBE HISTORY в таблице Delta.

COPY INTO не отслеживает поврежденные файлы, поэтому, если повреждение исправлено, их можно перезагрузить в последующем запуске. Чтобы посмотреть, какие файлы повреждены, выполните команду COPY INTO в режиме VALIDATE.

`CONVERT TO DELTA` теперь поддерживается в средах с поддержкой каталога Unity (общедоступная предварительная версия)

В средах с поддержкой каталога Unity инструкция CONVERT TO DELTA теперь позволяет:

Преобразовать файлы Parquet во внешних расположениях в Delta Lake.
Преобразовать внешние таблицы Parquet в таблицы Delta.

Изменения в работе

SQL: функции lpad и rpad теперь поддерживают последовательности байтов
Для строкового формата в format_string и printf больше не допускается %0$
Значения NULL в CSV-файлах теперь по умолчанию записываются как пустые строки без кавычек
Свойство external таблицы теперь является зарезервированным
Библиотека Log4j обновлена с версии Log4j 1 до Log4j 2
Библиотеки, установленные из Maven, теперь разрешаются в плоскости вычислений по умолчанию.

SQL: функции `lpad` и `rpad` теперь поддерживают последовательности байтов

Функции lpad и rpad были обновлены для добавления поддержки последовательностей байтов в дополнение к последовательности строк.

Для строкового формата в `format_string` и `printf` больше не допускается `%0$`

При указании формата %0$ в функциях format_string и printf теперь по умолчанию возникает ошибка. Это изменение предназначено для сохранения ожидаемого поведения в предыдущих версиях Databricks Runtime и распространенных сторонних базах данных. Если вы используете индекс аргумента для указания позиции аргумента в списке аргументов, первый аргумент всегда должен ссылаться на %1$.

Значения NULL в CSV-файлах теперь по умолчанию записываются как пустые строки без кавычек

Ранее значения NULL в CSV-файлах записывались как пустые строки в кавычках. В этом выпуске значения NULL в CSV-файлах теперь по умолчанию записываются как пустые строки без кавычек. Чтобы вернуться к предыдущему поведению, задайте параметру nullValue значение "" для операций записи.

Свойство `external` таблицы теперь является зарезервированным

Теперь свойство external по умолчанию является зарезервированным свойством таблицы. При использовании свойства external с предложениями CREATE TABLE ... TBLPROPERTIES и ALTER TABLE ... SET TBLPROPERTIES теперь возникают исключения.

Библиотека Log4j обновлена с версии Log4j 1 до Log4j 2

Библиотека Log4j 1 была обновлена до версии Log4j 2. Устаревшие зависимости Log4j 1 удаляются.

Если вы используете зависимости от классов Log4j 1, которые ранее были включены в Databricks Runtime, учтите, что эти классы больше не существуют. Вам нужно обновить зависимости до версии Log4j 2.

Если у вас есть пользовательские подключаемые модули или файлы конфигурации, которые зависят от Log4j 2, возможно, они не будут работать с версией Log4j 2 в этом выпуске. Чтобы получить помощь, обратитесь к группе учетных записей Azure Databricks.

Библиотеки, установленные из Maven, теперь разрешаются в плоскости вычислений по умолчанию.

Библиотеки Maven теперь разрешаются в плоскости вычислений по умолчанию при установке библиотек в кластере. Кластер должен иметь доступ к Maven Central. Кроме того, можно вернуться к предыдущему поведению, задав свойство конфигурации Spark:

spark.databricks.libraries.enableMavenResolution false

Исправления ошибок

Двоичная совместимость для LeafNode, UnaryNode и BinaryNode между Apache Spark и Databricks Runtime исправлена, а классы теперь совместимы с Apache Spark 3.3.0 и более поздних версий. Если при использовании пакета стороннего разработчика с Databricks Runtime возникает следующее или аналогичное сообщение, перестройте пакет с помощью Apache Spark 3.3.0 или более поздней версии: Found interface org.apache.spark.sql.catalyst.plans.logical.UnaryNode, but class was expected.

Обновления библиотек

Обновленные библиотеки Python:
- platformdirs, с версии 2.5.1 до 2.5.2;
- protobuf, с версии 3.20.0 до 3.20.1.
Обновленные библиотеки R:
- blob, с версии 1.2.2 до 1.2.3;
- broom, с версии 0.7.12 до 0.8.0;
- caret, с версии 6.0-91 до 6.0-92;
- cli, с версии 3.2.0 до 3.3.0;
- dplyr, с версии 1.0.8 до 1.0.9;
- future, с версии 1.24.0 до 1.25.0;
- future.apply, с версии 1.8.1 до 1.9.0;
- gert, с версии 1.5.0 до 1.6.0;
- ggplot2, с версии 3.3.5 до 3.3.6;
- glmnet, с версии 4.1-3 до 4.1-4;
- haven, с версии 2.4.3 до 2.5.0;
- httr, с 1.4.2 до 1.4.3;
- knitr, с версии 1.38 до 1.39;
- magrittr, с версии 2.0.2 до 2.0.3;
- parallelly, с версии 1.30.0 до 1.31.1;
- ps, с версии 1.6.0 до 1.7.0;
- RColorBrewer, с версии 1.1-2 до 1.1-3;
- RcppEigen, с версии 0.3.3.9.1 до 0.3.3.9.2;
- readxl, с версии 1.3.1 до 1.4.0;
- rmarkdown, с версии 2.13 до 2.14;
- rprojroot, с версии 2.0.2 до 2.0.3;
- RSQLite, с версии 2.2.11 до 2.2.13;
- scales, с версии 1.1.1 до 1.2.0;
- testthat, с версии 3.1.2 до 3.1.4;
- tibble, с версии 3.1.6 до 3.1.7;
- tinytex, с версии 0.37 до 0.38;
- tzdb, с версии 0.2.0 до 0.3.0;
- uuid, с версии 1.0-4 до 1.1-0;
- vctrs, с версии 0.3.8 до 0.4.1;
Обновленные библиотеки Java:
- com.fasterxml.jackson.core.jackson-annotations, с версии 2.13.0 до 2.13.3;
- com.fasterxml.jackson.core.jackson-core, с версии 2.13.0 до 2.13.3;
- com.fasterxml.jackson.core.jackson-databind, с версии 2.13.0 до 2.13.3;
- com.fasterxml.jackson.dataformat.jackson-dataformat-cbor, с версии 2.13.0 до 2.13.3;
- com.fasterxml.jackson.datatype.jackson-datatype-joda, с версии 2.13.0 до 2.13.3;
- com.fasterxml.jackson.module.jackson-module-paranamer, с версии 2.13.0 до 2.13.3;
- com.fasterxml.jackson.module.jackson-module-scala_2.12, с версии 2.13.0 до 2.13.3;
- com.google.crypto.tink.tink, с версии 1.6.0 до 1.6.1;
- com.ning.compress-lzf, с версии 1.0.3 до 1.1;
- dev.ludovic.netlib.arpack, с версии 2.2.0 до 2.2.1;
- dev.ludovic.netlib.blas, с версии 2.2.0 до 2.2.1;
- dev.ludovic.netlib.lapack, с версии 2.2.0 до 2.2.1;
- io.netty.netty-all, с версии 4.1.73.Final до 4.1.74.Final;
- io.netty.netty-buffer, с версии 4.1.73.Final до 4.1.74.Final;
- io.netty.netty-codec, с версии 4.1.73.Final до 4.1.74.Final;
- io.netty.netty-common, с версии 4.1.73.Final до 4.1.74.Final;
- io.netty.netty-handler, с версии 4.1.73.Final до 4.1.74.Final;
- io.netty.netty-resolver, с версии 4.1.73.Final до 4.1.74.Final;
- io.netty.netty-tcnative-classes, с версии 2.0.46.Final до 2.0.48.Final;
- io.netty.netty-transport, с версии 4.1.73.Final до 4.1.74.Final;
- io.netty.netty-transport-classes-epoll, с версии 4.1.73.Final до 4.1.74.Final;
- io.netty.netty-transport-classes-kqueue, с версии 4.1.73.Final до 4.1.74.Final;
- io.netty.netty-transport-native-epoll-linux-aarch_64, с версии 4.1.73.Final до 4.1.74.Final;
- io.netty.netty-transport-native-epoll-linux-x86_64, с версии 4.1.73.Final до 4.1.74.Final;
- io.netty.netty-transport-native-kqueue-osx-aarch_64, с версии 4.1.73.Final до 4.1.74.Final;
- io.netty.netty-transport-native-kqueue-osx-x86_64, с версии 4.1.73.Final до 4.1.74.Final;
- io.netty.netty-transport-native-unix-common, с версии 4.1.73.Final до 4.1.74.Final;
- joda-time.joda-time, с версии 2.10.12 до 2.10.13;
- org.apache.commons.commons-math3, с версии 3.4.1 до 3.6.1;
- org.apache.httpcomponents.httpcore, с версии 4.4.12 до 4.4.14;
- org.apache.orc.orc-core, с версии 1.7.3 до 1.7.4;
- org.apache.orc.orc-mapreduce, с версии 1.7.3 до 1.7.4;
- org.apache.orc.orc-shims, с версии 1.7.3 до 1.7.4;
- org.eclipse.jetty.jetty-client, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
- org.eclipse.jetty.jetty-continuation, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
- org.eclipse.jetty.jetty-http, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
- org.eclipse.jetty.jetty-io, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
- org.eclipse.jetty.jetty-jndi, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
- org.eclipse.jetty.jetty-plus, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
- org.eclipse.jetty.jetty-proxy, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
- org.eclipse.jetty.jetty-security, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
- org.eclipse.jetty.jetty-server, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
- org.eclipse.jetty.jetty-servlet, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
- org.eclipse.jetty.jetty-servlets, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
- org.eclipse.jetty.jetty-util, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
- org.eclipse.jetty.jetty-util-ajax, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
- org.eclipse.jetty.jetty-webapp, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
- org.eclipse.jetty.jetty-xml, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
- org.eclipse.jetty.websocket.websocket-api, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
- org.eclipse.jetty.websocket.websocket-client, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
- org.eclipse.jetty.websocket.websocket-common, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
- org.eclipse.jetty.websocket.websocket-server, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
- org.eclipse.jetty.websocket.websocket-servlet, с версии 9.4.43.v20210629 до 9.4.46.v20220331;
- org.mariadb.jdbc.mariadb-java-client, с версии 2.2.5 до 2.7.4;
- org.postgresql.postgresql, с версии 42.2.19 до 42.3.3;
- org.roaringbitmap.RoaringBitmap, с версии 0.9.23 до 0.9.25;
- org.roaringbitmap.shims, с версии 0.9.23 до 0.9.25;
- org.rocksdb.rocksdbjni, с версии 6.20.3 до 6.24.2;
- org.slf4j.jcl-over-slf4j, с версии 1.7.32 до 1.7.36;
- org.slf4j.jul-to-slf4j, с версии 1.7.32 до 1.7.36;
- org.slf4j.slf4j-api, с версии 1.7.30 до 1.7.36;

Apache Spark

Databricks Runtime 11.0 включает Apache Spark 3.3.0.

В этом разделе рассматриваются следующие вопросы.

Spark SQL и Core
Структурированная потоковая передача
PySpark
MLlib
SparkR
Пользовательский интерфейс
Сборка

Spark SQL и Core

Режим ANSI

Новые правила синтаксиса явного приведения в режиме ANSI (SPARK-33354)
Elt() теперь возвращает значение NULL, если индекс имеет значение NULL в режиме ANSI (SPARK-38304)
Дополнительный возврат результата NULL, если элемент не существует в массиве или сопоставлении (SPARK-37750)
Разрешено приведение между числовым типом и типом метки времени (SPARK-37714)
Отключение зарезервированных ключевых слов ANSI по умолчанию (SPARK-37724)
Использование правил назначения хранилища для разрешения вызова функции (SPARK-37438)
Добавление конфигурации, которая разрешает приведение между значениями даты и времени и числовыми значениями (SPARK-37179)
Добавление конфигурации, с помощью которой можно при необходимости принудительно применить зарезервированные ключевые слова ANSI (SPARK-37133)
Запрет двоичных операций между интервалом и строковым литералом (SPARK-36508)

Усовершенствования функций

Поддержка типов ANSI SQL INTERVAL (SPARK-27790)
Улучшения сообщений об ошибках (SPARK-38781)
Поддержка скрытых метаданных файлов для Spark SQL (SPARK-37273)
Поддержка необработанного строкового литерала (SPARK-36371)
Вспомогательный класс для пакетной обработки с помощью Dataset.observe() (SPARK-34806)
Поддержка указания начального номера секции для повторной балансировки (SPARK-38410)
Добавлена поддержка каскадного режима для API dropNamespace (SPARK-37929)
Разрешение назначения хранилища и неявного приведения типов даты и времени (SPARK-37707)
Collect, first и last должны быть детерминированными агрегатными функциями (SPARK-32940)
Добавление ExpressionBuilder для функций со сложными перегрузками (SPARK-37164)
Добавление поддержки массивов в объединение по имени (SPARK-36546)
Добавление df.withMetadata: синтаксическое сокращение для обновления метаданных кадра данных (SPARK-36642)
Поддержка необработанного строкового литерала (SPARK-36371)
Использование CAST для синтаксического анализа дат и меток времени с шаблоном по умолчанию (SPARK-36418)
Поддержка класса значений во вложенной схеме для набора данных (SPARK-20384)
Добавление поддержки синтаксиса AS OF (SPARK-37219)
Добавление REPEATABLE в TABLESAMPLE для указания начального значения (SPARK-37165)
Добавление синтаксиса ANSI set catalog xxx для изменения текущего каталога (SPARK-36841)
Поддержка ILIKE (ALL | ANY | SOME) — LIKE без учета регистра (SPARK-36674, SPARK-36736, SPARK-36778)
Поддержка отображения статистики времени выполнения на этапе запроса в форматированном режиме объяснения (SPARK-38322)
Добавление метрик размера сброса для соединения слиянием сортированных списков (SPARK-37726)
Обновление синтаксиса SQL для SHOW FUNCTIONS (SPARK-37777)
Поддержка синтаксиса DROP COLUMN [IF EXISTS] (SPARK-38939)
Новые встроенные функции и их расширения (SPARK-38783)
- Datetime
  - Добавление функции TIMESTAMPADD() (SPARK-38195)
  - Добавление функции TIMESTAMPDIFF() (SPARK-38284)
  - Добавление псевдонима DATEDIFF() для TIMESTAMPDIFF() (SPARK-38389)
  - Добавление псевдонима DATEADD() для TIMESTAMPADD() (SPARK-38332)
  - Добавление функции convert\_timezone() (SPARK-37552, SPARK-37568)
  - Предоставление выражения make_date в functions.scala (SPARK-36554)
- Функции AES (SPARK-12567)
  - Добавление встроенных функций aes_encrypt и aes_decrypt (SPARK-12567)
  - Поддержка режима GCM в aes\_encrypt()/aes\_decrypt() (SPARK-37591)
  - Установка GCM в качестве режима по умолчанию в aes\_encrypt()/aes\_decrypt() (SPARK-37666)
  - Добавление аргументов mode и padding в aes\_encrypt()/aes\_decrypt() (SPARK-37586)
- Функция агрегирования ANSI (SPARK-37671)
  - Поддержка агрегатной функции ANSI: regr_count (SPARK-37613)
  - Поддержка агрегатной функции ANSI: regr_avgx и regr_avgy (SPARK-37614)
  - Поддержка функции агрегирования ANSI: percentile_cont (SPARK-37676, SPARK-38219)
  - Поддержка функции агрегирования ANSI: percentile_disc (SPARK-37691)
  - Поддержка агрегатной функции ANSI: regr_count (SPARK-37613)
  - Поддержка агрегатной функции ANSI: array_agg (SPARK-27974)
  - Поддержка агрегатной функции ANSI: regr_r2 (SPARK-37641)
  - Новая функция SQL: try_avg (SPARK-38589)
- Коллекции
  - Добавление функции SQL ARRAY_SIZE (SPARK-38345)
  - Новая функция SQL: map_contains_key (SPARK-37584)
  - Новая функция SQL: try_element_at (SPARK-37533)
  - Новая функция SQL: try_sum (SPARK-38548)
- Формат
  - Добавлена новая функция SQL to_binary (SPARK-37507, SPARK-38796)
  - Новая функция SQL: try_to_binary (SPARK-38590, SPARK-38796)
  - Функции форматирования типов данных: to\_number (SPARK-28137)
- String/Binary
  - Добавление строковой функции CONTAINS() (SPARK-37508)
  - Добавление строковых функций startswith() и endswith() (SPARK-37520)
  - Добавление функций lpad и rpad для двоичных строк (SPARK-37047)
  - Поддержка функции split_part (SPARK-38063)
- Добавление параметра масштабирования в функции floor и ceil (SPARK-37475)
- Новые функции SQL: try_subtract и try_multiply (SPARK-38164)
- Реализация агрегатной функции histogram_numeric, которая поддерживает частичное агрегирование (SPARK-16280)
- Добавление max_by/min_by в sql.functions (SPARK-36963)
- Добавление новых встроенных функций SQL: SEC и CSC (SPARK-36683)
- array_intersect обрабатывает повторяющиеся Double.NaN и Float.NaN (SPARK-36754)
- Добавление cot в качестве функций Scala и Python (SPARK-36660)

Улучшения в плане производительности

создание кода Кто этапов
- Добавление генератора кода для сортировки агрегатов без группирования ключей (SPARK-37564)
- Добавление генератора кода для полного внешнего соединения слиянием сортированных списков (SPARK-35352)
- Добавление генератора кода для полного внешнего хэш-соединения с перемешиванием (SPARK-32567)
- Добавление генератора кода для соединения слиянием сортированных списков (SPARK-37316)
Отправка (фильтры)
- Pushdown фильтров использованием RebalancePartitions (SPARK-37828)
- Pushdown логического фильтра столбцов (SPARK-36644)
- Установка равного 1 предела pushdown для правой части левого полу- или антисоедиенния, если условие объединения пустое (SPARK-37917)
- Преобразование более стандартных агрегатных функции для pushdown (SPARK-37527)
- Поддержка распространения пустых связей с помощью агрегата или объединения (SPARK-35442)
- Фильтрация среды выполнения на уровне строк (SPARK-32268)
- Поддержка левого полусоединения в фильтрах среды выполнения уровня строк (SPARK-38565)
- Поддержка pushdown предиката и удаления столбцов для дедуплицированных CTE (SPARK-37670)
Векторизации
- Реализация ConstantColumnVector и повышение производительности скрытых метаданных файлов (SPARK-37896)
- Включение векторизованного чтения для VectorizedPlainValuesReader.readBooleans (SPARK-35867)
Объединение и удаление и замена узлов
- Совмещение объединений, если между ними есть проект (SPARK-37915)
- Объединение двух приведений в одно, если для них повышающее приведение безопасно (SPARK-37922)
- Удаление сортировки, если она является дочерней для RepartitionByExpression (SPARK-36703)
- Удаление внешнего соединения только при наличии DISTINCT на стороне потоковой передачи с использованием псевдонима (SPARK-37292)
- Замена хэш-кода агрегатной функцией сортировки, если дочерний элемент уже отсортирован (SPARK-37455)
- Проекты сворачиваются только в том случае, если не дублируются дорогостоящие выражения (SPARK-36718)
- Удаление лишних псевдонимов после RewritePredicateSubquery (SPARK-36280)
- Объединение некоррелируемых скалярных вложенных запросов (SPARK-34079)
Секционирования
- Динамическое удаление секций не добавляется, если существует статическое удаление (SPARK-38148)
- Улучшено RebalancePartitions в правилах оптимизатора (SPARK-37904)
- Добавление небольшого коэффициента секции для повторной балансировки секций (SPARK-37357)
Присоединиться к
- Настройка логики понижения уровня широковещательного хэш-соединения в DynamicJoinSelection (SPARK-37753)
- Игнорирование дублирующихся ключей соединения при построении отношения для перемешиваемого хэш-соединения SEMI или ANTI (SPARK-36794)
- Поддержка оптимизации асимметричного соединения, даже если вводится дополнительное перемешивание (SPARK-33832)
AQE
- Добавлена поддержка устранения ограничений в оптимизаторе AQE (SPARK-36424)
- Оптимизирован план в одну запись в обычном оптимизаторе и оптимизаторе AQE (SPARK-38162)
Aggregate.groupOnly поддерживает свертываемые выражения (SPARK-38489)
ByteArrayMethods arrayEqual должен быстро пропустить проверку согласованности с несогласованной платформой (SPARK-37796)
В правило CTESubstitution добавлена возможность удалить шаблон дерева (SPARK-37379)
Добавлены дополнительные упрощения оператора Not (SPARK-36665)
Добавлена поддержка BooleanType в UnwrapCastInBinaryComparison (SPARK-36607)
Объединение удаляет все выражения после первого выражения, недопускающего значения NULL (SPARK-36359)
Добавление посетителя для логического плана для распространения различных атрибутов (SPARK-36194)

Улучшения встроенных соединителей

Общее
- Гибкая сериализация даты и времени из источника данных (SPARK-38437)
- Расположение таблицы воспринимается как абсолютное, если первым символом в пути, указанном при создании или изменении таблицы, является косая черта (SPARK-38236)
- Удаление начальных нулей из пустой статической секции числового типа (SPARK-35561)
- Поддержка ignoreCorruptFiles и ignoreMissingFiles в параметрах источника данных (SPARK-38767)
- Добавлена команда SHOW CATALOGS (SPARK-35973)
Паркетным
- Включение сопоставления имен столбцов схемы по идентификаторам полей (SPARK-38094)
- Удаление имени проверочного поля при чтении или записи данных в Parquet (SPARK-27442)
- Поддержка использования кодировки RLE для логических значений векторизованного чтения в Parquet DataPage версии 2 (SPARK-37864)
- Поддержка кодировки страниц данных Parquet версии 2 (DELTA_BINARY_PACKED) для векторизованного пути (SPARK-36879)
- Перемещение меток времени в часовом поясе сеанса, сохраненных в метаданных Parquet или Avro (SPARK-37705)
- Pushdown группы по столбцу секции для агрегата (SPARK-36646)
- Pushdown агрегата (Min, Max или Count) для Parquet (SPARK-36645)
- Parquet: включение сопоставления имен столбцов схемы по идентификаторам полей (SPARK-38094)
- Уменьшение размера страницы по умолчанию с помощью LONG_ARRAY_OFFSET, если используются G1GC и ON_HEAP (SPARK-37593)
- Реализация векторизованных кодировок DELTA_BYTE_ARRAY и DELTA_LENGTH_BYTE_ARRAY для поддержки Parquet версии 2 (SPARK-37974)
- Поддержка сложных типов для векторного средства чтения Parquet (SPARK-34863)
ОРК
- Удалено имя проверочного поля при чтении или записи существующих данных в ORC (SPARK-37965)
- Pushdown агрегата для ORC (SPARK-34960)
- Поддержка чтения и записи интервалов ANSI в источниках данных ORC (SPARK-36931)
- Поддержка имен столбцов, состоящих только из чисел, в источниках данных ORC (SPARK-36663)
JSON — .
- Соблюдается allowNonNumericNumbers при обработке не числа в кавычках и бесконечных значений в модуле чтения JSON (SPARK-38060)
- По умолчанию используется CAST для даты и времени в CSV и JSON (SPARK-36536)
- Выравнивание сообщения об ошибке для неподдерживаемых типов ключей в MapType в средстве чтения JSON (SPARK-35320)
CSV
- Исправление столбца в CSV-файле, связанного с поврежденной записью (SPARK-38534)
- По умолчанию должны сохраняться значения NULL вместо пустых строк, заключенных в кавычки (SPARK-37575)
JDBC
- Добавлен оператор IMMEDIATE в реализацию усечения диалекта DB2 (SPARK-30062)
Hive
- Поддержка записи таблицы с сегментами Hive (форматы файлов Hive с хэшем Hive) (SPARK-32712)
- Фильтрация секций Hive на стороне клиента с помощью выражений (SPARK-35437)
- Поддержка очистки динамических разделов для HiveTableScanExec (SPARK-36876)
- InsertIntoHiveDir должен использовать источник данных, если он является преобразуемым (SPARK-38215)
- Поддержка записи таблицы с контейнерами Hive (формат Parquet / ORC с хэшем Hive) (SPARK-32709)

Прекращение использования узла

Объект FallbackStorage не должен пытаться разрешить произвольное "удаленное" имя узла (SPARK-38062)
ExecutorMonitor.onExecutorRemoved должен обрабатывать ExecutorDecommission как завершенный (SPARK-38023)

Другие важные изменения

Добавление блокировки мелких фрагментов данных в BlockInfoManager (SPARK-37356)
Поддержка сопоставления типов ресурсов GPU и FPGA Spark с пользовательским типом ресурсов YARN (SPARK-37208)
Сообщение точного размера перемешанного блока в случае неравномерных данных в нем (SPARK-36967)
Поддержка ведения журнала Netty на уровне сети (SPARK-36719)

Структурированная потоковая передача

Основные возможности

Представлен Trigger.AvailableNow для выполнения потоковых запросов, таких как Trigger.Once, в нескольких пакетах (SPARK-36533)

Другие важные изменения

Использование StatefulOpClusteredDistribution для операторов с отслеживанием состояния с учетом обратной совместимости (SPARK-38204)
Исправлено время ожидания flatMapGroupsWithState в пакете с данными для ключа (SPARK-38320)
Исправлена проблема корректности при внешнем соединении "поток — поток" с поставщиком хранилища состояний RocksDB (SPARK-38684)
Поддержка Trigger.AvailableNow для источника данных Kafka (SPARK-36649)
Оптимизация пути записи в поставщике хранилища состояний RocksDB (SPARK-37224)
Добавление нового источника данных для обеспечения постоянного набора строк в каждом микропакете (SPARK-37062)
Использование HashClusteredDistribution для операторов с отслеживанием состояния с учетом обратной совместимости (SPARK-38204)

PySpark

API Pandas в Spark

Основные улучшения

Оптимизация индекса распределенной последовательности с использованием по умолчанию (SPARK-36559, SPARK-36338)
- Поддержка указания имени и типа индекса в API Pandas в Spark (SPARK-36709)
- Отображение типа индекса по умолчанию в планах SQL для API Pandas в Spark (SPARK-38654)

Основные возможности

Реализация собственной для Spark SQL функции ps.merge_asof (SPARK-36813)
Поддержка TimedeltaIndex в API Pandas в Spark (SPARK-37525)
Поддержка timedelta Python (SPARK-37275, SPARK-37510)
Реализация функций в CategoricalAccessor и CategoricalIndex (SPARK-36185)
Использование стандартного форматировщика строк Python для SQL API в API Pandas в Spark (SPARK-37436)
Поддержка базовых операций timedelta Series и Index (SPARK-37510)
Поддержка ps.MultiIndex.dtypes (SPARK-36930)
Реализация Index.map (SPARK-36469)
Реализация Series.xor и Series.rxor (SPARK-36653)
Реализация унарного оператора invert целочисленных ps.Series и ps.Index (SPARK-36003)
Реализация DataFrame.cov (SPARK-36396)
Поддержка строкового типа и типа меток времени для (Series|DataFrame).describe() (SPARK-37657)
Поддержка лямбда-параметра column для DataFrame.rename(SPARK-38763)

Другие важные изменения

Критические изменения

Удалены упоминания о поддержке Python 3.6 в docs и python/docs (SPARK-36977)
Удаление именованного кортежа элементов путем замены встроенного pickle на облачный (SPARK-32079)
Повышена минимальная версия Pandas до версии 1.0.5 (SPARK-37465)
Основные улучшения
- Предоставление профилировщика для определяемых пользователем функций Python и Pandas (SPARK-37443)
- Использование стандартного форматировщика строк Python для SQL API в PySpark (SPARK-37516)
- Предоставление класса ошибок и состояний в исключениях PySpark (SPARK-36953)
- Попытка записи данных faulthanlder при сбое рабочей роли Python (SPARK-36062)

Основные возможности

Реализация DataFrame.mapInArrow в Python (SPARK-37228)
Использование стандартного форматировщика строк Python для SQL API в PySpark (SPARK-37516)
Добавление API PySpark df.withMetadata (SPARK-36642)
Поддержка timedelta Python (SPARK-37275)
Предоставление tableExists в pyspark.sql.catalog (SPARK-36176)
Предоставление databaseExists в pyspark.sql.catalog (SPARK-36207)
Предоставление functionExists в pyspark.sql.catalog (SPARK-36258)
Добавление Dataframe.observation в PySpark (SPARK-36263)
Добавление API max_by/min_by в PySpark (SPARK-36972)
Поддержка определения вложенного словаря в виде структуры при создании DataFrame (SPARK-35929)
Добавление интерфейсов API bit/octet_length в Scala, Python и R (SPARK-36751)
Поддержка API ILIKE в Python (SPARK-36882)
Добавлен метод isEmpty в API DataFrame для Python (SPARK-37207)
Поддержка добавления нескольких столбцов (SPARK-35173)
Добавление SparkContext.addArchive в PySpark (SPARK-38278)
Добавлена возможность сделать представления типов SQL вычисляемыми (SPARK-18621)
Встроены подсказки для типов fpm.py в python/pyspark/mllib (SPARK-37396)
Реализация параметра dropna для SeriesGroupBy.value_counts (SPARK-38837)

MLlib

Основные возможности

Добавлен параметр distanceMeasure в trainKMeansModel (SPARK-37118)
Предоставление LogisticRegression.setInitialModel, таких как KMeans и другие (SPARK-36481)
Поддержка в CrossValidatorModel получения стандартного отклонения метрик для каждого paramMap (SPARK-36425)

Основные улучшения

Оптимизация некоторых объектов treeAggregates в MLlib путем задержки выделения (SPARK-35848)
Перезаписан _shared_params_code_gen.py, чтобы встроить подсказки для типов для ml/param/shared.py (SPARK-37419)

Другие важные изменения

Обновление до breeze 1.2 (SPARK-35310)

SparkR

Перенос документов SparkR в pkgdown (SPARK-37474)
Предоставление выражения make_date в R (SPARK-37108)
Добавление API max_by/min_by в SparkR (SPARK-36976)
Поддержка API ILIKE в R (SPARK-36899)
Добавление sec и csc в качестве функций R (SPARK-36824)
Добавление интерфейсов API bit/octet_length в Scala, Python и R (SPARK-36751)
Добавление cot в качестве функции R (SPARK-36688)

UI

Сводка метрик упреждающего выполнения задач на уровне этапа (SPARK-36038)
Объединенная метрика Shuffle Read Block Time (Время блокировки при чтении в случайном порядке) заменена метрикой Shuffle Read Fetch Wait Time (Время ожидания при чтении в случайном порядке) в StagePage (SPARK-37469)
Добавление измененных конфигураций для выполнения SQL в пользовательском интерфейсе (SPARK-34735)
Распознавание модулем ThriftServer выражения spark.sql.redaction.string.regex (SPARK-36400)
Подключение и запуск обработчика после запуска приложения в пользовательском интерфейсе (SPARK-36237)
Добавление длительности фиксации в узел графа вкладки SQL (SPARK-34399)
Поддержка серверной части RocksDB на сервере журнала Spark (SPARK-37680)
Отображение параметров API Pandas в Spark в пользовательском интерфейсе (SPARK-38656)
Переименование SQL в SQL / DataFrame (SQL / Кадр данных) на странице пользовательского интерфейса SQL (SPARK-38657)

Сборка

Переход с версии log4j 1 на log4j 2 (SPARK-37814)
Обновление log4j2 до версии 2.17.2 (SPARK-38544)
Обновление до Py4J 0.10.9.5 (SPARK-38563)
Обновление ORC до версии 1.7.4 (SPARK-38866)
Обновление таблиц данных до версии 1.10.25 (SPARK-38924)

Обновления в рамках обслуживания

См. раздел Databricks Runtime 11.0 (неподдерживаемый).

Системная среда

Операционная система: Ubuntu 20.04.4 LTS
Java: Zulu 8.56.0.21-CA-linux64
Scala: 2.12.14.
Python: 3.9.5
R: 4.1.3.
Delta Lake: 1.2.1

Установленные библиотеки Python

Библиотека	Версия	Библиотека	Версия	Библиотека	Версия
Antergos Linux	2015.10 (ISO-Rolling)	argon2-cffi	20.1.0	async-generator	1,10
attrs	21.2.0	backcall	0.2.0	backports.entry-points-selectable	1.1.1
bleach	4.0.0	boto3	1.21.18	botocore	1.24.18
certifi	2021.10.8	cffi	1.14.6	chardet	4.0.0
charset-normalizer	2.0.4	cycler	0.10.0	Cython	0.29.24
dbus-python	1.2.16	debugpy	1.4.1	decorator	5.1.0
defusedxml	0.7.1	distlib	0.3.4	distro-info	0.23ubuntu1
entrypoints	0,3	facets-overview	1.0.0	filelock	3.6.0
idna	3.2	ipykernel	6.12.1	ipython	7.32.0
ipython-genutils	0.2.0	ipywidgets	7.7.0	jedi	0.18.0
Jinja2	2.11.3	jmespath	0.10.0	joblib	1.0.1
jsonschema	3.2.0	jupyter-client	6.1.12	jupyter-core	4.8.1
jupyterlab-pygments	0.1.2	jupyterlab-widgets	1.0.0	kiwisolver	1.3.1
MarkupSafe	2.0.1	matplotlib	3.4.3	matplotlib-inline	0.1.2
mistune	0.8.4	nbclient	0.5.3	nbconvert	6.1.0
nbformat	5.1.3	nest-asyncio	1.5.1	записная книжка	6.4.5
numpy	1.20.3	во внешнем виде	21,0	pandas	1.3.4
pandocfilters	1.4.3	parso	0.8.2	patsy	0.5.2
pexpect	4.8.0	pickleshare	0.7.5	Pillow	8.4.0
pip	21.2.4	platformdirs	2.5.2	график	5.6.0
prometheus-client	0.11.0	prompt-toolkit	3.0.20	protobuf	3.20.1
psutil	5.8.0	psycopg2	2.9.3	ptyprocess	0.7.0
pyarrow	7.0.0	pycparser	2,20	Pygments	2.10.0
PyGObject	3.36.0	pyodbc	4.0.31	pyparsing	3.0.4
pyrsistent	0.18.0	python-apt	2.0.0+ubuntu0.20.4.7	python-dateutil	2.8.2
pytz	2021.3	pyzmq	22.2.1	requests	2.26.0
requests-unixsocket	0.2.0	s3transfer	0.5.2	scikit-learn	0.24.2
scipy	1.7.1	Сиборн	0.11.2	Send2Trash	1.8.0
setuptools	58.0.4	six	1.16.0	ssh-import-id	5,10
statsmodels	0.12.2	tenacity	8.0.1	terminado	0.9.4
testpath	0.5.0	threadpoolctl	2.2.0	tornado	6.1
traitlets	5.1.0	unattended-upgrades	0,1	urllib3	1.26.7
virtualenv	20.8.0	wcwidth	0.2.5	webencodings	0.5.1
wheel	0.37.0	widgetsnbextension	3.6.0

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка Microsoft CRAN от 06.05.2022.

Библиотека	Версия	Библиотека	Версия	Библиотека	Версия
askpass	1,1	assertthat	0.2.1	внутренние порты	1.4.1
base	4.1.3	base64enc	0.1-3	bit	4.0.4
bit64	4.0.5	большой двоичный объект	1.2.3	загрузка	1.3-28
Заваривать	1.0-7	brio	1.1.3	Метлу	0.8.0
bslib	0.3.1	cachem	1.0.6	вызывающий объект	3.7.0
крышка	6.0-92	cellranger	1.1.0	chron	2.3-56
class	7.3-20	cli	3.3.0	clipr	0.8.0
cluster	2.1.3	codetools	0.2-18	colorspace	2.0-3
commonmark	1.8.0	компилятор	4.1.3	config	0.3.1
cpp11	0.4.2	Карандаш	1.5.1	учетные данные	1.3.2
curl	4.3.2	data.table	1.14.2	наборы данных	4.1.3
DBI	1.1.2	dbplyr	2.1.1	desc	1.4.1
средства разработки	2.4.3	diffobj	0.3.5	digest	0.6.29
dplyr	1.0.9	dtplyr	1.2.1	e1071	1.7-9
многоточие	0.3.2	evaluate	0,15	вентиляторы	1.0.3
Farver	2.1.0	fastmap	1.1.0	fontawesome	0.2.2
forcats	0.5.1	foreach	1.5.2	Иностранных	0.8-82
forge	0.2.0	fs	1.5.2	будущее	1.25.0
future.apply	1.9.0	gargle	1.2.0	Универсальные шаблоны	0.1.2
gert	1.6.0	ggplot2	3.3.6	gh	1.3.0
gitcreds	0.1.1	glmnet	4.1-4	globals	0.14.0
Клей	1.6.2	googledrive	2.0.0	googlesheets4	1.0.0
Говер	1.0.0	графика	4.1.3	grDevices	4.1.3
grid	4.1.3	gridExtra	2.3	gsubfn	0,7
gtable	0.3.0	hardhat	0.2.0	haven	2.5.0
высокий	0,9	Hms	1.1.1	htmltools	0.5.2
htmlwidgets	1.5.4	httpuv	1.6.5	httr	1.4.3
ids	1.0.1	ini	0.3.1	ipred	0.9-12
isoband	0.2.5	Итераторы	1.0.14	jquerylib	0.1.4
jsonlite	1.8.0	KernSmooth	2.23-20	трикотажный	1,39
Маркировки	0.4.2	later	1.3.0	Решетки	0.20-45
Lava	1.6.10	жизненный цикл	1.0.1	listenv	0.8.0
lubridate	1.8.0	magrittr	2.0.3	Markdown	1,1
МАССАЧУСЕТС	7.3-56	«Матрица»	1.4-1	memoise	2.0.1
оплаты	4.1.3	mgcv	1.8-40	Mime	0,12
ModelMetrics	1.2.2.2	modelr	0.1.8	munsell	0.5.0
nlme	3.1-157	nnet	7.3-17	numDeriv	2016.8-1.1
openssl	2.0.0	parallel	4.1.3	parallelly	1.31.1
Столб	1.7.0	pkgbuild	1.3.1	pkgconfig	2.0.3
pkgload	1.2.4	plogr	0.2.0	plyr	1.8.7
Похвалы	1.0.0	prettyunits	1.1.1	Proc	1.18.0
processx	3.5.3	prodlim	2019.11.13	Ход выполнения	1.2.2
progressr	0.10.0	promises	1.2.0.1	proto	1.0.0
proxy	0.4-26	ps	1.7.0	purrr	0.3.4
r2d3	0.2.6	R6	2.5.1	randomForest	4.7-1
rappdirs	0.3.3	rcmdcheck	1.4.0	RColorBrewer	1.1-3
Rcpp	1.0.8.3	RcppEigen	0.3.3.9.2	readr	2.1.2
readxl	1.4.0	Рецепты	0.2.0	Реванш	1.0.1
rematch2	2.1.2	remotes	2.4.2	reprex	2.0.1
reshape2	1.4.4	rlang	1.0.2	rmarkdown	2,14
RODBC	1.3-19	roxygen2	7.1.2	rpart	4.1.16
rprojroot	2.0.3	Rserve	1.8-10	RSQLite	2.2.13
rstudioapi	0,13	rversions	2.1.1	rvest	1.0.2
sass	0.4.1	Весы	1.2.0	селектор	0.4-2
sessioninfo	1.2.2	Формы	1.4.6	Блестящие	1.7.1
sourcetools	0.1.7	sparklyr	1.7.5	SparkR	3.3.0
пространственный	7.3-11	Сплайны	4.1.3	sqldf	0.4-11
SQUAREM	2021.1	stats	4.1.3	статистика4	4.1.3
stringi	1.7.6	stringr	1.4.0	Выживания	3.2-13
sys	3,4	tcltk	4.1.3	testthat	3.1.4
tibble	3.1.7	tidyr	1.2.0	tidyselect	1.1.2
tidyverse	1.3.1	TimeDate	3043.102	tinytex	0,38
средства	4.1.3	tzdb	0.3.0	usethis	2.1.5
utf8	1.2.2	служебные программы	4.1.3	uuid	1.1-0
vctrs	0.4.1	viridisLite	0.4.0	vroom	1.5.7
waldo	0.4.0	виски	0,4	withr	2.5.0
xfun	0,30	xml2	1.3.3	xopen	1.0.0
xtable	1.8-4	Yaml	2.3.5	zip	2.2.0

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)

ИД группы	Идентификатор артефакта	Версия
antlr	antlr	2.7.7
com.amazonaws	amazon-kinesis-client	1.12.0
com.amazonaws	aws-java-sdk-autoscaling	1.12.189
com.amazonaws	aws-java-sdk-cloudformation	1.12.189
com.amazonaws	aws-java-sdk-cloudfront	1.12.189
com.amazonaws	aws-java-sdk-cloudhsm	1.12.189
com.amazonaws	aws-java-sdk-cloudsearch	1.12.189
com.amazonaws	aws-java-sdk-cloudtrail	1.12.189
com.amazonaws	aws-java-sdk-cloudwatch	1.12.189
com.amazonaws	aws-java-sdk-cloudwatchmetrics	1.12.189
com.amazonaws	aws-java-sdk-codedeploy	1.12.189
com.amazonaws	aws-java-sdk-cognitoidentity	1.12.189
com.amazonaws	aws-java-sdk-cognitosync	1.12.189
com.amazonaws	aws-java-sdk-config	1.12.189
com.amazonaws	aws-java-sdk-core	1.12.189
com.amazonaws	aws-java-sdk-datapipeline	1.12.189
com.amazonaws	aws-java-sdk-directconnect	1.12.189
com.amazonaws	aws-java-sdk-directory	1.12.189
com.amazonaws	aws-java-sdk-dynamodb	1.12.189
com.amazonaws	aws-java-sdk-ec2	1.12.189
com.amazonaws	aws-java-sdk-ecs	1.12.189
com.amazonaws	aws-java-sdk-efs	1.12.189
com.amazonaws	aws-java-sdk-elasticache	1.12.189
com.amazonaws	aws-java-sdk-elasticbeanstalk	1.12.189
com.amazonaws	aws-java-sdk-elasticloadbalancing	1.12.189
com.amazonaws	aws-java-sdk-elastictranscoder	1.12.189
com.amazonaws	aws-java-sdk-emr	1.12.189
com.amazonaws	aws-java-sdk-glacier	1.12.189
com.amazonaws	aws-java-sdk-glue	1.12.189
com.amazonaws	aws-java-sdk-iam	1.12.189
com.amazonaws	aws-java-sdk-importexport	1.12.189
com.amazonaws	aws-java-sdk-kinesis	1.12.189
com.amazonaws	aws-java-sdk-kms	1.12.189
com.amazonaws	aws-java-sdk-lambda	1.12.189
com.amazonaws	aws-java-sdk-logs	1.12.189
com.amazonaws	aws-java-sdk-machinelearning	1.12.189
com.amazonaws	aws-java-sdk-opsworks	1.12.189
com.amazonaws	aws-java-sdk-rds	1.12.189
com.amazonaws	aws-java-sdk-redshift	1.12.189
com.amazonaws	aws-java-sdk-route53	1.12.189
com.amazonaws	aws-java-sdk-s3	1.12.189
com.amazonaws	aws-java-sdk-ses	1.12.189
com.amazonaws	aws-java-sdk-simpledb	1.12.189
com.amazonaws	aws-java-sdk-simpleworkflow	1.12.189
com.amazonaws	aws-java-sdk-sns	1.12.189
com.amazonaws	aws-java-sdk-sqs	1.12.189
com.amazonaws	aws-java-sdk-ssm	1.12.189
com.amazonaws	aws-java-sdk-storagegateway	1.12.189
com.amazonaws	aws-java-sdk-sts	1.12.189
com.amazonaws	aws-java-sdk-support	1.12.189
com.amazonaws	aws-java-sdk-swf-libraries	1.11.22
com.amazonaws	aws-java-sdk-workspaces	1.12.189
com.amazonaws	jmespath-java	1.12.189
com.chuusai	shapeless_2.12	2.3.3
com.clearspring.analytics	потоковая передача	2.9.6
com.databricks	Rserve	1.8-3
com.databricks	jets3t	0.7.1–0
com.databricks.scalapb	compilerplugin_2.12	0.4.15-10
com.databricks.scalapb	scalapb-runtime_2.12	0.4.15-10
com.esotericsoftware	kryo-shaded	4.0.2
com.esotericsoftware	minlog	1.3.0
com.fasterxml	classmate	1.3.4
com.fasterxml.jackson.core	jackson-annotations	2.13.3
com.fasterxml.jackson.core	jackson-core	2.13.3
com.fasterxml.jackson.core	jackson-databind	2.13.3
com.fasterxml.jackson.dataformat	jackson-dataformat-cbor	2.13.3
com.fasterxml.jackson.datatype	jackson-datatype-joda	2.13.3
com.fasterxml.jackson.module	jackson-module-paranamer	2.13.3
com.fasterxml.jackson.module	jackson-module-scala_2.12	2.13.3
com.github.ben-manes.caffeine	caffeine	2.3.4
com.github.fommil	jniloader	1,1
com.github.fommil.netlib	core	1.1.2
com.github.fommil.netlib	native_ref-java	1,1
com.github.fommil.netlib	native_ref-java-natives	1,1
com.github.fommil.netlib	native_system-java	1,1
com.github.fommil.netlib	native_system-java-natives	1,1
com.github.fommil.netlib	netlib-native_ref-linux-x86_64-natives	1,1
com.github.fommil.netlib	netlib-native_system-linux-x86_64-natives	1,1
com.github.luben	zstd-jni	1.5.2-1
com.github.wendykierp	JTransforms	3.1
com.google.code.findbugs	jsr305	3.0.0
com.google.code.gson	gson	2.8.6
com.google.crypto.tink	tink	1.6.1
com.google.flatbuffers	flatbuffers-java	1.12.0
com.google.guava	guava	15,0
com.google.protobuf	protobuf-java	2.6.1
com.h2database	h{_>2<_}	2.0.204
com.helger	профилировщик	1.1.1
com.jcraft	jsch	0.1.50
com.jolbox	bonecp	0.8.0.RELEASE
com.lihaoyi	sourcecode_2.12	0.1.9
com.microsoft.azure	azure-data-lake-store-sdk	2.3.9
com.ning	compress-lzf	1,1
com.sun.mail	javax.mail	1.5.2
com.tdunning	json	1.8
com.thoughtworks.paranamer	paranamer	2.8
com.trueaccord.lenses	lenses_2.12	0.4.12
com.twitter	chill-java	0.10.0
com.twitter	chill_2.12	0.10.0
com.twitter	util-app_2.12	7.1.0
com.twitter	util-core_2.12	7.1.0
com.twitter	util-function_2.12	7.1.0
com.twitter	util-jvm_2.12	7.1.0
com.twitter	util-lint_2.12	7.1.0
com.twitter	util-registry_2.12	7.1.0
com.twitter	util-stats_2.12	7.1.0
com.typesafe	config	1.2.1
com.typesafe.scala-logging	scala-logging_2.12	3.7.2
com.univocity	univocity-parsers	2.9.1
com.zaxxer	HikariCP	4.0.3
commons-cli	commons-cli	1.5.0
commons-codec	commons-codec	1.15
commons-collections	commons-collections	3.2.2
commons-dbcp	commons-dbcp	1.4
commons-fileupload	commons-fileupload	1.3.3
commons-httpclient	commons-httpclient	3.1
commons-io	commons-io	2.11.0
commons-lang	commons-lang	2.6
commons-logging	commons-logging	1.1.3
commons-pool	commons-pool	1.5.4
dev.ludovic.netlib	arpack	2.2.1
dev.ludovic.netlib	blas	2.2.1
dev.ludovic.netlib	lapack	2.2.1
hive-2.3__hadoop-3.2	jets3t-0.7	liball_deps_2.12
info.ganglia.gmetric4j	gmetric4j	1.0.10
io.airlift	aircompressor	0.21
io.delta	delta-sharing-spark_2.12	0.4.0
io.dropwizard.metrics	metrics-core	4.1.1
io.dropwizard.metrics	metrics-graphite	4.1.1
io.dropwizard.metrics	metrics-healthchecks	4.1.1
io.dropwizard.metrics	metrics-jetty9	4.1.1
io.dropwizard.metrics	metrics-jmx	4.1.1
io.dropwizard.metrics	metrics-json	4.1.1
io.dropwizard.metrics	metrics-jvm	4.1.1
io.dropwizard.metrics	metrics-servlets	4.1.1
io.netty	netty-all	4.1.74.Final
io.netty	netty-buffer	4.1.74.Final
io.netty	netty-codec	4.1.74.Final
io.netty	netty-common	4.1.74.Final
io.netty	netty-handler	4.1.74.Final
io.netty	netty-resolver	4.1.74.Final
io.netty	netty-tcnative-classes	2.0.48.Final
io.netty	netty-transport	4.1.74.Final
io.netty	netty-transport-classes-epoll	4.1.74.Final
io.netty	netty-transport-classes-kqueue	4.1.74.Final
io.netty	netty-transport-native-epoll-linux-aarch_64	4.1.74.Final
io.netty	netty-transport-native-epoll-linux-x86_64	4.1.74.Final
io.netty	netty-transport-native-kqueue-osx-aarch_64	4.1.74.Final
io.netty	netty-transport-native-kqueue-osx-x86_64	4.1.74.Final
io.netty	netty-transport-native-unix-common	4.1.74.Final
io.prometheus	simpleclient	0.7.0
io.prometheus	simpleclient_common	0.7.0
io.prometheus	simpleclient_dropwizard	0.7.0
io.prometheus	simpleclient_pushgateway	0.7.0
io.prometheus	simpleclient_servlet	0.7.0
io.prometheus.jmx	Коллектор	0.12.0
jakarta.annotation	jakarta.annotation-api	1.3.5
jakarta.servlet	jakarta.servlet-api	4.0.3
jakarta.validation	jakarta.validation-api	2.0.2
jakarta.ws.rs	jakarta.ws.rs-api	2.1.6
javax.activation	activation	1.1.1
javax.annotation	javax.annotation-api	1.3.2
javax.el	javax.el-api	2.2.4
javax.jdo	jdo-api	3.0.1
javax.transaction	jta	1,1
javax.transaction	transaction-api	1,1
javax.xml.bind	jaxb-api	2.2.11
javolution	javolution	5.5.1
jline	jline	2.14.6
joda-time	joda-time	2.10.13
maven-trees	hive-2.3__hadoop-3.2	liball_deps_2.12
net.java.dev.jna	jna	5.8.0
net.razorvine	pickle	1.2
net.sf.jpam	jpam	1,1
net.sf.opencsv	opencsv	2.3
net.sf.supercsv	super-csv	2.2.0
net.snowflake	snowflake-ingest-sdk	0.9.6
net.snowflake	snowflake-jdbc	3.13.14
net.snowflake	spark-snowflake_2.12	2.10.0-spark_3.1
net.sourceforge.f2j	arpack_combined_all	0,1
org.acplt.remotetea	remotetea-oncrpc	1.1.2
org.antlr	ST4	4.0.4
org.antlr	antlr-runtime	3.5.2
org.antlr	antlr4-runtime	4,8
org.antlr	stringtemplate	3.2.1
org.apache.ant	ant	1.9.2
org.apache.ant	ant-jsch	1.9.2
org.apache.ant	ant-launcher	1.9.2
org.apache.arrow	arrow-format	7.0.0
org.apache.arrow	arrow-memory-core	7.0.0
org.apache.arrow	arrow-memory-netty	7.0.0
org.apache.arrow	arrow-vector	7.0.0
org.apache.avro	avro	1.11.0
org.apache.avro	avro-ipc	1.11.0
org.apache.avro	avro-mapred	1.11.0
org.apache.commons	commons-collections4	4.4.
org.apache.commons	commons-compress	1,21
org.apache.commons	commons-crypto	1.1.0
org.apache.commons	commons-lang3	3.12.0
org.apache.commons	commons-math3	3.6.1
org.apache.commons	commons-text	1,9
org.apache.curator	curator-client	2.13.0
org.apache.curator	curator-framework	2.13.0
org.apache.curator	curator-recipes	2.13.0
org.apache.derby	derby	10.14.2.0
org.apache.hadoop	hadoop-client-api	3.3.2-databricks
org.apache.hadoop	hadoop-client-runtime	3.3.2
org.apache.hive	hive-beeline	2.3.9
org.apache.hive	hive-cli	2.3.9
org.apache.hive	hive-jdbc	2.3.9
org.apache.hive	hive-llap-client	2.3.9
org.apache.hive	hive-llap-common	2.3.9
org.apache.hive	hive-serde	2.3.9
org.apache.hive	hive-shims	2.3.9
org.apache.hive	hive-storage-api	2.7.2
org.apache.hive.shims	hive-shims-0.23	2.3.9
org.apache.hive.shims	hive-shims-common	2.3.9
org.apache.hive.shims	hive-shims-scheduler	2.3.9
org.apache.httpcomponents	httpclient	4.5.13
org.apache.httpcomponents	httpcore	4.4.14
org.apache.ivy	ivy	2.5.0
org.apache.logging.log4j	log4j-1.2-api	2.17.2
org.apache.logging.log4j	log4j-api	2.17.2
org.apache.logging.log4j	log4j-core	2.17.2
org.apache.logging.log4j	log4j-slf4j-impl	2.17.2
org.apache.mesos	mesos-shaded-protobuf	1.4.0
org.apache.orc	orc-core	1.7.4
org.apache.orc	orc-mapreduce	1.7.4
org.apache.orc	orc-shims	1.7.4
org.apache.parquet	parquet-column	1.12.0-databricks-0004
org.apache.parquet	parquet-common	1.12.0-databricks-0004
org.apache.parquet	parquet-encoding	1.12.0-databricks-0004
org.apache.parquet	parquet-format-structures	1.12.0-databricks-0004
org.apache.parquet	parquet-hadoop	1.12.0-databricks-0004
org.apache.parquet	parquet-jackson	1.12.0-databricks-0004
org.apache.thrift	libfb303	0.9.3
org.apache.thrift	libthrift	0.12.0
org.apache.xbean	xbean-asm9-shaded	4,20
org.apache.yetus	audience-annotations	0.5.0
org.apache.zookeeper	zookeeper	3.6.2
org.apache.zookeeper	zookeeper-jute	3.6.2
org.checkerframework	checker-qual	3.5.0
org.codehaus.jackson	jackson-core-asl	1.9.13
org.codehaus.jackson	jackson-mapper-asl	1.9.13
org.codehaus.janino	commons-compiler	3.0.16
org.codehaus.janino	janino	3.0.16
org.datanucleus	datanucleus-api-jdo	4.2.4
org.datanucleus	datanucleus-core	4.1.17
org.datanucleus	datanucleus-rdbms	4.1.19
org.datanucleus	javax.jdo	3.2.0-m3
org.eclipse.jetty	jetty-client	9.4.46.v20220331
org.eclipse.jetty	jetty-continuation	9.4.46.v20220331
org.eclipse.jetty	jetty-http	9.4.46.v20220331
org.eclipse.jetty	jetty-io	9.4.46.v20220331
org.eclipse.jetty	jetty-jndi	9.4.46.v20220331
org.eclipse.jetty	jetty-plus	9.4.46.v20220331
org.eclipse.jetty	jetty-proxy	9.4.46.v20220331
org.eclipse.jetty	jetty-security	9.4.46.v20220331
org.eclipse.jetty	jetty-server	9.4.46.v20220331
org.eclipse.jetty	jetty-servlet	9.4.46.v20220331
org.eclipse.jetty	jetty-servlets	9.4.46.v20220331
org.eclipse.jetty	jetty-util	9.4.46.v20220331
org.eclipse.jetty	jetty-util-ajax	9.4.46.v20220331
org.eclipse.jetty	jetty-webapp	9.4.46.v20220331
org.eclipse.jetty	jetty-xml	9.4.46.v20220331
org.eclipse.jetty.websocket	websocket-api	9.4.46.v20220331
org.eclipse.jetty.websocket	websocket-client	9.4.46.v20220331
org.eclipse.jetty.websocket	websocket-common	9.4.46.v20220331
org.eclipse.jetty.websocket	websocket-server	9.4.46.v20220331
org.eclipse.jetty.websocket	websocket-servlet	9.4.46.v20220331
org.fusesource.leveldbjni	leveldbjni-all	1.8
org.glassfish.hk2	hk2-api	2.6.1
org.glassfish.hk2	hk2-locator	2.6.1
org.glassfish.hk2	hk2-utils	2.6.1
org.glassfish.hk2	osgi-resource-locator	1.0.3
org.glassfish.hk2.external	aopalliance-repackaged	2.6.1
org.glassfish.hk2.external	jakarta.inject	2.6.1
org.glassfish.jersey.containers	jersey-container-servlet	2.34
org.glassfish.jersey.containers	jersey-container-servlet-core	2.34
org.glassfish.jersey.core	jersey-client	2.34
org.glassfish.jersey.core	jersey-common	2.34
org.glassfish.jersey.core	jersey-server	2.34
org.glassfish.jersey.inject	jersey-hk2	2.34
org.hibernate.validator	hibernate-validator	6.1.0.Final
org.javassist	javassist	3.25.0-GA
org.jboss.logging	jboss-logging	3.3.2.Final
org.jdbi	jdbi	2.63.1
org.jetbrains	annotations	17.0.0
org.joda	joda-convert	1,7
org.jodd	jodd-core	3.5.2
org.json4s	json4s-ast_2.12	3.7.0-M11
org.json4s	json4s-core_2.12	3.7.0-M11
org.json4s	json4s-jackson_2.12	3.7.0-M11
org.json4s	json4s-scalap_2.12	3.7.0-M11
org.lz4	lz4-java	1.8.0
org.mariadb.jdbc	mariadb-java-client	2.7.4
org.objenesis	objenesis	2.5.1
org.postgresql	postgresql	42.3.3
org.roaringbitmap	RoaringBitmap	0.9.25
org.roaringbitmap	shims	0.9.25
org.rocksdb	rocksdbjni	6.24.2
org.rosuda.REngine	REngine	2.1.0
org.scala-lang	scala-compiler_2.12	2.12.14
org.scala-lang	scala-library_2.12	2.12.14
org.scala-lang	scala-reflect_2.12	2.12.14
org.scala-lang.modules	scala-collection-compat_2.12	2.4.3
org.scala-lang.modules	scala-parser-combinators_2.12	1.1.2
org.scala-lang.modules	scala-xml_2.12	1.2.0
org.scala-sbt	test-interface	1.0
org.scalacheck	scalacheck_2.12	1.14.2
org.scalactic	scalactic_2.12	3.0.8
org.scalanlp	breeze-macros_2.12	1.2
org.scalanlp	breeze_2.12	1.2
org.scalatest	scalatest_2.12	3.0.8
org.slf4j	jcl-over-slf4j	1.7.36
org.slf4j	jul-to-slf4j	1.7.36
org.slf4j	slf4j-api	1.7.36
org.spark-project.spark	Неиспользуемые	1.0.0
org.threeten	threeten-extra	1.5.0
org.tukaani	xz	1.8
org.typelevel	algebra_2.12	2.0.1
org.typelevel	cats-kernel_2.12	2.1.1
org.typelevel	macro-compat_2.12	1.1.1
org.typelevel	spire-macros_2.12	0.17.0
org.typelevel	spire-platform_2.12	0.17.0
org.typelevel	spire-util_2.12	0.17.0
org.typelevel	spire_2.12	0.17.0
org.wildfly.openssl	wildfly-openssl	1.0.7.Final
org.xerial	sqlite-jdbc	3.8.11.2
org.xerial.snappy	snappy-java	1.1.8.4
org.yaml	snakeyaml	1.24
oro	oro	2.0.8
pl.edu.icm	JLargeArrays	1.5
software.amazon.ion	ion-java	1.0.2
stax	stax-api	1.0.1

Поделиться через

Databricks Runtime 11.0 (неподдерживаемый)

Новые функции и внесенные улучшения

Новая версия Apache Spark

Записные книжки Python теперь используют ядро IPython

Поддержка ipywidgets

Соединитель Synapse теперь записывает данные Parquet в неустаревшем режиме

Схема HTTPS теперь принудительно применяется, когда клиент ABFS использует маркер SAS

SQL: DESC теперь является псевдонимом для DESCRIBE

SQL: новая функция current_version выводит сведения о версии

При попытке удалить отсутствующие ограничения на уровне таблицы Delta теперь возникает ошибка

SQL: новое предложение EXCEPT в выражении SELECT исключает столбцы из выборки

Поддержка удаления столбцов в таблицах Delta (общедоступная предварительная версия)

Улучшения COPY INTO

CONVERT TO DELTA теперь поддерживается в средах с поддержкой каталога Unity (общедоступная предварительная версия)

Изменения в работе

SQL: функции lpad и rpad теперь поддерживают последовательности байтов

Для строкового формата в format_string и printf больше не допускается %0$

Значения NULL в CSV-файлах теперь по умолчанию записываются как пустые строки без кавычек

Свойство external таблицы теперь является зарезервированным

Библиотека Log4j обновлена с версии Log4j 1 до Log4j 2

Библиотеки, установленные из Maven, теперь разрешаются в плоскости вычислений по умолчанию.

Исправления ошибок

Обновления библиотек

Apache Spark

В этом разделе рассматриваются следующие вопросы.

Spark SQL и Core

Режим ANSI

Усовершенствования функций

Улучшения в плане производительности

Улучшения встроенных соединителей

Прекращение использования узла

Другие важные изменения

Структурированная потоковая передача

Основные возможности

Другие важные изменения

PySpark

API Pandas в Spark

Основные улучшения

Основные возможности

Другие важные изменения

Критические изменения

Основные возможности

MLlib

Основные возможности

Основные улучшения

Другие важные изменения

SparkR

UI

Сборка

Обновления в рамках обслуживания

Системная среда

Установленные библиотеки Python

Установленные библиотеки R

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)

Дополнительные ресурсы

SQL: `DESC` теперь является псевдонимом для `DESCRIBE`

SQL: новая функция `current_version` выводит сведения о версии

SQL: новое предложение `EXCEPT` в выражении `SELECT` исключает столбцы из выборки

Улучшения `COPY INTO`

`CONVERT TO DELTA` теперь поддерживается в средах с поддержкой каталога Unity (общедоступная предварительная версия)

SQL: функции `lpad` и `rpad` теперь поддерживают последовательности байтов

Для строкового формата в `format_string` и `printf` больше не допускается `%0$`

Свойство `external` таблицы теперь является зарезервированным