Databricks Runtime 13.0 (неподдерживаемый)

  • Статья

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 13.0, на базе Apache Spark 3.4.0.

Databricks выпустила эти изображения в апреле 2023 года.

Новые функции и внесенные улучшения

Выражения H3 теперь поддерживают линейные географические области

h3_coverash3string Теперь h3_coverash3 функции поддерживают линейныеlinestring (иmultilinestring) географические области. Функции создают минимальный набор ячеек H3 в указанном разрешении. См . h3_coverash3 и h3_coverash3string.

Ганглия заменена метриками кластера

Для Databricks Runtime версии 13 и выше метрики Ganglia заменяются метриками кластера Azure Databricks. Для Databricks Runtime версии 12 и ниже можно продолжать использовать метрики Ganglia. Если у вас есть рабочий процесс, который зависит от метрик Ganglia, которые не могут быть удовлетворены метриками кластера, обратитесь к группе учетной записи Azure Databricks. Просмотр метрик вычислений.

Выпущена версия Spark 3.4.0

Apache Spark 3.4.0 теперь общедоступен. См. версию Spark 3.4.0.

Фотон возвращает ошибку, если файл изменяется между планированием запросов и выполнением

Запросы фотона теперь возвращают ошибку, если файл обновляется между планированием запросов и выполнением. Перед этим изменением Photon считывает файл, даже если его время изменения между планированием запросов и выполнением, что может привести к непредсказуемым результатам.

Новые возможности прогнозного ввода-вывода

Photon теперь поддерживает скользящие кадры для режимов ROWS и RANGE, используя {ROWS | RANGE} BETWEEN offset_start { PRECEDING | FOLLOWING } AND offset_stop { PRECEDING | FOLLOWING }.

Расширенная поддержка функций прогнозного ввода-вывода

Расширенная поддержка фотона для CSV, AVRO, кэширования кадра данных, когда схема содержит скалярные столбцы. Поддержка также расширена для вложенных типов, таких как карты, структуры и массивы.

Использование соединителя Databricks для подключения к другой рабочей области Databricks

Соединитель Azure Databricks позволяет подключаться к вычислительным ресурсам, настроенным в другой рабочей области, и возвращать результаты в текущую рабочую область Azure Databricks. Драйвер JDBC Azure Databricks теперь входит в среду выполнения Databricks. См. раздел "Использование соединителя Databricks" для подключения к другой рабочей области Databricks.

Дополнительные параметры Kafka для структурированной потоковой передачи с общим кластером в каталоге Unity

Теперь вы можете использовать параметры kakfa.ssl.truststore.location и kafak.ssl.keystore.location хранить сертификаты Kafka во внешних расположениях, управляемых каталогом Unity, при использовании структурированной потоковой передачи в кластерах общего доступа. Нельзя использовать расположения в корневом каталоге DBFS.

Пропуск изменений таблицы Delta с помощью структурированной потоковой передачи

Теперь skipChangeCommits можно игнорировать фиксации изменений данных в разностную таблицу для UPDATEопераций MERGEи DELETE операций. Это заменяет ignoreChanges, что теперь устарело. См . раздел "Игнорировать обновления и удаления".

ФУНКЦИЯ CREATE TABLE LIKE для таблиц Delta

CREATE TABLE LIKE теперь поддерживается при использовании таблиц Delta.

Новые поля столбца метаданных, обозначающие начало и длину блока файлов

Теперь можно получить следующие сведения о метаданных для входных файлов с помощью столбца _metadata : file_block_start и file_block_length. Дополнительные сведения см. в столбце метаданных файла.

Новые геопространственные функции H3

Новые выражения h3_coverash3 и h3_coverash3string доступны для геопространственной обработки при включении Фотона. См. раздел Геопространственные функции H3.

Новые встроенные функции SQL

Добавлены следующие функции:

%sql в записных книжках Python

Все непустые %sql результаты записных книжек Python теперь доступны с помощью _sqldf системы кэширования выходных данных IPython. Это упрощает использование кадра данных в Python. Это изменение поведения предыдущих версий DBR, как и ранее, _sqldf не всегда было переназначен.

_sqldf Не переназначается в %sql результате ячейки, если ячейка была выполнена с помощью параллельного выполнения ячейки SQL.

%pip не перезапускает Python автоматически

После выполнения %pip команд в записных книжках Python, которые изменяют virtualEnv, Databricks больше не перезапускает процесс Python. Чтобы перезапустить процесс Python, вызовите dbutils.library.restartPython(). При этом изменении %pip команды Databricks работают аналогично Jupyter Notebook и соответствуют !pip командам и %sh pip командам. Databricks рекомендует %pip вместо !pip или %sh pip.

Библиотеки Python с область кластера устанавливаются с помощью некорневого пользователя

Теперь библиотеки устанавливаются с помощью некорневого пользователя, ответственного за установку библиотек. Если вы хотите настроить поведение установки pip в скриптах инициализации, используйте [глобальный файл https://pip.pypa.io/en/stable/topics/configuration/#configuration-filesуровня).

Исправления ошибок

  • В %sh командах были сделаны следующие исправления:
    • Выходные данные, содержащие символы, отличные от UTF-8, теперь поддерживаются.
    • Подпроцессы теперь прерваны при отмене команды.

Обновления библиотек

  • Обновленные библиотеки Python:
    • asttokens от 2.0.5 до 2.2.1
    • черный от 22.3.0 до 22.6.0
    • boto3 от 1.21.32 до 1.24.28
    • botocore от 1.24.32 до 1.27.28
    • сертификат от 2021.10.8 до 2022.9.14
    • cffi от 1.15.0 до 1.15.1
    • криптография от 3.4.8 до 37.0.1
    • Cython от 0.29.28 до 0.29.32
    • dbus-python от 1.2.16 до 1.2.18
    • docstring-to-markdown от 0.11 до 0.12
    • выполнение от 0.8.3 до 1.2.0
    • facets-overview от 1.0.0 до 1.0.2
    • fastjsonschema от 2.16.2 до 2.16.3
    • блокировка файлов от 3.9.0 до 3.10.7
    • ipykernel от 6.15.3 до 6.17.1
    • ipython от 8.5.0 до 8.10.0
    • joblib от 1.1.1 до 1.2.0
    • jsonschema от 4.4.0 до 4.16.0
    • jupyter-client от 6.1.12 до 7.3.4
    • kiwisolver от 1.3.2 до 1.4.2
    • matplotlib от 3.5.1 до 3.5.2
    • matplotlib-inline от 0.1.2 до 0.1.6
    • nbformat от 5.3.0 до 5.5.0
    • записная книжка от 6.4.8 до 6.4.12
    • pandas от 1.4.2 до 1.4.4
    • Подушка от 9.0.1 до 9.2.0
    • pip от 21.2.4 до 22.2.2
    • platformdirs от 2.6.2 до 2.5.2
    • график от 5.6.0 до 5.9.0
    • prometheus-client от 0.13.1 до 0.14.1
    • prompt-toolkit от 3.0.20 до 3.0.36
    • psutil от 5.8.0 до 5.9.0
    • pyflakes от 2.5.0 до 3.0.1
    • PyGObject от 3.36.0 до 3.42.1
    • pyparsing от 3.0.4 до 3.0.9
    • pyright от 1.1.283 до 1.1.294
    • python-lsp-server с 1.6.0 до 1.7.1
    • pytz с 2021.3 по 2022.1
    • pyzmq от 22.3.0 до 23.2.0
    • запросы от 2.27.1 до 2.28.1
    • веревка от 0.22.0 до 1.7.0
    • s3transfer от 0.5.0 до 0.6.0
    • scikit-learn от 1.0.2 до 1.1.1
    • scipy от 1.7.3 до 1.9.1
    • setuptools от 61.2.0 до 63.4.1
    • ssh-import-id от 5.10 до 5.11
    • stack-data от 0.2.0 до 0.6.2
    • testpath от 0.5.0 до 0.6.0
    • tomli от 1.2.2 до 2.0.1
    • ujson от 5.1.0 до 5.4.0
    • urllib3 от 1.26.9 до 1.26.11
    • virtualenv от 20.8.0 до 20.16.3
    • whatthepatch от 1.0.4 до 1.0.2
    • колесо от 0.37.0 до 0.37.1
  • Обновленные библиотеки R:
    • стрелка от 10.0.0 до 10.0.1
    • бит от 4.0.4 до 4.0.5
    • веник от 1.0.1 до 1.0.3
    • bslib от 0.4.1 до 0.4.2
    • chron от 2.3-58 до 2.3-59
    • cli от 3.4.1 до 3.6.0
    • цветовое пространство от 2.0-3 до 2.1-0
    • curl от 4.3.3 до 5.0.0
    • data.table от 1.14.4 до 1.14.6
    • dbplyr от 2.2.1 до 2.3.0
    • дайджест от 0.6.30 до 0.6.31
    • dplyr от 1.0.10 до 1.1.0
    • e1071 от 1.7-12 до 1.7-13
    • оценка от 0,18 до 0,20
    • вентиляторы от 1.0.3 до 1.0.4
    • fontawesome от 0.4.0 до 0.5.0
    • forcats от 0.5.2 до 1.0.0
    • fs от 1.5.2 до 1.6.1
    • будущее от 1.29.0 до 1.31.0
    • гигль с 1.2.1 до 1.3.0
    • gert от 1.9.1 до 1.9.2
    • glmnet от 4.1-4 до 4.1-6
    • globals от 0.16.1 до 0.16.2
    • gower от 1.0.0 до 1.0.1
    • высокий уровень от 0,9 до 0,10
    • htmltools от 0.5.3 до 0.5.4
    • htmlwidgets от 1.5.4 до 1.6.1
    • httpuv от 1.6.6 до 1.6.8
    • isoband от 0.2.6 до 0.2.7
    • jsonlite от 1.8.3 до 1.8.4
    • трикотаж от 1,40 до 1,42
    • лава от 1.7.0 до 1.7.1
    • прослушивание от 0.8.0 до 0.9.0
    • lubridate от 1.9.0 до 1.9.1
    • Markdown от 1.3 до 1.5
    • modelr от 0.1.9 до 0.1.10
    • opensl от 2.0.4 до 2.0.5
    • параллельно от 1.32.1 до 1.34.0
    • pkgbuild от 1.3.1 до 1.4.0
    • pkgdown от 2.0.6 до 2.0.7
    • pkgload от 1.3.1 до 1.3.2
    • plyr от 1.8.7 до 1.8.8
    • progressr от 0.11.0 до 0.13.0
    • purrr от 0.3.5 до 1.0.1
    • ragg от 1.2.4 до 1.2.5
    • Rcpp от 1.0.9 до 1.0.10
    • readxl от 1.4.1 до 1.4.2
    • рецепты от 1.0.3 до 1.0.4
    • rmarkdown от 2.18 до 2.20
    • RODBC от 1.3-19 до 1.3-20
    • roxygen2 от 7.2.1 до 7.2.3
    • RSQLite от 2.2.18 до 2.2.20
    • sass от 0.4.2 до 0.4.5
    • блестящий от 1.7.3 до 1.7.4
    • sourcetools от 0.1.7 до 0.1.7-1
    • sparklyr от 1.7.8 до 1.7.9
    • SparkR от 3.3.2 до 3.4.0
    • пространственный от 7.3-11 до 7.3-15
    • stringi от 1.7.8 до 1.7.12
    • stringr от 1.4.1 до 1.5.0
    • выживание от 3.4-0 до 3.5-3
    • testthat от 3.1.5 до 3.1.6
    • tidyr от 1.2.1 до 1.3.0
    • изменение времени от 0.1.1 до 0.2.0
    • TimeDate от 4021.106 до 4022.108
    • tinytex от 0,42 до 0,44
    • utf8 от 1.2.2 до 1.2.3
    • vctrs от 0.5.0 до 0.5.2
    • vroom от 1.6.0 до 1.6.1
    • whisker от 0.4 до 0.4.1
    • xfun от 0,34 до 0,37
    • yaml от 2.3.6 до 2.3.7
  • Обновленные библиотеки Java:
    • com.amazonaws.aws-java-sdk-autoscaling от 1.12.189 до 1.12.390
    • com.amazonaws.aws-java-sdk-cloudformation от 1.12.189 до 1.12.390
    • com.amazonaws.aws-java-sdk-cloudfront от 1.12.189 до 1.12.390
    • com.amazonaws.aws-java-sdk-cloudhsm с 1.12.189 по 1.12.390
    • com.amazonaws.aws-java-sdk-cloudsearch с 1.12.189 по 1.12.390
    • com.amazonaws.aws-java-sdk-cloudtrail с 1.12.189 по 1.12.390
    • com.amazonaws.aws-java-sdk-cloudwatch с 1.12.189 по 1.12.390
    • com.amazonaws.aws-java-sdk-cloudwatchmetrics от 1.12.189 до 1.12.390
    • com.amazonaws.aws-java-sdk-codedeploy с 1.12.189 по 1.12.390
    • com.amazonaws.aws-java-sdk-cognitoidentity от 1.12.189 до 1.12.390
    • com.amazonaws.aws-java-sdk-cognitosync с 1.12.189 по 1.12.390
    • com.amazonaws.aws-java-sdk-config с 1.12.189 по 1.12.390
    • com.amazonaws.aws-java-sdk-core от 1.12.189 до 1.12.390
    • com.amazonaws.aws-java-sdk-datapipeline с 1.12.189 по 1.12.390
    • com.amazonaws.aws-java-sdk-directconnect с 1.12.189 по 1.12.390
    • com.amazonaws.aws-java-sdk-directory с 1.12.189 по 1.12.390
    • com.amazonaws.aws-java-sdk-dynamodb с 1.12.189 по 1.12.390
    • com.amazonaws.aws-java-sdk-ec2 с 1.12.189 по 1.12.390
    • com.amazonaws.aws-java-sdk-ecs от 1.12.189 до 1.12.390
    • com.amazonaws.aws-java-sdk-efs от 1.12.189 до 1.12.390
    • com.amazonaws.aws-java-sdk-elasticache с 1.12.189 по 1.12.390
    • com.amazonaws.aws-java-sdk-elasticbeanstalk от 1.12.189 до 1.12.390
    • com.amazonaws.aws-java-sdk-elasticloadbalancing с 1.12.189 по 1.12.390
    • com.amazonaws.aws-java-sdk-elastictranscoder с 1.12.189 по 1.12.390
    • com.amazonaws.aws-java-sdk-emr от 1.12.189 до 1.12.390
    • com.amazonaws.aws-java-sdk-glacier с 1.12.189 по 1.12.390
    • com.amazonaws.aws-java-sdk-glue с 1.12.189 по 1.12.390
    • com.amazonaws.aws-java-sdk-iam с 1.12.189 по 1.12.390
    • com.amazonaws.aws-java-sdk-importexport с 1.12.189 по 1.12.390
    • com.amazonaws.aws-java-sdk-kinesis с 1.12.189 по 1.12.390
    • com.amazonaws.aws-java-sdk-kms от 1.12.189 до 1.12.390
    • com.amazonaws.aws-java-sdk-lambda с 1.12.189 по 1.12.390
    • com.amazonaws.aws-java-sdk-logs от 1.12.189 до 1.12.390
    • com.amazonaws.aws-java-sdk-machinelearning от 1.12.189 до 1.12.390
    • com.amazonaws.aws-java-sdk-opsworks с 1.12.189 по 1.12.390
    • com.amazonaws.aws-java-sdk-rds с 1.12.189 по 1.12.390
    • com.amazonaws.aws-java-sdk-redshift от 1.12.189 до 1.12.390
    • com.amazonaws.aws-java-sdk-route53 с 1.12.189 по 1.12.390
    • com.amazonaws.aws-java-sdk-s3 от 1.12.189 до 1.12.390
    • com.amazonaws.aws-java-sdk-ses с 1.12.189 по 1.12.390
    • com.amazonaws.aws-java-sdk-simpledb с 1.12.189 по 1.12.390
    • com.amazonaws.aws-java-sdk-simpleworkflow с 1.12.189 по 1.12.390
    • com.amazonaws.aws-java-sdk-sns от 1.12.189 до 1.12.390
    • com.amazonaws.aws-java-sdk-sqs с 1.12.189 по 1.12.390
    • com.amazonaws.aws-java-sdk-ssm от 1.12.189 до 1.12.390
    • com.amazonaws.aws-java-sdk-storagegateway с 1.12.189 по 1.12.390
    • com.amazonaws.aws-java-sdk-sts от 1.12.189 до 1.12.390
    • com.amazonaws.aws-java-sdk-support от 1.12.189 до 1.12.390
    • com.amazonaws.aws-java-sdk-workspaces от 1.12.189 до 1.12.390
    • com.amazonaws.jmespath-java от 1.12.189 до 1.12.390
    • com.fasterxml.джексон.core.джексон-заметки от 2.13.4 до 2.14.2
    • com.fasterxml.джексон.core.джексон-core с 2.13.4 до 2.14.2
    • com.fasterxml.jackson.core.jackson-databind с 2.13.4.2 до 2.14.2
    • com.fasterxml.джексон.dataformat.джексон-dataformat-cbor с 2.13.4 по 2.14.2
    • com.fasterxml.джексон.datatype.джексон-datatype-joda с 2.13.4 до 2.14.2
    • com.fasterxml.jackson.module.jackson-module-paranamer от 2.13.4 до 2.14.2
    • com.fasterxml.jackson.module.jackson-module-scala_2.12 с 2.13.4 до 2.14.2
    • com.github.luben.zstd-jni с 1.5.2-1 до 1.5.2-5
    • com.google.code.gson.gson с 2.8.6 по 2.8.9
    • com.google.crypto.tink.tink с 1.6.1 до 1.7.0
    • com.h2database.h2 с 2.0.204 по 2.1.214
    • com.jcraft.rch с 0.1.50 до 0.1.55
    • com.ning.compress-lzf от 1.1 до 1.1.2
    • commons-fileupload.commons-fileupload с 1.3.3 до 1.5
    • dev.ludovic.netlib.arpack от 2.2.1 до 3.0.3
    • dev.ludovic.netlib.blas от 2.2.1 до 3.0.3
    • dev.ludovic.netlib.lapack от 2.2.1 до 3.0.3
    • io.dropwizard.metrics.metrics-core от 4.1.1 до 4.2.10
    • io.dropwizard.metrics.metrics-graphite от 4.1.1 до 4.2.10
    • io.dropwizard.metrics.metrics-health проверка s от 4.1.1 до 4.2.10
    • io.dropwizard.metrics.metrics-jetty9 от 4.1.1 до 4.2.10
    • io.dropwizard.metrics.metrics-jmx от 4.1.1 до 4.2.10
    • io.dropwizard.metrics.metrics-json от 4.1.1 до 4.2.10
    • io.dropwizard.metrics.metrics-jvm от 4.1.1 до 4.2.10
    • io.dropwizard.metrics.metrics-servlets от 4.1.1 до 4.2.10
    • io.netty.netty-all от 4.1.74.Final до 4.1.87.Final
    • io.netty.netty-buffer от 4.1.74.Final до 4.1.87.Final
    • io.netty.netty-codec от 4.1.74.Final до 4.1.87.Final
    • io.netty.netty-common с 4.1.74.Final до 4.1.87.Final
    • io.netty.netty-handler от 4.1.74.Final до 4.1.87.Final
    • io.netty.netty-resolver от 4.1.74.Final до 4.1.87.Final
    • io.netty.netty-transport от 4.1.74.Final до 4.1.87.Final
    • io.netty.netty-transport-classes-epoll от 4.1.74.Final до 4.1.87.Final
    • io.netty.netty-transport-classes-kqueue с 4.1.74.Final до 4.1.87.Final
    • io.netty.netty-transport-native-unix-common от 4.1.74.Final до 4.1.87.Final
    • joda-time.joda-time с 2.10.13 до 2.12.1
    • net.razorvine.pickle от 1.2 до 1.3
    • org.antlr.antlr4-runtime с 4.8 по 4.9.3
    • org.apache.ant.ant от 1.9.2 до 1.9.16
    • org.apache.ant.ant-aph с 1.9.2 по 1.9.16
    • org.apache.ant-launcher от 1.9.2 до 1.9.16
    • org.apache.arrow.arrow-format от 7.0.0 до 11.0.0
    • org.apache.arrow.arrow-memory-core от 7.0.0 до 11.0.0
    • org.apache.arrow.arrow.memory-netty от 7.0.0 до 11.0.0
    • org.apache.arrow.arrow-vector от 7.0.0 до 11.0.0
    • org.apache.avro.avro с 1.11.0 до 1.11.1
    • org.apache.avro.avro-ipc с 1.11.0 до 1.11.1
    • org.apache.avro.avro-mapred с 1.11.0 до 1.11.1
    • org.apache.httpcomponents.httpclient от 4.5.13 до 4.5.14
    • org.apache.httpcomponents.httpcore от 4.4.14 до 4.4.16
    • org.apache.ivy.ivy с 2.5.0 по 2.5.1
    • org.apache.log4j.log4j-1.2-api от 2.18.0 до 2.19.0
    • org.apache.log4j.log4j-api от 2.18.0 до 2.19.0
    • org.apache.log4j.log4j-core от 2.18.0 до 2.19.0
    • org.apache.orc.orc-core от 1.7.6 до 1.8.2-шейд-protobuf
    • org.apache.orc.orc-mapreduce от 1.7.6 до 1.8.2-шейд-protobuf
    • org.apache.orc.orc-shims от 1.7.6 до 1.8.2
    • org.apache.xbean.xbean-asm9-оттеняется от 4.20 до 4.22
    • org.apache.zookeeper.zookeeper с 3.6.2 до 3.6.3
    • org.apache.zookeeper.zookeeper-jute от 3.6.2 до 3.6.3
    • org.eclipse.jetty.jetty-client с 9.4.46.v2020331 до 9.4.50.v2021201
    • org.eclipse.jetty.jetty-continuation с 9.4.46.v2020331 до 9.4.50.v2021201
    • org.eclipse.jetty.jetty-http с 9.4.46.v20220331 до 9.4.50.v2021201
    • org.eclipse.jetty.jetty-io с 9.4.46.v2020331 до 9.4.50.v2021201
    • org.eclipse.jetty.jetty-jndi от 9.4.46.v2020331 до 9.4.50.v2021201
    • org.eclipse.jetty.jetty-plus от 9.4.46.v2020331 до 9.4.50.v2021201
    • org.eclipse.jetty.jetty-proxy от 9.4.46.v2020331 до 9.4.50.v2021201
    • org.eclipse.jetty.jetty-security с 9.4.46.v20220331 до 9.4.50.v2021201
    • org.eclipse.jetty.jetty-server с 9.4.46.v2020331 до 9.4.50.v2021201
    • org.eclipse.jetty.jetty-servlet от 9.4.46.v2020331 до 9.4.50.v2021201
    • org.eclipse.jetty.jetty-servlets от 9.4.46.v2020331 до 9.4.50.v2021201
    • org.eclipse.jetty.jetty-util от 9.4.46.v2020331 до 9.4.50.v2021201
    • org.eclipse.jetty.jetty-util-ajax с 9.4.46.v20220331 до 9.4.50.v2021201
    • org.eclipse.jetty.jetty-webapp с 9.4.46.v2020331 до 9.4.50.v2021201
    • org.eclipse.jetty.jetty-xml с 9.4.46.v20220331 до 9.4.50.v2021201
    • org.eclipse.jetty.websocket.websocket-api с 9.4.46.v2020331 до 9.4.50.v2021201
    • org.eclipse.jetty.websocket.websocket-client с 9.4.46.v2020331 до 9.4.50.v2021201
    • org.eclipse.jetty.websocket.websocket-common с 9.4.46.v2020331 до 9.4.50.v2021201
    • org.eclipse.jetty.websocket.websocket-server с 9.4.46.v20220331 до 9.4.50.v2021201
    • org.eclipse.jetty.websocket.websocket-servlet от 9.4.46.v2020331 до 9.4.50.v2021201
    • org.hibernate.validator.hibernate-validator с 6.1.0.Final до 6.1.7.Final
    • org.mlflow.mlflow-spark с 2.1.1 по 2.2.0
    • org.postgresql.postgresql с 42.3.3 до 42.3.8
    • org.roaringbitmap.RoaringBitmap от 0.9.25 до 0.9.39
    • org.roaringbitmap.shims от 0.9.25 до 0.9.39
    • org.rocksdb.rocksdbjni с 6.28.2 до 7.8.3
    • org.scala-lang.scala-compiler_2.12 с 2.12.14 по 2.12.15
    • org.scala-lang.scala-library_2.12 с 2.12.14 по 2.12.15
    • org.scala-lang.scala-reflect_2.12 с 2.12.14 по 2.12.15
    • org.scalanlp.breeze-macros_2.12 от 1.2 до 2.1.0
    • org.scalanlp.breeze_2.12 от 1.2 до 2.1.0
    • org.slf4j.jcl-over-slf4j от 1.7.36 до 2.0.6
    • org.slf4j.jul-to-slf4j от 1.7.36 до 2.0.6
    • org.slf4j.slf4j-api с 1.7.36 по 2.0.6
    • org.threeten.threeten-extra от 1.5.0 до 1.7.1
    • org.wildfly.opensl.wildfly-opensl от 1.0.7.Final до 1.1.3.Final
    • org.yaml.snakeyaml с 1.24 по 1.33

Apache Spark

Databricks Runtime 13.0 включает Apache Spark 3.4.0.

SQL Spark

Функции

  • Реализация поддержки значений DEFAULT для столбцов в таблицах (SPARK-38334)
  • Добавление Dataset.as(StructType) (SPARK-39625)
  • Поддержка параметризованного SQL (SPARK-41271, SPARK-42702)
  • Добавление unpivot/melt (SPARK-38864, SPARK-39876)
  • Поддержка ссылок на псевдонимы бокового столбца (SPARK-27561)
  • Предложение смещения результатов поддержки (SPARK-28330, SPARK-39159)
  • Поддержка метки времени без типа данных часового пояса (SPARK-35662)
  • Поддержка скалярных вложенных запросов во время перемещения (SPARK-39306)
  • Сделать API каталога совместимым с пространством имен 3 уровня (SPARK-39235)
  • Поддержка метки времени в секундах для TimeTravel с помощью параметров кадра данных (SPARK-39633)
  • Добавление SparkSession.config(Map) (SPARK-40163)
  • Поддержка изменения базы данных каталога сеансов по умолчанию (SPARK-35242)
  • Поддержка Protobuf для Spark — from_protobuf AND to_protobuf (SPARK-40654)
  • Добавление предложения WHEN NOT MATCHED BY SOURCE в MERGE INTO (SPARK-40921)
  • Ограничение на упорядочение для параметров столбца CREATE TABLE (SPARK-409444)
  • Эквивалент SQL для команды перезаписи кадра данных (SPARK-40956)
  • Поддержка создания без необходимых дочерних выходных данных для размещения внешних ссылок (SPARK-41441)
  • ORDER BY ALL (SPARK-41637)
  • GROUP BY ALL (SPARK-41635)
  • Добавление flatMapSortedGroups и cogroupSorted (SPARK-38591)
  • Поддержка вложенных запросов с соответствующими предикатами неравенства (SPARK-36114)
  • Поддержка вложенных запросов с корреляцией через UNION/INTERSECT/EXCEPT (SPARK-36124)

Соответствие ANSI

  • Режим SQL ANSI: всегда возвращает значение NULL для недопустимого доступа к столбцу карты (SPARK-40066)
  • Поддержка двойных кавычек (SPARK-40585)
  • Режим SQL ANSI: Round/Bround должен возвращать ошибку при целочисленном переполнении (SPARK-42045)
  • Поддержка приведения целочисленных к интервалам ANSI (SPARK-40008)
  • Поддержка приведения десятичных знаков к интервалам ANSI (SPARK-40014)
  • Возвращает более широкие типы интервалов ANSI из функций процентиля (SPARK-40151)
  • Поддержка приведения интервалов ANSI к десятичным значениям (SPARK-39470)
  • Поддержка интервалов приведения к интегралам в режиме ANSI (SPARK-39451)
  • Жесткое использование SQLSTATE для классов ошибок (SPARK-41994)

Функции

  • Поддержка функций генератора с табличным значением в предложении FROM (SPARK-41594)
  • Поддержка агрегатной функции ANSI: REGR_SXY (SPARK-37681)
  • Поддержка агрегатной функции ANSI: REGR_R2 (SPARK-37641)
  • Поддержка агрегатной функции ANSI: REGR_SXX (SPARK-37672)
  • Поддержка агрегатной функции ANSI: REGR_SYY (SPARK-37702)
  • Поддержка агрегатной функции ANSI: REGR_SLOPE (SPARK-39230)
  • Поддержка агрегатной функции ANSI: REGR_INTERCEPT (SPARK-37623)
  • Поддержка функции агрегирования ANSI PERCENTILE_CONT в качестве функции окна (SPARK-38219)
  • Поддержка функции агрегирования ANSI: PERCENTILE_DISC (SPARK-37691)
  • Поддержка функции SPLIT_PART (SPARK-38063)
  • Поддержка функции TRY_AVG (SPARK-38589)
  • Поддержка функции TRY_TO_BINARY (SPARK-38590)
  • Поддержка функций TO_NU МБ ER и TRY_TO_NU МБ ER SQL в соответствии с новой спецификацией (SPARK-38796)
  • Поддержка общей спецификации и функции ANSI — USER (SPARK-39138)
  • Поддержка функций TO_CHAR и TRY_TO_CHAR для форматирования десятичных значений в виде строк (SPARK-28516)
  • Поддержка агрегатной функции ANY_VALUE (SPARK-39213)
  • Поддержка функции EQUAL_NUL (SPARK-39305)
  • Поддержка статистической функции MEDIAN (SPARK-39320)
  • Поддержка функции REGEXP_COUNT (SPARK-39618)
  • Поддержка функции REGEXP_INSTR (SPARK-39744)
  • Поддержка функции REGEXP_SUBSTR (SPARK-39695)
  • Поддержка функции UNPIVOT (SPARK-39876)
  • Поддержка функции TRY_TO_TIMESTAMP (SPARK-39795)
  • Поддержка кодирования и декодирования URL-адресов в виде встроенной функции и функции, связанные с URL-адресом (SPARK-39741)
  • Поддержка режима агрегатной функции (SPARK-39808)
  • Поддержка функции GET (SPARK-40109)
  • Добавление псевдонимов функций: LEN, DATEPART, DATEADD, DATE_DIFF, CURDATE (SPARK-40352)
  • Улучшение функции TO_BINARY (SPARK-40112)
  • Поддержка CURRENT_SCHEMA (SPARK-41323)
  • Поддержка маскирования данных встроенной функции MASK (SPARK-40687)
  • Поддержка функции высокого порядка: ARRAY_COMPACT (SPARK-41235)
  • Поддержка функции ARRAY_APPEND (SPARK-41232)
  • Поддержка функции ARRAY_INSERT (SPARK-41234)
  • Поддержка функции LUHN_CHECK (SPARK-42191)
  • Поддержка ARRAY_SORT(column, comparator) (SPARK-39925)

Источники данных

  • Поддержка статистики столбцов в DS версии 2 (SPARK-41378)
  • служба хранилища секционированного соединения (SPJ) в DS версии 2 (SPARK-37375)
  • Операции на уровне строк в DS версии 2 (SPARK-35801)
  • Добавление сочетания supportsReportOrdering в интерфейсе для проверки DS версии 2 (SPARK-38647)
  • Тип infer DATE для вывода схемы CSV (SPARK-39469)
  • Поддержка метрик драйверов в API пользовательских метрик DS версии 2 (SPARK-39635)
  • Распределение и упорядочение поддерживают функцию DS версии 2 при написании (SPARK-39607)
  • Поддержка StringEndsWith/Contains в Parquet, чтобы использовать фильтр словаря (SPARK-39002)
  • Поддержка векторного чтения UDT в Spark Parquet (SPARK-39086)
  • Расширение столбца METADATA для поддержки индексов строк для файлов Parquet (SPARK-37980)
  • Поддержка чтения FIXED_LEN_BYTE_ARRAY типа parquet (SPARK-41096)
  • Оптимизация порядка предикатов фильтрации (SPARK-40045)
  • Поддержка запросов CTE и временных таблиц с помощью MSSQL JDBC (SPARK-37259)
  • Поддержка ignoreCorruptFiles и ignoreMissingFiles в параметрах источника данных (SPARK-38767)
  • Извлечение записи версии 1 в WriteFiles (SPARK-41407)
  • Добавьте заполнение на стороне чтения для покрытия внешних файлов данных (SPARK-40697)

Оптимизация запросов

  • Объединение некоррелируемых скалярных вложенных запросов (SPARK-34079)
  • Включение соединений фильтров Блум по умолчанию (SPARK-38841)
  • Удаление ненужных различий в статистическом выражении по отдельным ключам (SPARK-38832)
  • Поддержка pushdown предиката и удаления столбцов для дедуплицированных CTE (SPARK-37670)
  • Удалите внешнее соединение, если агрегированные функции дублируются на стороне потоковой передачи (SPARK-38886)
  • Удалите левое или правое внешнее соединение, если выбраны только левые или правые столбцы, а ключи соединения на другой стороне уникальны (SPARK-39172)
  • Оптимизация глобальной сортировки до repartitionByExpression (SPARK-39911)
  • Оптимизация правила TransposeWindow (SPARK-38034)
  • Повышение уровня "Устранение" для поддержки удаления сортировки с помощью LocalLimit (SPARK-40050)
  • Отправьте локальное ограничение на обе стороны, если условие соединения пусто (SPARK-40040)
  • Добавление PushProjectionThroughLimit для оптимизатора (SPARK-40501)
  • Поддержка PIVOT/UNPIVOT с дочерними элементами соединения (SPARK-41195)
  • Поддержка очистки столбцов с несколькими недетерминированными фильтрами (SPARK-41017)
  • Улучшение секционирования выходных данных и упорядочивания с помощью кэша AQE (SPARK-41048)
  • Повышение производительности, например создание предиката дерева сбалансированных выражений (SPARK-41167)
  • Удаление сортировки, если она является дочерней для RepartitionByExpression (SPARK-36703)
  • Использование доступной статистики столбцов на завершенных этапах запроса (SPARK-39991)
  • Повторное использование выражений в WindowSpecDefinition (SPARK-41805)
  • Улучшение AliasAwareOutputPartitioning и AliasAwareQueryOutputOrdering для учета всех псевдонимов (SPARK-40086, SPARK-42049)
  • Ограничение с помощью определяемых пользователем Python (SPARK-42115)

Создание кода и выполнение запросов

  • Выполните задание по умолчанию в BroadcastNestedLoopJoinExec, работающее параллельно (SPARK-40487)
  • Поддержка Codegen для HiveGenericUDF (SPARK-42051)
  • Введение перетасовки в SinglePartition (SPARK-41986)
  • Делает DPP поддержкой стороны обрезки имеет объединение (SPARK-39217)

Другие важные изменения

  • Поддержка сбора статистики автосекулам (SPARK-38573)
  • Форматирование сообщений об ошибках на сервере Thrift (SPARK-40098)
  • Добавление API расширения для планирования нормализации для кэширования (SPARK-41183)
  • Рефакторинг типов Spark путем внедрения физических типов (SPARK-41226)
  • Поддержка полей OneOf и рекурсия проверка (SPARK-41396)
  • Централизация логики разрешения столбцов (SPARK-41405)
  • Улучшение проверки изменений плана (SPARK-42081)
  • Введение SparkPath для типов для типов (SPARK-41970)
  • Исключение для db_name.view_name при создании временного представления с помощью API набора данных (SPARK-41090)
  • Измените значение по умолчанию функции Mask с -1 на NULL (SPARK-42070)

Ядро Spark

Списания

  • Избегайте повторного выполнения ненужных задач при удалении исполнителя при перемещении данных (SPARK-41469)
  • Игнорировать сбой извлечения этапа, вызванный списанным исполнителем (SPARK-40481)
  • Включите spark.storage.decommission. (rdd|shuffle) Blocks.enabled по умолчанию (SPARK-40198)
  • Добавьте поддержку списания YARN при отключении ESS (SPARK-30835)

Планировщик

  • Планирование этапов поддерживает режим локального кластера (SPARK-41949)
  • Профиль ресурсов уровня поддержки для автономного кластера при отключении динамического выделения (SPARK-39853)
  • Задержка вDisconnected для включения Driver получает ExecutorExitCode (SPARK-39957)
  • Улучшение спекуляций с помощью метрик задач этапа (SPARK-32170)
  • Добавление поддержки планирования ресурсов уровня стадии для автономного кластера (SPARK-39062)
  • Улучшение процесса LaunchTask, чтобы избежать сбоев этапа, вызванных сообщениями launchTask отработки отказа (SPARK-39955)

Shuffle

  • Добавление метрик чтения на основе push-уведомлений на стороне клиента (SPARK-36620)
  • Перемешивает метрики на стороне сервера для перетасовки на основе push-уведомлений (SPARK-33573)
  • Убедитесь, что mergedShuffleCleaner были завершены до закрытия базы данных (SPARK-40186)
  • Добавление поддержки RocksDB для хранилища состояний службы перетасовки (SPARK-388888)
  • Инкапсулировать LevelDB, используемый для хранения состояния удаленного и внешнего перетасовки в качестве базы данных (SPARK-38909)
  • Включите spark.dynamicAllocation.shuffleTracking.enabled по умолчанию (SPARK-3984)
  • Включение службы перетасовки на основе push-уведомлений для хранения состояния на уровне NM для сохранения перезапуска (SPARK-33236)
  • Удаление блоков перетасовки с помощью службы перетасовки для выпущенных исполнителей (SPARK-37618)

Другие важные изменения

  • Поддержка среды только для IPv6 (SPARK-39457)
  • Включите spark.kryo.unsafe по умолчанию (SPARK-42137)
  • Запретить произвольный пользовательский классpath с прокси-пользователем в режиме кластера (SPARK-41958)
  • Избегайте повторной регистрации BlockManager, если исполнитель был потерян (SPARK-41360)
  • Удалите ограничение, которое должен соответствовать результату одной задачи в 2 ГБ (SPARK-40622)
  • Удалите поддержку устаревших конфигураций spark.akka.* (SPARK-40401)
  • Измените ведение журнала по умолчанию на stderr в соответствии с поведением log4j (SPARK-40406)
  • Исключите метаданные DirectTaskResult при вычислении размера результата (SPARK-40261)
  • Разрешить настройку начальных секций в режиме take() (SPARK-40211)
  • Используйте прерванную блокировку вместо синхронизированной в Executor.updateDependencies() (SPARK-40235)
  • Сбой задачи всегда должен активировать прослушиватели задач (SPARK-40106)
  • Добавьте возможность выборочного отключения просмотра или опроса (SPARK-36462)
  • Не кэшируйте несериализированные отношения вещания на драйвере (SPARK-39983)
  • Исправлена взаимоблокировка между TaskMemoryManager и UnsafeExternalSorter.SpillableIterator (SPARK-39283)
  • Предоставление секций номеров на этапе TaskContext (SPARK-38679)
  • Настройка коэффициента нагрузки на память (SPARK-38194)
  • Избегайте использования bash -c в ShellBasedGroupsMappingProvider (SPARK-38992)

Структурированная потоковая передача

Основные функции

  • Асинхронное отслеживание хода выполнения (SPARK-39591)
  • Произвольное отслеживание состояния Python в структурированной потоковой передаче (SPARK-40434)
  • Поддержка Protobuf в структурированной потоковой передаче (SPARK-40653)
  • Исправлена поздняя фильтрация записей для поддержки цепочки операторов с отслеживанием состояния (SPARK-40925)

Другие важные изменения

  • Знакомство с диспетчером файлов потоковой передачи проверка point на основе интерфейса Abortable Hadoop (SPARK-40039)
  • Нерекомендуемая активация.Один раз и повышение триггера.AvailableNow (SPARK-39805)
  • Предоставление сведений о таблице каталога логическому плану в потоковом запросе (SPARK-39564)
  • Поддержка сбора метрик из приемников потоковой передачи (SPARK-38564)
  • Устаревший API DStream (SPARK-42075)
  • Переверните значение по умолчанию для конфигурации смещения Kafka (SPARK-40844)
  • Предоставление клонированного сеанса Spark в DataFrame в пользовательской функции для приемника foreachBatch в PySpark (SPARK-41379)

Spark Подключение

клиент Python

  • Реализация API кадра данных (SPARK-41279)
  • Реализация API столбцов (SPARK-41282)
  • Реализация API функций (SPARK-41283)
  • Реализация API SparkSession (SPARK-41281)
  • Реализация API ввода-вывода (SPARK-41284)
  • Реализация API каталога (SPARK-41289)
  • Поддержка определяемых пользователем функций в Python (SPARK-41661)
  • Поддержка API функций Pandas/Arrow (SPARK-42393)
  • Поддержка конфигурации SQL среды выполнения (SPARK-42499)
  • Сборка, пакет и инфраструктура для Spark Подключение (SPARK-41286)
  • Введите заметки для клиента Python Подключение Spark (SPARK-40451)

Клиент Scala

PySpark

API Pandas в Spark

  • Основное улучшение
    • Произвольное отслеживание состояния Python в структурированной потоковой передаче (SPARK-40434)
    • Реализация отсутствующих параметров API pandas (SPARK-42883)
    • Поддержка Pandas 1.5 (SPARK-40576)
  • Основная функция
    • Реализация Series.searchsorted (SPARK-40330)
    • Реализация Series.autocorr (SPARK-38774)
    • Реализация DataFrame.mode (SPARK-40138)
    • Реализация DataFrame.boxplot и DataFrame.plot.box (SPARK-38993)
    • Реализация DataFrame.corrwith (SPARK-38907)
    • Реализация DataFrame.resample и Series.resample (SPARK-39081)
    • Реализация DataFrame.интерполяция и series.интерполат (SPARK-38844)
    • Реализация DataFrame.ewm и Series.ewm (SPARK-38785)
    • Реализация GroupBy.prod (SPARK-40334)
    • Реализация GroupBy.nth (SPARK-403333)
    • Реализация GroupBy.quantile (SPARK-40332)
    • Реализация GroupBy.sem (SPARK-40305)
    • Реализация GroupBy.mad (SPARK-39284)
    • Реализация GroupBy.skew (SPARK-39246)
    • Реализация GroupBy.ewm (SPARK-39129)
    • Поддержка позиционного индексирования GroupBy (SPARK-38947)

Другие важные изменения

  • Основные улучшения
    • Предоставьте профилировщик памяти для определяемых пользователем функций PySpark (SPARK-40281)
    • Сделать API каталога совместимым с пространством имен 3 уровня (SPARK-39235)
    • Поддержка входных данных NumPy в PySpark (SPARK-39405)
    • Улучшения ошибок PySpark (SPARK-41597)
  • Основные функции
    • Поддержка параметризованного SQL в PySpark (SPARK-41666)
    • Реализация функции median (SPARK-40003)
    • Реализация функции mode (SPARK-40007)
    • Реализация функции unpivot/melt (SPARK-39877)
    • Поддержка Varchar в PySpark (SPARK-39760)
    • Поддержка CharType в PySpark (SPARK-39809)

MLlib

  • Реализация распространителя PyTorch (SPARK-41589)
  • Объединение проверки данных (SPARK-38584)
  • Уменьшение размера ALS (SPARK-40476, SPARK-40745)
  • Дедупционная инотоническая регрессия повторяющихся функций (SPARK-41008)
  • KMeans блокируют входные векторы (SPARK-30661)
  • Добавление оценки релевантности для оценки nDCG (SPARK-39446)

SparkR

  • Добавление unpivot/melt (SPARK-41267)
  • Добавление array_sort(column, comparator) (SPARK-40167)
  • Поддержка нескольких раскрывающихся списков "Столбец" в R (SPARK-40087)
  • Поддержка стрелки 9.0.0 с SparkR (SPARK-40114)
  • Обеспечить совместимость API каталога с пространством имен 3 уровня (SPARK-39579, SPARK-39646, SPARK-39645, SPARK-39236, SPARK-39716, SPARK-39719)
  • Поддержка R 4.2.0 (SPARK-39372)

Служба сервера динамического пользовательского интерфейса и журнала

  • Улучшена масштабируемость пользовательского интерфейса Spark и стабильность драйвера для крупных приложений (SPARK-41053)
  • Используйте RocksDB для spark.history.store.hybridStore.diskBackend по умолчанию (SPARK-42277)
  • Группировать вложенные выполнения в корневом выполнении (SPARK-41752)
  • Отображение свойств метрик на вкладке среды (SPARK-39110)
  • Исправление размера входных данных и записей StagePage не отображается, если записи больше нуля (SPARK-34777)
  • Повышение производительности журнала событий JsonProtocol с помощью Джексона вместо Json4s (SPARK-39489)
  • Поддержка spark.history.fs.update.batchSize (SPARK-39225)

Сборка

  • Обновление cloudpickle до версии 2.2.0 (SPARK-40991)
  • Нерекомендуемая поддержка Python 3.7 (SPARK-39861)
  • Поддержка Python 3.11 (SPARK-41454)
  • Обновление dev.ludovic.netlib до версии 3.0.2 (SPARK-40251)
  • Обновление бреза до версии 2.0 (SPARK-39616)
  • Обновление версии slf4j до версии 2.0.6 (SPARK-41561)
  • Обновление версии kubernetes-client до версии 6.4.1 (SPARK-42362)
  • Обновление rocksdbjni до 7.9.2 ( SPARK-42129)
  • Обновление Apache Arrow до версии 11.0.0 (SPARK-42161)
  • Обновление Apache Kafka до версии 3.3.2 (SPARK-42109)

Обновления в рамках обслуживания

Ознакомьтесь с обновлениями обслуживания Databricks Runtime 13.0.

Системная среда

  • Операционная система: Ubuntu 22.04.2 LTS
  • Java: Zulu 8.68.0.21-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.6
  • R: 4.2.2
  • Delta Lake: 2.3.0

Установленные библиотеки Python

Библиотека Версия Библиотека Версия Библиотека Версия
appdirs 1.4.4 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.2.1 attrs 21.4.0 backcall 0.2.0
beautifulsoup4 4.11.1 black 22.6.0 bleach 4.1.0
blinker 1.4 boto3 1.24.28 botocore 1.27.28
certifi 2022.9.14 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 щелчок 8.0.4 Криптографии 37.0.1
cycler 0.11.0 Cython 0.29.32 dbus-python 1.2.18
debugpy 1.5.1 decorator 5.1.1 defusedxml 0.7.1
distlib 0.3.6 docstring-to-markdown 0,12 entrypoints 0,4
executing 1.2.0 facets-overview 1.0.2 fastjsonschema 2.16.3
filelock 3.10.7 шрифтовые инструменты 4.25.0 googleapis-common-protos 1.56.4
grpcio 1.48.1 grpcio-status 1.48.1 httplib2 0.20.2
idna 3,3 importlib-metadata 4.6.4 ipykernel 6.17.1
ipython 8.10.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
jedi 0.18.1 jeepney 0.7.1 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.2.0 jsonschema 4.16.0
jupyter-client 7.3.4 jupyter_core 4.11.2 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 Брелок 23.5.0 kiwisolver 1.4.2
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
MarkupSafe 2.0.1 matplotlib 3.5.2 matplotlib-inline 0.1.6
Маккейб 0.7.0 mistune 0.8.4 more-itertools 8.10.0
mypy-extensions 0.4.3 nbclient 0.5.13 nbconvert 6.4.4
nbformat 5.5.0 nest-asyncio 1.5.5 nodeenv 1.7.0
записная книжка 6.4.12 numpy 1.21.5 oauthlib 3.2.0
во внешнем виде 21,3 pandas 1.4.4 pandocfilters 1.5.0
parso 0.8.3 pathspec 0.9.0 patsy 0.5.2
pexpect 4.8.0 pickleshare 0.7.5 Pillow 9.2.0
pip 22.2.2 platformdirs 2.5.2 график 5.9.0
pluggy 1.0.0 prometheus-client 0.14.1 prompt-toolkit 3.0.36
protobuf 3.19.4 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 7.0.0
pycparser 2.21 pyflakes 3.0.1 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
python-dateutil 2.8.2 python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1
pytoolconfig 1.2.2 pytz 2022.1 pyzmq 23.2.0
requests 2.28.1 Веревку 1.7.0 s3transfer 0.6.0
scikit-learn 1.1.1 scipy 1.9.1 Сиборн 0.11.2
Секрет служба хранилища 3.3.1 Send2Trash 1.8.0 setuptools 63.4.1
six 1.16.0 soupsieve 2.3.1 ssh-import-id 5,11
stack-data 0.6.2 statsmodels 0.13.2 tenacity 8.0.1
terminado 0.13.1 testpath 0.6.0 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tomli 2.0.1 tornado 6.1
traitlets 5.1.1 ujson 5.4.0 unattended-upgrades 0,1
urllib3 1.26.11 virtualenv 20.16.3 wadllib 1.3.6
wcwidth 0.2.5 webencodings 0.5.1 whatthepatch 1.0.2
wheel 0.37.1 widgetsnbextension 3.6.1 yapf 0.31.0
zipp 1.0.0

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка Microsoft CRAN 2023-02-10.

Библиотека Версия Библиотека Версия Библиотека Версия
Стрелка 10.0.1 askpass 1,1 assertthat 0.2.1
внутренние порты 1.4.1 base 4.2.2 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 большой двоичный объект 1.2.3
загрузка 1.3-28 Заваривать 1,0–8 brio 1.1.3
Метлу 1.0.3 bslib 0.4.2 cachem 1.0.6
вызывающий объект 3.7.3 крышка 6.0-93 cellranger 1.1.0
chron 2.3-59 class 7.3-21 cli 3.6.0
clipr 0.8.0 clock 0.6.1 cluster 2.1.4
codetools 0.2-19 colorspace 2.1-0 commonmark 1.8.1
компилятор 4.2.2 config 0.3.1 cpp11 0.4.3
Карандаш 1.5.2 учетные данные 1.3.2 curl 5.0.0
data.table 1.14.6 наборы данных 4.2.2 DBI 1.1.3
dbplyr 2.3.0 desc 1.4.2 средства разработки 2.4.5
diffobj 0.3.5 digest 0.6.31 downlit 0.4.2
dplyr 1.1.0 dtplyr 1.2.2 e1071 1.7-13
многоточие 0.3.2 evaluate 0,20 вентиляторы 1.0.4
Farver 2.1.1 fastmap 1.1.0 fontawesome 0.5.0
forcats 1.0.0 foreach 1.5.2 Иностранных 0.8-82
forge 0.2.0 fs 1.6.1 будущее 1.31.0
future.apply 1.10.0 gargle 1.3.0 Универсальные шаблоны 0.1.3
gert 1.9.2 ggplot2 3.4.0 gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-6 globals 0.16.2
Клей 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
Говер 1.0.1 графика 4.2.2 grDevices 4.2.2
grid 4.2.2 gridExtra 2.3 gsubfn 0,7
gtable 0.3.1 hardhat 1.2.0 haven 2.5.1
высокий 0.10 Hms 1.1.2 htmltools 0.5.4
htmlwidgets 1.6.1 httpuv 1.6.8 httr 1.4.4
ids 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.7 Итераторы 1.0.14 jquerylib 0.1.4
jsonlite 1.8.4 KernSmooth 2.23-20 трикотажный 1.42
Маркировки 0.4.2 later 1.3.0 Решетки 0.20-45
Lava 1.7.1 жизненный цикл 1.0.3 listenv 0.9.0
lubridate 1.9.1 magrittr 2.0.3 Markdown 1.5
МАССАЧУСЕТС 7.3-58.2 «Матрица» 1.5-1 memoise 2.0.1
оплаты 4.2.2 mgcv 1.8-41 Mime 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.10
munsell 0.5.0 nlme 3.1-162 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.5 parallel 4.2.2
parallelly 1.34.0 Столб 1.8.1 pkgbuild 1.4.0
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2
plogr 0.2.0 plyr 1.8.8 Похвалы 1.0.0
prettyunits 1.1.1 Proc 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 Ход выполнения 1.2.2
progressr 0.13.0 promises 1.2.0.1 proto 1.0.0
proxy 0.4-27 ps 1.7.2 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.10 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.2 Рецепты 1.0.4
Реванш 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown 2,20 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-12
RSQLite 2.2.20 rstudioapi 0,14 rversions 2.1.2
rvest 1.0.3 sass 0.4.5 Весы 1.2.1
селектор 0.4-2 sessioninfo 1.2.2 Формы 1.4.6
Блестящие 1.7.4 sourcetools 0.1.7-1 sparklyr 1.7.9
SparkR 3.4.0 пространственный 7.3-15 Сплайны 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.2.2
статистика4 4.2.2 stringi 1.7.12 stringr 1.5.0
Выживания 3.5-3 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.6 textshaping 0.3.6
tibble 3.1.8 tidyr 1.3.0 tidyselect 1.2.0
tidyverse 1.3.2 timechange 0.2.0 TimeDate 4022.108
tinytex 0,44 средства 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.3
служебные программы 4.2.2 uuid 1.1-0 vctrs 0.5.2
viridisLite 0.4.1 vroom 1.6.1 waldo 0.4.0
виски 0.4.1 withr 2.5.0 xfun 0,37
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
Yaml 2.3.7 zip 2.2.2

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)

ИД группы Идентификатор артефакта Версия
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics потоковая передача 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1–0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.14.2
com.fasterxml.jackson.core jackson-core 2.14.2
com.fasterxml.jackson.core jackson-databind 2.14.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.14.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.14.2
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.2-5
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.9
com.google.crypto.tink tink 1.7.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h{_>2<_} 2.1.214
com.helger профилировщик 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.6.3
io.dropwizard.metrics metrics-core 4.2.10
io.dropwizard.metrics metrics-graphite 4.2.10
io.dropwizard.metrics metrics-healthchecks 4.2.10
io.dropwizard.metrics metrics-jetty9 4.2.10
io.dropwizard.metrics metrics-jmx 4.2.10
io.dropwizard.metrics metrics-json 4.2.10
io.dropwizard.metrics metrics-jvm 4.2.10
io.dropwizard.metrics metrics-servlets 4.2.10
io.netty netty-all 4.1.87.Final
io.netty netty-buffer 4.1.87.Final
io.netty netty-codec 4.1.87.Final
io.netty netty-codec-http 4.1.87.Final
io.netty netty-codec-http2 4.1.87.Final
io.netty netty-codec-socks 4.1.87.Final
io.netty netty-common 4.1.87.Final
io.netty netty-handler 4.1.87.Final
io.netty netty-handler-proxy 4.1.87.Final
io.netty netty-resolver 4.1.87.Final
io.netty netty-transport 4.1.87.Final
io.netty netty-transport-classes-epoll 4.1.87.Final
io.netty netty-transport-classes-kqueue 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.87.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.87.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Коллектор 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1,3
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.22
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow arrow-format 11.0.0
org.apache.arrow arrow-memory-core 11.0.0
org.apache.arrow arrow-memory-netty 11.0.0
org.apache.arrow arrow-vector 11.0.0
org.apache.avro avro 1.11.1
org.apache.avro avro-ipc 1.11.1
org.apache.avro avro-mapred 1.11.1
org.apache.commons commons-collections4 4.4.
org.apache.commons commons-compress 1,21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.19.0
org.apache.logging.log4j log4j-api 2.19.0
org.apache.logging.log4j log4j-core 2.19.0
org.apache.logging.log4j log4j-slf4j2-impl 2.19.0
org.apache.mesos mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.8.2-шейд-protobuf
org.apache.orc orc-mapreduce 1.8.2-шейд-protobuf
org.apache.orc orc-shims 1.8.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.22
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.50.v2021201
org.eclipse.jetty jetty-continuation 9.4.50.v2021201
org.eclipse.jetty jetty-http 9.4.50.v2021201
org.eclipse.jetty jetty-io 9.4.50.v2021201
org.eclipse.jetty jetty-jndi 9.4.50.v2021201
org.eclipse.jetty jetty-plus 9.4.50.v2021201
org.eclipse.jetty jetty-proxy 9.4.50.v2021201
org.eclipse.jetty jetty-security 9.4.50.v2021201
org.eclipse.jetty jetty-server 9.4.50.v2021201
org.eclipse.jetty jetty-servlet 9.4.50.v2021201
org.eclipse.jetty jetty-servlets 9.4.50.v2021201
org.eclipse.jetty jetty-util 9.4.50.v2021201
org.eclipse.jetty jetty-util-ajax 9.4.50.v2021201
org.eclipse.jetty jetty-webapp 9.4.50.v2021201
org.eclipse.jetty jetty-xml 9.4.50.v2021201
org.eclipse.jetty.websocket websocket-api 9.4.50.v2021201
org.eclipse.jetty.websocket websocket-client 9.4.50.v2021201
org.eclipse.jetty.websocket websocket-common 9.4.50.v2021201
org.eclipse.jetty.websocket websocket-server 9.4.50.v2021201
org.eclipse.jetty.websocket websocket-servlet 9.4.50.v2021201
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator hibernate-validator 6.1.7.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.8
org.roaringbitmap RoaringBitmap 0.9.39
org.roaringbitmap shims 0.9.39
org.rocksdb rocksdbjni 7.8.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 2.0.6
org.slf4j jul-to-slf4j 2.0.6
org.slf4j slf4j-api 2.0.6
org.threeten threeten-extra 1.7.1
org.tukaani xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.33
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1