Nota
El acceso a esta página requiere autorización. Puede intentar iniciar sesión o cambiar directorios.
El acceso a esta página requiere autorización. Puede intentar cambiar los directorios.
Nota:
El soporte técnico con esta versión de Databricks Runtime ha finalizado. Para obtener la fecha de finalización del soporte técnico, consulte Historial de fin de soporte técnico y finalización del ciclo de vida. Para todas las versiones de Databricks Runtime compatibles, consulte las notas de las versiones de Databricks Runtime y su compatibilidad.
En las siguientes notas de la versión, se proporciona información sobre Databricks Runtime 13.0, con tecnología de Apache Spark 3.4.0.
Databricks publicó esta versión en abril de 2023.
Nuevas características y mejoras
- Las expresiones H3 ahora admiten zonas geográficas lineales
- Ganglia se reemplazó por métricas de clúster
- Se ha publicado Spark 3.4.0
- Photon devuelve un error si se modifica un archivo entre el planeamiento y la ejecución de consultas
- Nuevas características para E/S predictivas
- Soporte extendido para características de E/S predictivas
- Uso del conector de Databricks para conectarse a otra área de trabajo de Databricks
- Opciones de Kafka adicionales para flujo estructurado con clúster compartido en Unity Catalog
- Omitir modificaciones de tablas Delta con Streaming Estructurado
- Característica CREATE TABLE LIKE para tablas Delta
- Nuevos campos de columna de metadatos que denotan la longitud y el inicio del bloque de archivos
- Nuevas funciones geoespaciales H3
- Nuevas funciones integradas de SQL
-
%sqlen cuadernos de Python -
%pipno reinicia Python automáticamente - Las bibliotecas de Python con ámbito de clúster se instalan mediante un usuario no raíz
Las expresiones H3 ahora admiten zonas geográficas lineales
Las h3_coverash3 funciones y h3_coverash3string ahora admiten zonas geográficas lineales (linestring y multilinestring). Las funciones producen un conjunto de cobertura mínimo de celdas H3 en la resolución especificada. Consulte h3_coverash3 y h3_coverash3string.
Ganglia se reemplazó por métricas de clúster
En las versiones 13 y posteriores de Databricks Runtime, las métricas de Ganglia se han remplazado por métricas de clúster de Azure Databricks. En las versiones 12 y posteriores de Databricks Runtime, puede seguir usando métricas de Ganglia. Si tiene un flujo de trabajo que depende de métricas de Ganglia que no se pueden satisfacer con métricas de clúster, póngase en contacto con el equipo de Azure Databricks. Consulte Visualización de métricas de proceso.
Se ha publicado Spark 3.4.0
Apache Spark 3.4.0 ya está disponible con carácter general. Consulte Versión 3.4.0 de Spark.
Photon devuelve un error si se modifica un archivo entre el planeamiento y la ejecución de consultas
Las consultas de Photon ahora devuelven un error si se actualiza un archivo entre el planeamiento y la ejecución de consultas. Antes de este cambio, Photon leía un archivo incluso si su tiempo de modificación cambiaba entre el planeamiento y la ejecución de consultas, lo que podía provocar resultados impredecibles.
Nuevas características para E/S predictivas
Photon ahora admite marcos deslizantes, tanto para los modos ROWS como RANGE, mediante {ROWS | RANGE} BETWEEN offset_start { PRECEDING | FOLLOWING } AND offset_stop { PRECEDING | FOLLOWING }.
Soporte extendido para características de E/S predictivas
Soporte extendido de Photon para orígenes de datos de almacenamiento en caché CSV, AVRO y DataFrame cuando el esquema contiene exclusivamente columnas escalares. También se extiende el soporte para tipos anidados, como mapas, estructuras y matrices.
Uso del conector de Databricks para conectarse a otra área de trabajo de Databricks
El conector de Azure Databricks permite conectarse a recursos de proceso configurados en otra área de trabajo y devolver resultados al área de trabajo de Azure Databricks actual. El controlador JDBC de Azure Databricks ahora se incluye en Databricks Runtime. Consulte Uso del conector de Databricks para conectarse a otra área de trabajo de Databricks.
Opciones de Kafka adicionales para flujo estructurado con clúster compartido en Unity Catalog
Ahora puede usar los valores kakfa.ssl.truststore.location y kafak.ssl.keystore.location para almacenar certificados de Kafka en ubicaciones externas administradas por Unity Catalog al usar el flujo estructurado en clústeres de acceso compartido. No se pueden usar ubicaciones en la raíz de DBFS.
Evitar modificaciones en las tablas Delta con streaming estructurado
Ahora puede usar skipChangeCommits para omitir confirmaciones de cambio de datos en tablas Delta para operaciones UPDATE, MERGE y DELETE. Esto reemplaza a ignoreChanges que ahora está en desuso. Consulte Gestión de cambios en las tablas delta de origen.
Característica CREATE TABLE LIKE para tablas Delta
CREATE TABLE LIKE ahora se admite cuando se usan tablas Delta.
Nuevos campos de columna de metadatos que denotan la longitud y el inicio del bloque de archivos
Ahora puede obtener la siguiente información de metadatos para los archivos de entrada con la columna _metadata: file_block_start y file_block_length. Para obtener más información, consulte Columna de metadatos de archivo.
Nuevas funciones geoespaciales H3
Las nuevas expresiones h3_coverash3 y h3_coverash3string están disponibles para el procesamiento geoespacial cuando Photon está habilitado. Consulte las funciones geoespaciales de H3
Nuevas funciones integradas de SQL
Se han agregado las siguientes funciones:
-
array_insert(array, index, elem) Devuelve un objeto
arrayexpandido dondeelemse inserta en la posiciónindex. -
luhn_check(numStr) Devuelve
truesinumStrpasa la comprobación del algoritmo de Luhn.
%sqlen cuadernos de Python
Todos los resultados no vacíos %sql en los cuadernos de Python ahora son accesibles mediante _sqldf o a través del sistema de almacenamiento en caché de IPython. Esto simplifica el uso del resultado de DataFrame en Python. Este es un cambio de comportamiento de versiones anteriores de Databricks Runtime, como antes, _sqldf no siempre se reasignaba.
_sqldf no se reasigna en un resultado de celda de %sql si la celda se ejecutó mediante la ejecución paralela de celdas de SQL.
%pip no reinicia Python automáticamente
Después de ejecutar comandos %pip dentro de cuadernos de Python que modifican el objeto virtualEnv, Databricks ya no reinicia automáticamente el proceso de Python. Para reiniciar el proceso de Python, llame a dbutils.library.restartPython(). Con este cambio, los comandos %pip de Databricks se comportan de forma similar a los cuadernos de Jupyter Notebook y son coherentes con los comandos !pip y %sh pip. Databricks recomienda %pip en lugar de !pip o %sh pip.
Las bibliotecas de Python con ámbito de clúster se instalan mediante un usuario no raíz
Las bibliotecas ahora se instalan mediante un usuario no raíz que es responsable de las instalaciones de bibliotecas. Si quieres configurar el comportamiento de instalación de pip en scripts de inicialización, usa el [archivo de nivel global https://pip.pypa.io/en/stable/topics/configuration/#configuration-files).
Correcciones de errores
- En los comandos
%sh, se han realizado las siguientes correcciones:- Ahora se admite la salida que contiene caracteres que no son UTF-8.
- Los subprocesos ahora se interrumpen cuando se cancela el comando.
Actualizaciones de bibliotecas
- Bibliotecas de Python actualizadas:
- asttokens de 2.0.5 a 2.2.1
- black de 22.3.0 a 22.6.0
- boto3 de 1.21.32 a 1.24.28
- botocore de 1.24.32 a 1.27.28
- certifi de 2021.10.8 a 2022.9.14
- cffi de 1.15.0 a 1.15.1
- cryptography de 3.4.8 a 37.0.1
- Cython de 0.29.28 a 0.29.32
- dbus-python de 1.2.16 a 1.2.18
- docstring-to-markdown de 0.11 a 0.12
- ejecutando de 0.8.3 a 1.2.0
- facets-overview de la versión 1.0.0 a la versión 1.0.2
- fastjsonschema de 2.16.2 a 2.16.3
- filelock de 3.9.0 a 3.10.7
- Actualización de ipykernel de la versión 6.15.3 a la versión 6.17.1
- ipython de 8.5.0 a 8.10.0
- joblib de 1.1.1 a 1.2.0
- Actualización de jsonschema de la versión 4.4.0 a la versión 4.16.0
- Actualización de jupyter-client de la versión 6.1.12 a la versión 7.3.4
- kiwisolver de 1.3.2 a 1.4.2
- matplotlib de 3.5.1 a 3.5.2
- matplotlib-inline de 0.1.2 a 0.1.6
- nbformat de 5.3.0 a 5.5.0
- notebook de 6.4.8 a 6.4.12
- pandas de 1.4.2 a 1.4.4
- Pillow de 9.0.1 a 9.2.0
- pip de 21.2.4 a 22.2.2
- platformdirs de 2.6.2 a 2.5.2
- plotly de 5.6.0 a 5.9.0
- prometheus-client de 0.13.1 a 0.14.1
- Actualización de prompt-toolkit de 3.0.20 a 3.0.36
- Actualización de psutil de la versión 5.8.0 a la versión 5.9.0
- pyflakes de 2.5.0 a 3.0.1
- PyGObject de 3.36.0 a 3.42.1
- pyparsing de la versión 3.0.4 a la versión 3.0.9
- pyright de 1.1.283 a 1.1.294
- python-lsp-server de 1.6.0 a 1.7.1
- pytz de 2021.3 a 2022.1
- pyzmq de 22.3.0 a 23.2.0
- Requests de la versión 2.27.1 a la 2.28.1
- Rope de 0.22.0 a 1.7.0
- s3transfer de 0.5.0 a 0.6.0
- scikit-learn de 1.0.2 a 1.1.1
- scipy de 1.7.3 a 1.9.1
- setuptools de 61.2.0 a 63.4.1
- ssh-import-id de 5.10 a 5.11
- Actualización de stack-data desde la versión 0.2.0 a la 0.6.2
- testpath de 0.5.0 a 0.6.0
- Actualización de tomli de la versión 1.2.2 a la 2.0.1
- ujson de 5.1.0 a 5.4.0
- urllib3 de 1.26.9 a 1.26.11
- virtualenv de 20.8.0 a 20.16.3
- whatthepatch versión 1.0.4 a la 1.0.2
- wheel de 0.37.0 a 0.37.1
- Bibliotecas de R actualizadas:
- flecha de 10.0.0 a 10.0.1
- bit de 4.0.4 a 4.0.5
- Actualización de broom de la versión 1.0.1 a la versión 1.0.3
- bslib de 0.4.1 a 0.4.2
- chron de 2.3-58 a 2.3-59
- cli de 3.4.1 a 3.6.0
- Colorspace de la versión 2.0-3 a la versión 2.1-0
- curl de 4.3.3 a 5.0.0
- data.table de 1.14.4 a 1.14.6
- dbplyr de 2.2.1 a 2.3.0
- digest de 0.6.30 a 0.6.31
- dplyr de 1.0.10 a 1.1.0
- e1071 de 1.7-12 a 1.7-13
- Evaluar de 0,18 a 0,20
- fansi de 1.0.3 a 1.0.4
- Actualización de fontawesome de la versión 0.4.0 a la 0.5.0
- forcats de 0.5.2 a 1.0.0
- fs de 1.5.2 a 1.6.1
- future de 1.29.0 a 1.31.0
- gargle de 1.2.1 a 1.3.0
- gert de 1.9.1 a 1.9.2
- glmnet de 4.1-4 a 4.1-6
- globals de 0.16.1 a 0.16.2
- gower de 1.0.0 a 1.0.1
- Aumentar de 0.9 a 0.10
- htmltools de 0.5.3 a 0.5.4
- htmlwidgets de 1.5.4 a 1.6.1
- httpuv de 1.6.6 a 1.6.8
- isoband de 0.2.6 a 0.2.7
- jsonlite de 1.8.3 a 1.8.4
- knitr de 1.40 a 1.42
- lava de 1.7.0 a 1.7.1
- listenv de 0.8.0 a 0.9.0
- lubridate de 1.9.0 a 1.9.1
- Cambios en la versión de markdown de 1.3 a 1.5
- Actualización de modelr de la versión 0.1.9 a la 0.1.10
- openssl de 2.0.4 a 2.0.5
- en paralelo de 1.32.1 a 1.34.0
- pkgbuild de 1.3.1 a 1.4.0
- pkgdown de 2.0.6 a 2.0.7
- Actualización de pkgload de la versión 1.3.1 a la 1.3.2
- plyr de 1.8.7 a 1.8.8
- Actualización de progressr de la versión 0.11.0 a la versión 0.13.0
- purrr de 0.3.5 a 1.0.1
- ragg de 1.2.4 a 1.2.5
- Rcpp de 1.0.9 a 1.0.10
- readxl de 1.4.1 a 1.4.2
- recetas desde 1.0.3 a 1.0.4
- rmarkdown desde 2.18 a 2.20
- RODBC de 1.3-19 a 1.3-20
- roxygen2 de 7.2.1 a 7.2.3
- RSQLite de 2.2.18 a 2.2.20
- sass de 0.4.2 a 0.4.5
- shiny de 1.7.3 a 1.7.4
- sourcetools de 0.1.7 a 0.1.7-1
- sparklyr de 1.7.8 a 1.7.9
- SparkR de 3.3.2 a 3.4.0
- Datos espaciales de 7.3-11 a 7.3-15
- stringi de 1.7.8 a 1.7.12
- stringr de 1.4.1 a 1.5.0
- supervivencia desde 3.4-0 hasta 3.5-3
- testthat de la versión 3.1.5 a la versión 3.1.6
- tidyr de 1.2.1 a 1.3.0
- timechange de 0.1.1 a 0.2.0
- timeDate de 4021.106 a 4022.108
- tinytex de 0.42 a 0.44
- utf8 de 1.2.2 a 1.2.3
- vctrs de 0.5.0 a 0.5.2
- vroom de 1.6.0 a 1.6.1
- whisker de 0.4 a 0.4.1
- xfun de 0.34 a 0.37
- Actualizar yaml de la versión 2.3.6 a la versión 2.3.7
- Bibliotecas de Java actualizadas:
- com.amazonaws.aws-java-sdk-autoscaling de 1.12.189 a 1.12.390
- com.amazonaws.aws-java-sdk-cloudformation de 1.12.189 a 1.12.390
- com.amazonaws.aws-java-sdk-cloudfront de 1.12.189 a 1.12.390
- com.amazonaws.aws-java-sdk-cloudhsm de 1.12.189 a 1.12.390
- com.amazonaws.aws-java-sdk-cloudsearch de 1.12.189 a 1.12.390
- com.amazonaws.aws-java-sdk-cloudtrail de 1.12.189 a 1.12.390
- com.amazonaws.aws-java-sdk-cloudwatch de 1.12.189 a 1.12.390
- com.amazonaws.aws-java-sdk-cloudwatchmetrics de 1.12.189 a 1.12.390
- com.amazonaws.aws-java-sdk-codedeploy de 1.12.189 a 1.12.390
- com.amazonaws.aws-java-sdk-cognitoidentity de 1.12.189 a 1.12.390
- com.amazonaws.aws-java-sdk-cognitosync de 1.12.189 a 1.12.390
- com.amazonaws.aws-java-sdk-config de 1.12.189 a 1.12.390
- com.amazonaws.aws-java-sdk-core de 1.12.189 a 1.12.390
- com.amazonaws.aws-java-sdk-datapipeline de 1.12.189 a 1.12.390
- com.amazonaws.aws-java-sdk-directconnect de 1.12.189 a 1.12.390
- com.amazonaws.aws-java-sdk-directory de 1.12.189 a 1.12.390
- com.amazonaws.aws-java-sdk-dynamodb de 1.12.189 a 1.12.390
- com.amazonaws.aws-java-sdk-ec2 de 1.12.189 a 1.12.390
- com.amazonaws.aws-java-sdk-ecs de 1.12.189 a 1.12.390
- com.amazonaws.aws-java-sdk-efs de 1.12.189 a 1.12.390
- com.amazonaws.aws-java-sdk-elasticache de 1.12.189 a 1.12.390
- com.amazonaws.aws-java-sdk-elasticbeanstalk de 1.12.189 a 1.12.390
- com.amazonaws.aws-java-sdk-elasticloadbalancing de 1.12.189 a 1.12.390
- com.amazonaws.aws-java-sdk-elastictranscoder de 1.12.189 a 1.12.390
- com.amazonaws.aws-java-sdk-emr de 1.12.189 a 1.12.390
- Actualización de paquete com.amazonaws.aws-java-sdk-glacier de la versión 1.12.189 a la versión 1.12.390
- com.amazonaws.aws-java-sdk-glue de 1.12.189 a 1.12.390
- com.amazonaws.aws-java-sdk-iam de 1.12.189 a 1.12.390
- com.amazonaws.aws-java-sdk-importexport de 1.12.189 a 1.12.390
- com.amazonaws.aws-java-sdk-kinesis de 1.12.189 a 1.12.390
- com.amazonaws.aws-java-sdk-kms de 1.12.189 a 1.12.390
- com.amazonaws.aws-java-sdk-lambda de 1.12.189 a 1.12.390
- com.amazonaws.aws-java-sdk-logs de 1.12.189 a 1.12.390
- com.amazonaws.aws-java-sdk-machinelearning de 1.12.189 a 1.12.390
- com.amazonaws.aws-java-sdk-opsworks de 1.12.189 a 1.12.390
- com.amazonaws.aws-java-sdk-rds de 1.12.189 a 1.12.390
- com.amazonaws.aws-java-sdk-redshift de la versión 1.12.189 a la versión 1.12.390
- com.amazonaws.aws-java-sdk-route53 de 1.12.189 a 1.12.390
- com.amazonaws.aws-java-sdk-s3 de 1.12.189 a 1.12.390
- com.amazonaws.aws-java-sdk-ses de 1.12.189 a 1.12.390
- com.amazonaws.aws-java-sdk-simpledb de 1.12.189 a 1.12.390
- com.amazonaws.aws-java-sdk-simpleworkflow de 1.12.189 a 1.12.390
- com.amazonaws.aws-java-sdk-sns de 1.12.189 a 1.12.390
- com.amazonaws.aws-java-sdk-sqs de 1.12.189 a 1.12.390
- com.amazonaws.aws-java-sdk-ssm de 1.12.189 a 1.12.390
- com.amazonaws.aws-java-sdk-storagegateway de 1.12.189 a 1.12.390
- com.amazonaws.aws-java-sdk-sts de 1.12.189 a 1.12.390
- com.amazonaws.aws-java-sdk-support de 1.12.189 a 1.12.390
- com.amazonaws.aws-java-sdk-workspaces de 1.12.189 a 1.12.390
- com.amazonaws.jmespath-java de 1.12.189 a 1.12.390
- com.fasterxml.jackson.core.jackson-annotations de 2.13.4 a 2.14.2
- com.fasterxml.jackson.core.jackson-core de 2.13.4 a 2.14.2
- com.fasterxml.jackson.core.jackson-databind de 2.13.4.2 a 2.14.2
- com.fasterxml.jackson.dataformat.jackson-dataformat-cbor de 2.13.4 a 2.14.2
- com.fasterxml.jackson.datatype.jackson-datatype-joda de 2.13.4 a 2.14.2
- com.fasterxml.jackson.module.jackson-module-paranamer desde 2.13.4 hasta 2.14.2
- com.fasterxml.jackson.module.jackson-module-scala_2.12 de 2.13.4 a 2.14.2
- com.github.luben.zstd-jni de 1.5.2-1 a 1.5.2-5
- com.google.code.gson.gson de 2.8.6 a 2.8.9
- com.google.crypto.tink.tink de 1.6.1 a 1.7.0
- com.h2database.h2 de 2.0.204 a 2.1.214
- com.jcraft.jsch de 0.1.50 a 0.1.55
- com.ning.compress-lzf de 1.1 a 1.1.2
- commons-fileupload.commons-fileupload desde la versión 1.3.3 hasta la 1.5
- dev.ludovic.netlib.arpack de 2.2.1 a 3.0.3
- dev.ludovic.netlib.blas de 2.2.1 a 3.0.3
- dev.ludovic.netlib.lapack de 2.2.1 a 3.0.3
- io.delta.delta-sharing-spark_2.12 de 0.6.9 a 0.6.3
- io.dropwizard.metrics.metrics-core de 4.1.1 a 4.2.10
- io.dropwizard.metrics.metrics-graphite de 4.1.1 a 4.2.10
- io.dropwizard.metrics.metrics-healthchecks de 4.1.1 a 4.2.10
- io.dropwizard.metrics.metrics-jetty9 de 4.1.1 a 4.2.10
- io.dropwizard.metrics.metrics-jmx de 4.1.1 a 4.2.10
- Actualización de io.dropwizard.metrics.metrics-json de la versión 4.1.1 a la versión 4.2.10
- io.dropwizard.metrics.metrics-jvm de 4.1.1 a 4.2.10
- io.dropwizard.metrics.metrics-servlets de 4.1.1 a 4.2.10
- io.netty.netty-all de 4.1.74.Final a 4.1.87.Final
- io.netty.netty-buffer de 4.1.74.Final a 4.1.87.Final
- io.netty.netty-codec de 4.1.74.Final a 4.1.87.Final
- (io.netty.netty-common de 4.1.74.Final a 4.1.87.Final)
- io.netty.netty-handler de 4.1.74.Final a 4.1.87.Final
- io.netty.netty-resolver de 4.1.74.Final a 4.1.87.Final
- io.netty.netty-transport de 4.1.74.Final a 4.1.87.Final
- io.netty.netty-transport-classes-epoll de 4.1.74.Final a 4.1.87.Final
- io.netty.netty-transport-classes-kqueue de 4.1.74.Final a 4.1.87.Final
- io.netty.netty-transport-native-unix-common de 4.1.74.Final a 4.1.87.Final
- joda-time.joda-time desde 2.10.13 hasta 2.12.1
- net.razorvine.pickle de 1.2 a 1.3
- net.snowflake.snowflake-jdbc, versión de 3.13.29 a 3.13.22
- org.antlr.antlr4-runtime de 4.8 a 4.9.3
- org.apache.ant.ant de 1.9.2 a 1.9.16
- org.apache.ant.ant-jsch de 1.9.2 a 1.9.16
- org.apache.ant.ant-launcher de 1.9.2 a 1.9.16
- org.apache.arrow.arrow-format de 7.0.0 a 11.0.0
- org.apache.arrow.arrow-memory-core de 7.0.0 a 11.0.0
- org.apache.arrow.arrow-memory-netty de 7.0.0 a 11.0.0
- org.apache.arrow.arrow-vector de 7.0.0 a 11.0.0
- org.apache.avro.avro de 1.11.0 a 1.11.1
- org.apache.avro.avro-ipc de 1.11.0 a 1.11.1
- org.apache.avro.avro-mapred de 1.11.0 a 1.11.1
- Actualización de org.apache.httpcomponents.httpclient de la versión 4.5.13 a la versión 4.5.14
- org.apache.httpcomponents.httpcore de 4.4.14 a 4.4.16
- org.apache.logging.log4j.log4j-1.2-api desde la versión 2.18.0 hasta la versión 2.19.0
- org.apache.logging.log4j.log4j-api de 2.18.0 a 2.19.0
- org.apache.logging.log4j.log4j-core de 2.18.0 a 2.19.0
- org.apache.orc.orc-core de 1.7.8 a 1.8.2-shaded-protobuf
- org.apache.orc.orc-mapreduce de 1.7.8 a 1.8.2-shaded-protobuf
- org.apache.orc.orc-shims de 1.7.8 a 1.8.2
- org.apache.xbean.xbean-asm9-shaded de 4.20 a 4.22
- org.apache.zookeeper.zookeeper de 3.6.2 a 3.6.3
- org.apache.zookeeper.zookeeper-jute de 3.6.2 a 3.6.3
- org.eclipse.jetty.jetty-client de 9.4.46.v20220331 a 9.4.50.v20221201
- org.eclipse.jetty.jetty-continuation de 9.4.46.v20220331 a 9.4.50.v20221201
- org.eclipse.jetty.jetty-http de 9.4.46.v20220331 a 9.4.50.v20221201
- org.eclipse.jetty.jetty-io de 9.4.46.v20220331 a 9.4.50.v20221201
- org.eclipse.jetty.jetty-jndi de 9.4.46.v20220331 a 9.4.50.v20221201
- org.eclipse.jetty.jetty-plus de 9.4.46.v20220331 a 9.4.50.v20221201
- org.eclipse.jetty.jetty-proxy de 9.4.46.v20220331 a 9.4.50.v20221201
- org.eclipse.jetty.jetty-security de 9.4.46.v20220331 a 9.4.50.v20221201
- org.eclipse.jetty.jetty-server de 9.4.46.v20220331 a 9.4.50.v20221201
- org.eclipse.jetty.jetty-servlet de 9.4.46.v20220331 a 9.4.50.v20221201
- org.eclipse.jetty.jetty-servlets de 9.4.46.v20220331 a 9.4.50.v20221201
- org.eclipse.jetty.jetty-util de 9.4.46.v20220331 a 9.4.50.v20221201
- org.eclipse.jetty.jetty-util-ajax de 9.4.46.v20220331 a 9.4.50.v20221201
- org.eclipse.jetty.jetty-webapp de 9.4.46.v20220331 a 9.4.50.v20221201
- org.eclipse.jetty.jetty-xml de 9.4.46.v20220331 a 9.4.50.v20221201
- org.eclipse.jetty.websocket.websocket-api de la versión 9.4.46.v20220331 a la versión 9.4.50.v20221201
- org.eclipse.jetty.websocket.websocket-client de 9.4.46.v20220331 a 9.4.50.v20221201
- org.eclipse.jetty.websocket.websocket-common de 9.4.46.v20220331 a 9.4.50.v20221201
- org.eclipse.jetty.websocket.websocket-server de 9.4.46.v20220331 a 9.4.50.v20221201
- org.eclipse.jetty.websocket.websocket-servlet de 9.4.46.v20220331 a 9.4.50.v20221201
- org.hibernate.validator.hibernate-validator de 6.1.0.Final a 6.1.7.Final
- org.mlflow.mlflow-spark de 2.1.1 a 2.2.0
- org.postgresql.postgresql de 42.3.3 a 42.3.8
- org.roaringbitmap.RoaringBitmap de 0.9.25 a 0.9.39
- Actualización: org.roaringbitmap.shims de la versión 0.9.25 a la versión 0.9.39
- org.rocksdb.rocksdbjni de 6.28.2 a 7.8.3
- org.scala-lang.scala-compiler_2.12 de 2.12.14 a 2.12.15
- org.scala-lang.scala-library_2.12 de 2.12.14 a 2.12.15
- org.scala-lang.scala-reflect_2.12 de 2.12.14 a 2.12.15
- org.scalanlp.breeze-macros_2.12 de 1.2 a 2.1.0
- org.scalanlp.breeze_2.12 de 1.2 a 2.1.0
- org.slf4j.jcl-over-slf4j de 1.7.36 a 2.0.6
- org.slf4j.jul-to-slf4j de 1.7.36 a 2.0.6
- org.slf4j.slf4j-api de 1.7.36 a 2.0.6
- org.threeten.threeten-extra de 1.5.0 a 1.7.1
- org.wildfly.openssl.wildfly-openssl de 1.0.7.Final a 1.1.3.Final
- org.yaml.snakeyaml de 1.24 a 1.33
Apache Spark
Databricks Runtime 13.0 incluye Apache Spark 3.4.0.
- Spark SQL
- Spark Core
- Structured Streaming
- Spark Connect
- PySpark
- MLLIB
- SparkR
- Interfaz de Usuario en Vivo y Servicio del Servidor de Historial
- Compilar
Spark SQL
Características
- Implementación de compatibilidad con valores DEFAULT para columnas en tablas (SPARK-38334)
- Adición de Dataset.as(StructType) (SPARK-39625)
- Compatibilidad con SQL parámetrizado (SPARK-41271, SPARK-42702)
- Adición de unpivot/melt (SPARK-38864, SPARK-39876)
- Compatibilidad con "referencias de alias de columna laterales" (SPARK-27561)
- Compatibilidad con cláusula de desplazamiento de resultados (SPARK-28330, SPARK-39159)
- Compatibilidad con marca de tiempo sin tipo de datos de zona horaria (SPARK-35662)
- Soporte para subconsultas escalares en viaje en el tiempo (SPARK-39306)
- Hacer que la API de catálogo sea compatible con el espacio de nombres de 3 capas (SPARK-39235)
- Compatibilidad con marca de tiempo en segundos para TimeTravel mediante opciones de DataFrame (SPARK-39633)
- Adición de SparkSession.config(Map) (SPARK-40163)
- Compatibilidad con el cambio de la base de datos predeterminada del catálogo de sesiones (SPARK-35242)
- Compatibilidad de Protobuf con Spark: from_protobuf AND to_protobuf (SPARK-40654)
- Incorporación de la cláusula WHEN NOT MATCHED BY SOURCE a MERGE INTO (SPARK-40921)
- Relajación de la restricción de ordenación para las opciones de columna de CREATE TABLE (SPARK-40944)
- Equivalente de SQL para el comando de sobrescritura de DataFrame (SPARK-40956)
- Compatibilidad para generar sin necesidad de salida secundaria para alojar referencias externas (SPARK-41441)
- ORDER BY ALL (SPARK-41637)
- GROUP BY ALL (SPARK-41635)
- Adición de flatMapSortedGroups y cogroupSorted (SPARK-38591)
- Admite subconsultas con predicados de no igualdad correlacionados (SPARK-36114)
- Compatibilidad con subconsultas con correlación mediante UNION/INTERSECT/EXCEPT (SPARK-36124)
Cumplimiento de ANSI
- Modo SQL ANSI: siempre devuelve null en caso de acceso no válido a la columna de mapeo (SPARK-40066)
- Compatibilidad con identificadores entre comillas dobles (SPARK-40585)
- Modo SQL de ANSI: Round/Bround debería devolver un error en caso de desbordamiento de enteros (SPARK-42045)
- Compatibilidad con la conversión de enteros a intervalos ANSI (SPARK-40008)
- Soporte para conversión de decimales a intervalos ANSI (SPARK-40014)
- Devolución de tipos de intervalos ANSI más amplios a partir de las funciones de percentil (SPARK-40151)
- Compatibilidad con la conversión de intervalos ANSI a decimales (SPARK-39470)
- Admitir la conversión de intervalos a enteros en modo ANSI (SPARK-39451)
- Protección del uso de SQLSTATE para clases de error (SPARK-41994)
Funciones
- Compatibilidad con funciones de generador con valores de tabla en la cláusula FROM (SPARK-41594)
- Compatibilidad con la función de agregado de ANSI: REGR_SXY (SPARK-37681)
- Compatibilidad con la función de agregado de ANSI: REGR_R2 (SPARK-37641)
- Compatibilidad con la función de agregado de ANSI: REGR_SXX (SPARK-37672)
- Compatibilidad con la función de agregado de ANSI: REGR_SYY (SPARK-37702)
- Compatibilidad con la función de agregado de ANSI: REGR_SLOPE (SPARK-39230)
- Compatibilidad con la función de agregado de ANSI: REGR_INTERCEPT (SPARK-37623)
- Compatibilidad con la función de agregación de ANSI PERCENTILE_CONT como función de ventana (SPARK-38219)
- Compatibilidad con la función de agregación de ANSI: PERCENTILE_DISC (SPARK-37691)
- Compatibilidad con la función SPLIT_PART (SPARK-38063)
- Compatibilidad con la función TRY_AVG (SPARK-38589)
- Compatibilidad con la función TRY_TO_BINARY (SPARK-38590)
- Compatibilidad con las funciones TO_NUMBER y TRY_TO_NUMBER SQL de acuerdo con una nueva especificación (SPARK-38796)
- Soporte de especificación de valor general ANSI y función: USER (SPARK-39138)
- Compatibilidad con las funciones TO_CHAR y TRY_TO_CHAR para convertir valores decimales en cadenas (SPARK-28516)
- Admite la función de agregado ANY_VALUE (SPARK-39213)
- Compatibilidad con la función EQUAL_NUL (SPARK-39305)
- Soporte para la función de agregado MEDIAN (SPARK-39320)
- Compatibilidad con la función REGEXP_COUNT (SPARK-39618)
- Compatibilidad con la función REGEXP_INSTR (SPARK-39744)
- Compatibilidad con la función REGEXP_SUBSTR (SPARK-39695)
- Compatibilidad con la función UNPIVOT (SPARK-39876)
- Soporte para la función TRY_TO_TIMESTAMP (SPARK-39795)
- Compatibilidad para la codificación y descodificación de URL como función integrada y la organización de funciones relacionadas con URL (SPARK-39741)
- Soporte para la función de agregado MODE (SPARK-39808)
- Compatibilidad con la función GET (SPARK-40109)
- Adición de alias de función: LEN, DATEPART, DATEADD, DATE_DIFF, CURDATE (SPARK-40352)
- Mejora de la función TO_BINARY (SPARK-40112)
- Compatibilidad con CURRENT_SCHEMA (SPARK-41323)
- Compatibilidad con la función integrada de enmascaramiento de datos MASK (SPARK-40687)
- Compatibilidad con la función de orden alto: ARRAY_COMPACT (SPARK-41235)
- Compatibilidad con la función ARRAY_APPEND (SPARK-41232)
- Compatibilidad con la función ARRAY_INSERT (SPARK-41234)
- Compatibilidad con la función LUHN_CHECK (SPARK-42191)
- Compatibilidad con ARRAY_SORT(columna, comparador) (SPARK-39925)
Orígenes de datos
- Soporte de estadísticas de columnas en DS v2 (SPARK-41378)
- Unión con particiones de almacenamiento (SPJ) en DS v2 (SPARK-37375)
- Operaciones de nivel de fila en DS v2 (SPARK-35801)
- Adición de la combinación SupportsReportOrdering en la interfaz para el examen de DS v2 (SPARK-38647)
- Inferencia del tipo DATE para la inferencia de esquemas CSV (SPARK-39469)
- Compatibilidad con métricas de controlador en la API de métricas personalizadas de DS v2 (SPARK-39635)
- La distribución y el orden son compatibles con la función DS v2 al escribir (SPARK-39607)
- StringEndsWith/Contains admite la inserción en Parquet para que podamos aprovechar el filtro de diccionario (SPARK-39002)
- Compatibilidad con UDT en el lector vectorizado de Parquet de Spark (SPARK-39086)
- Extensión de la columna METADATA para admitir índices de fila para archivos Parquet (SPARK-37980)
- Compatibilidad para la lectura del tipo de Parquet FIXED_LEN_BYTE_ARRAY (SPARK-41096)
- Optimización del orden de los predicados de filtrado (SPARK-40045)
- Compatibilidad con consultas de tabla temporal y CTE con MSSQL JDBC (SPARK-37259)
- Compatibilidad con ignoreCorruptFiles e ignoreMissingFiles en las opciones de origen de datos (SPARK-38767)
- Extracción de la escritura de v1 en WriteFiles (SPARK-41407)
- Agregar relleno de caracteres en el lado de lectura para cubrir archivos de datos externos (SPARK-40697)
Optimización de las consultas
- Combinación de subconsultas escalares no correlacionadas (SPARK-34079)
- Habilitación de combinaciones de filtros Bloom de forma predeterminada (SPARK-38841)
- Eliminación de distinciones innecesarias en la expresión de agregado usando distinctKeys (SPARK-38832)
- Compatibilidad con la delegación de predicado y poda de columnas para CTE desduplicados (SPARK-37670)
- Eliminación de combinaciones externas si las funciones de agregado son agnósticas a los duplicados en el lado transmitido (SPARK-38886)
- Elimina uniones externas izquierdas/derechas si solo se seleccionan las columnas del lado izquierdo o derecho y las claves de unión del otro lado son únicas (SPARK-39172)
- Optimización de la ordenación global en RepartitionByExpression (SPARK-39911)
- Optimización de la regla TransposeWindow (SPARK-38034)
- Mejora de EliminateSorts para admitir la eliminación de ordenaciones a través de LocalLimit (SPARK-40050)
- Empuje el límite local a ambos lados si la condición de combinación está vacía (SPARK-40040)
- Implementar PushProjectionThroughLimit para el Optimizer (SPARK-40501)
- Compatibilidad con PIVOT/UNPIVOT con elementos secundarios de unión (SPARK-41195)
- Compatibilidad con la eliminación de columnas con varios filtros no deterministas (SPARK-41017)
- Mejora de la creación de particiones de salida y la ordenación con la caché de AQE (SPARK-41048)
- Mejorar el rendimiento de múltiples expresiones LIKE mediante la creación de un predicado de árbol de expresiones equilibrado (SPARK-41167)
- Eliminación de la ordenación si es el elemento secundario de RepartitionByExpression (SPARK-36703)
- Utilizar las estadísticas de columna disponibles de las etapas de consulta completadas (SPARK-39991)
- Reutilización de expresiones en WindowSpecDefinition (SPARK-41805)
- Mejora de AliasAwareOutputPartitioning y AliasAwareQueryOutputOrdering para tener en cuenta todos los alias (SPARK-40086, SPARK-42049)
- Reducción del límite mediante UDF de Python (SPARK-42115)
Generación de código y ejecución de consultas
- Hacer que defaultJoin en BroadcastNestedLoopJoinExec se ejecute en paralelo (SPARK-40487)
- Compatibilidad de Codegen con HiveGenericUDF (SPARK-42051)
- Introducir mezcla en SinglePartition (SPARK-41986)
- Hace que DPP sea compatible en el lado de poda que tiene Union (SPARK-39217)
Otros cambios importantes
- Compatibilidad con la recopilación de estadísticas de partición automática (SPARK-38573)
- Mensajes de error de formato en el servidor de Thrift (SPARK-40098)
- Adición de una API de extensión para planear la normalización del almacenamiento en caché (SPARK-41183)
- Refactorización de tipos de Spark mediante la introducción de tipos físicos (SPARK-41226)
- Compatibilidad con campos OneOf y comprobaciones de recursividad (SPARK-41396)
- Centralización de la lógica de resolución de columnas (SPARK-41405)
- Mejora de la validación de cambios del plan (SPARK-42081)
- Introducción de SparkPath para la seguridad de tipos (SPARK-41970)
- Generar excepción para db_name.view_name al crear una vista temporal mediante la API Dataset (SPARK-41090)
- Cambio del valor predeterminado del argumento de la función Mask de -1 a NULL (SPARK-42070)
Spark Core
Desmantelar
- Evitar que se vuelva a ejecutar una tarea innecesaria en el ejecutor retirado perdido si se migran datos aleatorios (SPARK-41469)
- Omisión del error de captura de fase causado por el ejecutor retirado (SPARK-40481)
- Habilitación de spark.storage.decommission.(rdd|shuffle)Blocks.enabled de forma predeterminada (SPARK-40198)
- Adición de soporte para la desactivación de YARN cuando ESS está deshabilitado (SPARK-30835)
Programador
- Hacer que la programación de fases admita el modo de clúster local (SPARK-41949)
- Compatibilidad con el perfil de recursos de tarea a nivel de etapa para un clúster independiente cuando la asignación dinámica está deshabilitada (SPARK-39853)
- Retraso en onDisconnected para permitir que el controlador reciba ExecutorExitCode (SPARK-39957)
- Mejora de la previsión por medio de las métricas de tareas de fase (SPARK-32170)
- Agregar compatibilidad con la programación de recursos a nivel de etapa para un clúster independiente (SPARK-39062)
- Mejorar el proceso LaunchTask para evitar errores de fase causados por mensajes LaunchTask que fallaron al enviarse (SPARK-39955)
Orden aleatorio
- Agregar métricas de lectura del lado cliente basadas en barajar con inserción (SPARK-36620)
- Métricas del lado servidor para orden aleatorio basado en inserción (SPARK-33573)
- Asegurarse de que mergedShuffleCleaner se ha apagado antes de cerrar la base de datos (SPARK-40186)
- Adición de compatibilidad con RocksDB para el almacén de estado de servicio aleatorio (SPARK-38888)
- Encapsular LevelDB usado para almacenar el estado de barajado remoto/externo como DB (SPARK-38909)
- Habilitación de spark.dynamicAllocation.shuffleTracking.enabled de forma predeterminada (SPARK-3984)
- Habilitar el servicio de cambio basado en inserción para almacenar el estado en la base de datos de nivel NM para el reinicio con preservación del trabajo (SPARK-33236)
- Eliminar bloques de mezcla utilizando el servicio de mezcla para los ejecutores liberados (SPARK-37618)
Otros cambios importantes
- Compatibilidad con entornos solo IPv6 (SPARK-39457)
- Habilitación de spark.kryo.unsafe de forma predeterminada (SPARK-42137)
- No permitir un classpath personalizado arbitrario con el usuario proxy en modo clúster (SPARK-41958)
- Evitar el registro repetido de BlockManager si se ha perdido el ejecutor (SPARK-41360)
- Eliminación de la limitación de que el resultado de una sola tarea debe caber en 2 GB (SPARK-40622)
- Eliminar la compatibilidad con las configuraciones de spark.akka.* en desuso (SPARK-40401)
- Cambio del registro predeterminado a stderr para que sea coherente con el comportamiento de log4j (SPARK-40406)
- Exclusión de metadatos de DirectTaskResult al calcular el tamaño del resultado (SPARK-40261)
- Permitir la personalización del número inicial de particiones en el comportamiento take() (SPARK-40211)
- Uso del bloqueo interrumpible en lugar de sincronizado en Executor.updateDependencies() (SPARK-40235)
- El error de tarea siempre debe desencadenar agentes de escucha de errores de tareas (SPARK-40106)
- Agregar la capacidad de deshabilitar selectivamente la observación o sondeo (SPARK-36462)
- No almacenar en caché las relaciones de difusión no serializadas en el controlador (SPARK-39983)
- Se ha corregido el interbloqueo entre TaskMemoryManager y UnsafeExternalSorter.SpillableIterator (SPARK-39283)
- Exponer las particiones numéricas en una etapa a TaskContext (SPARK-38679)
- Hacer que el factor de sobrecarga de memoria sea configurable (SPARK-38194)
- Evitar el uso de bash -c in ShellBasedGroupsMappingProvider (SPARK-38992)
Transmisión Estructurada
Características principales
- Seguimiento asincrónico del progreso (SPARK-39591)
- Procesamiento con estado arbitrario de Python en flujo estructurado (SPARK-40434)
- Compatibilidad con Protobuf en Streaming Estructurado (SPARK-40653)
- Corrección del filtrado de registros tardío para admitir el encadenamiento de operadores con estado (SPARK-40925)
Otros cambios importantes
- Introducción a un administrador de archivos para puntos de control de streaming basado en la interfaz abortable de Hadoop (SPARK-40039)
- Desuso de Trigger.Once y promoción de Trigger.AvailableNow (SPARK-39805)
- Exposición de la información de la tabla de catálogo al plan lógico en la consulta de streaming (SPARK-39564)
- Compatibilidad con la recopilación de métricas de receptores de streaming (SPARK-38564)
- Desuso de la API DStream (SPARK-42075)
- Inversión del valor predeterminado de configuración de captura de desplazamiento de Kafka (SPARK-40844)
- Proporcionar sesión de Spark clonada en DataFrame dentro de una función de usuario para el sumidero foreachBatch en PySpark (SPARK-41379)
Spark Connect
Cliente de Python
- Implementación de DataFrame API (SPARK-41279)
- Implementación de Column API (SPARK-41282)
- Implementación de Functions API (SPARK-41283)
- Implementación de SparkSession API (SPARK-41281)
- Implementación de I/O API (SPARK-41284)
- Implementación de Catalog API (SPARK-41289)
- Compatibilidad con funciones definidas por el usuario en Python (SPARK-41661)
- Compatibilidad con Pandas/Arrow Function API (SPARK-42393)
- Compatibilidad con la configuración de SQL en tiempo de ejecución (SPARK-42499)
- Construcción, empaquetado e infraestructura para Spark Connect (SPARK-41286)
- Anotaciones de tipo para el cliente Python de Spark Connect (SPARK-40451)
Cliente de Scala
- Implementación del cliente básico de Scala (SPARK-41534, SPARK-42133, SPARK-42043, SPARK-41822)
- Implementación de SparkSession API (SPARK-42639, SPARK-42581, SPARK-42564, SPARK-42544, SPARK-42631)
- Implementación de Dataframe API (SPARK-42440, SPARK-42559, SPARK-42558, SPARK-42556, SPARK-42468, SPARK-42529, SPARK-42561, SPARK-42894, SPARK-41874, SPARK-42691, SPARK-42692, SPARK-42481, SPARK-42541, SPARK-42542, SPARK-42520, SPARK-41823)
- Implementación de Column API (SPARK-42441, SPARK-42560)
- Implementación de Functions API (SPARK-42461, SPARK-42579, SPARK-42527, SPARK-42531, SPARK-42495, SPARK-42557)
- Implementación de I/O API (SPARK-42457, SPARK-42555, SPARK-42690, SPARK-42878, SPARK-42757, SPARK-42482, SPARK-42733, SPARK-42518)
- Implementación de la configuración de SQL en tiempo de ejecución (SPARK-42586)
- Compatibilidad básica con funciones definidas por el usuario (SPARK-42283, SPARK-42653, SPARK-42543)
- Compatibilidad básica con API tipada (SPARK-42580, SPARK-42605)
- Infraestructura de prueba para Spark Connect (SPARK-42172, SPARK-42377, SPARK-42599)
- Implementación de la compatibilidad con REPL (SPARK-42656, SPARK-42884)
PySpark
Pandas API en Spark
- Mejora principal
- Procesamiento con estado arbitrario de Python en flujo estructurado (SPARK-40434)
- Implementación de parámetros que faltan en la API de Pandas (SPARK-42883)
- Compatibilidad con Pandas 1.5 (SPARK-40576)
- Característica principal
- Implementación de Series.searchsorted (SPARK-40330)
- Implementación de Series.autocorr (SPARK-38774)
- Implementación de DataFrame.mode (SPARK-40138)
- Implementación de DataFrame.boxplot y DataFrame.plot.box (SPARK-38993)
- Implementación de DataFrame.corrwith (SPARK-38907)
- Implementación de DataFrame.resample y Series.resample (SPARK-39081)
- Implementación de DataFrame.interpolate y Series.interpolate (SPARK-38844)
- Implementación de DataFrame.ewm y Series.ewm (SPARK-38785)
- Implementación de GroupBy.prod (SPARK-40334)
- Implementación de GroupBy.nth (SPARK-40333)
- Implementación de GroupBy.quantile (SPARK-40332)
- Implementación de GroupBy.sem (SPARK-40305)
- Implementación de GroupBy.mad (SPARK-39284)
- Implementación de GroupBy.skew (SPARK-39246)
- Implementación de GroupBy.ewm (SPARK-39129)
- Compatibilidad con la indexación posicional de GroupBy (SPARK-38947)
Otros cambios importantes
- Mejoras principales
- Proporcionar un generador de perfiles de memoria para las funciones definidas por el usuario de PySpark (SPARK-40281)
- Hacer que la API de catálogo sea compatible con el espacio de nombres de 3 capas (SPARK-39235)
- Compatibilidad con la entrada de NumPy en PySpark (SPARK-39405)
- Mejoras de errores de PySpark (SPARK-41597)
- Características principales
- Compatibilidad con SQL parametrizado en PySpark (SPARK-41666)
- Implementación de la función "mediana" (SPARK-40003)
- Implementación de la función "mode" (SPARK-40007)
- Implementación de la función "unpivot/melt" (SPARK-39877)
- Compatibilidad con Varchar en PySpark (SPARK-39760)
- Compatibilidad con CharType en PySpark (SPARK-39809)
MLlib
- Implementación de PyTorch Distributor (SPARK-41589)
- Unificación de la validación de datos (SPARK-38584)
- Reducción del tamaño aleatorio de ALS (SPARK-40476, SPARK-40745)
- Desduplicación de características en la regresión isotónica (SPARK-41008)
- Vectores de entrada bloqueados por KMeans (SPARK-30661)
- Adición de puntuación de relevancia para la evaluación de nDCG (SPARK-39446)
SparkR
- Adición de unpivot/melt (SPARK-41267)
- Adición de array_sort(columna, comparador) (SPARK-40167)
- Compatibilidad con la colocación de varias "columnas" en R (SPARK-40087)
- Compatibilidad de Arrow 9.0.0 con SparkR (SPARK-40114)
- Hacer que Catalog API sea compatible con el espacio de nombres de 3 capas (SPARK-39579, SPARK-39646, SPARK-39645, SPARK-39236, SPARK-39716, SPARK-39719)
- Compatibilidad con R 4.2.0 (SPARK-39372)
Interfaz de Usuario en Vivo y Servicio del Servidor de Historial
- Mejor escalabilidad de la interfaz de usuario de Spark y estabilidad del controlador para aplicaciones grandes (SPARK-41053)
- Uso de RocksDB para spark.history.store.hybridStore.diskBackend de forma predeterminada (SPARK-42277)
- Agrupar ejecuciones anidadas bajo la ejecución raíz (SPARK-41752)
- Mostrar propiedades de métricas en la pestaña de entorno (SPARK-39110)
- Corrección del tamaño o los registros de entrada de StagePage que no se muestran cuando los registros son mayores que cero (SPARK-34777)
- Mejora del rendimiento del registro de eventos JsonProtocol mediante Jackson en lugar de Json4s (SPARK-39489)
- Compatibilidad con spark.history.fs.update.batchSize (SPARK-39225)
Construir
- Actualización de cloudpickle a v2.2.0 (SPARK-40991)
- Declarar obsoleta la compatibilidad con Python 3.7 (SPARK-39861)
- Compatibilidad con Python 3.11 (SPARK-41454)
- Actualización de dev.ludovic.netlib a 3.0.2 (SPARK-40251)
- Actualización de Breeze a la versión 2.0 (SPARK-39616)
- Actualización de la versión de slf4j a 2.0.6 (SPARK-41561)
- Actualización de la versión de cliente de Kubernetes a 6.4.1 (SPARK-42362)
- Actualización de rocksdbjni a 7.9.2 ( SPARK-42129)
- Actualización de Apache Arrow a 11.0.0 (SPARK-42161)
- Actualización de Apache Kafka a 3.3.2 (SPARK-42109)
Actualizaciones de mantenimiento
Consulte Actualizaciones de mantenimiento de Databricks Runtime 13.0.
Entorno del sistema
- Sistema operativo: Ubuntu 22.04.2 LTS
- Java: Zulu 8.68.0.21-CA-linux64
- Scala: 2.12.15
- Python: 3.10.6
- R: 4.2.2
- Delta Lake: 2.3.0
Bibliotecas de Python instaladas
| Biblioteca | Versión | Biblioteca | Versión | Biblioteca | Versión |
|---|---|---|---|---|---|
| directorios de aplicaciones | 1.4.4 | argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 |
| "asttokens" | 2.2.1 | atributos | 21.4.0 | llamada de retorno | 0.2.0 |
| beautifulsoup4 | 4.11.1 | negro | 22.6.0 | blanquear | 4.1.0 |
| intermitente | 1.4 | boto3 | 1.24.28 | botocore | 1.27.28 |
| certifi | 2022.9.14 | cffi | 1.15.1 | chardet | 4.0.0 |
| normalizador de conjuntos de caracteres | 2.0.4 | Haz clic | 8.0.4 | criptografía | 37.0.1 |
| ciclista | 0.11.0 | Cython | 0.29.32 | dbus-python | 1.2.18 |
| debugpy | 1.5.1 | decorador | 5.1.1 | defusedxml | 0.7.1 |
| distlib | 0.3.6 | Conversión de docstring a markdown | 0,12 | puntos de entrada | 0,4 |
| Ejecutar | 1.2.0 | visión general de las facetas | 1.0.2 | fastjsonschema | 2.16.3 |
| bloqueo de archivos | 3.10.7 | fonttools | 4.25.0 | googleapis-common-protos | 1.56.4 |
| grpcio | 1.48.1 | grpcio-status | 1.48.1 | httplib2 | 0.20.2 |
| idna | 3.3 | importlib-metadata | 4.6.4 | ipykernel | 6.17.1 |
| ipython | 8.10.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
| Jedi | 0.18.1 | jeepney (vehículo de transporte público filipino) | 0.7.1 | Jinja2 | 2.11.3 |
| jmespath | 0.10.0 | joblib | 1.2.0 | jsonschema | 4.16.0 |
| Cliente Jupyter | 7.3.4 | jupyter_core | 4.11.2 | jupyterlab-pygments | 0.1.2 |
| jupyterlab-widgets | 1.0.0 | llavero | 23.5.0 | kiwisolver | 1.4.2 |
| launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 |
| MarkupSafe | 2.0.1 | matplotlib | 3.5.2 | matplotlib-inline | 0.1.6 |
| Mccabe | 0.7.0 | Mal sintonizado | 0.8.4 | more-itertools | 8.10.0 |
| mypy-extensions | 0.4.3 | nbclient | 0.5.13 | nbconvert | 6.4.4 |
| nbformat | 5.5.0 | nest-asyncio | 1.5.5 | nodeenv | 1.7.0 |
| cuaderno | 6.4.12 | numpy | 1.21.5 | oauthlib | 3.2.0 |
| empaquetado | 21,3 | Pandas | 1.4.4 | PandocFiltros | 1.5.0 |
| parso | 0.8.3 | especificación de ruta (pathspec) | 0.9.0 | chivo expiatorio | 0.5.2 |
| pexpect | 4.8.0 | pickleshare | 0.7.5 | Almohada | 9.2.0 |
| pepita | 22.2.2 | platformdirs | 2.5.2 | trazado | 5.9.0 |
| pluggy | 1.0.0 | Cliente-Prometeo | 0.14.1 | prompt-toolkit | 3.0.36 |
| protobuf | 3.19.4 | psutil | 5.9.0 | psycopg2 | 2.9.3 |
| ptyprocess | 0.7.0 | pure-eval | 0.2.2 | pyarrow | 7.0.0 |
| pycparser | 2.21 | pyflakes | 3.0.1 | Pygments | 2.11.2 |
| PyGObject | 3.42.1 | PyJWT | 2.3.0 | pyodbc | 4.0.32 |
| pyparsing | 3.0.9 | pyright | 1.1.294 | pyrsistent | 0.18.0 |
| python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.0.0 | python-lsp-servidor | 1.7.1 |
| configuración de herramienta Python | 1.2.2 | pytz | 2022.1 | pyzmq | 23.2.0 |
| solicitudes | 2.28.1 | cuerda | 1.7.0 | s3transfer | 0.6.0 |
| scikit-learn | 1.1.1 | scipy | 1.9.1 | biblioteca de visualización de datos de Python llamada seaborn | 0.11.2 |
| SecretStorage | 3.3.1 | Send2Trash | 1.8.0 | setuptools | 63.4.1 |
| seis | 1.16.0 | colador para sopa | 2.3.1 | ssh-import-id | 5.11 |
| datos en pila | 0.6.2 | statsmodels (paquete de Python para análisis estadístico) | 0.13.2 | tenacidad | 8.0.1 |
| terminado | 0.13.1 | ruta de prueba | 0.6.0 | threadpoolctl | 2.2.0 |
| tokenize-rt | 4.2.1 | tomli | 2.0.1 | tornado | 6.1 |
| traitlets | 5.1.1 | ujson | 5.4.0 | actualizaciones desatendidas | 0,1 |
| urllib3 | 1.26.11 | virtualenv | 20.16.3 | wadllib | 1.3.6 |
| wcwidth | 0.2.5 | codificaciones web | 0.5.1 | ¿Qué es el parche? | 1.0.2 |
| rueda | 0.37.1 | widgetsnbextension | 3.6.1 | yapf | 0.31.0 |
| zipp | 1.0.0 |
Bibliotecas de R instaladas
Las bibliotecas de R se instalan desde la instantánea de Microsoft CRAN del 10-02-2023.
| Biblioteca | Versión | Biblioteca | Versión | Biblioteca | Versión |
|---|---|---|---|---|---|
| flecha | 10.0.1 | askpass | 1.1 | asegúrate de que | 0.2.1 |
| retroportaciones | 1.4.1 | base | 4.2.2 | base64enc | 0.1-3 |
| poco | 4.0.5 | bit 64 | 4.0.5 | mancha | 1.2.3 |
| bota | 1.3-28 | fermentar | 1,0 - 8 | Brio | 1.1.3 |
| escoba | 1.0.3 | bslib | 0.4.2 | cachemir | 1.0.6 |
| callr | 3.7.3 | cursor | 6.0-93 | cellranger (herramienta de análisis de datos celulares) | 1.1.0 |
| Chron | 2.3-59 | clase | 7.3-21 | Cli | 3.6.0 |
| clipr | 0.8.0 | reloj | 0.6.1 | conglomerado | 2.1.4 |
| codetools | 0.2-19 | espacio de colores | 2.1-0 | commonmark | 1.8.1 |
| compilador | 4.2.2 | configuración | 0.3.1 | cpp11 | 0.4.3 |
| crayón | 1.5.2 | credenciales | 1.3.2 | rizo | 5.0.0 |
| tabla de datos | 1.14.6 | conjuntos de datos | 4.2.2 | DBI | 1.1.3 |
| dbplyr | 2.3.0 | Descripción | 1.4.2 | devtools | 2.4.5 |
| diffobj | 0.3.5 | digerir | 0.6.31 | iluminado hacia abajo | 0.4.2 |
| dplyr | 1.1.0 | dtplyr | 1.2.2 | e1071 | 1.7-13 |
| elipsis | 0.3.2 | evaluar | 0,20 | fans | 1.0.4 |
| colores | 2.1.1 | mapa rápido | 1.1.0 | fontawesome | 0.5.0 |
| convictos | 1.0.0 | foreach | 1.5.2 | extranjero | 0.8-82 |
| fragua | 0.2.0 | Fs | 1.6.1 | futuro | 1.31.0 |
| aplicación futura | 1.10.0 | hacer gárgaras | 1.3.0 | genéricos | 0.1.3 |
| Gert | 1.9.2 | ggplot2 | 3.4.0 | Gh | 1.3.1 |
| gitcreds | 0.1.2 | glmnet | 4.1-6 | globales | 0.16.2 |
| pegamento | 1.6.2 | googledrive | 2.0.0 | googlesheets4 | 1.0.1 |
| Gower | 1.0.1 | gráficos | 4.2.2 | grDevices | 4.2.2 |
| rejilla | 4.2.2 | gridExtra | 2.3 | gsubfn | 0,7 |
| gtable | 0.3.1 | Casco | 1.2.0 | refugio | 2.5.1 |
| más alto | 0,10 | HMS | 1.1.2 | herramientas de HTML | 0.5.4 |
| htmlwidgets | 1.6.1 | httpuv | 1.6.8 | httr | 1.4.4 |
| Identificadores | 1.0.1 | ini | 0.3.1 | ipred | 0.9-13 |
| isoband | 0.2.7 | Iteradores | 1.0.14 | jquerylib | 0.1.4 |
| jsonlite | 1.8.4 | KernSmooth | 2.23-20 | knitr | 1.42 |
| etiquetado | 0.4.2 | más tarde | 1.3.0 | retícula | 0.20-45 |
| lava | 1.7.1 | ciclo de vida | 1.0.3 | listenv | 0.9.0 |
| lubridate | 1.9.1 | magrittr | 2.0.3 | Formato Markdown | 1.5 |
| MASA | 7.3-58.2 | Matriz | 1.5-1 | memorizar | 2.0.1 |
| métodos | 4.2.2 | mgcv | 1.8-41 | mimo | 0,12 |
| miniUI (Interfaz de Usuario) | 0.1.1.1 | ModelMetrics | 1.2.2.2 | modelr | 0.1.10 |
| munsell | 0.5.0 | nlme | 3.1-162 | nnet | 7.3-18 |
| numDeriv | 2016.8-1.1 | openssl (software de cifrado) | 2.0.5 | paralelo | 4.2.2 |
| Paralelamente | 1.34.0 | pilar | 1.8.1 | pkgbuild | 1.4.0 |
| pkgconfig | 2.0.3 | pkgdown | 2.0.7 | pkgload | 1.3.2 |
| plogr | 0.2.0 | plyr | 1.8.8 | elogio | 1.0.0 |
| prettyunits | 1.1.1 | pROC | 1.18.0 | processx | 3.8.0 |
| prodlim | 2019.11.13 | profvis | 0.3.7 | progreso | 1.2.2 |
| progressr | 0.13.0 | promesas | 1.2.0.1 | prototipo | 1.0.0 |
| intermediario | 0.4-27 | P.D | 1.7.2 | ronroneo | 1.0.1 |
| r2d3 | 0.2.6 | R6 | 2.5.1 | ragg | 1.2.5 |
| Bosque Aleatorio (randomForest) | 4.7-1.1 | rappdirs | 0.3.3 | rcmdcheck | 1.4.0 |
| RColorBrewer | 1.1-3 | Rcpp | 1.0.10 | RcppEigen | 0.3.3.9.3 |
| readr | 2.1.3 | readxl | 1.4.2 | recetas | 1.0.4 |
| partido de revancha | 1.0.1 | segunda revancha | 2.1.2 | Telecontroles | 2.4.2 |
| ejemplo reproducible | 2.0.2 | reshape2 | 1.4.4 | rlang | 1.0.6 |
| rmarkdown | 2,20 | RODBC | 1.3-20 | roxygen2 | 7.2.3 |
| rpart | 4.1.19 | rprojroot | 2.0.3 | Rserve | 1.8-12 |
| RSQLite | 2.2.20 | rstudioapi | 0.14 | rversions | 2.1.2 |
| rvest | 1.0.3 | Sass | 0.4.5 | balanzas | 1.2.1 |
| selectr | 0.4-2 | información de sesión | 1.2.2 | forma | 1.4.6 |
| brillante | 1.7.4 | sourcetools | 0.1.7-1 | sparklyr | 1.7.9 |
| SparkR | 3.4.0 | espacial | 7.3-15 | Splines | 4.2.2 |
| sqldf | 0.4-11 | SQUAREM | 2021.1 | Estadísticas | 4.2.2 |
| estadísticas4 | 4.2.2 | stringi | 1.7.12 | stringr | 1.5.0 |
| supervivencia | 3.5-3 | sys | 3.4.1 | systemfonts | 1.0.4 |
| tcltk | 4.2.2 | testthat | 3.1.6 | Formateo de texto | 0.3.6 |
| tibble | 3.1.8 | tidyr | 1.3.0 | tidyselect | 1.2.0 |
| tidyverse | 1.3.2 | cambio de hora | 0.2.0 | fechaHora | 4022.108 |
| tinytex | 0,44 | herramientas | 4.2.2 | tzdb | 0.3.0 |
| verificador de URL | 1.0.1 | usa esto | 2.1.6 | utf8 | 1.2.3 |
| utilidades | 4.2.2 | Identificador Único Universal (UUID) | 1.1-0 | vctrs | 0.5.2 |
| viridisLite | 0.4.1 | Vroom | 1.6.1 | Waldo | 0.4.0 |
| bigotes | 0.4.1 | withr | 2.5.0 | xfun | 0,37 |
| xml2 | 1.3.3 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.3.7 | cremallera | 2.2.2 |
Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.12)
| Identificador de grupo | Identificador de artefacto | Versión |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | cliente de Amazon Kinesis | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.390 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.390 |
| com.amazonaws | aws-java-sdk-config (configuración del SDK de Java de AWS) | 1.12.390 |
| com.amazonaws | aws-java-sdk-core | 1.12.390 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.390 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.390 |
| com.amazonaws | aws-java-sdk-directory | 1.12.390 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.390 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.390 |
| com.amazonaws | aws-java-sdk-efs | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing (paquete de software para la gestión de balanceo de carga elástica) | 1.12.390 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.390 |
| com.amazonaws | aws-java-sdk-emr | 1.12.390 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.390 |
| com.amazonaws | aws-java-sdk-glue | 1.12.390 |
| com.amazonaws | aws-java-sdk-iam | 1.12.390 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.390 |
| com.amazonaws | aws-java-sdk-kinesis (kit de desarrollo de software Java para AWS Kinesis) | 1.12.390 |
| com.amazonaws | aws-java-sdk-kms | 1.12.390 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.390 |
| com.amazonaws | aws-java-sdk-logs (registros del SDK de AWS para Java) | 1.12.390 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.390 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.390 |
| com.amazonaws | aws-java-sdk-rds | 1.12.390 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.390 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.390 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ses | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.390 |
| com.amazonaws | aws-java-sdk-sns | 1.12.390 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.390 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.390 |
| com.amazonaws | aws-java-sdk-storagegateway (SDK de Java para Storage Gateway de AWS) | 1.12.390 |
| com.amazonaws | aws-java-sdk-sts | 1.12.390 |
| com.amazonaws | SDK de AWS para Java - Soporte | 1.12.390 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.390 |
| com.amazonaws | jmespath-java | 1.12.390 |
| com.clearspring.analytics | flujo | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo sombreado | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | compañero de clase | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.14.2 |
| com.fasterxml.jackson.core | jackson-core | 2.14.2 |
| com.fasterxml.jackson.core | jackson-databind | 2.14.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.14.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.14.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.13.4 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.14.2 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.14.2 |
| com.github.ben-manes.cafeína | cafeína | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | referencia_nativa - java | 1.1 |
| com.github.fommil.netlib | referencia_nativa - java | 1.1 nativos |
| com.github.fommil.netlib | sistema_nativo-java | 1.1 |
| com.github.fommil.netlib | sistema_nativo-java | 1.1 nativos |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1 nativos |
| com.github.fommil.netlib | netlib-sistema_nativo-linux-x86_64 | 1.1 nativos |
| com.github.luben | zstd-jni | 1.5.2-5 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | Gson | 2.8.9 |
| com.google.crypto.tink | Tink | 1.7.0 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | guayaba | 15,0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 2.1.214 |
| com.helger | perfilador | 1.1.1 |
| com.jcraft | jsch | 0.1.55 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk (SDK de Azure para almacenamiento en lago de datos) | 2.3.9 |
| com.ning | compress-lzf | 1.1.2 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lentes_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | configuración | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.0 |
| com.univocity | analizadores de univocidad | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1,15 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.5 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.11.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack (software de cálculo numérico) | 3.0.3 |
| dev.ludovic.netlib | Blas | 3.0.3 |
| dev.ludovic.netlib | lapack | 3.0.3 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | compresor de aire | 0,21 |
| io.delta | delta-sharing-spark_2.12 | 0.6.3 |
| io.dropwizard.metrics | núcleo de métricas | 4.2.10 |
| io.dropwizard.metrics | metrics-graphite | 4.2.10 |
| io.dropwizard.metrics | métricas y verificaciones de salud | 4.2.10 |
| io.dropwizard.metrics | metrics-jetty9 | 4.2.10 |
| io.dropwizard.metrics | metrics-jmx | 4.2.10 |
| io.dropwizard.metrics | metrics-json | 4.2.10 |
| io.dropwizard.metrics | metrics-jvm | 4.2.10 |
| io.dropwizard.metrics | metrics-servlets | 4.2.10 |
| io.netty | netty-all | 4.1.87.Final |
| io.netty | netty-buffer | 4.1.87.Final |
| io.netty | netty-codec | 4.1.87.Final |
| io.netty | netty-codec-http | 4.1.87.Final |
| io.netty | netty-codec-http2 | 4.1.87.Final |
| io.netty | netty-codec-socks | 4.1.87.Final |
| io.netty | netty-common | 4.1.87.Final |
| io.netty | netty-handler | 4.1.87.Final |
| io.netty | netty-handler-proxy | 4.1.87.Final |
| io.netty | netty-resolver | 4.1.87.Final |
| io.netty | netty-transport | 4.1.87.Final |
| io.netty | netty-transport-classes-epoll | 4.1.87.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.87.Final |
| io.netty | netty-transport-native-epoll | 4.1.87.Final |
| io.netty | netty-transport-native-epoll | 4.1.87.Final-linux-aarch_64 |
| io.netty | netty-transport-native-epoll | 4.1.87.Final-linux-x86_64 |
| io.netty | netty-transport-native-kqueue | 4.1.87.Final-osx-aarch_64 |
| io.netty | netty-transport-native-kqueue | 4.1.87.Final-osx-x86_64 |
| io.netty | netty-transport-native-unix-common | 4.1.87.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | cliente_simple_común | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | recopilador | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activación | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | API de transacciones | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolución | javolución | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.12.1 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | escabeche | 1.3 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.22 |
| net.sourceforge.f2j | arpack_combinado_todo | 0,1 |
| org.acplt.remotetea | remotetea-oncrpc (servicio de comunicación remota) | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.9.3 |
| org.antlr | plantilla de cadenas | 3.2.1 |
| org.apache.ant | hormiga | 1.9.16 |
| org.apache.ant | ant-jsch | 1.9.16 |
| org.apache.ant | lanzador de aplicaciones Ant | 1.9.16 |
| org.apache.arrow | formato de flecha | 11.0.0 |
| org.apache.arrow | núcleo de memoria de flecha | 11.0.0 |
| org.apache.arrow | arrow-memory-netty | 11.0.0 |
| org.apache.arrow | vector de flecha | 11.0.0 |
| org.apache.avro | avro | 1.11.1 |
| org.apache.avro | avro-ipc | 1.11.1 |
| org.apache.avro | avro-mapred | 1.11.1 |
| org.apache.commons | commons-collections4 | 4.4. |
| org.apache.commons | commons-compress | 1.21 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.10.0 |
| org.apache.curator | curador-cliente | 2.13.0 |
| org.apache.curator | marco de trabajo para curadores | 2.13.0 |
| org.apache.curator | curador-recetas | 2.13.0 |
| org.apache.datasketches | datasketches-java | 3.1.0 |
| org.apache.datasketches | datasketches-memory | 2.0.0 |
| org.apache.derby | derbi | 10.14.2.0 |
| org.apache.hadoop | Entorno de ejecución del cliente de Hadoop | 3.3.4 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | Hive-shims | 2.3.9 |
| org.apache.hive | API de almacenamiento de hive | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | planificador-de-adaptadores-hive | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.14 |
| org.apache.httpcomponents | httpcore | 4.4.16 |
| org.apache.ivy | hiedra | 2.5.1 |
| org.apache.logging.log4j | log4j-1.2-api | 2.19.0 |
| org.apache.logging.log4j | log4j-api | 2.19.0 |
| org.apache.logging.log4j | log4j-core | 2.19.0 |
| org.apache.logging.log4j | log4j-slf4j2-impl | 2.19.0 |
| org.apache.mesos | Mesos | 1.11.0-shaded-protobuf |
| org.apache.orc | orc-core | 1.8.2-shaded-protobuf |
| org.apache.orc | orc-mapreduce | 1.8.2-shaded-protobuf |
| org.apache.orc | calzos de orco | 1.8.2 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm9-sombreado | 4,22 |
| org.apache.yetus | anotaciones de audiencia | 0.13.0 |
| org.apache.zookeeper | guardián de zoológico | 3.6.3 |
| org.apache.zookeeper | Zookeeper-Jute | 3.6.3 |
| org.checkerframework | checker-qual | 3.5.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | compilador común | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-continuation | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-http | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-io | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-jndi | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-plus | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-proxy | 9.4.50.v20221201 |
| org.eclipse.jetty | Seguridad de Jetty | 9.4.50.v20221201 |
| org.eclipse.jetty | servidor Jetty | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-servlet | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-servlets | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-util | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.50.v20221201 |
| org.eclipse.jetty | Aplicación web de Jetty | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-xml | 9.4.50.v20221201 |
| org.eclipse.jetty.websocket | WebSocket-API | 9.4.50.v20221201 |
| org.eclipse.jetty.websocket | cliente de websocket | 9.4.50.v20221201 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.50.v20221201 |
| org.eclipse.jetty.websocket | servidor de websocket | 9.4.50.v20221201 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.50.v20221201 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | servlet de contenedor de Jersey | 2,36 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2,36 |
| org.glassfish.jersey.core | jersey-client | 2,36 |
| org.glassfish.jersey.core | jersey-common | 2,36 |
| org.glassfish.jersey.core | jersey-server | 2,36 |
| org.glassfish.jersey.inject | jersey-hk2 | 2,36 |
| org.hibernate.validator | validador de hibernación | 6.1.7.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | Anotaciones | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.7.4 |
| org.mlflow | mlflow-spark | 2.2.0 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.3.8 |
| org.roaringbitmap | RoaringBitmap | 0.9.39 |
| org.roaringbitmap | Cuñas | 0.9.39 |
| org.rocksdb | rocksdbjni | 7.8.3 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.15 |
| org.scala-lang | scala-library_2.12 | 2.12.15 |
| org.scala-lang | scala-reflect_2.12 | 2.12.15 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | interfaz de prueba | 1,0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 2.1.0 |
| org.scalanlp | breeze_2.12 | 2.1.0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 2.0.6 |
| org.slf4j | jul-to-slf4j | 2.0.6 |
| org.slf4j | slf4j-api | 2.0.6 |
| org.threeten | threeten-extra | 1.7.1 |
| org.tukaani | xz | 1.9 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.1.3.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.4 |
| org.yaml | snakeyaml | 1.33 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.1-linux-x86_64 |
| software.amazon.ion | ion-java | 1.0.2 |
| Stax | stax-api | 1.0.1 |