Nota
L'accés a aquesta pàgina requereix autorització. Pots provar d'iniciar sessió o canviar de directori.
L'accés a aquesta pàgina requereix autorització. Pots provar de canviar directoris.
Nota:
La compatibilidad con esta versión de Databricks Runtime ha finalizado. Para obtener la fecha de finalización del soporte técnico, consulte Historial de finalización del soporte técnico. Para conocer todas las versiones de Databricks Runtime compatibles, consulte las notas de lanzamientos y compatibilidad de Databricks Runtime.
Las notas de la versión siguientes proporcionan información sobre Databricks Runtime 11.3 LTS, con tecnología de Apache Spark 3.3.0. Databricks publicó esta versión en octubre de 2022.
Nota:
LTS significa que esta versión tiene soporte técnico a largo plazo. Consulte el ciclo de vida de la versión LTS de Databricks Runtime.
Cambios de comportamiento
[Cambio importante] La nueva versión de Python requiere actualizar los clientes de Python V1 de Databricks Connect
Nota:
Una actualización posterior mueve la versión de Python en Databricks Runtime 11.3 LTS a 3.9.21. La versión 3.9.21 no presenta ningún cambio de comportamiento.
Para aplicar las revisiones de seguridad necesarias, la versión de Python de Databricks Runtime 11.3 LTS se actualiza de 3.9.5 a 3.9.19. Dado que estos cambios pueden provocar errores en los clientes que usan funciones específicas de PySpark, los clientes que usan Databricks Connect V1 para Python con Databricks Runtime 11.3 LTS deben actualizarse a Python 3.9.7 o posterior.
Nuevas características y mejoras
- Python actualizado de 3.9.19 a 3.9.21
- El disparador 'trigger once' de Structured Streaming está en desuso
- Cambiar la ruta de acceso de origen para el Auto Loader
- El conector de Databricks Kinesis ahora admite la lectura de flujos de datos de Kinesis en modo EFO
- Nuevas funciones geoespaciales H3 y compatibilidad con Photon agregada para todas las funciones H3
- Nuevas características para E/S predictivas
- Aumento de las particiones iniciales para buscar consultas selectivas
- Visualización de las nuevas versiones del plan de AQE
- Nuevos modos de seguimiento de progreso asincrónico y purga de registros
-
Structured Streaming en el catálogo de Unity ahora admite
display() - Los eventos de canalización ahora se registran en formato JSON
- Procesamiento arbitrario con estado en streaming estructurado con Python
- Inferencia de fecha en archivos CSV
- Compatibilidad de clonación para tablas Apache Parquet y Apache Iceberg (versión preliminar pública)
- Uso de SQL para especificar ubicaciones de almacenamiento de nivel de catálogo y esquema para tablas administradas por el catálogo de Unity
Python actualizado de 3.9.19 a 3.9.21
La versión de Python de Databricks Runtime 11.3 LTS se actualiza de 3.9.19 a 3.9.21.
** "El disparador única vez de Structured Streaming está obsoleto"
La Trigger.Once configuración está obsoleta. Databricks recomienda usar Trigger.AvailableNow. Vea Configurar intervalos del desencadenador de Structured Streaming.
Cambio de la ruta de acceso de origen del cargador automático
Ahora puede cambiar la ruta de acceso de entrada del directorio para el cargador automático configurado con el modo de lista de directorios sin tener que elegir un nuevo directorio de punto de control. Consulte cambiar la ruta de acceso de origen para Auto Loader.
El conector de Databricks Kinesis ahora admite la lectura de flujos de datos de Kinesis en modo EFO
Ahora puede usar el origen de streaming estructurado de Databricks Kinesis en Databricks Runtime 11.3 LTS para ejecutar consultas que leen de flujos de datos de Kinesis en modo de distribución ramificada mejorada. Esto permite la capacidad de procesamiento dedicada por partición, por consumidor y entrega de registros en modo push.
Nuevas funciones geoespaciales H3 y compatibilidad con Photon agregada para todas las funciones H3
Presentación de 4 nuevas funciones H3, h3_maxchild, h3_minchild, h3_pointash3y h3_pointash3string. Estas funciones están disponibles en SQL, Scala y Python. Todas las expresiones H3 ahora se admiten en Photon. Consulte funciones geoespaciales H3.
Nuevas características para E/S predictivas
Photon admite el modo de rango para ejecutar fotogramas mediante RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW. Photon también admite el modo de rango para fotogramas que se expanden, usando RANGE BETWEEN UNBOUNDED PRECEDING AND offset_stop { PRECEDING | FOLLOWING }.
Incrementar las particiones iniciales para realizar consultas selectivas
El valor de las particiones iniciales que se van a examinar se ha aumentado a 10 para la consulta selectiva con take/tail/limit en clústeres habilitados para Photon y LIMIT en Databricks SQL. Con 10 particiones, puede evitar la sobrecarga de iniciar varios trabajos pequeños y un aumento de escala lento. También puede configurarlo a través de spark.sql.limit.selectiveInitialNumPartitions.
Visualización de las nuevas versiones del plan de AQE
Introducción a las versiones del plan de AQE que le permiten visualizar las actualizaciones del plan en tiempo de ejecución desde la ejecución de consultas adaptables (AQE).
Nuevos modos de seguimiento de progreso asincrónico y purga de registros
Introducción a los modos de streaming estructurado denominado seguimiento de progreso asincrónico y purga asincrónica de registros. El modo de purga de registros asincrónica reduce la latencia de las consultas de streaming quitando los registros usados para el seguimiento de progreso en segundo plano.
Structured Streaming en el catálogo de Unity ahora admite display()
Ahora puede usar display() al usar Structured Streaming para trabajar con tablas registradas en el catálogo de Unity.
Los eventos de canalización ahora se registran en formato JSON
Azure Databricks ahora escribe eventos de canalización en el registro del controlador en formato JSON. Aunque cada evento será analizable por JSON, es posible que los eventos grandes no contengan todos los campos o que los campos se trunquen. Cada evento se registra en una sola línea con el prefijo Event received: . A continuación se muestra un evento de ejemplo.
Event received: {"id":"some-event-id","origin":{"pipeline_id":"some-pipeline-id","cluster_id":"some-cluster id"},"message":"simple [truncated] message","level":"WARN"}
Procesamiento con estado arbitrario en streaming estructurado con Python
Introducción a la applyInPandasWithState función que se puede usar para realizar un procesamiento con estado arbitrario en PySpark. Esto equivale a la flatMapGroupsWithState función de la API de Java.
Inferencia de fecha en archivos CSV
Introducción a la inferencia mejorada de columnas de tipo de fecha en archivos CSV. Cuando el formato de fecha es coherente en los registros de una columna, esas columnas se pueden deducir como DateType. También puede tener una combinación de formatos de fecha en distintas columnas. Azure Databricks puede deducir automáticamente el formato de fecha de cada columna. Las columnas de fecha de los archivos CSV anteriores a Databricks Runtime 11.3 LTS se dejan como StringType.
Compatibilidad de clonación para tablas Apache Parquet y Apache Iceberg (versión preliminar pública)
El clon ahora se puede usar para crear y actualizar incrementalmente tablas Delta que reflejan las tablas Apache Parquet y Apache Iceberg. Puede actualizar la tabla Parquet de origen y aplicar de forma incremental los cambios a su tabla Delta clonada con el comando clone. Consulte Clonar incrementalmente tablas de Parquet y Apache Iceberg a Delta Lake.
Utilizar SQL para especificar ubicaciones de almacenamiento a nivel de esquema y catálogo para tablas administradas de Unity Catalog
Ahora puede usar el MANAGED LOCATION comando SQL para especificar una ubicación de almacenamiento en la nube para las tablas administradas en los niveles de catálogo y esquema. Consulte CREATE CATALOG y CREATE SCHEMA.
Cambios de comportamiento
Databricks Connect 11.3.2
Ahora se admite la actualización 11.3.2 del cliente de Databricks Connect. Consulte Databricks Connect y las notas de la versión de Databricks Connect.
Se ha actualizado el conector de Snowflake de Azure Databricks
El conector de Snowflake de Azure Databricks se ha actualizado a la versión más reciente del código del repositorio de código abierto, Snowflake Data Source for Apache Spark. Ahora es totalmente compatible con Databricks Runtime 11.3 LTS, incluyendo la optimización de predicado y la optimización del plan de consulta interna, a la vez que mantiene todas las características de la versión de código abierto.
La caché de Hadoop para S3A ahora está deshabilitada
La memoria caché de Hadoop (API principal de Apache Hadoop 3.3.4) para S3A ahora está deshabilitada. Esto es para alinearse con otros conectores de almacenamiento en la nube. En el caso de las cargas de trabajo que dependen del almacenamiento en caché del sistema de archivos, asegúrese de que los sistemas de archivos recién creados se proporcionan con las configuraciones de Hadoop correctas, incluidos los proveedores de credenciales.
El esquema de la colección de estadísticas de Delta Lake ahora coincide con el orden de columna en la definición del esquema de tabla
Este cambio soluciona un error en el protocolo Delta Lake en el que no se recopilaron estadísticas para las columnas debido a un error de coincidencia en el orden de columnas dataframe y de tabla. En algunos casos, es posible que encuentre una degradación del rendimiento de escritura debido a la recopilación de estadísticas en campos previamente no rastreados. Consulte Omisión de datos en Delta Lake.
applyInPandasWithState produce un error si la consulta tiene un orden aleatorio después del operador
El operador applyInPandasWithState produce un error si la consulta tiene shuffle después del operador . Esto sucede cuando el usuario agrega shuffle después de la operación, o el optimizador o receptor agrega shuffle implícitamente.
Actualizaciones de bibliotecas
- Bibliotecas de Python actualizadas:
- distlib de 0.3.5 a 0.3.6
- Bibliotecas de R actualizadas:
- broom de 1.0.0 a 1.0.1
- callr de 3.7.1 a 3.7.2
- dplyr de 1.0.9 a 1.0.10
- dtplyr de 1.2.1 a 1.2.2
- forcats de 0.5.1 a 0.5.2
- future de 1.27.0 a 1.28.0
- future.apply de 1.9.0 a 1.9.1
- gert de 1.7.0 a 1.8.0
- globales de 0.16.0 a 0.16.1
- gtable de 0.3.0 a 0.3.1
- Actualización de haven de la versión 2.5.0 a la 2.5.1
- hms de 1.1.1 a 1.1.2
- httr de 1.4.3 a 1.4.4
- Actualización de knitr de la versión 1.39 a la 1.40
- modelr de 0.1.8 a 0.1.9
- pilar de 1.8.0 a 1.8.1
- progressr de 0.10.1 a 0.11.0
- readxl de 1.4.0 a 1.4.1
- reprex de 2.0.1 a 2.0.2
- rlang de 1.0.4 a 1.0.5
- rmarkdown de 2.14 a 2.16
- RSQLite de 2.2.15 a 2.2.16
- rstudioapi de 0.13 a 0.14
- las versiones de 2.1.1 a 2.1.2
- rvest de 1.0.2 a 1.0.3
- escala de 1.2.0 a 1.2.1
- sparklyr de 1.7.7 a 1.7.8
- stringr de 1.4.0 a 1.4.1
- supervivencia de 3.2-13 a 3.4-0
- tinytex de 0,40 a 0,41
- viridisLite de 0.4.0 a 0.4.1
- Bibliotecas de Java actualizadas:
- com.fasterxml.jackson.core.jackson-annotations de 2.13.3 a 2.13.4
- com.fasterxml.jackson.core.jackson-core de 2.13.3 a 2.13.4
- com.fasterxml.jackson.core.jackson-databind de 2.13.3 a 2.13.4
- com.fasterxml.jackson.dataformat.jackson-dataformat-cbor de 2.13.3 a 2.13.4
- com.fasterxml.jackson.datatype.jackson-datatype-joda de 2.13.3 a 2.13.4
- com.fasterxml.jackson.datatype.jackson-datatype-jsr310 de 2.13.3 a 2.13.4
- com.fasterxml.jackson.module.jackson-module-paranamer de 2.13.3 a 2.13.4
- com.fasterxml.jackson.module.jackson-module-scala_2.12 de 2.13.3 a 2.13.4
- org.apache.hadoop.hadoop-client-api de 3.3.2-databricks a 3.3.4-databricks
- org.apache.hadoop.hadoop-client-runtime de 3.3.2 a 3.3.4
- org.apache.orc.orc-core de 1.7.5 a 1.7.6
- org.apache.orc.orc-mapreduce de 1.7.5 a 1.7.6
- org.apache.orc.orc-shims de 1.7.5 a 1.7.6
- org.apache.parquet.parquet-column de 1.12.0-databricks-0004 a 1.12.0-databricks-0007
- org.apache.parquet.parquet-common de 1.12.0-databricks-0004 a 1.12.0-databricks-0007
- org.apache.parquet.parquet-encoding de la versión 1.12.0-databricks-0004 a la versión 1.12.0-databricks-0007
- org.apache.parquet.parquet-format-structures de 1.12.0-databricks-0004 a 1.12.0-databricks-0007
- org.apache.parquet.parquet-hadoop de 1.12.0-databricks-0004 a 1.12.0-databricks-0007
- org.apache.parquet.parquet-jackson de 1.12.0-databricks-0004 a 1.12.0-databricks-0007
- org.glassfish.jersey.containers.jersey-container-servlet de 2.34 a 2.36
- org.glassfish.jersey.containers.jersey-container-servlet-core de 2.34 a 2.36
- org.glassfish.jersey.core.jersey-client de 2.34 a 2.36
- org.glassfish.jersey.core.jersey-common de 2.34 a 2.36
- org.glassfish.jersey.core.jersey-server de 2.34 a 2.36
- org.glassfish.jersey.inject.jersey-hk2 de 2.34 a 2.36
Apache Spark
Databricks Runtime 11.3 LTS incluye Apache Spark 3.3.0. Esta versión incluye todas las correcciones y mejoras de Spark incluidas en Databricks Runtime 11.2 (EoS), así como las siguientes correcciones de errores y mejoras adicionales realizadas en Spark:
- [SPARK-39957] [WARMFIX][sc-111425][CORE] Retrasar onDisconnected para permitir que el Driver reciba el ExecutorExitCode
- [SPARK-39955] [WARMFIX][sc-111424][CORE] Mejorar el proceso LaunchTask para evitar fallos de Stage causados por fallos al enviar mensajes LaunchTask.
- [SPARK-40474] [SC-106248][cherry-pick] Comportamiento de inferencia del esquema CSV correcto para las columnas datetime e introduce el comportamiento de detección automática de los campos de fecha.
- [SPARK-40535] [ SC-111243][sql] Solucionar el error por el cual el búfer de AggregatingAccumulator no se crea si las filas de entrada están vacías
- [SPARK-40434] [SC-111125][sc-111144][SC-111138][spark-40435][11.3][ss][PYTHON] Implement applyInPandasWithState en PySpark
-
[SPARK-40460] [SC-110832][ss] Corrección de métricas de streaming al seleccionar
_metadata -
[SPARK-40324] [SC-109943][sql] Proporcionar un contexto de consulta de
ParseException - [SPARK-40466] [SC-110899][ss] Mejorar el mensaje de error cuando DSv2 está deshabilitado mientras DSv1 no está disponible
- [SPARK-40456] [SC-110848][sql] PartitionIterator.hasNext debería ser barato de llamar repetidamente
- [SPARK-40169] [SC-110772][sql] No aplique filtros Parquet que no tengan referencia al esquema de datos
- [SPARK-40467] [SC-110759][ss] Dividir FlatMapGroupsWithState en varios conjuntos de pruebas
- [SPARK-40468] [ SC-110813][sql] Corregir la eliminación de columnas en CSV cuando se selecciona _corrupt_record
- [SPARK-40291] [ SC-110085][sql] Mejora del mensaje para la columna que no está en grupo por error de cláusula
- [SPARK-40398] [SC-110762][core][SQL] Usar el bucle en lugar de la API de Arrays.stream
- [SPARK-40433] [SC-110684][ss][PYTHON] Agregar toJVMRow en PythonSQLUtils para convertir la fila PySpark en fila de JVM
- [SPARK-40414] [SC-110568][sql][PYTHON] Más tipo genérico en PythonArrowInput y PythonArrowOutput
- [SPARK-40352] [SC-109945][sql] Agregar alias de función: len, datepart, dateadd, date_diff y curdate
- [SPARK-40470] [ SC-110761][sql] Controlar GetArrayStructFields y GetMapValue en la función "arrays_zip"
- [SPARK-40387] [SC-110685][sql] Mejorar la implementación de Spark Decimal
- [SPARK-40429] [SC-110675][sql] Solo establecer KeyGroupedPartitioning cuando la columna referenciada esté en la salida.
- [SPARK-40432] [SC-110716][ss][PYTHON] Introduce GroupStateImpl y GroupStateTimeout en PySpark
- [SPARK-39915] [SC-110496][sql] Asegúrese de que la creación de particiones de salida está especificada por el usuario en AQE
- [SPARK-29260] [SQL] Soporte si HMS lo permite
- [SPARK-40185] [ SC-110056][sql] Quitar sugerencia de columna cuando la lista candidata está vacía
- [SPARK-40362] [SC-110401][sql] Corregir la canonalización de BinaryComparison
- [SPARK-40411] [ SC-110381][ss] Refactorizar FlatMapGroupsWithStateExec para tener un rasgo primario
- [SPARK-40293] [SC-110084][sql] Hacer que el mensaje de error de la tabla V2 sea más significativo
-
[SPARK-38734] [SC-110383][sql] Quitar la clase de error
INDEX_OUT_OF_BOUNDS - [SPARK-40292] [SC-110300][sql] Corregir nombres de columna en la función "arrays_zip" cuando se hace referencia a matrices desde estructuras anidadas
- [SPARK-40276] [SC-109674][core] Reducir el tamaño del resultado de la operación RDD.takeOrdered
- [SPARK-40197] [SC-109176][sql] Reemplazar el plan de consulta por contexto para MULTI_VALUE_SUBQUERY_ERROR
-
[SPARK-40300] [ SC-109942][sql] Migrar a la clase de error
DATATYPE_MISMATCH - [SPARK-40149] [SC-110055][sql] Propagar columnas de metadatos a través de Project
- [SPARK-40280] [SC-110146][sql] Agregar compatibilidad con pushdown de parquet para int y long anotados
- [SPARK-40220] [ SC-110143][sc-109175][SQL] No generar el mapa vacío de parámetros del mensaje de error
- [SPARK-40295] [SC-110070][sql] Permitir funciones v2 con argumentos literales en distribución y ordenación de escritura
-
[SPARK-40156] [ SC-109264][sql]
url_decode()debe devolver una clase de error. - [SPARK-39195] [SQL] El OutputCommitCoordinator de Spark debería abortar la etapa cuando el archivo confirmado no sea coherente con el estado de la tarea.
- [SPARK-40260] [ SC-109424][sql] Usar clases de error en los errores de compilación de GROUP BY una posición
- [SPARK-40205] [SC-110144][sc-109082][SQL] Proporcionar un contexto de consulta de ELEMENT_AT_BY_INDEX_ZERO
- [SPARK-40112] [SC-109676][sql] Mejorar la función TO_BINARY()
- [SPARK-40209] [SC-109081][sql] No cambie el valor de intervalo de Decimal en caso de errores
- [SPARK-40319] [SC-109873][sql] Eliminar el método duplicado de error de ejecución de consultas para PARSE_DATETIME_BY_NEW_PARSER
- [SPARK-40222] [ SC-109209][sql] Los métodos numéricos try_add/try_divide/try_subtract/try_multiply deberían generar un error por sus componentes
- [SPARK-40183] [SC-108907][sql] Usar la clase de error NUMERIC_VALUE_OUT_OF_RANGE para desbordamiento en la conversión decimal
-
[SPARK-40180] [ SC-109069][sql] Formateo de los mensajes de error mediante
spark-sql - [SPARK-40153] [SC-109165][sql] Unificar funciones de resolución y funciones con valores en tabla
-
[SPARK-40308] [SC-109880][sql] Permitir que los argumentos delimitadores no plegables sean admitidos por la función
str_to_map - [SPARK-40219] [ SC-110052][sc-109663][SQL] El plan lógico de vista resuelto debe contener el esquema para evitar la búsqueda redundante.
- [SPARK-40098] [ SC-109939][sc-108693][SQL] Mensajes de error de formato en el servidor Thrift
- [SPARK-39917] [SC-109038][sql] Usar diferentes clases de error para desbordamiento aritmético numérico/intervalo
- [SPARK-40033] [ SC-109875][sql] Compatibilidad con la eliminación de esquemas anidados mediante element_at
- [SPARK-40194] [ SC-109660][sql] La función SPLIT en regex vacía debe truncar la cadena vacía final.
- [SPARK-40228] [ SC-109835][sql] No simplificar multiLike si el elemento secundario no es una expresión barata
- [SPARK-40039] [SC-109896][sc-109260][SS] Introducción a un administrador de archivos de punto de control de streaming basado en la interfaz abortable de Hadoop
-
[SPARK-40285] [SC-109679][sql] Simplificar el
roundTo[Numeric]para SparkDecimal - [SPARK-39896] [ SC-109658][sql] UnwrapCastInBinaryComparison debería funcionar cuando el literal de In/InSet falló en la conversión descendente.
- [SPARK-40040] [ SC-109662][sql] Aplicar límite local a ambos lados si la condición de join está vacía
- [SPARK-40055] [SC-109075][sql] listCatalogs debería devolver también spark_catalog incluso cuando la implementación de spark_catalog es defaultSessionCatalog
- [SPARK-39915] [ SC-109391][sql] Dataset.repartition(N) puede no crear N particiones en la parte no AQE
- [SPARK-40207] [SC-109401][sql] Especifique el nombre de columna cuando el tipo de datos no sea compatible con el origen de datos.
- [SPARK-40245] [SC-109295][sql] Corregir la comprobación de igualdad de FileScan cuando las columnas de filtro de datos o partición no se leen
- [SPARK-40113] [ SC-109405][sql] Implementaciones de la interfaz ParquetScanBuilder DataSourceV2 de Reactor
- [SPARK-40211] [SC-109226][core][SQL] Permitir personalizar el número de particiones iniciales en el comportamiento take()
-
[SPARK-40252] [SC-109379][sql] Reemplazar
Stream.collect(Collectors.joining)porStringJoinerapi - [SPARK-40247] [SC-109272][sql] Arreglar la comprobación de igualdad de BitSet
- [SPARK-40067] [SQL] Use Table#name() en lugar de Scan#name() para rellenar el nombre de la tabla en el nodo BatchScan en SparkUI
- [SPARK-39966] [SQL] Usar filtro V2 en SupportsDelete
- [SPARK-39607] [ SC-109268][sql][DSV2] La distribución y la ordenación admiten la función V2 por escrito
- es-ES: [SPARK-40224] [SC-109271][sql] Hacer que ObjectHashAggregateExec libere la memoria rápidamente al cambiar a uno basado en ordenación
-
[SPARK-40013] [ SQL] Las expresiones DS V2 deben tener el valor predeterminado
toString - [SPARK-40214] [SC-109079][python][SQL] agregar 'get' a las funciones
- [SPARK-40192] [SC-109089][sql][ML] Eliminar agrupación redundante
- [SPARK-40146] [SC-108694][sql] Simplificar la generación de código para obtener el valor del mapa
- [SPARK-40109] [ SQL] Nueva función SQL: get()
- [SPARK-39929] [SQL] DS V2 admite funciones de cadena de inserción (no ANSI)
- [SPARK-39819] [SQL] La aplicación de empuje de agregados de DS V2 puede funcionar con Top N o paginación (clasificación con expresiones)
- [SPARK-40213] [SC-109077][sql] Compatibilidad con la conversión de valores ASCII para caracteres latin-1
- [SPARK-39887] [ SQL] RemoveRedundantAliases debe mantener alias que hacen que la salida de los nodos de proyección sea única
- [SPARK-39764] [SQL] Hacer que PhysicalOperation sea equivalente a ScanOperation
- [SPARK-39964] [ SQL] La aplicación de DS V2 debe unificar la ruta de traducción.
- [SPARK-39528] [SQL] Usar el filtro V2 en SupportsRuntimeFiltering
- [SPARK-40066] [SQL] Modo ANSI: siempre devuelve null en el acceso no válido a la columna de mapa.
- [SPARK-39912] [SPARK-39828][sql] Refine CatalogImpl
- [SPARK-39833] [ SC-108736][sql] Deshabilitar el índice de columna Parquet en DSv1 para corregir un problema de precisión en el caso de superposición entre columnas de partición y columnas de datos
- [SPARK-39880] [ SQL] El comando V2 SHOW FUNCTIONS debe imprimir el nombre de función calificado como v1.
- [SPARK-39767] [SQL] Quitar UnresolvedDBObjectName y agregar UnresolvedIdentifier
- [SPARK-40163] [ SC-108740][sql] feature: SparkSession.config(Map)
- [SPARK-40136] [SQL] Corrección del fragmento de contextos de consulta SQL
- [SPARK-40107] [SC-108689][sql] Extraer la conversión empty2null de FileFormatWriter
- [SPARK-40121] [PYTHON][sql] Inicializar proyección usada para UDF de Python
- [SPARK-40128] [SQL] Hacer que VectorizedColumnReader reconozca DELTA_LENGTH_BYTE_ARRAY como codificación de columna independiente
- [SPARK-40132] [ML] Restablecer "rawPredictionCol" en MultilayerPerceptronClassifier.setParams
-
[SPARK-40050] [ SC-108696][sql] Mejora
EliminateSortspara admitir la eliminación de ordenación medianteLocalLimit - [SPARK-39629] [SQL] Compatibilidad con v2 SHOW FUNCTIONS
- [SPARK-39925] [SC-108734][sql] Agregar sobrecarga de array_sort(columna, comparador) a las operaciones de DataFrame.
- [SPARK-40117] [PYTHON][sql] Convertir condición a java en DataFrameWriterV2.overwrite
- [SPARK-40105] [SQL] Mejorar la repartición en ReplaceCTERefWithRepartition
- [SPARK-39503] [SQL] Agregar el nombre del catálogo de sesiones para la tabla y la función de base de datos v1
- [SPARK-39889] [SQL] Usar diferentes clases de error para valores numéricos o intervalos divididos por 0
- [SPARK-39741] [SQL] Admitir la codificación/descodificación de url como función integrada y ordenar las funciones relacionadas con URL
- [SPARK-40102] [SQL] Usar SparkException en lugar de IllegalStateException en SparkPlan
- [SPARK-40014] [SQL] Compatibilidad con la conversión de decimales a intervalos ANSI
- [SPARK-39776] [SQL][seguir] Actualizar UT de PlanStabilitySuite en modo ANSI
-
[SPARK-39963] [SQL] Simplificar
SimplifyCasts.isWiderCast
Actualizaciones de mantenimiento
Consulte Actualizaciones de mantenimiento de Databricks Runtime 11.3.
Entorno del sistema
-
Sistema operativo: Ubuntu 20.04.5 LTS
- Nota: Esta es la versión de Ubuntu que usan los contenedores de Databricks Runtime. Los contenedores de DBR se ejecutan en las máquinas virtuales del proveedor de nube, que pueden usar otra versión de Ubuntu o distribución de Linux.
- Java: Zulu 8.56.0.21-CA-linux64
- Scala: 2.12.14
- Python: 3.9.21
- R: 4.1.3
- Delta Lake: 2.1.0
Bibliotecas de Python instaladas
| Biblioteca | Versión | Biblioteca | Versión | Biblioteca | Versión |
|---|---|---|---|---|---|
| argon2-cffi | 20.1.0 | generador asíncrono | 1.10 | atributos | 21.2.0 |
| llamada de retorno | 0.2.0 | backports.entry-points-selectable | 1.1.1 | negro | 22.3.0 |
| blanquear | 4.0.0 | boto3 | 1.21.18 | botocore | 1.24.18 |
| certifi | 2021.10.8 | cffi | 1.14.6 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | Haz clic | 8.0.3 | criptografía | 3.4.8 |
| ciclista | 0.10.0 | Cython | 0.29.24 | dbus-python | 1.2.16 |
| debugpy | 1.4.1 | decorator | 5.1.0 | defusedxml | 0.7.1 |
| distlib | 0.3.6 | puntos de entrada | 0,3 | visión general de las facetas | 1.0.0 |
| bloqueo de archivos | 3.8.0 | idna | 3.2 | ipykernel | 6.12.1 |
| ipython | 7.32.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.0 |
| Jedi | 0.18.0 | Jinja2 | 2.11.3 | jmespath | 0.10.0 |
| joblib | 1.0.1 | jsonschema | 3.2.0 | Cliente Jupyter | 6.1.12 |
| jupyter-core | 4.8.1 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 |
| kiwisolver | 1.3.1 | MarkupSafe | 2.0.1 | matplotlib | 3.4.3 |
| matplotlib-inline | 0.1.2 | mistune | 0.8.4 | mypy-extensions | 0.4.3 |
| nbclient | 0.5.3 | nbconvert | 6.1.0 | nbformat | 5.1.3 |
| nest-asyncio | 1.5.1 | notebook | 6.4.5 | numpy | 1.20.3 |
| embalaje | 21,0 | Pandas | 1.3.4 | pandocfilters | 1.4.3 |
| parso | 0.8.2 | pathspec | 0.9.0 | chivo expiatorio | 0.5.2 |
| pexpect | 4.8.0 | pickleshare | 0.7.5 | Almohada | 8.4.0 |
| pip | 21.2.4 | platformdirs | 2.5.2 | plotly | 5.9.0 |
| Cliente-Prometeo | 0.11.0 | prompt-toolkit | 3.0.20 | protobuf | 4.21.5 |
| psutil | 5.8.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pyarrow | 7.0.0 | pycparser | 2,20 | Pygments | 2.10.0 |
| PyGObject | 3.36.0 | pyodbc | 4.0.31 | pyparsing | 3.0.4 |
| pyrsistent | 0.18.0 | Python-dateutil | 2.8.2 | pytz | 2021.3 |
| pyzmq | 22.2.1 | solicitudes | 2.26.0 | requests-unixsocket | 0.2.0 |
| s3transfer | 0.5.2 | scikit-learn | 0.24.2 | scipy | 1.7.1 |
| biblioteca de visualización de datos de Python llamada seaborn | 0.11.2 | Send2Trash | 1.8.0 | setuptools | 58.0.4 |
| six | 1.16.0 | ssh-import-id | 5.10 | statsmodels (paquete de Python para análisis estadístico) | 0.12.2 |
| tenacidad | 8.0.1 | terminado | 0.9.4 | ruta de prueba | 0.5.0 |
| threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 | tomli | 2.0.1 |
| tornado | 6.1 | traitlets | 5.1.0 | extensiones de escritura | 3.10.0.2 |
| unattended-upgrades | 0,1 | urllib3 | 1.26.7 | virtualenv | 20.8.0 |
| wcwidth | 0.2.5 | codificaciones web | 0.5.1 | rueda | 0.37.0 |
| widgetsnbextension | 3.6.0 |
Bibliotecas de R instaladas
Las bibliotecas de R están instaladas desde la instantánea CRAN de Microsoft del 2022-09-08. La instantánea ya no está disponible.
| Biblioteca | Versión | Biblioteca | Versión | Biblioteca | Versión |
|---|---|---|---|---|---|
| askpass | 1.1 | asegúrate de que | 0.2.1 | backports | 1.4.1 |
| base | 4.1.3 | base64enc | 0.1-3 | bit | 4.0.4 |
| bit 64 | 4.0.5 | mancha | 1.2.3 | boot | 1.3-28 |
| brew | 1.0-7 | brio | 1.1.3 | escoba | 1.0.1 |
| bslib | 0.4.0 | cachemir | 1.0.6 | callr | 3.7.2 |
| caret | 6.0-93 | cellranger (herramienta de análisis de datos celulares) | 1.1.0 | chron | 2.3-57 |
| class | 7.3-20 | Interfaz de línea de comandos (CLI) | 3.3.0 | clipr | 0.8.0 |
| conglomerado | 2.1.3 | codetools | 0.2-18 | colorspace | 2.0-3 |
| commonmark | 1.8.0 | compilador | 4.1.3 | config | 0.3.1 |
| cpp11 | 0.4.2 | crayón | 1.5.1 | credentials | 1.3.2 |
| curl | 4.3.2 | tabla de datos | 1.14.2 | Conjuntos de datos | 4.1.3 |
| DBI | 1.1.3 | dbplyr | 2.2.1 | descripción | 1.4.1 |
| devtools | 2.4.4 | diffobj | 0.3.5 | digerir | 0.6.29 |
| downlit | 0.4.2 | dplyr | 1.0.10 | dtplyr | 1.2.2 |
| e1071 | 1.7-11 | elipsis | 0.3.2 | evaluar | 0.16 |
| fans | 1.0.3 | colores | 2.1.1 | fastmap | 1.1.0 |
| fontawesome | 0.3.0 | forcats | 0.5.2 | foreach | 1.5.2 |
| extranjero | 0.8-82 | forge | 0.2.0 | fs | 1.5.2 |
| futuro | 1.28.0 | aplicación futura | 1.9.1 | gargle | 1.2.0 |
| genéricos | 0.1.3 | gert | 1.8.0 | ggplot2 | 3.3.6 |
| gh | 1.3.0 | gitcreds | 0.1.1 | glmnet | 4.1-4 |
| globals | 0.16.1 | pegamento | 1.6.2 | googledrive | 2.0.0 |
| googlesheets4 | 1.0.1 | gower | 1.0.0 | gráficos | 4.1.3 |
| grDevices | 4.1.3 | grid | 4.1.3 | gridExtra | 2.3 |
| gsubfn | 0.7 | gtable | 0.3.1 | hardhat | 1.2.0 |
| refugio | 2.5.1 | más alto | 0.9 | hms | 1.1.2 |
| herramientas de HTML | 0.5.3 | htmlwidgets | 1.5.4 | httpuv | 1.6.5 |
| httr | 1.4.4 | ids | 1.0.1 | ini | 0.3.1 |
| ipred | 0.9-13 | isoband | 0.2.5 | Iteradores | 1.0.14 |
| jquerylib | 0.1.4 | jsonlite | 1.8.0 | KernSmooth | 2.23-20 |
| knitr | 1.40 | etiquetado | 0.4.2 | más tarde | 1.3.0 |
| retícula | 0.20-45 | lava | 1.6.10 | ciclo de vida | 1.0.1 |
| listenv | 0.8.0 | lubridate | 1.8.0 | magrittr | 2.0.3 |
| Formato Markdown | 1.1 | MASA | 7.3-56 | Matrix | 1.4-1 |
| memorización | 2.0.1 | métodos | 4.1.3 | mgcv | 1.8-40 |
| mime | 0.12 | miniUI (Interfaz de Usuario) | 0.1.1.1 | ModelMetrics | 1.2.2.2 |
| modelr | 0.1.9 | munsell | 0.5.0 | nlme | 3.1-157 |
| nnet | 7.3-17 | numDeriv | 2016.8-1.1 | openssl (software de cifrado) | 2.0.2 |
| paralelo | 4.1.3 | Paralelamente | 1.32.1 | pilar | 1.8.1 |
| pkgbuild | 1.3.1 | pkgconfig | 2.0.3 | pkgdown | 2.0.6 |
| pkgload | 1.3.0 | plogr | 0.2.0 | plyr | 1.8.7 |
| elogio | 1.0.0 | prettyunits | 1.1.1 | pROC | 1.18.0 |
| processx | 3.7.0 | prodlim | 2019.11.13 | profvis | 0.3.7 |
| progreso | 1.2.2 | progressr | 0.11.0 | promesas | 1.2.0.1 |
| prototipo | 1.0.0 | intermediario | 0.4-27 | ps | 1.7.1 |
| ronroneo | 0.3.4 | r2d3 | 0.2.6 | R6 | 2.5.1 |
| ragg | 1.2.2 | Bosque Aleatorio (randomForest) | 4.7-1.1 | rappdirs | 0.3.3 |
| rcmdcheck | 1.4.0 | RColorBrewer | 1.1-3 | Rcpp | 1.0.9 |
| RcppEigen | 0.3.3.9.2 | readr | 2.1.2 | readxl | 1.4.1 |
| recetas | 1.0.1 | partido de revancha | 1.0.1 | segunda revancha | 2.1.2 |
| remotes | 2.4.2 | ejemplo reproducible | 2.0.2 | reshape2 | 1.4.4 |
| rlang | 1.0.5 | rmarkdown | 2.16 | RODBC | 1.3-19 |
| roxygen2 | 7.2.1 | rpart | 4.1.16 | rprojroot | 2.0.3 |
| Rserve | 1.8-11 | RSQLite | 2.2.16 | rstudioapi | 0.14 |
| rversions | 2.1.2 | rvest | 1.0.3 | sass | 0.4.2 |
| balanzas | 1.2.1 | selectr | 0.4-2 | información de sesión | 1.2.2 |
| forma | 1.4.6 | brillante | 1.7.2 | sourcetools | 0.1.7 |
| sparklyr | 1.7.8 | SparkR | 3.3.0 | spatial | 7.3-11 |
| splines | 4.1.3 | sqldf | 0.4-11 | SQUAREM | 2021.1 |
| Estadísticas | 4.1.3 | estadísticas4 | 4.1.3 | stringi | 1.7.8 |
| stringr | 1.4.1 | supervivencia | 3.4-0 | sys | 3.4 |
| systemfonts | 1.0.4 | tcltk | 4.1.3 | testthat | 3.1.4 |
| Formateo de texto | 0.3.6 | tibble | 3.1.8 | tidyr | 1.2.0 |
| tidyselect | 1.1.2 | tidyverse | 1.3.2 | timeDate | 4021.104 |
| tinytex | 0,41 | herramientas | 4.1.3 | tzdb | 0.3.0 |
| verificador de URL | 1.0.1 | usa esto | 2.1.6 | utf8 | 1.2.2 |
| utils | 4.1.3 | Identificador Único Universal (UUID) | 1.1-0 | vctrs | 0.4.1 |
| viridisLite | 0.4.1 | vroom | 1.5.7 | Waldo | 0.4.0 |
| whisker | 0.4 | withr | 2.5.0 | xfun | 0,32 |
| xml2 | 1.3.3 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.3.5 | archivo comprimido | 2.2.0 |
Bibliotecas de Java y Scala instaladas (versión del clúster de Scala 2.12)
| Identificador de grupo | Id. de artefacto | Versión |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | cliente de Amazon Kinesis | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.189 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.189 |
| com.amazonaws | aws-java-sdk-config (configuración del SDK de Java de AWS) | 1.12.189 |
| com.amazonaws | aws-java-sdk-core | 1.12.189 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.189 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.189 |
| com.amazonaws | aws-java-sdk-directory | 1.12.189 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.189 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.189 |
| com.amazonaws | aws-java-sdk-efs | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing (paquete de software para la gestión de balanceo de carga elástica) | 1.12.189 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.189 |
| com.amazonaws | aws-java-sdk-emr | 1.12.189 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.189 |
| com.amazonaws | aws-java-sdk-glue | 1.12.189 |
| com.amazonaws | aws-java-sdk-iam | 1.12.189 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.189 |
| com.amazonaws | aws-java-sdk-kinesis (kit de desarrollo de software Java para AWS Kinesis) | 1.12.189 |
| com.amazonaws | aws-java-sdk-kms | 1.12.189 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.189 |
| com.amazonaws | aws-java-sdk-logs (registros del SDK de AWS para Java) | 1.12.189 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.189 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.189 |
| com.amazonaws | aws-java-sdk-rds | 1.12.189 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.189 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.189 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ses | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.189 |
| com.amazonaws | aws-java-sdk-sns | 1.12.189 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.189 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.189 |
| com.amazonaws | aws-java-sdk-storagegateway (SDK de Java para Storage Gateway de AWS) | 1.12.189 |
| com.amazonaws | aws-java-sdk-sts | 1.12.189 |
| com.amazonaws | SDK de AWS para Java - Soporte | 1.12.189 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.189 |
| com.amazonaws | jmespath-java | 1.12.189 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | flujo | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | compañero de clase | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.13.4 |
| com.fasterxml.jackson.core | jackson-core | 2.13.4 |
| com.fasterxml.jackson.core | jackson-databind | 2.13.4 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.13.4 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.13.4 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.13.4 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.13.4 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.13.4 |
| com.github.ben-manes.cafeína | cafeína | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | núcleo | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | sistema_nativo-java | 1.1 |
| com.github.fommil.netlib | sistema_nativo-java-nativos | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.5.2-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | Gson | 2.8.6 |
| com.google.crypto.tink | tink | 1.6.1 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | guayaba | 15,0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 2.0.204 |
| com.helger | profiler | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk (SDK de Azure para almacenamiento en lago de datos) | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 9.2.1.jre8 |
| com.ning | compress-lzf | 1.1 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lentes_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.0 |
| com.univocity | analizadores de univocidad | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.15 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.11.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack (software de cálculo numérico) | 2.2.1 |
| dev.ludovic.netlib | blas | 2.2.1 |
| dev.ludovic.netlib | lapack | 2.2.1 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | compresor de aire | 0,21 |
| io.delta | delta-sharing-spark_2.12 | 0.5.1 |
| io.dropwizard.metrics | núcleo de métricas | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | métricas y verificaciones de salud | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.74.Final |
| io.netty | netty-buffer | 4.1.74.Final |
| io.netty | netty-codec | 4.1.74.Final |
| io.netty | netty-common | 4.1.74.Final |
| io.netty | netty-handler | 4.1.74.Final |
| io.netty | netty-resolver | 4.1.74.Final |
| io.netty | netty-tcnative-classes | 2.0.48.Final |
| io.netty | netty-transport | 4.1.74.Final |
| io.netty | netty-transport-classes-epoll | 4.1.74.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.74.Final |
| io.netty | netty-transport-native-epoll-linux-aarch_64 | 4.1.74.Final |
| io.netty | netty-transport-native-epoll-linux-x86_64 | 4.1.74.Final |
| io.netty | netty-transport-native-kqueue-osx-aarch_64 | 4.1.74.Final |
| io.netty | netty-transport-native-kqueue-osx-x86_64 | 4.1.74.Final |
| io.netty | netty-transport-native-unix-common | 4.1.74.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | cliente_simple_común | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | coleccionista | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activación | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.3.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | API de transacciones | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.13 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pickle | 1.2 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.14 |
| net.sourceforge.f2j | arpack_combinado_todo | 0,1 |
| org.acplt.remotetea | remotetea-oncrpc (servicio de comunicación remota) | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8 |
| org.antlr | plantilla de cadenas | 3.2.1 |
| org.apache.ant | hormiga | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | lanzador de aplicaciones Ant | 1.9.2 |
| org.apache.arrow | arrow-format | 7.0.0 |
| org.apache.arrow | núcleo de memoria de flecha | 7.0.0 |
| org.apache.arrow | arrow-memory-netty | 7.0.0 |
| org.apache.arrow | arrow-vector | 7.0.0 |
| org.apache.avro | avro | 1.11.0 |
| org.apache.avro | avro-ipc | 1.11.0 |
| org.apache.avro | avro-mapred | 1.11.0 |
| org.apache.commons | commons-collections4 | 4.4. |
| org.apache.commons | commons-compress | 1.21 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.9 |
| org.apache.curator | curador-cliente | 2.13.0 |
| org.apache.curator | marco de trabajo para curadores | 2.13.0 |
| org.apache.curator | recetas del curador | 2.13.0 |
| org.apache.derby | derbi | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-api | 3.3.4-databricks |
| org.apache.hadoop | Entorno de ejecución del cliente de Hadoop | 3.3.4 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | Hive-shims | 2.3.9 |
| org.apache.hive | API de almacenamiento de hive | 2.7.2 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.13 |
| org.apache.httpcomponents | httpcore | 4.4.14 |
| org.apache.ivy | hiedra | 2.5.0 |
| org.apache.logging.log4j | log4j-1.2-api | 2.18.0 |
| org.apache.logging.log4j | log4j-api | 2.18.0 |
| org.apache.logging.log4j | log4j-core | 2.18.0 |
| org.apache.logging.log4j | log4j-slf4j-impl | 2.18.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.7.6 |
| org.apache.orc | orc-mapreduce | 1.7.6 |
| org.apache.orc | calzos de orco | 1.7.6 |
| org.apache.parquet | parquet-columna | 1.12.0-databricks-0007 |
| org.apache.parquet | parquet-common | 1.12.0-databricks-0007 |
| org.apache.parquet | parquet-encoding | 1.12.0-databricks-0007 |
| org.apache.parquet | parquet-format-structures | 1.12.0-databricks-0007 |
| org.apache.parquet | parquet-hadoop | 1.12.0-databricks-0007 |
| org.apache.parquet | parquet-jackson | 1.12.0-databricks-0007 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.20 |
| org.apache.yetus | Anotaciones de audiencia | 0.5.0 |
| org.apache.zookeeper | guardián de zoológico | 3.6.2 |
| org.apache.zookeeper | Zookeeper-Jute | 3.6.2 |
| org.checkerframework | checker-qual | 3.5.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | compilador común | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-continuation | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-http | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-io | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-jndi | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-plus | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-proxy | 9.4.46.v20220331 |
| org.eclipse.jetty | Seguridad de Jetty | 9.4.46.v20220331 |
| org.eclipse.jetty | servidor Jetty | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlet | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlets | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-util | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.46.v20220331 |
| org.eclipse.jetty | Aplicación web de Jetty | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-xml | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | WebSocket-API | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | cliente de websocket | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | servidor de websocket | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.46.v20220331 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | servlet de contenedor de Jersey | 2,36 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2,36 |
| org.glassfish.jersey.core | jersey-client | 2,36 |
| org.glassfish.jersey.core | jersey-common | 2,36 |
| org.glassfish.jersey.core | jersey-server | 2,36 |
| org.glassfish.jersey.inject | jersey-hk2 | 2,36 |
| org.hibernate.validator | validador de hibernación | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | Anotaciones | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.7.4 |
| org.mlflow | mlflow-spark | 1.27.0 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.3.3 |
| org.roaringbitmap | RoaringBitmap | 0.9.25 |
| org.roaringbitmap | Cuñas | 0.9.25 |
| org.rocksdb | rocksdbjni | 6.24.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.14 |
| org.scala-lang | scala-library_2.12 | 2.12.14 |
| org.scala-lang | scala-reflect_2.12 | 2.12.14 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | interfaz de prueba | 1,0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.2 |
| org.scalanlp | breeze_2.12 | 1.2 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.36 |
| org.slf4j | jul-to-slf4j | 1.7.36 |
| org.slf4j | slf4j-api | 1.7.36 |
| org.spark-project.spark | sin usar | 1.0.0 |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.8 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.4 |
| org.yaml | snakeyaml | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| Stax | stax-api | 1.0.1 |